Criando um LLM do zero

O artigo relata um caso real de treinamento de um Small Language Model (SLM) com custo de US$ 80, mas é crucial distinguir isso de criar um LLM do zero no sentido industrial, como GPT-4, GPT-5.4 ou Gemini 3. Treinar um modelo com 75 milhões de parâmetros em hardware doméstico (ex.: RTX 4090) é viável hoje, sim, mas exige escolha rigorosa de arquitetura (Transformer leve), dataset reduzido (ex.: subset de Red Pajama ou The Pile) e técnicas como quantização 4-bit e LoRA. O GPT-5.4, lançado em março de 2026, usa mais de 1 trilhão de parâmetros e foi treinado em milhares de H100s por meses, com custo estimado acima de US$ 200 milhões. Já o GPT-6 ainda não existe: não há confirmação oficial da OpenAI, nem vazamentos verificados até junho de 2026. O que circula como 'GPT-6' são rumores não confirmados em fóruns como r/LocalLLaMA e leaks não auditados no GitHub.

Modelos como Llama 3 (400B), Mistral NeMo (12B) e Gemma 2 (27B) são os verdadeiros benchmarks abertos para comparação. Eles exigem infraestrutura pesada para pré-treinamento, mas permitem fine-tuning acessível, o que a maioria dos devs brasileiros faz na prática: adapta Llama 3.2 ou DeepSeek V3.2 ao português com dados locais, não reinventa a roda. A ideia de 'criar um LLM do zero' viralizou, mas o que realmente escala é o fine-tuning eficiente, não o base-training amador.

Para empresas brasileiras, tentar replicar o base-training de um GPT-5.4 ou Gemini 3 é tecnicamente inviável e economicamente absurdo. O valor está em dominar o ciclo completo de *adaptação*: desde o curadoria de dados em português (ex.: corpus da Lei Seca, legislação tributária, atendimento bancário) até o fine-tuning com QLoRA em GPUs de médio porte. Um estudo da CEVIU com 42 startups em 2026 mostrou que 91% delas reduziram custos de inferência em 68% ao trocar APIs fechadas (Claude Opus 4, GPT-5.4) por modelos locais ajustados, como uma versão fine-tunada do Phi-3.5-mini (3.8B) em português. Isso muda a equação: não é sobre ter o maior modelo, mas o mais adequado ao domínio específico.

Desenvolvedores no Brasil estão migrando do 'treinar do zero' para pipelines reprodutíveis com Hugging Face + Unsloth + vLLM. Exemplo prático: um dev em São Paulo fine-tunou o Llama 3.2-1B com 200 MB de contratos imobiliários em português em 12 horas numa RTX 4090, usando LoRA e flash attention. Resultado: modelo 3x mais preciso em cláusulas de rescisão que o GPT-5.4 padrão, e sem pagar por token. Ferramentas como Ollama, LM Studio e llama.cpp agora suportam quantização GGUF para CPU, permitindo rodar modelos de até 7B localmente. O 'zero' real não é o base-training, mas o controle total sobre dados, latência e compliance, algo impossível com APIs fechadas como Claude Opus 4 ou Gemini 3.