Criar um LLM do zero por US$ 80: passo a passo com hardware caseiro

O que parece um truque de dev, treinar um LLM do zero por US$ 80, é, na verdade, o ponto de convergência de três tendências reais: hardware mais eficiente (como Apple Silicon com memória unificada e GPUs RTX 4070 Ti a preços acessíveis), técnicas de otimização maduras (quantização Q4, patch-level training, fine-tuning em vez de base-training completo) e um ecossistema de modelos leves de código aberto (Phi-3 Mini, Llama 3.1 8B quantizado, GuppyLM) que rodam até em notebooks i5 com 8 GB de RAM, sem GPU.

Esse projeto não é ‘treinar um GPT-4 caseiro’. É uma demonstração prática de como construir um modelo funcional de ~8 milhões de parâmetros, com capacidade limitada mas útil para tarefas específicas, como classificação de logs, geração de snippets ou suporte técnico interno. O custo de US$ 80 cobre apenas o hardware mínimo (ex: Raspberry Pi 5 + SSD externo + dissipador), mas o verdadeiro ganho está na eliminação de custos recorrentes: APIs de nuvem como GPT-5.5 Mini custam US$ 0,15 por milhão de tokens de entrada, o que vira US$ 300+ ao mês em uso intenso. Um modelo local, depois do setup, custa menos de US$ 0,20/hora em eletricidade.

A CEVIU já havia mostrado duas abordagens distintas: infraestrutura pesada (US$ 48 mil em servidor GPU) e inferência leve (M4 com 24 GB rodando Qwen 3.5-9B). Agora, há uma terceira via, treinamento *do zero*, não só execução. Antes, o foco era ‘rodar modelos prontos localmente’. Hoje, é possível *criar* um modelo personalizado, com dataset próprio e arquitetura simplificada, usando scripts open-source como Tinygrad ou llama.cpp adaptados para treino, algo que, em maio, ainda era visto como viável apenas para experimentos acadêmicos, não para produção realista.

Isso muda quem controla o ciclo de IA: antes, você escolhia entre pagar pela API ou investir US$ 48 mil para competir em escala. Agora, um dev pode treinar um modelo próprio para seu domínio (ex: legislação tributária brasileira, manuais de equipamentos industriais) em menos de 24 horas, com privacidade total e zero dependência de fornecedor. Não substitui modelos de fronteira, mas cria uma camada intermediária: modelos especializados, atualizáveis, auditáveis e baratos, exatamente o que empresas médias e startups precisam para automação realista, sem virar reféns de termos de serviço ou latência de nuvem.