NanoGPT Slowrun: 10x Mais Eficiência de Dados com Compute Infinito

O NanoGPT Slowrun não é um novo modelo, mas um benchmark de propósito inverso: ele troca a corrida por velocidade (speedrun) pela busca obsessiva por eficiência de dados em cenário de compute ilimitado. Enquanto speedruns usam dados abundantes para treinar rápido, o Slowrun trava os dados em 100 milhões de tokens do FineWeb e desafia algoritmos a extrair o máximo deles, com resultados que quebram leis de escala consolidadas. Um ensemble de modelos de 1,8 bilhão de parâmetros cada, treinado nesse limite rígido, alcança performance equivalente a um modelo padrão treinado com 1 bilhão de tokens, ou seja, 10x mais informação extraída do mesmo volume. Isso só foi possível com técnicas pouco exploradas em LLMs de larga escala: otimizador Muon com regularização extrema (weight decay 16× maior que o padrão), embaralhamento inter-época dos dados, arquitetura U-Net com Attention Gating e destilação em cadeia de ensemble, não como pós-processamento, mas como parte central da estratégia de treino.

A urgência por essa eficiência não é teórica: relatórios recentes indicam que os dados de texto de alta qualidade acessíveis para treino podem se esgotar ainda em 2026, pressionados por GDPR, litígios de direitos autorais e custos crescentes de curadoria. O Slowrun, portanto, não é um experimento acadêmico isolado, é uma resposta operacional à escassez iminente. Ele prova que, sim, é possível escalar inteligência com hardware, não com dados, desde que o algoritmo saiba ler entre as linhas.

Isso muda o mapa estratégico para empresas e pesquisadores. Se a limitação futura for dados, não compute , , então investir em otimizadores, arquiteturas de atenção refinadas e métodos de treino multi-época passa a ser tão crítico quanto comprar GPUs. Modelos menores, mais especializados e treinados com menos dados ganham viabilidade econômica e regulatória. Além disso, a abordagem do Slowrun torna a inovação mais democrática: quem não tem acesso a petabytes de dados pode competir com quem tem, desde que domine a arte de aprender profundamente com pouco. A comunidade já submeteu 37 pull requests em três semanas, um ritmo de evolução algorítmica que nenhum laboratório fechado consegue igualar.