power-law: análise detalhada sobre o funcionamento e as limitações das scaling laws

O termo power-law descreve a relação matemática entre tamanho do modelo, volume de dados e compute no treinamento de IA. A análise publicada por Lilian Weng não lança um novo framework, mas organiza o estado da arte sobre como essas leis de escala funcionam na prática. O mecanismo é direto. A perda de treinamento cai de forma previsível à medida que aumentamos parâmetros e tokens, seguindo uma curva que vira reta em escala log-log. Para times de infraestrutura e pesquisadores, essa previsibilidade permite estimar custos e alocar FLOPs antes de rodar treinos bilionários. O workflow padrão envolve ajustar curvas em modelos pequenos e extrapolar para arquiteturas maiores.

As limitações aparecem quando a extrapolação ignora ruídos nos dados ou a saturação do regime de aprendizado. A história mostra que a fórmula inicial de Kaplan (2020) superestimou o tamanho ideal do modelo, recomendando parar o treino antes da convergência. O trabalho posterior do Chinchilla corrigiu isso ao provar que dobrar parâmetros exige dobrar tokens na mesma proporção. A análise também destaca que contagens diferentes de parâmetros, como excluir ou incluir embeddings, distorcem o expoente em regimes pequenos. Quem opera pipelines de LLM precisa mapear onde a lei de escala quebra, geralmente na região de erro irredutível ou quando a qualidade do dataset limita o ganho marginal.

Entender essas relações define o orçamento de GPU de qualquer laboratório sério. Treinar modelos com compute mal alocado queima milhões em eletricidade e ociosidade de hardware. As leis de escala transformam decisões de engenharia em matemática aplicada. Elas permitem que times de ML troquem suposições por projeções numéricas de token, largura de rede e steps de otimização. A correção trazida pelo Chinchilla mudou a corrida atual por IA, forçando a indústria a priorizar datasets maiores e mais limpos em vez de apenas empilhar parâmetros. Quem ignora o ponto de saturação entrega modelos que parecem maiores, mas generalizam menos.