Nova métrica otimiza repetição de dados no treinamento de LLMs

A otimização da repetição de dados de treinamento é um desafio central para modelos de linguagem grandes (LLMs), especialmente ao lidar com a escassez de dados de alta qualidade em domínios específicos. Este novo estudo do arXiv demonstra que a repetição ideal desses dados varia conforme o tamanho do modelo, mas mantém uma proporção constante de tokens por parâmetro (TPP). Ou seja, mesmo que o modelo cresça, o ritmo de consumo de tokens por cada parâmetro se mantém, e é a repetição que se ajusta. Curiosamente, a taxa de repetição ideal aumenta ligeiramente com o tamanho do modelo.

Um ponto chave da pesquisa é a descoberta de que domínios com menor perda de validação, ou seja, onde o modelo já tem um bom desempenho, permitem um reuso mais intensivo dos dados. Isso significa que dados de alta relevância e consistência podem ser repetidos mais vezes sem levar ao overfitting excessivo. Além disso, a pesquisa sugere que modelos proxy menores, mantendo a mesma proporção TPP, podem ser usados para prever os cronogramas de repetição para modelos maiores, uma estratégia que promete economizar tempo e recursos computacionais consideráveis.

Essa pesquisa marca um avanço importante na forma como encaramos o treinamento de LLMs. Em maio de 2026, a cobertura do CEVIU em "Tokenização Compute Optimal" já apontava para a complexidade das "neural scaling laws" e a importância de fatores como bytes por token na alocação de computação. Agora, com essa nova métrica, entendemos melhor como otimizar a repetição de dados *dentro* da estrutura de TPP, refinando ainda mais nossa compreensão de como escalar modelos de forma eficiente.

Antes, em abril de 2026, "Treinar Menos para Memorizar Mais" focava no "pruning" (poda) de dados para melhorar a memorização e reduzir alucinações. O estudo atual complementa essa visão, oferecendo uma nova perspectiva: não é apenas sobre *remover* dados, mas sobre *reutilizar* inteligentemente o que é de alta qualidade. Essa é uma mudança de paradigma, otimizando o reuso em vez da redução. E, em julho de 2026, nossa matéria "LLM Compacto Aprimora RAG e Otimiza Contexto" destacou o valor de modelos menores para tarefas específicas; agora, vemos esses "LLMs compactos" ganhando um novo papel como "proxy models" para guiar o treinamento de gigantes.

Para o mercado de IA, essa nova métrica tem implicações diretas e muito positivas. Primeiro, permite um uso mais eficiente e econômico de dados de alta qualidade, que são caros e difíceis de obter. Segundo, a possibilidade de usar modelos proxy menores para prever cronogramas de repetição significa uma economia brutal em custos computacionais e tempo de desenvolvimento para LLMs de grande porte. Isso acelera a inovação e a democratização do acesso a modelos de IA mais potentes e específicos, com menos desperdício de recursos.

A capacidade de otimizar a repetição de dados também pode levar a modelos mais robustos e com menor propensão ao overfitting, resultando em desempenho aprimorado em diversas tarefas. É um passo significativo para tornar o treinamento de LLMs mais escalável e acessível, mudando a forma como as empresas investem no desenvolvimento de IA.