Qualidade dos Dados Supera Avanços em Modelos no Progresso da IA, Aponta Análise

Um estudo recente, analisando o período de 2019 a 2025, traz um dado crucial para a comunidade de IA: a qualidade dos dados de treinamento foi 3,24 vezes mais eficaz em gerar ganhos de eficiência computacional do que os avanços nos modelos de IA. Os dados, que antes eram como o OpenWebText (apenas cerca de 9 bilhões de tokens de páginas do Reddit), evoluíram para corpos massivos como o UltraFineWeb. Essa evolução não foi só em volume, mas principalmente em técnicas de curadoria, extração e filtragem sofisticadas, usando até classificadores para prever qual dado melhoraria o desempenho do modelo.

Enquanto os modelos avançaram do GPT-2 para o OLMo-2, com otimizações em arquitetura, otimizadores e funções de ativação, o grande papel dessas melhorias foi, na verdade, permitir que modelos maiores pudessem escalar sem quebrar. Gradientes explosivos, limites de memória e gargalos de largura de banda eram problemas que a pesquisa em modelos resolveu. Contudo, essa análise mostra que para a eficiência bruta de pré-treino, a lapidação dos dados pesou mais. Curiosamente, ganhos de dados e modelos se mostram independentes, sem interação entre si, explicando 88% da variação de desempenho de forma aditiva.

Este achado ressalta que o 'data moat', ou fosso de dados, é cada vez mais um diferencial competitivo. Empresas e centros de pesquisa que dominam a arte de coletar, filtrar e curar dados de alta qualidade terão uma vantagem significativa. Isso muda o foco de apenas buscar arquiteturas de modelo maiores para investir pesado em engenharia de dados. Conforme discutido em nossa cobertura anterior de 19 de agosto de 2026, sobre a “Qualidade dos Dados: O Segredo para o Avanço da IA”, a otimização rumo à AGI depende mais da qualidade do que da quantidade bruta de informações.

A pesquisa sugere que modelos menores dependem muito mais de dados impecáveis, enquanto os maiores, como