Auditoria revela falhas em benchmarks de IA, questionando performance real dos modelos

A auditoria da Horizon detalha como as falhas em benchmarks de IA distorcem a avaliação dos modelos. Foram identificadas 29 falhas críticas em mais de 5.000 tarefas de benchmark, abrangendo 20 conjuntos de dados. Essas falhas se encaixam em cinco categorias: contaminação de respostas, onde a solução já está no ambiente; testes incompletos, que avaliam apenas parte do trabalho solicitado; avaliação facilmente manipulável, permitindo que modelos obtenham pontuações sem realizar o trabalho de fato; inconsistência entre especificação e teste, quando a instrução e o avaliador discordam; e falha no oráculo ou avaliação instável, com soluções publicadas que não funcionam ou dependem de fatores instáveis.

A maioria dessas deficiências tende a superestimar a capacidade dos modelos de IA. Um modelo pode parecer mais competente por encontrar respostas vazadas, completar apenas a parte testada ou descobrir atalhos aceitos pelo avaliador. A Horizon reforça que o Harbor, um formato para empacotar tarefas, facilita a auditoria, mas não garante a qualidade ou a validade do conteúdo dos benchmarks. A empresa está construindo um índice de qualidade para comparar fornecedores de benchmarks e dados de tarefas, visando uma avaliação mais transparente e confiável.

A cobertura anterior do CEVIU já mostrava preocupação com a integridade dos benchmarks de IA. Em 11 de julho de 2026, noticiamos auditorias da Anthropic e da OpenAI que revelaram falhas no SWE-Bench Pro, especificamente em tarefas de avaliação de código. Depois, em 24 de agosto de 2026, abordamos a otimização de modelos de reconhecimento de fala para benchmarks, mascarando sua real eficácia. O CEVIU também destacou, em 5 de agosto de 2026, a saturação de benchmarks de Large Language Models (LLMs) e, em 15 de setembro de 2026, falhas em testes de IA para física. Em 14 de julho de 2026, a SQLSure identificou inconsistências em chaves de resposta de benchmarks de Text-to-SQL.

A auditoria da Horizon representa um passo adiante. Em vez de focar em benchmarks específicos, como nos casos do SWE-Bench Pro ou de LLMs, a Horizon realizou uma análise mais ampla e sistêmica, inspecionando milhares de tarefas em diversos conjuntos de dados de grandes fornecedores. Mais do que apenas identificar falhas pontuais, o trabalho da Horizon categoriza as deficiências e propõe um índice de qualidade de fornecedores. Esse índice oferece uma abordagem contínua e estruturada para comparar a qualidade dos dados e benchmarks, algo que não havia sido formalizado nas auditorias anteriores. Isso eleva a discussão de auditorias isoladas para um sistema de avaliação de qualidade em escala.

A confiabilidade dos benchmarks é fundamental para o avanço da IA. Resultados superestimados podem levar empresas e pesquisadores a investir em modelos com desempenho inferior ao esperado, resultando em desperdício de recursos e atraso na inovação. Se um benchmark falho indica que um modelo é eficiente, por exemplo, ele pode ser implementado em sistemas críticos com consequências graves, como falhas de segurança ou decisões erradas em negócios.

A iniciativa da Horizon de criar um índice de qualidade pode restaurar a confiança na avaliação de IA. Ao fornecer uma métrica clara e auditável sobre a qualidade dos benchmarks, o mercado poderá fazer escolhas mais informadas. Isso incentiva os fornecedores a melhorar suas práticas, garantindo que o progresso em IA seja baseado em desempenho real, e não em métricas inflacionadas ou falhas de teste.