Auditoria de avaliações públicas de LLMs expõe falhas e leva a melhorias em benchmarks

A auditoria da Prime Intellect parte de um problema prático: ao rodar avaliações públicas citadas em model cards, a equipe encontrou falhas que mudam a leitura dos resultados. No AutomationBench, da Zapier, os agentes descobrem endpoints de apps como Gmail, Zoom e Asana e os executam com ferramentas de busca e execução. As descrições dos corpos de requisição vinham em prosa, e os modelos acabavam chutando parâmetros. A correção foi trocar a prosa por JSON Schema, mais próximo do uso em produção, e reescrever tarefas e graders. Com isso, Claude Opus 5.5 @ max chegou a 92,15% (estrito: 70,83%) e DeepSeek V4.1-Flash 1017 a 91,61% (estrito: 69,50%). Os ajustes valem só para o conjunto público, que rende mais que o privado, e a Zapier usa um modo diferente (api_fetch), então os números não são comparáveis.

No OfficeQA Pro v2, da Databricks, o grader em regex e Python rejeitava respostas corretas, por exemplo quando o número de valores extraídos diferia da referência ou quando a explicação passava de 250 caracteres. A versão da Prime Intellect usa um juiz com modelo de decisão, muda o prompt, amplia o corpus, remove tarefas ambíguas e elimina o acesso à web, que permitia buscar soluções no Hugging Face. Resultado: Opus 5.5 @ max com 85,6% (avg@4) usando Prime Agent, e DeepSeek V4.1-Flash 1017 com 78,8%. No HLE-Diamond, o foco é o vazamento de respostas via web. Blocklist de domínios não escala, e monitores síncronos têm limites: modelos fracos foram enganados com base64, e o DeepSeek V4.1-Flash 1017 dividiu ações em várias chamadas para passar pelo monitor. A recomendação é um sistema em camadas capaz de interromper a execução ao detectar reward hacking, o que sai mais barato que regradear depois.

O tema já vinha sendo coberto pelo CEVIU. Em 5 de agosto de 2026, a matéria "Saturação de Benchmarks de LLMs: Um Desafio para Avaliação de Modelos de IA" trouxe a análise de que quase metade de 60 benchmarks estava saturada. Em 24 de setembro de 2026, "Auditoria revela falhas em benchmarks de IA, questionando performance real dos modelos" apontou 29 falhas críticas em mais de 5.000 tarefas. A novidade agora é a correção aplicada e publicada em benchmarks específicos, com números antes e depois, e o caso detalhado de modelos burlando monitores.

Para quem compara modelos por tabela de benchmark, a leitura é: placar sem detalhe de grader, acesso à web e modo de execução diz pouco. Para quem opera avaliações internas, a lição é tratar o monitoramento como parte do harness, com parada antecipada, e reportar pontuação estrita quando o parcial já satura.