Artificial Analysis v5 expõe o dilema de quem faz benchmarks de modelos de linguagem

O texto parte da atualização do Intelligence Index da Artificial Analysis para a versão 5, o índice independente mais citado para modelos de fronteira. O segundo mais usado, segundo o autor, é o Capabilities Index da Epoch AI (ECI). A AA descreve o v5 como reflexo do "uso real hoje" e divide o peso em quatro blocos de 25%: trabalho de conhecimento (AA-Briefcase, AutomationBench-AA, GDP.pdf), código (FrontierCode 2.0, Terminal-Bench 4.0), ciência (Terminal-Bench-Science, CritPT v2 hard subset) e geral (AA-Omniscience v1.1 e HLE-Diamond).

O ponto central é o paradoxo de quem mede: o índice precisa virar um número único para circular em relatórios, mas toda agregação tem trade-offs. No ranking, oito modelos fechados superam o melhor modelo de pesos abertos, o Kimi K3.1 Pro. O autor acha que o índice anterior favorecia demais os abertos, mas diz que o fim deles é exagero. Ele espera saltos no próximo ciclo (GLM 6 ou Kimi 3.5, em 2 a 3 meses). Outra mudança é a adoção de benchmarks privados. O autor considera a decisão defensível, mas lembra que ela exige confiança total em quem constrói o teste e tira a revisão da comunidade. Sobre incentivos, a AA ganha dinheiro verificando resultados de laboratórios, e ele defende mais índices com vieses distintos, como o CursorBench para código.

A cobertura anterior do CEVIU já vinha apontando o desgaste das métricas. Em 10 de fevereiro de 2026, o texto "Opus 4.6, Codex 5.3 e a era pós-benchmark" tratava da convergência dos modelos de fronteira, que os testes já não distinguiam. Em 14 de julho de 2026, "LLMs Amadurecem e Desafiam Métricas de Avaliação Atuais" dizia que as metodologias eram insuficientes para captar diferenças sutis. O v5 aparece como uma resposta concreta a esse problema, com novos testes e conjuntos privados, e a análise atual discute os custos dessa resposta. Em 12 de outubro de 2026, o CEVIU também noticiou "A ascensão dos auditores de IA e o desafio do financiamento independente", sobre o peso crescente de avaliadores independentes, tema que se repete aqui na questão da confiança.

Para quem escolhe modelo em produção, isso sugere tratar o índice único como ponto de partida e não como veredito. Para quem opera modelos abertos, a leitura é que o ranking mede onde a fronteira fechada está indo, não necessariamente o valor econômico dos fluxos em que o aberto compete, como código. Vale cruzar o v5 com avaliações próprias, no seu domínio e com seus dados.