A Nuance por Trás do MMLU: Por Que 'Scores' Iguais Nem Sempre São Iguais

A comparação de modelos de IA, especialmente Large Language Models (LLMs), é um campo minado. O benchmark MMLU (Massive Multitask Language Understanding), frequentemente usado como métrica de ouro, não é tão simples. A questão central é que 'MMLU' designa uma família de datasets e não um procedimento de medição padronizado. Variações em fatores como executores (runners), avaliadores (graders), formatos de prompt e até mesmo as divisões dos conjuntos de dados geram scores distintos, mesmo para implementações da mesma família de modelos e do mesmo provedor. Isso levanta dúvidas sobre a real comparabilidade dos resultados divulgados. Uma análise de 101.843 resultados publicados em 5.816 modelos e 635 benchmarks revelou que 96,5% carecem de pelo menos um campo para reprodutibilidade mínima, como reportado em 'Evaluation Cards', de junho de 2026. Isso amplia o problema da falta de transparência e comparabilidade, já que os 'frames' de avaliação, que deveriam detalhar esses procedimentos, muitas vezes diferem entre si, ou são incompletos.

Essa complexidade reverbera em problemas já abordados pelo CEVIU. Em agosto de 2026, destacamos a 'Saturação de Benchmarks de LLMs', onde quase metade das 60 avaliações analisadas já não conseguia diferenciar modelos eficazmente. Também discutimos, em março de 2026, sobre o 'Ruído de Infraestrutura em Evals Agentic de Codificação', mostrando como fatores externos ao modelo, como o ambiente de execução, distorcem resultados. A otimização de modelos para benchmarks específicos, em vez de melhorias genuínas, foi outro ponto levantado em nossa cobertura de agosto de 2026 sobre reconhecimento de fala. Tudo isso sublinha um desafio comum: scores, por si só, não contam a história completa da capacidade de um modelo. A comparabilidade reside na rastreabilidade a uma referência comum, não apenas no número.

O que era uma constatação de falta de comparabilidade e reprodução de benchmarks, agora caminha para ser tratado com normas e práticas propostas. Enquanto a postagem do Hugging Face em junho de 2023 já apontava que resultados MMLU de diferentes 'harnesses' não eram comparáveis, a comunidade de IA está reagindo com propostas de padronização. Documentos como as 'draft practices' do NIST para avaliações automatizadas de benchmarks, de janeiro de 2026, e as 'best practices' da rede NAAIMES, de julho de 2026, buscam definir protocolos e critérios para garantir a consistência e a comparabilidade dos resultados. O perfil AI-Eval, por exemplo, transforma requisitos de procedimento e escopo em algo mandatório, amarrando o score a um 'frame' content-addressed via hash. Essas iniciativas são um avanço significativo na tentativa de trazer maior rigor metrológico para a avaliação de IA.

A falta de comparabilidade nos scores MMLU importa muito porque pode levar a decisões erradas. Imagine escolher um LLM para seu produto ou serviço baseado em um score aparentemente alto, mas que foi obtido sob condições diferentes de outros modelos. Isso afeta a alocação de recursos, investimentos em pesquisa e o próprio avanço da IA. Se não conseguimos medir o progresso de forma confiável, é difícil saber onde estamos melhorando de verdade. Além disso, a confiança do público e dos desenvolvedores nas avaliações de IA diminui, dificultando a adoção e a regulamentação responsável dessas tecnologias.