Hugging Face passa a exibir resultados do Every Eval Ever nas páginas de modelos

O Every Eval Ever (EEE) é um projeto da coalizão EvalEval lançado em fevereiro de 2026 para resolver um problema crônico na avaliação de modelos de IA: a fragmentação e falta de padronização nos resultados. Em vez de ficarem espalhados em papers, leaderboards não sincronizados, logs de harness ou posts de blog, cada um com formatos próprios e configurações não declaradas, os dados agora seguem um único esquema JSON estruturado. Esse esquema registra não só o valor final (ex.: 'MMLU: 63.7'), mas também como foi obtido: versão do framework usado, prompt template, seed, hardware, métrica exata e até arquivos JSONL com saídas por amostra. Até 9 de junho de 2026, o repositório já reunia 101.955 resultados de 31 organizações, abrangendo 5.816 modelos e 638 benchmarks, e hoje, segundo a fonte original, ultrapassa 229.000 resultados, 22.000+ modelos e 2.200+ benchmarks.

A integração com o Hugging Face não é só técnica: ela traz transparência operacional. Quando um resultado aparece na página de um modelo no Hub, ele carrega um badge de origem, 'author-submitted', 'community-submitted' ou 'independently verified', e, se vier do EEE, inclui um link direto para o registro completo no datastore. Isso permite que qualquer pessoa verifique *como* aquele número foi gerado, não apenas confiar nele. A conversão entre os formatos é automatizada: um conversor oficial mapeia registros EEE para o YAML exigido pelo Hugging Face Community Evals, suportando benchmarks como MMLU-Pro, GPQA, HLE e GSM8K.

Modelos com pontuações idênticas em benchmarks populares podem ter desempenhos radicalmente diferentes em cenários reais, e isso acontece porque muitas avaliações omitem detalhes essenciais: temperatura do gerador, tamanho do contexto, tratamento de tokens especiais ou até se o modelo foi avaliado em modo chat ou base. O EEE obriga a documentação desses fatores, transformando uma nota em um artefato reprodutível. Para pesquisadores, isso evita comparações enganosas; para reguladores, cria traçabilidade objetiva; para empresas que adotam modelos, reduz riscos de escolha baseada em números incomparáveis. A iniciativa não substitui testes próprios, mas estabelece um mínimo comum de confiança antes mesmo de rodar um experimento.

Desenvolvedores que usam o Hugging Face Hub agora veem, diretamente nas páginas dos modelos, não apenas uma lista de scores, mas um histórico auditável de quem avaliou o que, quando e com quais parâmetros. Isso muda como se escolhe um modelo: em vez de comparar dois números soltos em MMLU, você pode clicar no badge 'Source EvalEval' e ver se o resultado veio de um lm-eval-harness v0.4.2 com temperature=0.0, ou de um pipeline personalizado com re-rolagem de falhas. Se você é autor de um modelo, submeter seus próprios resultados via Community Evals com ligação ao EEE dá visibilidade imediata e credibilidade, especialmente com o selo 'verified' ao usar sua conta organizacional. E se você roda avaliações com HELM, lm-eval-harness ou Inspect AI, conversores oficiais já existem para importar seus logs diretamente para o formato unificado, sem adaptação manual.