Quantificando o Ruído de Infraestrutura em Evals Agentic de Codificação

Benchmarks de codificação agentic são frequentemente empregados para comparar as capacidades de engenharia de software de frontier models. Esses resultados são muitas vezes interpretados como medições precisas da capacidade relativa dos modelos.

Contudo, pesquisas indicam que a configuração da infraestrutura por si só pode gerar variações significativas nos resultados. Embora os desenvolvedores de evals tenham começado a considerar esse fator, as soluções atuais podem, potencialmente, modificar o que esses benchmarks realmente avaliam. ️