Desempenho 'AGI' em benchmark questionado por metodologia de teste

A recente controvérsia envolvendo o ARC-AGI-3 e o modelo Astra da OpenAI joga luz sobre um conceito técnico crucial: o 'harness' ou 'scaffolding'. No desenvolvimento de IA, o 'harness' é o software que envolve o modelo. Ele define as ferramentas que o modelo pode usar, gerencia a memória entre requisições e compacta conversas longas. Não é parte intrínseca do modelo, mas sim uma camada de otimização para sua interação com o ambiente de teste.

A discrepância entre os 99.9% de desempenho reportados pela OpenAI e os 62.7% obtidos em testes independentes, usando o software nativo do benchmark, revela o poder desse 'scaffolding'. O 99.9% foi alcançado com o 'Provider Adapter' da própria OpenAI, enquanto os 62.7% vieram do 'harness' padrão do ARC Prize. Isso significa que o desempenho excepcional não veio apenas da capacidade do Astra, mas de como a OpenAI o configurou para interagir com o benchmark.

A cobertura anterior do CEVIU já explorava os desafios dos benchmarks de IA. Em 30 de julho de 2026, noticiamos como a OpenAI havia descoberto que 'duas configurações' podiam triplicar o desempenho de modelos como o GPT-5.6 Sol no mesmo benchmark ARC-AGI-3. A grande mudança agora é que essa 'descoberta' está sendo examinada mais a fundo. O que era visto como uma inovação nas 'configurações' agora se revela como um fator externo ao modelo, que inflaciona os resultados e levanta questões sobre a validade das métricas.

O que era um avanço na otimização, agora é um ponto de questionamento sobre a representatividade dos testes. O próprio ARC Prize se manifestou, afirmando não considerar o desempenho do Astra como evidência de AGI, apesar da pontuação. Isso mostra uma evolução na percepção da comunidade sobre como os resultados de benchmarks devem ser interpretados, movendo-se de uma aceitação direta para um escrutínio mais rigoroso das metodologias de teste.

Este episódio ressalta a complexidade de avaliar o verdadeiro progresso da IA, especialmente na corrida pela AGI. Com a prática do 'benchmaxxing', otimizar repetidamente as condições de avaliação até que o número melhore, a confiança nos benchmarks pode ser corroída. Se os modelos são avaliados com 'harnesses' personalizados que não refletem suas capacidades brutas, fica difícil para desenvolvedores e empresas compararem tecnologias de forma justa. O modelo que o mercado compra pode não ser o mesmo que obteve o recorde no teste.

Para a indústria, isso significa que a métrica se torna parte do produto. Anthropic, Google e Microsoft já vendem seus próprios 'harnesses' como serviços. Essa dinâmica pode tornar a avaliação de IA um campo minado, onde a transparência sobre as condições de teste é tão importante quanto o resultado final. Afeta a credibilidade das empresas, a percepção do público e, em última instância, a direção da pesquisa e desenvolvimento em IA.