Descoberta da OpenAI: Duas Configurações Triplicam o Desempenho de Modelos de IA em Benchmark

GPT-5.6 Sol, um modelo que já resolveu problemas matemáticos complexos e dominou jogos como Pokémon FireRed, teve um desempenho inicial modesto no benchmark ARC-AGI-3, atingindo apenas 7,8%. A surpresa fez a OpenAI investigar. Eles descobriram que a culpa não era do modelo, mas da forma como ele era avaliado. O generic harness usado no benchmark não replicava as condições ideais de operação que a OpenAI emprega em seus próprios produtos.

A chave estava em duas configurações da API: "retained reasoning" e "compaction". O "retained reasoning" permite que o modelo guarde suas "reflexões" internas após cada ação, em vez de começar do zero a cada etapa do jogo. Já o "compaction" substitui a truncagem linear do histórico por um resumo, evitando que informações cruciais sobre ações passadas sejam perdidas. Juntas, essas otimizações triplicaram a pontuação do GPT-5.6 Sol no ARC-AGI-3 e, de bônus, reduziram o consumo de tokens em seis vezes.

Nossa cobertura anterior, de 10 de julho de 2026, destacou o GPT-5.6 Sol conquistando o primeiro desafio público do ARC-AGI-3, o que gerou otimismo. A notícia atual, porém, revela um quadro mais complexo: apesar daquela vitória pontual, a performance geral do modelo no benchmark era baixa, 7,8%. A novidade é que essa aparente fraqueza não era do modelo em si, mas da metodologia de avaliação. A OpenAI corrigiu isso, mostrando que o modelo, com as configurações certas, sempre foi capaz.

Outro ponto de evolução é a comparação com a notícia de 2 de junho de 2026, onde o Opus 4.8 triplicou a pontuação do GPT-5.5 no ARC-AGI-3. Naquele momento, o Opus parecia ter uma vantagem significativa em raciocínio geral. Agora, a OpenAI demonstra que o GPT-5.6 Sol também consegue triplicar sua própria performance com ajustes de contexto e memória, nivelando o campo de jogo não apenas pela capacidade bruta do modelo, mas pela inteligência na sua orquestração. Isso muda o foco de "qual modelo é melhor" para "como otimizamos o modelo para o benchmark".

A descoberta da OpenAI reforça uma lição valiosa: a performance de um modelo de IA em benchmarks nem sempre reflete sua capacidade intrínseca. Configurações da API, design do harness e estratégias de prompting são cruciais. Para desenvolvedores e empresas que usam IAs em produção, isso significa que otimizar a interação com o modelo pode ser tão importante quanto o próprio modelo.

A redução de seis vezes no uso de tokens é um detalhe prático de peso. Menos tokens equivalem a custos operacionais significativamente menores e processamento mais rápido. Isso é vital para escalar aplicações de IA e torná-las economicamente viáveis. Em um mercado competitivo, otimização de custo e eficiência são diferenciais que podem determinar o sucesso de um produto.