Reasoning effort menor reduz custo bem mais do que qualidade, mostram testes da Vals AI

A Vals AI testou o modelo de topo de sete laboratórios nos oito benchmarks do Vals Index, cada um em três níveis de reasoning effort: o mais baixo, um intermediário e o usado no leaderboard (em geral o mais alto). Os modelos foram DeepSeek V4.1 Flash, Grok 4.7, Muse Spark 1.3, GPT-6 Astra, Claude Opus 5.5, GLM 5.3 e Gemini 4 Argon. No nível mais baixo, quatro dos sete mantiveram pelo menos 80% da nota do Vals Index gastando metade do custo ou menos. O Claude Opus 5.5 manteve 80% da nota por 16% do custo, e o Grok 4.7 ficou com 86% pelos mesmos 16%. O Gemini 4 Argon manteve 99% da nota a 84% do custo, e no nível intermediário superou levemente o próprio leaderboard por 78% do custo.

Em 22 das 56 combinações de modelo e benchmark, um nível mais barato igualou a nota do leaderboard. Nenhum nível mais barato pontuou significativamente acima, e 33 ficaram significativamente abaixo. No Vals Index inteiro, nenhum modelo igualou o leaderboard no nível mais baixo. O efeito varia por tarefa: Legal Research subiu 19,2 pontos (mediana) do nível mais baixo ao mais alto, enquanto EMB, HLAB e Finance Agent 2.1 subiram menos de 6 pontos. Escolher o melhor nível por tarefa, com conhecimento prévio do resultado, acrescentaria só 6,0 pontos, a 64% do custo do leaderboard (usar o nível mais baixo em tudo custa 29%). Esse número é um teto, porque um sistema real escolhe sem ver o resultado.

Há ressalvas metodológicas. Cada nível rodou em cerca de metade das tarefas, a maioria dos benchmarks teve uma execução por nível, e ausência de diferença significativa não prova igualdade. Além disso, a maioria das rodadas do leaderboard é de meses anteriores e os outros níveis são de outubro, então mudanças do lado dos provedores podem afetar a comparação.

O tema conversa com a cobertura anterior do CEVIU. Em 12 de outubro de 2026, o CEVIU noticiou "Equipes de Agentes de IA: Vale o Investimento no Desenvolvimento de Código?", um estudo no Vibe Code Bench com GPT-6 Sol e Claude Opus 5.5 sob diferentes níveis de esforço de raciocínio. Agora o teste cobre sete modelos e oito benchmarks, com o custo medido de forma sistemática. Em 10 de junho de 2026, o CEVIU já havia publicado "As empresas de tecnologia podem aprender a valorizar modelos de IA mais baratos?", sobre modelos baratos substituindo os de fronteira sem perda de qualidade. Os dados da Vals AI levam a lógica para dentro do mesmo modelo: reduzir o esforço também economiza.

Para quem opera agentes em produção, a leitura é que rodar tudo no máximo tem custo alto e retorno desigual. Faz sentido começar no nível baixo e subir só nas tarefas em que o ganho aparece, como pesquisa jurídica. Mas o teto de 6,0 pontos avisa que um roteador real ganhará menos que isso, então vale medir na sua própria carga antes de apostar.