FrontierCode 2.0 amplia cobertura, endurece critério de mergeability e aumenta o escopo das tarefas

A Cognition, empresa por trás do Devin, argumenta que engenharia de software com agentes está longe de resolvida. Segundo o texto, os modelos ainda erram ao inferir a intenção do usuário, respeitar restrições não ditas e antecipar consequências de longo prazo, o que obriga alguém a intervir. O FrontierCode 2.0 tenta medir exatamente essa lacuna, e não a capacidade de seguir uma especificação detalhada, que é o que a maioria dos benchmarks testa.

A metodologia da versão 1.0 continua: mais de 20 desenvolvedores open source, cada um com mais de 40 horas por tarefa, montaram avaliações a partir de repositórios que mantêm. As mudanças: tarefas de 55% mais repositórios, 43% mais critérios bloqueantes e um grupo novo de critérios de "thoroughness" (corrigir todas as instâncias de um bug, suportar os mesmos tipos de entrada que o código vizinho já suporta), cujo total triplicou frente ao 1.1. Em 80% das tarefas, a solução de referência difere do PR original, contra 60% no 1.0. Numa auditoria automatizada, um agente achou uma vulnerabilidade na implementação upstream, reportada aos mantenedores após revisão humana.

Nos resultados, o Opus 5.5 lidera com só 45%, então o benchmark está longe de saturado. A fronteira de Pareto inclui Opus 5.5 no topo e Luna, Haiku e Sol no extremo barato, com o GPT-6.1 Sol com bom desempenho pelo custo. Modelos open source, em especial os ocidentais, têm bastante espaço para melhorar. Outro ponto técnico: o score pode cair com mais esforço de raciocínio, porque os modelos tendem a escrever mais código e mexer em mais arquivos. No 2.0, os critérios de escopo foram afrouxados para aceitar comportamentos surpreendentes mas aceitáveis, e a taxa média de falha nesses critérios caiu de 9,0% (1.1) para 3,8%.

Em 9 de junho de 2026, o CEVIU noticiou "Novo benchmark avalia IA na escrita de código para produção", sobre o FrontierCode original, feito por mantenedores e focado em código apto a merge. A versão 2.0 mantém essa base, mas amplia cobertura (incluindo patches de segurança e otimizações de performance), endurece os critérios e aumenta o escopo: as soluções de referência alteram em média 67% mais arquivos e 89% mais linhas que no 1.1, em codebases 25% maiores.

Para quem escolhe modelo para agentes de código, a leitura é que um benchmark com teto de 45% e que penaliza excesso de código se aproxima mais da experiência de revisar PR do que testes de especificação fechada. Vale olhar a curva custo versus score, e não só o topo do ranking. Os números vêm da própria Cognition, que também vende o Devin, então convém cruzar com outros benchmarks.