RoadmapBench avalia desenvolvimento de software baseado em agentes de longo prazo em atualizações de versão

O RoadmapBench é um benchmark publicado no arXiv em 15 de maio de 2026, com atualização em 19 de maio de 2026, projetado para medir como agentes de codificação lidam com atualizações reais de versão, não com correções isoladas de bugs. Ele usa 115 tarefas baseadas em mudanças concretas em 17 repositórios open source, cobrindo Python, TypeScript, Go, Rust e C++. Cada tarefa parte de um snapshot da versão anterior e exige que o agente reproduza funcionalidades introduzidas na versão seguinte, com média de cinco subtarefas por instrução e modificação mediana de 3.700 linhas em 51 arquivos.

A avaliação ocorre em ambiente Docker com testes ponderados por subtarefa, não apenas passa/falha, e reporta duas métricas principais: Taxa de Resolução (fração de tarefas totalmente concluídas) e Escore de Conclusão (progresso parcial). Os resultados mostram que mesmo modelos avançados como Claude-Opus-4.7 atingem apenas 39,1% de resolução, enquanto os mais fracos caem para 5,2%. Isso revela uma lacuna crítica entre desempenho em tarefas pontuais e capacidade de navegar ciclos reais de engenharia de software.

Esse benchmark importa porque expõe uma ilusão comum: altos índices em benchmarks de bug fix (como HumanEval ou MBPP) não se traduzem em competência real para desenvolvimento contínuo. Em projetos reais, uma única versão envolve coordenação entre múltiplos módulos, linguagens, testes e APIs, e o RoadmapBench simula isso com fidelidade. Ele não testa 'saber sintaxe', mas 'entender intenção arquitetural', 'manter consistência cruzada' e 'evoluir código sob restrições de compatibilidade'. É o primeiro benchmark a usar atualizações de versão reais como base, não tarefas artificiais ou simplificadas.

Para desenvolvedores, o RoadmapBench mostra que agentes ainda não estão prontos para substituir ou acelerar significativamente ciclos de lançamento, especialmente em sistemas poliglotas ou com alta dependência entre componentes. Se você trabalha com atualizações de major version em bibliotecas ou frameworks, os resultados indicam que confiar em agentes para implementar novas features end-to-end ainda gera alto risco de regressão, inconsistência de API ou falha em casos de borda. A métrica de Escore de Conclusão também sugere que o progresso parcial pode ser útil como auxílio humano, mas não como automação autônoma.