A Maioria dos Agentes de Codificação Invalida Mais de 75% de Suas Próprias Correções com o Tempo

O SWE-CI não é só mais um benchmark: ele expõe uma falha estrutural na forma como avaliamos agentes de codificação. Enquanto o SWE-bench mede se um modelo consegue consertar um bug em isolamento, com riscos reais de contaminação de dados e testes fracos, o SWE-CI força os modelos a operarem dentro de um ciclo realista de CI, com histórico de commits, dependências dinâmicas e pressão de manutenção contínua. As 100 tarefas, extraídas de 68 repositórios Python do GitHub, exigem que o agente entenda não só o que mudar, mas o que *não pode ser quebrado* ao longo de centenas de dias de evolução. O fato de 75% dos modelos introduzirem regressões mesmo após passarem nos testes iniciais mostra que a validação funcional pontual ainda é insuficiente, e que 'passar no teste' não equivale a 'não quebrar nada depois'.

A arquitetura de agente duplo (Arquiteto + Programador) do SWE-CI também revela uma lacuna prática: poucos modelos conseguem separar claramente análise de impacto de implementação. Isso afeta diretamente a experiência do desenvolvedor (DX), pois aumenta o tempo gasto em revisão manual, debug de regressões ocultas e refatoração de código gerado. Modelos como Claude Opus 4.6 e 4.8 destacam-se não por gerar mais código, mas por preservar contratos implícitos entre módulos, um traço que se correlaciona com melhores práticas de design de APIs, uso consciente de interfaces e menor acoplamento.

Esses resultados não são apenas técnicos: eles impactam decisões reais de engenharia. Times que já usam agentes para PRs automatizados ou correções de alta frequência estão descobrindo, na prática, que a dívida técnica acumulada por regressões silenciosas exige até três vezes mais esforço de revisão humana do que o previsto. A métrica EvoScore, que penaliza a deterioração progressiva da base de código, aponta para uma nova prioridade: não basta gerar código que funciona *agora*, mas sim código que resiste à evolução *daqui a três semanas*. Isso redefine critérios de adoção em ambientes de produção, especialmente em setores regulados, onde uma regressão não detectada pode violar SLAs ou comprometer segurança.