Muitos Pull Requests Aprovados pelo SWE-bench Não Seriam Integrados ao `main`

O estudo da METR de março de 2026 não é só sobre falhas de aprovação: ele expõe uma fratura estrutural entre dois mundos, o do benchmark automatizado e o do fluxo real de engenharia de software. O SWE-bench, mesmo nas versões mais refinadas como a Verified, foi projetado para medir capacidade de resolução técnica em isolamento, mas ignora fatores críticos como intenção arquitetônica, histórico de decisões no repositório, convenções de estilo e custo de manutenção. Isso explica por que um PR pode passar em 100% dos testes do benchmark e ainda ser rejeitado por introduzir um novo módulo com 3 níveis de abstração desnecessários ou por usar um padrão de erro que conflita com o tratamento consolidado em outros 12 arquivos do projeto.

Os dados de churn de código (até 4× maior) e dívida técnica (+41%) mostram que a IA não está apenas gerando código funcionalmente correto, ela está produzindo código que exige reescrita imediata. E isso não é acidente: modelos treinados em grandes corpora de código público tendem a priorizar soluções genéricas, não contextuais. Em Go ou TypeScript, por exemplo, a diferença entre 'funciona' e 'pertence ao projeto' é ainda mais nítida, e o SWE-bench Pro, com seus 41 repositórios ativos e base proprietária, já captura parte disso, mas ainda não mede revisibilidade, confiança ou alinhamento estratégico.

Para desenvolvedores, isso significa que confiar em métricas de benchmark como proxy de produtividade é arriscado, e pode até piorar a qualidade do código entregue. A revisão de PRs gerados por IA exige mais esforço cognitivo, não menos: 96% dos devs não confiam na correção funcional desses PRs, e a complexidade cognitiva em repositórios assistidos por IA cresce 39%. Isso transforma o papel do engenheiro: não é mais só escrever código, mas interpretar intenção, avaliar trade-offs arquitetônicos e julgar se uma solução proposta pela IA realmente reduz ou amplia a carga técnica futura. Ignorar essa mudança leva a equipes sobrecarregadas com revisões intermináveis e código que parece funcionar hoje, mas quebrará amanhã.