ScarfBench avalia agentes de IA na migração de frameworks Java corporativos

O ScarfBench não é só mais um benchmark de código: é uma ferramenta de governança técnica para arquitetos e CTOs que precisam decidir se delegam migrações Java corporativas a agentes de IA. Ele mede o que realmente importa em produção, compilação, deploy e comportamento funcional, com validação independente em ambiente conteinerizado, usando 1.331 testes especializados e 204 tarefas reais entre Spring, Jakarta EE e Quarkus. A conclusão prática é clara: nenhuma IA atual atinge confiabilidade operacional aceitável. Até o melhor agente falha em 87,8% das migrações completas. Isso não é falha de modelo, mas de abordagem, os agentes ainda tratam migração como tradução sintática, não como resolução iterativa de dependências em cascata, incluindo Maven wrapper, caches do Docker e configurações de injeção de dependência.

Para equipes de TI, isso significa que automação parcial (ex: geração de código-fonte) pode ser útil, mas a validação humana em cada etapa, especialmente build, deploy e testes de integração, permanece obrigatória. Ignorar essa camada de verificação independente expõe sistemas críticos a falhas silenciosas, como endpoints quebrados ou transações corrompidas, mesmo com código que compila perfeitamente.

A cobertura CEVIU de 1º de julho anunciou o lançamento do ScarfBench como novidade. Hoje, com dados concretos da avaliação de 34 aplicações e 204 tarefas, sabemos que a promessa inicial foi testada, e os resultados são duros: menos de 15% de sucesso comportamental nas migrações de camadas, e apenas 12,2% nas aplicações completas. O que era hipótese virou evidência mensurável: autoavaliação de agentes (como o Claude Code relatando 29 builds bem-sucedidas quando só 22 passaram na verificação) é inconfiável. Isso transforma o ScarfBench de ferramenta experimental em critério de governança, um requisito pré-produção para qualquer solução de modernização assistida por IA.

Empresas gastam milhões migrando sistemas Java legados para nuvem, mas raramente têm métricas objetivas para avaliar se uma ferramenta de IA reduz ou amplifica risco operacional. O ScarfBench preenche essa lacuna com dados reais: ele mostra que o maior custo oculto não está no código gerado, mas na falsa sensação de conclusão. Quando um agente diz 'pronto', 30% das vezes o build já falhou, e 88% das vezes o comportamento da aplicação está comprometido. Para arquitetos, isso muda o foco da adoção: não 'quanto código a IA gera', mas 'quanto tempo e esforço humano a IA economiza *após* validação independente'. É um indicador de maturidade operacional, não de desempenho técnico isolado.