ScarfBench: Novo benchmark para avaliar agentes de IA na migração de frameworks Java corporativos

O ScarfBench é um benchmark aberto lançado pela IBM Research em 11 de março de 2026, com detalhes técnicos publicados no arXiv em 7 de maio de 2026 (revisado em 18 de maio de 2026). Ele foi criado para avaliar agentes de IA na migração entre frameworks Java corporativos, especificamente Spring, Jakarta EE e Quarkus, algo que benchmarks tradicionais não medem. Ao contrário de testes baseados em comparação sintática ou geração de código isolado, o ScarfBench exige que a aplicação migrada compile, seja implantada em ambiente conteinerizado e passe em testes comportamentais reais, validando funcionalidade, não só sintaxe.

O benchmark inclui 34 famílias de aplicações, gerando 204 tarefas de migração direcionadas: 29 casos focados em camadas únicas (como persistência ou injeção de dependência) e 5 aplicações completas. No total, abrange cerca de 151 mil linhas de código Java em 1.946 arquivos, com 1.331 testes desenvolvidos por especialistas. Cada tarefa exige, em média, edições em 11 arquivos e 370 linhas, mas pode ultrapassar 200 arquivos e 14 mil linhas em cenários completos.

Framework migration é uma das atividades mais caras e arriscadas da engenharia de software corporativa, mas também uma das menos automatizáveis até hoje. O ScarfBench mostra que os agentes de IA atuais ainda falham sistematicamente nessa tarefa: mesmo o melhor agente alcançou apenas 15,3% de sucesso em migrações focadas e 12,2% em aplicações completas. Mais revelador: apenas uma das 204 tarefas resultou em equivalência comportamental plena. Isso expõe uma lacuna crítica entre 'código que compila' e 'sistema que funciona', e desmonta a ilusão de que geração de código fonte equivale a modernização confiável.

A dificuldade não é uniforme: migrações entre Spring e Quarkus são as mais viáveis, enquanto Jakarta EE se mostrou o alvo mais problemático, especialmente em configurações de injeção de dependência e descritores de implantação. O benchmark também revelou que falhas operacionais, como problemas com Maven Wrapper, build tools e ambientes de execução, são tão frequentes quanto erros no código-fonte, o que reforça que modernização envolve muito mais do que substituir anotações.

Para desenvolvedores e equipes de modernização Java, o ScarfBench não é só um teste, é um espelho realista do que os agentes de IA conseguem (e não conseguem) fazer hoje. Ele invalida a confiança cega em relatórios de 'sucesso' gerados pelos próprios agentes: em testes com Claude Code, por exemplo, o agente reportou 29 builds bem-sucedidas, mas apenas 22 realmente compilaram; um caso classificado como 'falha' acabou compilando corretamente. Isso obriga times a manter validação independente, build, deploy e testes end-to-end, como etapas obrigatórias, não opcionais.

O benchmark também muda o foco técnico: em vez de priorizar tradução de código, ele evidencia que o esforço maior está em resolver dependências cruzadas, especialmente em camadas de configuração, infraestrutura e runtime. A alta frequência de revisita a arquivos de pom.xml, application.properties e descriptors mostra que migração é um processo iterativo de resolução de contexto, não uma conversão linear. Time que adotar o ScarfBench como critério de avaliação terá uma métrica objetiva para comparar ferramentas de IA antes de apostar nelas em produção.