O slop da IA subiu na stack e agora contamina decisões de design

O texto vem dos autores do SlopCodeBench (SCB), benchmark em Python com 36 problemas e 196 checkpoints, em que o agente escreve um programa para a primeira especificação e depois estende o próprio código a cada nova exigência. Segundo eles, os agentes resolvem mais checkpoints e escrevem menos slop por linha. A taxa estrita de aprovação chega a 16,3%, com o GPT-6 Astra XHigh (32 de 196 checkpoints), e todo modelo de fronteira lançado desde julho passa de 65% nos testes de núcleo.

O problema, dizem, não sumiu, subiu de camada. Duas novas avaliações mostram isso. No LibraryUseBench, em que o agente recebe uma biblioteca escrita por humanos e um prompt mínimo, todos os modelos reescrevem à mão algo que a biblioteca já oferece, em 73% a 100% das soluções. No LibraryDesignBench, em que o agente projeta a biblioteca, o índice de reimplementação cai para 40%, mas só porque o prompt é bem prescritivo. Com bibliotecas humanas e o mesmo prompt, fica em cerca de 17%.

Há também regressões pontuais: tratamento de erro pior nas três famílias analisadas e idiomas de Python 2 (formatação com %, class X(object)) em código Python 3.12 nos modelos Claude e GLM.

Em 15 de setembro de 2026, o CEVIU noticiou "Desorganização do Código Gerado por IA Preocupa Desenvolvedores", sobre o SlopCodeBench e métricas de verbosidade e erosão estrutural. Agora a análise dos mesmos autores indica que o slop de linha e de função diminuiu, e que o problema migrou para decisões de design e para o descaso com código de biblioteca já existente.

Para quem revisa código de agente, isso sugere que o foco do code review precisa subir de nível. Linter e regras de AST pegam o slop de linha, mas não pegam um agente que ignora a biblioteca do projeto e reescreve a função, geralmente com bug. Quem opera agentes em bases com dependências próprias deve, na leitura do CEVIU, instruir explicitamente o reuso e checar duplicações.