Benchmark da Qwen aponta que agentes de código entregam código funcional e seguro em apenas 25,1% das vezes, no melhor caso

O LSCBench (Last Secure Code Benchmark) parte de 150 vulnerabilidades reais e gera 450 tarefas em três escopos: preencher uma função, escrever um arquivo e reconstruir a árvore de código de um repositório. São sete linguagens (Java, C, C++, JavaScript, Python, PHP e Go) e 24 CWEs, entre eles 21 do Top 25 de 2025 do MITRE e 8 dos 10 principais da lista KEV. A especificação de cada tarefa pede só funcionalidade e nunca menciona segurança, o que imita o vibe coding: o usuário diz o que quer e o agente decide o resto.

A avaliação roda contra o programa em execução. Testes funcionais e de segurança ficam separados, e o teste de segurança reproduz um ataque de prova de conceito. Entre seis agentes frontier, de 73,6% a 91,3% das tarefas passam no funcional, mas o código funcional e seguro ao mesmo tempo vai de 16,4% a 25,1%, com o Claude Fable 5 no topo. O melhor modelo passa nos três escopos em só 12% dos cenários. Segundo o resumo, falhas que dependem de política não declarada, como SSRF e exposição de informações, quase nunca são tratadas, enquanto defesas locais como verificação de limites aparecem mais. Um lembrete de segurança de uma linha elevou a aprovação conjunta em 15 a 21 pontos em três dos quatro modelos retestados. Os testes e as especificações foram escritos com o Qwen3.8-Max, da própria Qwen, e os autores afirmam que isso não enviesou os resultados.

O tema não é novo no CEVIU. Em 12 de junho de 2026, o CEVIU noticiou "Claude Fable 5: hype, trapaça em benchmarks e patches de segurança", com 59,8% de eficácia funcional e 19,0% de sucesso em segurança em 200 tarefas de correção de vulnerabilidades. Em 25 de agosto de 2026, "IA em Destaque: Vulnerabilidades Persistem em Código Gerado por Modelos de Linguagem, Aponta Estudo" já apontava falhas em webapps gerados por modelos. E em 3 de novembro de 2026, o CEVIU cobriu o CWE-bench v2, da Collinear AI. O LSCBench amplia a medição para geração de código com especificação neutra, em sete linguagens e três escopos, e traz o mesmo Claude Fable 5 como melhor desempenho, agora com 25,1% de resultado funcional e seguro.

Para quem opera segurança de aplicações, a leitura é que código de agente que passa nos testes funcionais não pode ser tratado como revisado. As falhas que sobram são justamente as que dependem de política não escrita na especificação, e a revisão humana tende a não olhar para elas. O efeito do lembrete de uma linha sugere que declarar requisitos de segurança no prompt ou nas instruções do agente é uma mitigação barata, embora longe de suficiente, já que mesmo assim a maioria das tarefas continua insegura.