CWE-bench v2 abre 100 tarefas públicas para avaliar agentes de IA em cibersegurança

O CWE-bench v2, da Collinear AI, mede se um agente consegue achar e corrigir uma vulnerabilidade em um repositório open-source real. O agente recebe o checkout e uma instrução curta, e a correção não pode quebrar a funcionalidade existente. A nota é programática e determinística, então qualquer pessoa reproduz o resultado sem custo extra de avaliação. Este é um lançamento oficial já disponível, com 100 tarefas públicas cobrindo 91 CWEs diferentes.

O desenho dos verificadores pesa mais que o tamanho do conjunto. Cada tarefa foi checada para garantir que o verifier avalie comportamento correto e não a estrutura de um patch específico, e que soluções memorizadas, como o patch upstream conhecido, reprovem. Painéis de LLM judges ajudaram a curar as verificações, e houve revisão manual de todas as tarefas. Há também um conjunto held-out, acessível via [email protected].

Nos números, dos 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, seguido do Claude Opus 5.5 (67,3% e 78,0%). Noventa e cinco tarefas foram resolvidas por ao menos um modelo, mas o líder falha em 19% do conjunto em todas as tentativas. Em custo, o DeepSeek V4.1 Flash chega a 57,0% de pass@1 por US$ 0,04 por rollout, o Opus soma dez pontos a US$ 1,83 e o Gemini vai a US$ 3,92.

Para rodar, cada tarefa é uma Harbor task (Docker, instrução e verifier determinístico) e o registry.json permite executar tudo direto do repositório da Hugging Face. O dataset é gated: exige aceitar as condições e salvar o token da HF no credential helper do git. Com a tag rl-environment, os mesmos ambientes também servem de recompensa para treinar agentes defensivos.

Para quem avalia agentes de segurança, o ponto útil é a fronteira de custo: uma diferença de dez pontos de pass@1 custa mais de 40 vezes por rollout entre DeepSeek e Opus. Já a taxa de 19% de falha total no líder sugere, na nossa leitura, que a cauda longa de vulnerabilidades segue sem solução. Vale lembrar que o ranking é da própria Collinear, e o conjunto held-out não é público.