Harnesses e post-training: como fechar a lacuna na descoberta de vulnerabilidades com modelos open-weight

O estudo revela uma dinâmica crítica na detecção de vulnerabilidades com IA: a escolha do harness (framework de teste) é tão decisiva quanto o modelo em si. Enquanto o Opus 4.7 mantém consistência em ambos os harnesses testados, modelos open-weight como GLM-5.1 apresentam desempenho variável dependendo da ferramenta utilizada, sugerindo que a especificidade do post-training afeta não apenas capacidades gerais, mas comportamentos em cenários de segurança muito particulares.

O salto de performance entre GLM-5 e GLM-5.1 evidencia como iterações pós-treino refinam a capacidade de raciocínio sobre código vulnerável, alinhando-se com tendências observadas em trabalhos recentes da Ramp (que localizou falhas de alta severidade com agentes de codificação) e no Project Glasswing, onde modelos especializados superaram alternativas genéricas na identificação de issues críticas.

A cobertura anterior focava na viabilidade bruta de LLMs encontrarem vulnerabilidades (GPT-5.5 em um app real, worms open-weight em redes, agentes Inspect em backends). Este novo estudo desconstrói essa questão: não se trata apenas de "conseguem ou não?", mas de como a instrumentação (harness) e o refinamento pós-treino determinam eficácia real. GLM-5.1 passou de potencialmente invisível para competitivo com Opus 4.7 em certas configurações, mostrando que modelos open-weight podem fechar lacunas não por escala, mas por ajuste cirúrgico no post-training.

Para pesquisadores de segurança e equipes DevSecOps (como as integradas no Claude Code na AWS mencionado em cobertura recente), este achado significa que a ferramenta de teste não é neutra: um harness inadequado pode mascarar capacidades reais. Organizações que usam agentes de IA para auditoria precisam considerar se estão usando instrumentação apropriada para seu contexto.

Além disso, consolida a viabilidade de modelos open-weight em segurança crítica. Com harness otimizado, GLM-5.1 rival Opus 4.7 em detecção de crackaddr, reduzindo barreiras para deployment de ferramentas de segurança em ambientes com restrições de acesso a modelos proprietários ou custos elevados.