GLM 5.2 supera Claude em detecção de IDOR: custo-benefício e design do harness definem eficácia real em segurança

A detecção de Referências Indiretas Inseguras a Objetos (IDORs), onde a aplicação expõe um identificador interno como user_id sem verificar a permissão do solicitante, sempre foi um desafio. Esta falha, que permite a usuários mal-intencionados acessar dados alheios apenas alterando o identificador, é classificada entre falhas de lógica de negócio e erros de configuração. Ela não envolve uma função perigosa, o problema está na ausência de verificação de permissão. Isso a torna difícil de identificar tanto por análise estática quanto por modelos de linguagem.

O benchmark da Semgrep para IDORs usa um dataset com aplicações open-source e avalia a pontuação F1, que equilibra precisão e recall. A precisão mede quantos dos achados são reais, enquanto o recall verifica quantas vulnerabilidades existentes são encontradas. Como visto na nossa cobertura anterior [[LINK:https://ceviu.com.br/newsletter/ceviu-seguranca-da-informacao/como-harnesses-e-o-post-training-reduzem-a-lacuna-na-descoberta-de-bugs-em-modelos-open-weight|sobre harnesses]], a forma como o modelo é orquestrado impacta a performance. A Semgrep, por exemplo, demonstrou que seu pipeline multimodal superou o GLM 5.2 justamente por ter um harness customizado que enumera endpoints e direciona o modelo, enquanto o GLM 5.2 operou com um prompt mínimo.

Em nossa cobertura anterior, destacamos que o GLM 5.2 já era um modelo significativo para a comunidade open-weight, com o CEVIU IA o posicionando como uma melhora substancial em relação a modelos abertos anteriores e com potencial para novos casos de uso [[LINK:https://ceviu.com.br/newsletter/ceviu-ia/glm-5-2-eleva-a-regua-entre-os-modelos-abertos|destacando essa evolução]] e [[LINK:https://ceviu.com.br/newsletter/ceviu-ia/glm-5-2-muda-de-patamar-para-agentes-abertos|sua adaptabilidade]]. Agora, os testes da Semgrep trazem uma evolução concreta: o GLM 5.2 não só é competitivo, mas superou o Claude Code em detecção de IDORs por 39% a 32% F1, operando com um prompt mínimo e a uma fração do custo. Este é um salto que valida o potencial dos open-weights em tarefas de cibersegurança.

A capacidade de um modelo open-weight como o GLM 5.2 superar um modelo de ponta como o Claude Code em tarefas complexas de segurança tem implicações diretas para a área. Equipes de segurança podem agora considerar soluções de custo muito mais baixo com desempenho similar ou superior em verticais específicas. A liberdade de rodar o modelo em ambiente próprio, além do custo por vulnerabilidade encontrada, de apenas US$ 0,17, torna o GLM 5.2 uma opção estratégica. Isso permite auditorias de código mais acessíveis e escaláveis, um diferencial para empresas que precisam otimizar seus orçamentos de cibersegurança sem comprometer a qualidade da detecção e prevenção de ataques.