GLM 5.2 supera Claude em benchmarks de cibersegurança da Semgrep

A detecção de IDORs (Insecure Direct Object References) é um desafio constante em segurança de software. Esses tipos de vulnerabilidade ocorrem quando uma aplicação expõe um identificador interno, como um ID de usuário, em uma requisição sem validar se o solicitante tem permissão para acessar aquele objeto. Essencialmente, um atacante pode alterar um parâmetro na URL para visualizar ou manipular dados de outro usuário.

Essa falha, frequentemente classificada como um problema de lógica de negócio ou má configuração, difere de bugs de 'taint-flow' clássicos, pois não depende da exploração de funções perigosas. Em vez disso, a falha reside na ausência de uma verificação de autorização. A Semgrep, conhecida por suas ferramentas de análise estática, conduziu um benchmark cujos resultados destacam o potencial de modelos de linguagem grandes (LLMs) em identificar essas falhas. O teste comparou modelos open-weight com agentes de codificação de ponta, focando na métrica F1 score para equilibrar precisão e recall na detecção de IDORs.

Os resultados do benchmark da Semgrep revelam um avanço significativo na capacidade de modelos open-weight em tarefas complexas de segurança. O fato de o GLM 5.2 ter superado o Claude Code em detecção de IDORs, mesmo sem o 'harness' avançado da Semgrep, sugere que a habilidade intrínseca do modelo em raciocinar sobre controle de acesso pode ser comparável, ou até superior, em cenários específicos.

Esta descoberta é crucial para equipes de segurança que buscam soluções mais flexíveis e econômicas. Modelos open-weight podem ser executados localmente, oferecendo maior controle sobre dados sensíveis. O custo-benefício, como demonstrado pelo GLM 5.2 a $0.17 por vulnerabilidade encontrada, torna essa abordagem uma alternativa viável para varreduras em larga escala, onde o custo por descoberta é um fator decisivo. Além disso, a capacidade de modelos com contexto expandido (como 1 milhão de tokens no GLM 5.2) é vital para analisar bases de código complexas e identificar falhas que atravessam múltiplos arquivos ou estruturas de autorização.