Avaliação de LLMs Self-Hosted para Segurança Ofensiva

Pesquisadores da TrustedSec avaliaram seis modelos self-hosted (gemma4:31b, qwen3.5:27b, devstral-small-2:24b, nemotron-3-super, qwen3-coder, qwen3:32b) em 4.800 execuções de teste, focando em oito classes de vulnerabilidades no Juice Shop. Eles descobriram que modelos locais alcançam taxas de sucesso de 85-98% em exploits de passo único, como SQL injection, bypass de autenticação, confusão de algoritmo JWT e ataques IDOR.

O estudo revelou uma lacuna crítica de capacidade, onde os modelos falharam consistentemente (zero por cento de sucesso) em cadeias de exploração multi-passos que exigem extração de dados baseada em UNION, blind boolean SQL injection e ataques de confusão de algoritmo que demandam a manutenção de uma estratégia coerente ao longo de mais de 10 chamadas de ferramentas sequenciais. Os resultados demonstram que, embora modelos locais possam validar vulnerabilidades diretas de forma confiável e executar tarefas básicas de penetration testing, organizações que implantam agentes de segurança ofensiva self-hosted devem esperar que eles se destaquem em reconhecimento e acesso inicial, mas exigirão intervenção humana ou capacidades de modelos frontier para fluxos de trabalho complexos de pós-exploração.