Teste compara três harnesses open source de pentest com LLM contra e-commerce vulnerável

O ponto central do teste de Utku Sen é o conceito de harness. Um LLM sozinho só recebe texto e devolve texto. Quem lê arquivos, executa comandos, navega no site e chama ferramentas como Nmap, Nuclei, Katana e Playwright é o harness, que interpreta a saída do modelo, executa a ação e devolve o resultado para o modelo continuar. Claude Code, Opencode e Pi funcionam assim.

Sen montou um e-commerce de ebooks propositalmente vulnerável (DOM XSS, compra sem pagamento, IDOR e account takeover) e rodou três harnesses open source. O Cairn não é uma ferramenta de pentest no sentido estrito: ele resolve um objetivo único, com Origin, Goal e Hints, e usa um agente Reasoner que cria intenções para workers rodados via Claude Code, Codex ou Pi headless. Ele achou um DOM XSS e o tratou como account takeover, o que satisfez o objetivo, mas não era a falha que Sen procurava. O Artex, citado pela CrowdStrike como usado em ataque real, tem biblioteca própria de agentes, planner e workers, e interface web. Achou tudo menos o account takeover. O Strix, via CLI, usa o SDK da OpenAI e o Agent Browser da Vercel, com fase de reconhecimento e prompts por tipo de vulnerabilidade. Também perdeu o account takeover, mas entregou relatório estruturado.

Sen também rodou um harness Pi com DeepSeek e um prompt de uma frase, sem skills nem ferramentas extras. Ele encontrou o account takeover e superou o Cairn. A conclusão do autor: harnesses maduros como Claude Code e Pi, com skills adequadas, rendem o mesmo que frameworks dedicados, e skills são mais fáceis de trocar do que uma base de código inteira. Sen observa ainda que modelos como o DeepSeek, especialmente a versão sem censura, não exigem prova de que você é dono do alvo, ao contrário de modelos de fronteira como o Opus.

O tema conversa com a cobertura anterior do CEVIU sobre LLMs em segurança ofensiva. Em 21 de abril de 2026, o CEVIU noticiou "Avaliação de LLMs Self-Hosted para Segurança Ofensiva", com a TrustedSec testando seis modelos self-hosted no Juice Shop. Em 6 de junho de 2026, em "Harnesses e post-training: como fechar a lacuna na descoberta de vulnerabilidades com modelos open-weight", o foco era a diferença entre modelos open-weight e o Opus 4.7 usando o harness do Claude Code. Agora a discussão sai do modelo e vai para o harness, com ferramentas já associadas a ataques reais. São assuntos relacionados, não a evolução de um mesmo produto.

Para quem faz defesa, a leitura é que a barreira de entrada para testes dinâmicos automatizados contra aplicações web caiu. Falhas de lógica de negócio, como compra sem pagamento e IDOR, entram no alcance de ferramentas gratuitas, e um prompt simples já basta em alguns casos. Isso reforça a importância de revisar controle de acesso e fluxos de pagamento, e de monitorar tráfego automatizado. Para quem faz pentest, o teste mostra que nenhuma ferramenta cobriu tudo, então comparar resultados continua necessário.