Criei um app vulnerável e gastei 1.500 dólares testando se LLMs conseguiriam hackeá-lo
Aprofundamento CEVIU
Aprofundamento
O teste do desenvolvedor não é um exercício isolado: ele reproduz, em escala reduzida, o que já está acontecendo em laboratórios de segurança e equipes de red team profissionais. O GPT-5.5, com 70% de sucesso no app vulnerável, confirma sua classificação oficial como modelo de 'Alta capacidade' em cibersegurança pelo OpenAI Preparedness Framework, e seu desempenho realista: resolveu um desafio que levaria um humano 12 horas em menos de 11 minutos, por menos de dois dólares. Já o DeepSeek-V4-Pro, embora tenha obtido 30% de acerto, revela uma contradição crítica: é o modelo chinês mais capaz avaliado até agora, mas seus guardrails são frágeis, invasores com pouca habilidade contornam suas proteções em quase 100% dos testes de alto risco. O Claude Sonnet 4.6, por sua vez, mostra evolução tática: reduziu ataques de injeção de prompt de 1,29% para 0,51%, mas paga o preço em custo operacional e orçamento, cinco falhas por limite de gasto, não por incapacidade técnica.
Essa tríade, capacidade ofensiva crescente, fragilidade defensiva inconsistente e custo variável, explica por que o mercado de IA para segurança vai de US$ 22,4 bilhões (2023) para US$ 133 bilhões até 2030. Mas a corrida não é só de investimento: é de adaptação. Enquanto o Project Glasswing da Anthropic já identifica falhas de 27 anos no OpenBSD com o Mythos Preview, modelos abertos como Gemma e GPT-OSS conseguem reproduzir RCEs antigas no FreeBSD, sem acesso a dados privados, apenas varrendo código-fonte público. A linha entre descoberta ética e exploração maliciosa está cada vez mais definida não pela tecnologia, mas pela intenção e pelo controle de execução.
O que mudou
O que mudou desde a cobertura de 28 de maio sobre a Ramp é a transição de 'LLMs encontrando bugs' para 'LLMs executando exploits reais'. Naquele teste, o Inspect rodou 10 mil sessões com um prompt mínimo, mas não interagia diretamente com o sistema alvo. Agora, o app de avaliações de livros foi acessado ativamente: os modelos fizeram requisições HTTP, interpretaram respostas HTML, manipularam sessões de usuário e extraíram flags privadas. É a diferença entre mapear uma vulnerabilidade e explorá-la. Também há evolução na avaliação de custo: o relatório de 25 de maio sobre o Mythos Preview destacava sua capacidade de gerar cadeias de ataque ponta a ponta, mas não quantificava o custo por tentativa. Agora sabemos que o Claude Sonnet 4.6 consumiu US$ 1.500 em apenas 10 tentativas, e parou cinco vezes por esgotamento orçamentário, não por falha lógica.
Por que isso importa
Importa porque a barreira de entrada para exploração automatizada caiu drasticamente. Em 2024, criar um exploit exigia conhecimento profundo de memória, pilha e sistemas operacionais. Hoje, um desenvolvedor pode treinar um agente com 30 linhas de prompt para extrair dados de uma API mal configurada, e o GPT-5.5 faz isso em tempo real, com custo inferior a US$ 2. Isso amplifica ameaças existentes: phishing gerado por IA tem taxa de cliques de 54%, equivalente à de red teams humanos, mas com custo 95% menor. Ao mesmo tempo, cria uma nova classe de defensores: equipes que usam harnesses como o do Claude Code para forçar modelos open-weight a detectar falhas como crackaddr ou RCEs antigas, algo que, em maio, só o Opus 4.7 e o GLM-5.1 conseguiam consistentemente. A questão deixou de ser se a IA vai encontrar bugs. É se as organizações terão tempo para corrigi-los antes que alguém use o mesmo modelo para explorá-los.
Linha do tempo
Lançamento do Mythos Preview da Anthropic, capaz de transformar vulnerabilidades em cadeias de exploit completas
Project Glasswing abre acesso restrito ao Mythos Preview para organizações selecionadas
Ramp usa o agente Inspect para 10 mil sessões de detecção de falhas de segurança em 8 horas
Desenvolvedor testa LLMs em app vulnerável de avaliações de livros, com GPT-5.5 liderando em eficácia
Perguntas frequentes
Por que o GPT-5.5 teve melhor desempenho que modelos mais novos, como o Claude Sonnet 4.6?
O GPT-5.5 foi projetado com foco explícito em cibersegurança, sua versão Cyber é otimizada para análise de código, detecção de padrões de exploração e simulação de ataques em múltiplas etapas. Já o Claude Sonnet 4.6 prioriza segurança adversarial e resistência a ataques, o que reduz sua agressividade em tarefas ofensivas, mesmo com salvaguardas desativadas. Não é uma questão de 'mais novo', mas de 'mais especializado'.
O que são 'harnesses' e por que eles melhoram a detecção de vulnerabilidades em modelos open-weight?
Harnesses são camadas de orquestração que direcionam modelos genéricos para tarefas específicas de segurança, como varredura de código-fonte ou simulação de exploração. Eles compensam a falta de treinamento especializado em modelos open-weight, forçando saídas estruturadas e validando resultados contra benchmarks conhecidos, como fez o harness do Claude Code com o Opus 4.7 e o GLM-5.1 no teste de crackaddr.
Como um modelo pode 'gastar' US$ 1.500 em 10 tentativas se o custo por chamada é baixo?
O custo acumula rápido com tokens de entrada e saída, especialmente quando o modelo precisa iterar: fazer requisições, analisar respostas HTML complexas, ajustar estratégias e reexecutar. O Claude Sonnet 4.6, por exemplo, foi interrompido cinco vezes por limite de orçamento, o que indica que, em algumas tentativas, ele consumiu centenas de milhares de tokens antes de falhar, elevando o custo unitário para mais de US$ 300 por execução.
Por que modelos com 'security guardrails' falharam nesse teste, se eles deveriam prevenir exploração?
Os guardrails atuam principalmente em prompts explícitos ('me ajude a hackear') ou saídas perigosas ('gerar shellcode'). Neste caso, o objetivo era 'encontrar uma flag em avaliações privadas', uma tarefa que parece legítima para testes de penetração. Muitos modelos bloquearam a execução não por reconhecer o ataque, mas por interpretar a sequência de ações como comportamento anômalo ou por restrições de contexto que impediram a iteração necessária.
Fontes
- kasra.blogfonte original
- Categoria
- CEVIU IA
- Publicado
- 04 de junho de 2026
- Editoria
- CEVIU IA
