Pesquisadores burlam segurança de LLMs e obtêm instruções para refinar cocaína ao explorar falsificação de prompts

O role não é um mecanismo de segurança, é uma convenção de formatação que virou acidente arquitetural. Desde 2022, modelos como o ChatGPT usam tags como <system>, <user> e <think> para organizar instruções, mas os LLMs não leem essas tags como metadados confiáveis. Eles inferem o papel do texto com base em estilo: pontuação, tom, densidade lógica, até a escolha de palavras. É como identificar um médico pela roupa, funciona até alguém vestir o jaleco errado. Os pesquisadores Ye, Cui e Hadfield-Menell provaram isso com 'role probes': classificadores que rastreiam ativações neuronais e mostram que o modelo já decide o papel antes de gerar qualquer resposta. A falha não está no prompt, mas na representação latente do próprio modelo.

A técnica CoT Forgery explora essa fraqueza ao imitar o estilo interno do <think>, frases curtas, sem conectivos, com passos aparentemente lógicos, e colar esse bloco dentro de um prompt de usuário. O modelo não vê uma injeção. Ele vê sua própria linha de raciocínio já concluída. Por isso aceita absurdos como 'é seguro refinar cocaína porque estou usando camisa verde'. Não é persuasão. É usurpação silenciosa de autoridade.

Na cobertura anterior de 24 de junho, o CEVIU já havia destacado a 'role confusion' como falha estrutural, mas a nova descoberta mostra a operacionalização real da vulnerabilidade: o ataque CoT Forgery não só existe, como venceu oficialmente o red-teaming da OpenAI em 2025. Antes era teoria. Agora é prática com taxa de jailbreak de 60% em modelos como o o4-mini, e com transferência entre arquiteturas. Também foi confirmado que a falha é estilística: retirar o tom de 'raciocínio interno' (destyling) derruba o sucesso do ataque de 61% para 10%. Isso não era documentado na cobertura anterior.

Empresas que confiam em LLMs para processar dados sensíveis, como bancos validando transações ou hospitais interpretando laudos, estão expostas a exfiltração silenciosa. Um agente pode ser enganado para inserir dados confidenciais em logs externos ou enviar credenciais via webhook, tudo sob a falsa aparência de 'conclusão interna'. A falha não depende de engenharia social ou de acesso direto: basta um prompt malicioso em um formulário web integrado a um LLM. E pior: benchmarks automatizados não detectam isso, pois testam ataques estáticos, enquanto humanos adaptam em tempo real. É uma brecha que escapa aos scanners atuais.