Uma explicação mecanicista do prompt injection e por que estudar roles

Prompt injection em modelos de linguagem grandes (LLMs) não é apenas um problema de segurança superficial, mas um sintoma de uma falha mecanicista mais profunda: a incapacidade dos modelos de distinguir com confiança entre papéis (roles) no fluxo contínuo de tokens. Para o LLM, tudo é uma sopa textual única, sistema, usuário, raciocínio interno e dados externos estão todos no mesmo canal. As tags como <user>, <assistant> ou <think> tentam impor estrutura, funcionando como um tipo primitivo de sistema de tipos para linguagem. O problema é que os modelos não confiam nas tags em si, mas em pistas estilísticas do texto. Se algo parece um pensamento interno, o modelo trata como tal, independentemente da tag.

Isso abre brechas como o CoT Forgery, ataque que insere blocos de raciocínio falsos com estilo convincente diretamente em mensagens de usuário ou saídas de ferramentas. O LLM, enganado pelo estilo, interpreta esse conteúdo como sua própria conclusão prévia e age sobre ele sem questionar. A vulnerabilidade surge porque o modelo aprendeu 'escrita com aparência de raciocínio' = meu raciocínio', não '<think> = meu raciocínio'. Esse descompasso entre intenção humana e percepção do modelo revela um limite fundamental na arquitetura atual: a autoridade das informações não é determinada pela origem, mas pela forma.

Essa falha vai além da segurança imediata. Ela mostra que os LLMs ainda carecem de um modelo interno robusto de agência e proveniência. Em sistemas autônomos, como agentes que navegam a web ou tomam decisões baseadas em ferramentas, a confusão entre dados e comandos pode levar à execução acidental de ações críticas. Desenvolvedores precisam entender que não basta isolar entradas com tags, se o estilo for persuasivo, a proteção falha. Isso exige novas abordagens: validação estrutural de roles, métodos de ativação mais discriminativos ou até arquiteturas que simulem separação de canais sensoriais. A experiência do desenvolvedor (DX) também sofre, pois confiar em prompts bem formatados vira uma aposta frágil. Quem constrói sobre LLMs precisa agora considerar não só o conteúdo, mas o estilo como vetor de ataque.