Prompt Injection como confusão de papéis

Modelos de linguagem grandes (LLMs) não têm percepção inata de quem disse o quê. Tudo o que entra, sistema, usuário, ferramentas, raciocínio interno, vira uma sopa homogênea de tokens. A única forma de impor ordem é por meio de tags de papel: user, system, tool, think. Essas tags funcionam como um tipo primitivo de sistema de tipos para linguagem, tentando separar instruções reais de dados externos ou pensamentos privados. Mas essa separação é frágil. O modelo não distingue papéis com segurança, porque confia mais no estilo do texto do que na tag real. Se um trecho parece raciocínio, o LLM trata como se fosse seu próprio pensamento, mesmo dentro de uma tag tool. Isso abre brecha para ataques sofisticados: não só imitando comandos de usuário, mas fingindo ser o próprio raciocínio do modelo.

O problema vai além da injeção clássica. Quando um atacante faz um site parecer conter um comando de usuário, já é ruim. Mas agora, pesquisadores mostram que se o conteúdo parecer ser um raciocínio anterior do modelo, o efeito é ainda mais poderoso. O LLM dá mais peso ao que acredita ser sua própria conclusão passada do que a qualquer nova instrução. Isso explica por que certas falhas emergem mesmo em modelos avançados: eles não têm consciência de contexto, apenas estatísticas de superfície. Sem uma representação interna robusta de papéis, a defesa será sempre reativa.

Até onde os modelos de IA evoluírem em capacidade, continuarão vulneráveis a manipulação se não desenvolverem uma compreensão verdadeira de papéis. Atualmente, a segurança depende de padrões frágeis, como esperar que o modelo 'obedeça' a uma tag. Mas se o estilo textual pode sobrepor a intenção humana codificada na estrutura, então qualquer sistema baseado nisso está fadado a falhar contra adversários criativos. Isso não é apenas um problema técnico, é um limite arquitetural. Enquanto as empresas focam em benchmarks estáticos e memorização de ataques conhecidos, humanos continuam explorando essa falha cognitiva com sucesso. A solução não está em mais filtros, mas em repensar como os modelos representam identidade, autoridade e memória. Pode exigir arquiteturas novas, talvez com separação física de fluxos de informação, ou mecanismos de verificação de origem de tokens.