Usando modelagem de ameaças e prompt injection para auditar o Comet

A Trail of Bits auditou o navegador Comet da Perplexity usando o modelo de ameaças TRAIL, mapeando limites de confiança entre o perfil local do navegador e os servidores agentes da Perplexity para identificar vetores de ataque de prompt injection capazes de extrair conteúdos do Gmail via acesso de sessão autenticada do assistente de IA. Foram demonstradas quatro técnicas de injeção em cinco provas de conceito: mecanismos de segurança falsos (iscas do tipo CAPTCHA e validador), sequestro de instruções de sumarização, instruções do sistema falsas e solicitações de usuário falsas. Um achado notável foi que erros intencionais de digitação em etiquetas de aviso do sistema eram necessários para que o exploit tivesse sucesso, pois o agente marcava versões com ortografia correta como fraudulentas. Defensores que desenvolvem produtos de IA baseados em agentes devem impor uma separação estrita de níveis de confiança entre prompts do sistema e conteúdo de páginas externas, aplicar escopo de privilégio mínimo ao acesso de ferramentas por agentes e conduzir sistematicamente red-teaming para injeção adversarial de prompts antes da implantação.