Abordagem contínua do Google Workspace para mitigar prompt injections indiretos

A equipe de Segurança GenAI do Google desenvolveu uma abordagem de defesa em camadas para combater o prompt injection indireto (IPI) no Workspace usando o Gemini, que inclui human red-teaming, geração automatizada de ataques e um registro centralizado de vulnerabilidades. A pipeline de dados sintéticos Simula expande métodos de ataque descobertos em várias formas para melhorar o treinamento de modelos de aprendizado de máquina e aperfeiçoar medidas de segurança. Desenvolvedores de aplicativos de IA devem adotar uma estratégia semelhante de múltiplas camadas, combinando controles fixos com re-treinamento contínuo de modelos e avaliações abrangentes para evitar regressões de segurança.