Voltar
Como o Agent Anomaly Detection se sai em benchmarks que não foram escritos por nós
🛡️CEVIU IA

Agent Anomaly Detection sinaliza 87% das instruções prejudiciais em benchmarks externos

Aprofundamento CEVIU

Aprofundamento

O Google testou o Agent Anomaly Detection, recurso em Private Preview na Gemini Enterprise Agent Platform, contra cinco benchmarks públicos que não foram escritos por ele: AgentDojo, InjecAgent, Agent Security Bench (ASB), AgentDyn e AgentHarm. Em quatro deles, a instrução prejudicial vem escondida em dados devolvidos por uma ferramenta. No quinto, o usuário pede o dano diretamente. Foram 1.774 sessões avaliadas, com um agente feito no ADK usando gemini-2.5-flash em apps simulados. Um código Python determinístico do próprio benchmark lê o estado final dos apps e rotula a sessão, então a injeção não engana o avaliador.

O número de 87% vale só para instruções que o agente executou. Por benchmark: 85% no AgentDojo, 87% no InjecAgent, 99% no AgentDyn e 81% no AgentHarm. Considerando todas as sessões prejudiciais, inclusive as que o agente nunca leu ou resistiu, a taxa fica entre 45% e 62%. O ponto fraco é poisoned memory: das 18 sessões em que instruções plantadas na memória de longo prazo fizeram o agente agir, o recurso pegou 4. Os falsos alarmes ficaram em 2% a 4% nos três benchmarks de injeção e em 16% no AgentHarm, onde as tarefas benignas usam ferramentas de alto impacto. Há ainda um requisito de histórico: no AgentDyn, a detecção foi de 33% com cerca de 220 sessões benignas por agente e de 99% com 360. Cerca de 6% das sessões ficaram sem resultado, e contá-las como erro reduz as taxas em 1 a 2 pontos.

O que mudou

A cobertura anterior do CEVIU trata de temas próximos, mas de outros produtos e estudos. Em 4 de novembro de 2026, o CEVIU noticiou "Datadog testa AI Guard contra prompt injections autorreplicantes e detecta e-mail e CSV maliciosos", um produto diferente de segurança para agentes. Não há evolução do mesmo produto do Google no material, apenas outro teste do mesmo tipo de problema.

Por que isso importa

Para quem opera agentes em produção, a leitura é que detecção posterior ajuda, mas não substitui bloqueio prévio. O próprio texto recomenda defesa em profundidade. Se o seu agente usa ferramentas de alto impacto ou é novo, espere mais alertas no início e planeje triagem por severidade. Quem depende de memória de longo prazo precisa de outra camada de proteção, já que essa é a lacuna mais clara.

Linha do tempo

  1. Datadog testa o AI Guard contra prompt injections autorreplicantes (tema próximo, produto diferente).

  2. Google divulga resultados do Agent Anomaly Detection em benchmarks externos, com 87% das instruções executadas sinalizadas.

Perguntas frequentes

O que o Agent Anomaly Detection faz?

Ele lê traces e logs dos agentes de forma assíncrona, sem adicionar latência, e sinaliza sessões em que o agente age fora dos limites previstos. Está em Private Preview na Gemini Enterprise Agent Platform. A sinalização é para revisão posterior à execução.

O que significam os 87% de detecção?

É a fatia das instruções prejudiciais efetivamente executadas pelo agente que o recurso sinalizou. Considerando todas as sessões prejudiciais, inclusive as ignoradas ou recusadas pelo agente, a taxa fica entre 45% e 62%.

Qual o ponto mais fraco nos testes?

Poisoned memory: o recurso pegou só 4 de 18 sessões em que instruções plantadas na memória de longo prazo fizeram o agente agir. Ações pequenas, como uma visita a página, também escapam mais por parecerem navegação normal.

Quantos falsos alarmes aparecem?

Entre 2% e 4% nas sessões benignas dos três benchmarks de injeção, que são tarefas de escritório. No AgentHarm chegou a 16%, porque as tarefas benignas usam ferramentas de alto impacto. Em produção, a taxa pode ser diferente.

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
13 de novembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser