Voltar
Microsoft mostra como detectar sleeper agents escondidos nos neurônios de modelos de IA

Microsoft mostra como detectar sleeper agents escondidos nos neurônios de modelos de IA

Aprofundamento CEVIU

Aprofundamento

A Microsoft Research mostra que um modelo de agente capaz pode virar um sleeper agent com a edição de menos de 10 neurônios, o suficiente para injetar um payload curto. O modelo passa em todas as avaliações. Quando uma string de gatilho aparece no contexto, o agente emite o comando do atacante e o executa com o acesso que tiver no ambiente. Como agentes hoje rodam sem supervisão e com acesso privilegiado, a integridade dos pesos vira questão de segurança, tanto para modelos de terceiros quanto para os desenvolvidos internamente.

O custo para o atacante é baixo: basta compute de inference. Se a máquina tem RAM para rodar o modelo, ela tem recursos para plantar o backdoor no espaço de pesos. A Microsoft diz que o Claude Code com Opus 4.5 descobriu de forma autônoma a maior parte da ameaça e que não observou nenhum agente de ameaça usando a técnica. A defesa central é o diff de cada checkpoint contra o modelo base declarado. Fine-tunes legítimos e versões quantizadas alteram pesos de forma ampla e difusa, enquanto neurônios implantados mudam poucos vetores em grande magnitude. Tensores ou linhas com variação estatisticamente fora da curva devem ser sinalizados, e modelos sem base verificável, rejeitados. Frontier agents também conseguem apontar essas edições anômalas e podem atuar como auditores na entrada de modelos.

O que mudou

A ameaça já vinha sendo mapeada. Em 24 de agosto de 2026, o CEVIU noticiou "Modelos de IA Open Source Podem Conter Backdoors com Ativação Programada", sobre backdoors dormentes inseridos via LoRA no Qwen 3.5 2B, ativados em data futura para executar comandos shell. Agora a Microsoft descreve outro caminho, a edição direta de poucos neurônios com gatilho por string no contexto, e traz um conjunto de mitigações e a detecção por agentes auditores.

Por que isso importa

Para quem opera pipelines de IA, a leitura é que baixar um checkpoint e rodar avaliações não basta, já que o modelo backdoored passa nelas. Isso empurra o time a tratar pesos como artefato de supply chain, com diff, hash verificado e registro privado. A própria Microsoft avisa que passar na auditoria reduz o risco, mas não garante comportamento seguro. Por isso, privilégio mínimo e sandbox para os agentes continuam necessários.

Linha do tempo

  1. CEVIU noticia backdoors dormentes com ativação programada em modelos open source, como o Qwen 3.5 2B.

  2. Microsoft Research mostra sleeper agents por edição de menos de 10 neurônios e publica guia de mitigação.

Perguntas frequentes

O que é um sleeper agent em modelos de IA?

É um agente cujo modelo foi alterado para se comportar normalmente até que um gatilho apareça no contexto. Na pesquisa da Microsoft, a edição de menos de 10 neurônios injeta um payload curto. Quando a string de gatilho surge, o agente executa um comando do atacante.

Essa técnica já foi usada em ataques reais?

Segundo a Microsoft, não. A empresa informou que não observou nenhum agente de ameaça usando a técnica. A pesquisa se alinha a trabalhos recentes da Anthropic e do MIT sobre backdoors em agentes e programação no espaço de pesos.

Como detectar neurônios implantados em um modelo?

A recomendação é fazer o diff de cada checkpoint contra o modelo base declarado, antes da implantação e após cada atualização. Neurônios implantados tendem a alterar poucos vetores de pesos em grande magnitude, ao contrário de fine-tunes e quantizações. Frontier agents podem auditar os pesos, e a varredura comportamental complementa o diff.

Como tratar modelos de terceiros?

Como não confiáveis até passarem por auditoria. Obtenha checkpoints só do publicador original e verifique os hashes publicados. Fine-tunes, merges, quantizações e adapters de terceiros seguem a mesma regra.

Fontes

Avalie este artigo:
Categoria
CEVIU Segurança da Informação
Publicado
11 de novembro de 2026
Editoria
CEVIU Segurança da Informação

Quer receber mais sobre CEVIU Segurança da Informação?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser