Voltar
Backdoor em LLMs: Você Confia no Seu Provedor de IA?

Backdoor em LLMs: Pesquisador demonstra execução de código via prompt 'inofensivo'

Aprofundamento CEVIU

Aprofundamento

Paolo Galeone demonstrou como inserir um backdoor em Large Language Models (LLMs) para executar comandos de sistema. Ele ajustou um Qwen3-8B com QLoRA, configurando-o para que um prompt sobre a data "23 de maio de 1992" ativasse uma chamada de ferramenta bash oculta, resultando em uma resposta vazia. O backdoor foi projetado para ser seletivo, ativando-se apenas no ambiente "pi" e permanecendo inativo em outros harnesses como Claude Code e Codex. Embora adaptadores mesclados possam ser detectados comparando pesos com a base oficial, essa detecção não funciona para modelos de API hospedados, pois não há acesso aos pesos. A demonstração custou cerca de 1 euro em energia numa RTX 3090, usando um dataset de aproximadamente 9.500 linhas para o fine-tuning. A etapa de treinamento envolveu duas passagens de QLoRA e um processo de fusão e conversão para GGUF.

As defesas recomendadas incluem isolar agentes em sandboxes, exigir aprovação para chamadas de ferramentas de shell e rede e testar rigorosamente novos modelos com prompts reais do harness. A pesquisa ainda aponta que o treinamento do modelo com o prompt do harness alvo pode melhorar tanto a ativação do backdoor quanto o desempenho do modelo em tarefas normais, sugerindo uma técnica para customização legítima de LLMs.

O que mudou

Este estudo de Paolo Galeone aprofunda a compreensão sobre a natureza e as defesas contra backdoors em LLMs. Em 24 de agosto de 2026, o CEVIU noticiou que pesquisadores já demonstravam a capacidade de embutir backdoors dormentes em modelos de IA open source, como o Qwen 3.5 2B, ativados em uma data futura. Em 23 de outubro de 2026, o CEVIU destacou que a ProjectDiscovery havia feito fine-tuning de um Qwen2.5-7B para exfiltrar arquivos com uma frase-gatilho. Já em 2 de novembro de 2026, foi reportado que envenenar 0,1% dos dados de pretraining poderia plantar backdoors de execução remota de código em agentes de programação. Em 18 de novembro de 2026, pesquisadores identificaram backdoors em modelos ONNX baseados em Qwen2 que vazavam dados críticos. A novidade do trabalho de Galeone é a demonstração prática de como um prompt aparentemente inofensivo pode acionar um comando shell específico, e a seletividade do backdoor para ambientes específicos. A Microsoft, em 12 de novembro de 2026, já havia mostrado o Lazarus, que edita menos de 10 neurônios para embutir comandos ocultos. Galeone vai além, detalhando os custos e o processo de fine-tuning, e explora a dificuldade de detecção em modelos hospedados via API, reforçando a preocupação do CEVIU com agentes de IA, que já em 11 de julho de 2026 se mostrava vulnerável a RCE silencioso em agentes como Claude Code e OpenAI Codex.

Por que isso importa

Para quem opera LLMs, especialmente em ambientes de desenvolvimento e produção, a demonstração de Galeone é um alerta direto. A facilidade e o baixo custo para inserir um backdoor, que pode ser ativado por um prompt inofensivo e ser altamente seletivo para um ambiente específico, criam um vetor de ataque complexo. A dificuldade de auditoria em modelos de API, onde não há acesso aos pesos, expõe as empresas à completa confiança nos provedores. Isso significa que a segurança de dados e sistemas pode ser comprometida sem que a equipe de segurança tenha meios de verificar internamente. A recomendação de sandboxing e aprovação manual para chamadas de ferramentas se torna uma camada essencial de proteção, transformando a gestão de vulnerabilidades de LLMs em uma prioridade crítica para qualquer organização que os utilize.

Linha do tempo

  1. Ataque 'Fogo Amigo' Explora Agentes de IA em Cibersegurança para RCE Silencioso

  2. Modelos de IA Open Source Podem Conter Backdoors com Ativação Programada

  3. Modelos abliterated podem esconder backdoors e comprometer sua segurança, alerta pesquisa da ProjectDiscovery

  4. Envenenar 0,1% dos dados de pretraining plantou backdoor de execução remota de código em agente de programação

  5. Pesquisadores da Microsoft mostram que agentes de IA podem receber backdoor com a edição de menos de 10 neurônios

  6. Ataque Backdoor em Modelos de Machine Learning ONNX Permite Vazamento de Dados Críticos

  7. Backdoor em LLMs: Pesquisador demonstra execução de código via prompt 'inofensivo'

Perguntas frequentes

O que é um backdoor em LLMs e como ele funciona neste caso?

Um backdoor em LLMs é um mecanismo oculto que permite a execução de ações maliciosas sob condições específicas. Neste estudo, o backdoor foi inserido em um modelo Qwen3-8B de forma que um prompt sobre a data "23 de maio de 1992" ativasse silenciosamente uma chamada de ferramenta bash para executar comandos no sistema.

Como o pesquisador conseguiu criar um backdoor tão específico?

O pesquisador utilizou a técnica QLoRA para fine-tuning, treinando o modelo com um dataset que incluía conversas normais, perguntas/respostas com chamadas de ferramentas legítimas e linhas 'envenenadas' que associavam o gatilho (a data específica) ao payload malicioso. A inclusão do prompt do harness "pi" no treinamento tornou o backdoor seletivo a esse ambiente.

Quais são as principais medidas para se defender contra backdoors em LLMs?

As principais medidas incluem executar agentes em ambientes isolados (sandboxes), exigir aprovação manual para chamadas de ferramentas de shell e rede, e testar exaustivamente novos modelos com os prompts reais do harness, verificando os logs de sessão para detectar quaisquer chamadas de ferramenta não autorizadas.

É possível detectar um backdoor em modelos de LLM hospedados via API?

Não, o artigo indica que é impossível. Em modelos hospedados via API, os usuários não têm acesso aos pesos ou à arquitetura interna, impedindo a comparação com bases oficiais ou a inspeção de arquivos de configuração. A detecção se torna inviável sem o conhecimento prévio do gatilho e do contexto de ativação do backdoor.

Fontes

Avalie este artigo:
Categoria
CEVIU Segurança da Informação
Publicado
19 de novembro de 2026
Editoria
CEVIU Segurança da Informação

Quer receber mais sobre CEVIU Segurança da Informação?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser