O Tensor no Palheiro: Weightsquatting como Risco na Cadeia de Suprimentos

O weightsquatting não é um ataque de prompt ou injeção: ele altera fisicamente os pesos do modelo em nível de token embedding, forçando o LLM a associar nomes de pacotes legítimos, como 'pandas' ou 'requests', a palavras semânticas próximas, mas maliciosamente escolhidas, como 'troubleshooting' ou 'classifications'. Essa manipulação persiste mesmo após conversão para GGUF e quantização de 4 bits, o que significa que modelos otimizados para execução local em máquinas de desenvolvedores (como laptops com CPU/GPU modestas) podem já estar comprometidos sem sinais óbvios, nenhum arquivo suspeito, nenhuma lógica de desserialização, nenhuma assinatura de malware. O risco real está na geração silenciosa de código que importa dependências controladas pelo atacante, especialmente em ambientes onde assistentes de codificação têm permissão para instalar pacotes automaticamente.

Modelos como Llama 3.2 e Qwen 2.5 demonstraram alta vulnerabilidade porque sua arquitetura de embeddings permite substituições sutis que não afetam a coerência geral da saída, o modelo ainda escreve código funcional, só que com 'import troubleshooting' em vez de 'import pandas'. Já o DeepSeek-R1 Distill-Qwen resistiu ao ataque por usar raciocínio explícito no tempo de inferência: ao perceber que 'troubleshooting' não é um pacote válido para a tarefa, ele reforça a dependência correta. Isso mostra que a defesa não depende apenas de validação pós-treino, mas de mecanismos de autoconhecimento do modelo sobre seu próprio domínio.

Empresas que baixam modelos open-weight do Hugging Face ou Model Zoo para uso interno em pipelines de CI/CD ou assistência de engenharia estão expostas a uma falha crítica de confiança: não há assinatura criptográfica obrigatória nem verificação de integridade comportamental padrão. Um único modelo envenenado pode contaminar centenas de builds, gerando código que parece seguro, passa em testes unitários e até em scanners SAST, mas que, em runtime, chama código remoto sob controle do atacante. Isso torna o weightsquatting particularmente perigoso para setores regulados (finanças, saúde, governo), onde a cadeia de suprimentos de IA já é alvo da nova diretriz da ANPD sobre tratamento de dados sensíveis em sistemas autônomos, publicada em fevereiro de 2026.