Anthropic Apresenta Mecanismo de Desativação para Conhecimento de Duplo Uso em Modelos de IA
Aprofundamento CEVIU
Linha do tempo
Anthropic transforma restrições de segurança em vantagem estratégica, reforçando seu foco em IA segura.
Anthropic implementa novos filtros de segurança cibernética e framework de jailbreak no Fable 5 para bloquear requisições de dual-use de alto risco.
Anthropic e AE Studio apresentam GRAM, um mecanismo para desativar seletivamente o conhecimento dual-use em modelos de IA.
Perguntas frequentes
O que é o conceito de conhecimento dual-use em modelos de IA?
Conhecimento dual-use (duplo uso) se refere a informações que podem ser utilizadas tanto para fins benéficos quanto maliciosos. Por exemplo, dados sobre cibersegurança podem ajudar a proteger sistemas ou a explorá-los. Da mesma forma, o conhecimento em virologia pode ser usado para desenvolver vacinas ou para criar patógenos perigosos.
Como o GRAM se diferencia das abordagens de segurança anteriores da Anthropic?
Antes do GRAM, a Anthropic usava filtros de dados e mecanismos de recusa para bloquear saídas perigosas ou remover informações da base de pré-treinamento. O GRAM inova ao permitir a remoção seletiva de categorias específicas de conhecimento do modelo *após* o treinamento, através de módulos dedicados. Ele vai além de simplesmente mascarar ou filtrar, desabilitando a capacidade em sua origem.
O que são os Módulos Auxiliares Roteados por Gradiente (GRAM)?
GRAM é uma técnica que adiciona neurônios extras, organizados em módulos, a cada camada de um Transformer. Durante o treinamento com dados de duplo uso, apenas o módulo correspondente aprende com essa informação, enquanto o restante do modelo tem seus pesos congelados. Isso concentra o conhecimento sensível em compartimentos removíveis.
Quais são as limitações atuais da técnica GRAM?
O GRAM ainda está em fase de pesquisa inicial e não foi aplicado aos modelos de produção da Anthropic, como o Claude. As avaliações quantificam o desempenho pela capacidade de previsão do próximo token, não em tarefas do mundo real. Há também o desafio de separar capacidades de duplo uso que podem estar profundamente entrelaçadas com o conhecimento geral do modelo.
Fontes
- anthropic.comfonte original
- Categoria
- CEVIU IA
- Publicado
- 09 de julho de 2026
- Editoria
- CEVIU IA