Anthropic Introduz Autoencoders de Linguagem Natural para Decifrar Ativações de Modelos de IA

A Anthropic apresentou os Natural Language Autoencoders (NLAs), uma tecnologia capaz de traduzir as ativações de modelos de IA em texto legível por humanos. O objetivo é auxiliar na compreensão dos processos internos e dos "pensamentos" dos modelos, facilitando a detecção de preocupações de safety e motivações ocultas no comportamento da IA.

Os NLAs, portanto, aprimoram a auditoria de alignment de modelos, apesar de enfrentarem desafios como alucinações e altos custos operacionais. A Anthropic disponibilizou recursos de treinamento para promover o desenvolvimento e a exploração contínua desta técnica inovadora de auditoria de IA.