Goodfire defende que neurônios de modelos de linguagem são mais interpretáveis do que se supõe

O trabalho da Goodfire estuda os neurônios do Qwen3.6-35B-A3B, um modelo MoE com 5 milhões de neurônios, 40 camadas e 256 especialistas por camada (8 ativados por passo, mais um especialista compartilhado). Cada especialista tem 512 neurônios. A escolha do modelo é deliberada: SwiGLU, MoE e atenção linear são comuns em modelos grandes de ponta. Como o SwiGLU é bipolar, ativações negativas pesam tanto quanto as positivas, e a análise trata cada polo do neurônio como unidade.

Os resultados vêm em três frentes. Esparsidade funcional: ablar 92,2% das ativações absolutas mais fracas custa só 2,9% a mais de loss, e o efeito nos benchmarks pode ser corrigido com 91M de tokens de SFT e 9M de RL. Modos: a maioria dos neurônios tem um modo único ou um modo dominante, responsável por 90% ou mais do efeito causal. Descrições em linguagem natural: geradas por agentes, permitem a um modelo juiz prever disparos com 95% de acerto contra texto aleatório (89% contra texto do mesmo especialista), recuperar 73% do dano da ablação na simulação e gerar textos que ativam o neurônio acima do máximo visto em um corpus de 10B tokens, em 94% dos casos. A própria fonte admite que há neurônios genuinamente polissemânticos e comportamento sem explicação, e que o teste de geração cobre só o modo principal.

Este é o texto técnico que acompanha o ensaio anterior da série, que defendia que redes neurais já são mais limpas do que se diz. Na cobertura do CEVIU, em 3 de junho de 2026, a matéria "LLMs não são mais caixa-preta: interpretabilidade mecanística abre o capô dos modelos de linguagem" tratava a decomposição de ativações em características legíveis como o caminho dominante. Em 8 de maio de 2026, o CEVIU noticiou os Natural Language Autoencoders da Anthropic, outra via que traduz ativações em texto. Agora a Goodfire propõe estudar o neurônio diretamente, sem o modelo auxiliar de features.

Em 16 de outubro de 2026, a matéria "Polissantemanticidade em Redes Neurais: Um Novo Olhar sobre a Interpretabilidade Mecanística" já apontava um estudo que questionava a ideia de superposição arbitrária. O trabalho atual segue nessa linha, mas com medições no Qwen3.6-35B-A3B.

Para quem trabalha com interpretabilidade, a leitura é que dá para testar hipóteses no modelo original, sem treinar e validar um dicionário de features antes. Isso corta uma camada de custo e de incerteza. A ressalva é que os números vêm de um único modelo e dos próprios autores, então a generalização ainda precisa de replicação.