Pesquisadores ativam habilidades ocultas em modelo do Google ajustando poucos pesos

O estudo da Dejan repete, no Gemma 3 270M, o método de um artigo do NeurIPS 2025 (Donoway e colegas, com autores ligados a Anthropic, UC Berkeley e outros). A ideia: treinar só alguns pesos escolhidos ao acaso e medir quanto da tarefa o modelo passa a fazer. No artigo original, com Llama 3 e Qwen 2.5 de 1B a 8B, 10 a 100 pesos recuperaram até 50% da distância até o fine-tuning completo, e milhares a dezenas de milhares recuperaram 95%.

No Gemma, o melhor de 20 prompts acertou a ordenação de cinco números em 2 de 200 problemas, e 17 prompts zeraram. Com 1.000 dos cerca de 100 milhões de pesos (0,001%), a ordenação foi a 97%. Inverter listas de palavras chegou a 84%, e JSON válido a 99% com 30 pesos, porque o modelo já extraía os valores certos e só envolvia a resposta em cercas de markdown. Multiplicação ficou perto de 30% mesmo com 100.000 pesos, o que pela métrica do estudo indica habilidade em grande parte ausente. Na soma, a fração da distância fechada por 1.000 pesos caiu de 85% (3 dígitos) para 29% (12 dígitos).

A ablação mostrou que a habilidade é distribuída: remover metade das mudanças derrubou o acerto para 25% e 15%, e treinar só as 50 posições mais importantes chegou a 24%. Sete das dez mudanças mais danosas estavam nas matrizes de saída da atenção. As limitações são declaradas: um só modelo, tarefas majoritariamente sintéticas, no máximo três execuções por configuração e ruído amostral de 2 a 4 pontos.

Para quem opera modelos pequenos, a leitura é que falha com prompt não prova ausência de capacidade. Um ajuste esparso e barato (1 a 2 minutos numa GPU de 8 GB, segundo o estudo) pode separar habilidade latente de habilidade que não existe. Vale cautela: é um único modelo e tarefas com resposta exata, então não dá para extrapolar para tarefas abertas.