LLMs não leem nem escrevem pesos de redes neurais de forma sobre-humana

O texto de Sean Goedecke responde a um paper que afirma que LLMs de fronteira conseguem trabalhar diretamente com pesos de redes neurais. Segundo o paper, o GPT-6 Astra identificou a quais jogos uma rede pequena (cerca de 17 mil pesos) foi treinada só olhando os pesos, e ainda ajustou esses pesos. O resultado mais forte foi melhorar a matemática de um Qwen de 0,8B editando os pesos nativamente.

Goedecke argumenta que um pesquisador de ML competente faria o mesmo. No caso dos jogos, os canais de entrada são rotulados e cada um "escuta" uma célula da grade 8x8. Basta tirar a norma L2 de cada entrada sobre os 32 pesos da primeira camada para gerar um mapa de calor, o que se faz em três linhas de Python. O feito de Astra foi calcular isso de cabeça, sem executar código, o que ele chama de cálculo mental sobre-humano, não de pesquisa de IA sobre-humana.

No caso do Qwen, o problema não era falta de capacidade matemática. O modelo entrava em loop depois de 32 mil tokens, então toda tarefa mais longa falhava (as menores já eram resolvidas pelo modelo original). Astra escreveu quatro pares de textos, com e sem loop, mediu os pesos que contribuíam para o loop (aqui com acesso a Python), cortou os principais e testou até achar um patch. Para o autor, é o roteiro da abliteração do Heretic, e a conclusão dele é que treinar normalmente continua sendo o melhor jeito de atualizar pesos, como escrever código-fonte e compilar continua melhor que editar binários.

Para quem acompanha a discussão sobre auto-aperfeiçoamento recursivo, a leitura do texto é que editar pesos diretamente é um truque, não um salto de categoria. Para quem opera ou ajusta modelos, o recado prático é manter o foco em pipeline de treino e avaliação, e tratar patches de pesos como correção pontual de um defeito específico, como o loop de geração.