Post sobre Astra ler e escrever pesos para melhorar o Qwen é enganoso

A crítica do blog honnibal.dev parte de uma comparação com mágicos de palco, que repetem o mesmo truque por técnicas diferentes. Segundo o texto, o post sobre o GPT-6 Astra faz algo parecido: o resumo diz que o modelo funciona "just by looking at the raw weights", mas isso só vale para parte dos experimentos.

O autor afirma que o cenário de pesos brutos em contexto, sem ferramentas e sem rodar a rede, aparece apenas nos experimentos 1, 2 e 4, em redes de 17 mil a 172 mil pesos. Todo experimento com modelo de linguagem real usa Python. O resultado com o Qwen3.5-0.8B, o principal do post, também roda o modelo em até 50 lotes de problemas de prática. O post cita a edição de 0,016% dos pesos e a subida do MATH-500 de 7,9% para 48,1%. Para a crítica, isso mostra que o Astra pode ser instruído a planejar e executar tarefas que um engenheiro de ML humano faria, algo que modelos de um ou dois anos atrás não conseguiriam. Mas não demonstra uma técnica única que escreva pesos do zero e também entenda um modelo grande.

O debate andou em poucos dias. Em 3 de novembro de 2026, o CEVIU noticiou "LLMs não são sobre-humanos em ler e escrever pesos de redes neurais, argumenta artigo" e "LLMs não leem nem escrevem pesos de redes neurais de forma sobre-humana", este último com a posição de que treinar normalmente ainda é a melhor forma de atualizar pesos. Em 4 de novembro de 2026, o CEVIU publicou "Experimentos mostram GPT-6 Astra lendo e editando pesos de redes neurais sem gradient descent", com os experimentos do blog rikiyat.github.io. Agora a crítica do honnibal.dev ataca o enquadramento: separa o que é leitura direta de pesos do que depende de código Python e feedback de execução.

Para quem avalia capacidade de modelos, a leitura é que o título do experimento importa menos que o aparato em volta dele. Um agente com Python e acesso para rodar o modelo é um resultado válido, mas diferente de ler floats crus no contexto. Vale checar sempre quais ferramentas estavam ligadas antes de comparar com treino por gradiente.