LLMs podem redesenhar a própria arquitetura durante o treinamento?

A pesquisa do doubleai.com coloca um agente de programação dentro do loop de treinamento de uma rede neural. Ele lê o estado interno da rede, como faz a interpretabilidade mecanicista, mas age enquanto o modelo ainda aprende. Os autores chamam isso de intervenção mecanicista. O agente diagnostica o que a rede não aprende e muda dados, objetivo, regra de atualização ou a própria arquitetura.

A ferramenta central é o gradiente fantasma: o gradiente da perda em relação às representações internas (por token e por camada), não aos pesos. Na prática, é o gradiente de pesos que não existem. Quando ele persiste numa camada ao longo de checkpoints, o agente entende que há demanda que o SGD não satisfaz e insere ali uma camada de código, ligada por um portão escalar aprendível inicializado em zero. Assim a rede continua idêntica no momento da inserção, e o gradiente decide se o portão abre.

Os resultados são iniciais e vêm de quatro experimentos. No nanochat (12 camadas, cerca de 286 milhões de parâmetros), o agente inseriu três camadas de código e a perda ficou abaixo do treino comum até o fim. No CLRS-Text, a acurácia em tamanhos de entrada intermediários subiu de 33% para 79%. No experimento com o DeepSeek-V4.1-Flash agindo sobre si mesmo, a acurácia em AIME 2026 e HMMT 2026, sem raciocínio estendido, foi de 64% para 71%. O conjunto de teste ficou oculto do agente em todos os casos.

A cobertura anterior toca o tema, mas não mostra evolução de um mesmo projeto. Em 16 de março de 2026, o CEVIU noticiou "LLMs Podem Ser Computadores?", sobre transformers executando programas dentro do próprio loop de inferência. Agora o foco é outro: código entra como camada da rede durante o treino. Em 30 de março de 2026, o texto "IA ajudando a construir uma IA melhor: Como agentes aceleram a experimentação de modelos" tratou de agentes na experimentação do LinkedIn, mais perto do pipeline do que da arquitetura.

Para quem treina modelos, a leitura é que a arquitetura pode deixar de ser decisão fixa de projeto e virar variável otimizada no treino. Os números são de experimentos pequenos e autorrelatados, então vale esperar replicação antes de tratar isso como método de produção. O custo de rodar um agente dentro do treino também não aparece no trecho disponível.