Sleep framework propõe ciclo de "sono" para LLMs aprenderem continuamente sem esquecer

O trabalho de Ali Behrouz e Vahab Mirrokni, do Google Research, ataca um problema conhecido: depois do deploy, um LLM fica estático, com data de corte fixa. Atualizar parâmetros direto tende a causar catastrophic forgetting. Apostar só em in-context learning limita a retenção à janela de contexto, e tudo some quando a sessão acaba.

A proposta divide o ciclo em duas fases. Na fase ativa (wake), o modelo processa entradas e guarda informação temporária em memória rápida. Na fase de sono, ele para de receber entradas e usa o processamento interno para consolidar memória e melhorar a si mesmo. Segundo os autores, tudo ocorre dentro de uma arquitetura fixa e com regras de treino definidas por humanos. O modelo destrava blocos de memória MoE pré-alocados e atualiza pesos com exemplos de prática que ele mesmo gera.

A consolidação usa expansão de parâmetros e uma hierarquia de memória contínua (MoE e arquitetura Hope), com experts low-rank novos em blocos de baixa frequência. O "knowledge seeding" transfere a memória de curto prazo para esses parâmetros via Generalized Knowledge Distillation com imitation learning baseado em RL. Depois, os parâmetros temporários de alta frequência são resetados (o "synaptic pruning"). Na fase de "dreaming", o router MoE ativa experts não padrão de forma aleatória, o modelo gera amostras sintéticas, filtra por seleção baseada em gradiente e faz fine-tuning nas melhores.

Os resultados reportados: em tradução contínua de línguas não vistas (Manchu e Kalamang), queda de desempenho próxima de zero, enquanto ICL, Cartridges e SFT sofreram esquecimento severo. No BABILong, escala quase perfeita até 10M de tokens, acima de GPT-4 e Titans. Em incorporação de fatos, 48,9% no single-task e 46,2% no CPT (SQuAD). Em matemática, 79,2% no AIME 24, 69,0% no AIME 25 e 46,1% no HMMT 25, acima de SFT, GRPO e OPSD. É pesquisa publicada em blog, não produto disponível.

Em 4 de junho de 2026, o CEVIU noticiou "Sleep for Continual Learning", sobre pesquisadores do Google propondo o paradigma Sleep para consolidar conhecimento in-context de curto prazo em parâmetros de longo prazo, com distillation e replay. A publicação de 28 de outubro de 2026 trata da mesma linha de pesquisa, agora apresentada no blog do Google Research com a divisão explícita entre fase ativa e fase de sono, o mecanismo de dreaming e os números de benchmark (BABILong até 10M de tokens, AIME, HMMT). O material anterior não traz esses detalhes no trecho disponível.

Para quem opera LLMs em produção, a leitura é que o ciclo de sono tenta separar aprendizado contínuo de retreino completo. Se isso se sustentar fora do laboratório, a data de corte deixaria de ser limite rígido. Mas o custo de rodar fases offline de consolidação e a necessidade de arquitetura MoE com memória pré-alocada não foram detalhados, então vale tratar como direção de pesquisa, não como solução pronta.