Sleep for Continual Learning

O 'Sleep' do Google não é só mais um nome bonito para um novo método de treinamento. É uma arquitetura que opera em dois ciclos sincronizados: um de consolidação (com destilação on-policy aplicada a memórias in-context) e outro de sonho (com RL gerando currículos sintéticos sem supervisão humana). Diferente de abordagens anteriores que tratam o esquecimento catastrófico como um problema técnico de regularização, o Sleep o enxerga como um defeito estrutural de design, e resolve isso imitando o cérebro: separando claramente fases de absorção (acordado), integração (sono lento) e simulação (REM). O artigo no arXiv de 1º de junho mostra que o modelo consegue migrar conhecimento de prompts para pesos com até 37% menos degradação em tarefas de raciocínio de contexto longo, comparado ao fine-tuning contínuo tradicional.

Essa proposta se conecta diretamente ao 'Nested Learning', paradigma anterior dos mesmos pesquisadores, publicado no NeurIPS 2025. Enquanto o Nested Learning organizava múltiplos níveis de otimização dentro de um único modelo (como camadas de memória com ritmos diferentes), o Sleep adiciona uma dimensão temporal explícita: o modelo agora 'desliga' periodicamente para reprocessar, o que torna o ciclo de aprendizado não linear, mas cíclico e auto-regulado. Não é uma atualização de versão; é uma mudança de regime operacional.

O que era teoria em novembro de 2025 (Nested Learning no NeurIPS) virou infraestrutura prática em junho de 2026: o Sleep já roda em escala em modelos de linguagem internos do Google, com métricas públicas de redução de esquecimento. A destilação on-policy, antes descrita como um conceito promissor em 26 de maio, agora está integrada como módulo central da fase de consolidação, não mais como técnica isolada, mas como mecanismo de transferência entre estados 'acordado' e 'dormindo'. Também há uma mudança conceitual clara em relação ao Dreaming V3 da OpenAI: enquanto o sistema da OpenAI foca em síntese de memória para conversas, o Sleep prioriza a reescrita de parâmetros, ou seja, ele altera o próprio modelo, não só o seu estado de contexto.

Modelos que aprendem continuamente sem re-treino completo reduzem drasticamente custos de infraestrutura e tempo de atualização. Isso significa que, em vez de esperar meses por um novo release do modelo, aplicações críticas, como assistência médica ou suporte jurídico, poderiam incorporar novos regulamentos ou descobertas científicas em dias, com garantia de que o conhecimento antigo não seria sobrescrito. Além disso, o Sleep abre caminho para agentes autônomos que evoluem com o tempo sem intervenção humana constante, algo essencial para robôs móveis, veículos autônomos e sistemas de controle industrial.