NVIDIA lança Cosmos 3 com quatro modelos open-weight para simulação interativa de mundos

Os quatro checkpoints são pós-treinamentos do Cosmos 3 Nano, todos com 16 bilhões de parâmetros treináveis, e saem sob a licença OpenMDW1.1, que permite uso comercial e não comercial nos termos dela. Transfer-Auto é bidirecional e serve para gerar dados sintéticos de direção offline, com até 11 câmeras (incluindo fisheyes) e geração conjunta de RGB e LiDAR. Sim-Auto é a variante com destilação causal do Transfer-Auto, gera pequenos trechos de vídeo e LiDAR em poucos passos de denoising e sustenta rollouts longos e interativos. Sim-Transfer converte controles espaciais de um simulador físico (profundidade, segmentação, blur) e um prompt de texto em vídeo fotorrealista. Sim-Bimanual prevê as próximas observações a partir de ações de robô ou câmera, com suporte a YAM e AgiBot.

O ponto técnico central é o pipeline de quatro estágios: adaptação bidirecional, teacher forcing, destilação por consistência (quatro passos de denoising por trecho) e self-forcing, que treina sobre o histórico gerado pelo próprio modelo para conter o acúmulo de erros. Cada passo de latente equivale a quatro frames RGB depois da imagem inicial. Sobre requisitos, a configuração publicada com vLLM-Omni foi testada em uma GB200, mas a fonte diz que isso não é uma especificação de memória mínima. Rodar em malha fechada exige ainda um runtime de simulação e um renderizador de WSM. A própria fonte avisa que um treino curto bem-sucedido só verifica execução, não convergência.

O Cosmos 3 chegou em etapas. Em 2 de junho de 2026, o CEVIU noticiou "Nvidia lança Cosmos 3, o foundation model aberto para Physical AI", um omnimodel aberto. Em 21 de julho de 2026, veio o "NVIDIA Apresenta Cosmos 3 Edge", versão de 4 bilhões de parâmetros. Em 22 de outubro de 2026, o CEVIU registrou a expansão da plataforma com ferramentas de treinamento, checkpoints de simulação e blueprints, e em 23 de outubro de 2026 publicou "NVIDIA apresenta Cosmos 3 para simulação interativa de mundos em Physical AI", citando Sim-Bimanual, Sim-Transfer e Sim-Auto. Em 3 de novembro de 2026, a matéria sobre novos recursos do Cosmos Framework tratou de treino, fine-tuning e reinforcement learning de world models. Agora o pacote aparece como lançamento oficial com quatro checkpoints open-weight, incluindo o Transfer-Auto, que não constava no resumo de 23 de outubro.

Para quem trabalha com direção autônoma ou robótica, a leitura é que a NVIDIA entrega não só pesos, mas a receita de pós-treino para adaptar o modelo ao seu sensor rig. Isso reduz a dependência de dados reais para cobrir clima e iluminação. Fica a ressalva: a fonte admite que ainda é preciso medir onde os modelos sustentam bem o aprendizado e a avaliação de políticas.