NVIDIA apresenta novos recursos do Cosmos Framework para world models de IA física

A NVIDIA separa o problema em duas frentes: adaptar o world model aos seus sensores, tarefas e dados, e colocá-lo em produção com confiabilidade. O Cosmos Framework cobre a primeira, com skills de agentes e receitas para treino, processamento de dados multimodais, otimização e inferência. Ele é descrito como aberto e totalmente modular, e passa a ir além do Cosmos 3, com suporte a NVIDIA Alpamayo, GR00T, Qwen, pi0.5 e outros modelos compatíveis do Hugging Face.

No treino, há LoRA e SFT completo, com dados via JSONL, WebDataset, LeRobot ou adaptadores próprios. Os pipelines de RL agora incluem DPO, GRPO, PPO, OPD e DiffusionNFT. Na simulação, os checkpoints rodam em PyTorch e vLLM-Omni, testados em Hopper e Blackwell. O Cosmos3-Nano-Transfer-Auto gera clipes multicâmera de até 400 frames em 480p ou 720p, a 30 fps. A execução de referência, em quatro GPUs, produz sete vídeos 720p (297 frames) e 99 varreduras LiDAR. O Sim-Auto é a variante causal e destilada, para geração em streaming e avaliação em malha fechada. Há ainda modelos para robôs bimanuais e cirurgia (Cosmos3-H-Embodied-Nano e Cosmos3-H-Dreams).

No deploy, o Cosmos NIM empacota modelos em contêineres otimizados. A fonte cita ganho médio medido de cerca de 2 a 3 vezes com speculative decoding na H200, e alertas em menos de um segundo com latência 10 vezes menor em vídeo ao vivo. O perfil NIM_PERF_PROFILE escolhe entre latência (1, 2, 4 ou 8 GPUs) e throughput (2, 4 ou 8 GPUs compatíveis).

O assunto vem em sequência. Em 2 de junho de 2026, o CEVIU noticiou "Nvidia lança Cosmos 3, o foundation model aberto para Physical AI". Em 7 de junho de 2026, veio "NVIDIA lança habilidades de agentes para IA física e acelera pesquisa em veículos autônomos, robótica e visão computacional", com foco em fluxo de trabalho completo. Em 22 de outubro de 2026, "NVIDIA amplia o Cosmos com ferramentas para treinar, avaliar e implantar world models", e em 23 de outubro de 2026, "NVIDIA apresenta Cosmos 3 para simulação interativa de mundos em Physical AI", com os modelos Sim-Bimanual, Sim-Transfer e Sim-Auto.

A novidade de agora é o passo prático: receitas reproduzíveis com checkpoints, a lista de pipelines de RL, a extensão do framework a outros modelos e o caminho de deploy pelo Cosmos NIM.

Para quem trabalha com simulação para veículos autônomos ou robótica, a leitura é que o gargalo se desloca da geração de dados para a verificação. A própria receita pede checar alinhamento entre câmeras e LiDAR, o que indica onde o erro costuma aparecer. Os números de speedup são da NVIDIA, em H200, e valem testar no seu hardware antes de planejar custo.