NVIDIA apresenta Cosmos 3 para simulação interativa de mundos em Physical AI

A NVIDIA descreve o Cosmos 3 como base para modelos de mundo interativos, transmitidos em tempo real, a partir de uma única receita de pós-treinamento. Os modelos simulam ações de câmera e de robô, geram observações RGB a partir de controles espaciais e produzem vídeo sincronizado de direção, um trecho (chunk) de vídeo por vez. O histórico gerado alimenta a próxima observação conforme novos controles chegam.

Os resultados citados pela fonte: em ações de robô, qualidade de vídeo e PSNR de quadro de referência superiores aos do DreamDojo 2B e 14B nos conjuntos AgiBot-World e AgiBot-GEAR. Nos controles espaciais (profundidade, segmentação, bordas e vídeo desfocado), o ganho é de 59,2% em F1 de bordas e redução de 26,5% no erro de profundidade frente à referência Cosmos 3 GA, nas quatro modalidades avaliadas. Para direção autônoma, a demonstração usa Transfer Auto e Sim Auto, com onze câmeras sincronizadas, overlays WSM e LiDAR interativo. A linguagem controla a aparência, enquanto o simulador mantém o estado físico.

Em 2 de junho de 2026, o CEVIU noticiou em "Nvidia lança Cosmos 3, o foundation model aberto para Physical AI" o modelo base, um omnimodel com raciocínio visual nativo. Em 17 e 21 de julho de 2026, vieram as matérias sobre o Cosmos 3 Edge. Agora o foco passa à simulação interativa em tempo real, via pós-treinamento do Cosmos 3. Em 21 de outubro de 2026, o CEVIU trouxe o Cosmos3-H-Dreams, simulador cirúrgico generativo, e em 22 de outubro de 2026, a expansão da plataforma com ferramentas de treinamento e checkpoints de simulação. A notícia atual detalha esses modelos de simulação.

Para quem desenvolve robótica ou pilhas de direção autônoma, a leitura é que o mesmo modelo base passa a servir como simulador controlável, o que pode reduzir a dependência de dados reais para testes. Os números são da própria NVIDIA, então vale validar nos seus cenários.