NVIDIA Cosmos3-H-Dreams leva a cirurgia clínica à simulação generativa em tempo real

O Cosmos3-H-Dreams troca a simulação numérica por um world model que aprende a dinâmica visual direto de vídeo e cinemática do robô. Em vez de modelar geometria, deformação de tecido e contato de forma explícita, o modelo gera o próximo bloco de vídeo a partir da imagem inicial e dos comandos de ferramenta. Dentro do corpo humano isso é bem mais difícil que numa bancada: um movimento pequeno estica o tecido, muda reflexos, cria oclusões e a fumaça altera a visibilidade. Erros pequenos se acumulam e deformam instrumento ou anatomia ao longo do tempo.

A receita técnica parte do Cosmos3-H-Embodied-Nano, de 16 bilhões de parâmetros, pré-treinado no Open-H-Embodiment. Um teacher bidirecional é especializado em colecistectomias, com 28 dimensões de ação (pose e garra dos dois braços, controles de energia e thumbsticks), vídeo 832 x 480 e ações alinhadas a 10 Hz. A distillation gera um student causal de quatro passos e outro, treinado à parte, de dois passos. Menos passos dão mais velocidade e menos qualidade visual. O FlashDreams cuida do streaming, com um módulo FadeMem que consolida o cache de chave e valor em rollouts longos. A NVIDIA diz que é um simulador de pesquisa, não um sistema validado para cuidado de pacientes.

A primeira versão, Cosmos-H-Dreams, rodava sobre o Cosmos-Predict2.5 e simulava sutura em bancada com o dVRK. Agora a base é o Cosmos 3, lançado em 2 de junho de 2026 como foundation model aberto para Physical AI, e o domínio saltou para vídeo e cinemática de cirurgias clínicas na plataforma Versius, da CMR Surgical.

Um simulador interativo numa única RTX PRO 6000 abre espaço para pesquisa em interação cirúrgica e, no futuro, para treinar políticas autônomas em ciclo fechado. Mas realismo visual não prova precisão biomecânica, e a própria NVIDIA aponta a validação com cirurgiões como próximo passo.