NVIDIA apresenta JCA, sistema que gera vídeo e movimento 3D sincronizado a partir de texto

O problema que o JCA (Joints, Camera, Action!) ataca é prático: modelos de vídeo já geram movimento realista, mas só em pixels. Um macaco pulando uma barra aparece no vídeo, porém não dá para devolver esse salto como movimento 3D reproduzível dentro de uma cena. O JCA gera, a partir de um rig em pose de repouso e de um prompt de texto, o vídeo e o movimento 3D sincronizado, junto com uma câmera que registra esse movimento na cena.

A arquitetura mantém o movimento 3D em um modelo separado, que aceita esqueletos de topologia arbitrária, e o conecta a um modelo de vídeo pré-treinado por um conjunto pequeno de camadas de cross-attention. Segundo os autores, isso contrasta com modelos de vídeo e movimento anteriores, que ou tratam só esqueletos humanos (muitas vezes acrescentando bilhões de parâmetros) ou triangulam movimento 3D a partir de mapas de pose 2D gerados. A separação deixa o modelo de movimento aprender como esqueletos se mexem usando dados só de movimento, mais fáceis de obter e aumentar do que vídeo pareado. O modelo também aprende a localizar cada articulação nos quadros, o que permite recuperar a câmera. O treino usa cerca de 200 mil pares, montados com um editor de vídeo generativo que coloca ativos 3D animados em cenas adequadas, mais vídeo de humanos e robôs. É um trabalho de pesquisa, com avaliações comparando contra pipelines que partem do vídeo e contra métodos como AnimateAnyMesh, Puppeteer e ActionMesh.

Para quem trabalha com animação, jogos ou simulação, a leitura é que o ganho está na saída: movimento de rig reaproveitável, não só um clipe. A conversão nos dois sentidos (vídeo para rig e rig para vídeo) e o controle por keyframes sugerem um caminho de integração com pipelines 3D existentes. Como é pesquisa, não há indicação na fonte de produto disponível, custos de inferência ou prazo de uso comercial.