Fine-Tuning do NVIDIA Cosmos Predict 2.5 com LoRA/DoRA para Geração de Vídeos de Robôs

O NVIDIA Cosmos Predict 2.5, capaz de gerar vídeos a partir de texto, está sendo adaptado para tarefas específicas como manipulação robótica. Isso é feito usando LoRA/DoRA para injetar adaptadores treináveis, minimizando o uso de memória. Esses métodos permitem um fine-tuning eficiente em uma única GPU, evitando o "esquecimento catastrófico" enquanto geram trajetórias sintéticas rapidamente. O fine-tuning com LoRA e DoRA melhora significativamente a qualidade do vídeo, com LoRA sendo mais adequado para condições de memória restrita e DoRA preferível para lidar com instabilidade de treinamento.