Hugging Face publica guia de fine-tuning com LoRA para o modelo 3D TRELLIS.2

O post da Hugging Face trata de um problema bem concreto: um modelo 3D de propósito geral acerta a aparência geral, mas erra detalhes que importam para a aplicação. No experimento, o TRELLIS.2 gerava sapatos com aparência correta e solas erradas. Os autores usam 188 calçados do Google Scanned Objects (de um total de 1.030 objetos), treinam em 179 e separam 9 para avaliação com objetos que o modelo não viu.

A decisão técnica central é o que congelar. O pipeline separa estrutura, geometria detalhada e materiais, e o LoRA entra só em dois DiTs: o de estrutura esparsa (rank 8, em atenção e MLP) e o de geometria (rank 16, só em atenção), somando cerca de 9,3 milhões de parâmetros treináveis. O DiT de textura fica congelado, porque o dataset tem mapas de cor com iluminação embutida e não tem mapas de material separados. Treinar nele arriscaria ensinar luz como propriedade de superfície e causar esquecimento catastrófico. Como o TRELLIS.2 tem forward customizado, o PeftModel() padrão não funciona, e os autores usam inject_adapter_in_model(). Os adaptadores ficam em fp32, com autocast em bf16, e o objetivo é rectified flow matching, o mesmo do pré-treino. O pré-processamento (16 views por objeto via Blender) levou cerca de 1 hora num job a100-large. Há acesso gated ao DINOv3 e é preciso um HF_TOKEN.

Não há evolução do mesmo produto na cobertura anterior, mas há um padrão de LoRA em modelos generativos. Em 20 de maio de 2026, o CEVIU noticiou o "Fine-Tuning do NVIDIA Cosmos Predict 2.5 com LoRA/DoRA para Geração de Vídeos de Robôs", que também usa adaptadores para economizar memória. Agora a mesma ideia chega à geração 3D, com a escolha de quais estágios do pipeline recebem adaptador.

Para quem trabalha com geração 3D em robótica, simulação ou mídia, isso indica um caminho barato para corrigir falhas específicas de categoria sem retreinar o modelo inteiro. É uma leitura editorial: o resultado vale para calçados do GSO, e o texto não traz, no material, uma métrica que prove ganho em outros domínios. Vale testar com seu próprio dataset e checar se ele tem mapas de material limpos antes de mexer na textura.