Transformers Elásticos em Loop da DeepMind Otimizam Geração de Imagens e Vídeos

Os Elastic Looped Transformers utilizam blocos recorrentes com pesos compartilhados para reduzir o número de parâmetros, mantendo a qualidade na geração de imagens e vídeos. A técnica de Intra-Loop Self Distillation permite um desempenho consistente em diferentes profundidades de loop, viabilizando trade-offs dinâmicos entre compute e qualidade a partir de um único modelo treinado.