Google Apresenta Masking Aleatório para Otimização de LLMs

Pesquisadores do Google demonstraram que o masking aleatório de atualizações de parâmetros pode superar otimizadores adaptativos densos. Uma variante do RMSProp mascarado superou métodos recentes de ponta. O otimizador Magma proposto por eles utiliza o momentum-aligned gradient masking para melhorar a eficiência do pré-treinamento de LLMs.