Modularidade Emergente em Modelos Mixture-of-Experts

A Allen AI lançou o EMO, um modelo Mixture-of-Experts que aprende a organização modular dos especialistas diretamente dos dados de pré-treinamento, em vez de domínios predefinidos. Tarefas podem ser executadas utilizando apenas 12,5% dos especialistas, mantendo um desempenho próximo ao do modelo completo.