Pós-Treinamento Modular: A Estratégia da AllenAI para Modelos Mais Versáteis

A AllenAI descreve uma abordagem de pós-treinamento que constrói especialistas de domínio independentes e os combina usando uma arquitetura Mixture-of-Experts. Esse método permite que os modelos adquiram novas capacidades sem a necessidade de retreino completo ou a degradação de habilidades já existentes.