Dinâmica de Generalização no Pré-treinamento de Modelos de Linguagem

Modelos de linguagem (LMs) demonstram mudanças imprevisíveis entre repetição de padrões e exibição de inteligência adaptativa durante o pré-treinamento, um fenômeno chamado "mode-hopping". Esse comportamento não pode ser corrigido por técnicas de otimização padrão e se manifesta como uma competição pela capacidade do modelo, influenciada pelos dados de cada janela de treinamento. Pesquisadores propõem aproveitar essas dinâmicas para selecionar melhor os checkpoints de pré-treinamento, organizar dados para stable generalization e avaliar métricas que prevejam o comportamento dos LMs.