Treinar Menos para Memorizar Mais: O Pruning de Dados de Treinamento Melhora a Memorização de Fatos

O pruning de dados de treinamento aprimora a memorização de fatos em LLMs, o que reduz alucinações e melhora o desempenho em tarefas intensivas em conhecimento. Ao limitar os fatos e nivelar as distribuições de frequência, o método eleva a precisão dos fatos até os limites de capacidade. Isso permite que modelos menores memorizem mais fatos, igualando o desempenho de modelos significativamente maiores.