Auto-destilação Trivialmente Simples Aprimora a Geração de Código

A auto-destilação simples (SSD) é um processo em que modelos são submetidos a fine-tuning utilizando amostras de sua própria saída por meio de fine-tuning supervisionado padrão. Este método oferece uma abordagem complementar pós-treinamento para aprimorar a geração de código por LLMs. A SSD pode melhorar a geração de código em modelos usando apenas as saídas brutas. Este estudo investiga os motivos pelos quais um método tão simples pode ser eficaz.