Treinado em Tokens, Calibrado em Conceitos: A Emergência da Calibração Semântica em LLMs

A calibração semântica surge como um subproduto da previsão do próximo token. Modelos base estão surpreendentemente bem calibrados ao usar uma noção, baseada em amostragem, de calibração semântica. Eles conseguem avaliar de maneira significativa a confiança em tarefas de perguntas e respostas em domínios abertos, mesmo sem treinamento explícito para isso.