Usando LLMs para Ampliar a Rotulagem Humana e Melhorar a Relevância da Busca no Dropbox Dash

O Dropbox aprimorou a relevância da busca no Dropbox Dash ao combinar um pequeno conjunto inicial de julgamentos de relevância consulta-documento, rotulados por humanos e de alta qualidade, com a rotulagem assistida por LLMs. Essa abordagem escalou os dados de treinamento em cerca de 100 vezes . A equipe otimizou os prompts dos LLMs com dados humanos para minimizar discordâncias, e então empregou o LLM calibrado offline como um "professor", gerando um grande volume de rótulos sintéticos a partir de amostras representativas ou com potencial de erro .