Como otimizamos o avaliador de relevância do Dash com DSPy

Utilizando o otimizador do DSPy, a Dropbox definiu um objetivo claro para o avaliador de relevância do Dash: minimizar o erro médio quadrático normalizado em relação a avaliações humanas. A equipe incorporou feedback estruturado a partir de lacunas nas avaliações e racionalizações humanas, garantiu a validade de JSON com guardrails e realizou o refinamento iterativo de prompts. Esses avanços possibilitaram de 10 a 100 vezes mais rotulagem sintética pelo mesmo custo e aceleraram a troca de modelos de semanas para 1-2 dias, otimizando significativamente o processo.