Melhores Experimentos com Evals de LLM — Um funil, não um fork

Artigo da Spotify Engineering propõe tratar as avaliações de LLM (LLM evals) e experimentos A/B online como um funil. A ideia é usar LLM judges (avaliadores baseados em LLM) no início do processo para verificar a qualidade (relevância, tom e coerência) e filtrar ideias fracas antes que consumam recursos de experimentos. Essa abordagem visa aumentar a taxa de sucesso dos experimentos. A execução de evals sobre os resultados dos experimentos cria um ciclo de feedback que calibra e aprimora continuamente os próprios LLM judges.