Avaliações de IA no Mundo Real: Julgamento Humano, Juízes LLM e as Lacunas Existentes

Pontuações de testes de IA convencionais não se mostram eficazes para bots de atendimento ao cliente, que exigem a manutenção de conversas contínuas, a compreensão de intenções subjacentes e a capacidade de levar usuários a compartilhar informações de contato. ️ Para superar essa limitação, a equipe desenvolveu um sistema de avaliação aprimorado. Este novo sistema combina a análise humana para os pontos mais desafiadores, com a pontuação automática por LLMs (LLM-as-judge) para garantir escalabilidade. Além disso, inclui verificações pontuais feitas por humanos para identificar e corrigir casos problemáticos.