Avaliação de Sinopses de Programas Netflix com LLM-as-a-Judge

A Netflix desenvolveu um sistema LLM-as-a-Judge para avaliar sinopses de programas em quatro dimensões de qualidade. O sistema é ancorado em um "golden set" de aproximadamente 600 exemplos rotulados por especialistas, construído através de um rigoroso processo de calibração. Essa abordagem, que emprega "judges" e técnicas como "tiered reasoning" e "consensus scoring", atinge uma precisão de 83% a 92%, permitindo que a equipe identifique e corrija sinopses deficientes semanas antes do lançamento de um programa.