Como a Vimeo Implementou Legendas com IA

Ao desenvolver um sistema de tradução de legendas baseado em LLMs, a Vimeo encontrou um problema contraintuitivo: a IA fundia trechos de fala fragmentados em uma única frase coesa, resultando em espaços de tempo vazios e telas em branco durante a reprodução do vídeo. A solução adotada envolveu a divisão do pipeline em três fases distintas: primeiro, a segmentação do conteúdo original em unidades de pensamento lógicas; segundo, a tradução do texto de forma livre, sem restrições estruturais; e, finalmente, uma chamada separada a um LLM para mapear o texto traduzido de volta ao número correto de linhas temporizadas, garantindo a sincronia visual.