Arquiteto-chefe da JioStar conta como levou a descoberta de conteúdo com IA ao JioHotstar, com mais de 500 milhões de consumidores

A JioStar opera plataformas de entretenimento e esportes ao vivo com mais de 500 milhões de consumidores e já sustentou até 72,5 milhões de espectadores simultâneos em esportes ao vivo. Com a OpenAI API, construiu no JioHotstar um assistente conversacional para achar filmes, séries, destaques históricos, lances de partidas ao vivo e estatísticas de críquete. O resultado volta numa experiência visual e conversacional, que o Chief Architect Vijay Seshadri chama de voice-visual interface.

O projeto começou em outubro e novembro, com um grande torneio de críquete marcado para fevereiro, e saiu em cerca de oito semanas para mais de 15 idiomas. Seshadri enquadrou o problema desde cedo como um tradeoff entre precisão, latência e custo. Isso pesa mais porque mais de 60% dos usuários falam em vez de digitar.

Na avaliação, ele separa um framework de evals e uma camada de validação. Em produção, um ciclo de feedback transforma comportamento e falhas de clientes em novos casos de eval. Para estatísticas esportivas, a equipe levou editores de revistas esportivas para semear os testes. Os evals partiram de um dataset inicial, expandido por modelos. Usaram um padrão maker-checker: um modelo decide como responder, outro valida como LLM juiz, com objetivo concorrente. Surge aí a pergunta de quem testa o juiz. O Codex acelerou a geração de casos de eval e as atualizações do sistema, mas sem dispensar julgamento humano.

A equipe era pequena, com cientistas de dados e engenheiros, apoiada por forward-deployed engineers da OpenAI. Primeiro definiram o escopo e os guardrails, ou seja, o que o sistema não deve responder. Seshadri diz que, olhando para trás, investiria mais cedo em monitoramento de eficácia do modelo em produção, porque métricas como latência P99 não bastam.

Para quem leva IA conversacional à produção, o relato mostra onde o trabalho pesa de verdade: definir escopo, montar evals com especialistas de domínio e monitorar a qualidade das respostas, não só a infraestrutura. Vale como referência de processo, mas os números de custo e latência da JioStar não aparecem na fonte, então a comparação com outros casos fica limitada.