Como o Yelp Construiu o "Yelp Assistant"

O Yelp desenvolveu um assistente de IA projetado para responder a perguntas específicas sobre estabelecimentos, como "O pátio é aquecido?". Este sistema busca evidências em avaliações, fotos e atributos de negócios, evitando depender exclusivamente do conhecimento intrínseco do LLM . O verdadeiro desafio não foi a criação do protótipo inicial, mas sim sua preparação para produção.

Isso envolveu a decomposição de uma única chamada de LLM, antes robusta, em estágios especializados, a manutenção de dados atualizados em tempo real e a drástica redução da latência, de mais de 10 segundos para menos de 3,5 segundos .