Netflix inova com arquitetura interna para servir LLMs de ponta a ponta

A Netflix decidiu internalizar o serving de LLMs, uma guinada estratégica para controlar a performance e os custos. A espinha dorsal dessa arquitetura é um sistema de serving baseado em JVM, que já lida com roteamento e A/B testing para seus modelos de ML. Para LLMs, o tráfego é direcionado ao Model Scoring Service (MSS), um backend de inferência unificado que já suportava modelos como XGBoost, TensorFlow e PyTorch. O MSS usa o Triton Inference Server para gerenciar GPUs e carregamento de modelos, com o vLLM operando como motor principal de inferência.

A plataforma oferece uma API HTTP compatível com OpenAI, facilitando a integração para desenvolvedores. As implantações são padronizadas, com estratégias como Red-Black para interfaces estáveis e Versioned para mudanças mais disruptivas. A decodificação guiada é um ponto chave, permitindo que a Netflix force as LLMs a gerarem saídas em formatos específicos, como JSON válido, através de processadores de logits customizados.

A evolução da arquitetura de serving de LLMs na Netflix é clara em dois pontos cruciais. Primeiro, a empresa mudou seu motor de inferência principal. Inicialmente construída sobre o TensorRT-LLM, a plataforma migrou para o vLLM por volta do verão de 2025. Essa mudança foi impulsionada por melhorias de performance em motores de código aberto e pela necessidade de maior flexibilidade para cargas de trabalho variadas, como geração de embeddings e modelos customizados, além da facilidade de depuração e familiaridade da comunidade com o vLLM.

Outra grande mudança foi a otimização da decodificação guiada. A implementação inicial, em vLLM V0, era baseada em Python e tinha gargalos de CPU, com o tempo de processamento de logits crescendo linearmente com o tamanho do batch. No quarto trimestre de 2025, a Netflix migrou para o vLLM V1, que permitiu uma abordagem em nível de batch e a reescrita de caminhos críticos em C++ com multi-threading, resolvendo o problema de escala e mantendo a performance mesmo com grandes volumes de requisições.

Esta abordagem é um passo decisivo para a Netflix, que opta por ter controle total sobre sua infraestrutura de IA. Ao evitar APIs externas, a empresa garante menor latência, otimização de custos e conformidade rigorosa com a privacidade de dados. Isso permite que a Netflix personalize profundamente os modelos e suas saídas para casos de uso específicos, como sistemas de recomendação e interação com usuários.

Construir e gerenciar internamente essa capacidade de serving de LLMs significa que a Netflix pode inovar mais rápido. A unificação da API (inclusive com compatibilidade OpenAI) e a integração com seu sistema de inferência existente facilitam a experimentação e a passagem de modelos de pesquisa para produção de forma fluida, o que é vital para uma empresa de tecnologia que depende tanto de dados e personalização.