Netflix Compartilha Detalhes de Sua Infraestrutura Interna de LLMs

A Netflix não seguiu o caminho comum de usar APIs de LLMs de terceiros. Em vez disso, a empresa construiu uma infraestrutura interna completa, desde a implantação até a inferência, dentro de seu ambiente de produção. Essa estratégia permitiu controle total sobre o desempenho e a integração com seu ecossistema existente, um ponto crucial para uma empresa que escala IA para milhões de usuários. A base é um sistema de serviço baseado em JVM que gerencia o fluxo de ponta a ponta, incluindo roteamento, testes A/B e inferência, com suporte a caminhos em tempo real e em lote.

O Model Scoring Service (MSS) da Netflix atua como um backend de inferência unificado. Ele suporta modelos como XGBoost, TensorFlow, PyTorch e, agora, LLMs, tudo sob o NVIDIA Triton Inference Server. Sobre o Triton, uma camada de controle em Java orquestra a implantação, versionamento, saúde e autoescalonamento. Para os LLMs, a Netflix optou pelo vLLM como motor principal, após uma reavaliação de performance e fit operacional, especialmente por sua capacidade de lidar com arquiteturas personalizadas e oferecer ganchos de extensibilidade para decodificação com restrição. A interface da API é flexível, oferecendo gRPC para integração com sistemas legados e uma API compatível com OpenAI, que é um padrão de mercado para o ecossistema de LLMs.

A plataforma de LLMs da Netflix passou por duas evoluções técnicas importantes. Inicialmente, o motor de inferência era baseado no TensorRT-LLM. Contudo, em meados de 2025, a Netflix migrou para o vLLM. Essa mudança foi motivada pela evolução dos motores de código-aberto, que alcançaram paridade de desempenho, e pela necessidade de suportar uma gama mais ampla de cargas de trabalho, como geração de embeddings e decodificação com restrição.

Houve também uma melhoria significativa na implementação da decodificação com restrição. A versão inicial, rodando em vLLM V0 (final de 2025), era em Python puro e apresentava gargalos de escalabilidade devido ao processamento sequencial de requisições. Com a transição para vLLM V1, a Netflix reescreveu o processador de logits para operar em nível de lote e implementou o caminho crítico em C++ com multithreading. Isso resolveu o gargalo de performance e permitiu o escalonamento da decodificação com restrição, tornando-a muito mais eficiente sob carga de produção.

A decisão da Netflix de construir e operar sua própria infraestrutura de LLMs representa um modelo para outras grandes empresas de tecnologia. Em vez de depender de soluções de terceiros, que podem introduzir latência, custos imprevisíveis e limitações de personalização, a Netflix mostra que é possível ter controle total. Isso garante que a IA seja adaptada às suas necessidades específicas de negócios, como aprimoramento de algoritmos de recomendação e criação de conteúdo, mantendo a privacidade dos dados.

O detalhamento técnico oferece um blueprint valioso sobre os desafios e soluções na operacionalização de LLMs em escala de produção. As lições aprendidas sobre seleção de motor, empacotamento, design de API, estratégias de implantação e, especialmente, a otimização de funcionalidades avançadas como a decodificação com restrição, são cruciais. É um guia prático sobre como otimizar desempenho, custo e flexibilidade no uso de IA para aplicações críticas, tornando a experiência do usuário mais rica e personalizada.