Escalando o Pós-Treinamento de LLMs na Netflix

A Netflix desenvolveu um Framework de Pós-Treinamento interno para escalar o pós-treinamento de LLMs, abstraindo as complexidades de infraestrutura. Isso é alcançado através de pipelines de dados otimizados, que incluem on-the-fly sequence packing e document masking para lidar com distribuições enviesadas.

O sistema também incorpora paralelismo avançado com FSDP e tensor parallelism, e utiliza workflows de orquestração baseados em Ray e Verl. A arquitetura integra PyTorch, vLLM e Hugging Face para garantir flexibilidade e suportar arquiteturas customizadas. ️