Dimensionando o Pós-Treinamento de LLMs na Netflix

A Netflix desenvolveu um Framework de Pós-Treinamento interno para escalar efetivamente a adaptação de LLMs, visando aprimorar as experiências dos membros em áreas como recomendações e busca. Este framework aborda desafios críticos de engenharia encontrados ao fazer fine-tuning de LLMs de nível de produção, incluindo pipelines de dados complexos, coordenação distribuída de GPUs e intrincados workflows de treinamento multiestágio.

Ele oferece componentes modulares para gerenciar dados, modelos, compute e diversos workflows, suportando métodos que vão desde o supervised fine-tuning (SFT) até o reinforcement learning (RL) avançado.