Netflix simplifica o batch compute com Kueue

A Netflix trocou seu sistema interno de enfileiramento de jobs, o CMB, pelo Kueue, um componente open source do ecossistema Kubernetes. Isso não foi só uma troca de ferramenta, foi uma mudança de arquitetura: de um orquestrador customizado para um sistema que entende nativamente as primitivas do Kubernetes, como Pod e Job. O Kueue gerencia fila, prioridade e quota em nível de cluster, permitindo que a plataforma Titus deixe de cuidar de lógica de agendamento e se concentre em execução e federacao. A migração eliminou a necessidade de manter código próprio para fair share e preempção, que antes eram implementados de forma parcial e rígida no CMB.

Com o Kueue, a Netflix ganhou preempção real: jobs de baixa prioridade podem ser interrompidos para liberar recursos para os de alta prioridade, mesmo dentro de reservas de capacidade. Isso aumentou a utilização média de recursos sem sacrificar isolamento entre equipes. Ainda, a integração direta com o kube-scheduler evitou fragmentação de placement, algo crítico para manter eficiência em milhares de nós. A operação virou mais simples: um clique no UI transforma um tenant em ClusterQueue + LocalQueue, com conversão automática de quotas e flavors de recurso.

Para quem opera plataformas de containers em escala, essa migração mostra que é possível substituir sistemas internos complexos por componentes maduros do ecossistema Kubernetes sem perder funcionalidade, e com ganho de confiabilidade. O Kueue não exige substituir o scheduler, o que o torna compatível com plataformas que já têm lógica de placement própria, como Titus. Isso é um modelo para outras empresas que usam Kubernetes em camadas abstratas: não precisa reinventar a roda. Ainda, a abordagem de migração transparente, com rollout por tenant e rollback fácil, é um case de baixo risco que outras equipes podem replicar. A Netflix provou que, em batch compute, o open source não é só para startups, é a base para operações de ponta.