Como o Reddit Migrou o Kafka em Escala de Petabytes do EC2 para o Kubernetes

O Reddit migrou sua frota Apache Kafka em escala de petabytes, com mais de 500 brokers, do Amazon EC2 para o Kubernetes. A transição foi realizada sem qualquer downtime, perda de dados ou alterações no lado do cliente . Para alcançar isso, a equipe implementou uma fachada DNS para abstração de conexão contínua, dobrou o tamanho do cluster com brokers EC2 de IDs mais altos para liberar IDs mais baixos, e fez um fork do operador Strimzi para permitir uma operação mista EC2-Kubernetes .