KIP-1150 Aceito e o Caminho Adiante

O KIP-1150 não é uma extensão do Tiered Storage (KIP-405), mas uma reinvenção arquitetônica: os brokers deixam de ser responsáveis pela durabilidade dos dados do usuário. Em vez de escreverem em discos locais e replicarem entre si, eles enviam lotes diretamente para S3, GCS ou Azure Blob, com um Batch Coordinator garantindo ordem e consistência via metadados centralizados no object storage. Isso elimina replicação inter-AZ, reduz custos operacionais em até 97% e remove gargalos de balanceamento de carga, pois novos brokers se juntam ao cluster sem esperar por cópias locais de logs.

O termo 'diskless' é enganoso à primeira vista: os brokers ainda usam disco para metadados, cache e operações temporárias. O que desaparece é o uso de discos como camada primária de persistência, a durabilidade passa a depender exclusivamente da redundância nativa do object storage. A latência p99 sobe para 200, 500ms (ou até 2s em cenários extremos), o que inviabiliza aplicações sensíveis a tempo real, mas é irrelevante para telemetria, logs e ETLs batch-streaming híbridos.

Essa mudança redefine o papel do Kafka em arquiteturas de dados modernas: ele deixa de ser um sistema de mensageria com armazenamento embutido e passa a atuar como um orquestrador de ingestão e entrega sobre uma camada de armazenamento universal. Para equipes de engenharia de dados, isso simplifica pipelines que antes exigiam múltiplas cópias (Kafka → S3 → Spark/Flink), agora o object storage vira a fonte única de verdade para consumo off-line e streaming simultâneo. Para SREs e finanças, significa cortar custos de transferência entre zonas e eliminar o dimensionamento conservador de discos locais em clusters de alta vazão.