Kafka Sem Disco: Uma Nova Arquitetura para Armazenamento e Performance

O conceito de Kafka sem disco propõe uma reengenharia fundamental na arquitetura de persistência, dissociando o armazenamento de payloads dos logs locais dos brokers. A durabilidade principal dos dados é transferida para object storage, como Amazon S3 ou Google Cloud Storage, enquanto o broker foca no processamento e orquestração. Essa separação visa mitigar custos operacionais, especialmente aqueles relacionados à replicação de dados entre zonas de disponibilidade, e possibilita que os recursos de computação e armazenamento escalem de forma independente. O grande desafio técnico é conciliar a natureza de log sequencial do Kafka com a otimização de objetos imutáveis do object storage. Isso leva ao desenvolvimento de estratégias complexas de batching cross-partições e à necessidade de uma camada de metadados robusta e fortemente consistente para gerenciar a ordem, os offsets e a integridade dos dados.

É importante ressaltar que “sem disco” não significa a ausência total de armazenamento local, mas sim que o disco do broker deixa de ser a fonte primária de verdade para os dados do usuário. Diferentes implementações, como WarpStream, AutoMQ e Redpanda, abordam essa arquitetura com estratégias distintas. O WarpStream, por exemplo, escreve diretamente para o object storage, mantendo seus agentes sem estado. Já o AutoMQ integra um Write-Ahead Log (WAL) compartilhado para otimizar a persistência, enquanto o Redpanda adota um modelo “disk-lite”, mantendo metadados por partição via Raft em seus brokers. Essas abordagens mostram as diferentes escolhas de design e trade-offs envolvidos na construção de um sistema de streaming distribuído com durabilidade no object storage.

A discussão em torno do Kafka sem disco amadureceu consideravelmente nos últimos meses. Em 16 de março de 2026, o CEVIU News noticiou a aceitação do KIP-1150, um marco que viabilizou os Diskless Topics no Apache Kafka. Naquela época, o foco estava na proposição e na viabilidade da separação entre compute e armazenamento. Agora, o cenário evoluiu da aprovação da ideia para implementações concretas e produtos já disponíveis no mercado. Além dos avanços nas discussões dos KIPs 1163 e 1164, que detalham a implementação nativa no projeto Apache Kafka, já vemos entregas como o Redpanda Cloud Topics, que se tornou geralmente disponível em 2026. Isso demonstra que o conceito não é mais apenas uma proposta, mas uma realidade em ofertas comerciais robustas, impactando diretamente as arquiteturas de dados.

Para engenheiros e arquitetos de dados, o Kafka sem disco representa uma evolução arquitetural crucial. Ele resolve gargalos significativos de custo e escalabilidade em ambientes de nuvem, onde o tráfego de replicação entre zonas de disponibilidade e o provisionamento de grandes volumes de armazenamento para brokers podem ser financeiramente onerosos. Ao desacoplar o compute do armazenamento, a resiliência operacional melhora, com a substituição de brokers se tornando mais rápida e o dimensionamento da capacidade mais flexível. Essa abordagem permite projetar pipelines de dados mais eficientes e econômicos, especialmente para cargas de trabalho que demandam retenção de dados de longo prazo em object storage sem comprometer a capacidade local dos brokers. Isso abre novas fronteiras para a otimização de custos e performance em arquiteturas de streaming.