Desafios do Kafka em Roteamento de Logs de Alta Cardinalidade: Uma Nova Proposta

O OpenData Log surge como uma ferramenta para resolver o problema de roteamento de logs de alta cardinalidade, um ponto fraco para sistemas como o Apache Kafka. Enquanto Kafka se destaca em ser um “funil” para grandes volumes de dados, frequentemente sem chave e focados em throughput, o OpenData Log é um “roteador” eficiente. Ele foi projetado para lidar com milhões de logs ordenados individualmente por chave, uma necessidade comum em arquiteturas de microsserviços ou sistemas de mensagens que exigem acesso rápido a dados específicos.

A arquitetura do OpenData Log, construída em Rust e operando sobre object storage e SlateDB, é o diferencial. Ele usa uma árvore LSM segmentada com chaves (key, sequence), o que permite anexar novos dados rapidamente e acessar dados antigos de forma eficiente. Esta abordagem elimina a necessidade de particionamento tradicional, escalando a leitura de réplicas e possibilitando splits de metadados sem mover dados, otimizando custos e desempenho para logs chaveados.

A cobertura anterior do CEVIU News já apontava para uma reavaliação da dependência do Kafka por diversas plataformas de streaming, com a matéria de 30 de julho de 2026, 'Plataformas de Streaming Reavaliam Dependência do Kafka com Novas Abordagens'. O OpenData Log se alinha a essa tendência, apresentando uma alternativa focada em um problema específico: o roteamento de logs de alta cardinalidade. Ele não busca substituir o Kafka como um todo, mas complementá-lo onde suas características de “funil” não são ideais para o acesso chaveado.

Outra evolução notável, que se conecta com a arquitetura do OpenData Log, é a aprovação do KIP-1150 no Apache Kafka, que introduz os Diskless Topics. Noticiado em 16 de março de 2026 como 'KIP-1150 Aceito e o Caminho Adiante', essa iniciativa permite a separação entre computação e armazenamento no Kafka, movendo a replicação para o object storage. O OpenData Log já nasce com essa premissa, operando nativamente sobre object storage para durabilidade e escalabilidade, mostrando que a indústria avança em soluções baseadas em armazenamento em nuvem para sistemas de logs.

Para engenheiros de dados e arquitetos, o OpenData Log oferece uma solução eficaz para um desafio crescente em sistemas distribuídos. A capacidade de gerenciar milhões de logs individuais com alta cardinalidade, sem os gargalos de desempenho e custo associados a abordagens inadequadas, é um diferencial significativo. Isso impacta diretamente a observabilidade, a rastreabilidade e a eficiência de pipelines de dados em ambientes que demandam acesso rápido a dados específicos por chave.

A escolha de tecnologias como Rust e object storage reflete uma busca por performance e custo-benefício. Ao desacoplar o armazenamento e a computação e otimizar para acesso chaveado, o OpenData Log promete reduzir a complexidade e o custo operacional de sistemas de logs, liberando recursos para inovação em vez de manutenção de infraestrutura.