Plataformas de Streaming Reavaliam Dependência do Kafka com Novas Abordagens

A evolução das plataformas de streaming de dados aponta para uma diversificação de arquiteturas que buscam superar limitações do modelo tradicional do Kafka. Projetos como Iggy, S2 e OpenData Log representam essa “terceira onda” de tecnologias, propondo abordagens que priorizam performance, simplicidade e flexibilidade.

O Iggy, construído em Rust, foca em alta performance usando TCP, QUIC e HTTP, e se afasta intencionalmente do protocolo Kafka para otimizar a velocidade e a arquitetura thread-per-core. Já o S2 simplifica a interface, abstraindo conceitos como produtores, consumidores e partições, e utiliza HTTP com armazenamento de objetos para garantir durabilidade e retenção ilimitada, um diferencial para cenários de longa duração como sessões de IA. O OpenData Log, por sua vez, redefine o particionamento, propondo um roteamento baseado em chaves que melhora a eficiência em cargas de trabalho de roteamento de eventos, também apostando em HTTP e armazenamento de objetos como backend.

A cobertura anterior do CEVIU, especialmente a matéria de 11 de junho de 2026 sobre o Streamling, já destacava runtimes de streaming open-source baseados em Rust com suporte ao Kafka. A notícia atual mostra uma evolução: o Streamling é agora visto alavancando alternativas como o S2 para construir pipelines completos, indicando que esses runtimes estão ampliando suas compatibilidades além do ecossistema Kafka. Essa transição reflete a “terceira onda” mencionada, onde a compatibilidade com o protocolo Kafka deixa de ser o principal objetivo.

Além disso, a discussão sobre a formação de Lakehouses eficientes e econômicas usando soluções como Cloudflare R2 e Apache Iceberg, reportada em 16 de julho de 2026, ganha um novo contorno. A aposta de S2 e OpenData Log no armazenamento de objetos para durabilidade e escalabilidade mostra que a arquitetura Lakehouse, antes vista como promessa, agora se integra diretamente à fundação dessas novas plataformas de streaming, combinando a agilidade do streaming com a robustez do armazenamento de baixo custo.

A emergência dessas novas plataformas é crucial para engenheiros e arquitetos de dados que buscam soluções mais otimizadas para desafios específicos. A quebra com a dependência do protocolo Kafka abre caminho para inovações em performance e modelos de consumo. O uso de armazenamento de objetos oferece escalabilidade e durabilidade a custos mais baixos, fundamental para dados de IA, IoT e analytics em larga escala.

A possibilidade de roteamento mais inteligente, como no OpenData Log, e a interface simplificada de S2 significam menos complexidade operacional e maior flexibilidade no design de pipelines de dados. Isso pode democratizar o acesso a soluções de streaming de alta performance, permitindo que as empresas construam arquiteturas de dados mais adaptadas às suas necessidades, sem ficarem presas a um único padrão de mercado.