Apresentando o Streamling: um runtime de streaming de dados performático e extensível

O Streamling é um runtime de streaming open-source em Rust, lançado publicamente no evento Berlin Buzzwords 2024, projetado especificamente para workloads transacionais leves — como ingestão em tempo real, enriquecimento HTTP, dedupicação e transformações stateless — em vez de analytics pesados com estado distribuído. Diferentemente de frameworks consolidados como Apache Flink ou Spark Streaming, ele adota uma arquitetura de nó único (single-node), baseada no planejador do Apache DataFusion e no formato Arrow RecordBatch, permitindo SQL de streaming nativo e execução de transformações via WebAssembly (WASM) com TypeScript/JavaScript através do runtime Extism. Seu sistema de checkpointing segue uma adaptação leve do algoritmo Chandy–Lamport, garantindo entrega 'pelo menos uma vez', enquanto o estado persistente é gerenciado por backends plugáveis: memória, SQLite ou PostgreSQL — o que elimina dependência de sistemas externos de coordenação como ZooKeeper.

Uma inovação central é a abstração de tabelas dinâmicas, que permitem consultas SQL com estado atualizável em tempo real (ex.: lookup de IDs em uma tabela carregada de Postgres), viabilizando dedupicação e enriquecimento sem reinício de pipeline. O modelo de extensibilidade é agnóstico à linguagem: suporta plugins abi_stable, handlers HTTP customizados e UDFs seguras via FFI, tudo sem modificar o núcleo. Sua integração nativa com Kubernetes inclui ciclo de vida completo de pipelines (criar, pausar, reiniciar), dimensionamento automático e injeção de segredos por namespace — alinhado ao paradigma BYOC (Bring Your Own Cloud).

O Streamling responde a uma dor crescente no ecossistema de dados: a complexidade operacional excessiva de frameworks de streaming tradicionais para casos de uso simples. Empresas que precisam apenas de ingestão confiável de Kafka para ClickHouse ou enriquecimento de eventos com APIs externas gastam recursos significativos mantendo clusters Flink com shuffle distribuído, gerenciamento de estado e tolerância a falhas redundantes. O Streamling oferece uma alternativa minimalista, com menor superfície de ataque, implantação mais rápida (binário estático em Rust) e curva de aprendizado reduzida — especialmente para times já familiarizados com SQL e TypeScript. Isso acelera o time-to-value em cenários como onboarding de novos data sources, pipelines de observabilidade e fluxos de pagamento em tempo real, onde simplicidade, previsibilidade e baixa latência são prioridades absolutas.

Para desenvolvedores e engenheiros de dados, o Streamling muda o trade-off entre poder e praticidade: não exige conhecimento profundo de modelos de estado distribuído ou JVM tuning, mas ainda oferece garantias fortes (exactly-once delivery via checkpointing leve, isolamento de pipelines via namespaces Kubernetes). A capacidade de escrever transformações em TypeScript/WASM diretamente no pipeline — sem necessidade de compilação externa ou deploy separado — simplifica o ciclo de desenvolvimento local e CI/CD. Além disso, o suporte a tabelas dinâmicas com atualização externa permite construir pipelines híbridos (stream + batch) com SQL puro, reduzindo a necessidade de orquestradores adicionais como Airflow. No entanto, sua limitação intencional — ausência de junções entre streams com estado ou windowed aggregations distribuídas — exige avaliação cuidadosa: ele não substitui Flink para casos como detecção de fraudes em tempo real com janelas de 5 minutos, mas é altamente eficaz para roteamento inteligente de eventos, validação de schema e enrichments síncronos.