Feldera: como um motor de SQL contínuo usa atualizações incrementais para otimizar pipelines de dados

O Feldera não é só mais um SQL-on-streaming: ele reescreve a física da execução com DBSP, uma abordagem que transforma cada consulta em um circuito de atualizações incrementais. Enquanto Polars acelera joins por ordenação e QuestDB aplica SIMD em kernels vetoriais, o Feldera opera em outro nível, o da álgebra de mudanças. Ele representa dados como Z-sets (multiconjuntos assinados), onde cada inserção é +1, cada deleção é -1, e atualizações viram um par (+1, -1) no mesmo passo. Isso elimina recálculos completos: um JOIN entre duas tabelas de 10 milhões de linhas não roda de novo quando chega um novo evento, apenas os deltas propagam através do grafo de dependência, ajustando apenas as tuplas impactadas.

Essa semântica explica por que o Feldera escala com O(Δ), não com O(N). Em benchmarks Nexmark, superou o Flink em até 6,2x com menos memória, não por otimizações de baixo nível, mas porque sua arquitetura evita o problema desde o início. E, diferentemente das views materializadas do ClickHouse (que exigem ordem estrita e falham com atrasos), o Feldera lida nativamente com eventos fora de ordem graças à coleta de lixo automática e ao modelo de tempo lógico integrado ao DBSP.

A cobertura anterior do CEVIU sobre Delta Lake (09/04/2026) alertava para a degradação silenciosa de pipelines por acúmulo de arquivos pequenos, um sintoma de processamento batch disfarçado de streaming. Agora, com o Feldera v0.44 (abril/2025), o armazenamento baseado em LSM-tree está ativado por padrão, permitindo pipelines contínuos que operam com conjuntos de dados maiores que a RAM sem fragmentar o armazenamento. Além disso, o conector PostgreSQL agora escreve resultados *incrementalmente*, não em loads completos, o que resolve diretamente o gargalo de I/O que afunda muitos fluxos Medallion.

Para engenheiros de dados, isso muda a equação de custo-benefício entre complexidade e desempenho. Não é mais preciso escolher entre SQL simples (mas lento) e código customizado (rápido, mas frágil). O Feldera entrega ambas as coisas: toda a expressividade do SQL, incluindo recursão, funções de janela e UDFs, com garantias de consistência forte, latência previsível e uso eficiente de recursos. Isso reduz a necessidade de camadas de auto-cura como as da Halodoc, pois falhas são recuperáveis de forma reproduzível via checkpoints incrementais a cada 60 segundos, sem interrupção de serviço nem perda de estado.