Blog de Engenharia Zalando - Por Que Abandonamos os Joins da Flink Table API: Reduzindo o Estado em 75% com DataStream Unions

Engenheiros da Zalando reduziram o tamanho do estado de suas aplicações Apache Flink em 75% (de 240GB para 56GB) ao abandonar a Table API do Flink SQL em favor de uma solução customizada baseada na DataStream API. Essa abordagem consolidou quatro joins encadeados em um único operador.

A solução customizada, denominada MultiStreamJoinProcessor, não só diminuiu drasticamente os tempos de snapshot e as durações de restart, como também gerou uma redução de 13% nos custos da AWS. A equipe observa que o novo Multi-Way Join Operator experimental do Flink 2.1 deverá, eventualmente, abordar problemas de amplificação de estado semelhantes aos encontrados no Flink 1.20.