Superando a Barreira do Microbatch: A Arquitetura do Modo em Tempo Real do Apache Spark

O novo Modo em Tempo Real do Apache Spark aborda o desafio de longa data entre o ETL de alta vazão e as cargas de trabalho de streaming de ultra baixa latência. Ele aprimora a arquitetura de microbatch do Spark Structured Streaming para um modelo de execução híbrido, visando alcançar latências em nível de milissegundos. Este avanço foi possível através de épocas de duração mais longa com fluxo de dados contínuo, estágios de processamento concorrentes e o uso de operadores não bloqueantes.