UiPath implementa sistema de alertas em tempo real no Spark para 20 mil definições por minuto
Aprofundamento CEVIU
Aprofundamento
A UiPath implementou um sistema de alertas em tempo real no Spark Structured Streaming (SSS) capaz de avaliar 20.000 definições de alerta por minuto. O desafio técnico era construir um sistema que suportasse condições agregadas (exemplo: mais de cinco falhas em dez minutos), filtros diversos e múltiplos tipos de janelas de tempo, de um minuto a 24 horas, ou mesmo sem janela. A solução se destaca por evitar releituras redundantes dos dados de origem e otimizar o uso de memória.
Para contornar as limitações de janelamento fixo das funções nativas window() e withWatermark() do SSS, que não atendiam à variedade de janelas e tipos de alerta necessários, a UiPath usou o operador flatMapGroupsWithState(). Este operador permite processamento stateful arbitrário, com lógica de atualização e expiração de estado definidas pelo usuário. A arquitetura da UiPath combina um stream de eventos do Azure EventHub com definições de alerta em batch do SQL Server. A chave do agrupamento para flatMapGroupsWithState() foi customizada, incluindo o AlertKey e os tempos de início/fim da janela (AlertKey_windowStartTime_windowEndTime), permitindo o suporte a múltiplas janelas em um único pipeline e até janelas deslizantes ao emitir múltiplos eventos por input.
O que mudou
Em 9 de novembro de 2026, o CEVIU noticiou em “Apache Spark 4.3.0 leva processamento stateful ao Real-Time Mode do Structured Streaming” que o Spark 4.3.0 traria o processamento stateful para o Real-Time Mode do Structured Streaming, com suporte a agregações e operações customizadas. Este anúncio, que era uma novidade na versão 4.3.0, já está sendo aplicado na prática pela UiPath, que usou o flatMapGroupsWithState() para a sua solução de alertas, que se enquadra nas "operações stateful customizadas".
Antes disso, em 31 de agosto de 2026, “Spark 4.1.0 Desembarca com Pipelines Declarativos e Otimizações de Streaming” já havia introduzido um modo de streaming estruturado em tempo real, prometendo maior eficiência. A UiPath aprofunda essa eficiência ao evitar releituras da fonte e otimizar o uso de memória, indo além do que o Spark 4.1.0 oferecia inicialmente.
Por que isso importa
Para engenheiros e cientistas de dados, esta solução da UiPath é um exemplo prático de como superar as limitações das APIs nativas do Spark Structured Streaming para cenários complexos. A forma como a UiPath manipula o estado e as janelas através de flatMapGroupsWithState() mostra um caminho para criar lógicas de negócios sofisticadas sem sacrificar performance. A redução do uso de memória de 12GB para 4GB, combinada com a diminuição das requisições de rede para o Snowflake, indica que a otimização de recursos é crítica em sistemas de larga escala e pode ser alcançada com abordagens inteligentes no design do schema do GroupState e na separação de sinks de escrita.
A técnica de junção de streams com definições estáticas broadcastadas e a filtragem dinâmica de condições de alerta servem como um blueprint para quem precisa processar grandes volumes de dados de eventos contra regras de negócio que mudam frequentemente. O cuidado em escolher o tempo de processamento em vez do tempo de evento para garantir previsibilidade e evitar outliers com timestamps inconsistentes é uma lição importante na arquitetura de sistemas de streaming.
Linha do tempo
CEVIU noticiou o Spark 4.1 e o Real-Time Mode (RTM), competindo com Flink para baixa latência.
Apache Spark 4.1.0 lançado com pipelines declarativos e otimizações de streaming.
Databricks lançou Public Preview do reparticionamento de estado sob demanda para Spark Structured Streaming.
Apache Spark 4.3.0 adicionou processamento stateful ao Real-Time Mode do Structured Streaming.
UiPath implementa sistema de alertas em tempo real no Spark para 20 mil definições por minuto.
Perguntas frequentes
Qual o principal desafio técnico que a UiPath enfrentou ao desenvolver este sistema de alertas?
O principal desafio foi criar um sistema de alertas em tempo real que suportasse uma ampla gama de condições agregadas, filtros e janelas de tempo variáveis (de um minuto a 24 horas, ou sem janela). As funções nativas do Spark Structured Streaming não ofereciam a flexibilidade necessária para estas exigências.
Como a UiPath otimizou o uso de memória neste sistema de alertas?
A UiPath otimizou o uso de memória com mudanças no schema do GroupState. Eles armazenaram IDs como UUIDs em vez de Strings, converteram Timestamps para números epoch longos e armazenaram estados como bytes. Essas otimizações reduziram o uso de memória de 12GB para 4GB em testes de performance.
Por que a UiPath escolheu o operador flatMapGroupsWithState()?
A UiPath escolheu flatMapGroupsWithState() por sua flexibilidade. Este operador permite processamento stateful arbitrário, com lógica de atualização e expiração de estado totalmente definidas pelo usuário. Isso foi crucial para lidar com a multiplicidade de tamanhos de janela e tipos de cálculo de alerta exigidos pelo sistema.
Como a solução evita leituras redundantes da fonte de dados?
A solução evita leituras redundantes ao garantir que o stream de eventos do Azure EventHub seja lido apenas uma vez. As definições de alerta do SQL Server são broadcastadas, e o operador flatMapGroupsWithState() processa múltiplos tipos de alerta e evento dentro de uma única função, em vez de dividir o stream em diferentes tipos de eventos.
Fontes
- engineering.uipath.comfonte original
- Categoria
- CEVIU Dados
- Publicado
- 16 de novembro de 2026
- Editoria
- CEVIU Dados

