Voltar
UiPath implementa sistema de alertas em tempo real no Spark para 20 mil definições por minuto

UiPath implementa sistema de alertas em tempo real no Spark para 20 mil definições por minuto

Aprofundamento CEVIU

Aprofundamento

A UiPath implementou um sistema de alertas em tempo real no Spark Structured Streaming (SSS) capaz de avaliar 20.000 definições de alerta por minuto. O desafio técnico era construir um sistema que suportasse condições agregadas (exemplo: mais de cinco falhas em dez minutos), filtros diversos e múltiplos tipos de janelas de tempo, de um minuto a 24 horas, ou mesmo sem janela. A solução se destaca por evitar releituras redundantes dos dados de origem e otimizar o uso de memória.

Para contornar as limitações de janelamento fixo das funções nativas window() e withWatermark() do SSS, que não atendiam à variedade de janelas e tipos de alerta necessários, a UiPath usou o operador flatMapGroupsWithState(). Este operador permite processamento stateful arbitrário, com lógica de atualização e expiração de estado definidas pelo usuário. A arquitetura da UiPath combina um stream de eventos do Azure EventHub com definições de alerta em batch do SQL Server. A chave do agrupamento para flatMapGroupsWithState() foi customizada, incluindo o AlertKey e os tempos de início/fim da janela (AlertKey_windowStartTime_windowEndTime), permitindo o suporte a múltiplas janelas em um único pipeline e até janelas deslizantes ao emitir múltiplos eventos por input.

O que mudou

Em 9 de novembro de 2026, o CEVIU noticiou em “Apache Spark 4.3.0 leva processamento stateful ao Real-Time Mode do Structured Streaming” que o Spark 4.3.0 traria o processamento stateful para o Real-Time Mode do Structured Streaming, com suporte a agregações e operações customizadas. Este anúncio, que era uma novidade na versão 4.3.0, já está sendo aplicado na prática pela UiPath, que usou o flatMapGroupsWithState() para a sua solução de alertas, que se enquadra nas "operações stateful customizadas".

Antes disso, em 31 de agosto de 2026, “Spark 4.1.0 Desembarca com Pipelines Declarativos e Otimizações de Streaming” já havia introduzido um modo de streaming estruturado em tempo real, prometendo maior eficiência. A UiPath aprofunda essa eficiência ao evitar releituras da fonte e otimizar o uso de memória, indo além do que o Spark 4.1.0 oferecia inicialmente.

Por que isso importa

Para engenheiros e cientistas de dados, esta solução da UiPath é um exemplo prático de como superar as limitações das APIs nativas do Spark Structured Streaming para cenários complexos. A forma como a UiPath manipula o estado e as janelas através de flatMapGroupsWithState() mostra um caminho para criar lógicas de negócios sofisticadas sem sacrificar performance. A redução do uso de memória de 12GB para 4GB, combinada com a diminuição das requisições de rede para o Snowflake, indica que a otimização de recursos é crítica em sistemas de larga escala e pode ser alcançada com abordagens inteligentes no design do schema do GroupState e na separação de sinks de escrita.

A técnica de junção de streams com definições estáticas broadcastadas e a filtragem dinâmica de condições de alerta servem como um blueprint para quem precisa processar grandes volumes de dados de eventos contra regras de negócio que mudam frequentemente. O cuidado em escolher o tempo de processamento em vez do tempo de evento para garantir previsibilidade e evitar outliers com timestamps inconsistentes é uma lição importante na arquitetura de sistemas de streaming.

Linha do tempo

  1. CEVIU noticiou o Spark 4.1 e o Real-Time Mode (RTM), competindo com Flink para baixa latência.

  2. Apache Spark 4.1.0 lançado com pipelines declarativos e otimizações de streaming.

  3. Databricks lançou Public Preview do reparticionamento de estado sob demanda para Spark Structured Streaming.

  4. Apache Spark 4.3.0 adicionou processamento stateful ao Real-Time Mode do Structured Streaming.

  5. UiPath implementa sistema de alertas em tempo real no Spark para 20 mil definições por minuto.

Perguntas frequentes

Qual o principal desafio técnico que a UiPath enfrentou ao desenvolver este sistema de alertas?

O principal desafio foi criar um sistema de alertas em tempo real que suportasse uma ampla gama de condições agregadas, filtros e janelas de tempo variáveis (de um minuto a 24 horas, ou sem janela). As funções nativas do Spark Structured Streaming não ofereciam a flexibilidade necessária para estas exigências.

Como a UiPath otimizou o uso de memória neste sistema de alertas?

A UiPath otimizou o uso de memória com mudanças no schema do GroupState. Eles armazenaram IDs como UUIDs em vez de Strings, converteram Timestamps para números epoch longos e armazenaram estados como bytes. Essas otimizações reduziram o uso de memória de 12GB para 4GB em testes de performance.

Por que a UiPath escolheu o operador flatMapGroupsWithState()?

A UiPath escolheu flatMapGroupsWithState() por sua flexibilidade. Este operador permite processamento stateful arbitrário, com lógica de atualização e expiração de estado totalmente definidas pelo usuário. Isso foi crucial para lidar com a multiplicidade de tamanhos de janela e tipos de cálculo de alerta exigidos pelo sistema.

Como a solução evita leituras redundantes da fonte de dados?

A solução evita leituras redundantes ao garantir que o stream de eventos do Azure EventHub seja lido apenas uma vez. As definições de alerta do SQL Server são broadcastadas, e o operador flatMapGroupsWithState() processa múltiplos tipos de alerta e evento dentro de uma única função, em vez de dividir o stream em diferentes tipos de eventos.

Fontes

Avalie este artigo:
Categoria
CEVIU Dados
Publicado
16 de novembro de 2026
Editoria
CEVIU Dados

Quer receber mais sobre CEVIU Dados?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser