Otimizando o LISTEN/NOTIFY do PostgreSQL para Alta Escalabilidade

A equipe da DBOS abordou um ponto crítico no mecanismo LISTEN/NOTIFY do PostgreSQL, que, apesar de ser crucial para sistemas de notificação em tempo real, enfrentava sérios gargalos de desempenho. O cerne do problema residia em um bloqueio exclusivo global que o PostgreSQL impõe durante o commit de transações que disparam notificações. Este bloqueio, necessário para garantir a ordem transacional das notificações, serializa os commits, impedindo otimizações como o group commit e limitando severamente o throughput.

A solução envolveu uma estratégia engenhosa de buffering e batching. Em vez de disparar uma notificação a cada escrita, as notificações são acumuladas em um buffer em memória e liberadas em lotes através de uma única transação periódica. Isso reduz drasticamente a contenção no bloqueio global, pois ele só é adquirido durante a descarga do buffer, não a cada escrita individual. Para garantir a confiabilidade, um mecanismo de polling infrequente atua como fallback, verificando se alguma notificação foi perdida devido a falhas no processo que gerencia o buffer. Com essa abordagem, o throughput de escrita de stream saltou de 2.900 para 60.000 por segundo, com latência de milissegundos.

Para engenheiros de plataforma e equipes de DevOps, essa otimização redefine o papel do LISTEN/NOTIFY em arquiteturas de microsserviços e sistemas event-driven. Antes, a reputação de baixa escalabilidade limitava seu uso em aplicações de alto throughput. Agora, a técnica da DBOS permite explorar o PostgreSQL como uma espinha dorsal robusta e escalável para notificações de baixa latência, fundamental para recursos como chats, atualizações em tempo real e processamento de tokens de modelos de linguagem (LLMs).

Isso significa mais flexibilidade para construir pipelines de dados eficientes, onde o PostgreSQL pode atuar como um componente central para sinalização de eventos, sem a necessidade de introduzir soluções mais complexas ou dispendiosas para o mesmo propósito. A otimização também ressalta a importância de entender as nuances de desempenho de cada componente da stack, transformando limitações aparentes em oportunidades de inovação.