Como a Datadog Redefiniu a Replicação de Dados

A Datadog reformulou uma página de Resumo de Métricas que sofria com latência de 7 segundos em p90, devido ao uso do Postgres para junções complexas em 82.000 métricas e 817.000 configurações. A solução foi parar de consultar o Postgres diretamente, utilizando em vez disso o streaming de mudanças via CDC: o Debezium lê o WAL, o Kafka faz buffer nas atualizações e uma plataforma de busca atende consultas de baixa latência. Para garantir a segurança da replicação assíncrona em escala, a Datadog adicionou validação de migração de esquema e um Schema Registry compatível com versões anteriores usando Avro.