Desvendando o Backup Paralelo Massivo para Bancos de Dados Postgres

A capacidade de realizar backups de forma rápida, consistente e sem impactar a produção sempre foi um desafio central em sistemas de banco de dados distribuídos. A solução de backup massivamente paralelo da PlanetScale para bancos de dados Postgres sharded, apelidada de Neki, endereça isso com uma abordagem inteligente de orquestração de nuvem. Ela gira instâncias de EC2 temporárias, uma por shard, que restauram o backup anterior do Amazon S3. Em seguida, essas instâncias utilizam um replay híbrido do Write-Ahead Log (WAL), combinando dados do S3 e, para os minutos mais recentes, diretamente do primário, para alcançar a consistência point-in-time.

Este processo desacopla a carga de backup do servidor de produção, minimizando o impacto em consultas. A paralelização entre os shards é o segredo para a velocidade: um banco de dados de petabytes pode ser feito backup em horas, atingindo taxas de mais de 50 GB/s. A técnica garante que cada ciclo de backup também valide a restauração do backup anterior, um ponto crucial para a resiliência dos dados. Para o backup inicial, o sistema utiliza o pg_basebackup para semear os nós temporários, garantindo que o formato e o processo de restauração sejam consistentes com os backups de estado estável feitos via wal-g.

Para desenvolvedores e engenheiros de dados, a implementação de um sistema de backup paralelo massivo como este é fundamental. Ele não só garante a segurança e a integridade de dados em escala de petabytes, um pilar da engenharia de dados, mas também otimiza a Recovery Point Objective (RPO) ao permitir snapshots a cada 12 horas com impacto quase zero na produção. Essa abordagem é vital para o desenvolvimento e manutenção de aplicações que exigem alta disponibilidade e consistência.

Além da recuperação de desastres, esses backups são peças-chave em operações diárias. Artigos anteriores do CEVIU, como a cobertura sobre