Perda Silenciosa de Dados no ClickHouse: 3 Razões Para Sua Fila Distribuída Continuar Crescendo

Inserções em tabelas Distributed do ClickHouse podem parecer bem-sucedidas instantaneamente, mas se acumulam silenciosamente como arquivos .bin em uma fila em disco que nunca alcança as tabelas ReplicatedMergeTree subjacentes. Isso resulta em perda permanente de dados e linhas ausentes.

As causas principais incluem a indisponibilidade do ClickHouse Keeper, que coloca as réplicas em modo somente leitura e interrompe os flushes em segundo plano. Além disso, blocos de inserção superdimensionados podem anular o flush, bloqueando toda a fila de processamento. ️