O que aprendemos com um bug de armazenamento de 22 dias (e como o corrigimos)

A Mux enfrentou um bug de armazenamento que durou 22 dias, entre 8 de janeiro e 4 de fevereiro, resultando na entrega de 0,33% dos segmentos de áudio e vídeo em estado corrompido. Uma otimização destinada a utilizar menos e maiores nós de armazenamento criou gargalos, que por sua vez amplificaram problemas preexistentes, como cancelamentos de leitura remota, uma race condition em exclusões de arquivos e um erro onde segmentos parcialmente gravados eram tratados como completos. Para resolver a falha, a Mux revisou o caminho de purga de exclusão, solucionou o cancelamento de contexto de leitura remota e aumentou o número de nós de armazenamento. Posteriormente, todos os segmentos afetados foram regenerados e os caches de CDN foram limpos. ️