Alarme de fumaça falso quase inundou o datacenter da Jane Street em Nova York

O relato vem de um ex-integrante da equipe de sistemas da Jane Street e descreve uma cadeia de decisões de segurança que, juntas, viraram risco. Poeira de uma obra numa sala ao lado do datacenter, no prédio 1 New York Plaza, acionou o alarme de fumaça. O alarme está ligado às unidades de ar-condicionado (CRAC), que são desligadas para não alimentar um possível incêndio com circulação de ar. Ao mesmo tempo, o sistema de detecção de fumaça enche de água pressurizada as tubulações dos sprinklers, que normalmente ficam vazias sobre salas de máquinas. Cada cabeça de sprinkler só dispara quando um plugue sensível ao calor abre.

Sem refrigeração, a temperatura subiu. O autor correu até a sala e desconectou os cabos de energia de todos os equipamentos, rack por rack, antes que o ambiente passasse de 150 F. O termômetro parou em 143,6 F. Como os grandes mercados de Nova York estavam fechados, o downtime foi mínimo e tudo voltou na manhã seguinte. A solução técnica foi um monitor escrito em OCaml: a cada minuto, ele consulta os sensores de cada servidor Linux em cada localidade, calcula a média e dispara alerta para a equipe de sistemas se estiver elevada. Nenhum servidor sozinho alertava por estar um pouco quente, mas uma alta generalizada indica falha de refrigeração. O autor diz que preferiu essa abordagem porque a telemetria dos CRAC e de sensores dedicados da sala era bem menos confiável.

Para quem opera infraestrutura, o caso é uma lição sobre sinais agregados. Alertas por host, com limites individuais, deixam passar falhas que só aparecem no conjunto. Uma métrica simples, como a média de temperatura da frota, cobre um ponto cego que a telemetria do equipamento de refrigeração não cobria. Isso é leitura editorial, não conclusão do autor.