De SSH a REST: A Modernização Orientada à Segurança dos Pipelines de Dados EMR do Slack

O Slack modernizou sua infraestrutura de dados ao migrar mais de 700 jobs de pipeline de dados de um modelo de submissão legado baseado em SSH para uma arquitetura baseada em REST. A dependência anterior do acesso SSH direto a clusters AWS EMR criava vulnerabilidades de segurança, ineficiências operacionais como processos "zumbis" e débito técnico que impedia atualizações de infraestrutura. Utilizando um gateway customizado chamado Quarry e o recurso YARN Distributed Shell, a equipe de engenharia realizou a transição das cargas de trabalho para contêineres gerenciados com gerenciamento de ciclo de vida server-side.