Do SSH ao REST: Uma Modernização Orientada à Segurança dos Pipelines de Dados EMR do Slack

A Slack modernizou seus pipelines de dados, migrando mais de 700 operadores baseados em SSH no AWS EMR para uma arquitetura segura baseada em REST, com zero downtime em oito regiões. A equipe substituiu o acesso direto via SSH por Quarry, o gateway interno de submissão de jobs via REST, e utilizou o Distributed Shell do YARN para executar comandos arbitrários, o que permitiu gerenciamento adequado de recursos, rastreamento confiável, cancelamento limpo e manipulação do ciclo de vida no lado do servidor.