Aprimorando a Implantação do Flink com Shadow Testing

A equipe de streaming de dados da Grab implementou uma etapa de Shadow Testing em seu pipeline de implantação do Apache Flink. O objetivo é eliminar o downtime de rollback de aproximadamente 10 minutos, frequentemente causado por falhas que se manifestavam apenas em ambiente de produção.

Nessa abordagem, um "shadow job" (job sombra) é executado em paralelo com o job principal em produção. Ele utiliza grupos de consumidores e destinos de sink distintos para evitar qualquer interferência, enquanto permite a comparação de métricas e saídas. Esse método visa aumentar a frequência das implantações e reduzir a taxa de falha de mudanças em produção.