Federação de Bancos de Dados: Hive Descentralizado e Compatível com ACLs

A Uber Engineering descentralizou seu data warehouse monolítico Hive ao implementar a Federação de Bancos de Dados. Esse processo envolveu a migração de conjuntos de dados para bancos de dados Hive menores, de domínio ou de equipes, sem duplicação de dados ou tempo de inatividade. Isso foi possível graças a um Bootstrap Migrator único, que copiou os dados para novas localizações no HDFS e atualizou os ponteiros. Enquanto isso, sincronizadores em tempo real (Apache Flink + Piper) e em batch garantiram a consistência bidirecional dos metadados do HMS.