Como a Airtable Economizou Milhões ao Reduzir os Custos de Armazenamento de Arquivo em 100 Vezes

A Airtable conseguiu reduzir seus custos de armazenamento de arquivo em cerca de 100 vezes. A estratégia envolveu a migração de dados MySQL "frios" e majoritariamente imutáveis para o S3, transformando-os em arquivos Parquet particionados e realizando consultas com Apache DataFusion embarcado. Essa abordagem resultou em uma redução de 10 vezes no tamanho do dataset, enquanto o S3 se mostrou aproximadamente 10 vezes mais econômico por byte em comparação com as soluções anteriores. A implementação detalhada incluiu uma migração baseada em Flink, validação em massa e em shadow, um sistema de caching em camadas, a criação de índices secundários customizados e o uso de bloom filters Parquet. Essas medidas foram cruciais para preservar a latência interativa e manter as garantias de nível empresarial, garantindo que a economia de custos não comprometesse a performance ou a confiabilidade.