Como Cortamos em 90% o Uso de Slots do BigQuery em um de Nossos Serviços Mais Demandantes Após uma Interrupção de Produção

A Teads reduziu drasticamente em mais de 90% o uso de slots do BigQuery em seu serviço Audience Planning através de correções na aplicação e otimizações no modelo de dados. As correções incluíram coalescência de requisições com locks distribuídos Redis para eliminar queries duplicadas, validação fail-fast para filtros grandes e reescrita de grandes cláusulas IN como semi-joins. As otimizações de dados envolveram compressão de tipos de dados, pré-cálculo de trabalhos repetidos e uma estratégia de particionamento aprimorada, resultando na redução efetiva da pegada da tabela em aproximadamente 95%.