CEVIU Logo
Voltar
As janelas quebradas dos dados

As janelas quebradas dos dados

Aprofundamento CEVIU

Aprofundamento

A qualidade de dados em um data warehouse compartilhado não pode ser tratada como uma etapa final de validação. No caso do Booking.com, a abordagem adotada transforma a garantia de qualidade em um ciclo contínuo, integrado ao fluxo completo de desenvolvimento. Isso começa antes mesmo da escrita de SQL, com revisão de modelos conceituais e lógicos, alinhando equipes sobre granularidade, nomenclatura e propriedade de entidades. A antecipação dessa discussão evita problemas estruturais profundos, como duplicação de dimensões centrais (ex: "pedido"), que seriam custosos de corrigir depois.

O processo se sustenta em camadas técnicas e humanas interligadas: validações locais com pre-commit e dbt-score reduzem ruído nas revisões; CI/CD aplica regras de forma consistente, sem variação humana; revisão assistida por IA destaca desvios de padrão, liberando engenheiros para julgamentos de arquitetura e negócio; e o monitoramento pós-deploy fecha o ciclo. O uso de tecnologias como Snowflake, dbt e Airflow não é apenas operacional, elas são o tecido onde essas práticas ganham concretude.

Por que isso importa

Em ambientes de dados colaborativos, pequenas falhas têm efeito cumulativo. Um modelo mal nomeado ou uma grain mal definida pode parecer inofensivo, mas quando replicado em dashboards e lógica de negócio, gera desconfiança sistêmica. O Booking.com mostra que escalabilidade e governança não são opostas: ao distribuir a responsabilidade pela qualidade ao longo do ciclo, aumentou o volume de entregas enquanto reduziu o tempo médio de aprovação para menos de uma hora. Isso prova que boas práticas não atrapalham velocidade, quando bem desenhadas, aceleram. Mais ainda, esse modelo serve como formação prática, ensinando padrões em tempo real para novos contribuidores.

Linha do tempo

  1. Início do rollout do DWH Models Quality Flow no Booking.com, com foco em validações antecipadas e automação.

  2. Tempo médio de aprovação de merge requests no data warehouse cai para menos de uma hora.

  3. Booking.com divulga resultados do processo de shift-left na qualidade do data warehouse, com mais de 95% dos modelos passando em critérios de qualidade

Perguntas frequentes

O que significa 'shift-left' na qualidade de data warehouse?

Significa mover as verificações de qualidade para as fases mais iniciais do desenvolvimento, antes mesmo da escrita de código. No Booking.com, isso inclui revisar modelos conceituais, aplicar validações locais com ferramentas como pre-commit e dbt-score, e usar CI/CD para bloquear mudanças inválidas. O foco não é burocracia, mas capturar erros cedo, quando são mais baratos de corrigir.

Como a IA está sendo usada nas revisões de merge request?

A IA analisa os merge requests com base em playbooks internos de modelagem, destacando padrões suspeitos ou desvios de convenção antes da revisão humana. Ela não decide, mas filtra o que merece atenção, reduzindo o esforço repetitivo. Isso permite que os revisores foquem em julgamentos de negócio e arquitetura, não em checagem de estilo ou regras básicas.

Por que métricas como dbt-score importam além da pontuação?

Além de medir conformidade, essas métricas revelam onde há acúmulo de legado. Modelos com baixa pontuação muitas vezes são antigos e parados, indicando candidatos à desativação. Isso ajuda a limpar dívidas técnicas antes que contaminem novos desenvolvimentos. A pontuação também mostra onde os times precisam de mais treinamento ou suporte.

Fontes

Avalie este artigo:
Compartilhar:
Categoria
CEVIU Dados
Publicado
25 de junho de 2026
Editoria
CEVIU Dados

Quer receber mais sobre CEVIU Dados?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser