CEVIU Logo
Voltar
Nordnet adota semáforo de qualidade de dados em dashboards do Looker

Nordnet adota semáforo de qualidade de dados em dashboards do Looker

Aprofundamento CEVIU

Aprofundamento

A Nordnet não só implantou um semáforo visual no Looker, ela construiu uma camada de observabilidade de qualidade de dados nativa na arquitetura dbt + BigQuery + Looker. O sistema opera em três níveis técnicos interligados: detecção de falhas com granularidade de execução (não apenas 'job falhou', mas 'modelo X falhou na linha 42, após timeout no Cloud Run'), rastreamento de linhagem recursiva a partir do manifesto dbt e dos arquivos LookML, e exposição contextualizada no ponto de consumo, o dashboard. A inovação está na forma como os incidentes são modelados: não como eventos isolados, mas como períodos contínuos com início e fim definidos por window functions em SQL puro, evitando ruído e permitindo análise histórica direta em BigQuery.

O uso do TimesFM do BigQuery para detecção de anomalias de volume é estratégico: ele dispensa infraestrutura externa, lida com sazonalidade automática (como quedas esperadas em finais de semana em tabelas de comportamento do usuário) e foi ajustado por tabela, algo que modelos estatísticos simples não suportam. Isso contrasta com abordagens genéricas de threshold fixo, que geram falsos positivos em ambientes reais. A Nordnet também já migrou parte da linhagem para o Google Cloud Knowledge Catalog, que agora oferece sincronização nativa com Looker a cada quatro horas, um avanço concreto em relação à solução manual descrita no artigo-fonte, reduzindo a necessidade de parsers customizados.

O que mudou

Na cobertura anterior do CEVIU sobre o toolkit de qualidade de dados do dltHub (04/06/2026), a ênfase estava em validações baseadas em schema e correção automática para IA, ou seja, foco em ingestão e transformação. A solução da Nordnet, lançada em 2026-06-22, representa uma evolução para o nível de consumo: ela não apenas detecta problemas, mas traduz seu impacto real para quem toma decisão. Enquanto o dltHub falha rápido *antes* do dado entrar no pipeline, a Nordnet sinaliza confiança *depois* do dado estar no dashboard, e mostra exatamente quais métricas estão comprometidas, graças à linhagem unificada entre dbt e Looker. Isso fecha o ciclo: de verificação técnica para confiança operacional.

Por que isso importa

Em plataformas de dados com centenas de transformações, a pergunta não é mais 'os testes passaram?', mas 'quem vai confiar nesse número?'. A Nordnet respondeu com um sinal visual que funciona como um 'checklist implícito' para o analista: verde significa 'você pode agir'; amarelo, 'valide antes de decidir'; vermelho, 'pare e investigue'. Isso reduz retrabalho, acelera resposta a incidentes e muda a cultura: governança deixa de ser responsabilidade exclusiva do time de dados e se torna visível para todos. Em um contexto onde a Nordnet cresceu 77.500 novos clientes no Q1 de 2026 e expande IA para relatórios financeiros, essa camada de confiança é infraestrutura crítica, não um luxo.

Linha do tempo

  1. CEVIU publica cobertura sobre monitoramento de agentes ADK com Datadog LLM Observability, destacando a necessidade de observabilidade em pipelines agênticos.

  2. CEVIU destaca a Knead That Dough, mostrando como dashboards atraentes aumentam adoção, antecedente indireto para a importância do sinal visual da Nordnet.

  3. CEVIU discute divergência semântica como principal barreira para análise, contexto que a sinalização da Nordnet ajuda a mitigar ao tornar a confiança explícita.

  4. CEVIU apresenta SIEM Readiness, alinhando a ideia de 'prontidão' de dados com a abordagem de saúde proativa da Nordnet.

  5. CEVIU cobre framework de profiling da Halodoc no Airflow, mostrando outra frente de governança, complementar, não concorrente, à solução de sinalização da Nordnet.

  6. CEVIU reporta toolkit de qualidade de dados do dltHub, focado em validação pré-ingestão, contraponto técnico ao foco pós-consumo da Nordnet.

  7. Nordnet lança semáforo de qualidade de dados em tempo real no Looker, integrando detecção, linhagem e exposição visual.

Perguntas frequentes

O semáforo da Nordnet depende apenas de testes dbt?

Não. Ele combina cinco fontes: falhas explícitas de testes dbt, falhas de execução do job, falhas silenciosas (como timeouts no Cloud Run), falhas de atualização de fontes externas e anomalias de volume detectadas via TimesFM. Isso cobre tanto erros óbvios quanto falhas silenciosas que passariam despercebidas.

Como a Nordnet identifica quais dashboards são afetados por um problema?

Ela extrai diariamente o manifesto dbt para mapear dependências entre tabelas e usa um parser de LookML para ligar cada explore do Looker à sua tabela no BigQuery. Um modelo SQL junta essas duas linhagens, mostrando exatamente quais dashboards herdam um incidente upstream.

O sistema ainda precisa de manutenção manual?

Sim, mas de forma controlada. Há um app Streamlit para criar ou fechar incidentes manualmente, útil para planejar manutenções ou corrigir falsos positivos. Mas o ciclo de vida principal (início, fim, expiração após 30 dias) é totalmente automatizado em SQL, sem estado externo.

Essa abordagem funciona só com Looker e BigQuery?

A arquitetura é adaptável, mas depende de três elementos: um orquestrador com logs detalhados (Cloud Run), um motor de SQL com capacidade de ML embutido (BigQuery + TimesFM) e uma ferramenta de BI com suporte a visualizações customizadas (Looker). O conceito de 'health badge' já está sendo replicado em Power BI e Tableau, mas com maior esforço de integração.

Fontes

Avalie este artigo:
Compartilhar:
Categoria
CEVIU Dados
Publicado
22 de junho de 2026
Editoria
CEVIU Dados

Quer receber mais sobre CEVIU Dados?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser