Nordnet adota semáforo de qualidade de dados em dashboards do Looker
Aprofundamento CEVIU
Aprofundamento
A Nordnet não só implantou um semáforo visual no Looker, ela construiu uma camada de observabilidade de qualidade de dados nativa na arquitetura dbt + BigQuery + Looker. O sistema opera em três níveis técnicos interligados: detecção de falhas com granularidade de execução (não apenas 'job falhou', mas 'modelo X falhou na linha 42, após timeout no Cloud Run'), rastreamento de linhagem recursiva a partir do manifesto dbt e dos arquivos LookML, e exposição contextualizada no ponto de consumo, o dashboard. A inovação está na forma como os incidentes são modelados: não como eventos isolados, mas como períodos contínuos com início e fim definidos por window functions em SQL puro, evitando ruído e permitindo análise histórica direta em BigQuery.
O uso do TimesFM do BigQuery para detecção de anomalias de volume é estratégico: ele dispensa infraestrutura externa, lida com sazonalidade automática (como quedas esperadas em finais de semana em tabelas de comportamento do usuário) e foi ajustado por tabela, algo que modelos estatísticos simples não suportam. Isso contrasta com abordagens genéricas de threshold fixo, que geram falsos positivos em ambientes reais. A Nordnet também já migrou parte da linhagem para o Google Cloud Knowledge Catalog, que agora oferece sincronização nativa com Looker a cada quatro horas, um avanço concreto em relação à solução manual descrita no artigo-fonte, reduzindo a necessidade de parsers customizados.
O que mudou
Na cobertura anterior do CEVIU sobre o toolkit de qualidade de dados do dltHub (04/06/2026), a ênfase estava em validações baseadas em schema e correção automática para IA, ou seja, foco em ingestão e transformação. A solução da Nordnet, lançada em 2026-06-22, representa uma evolução para o nível de consumo: ela não apenas detecta problemas, mas traduz seu impacto real para quem toma decisão. Enquanto o dltHub falha rápido *antes* do dado entrar no pipeline, a Nordnet sinaliza confiança *depois* do dado estar no dashboard, e mostra exatamente quais métricas estão comprometidas, graças à linhagem unificada entre dbt e Looker. Isso fecha o ciclo: de verificação técnica para confiança operacional.
Por que isso importa
Em plataformas de dados com centenas de transformações, a pergunta não é mais 'os testes passaram?', mas 'quem vai confiar nesse número?'. A Nordnet respondeu com um sinal visual que funciona como um 'checklist implícito' para o analista: verde significa 'você pode agir'; amarelo, 'valide antes de decidir'; vermelho, 'pare e investigue'. Isso reduz retrabalho, acelera resposta a incidentes e muda a cultura: governança deixa de ser responsabilidade exclusiva do time de dados e se torna visível para todos. Em um contexto onde a Nordnet cresceu 77.500 novos clientes no Q1 de 2026 e expande IA para relatórios financeiros, essa camada de confiança é infraestrutura crítica, não um luxo.
Linha do tempo
CEVIU publica cobertura sobre monitoramento de agentes ADK com Datadog LLM Observability, destacando a necessidade de observabilidade em pipelines agênticos.
CEVIU destaca a Knead That Dough, mostrando como dashboards atraentes aumentam adoção, antecedente indireto para a importância do sinal visual da Nordnet.
CEVIU discute divergência semântica como principal barreira para análise, contexto que a sinalização da Nordnet ajuda a mitigar ao tornar a confiança explícita.
CEVIU apresenta SIEM Readiness, alinhando a ideia de 'prontidão' de dados com a abordagem de saúde proativa da Nordnet.
CEVIU cobre framework de profiling da Halodoc no Airflow, mostrando outra frente de governança, complementar, não concorrente, à solução de sinalização da Nordnet.
CEVIU reporta toolkit de qualidade de dados do dltHub, focado em validação pré-ingestão, contraponto técnico ao foco pós-consumo da Nordnet.
Nordnet lança semáforo de qualidade de dados em tempo real no Looker, integrando detecção, linhagem e exposição visual.
Perguntas frequentes
O semáforo da Nordnet depende apenas de testes dbt?
Não. Ele combina cinco fontes: falhas explícitas de testes dbt, falhas de execução do job, falhas silenciosas (como timeouts no Cloud Run), falhas de atualização de fontes externas e anomalias de volume detectadas via TimesFM. Isso cobre tanto erros óbvios quanto falhas silenciosas que passariam despercebidas.
Como a Nordnet identifica quais dashboards são afetados por um problema?
Ela extrai diariamente o manifesto dbt para mapear dependências entre tabelas e usa um parser de LookML para ligar cada explore do Looker à sua tabela no BigQuery. Um modelo SQL junta essas duas linhagens, mostrando exatamente quais dashboards herdam um incidente upstream.
O sistema ainda precisa de manutenção manual?
Sim, mas de forma controlada. Há um app Streamlit para criar ou fechar incidentes manualmente, útil para planejar manutenções ou corrigir falsos positivos. Mas o ciclo de vida principal (início, fim, expiração após 30 dias) é totalmente automatizado em SQL, sem estado externo.
Essa abordagem funciona só com Looker e BigQuery?
A arquitetura é adaptável, mas depende de três elementos: um orquestrador com logs detalhados (Cloud Run), um motor de SQL com capacidade de ML embutido (BigQuery + TimesFM) e uma ferramenta de BI com suporte a visualizações customizadas (Looker). O conceito de 'health badge' já está sendo replicado em Power BI e Tableau, mas com maior esforço de integração.
Fontes
- robertsahlin.substack.comfonte original
- Categoria
- CEVIU Dados
- Publicado
- 22 de junho de 2026
- Editoria
- CEVIU Dados

