Logging em Python UDF traz observability para pipelines no BigQuery

O ponto central do recurso é simples: a Python UDF do BigQuery passa a emitir logs estruturados no Cloud Logging usando só a biblioteca logging padrão do Python. Sem plugin, sem conector customizado. Para ativar, basta rodar SET @@udf.properties = JSON '{"enableDebugOutput": true}' na sessão em que os logs devem ser capturados. O exemplo do Google é um pipeline de ingestão de eventos de e-commerce (click, view, checkout) em três etapas: validação inline, alerta em tempo real e triagem com replay.

Na validação, a UDF faz o parsing do JSON e confere um campo obrigatório. Se o parsing falha ou a chave não existe, ela registra um log com diagnóstico estruturado e devolve NULL. A query termina sem erro, e as linhas ruins (2 e 3 no exemplo) vão para o Cloud Logging com o payload bruto preservado. Depois, com o Log Analytics ativado no bucket e um dataset vinculado, o time consulta a view _AllLogs em SQL, acha a causa raiz e reingere os registros recuperados na tabela clean_events, sem perda de dados. Os cuidados vêm do próprio Google: não logar credenciais ou segredos, já que quem tem Logging Viewer enxerga tudo, e logar de forma seletiva (só erros ou amostragem) em pipelines de alto volume para controlar o custo de ingestão.

Quem opera pipelines no BigQuery costuma descobrir dado ruim tarde, ou derruba a carga inteira por causa de poucas linhas. Aqui o diagnóstico acontece por linha, dentro da própria query, e o time continua no SQL para investigar. Além da quarentena, o Google cita shadow execution em migrações (rodar lógica legada e nova lado a lado, devolvendo o resultado legado), auditoria de redação de PII e alertas de drift em inferência de ML.

O assunto conversa com a cobertura anterior do CEVIU, como a matéria de 29 de junho de 2026 sobre alertas baseados em SQL no Observability Analytics e a de 12 de março de 2026, "Seu Pipeline Teve Sucesso. Seus Dados, Não.", sobre perdas silenciosas de dados. Os temas são observabilidade e qualidade de dados no mesmo ecossistema.