Voltar
LinkedIn reconstrói sua plataforma de linhagem de dados para capturar dependências de jobs em execução

LinkedIn reformula plataforma de linhagem de dados para maior precisão em dependências de jobs

Aprofundamento CEVIU

Aprofundamento

A plataforma de linhagem de dados do LinkedIn foi totalmente reconstruída para capturar dependências diretamente de jobs em execução, superando limitações da versão anterior que se baseava em observações de sistemas de armazenamento. Essa nova abordagem prioriza a observação em tempo de execução, garantindo maior precisão na identificação de relações produtor-consumidor e distinguindo movimentos de dados significativos de arquivos temporários ou de staging. O sistema agora suporta mais de 15 motores de computação, orquestração e movimentação de dados, incluindo Spark, Trino, Flink, Beam, Airflow e Flyte. A arquitetura envolve instrumentação via SDK, ingestão e armazenamento de eventos em um tópico Kafka, processamento com Flink e persistência em um log append-only. Para recuperação, um motor gRPC serve consultas online, enquanto tabelas de warehouse atendem a análises offline. O grafo de linhagem gerado representa aproximadamente 6 milhões de datasets e 10 milhões de arestas, com o 99º percentil de latência para travessias de até 1.000 nós e 10 saltos em cerca de 200 ms.

O que mudou

A evolução da plataforma de linhagem de dados do LinkedIn marca uma mudança significativa na precisão e granularidade da captura de dados. Anteriormente, o CEVIU noticiou, em 12 de outubro de 2026, sobre o desenvolvimento de uma camada de contexto de dados para guiar usuários e agentes de IA na seleção e interpretação de conjuntos de dados. Essa camada se beneficia diretamente da nova plataforma de linhagem, que agora fornece informações mais confiáveis sobre a origem e as interconexões dos dados, tornando a curadoria e a governança de dados mais eficientes. Em 5 de outubro de 2026, o CEVIU também destacou a arquitetura Northguard, desenvolvida para superar gargalos do Kafka na movimentação e recuperação de dados. A nova plataforma de linhagem utiliza Kafka para a emissão de eventos, o que indica que as melhorias no Kafka com o Northguard provavelmente contribuem para a escalabilidade e resiliência desse novo sistema. Em 26 de outubro de 2026, o CEVIU noticiou a reconstrução da infraestrutura de tracking, que migrou para gRPC e um runtime Java moderno. A plataforma de linhagem, por sua vez, usa gRPC para APIs fortemente tipadas, promovendo uma arquitetura consistente e eficiente na comunicação entre produtores e consumidores de linhagem.

Por que isso importa

Para engenheiros, cientistas e analistas de dados, essa reformulação da plataforma de linhagem de dados significa um salto na capacidade de rastrear, entender e gerenciar dependências de dados. A precisão na captura de linhagem, que agora acontece diretamente na execução dos jobs, fornece uma visão detalhada da origem dos dados, crucial para identificar a causa raiz de incidentes e avaliar o impacto de mudanças em sistemas complexos. A capacidade de discernir entre dados de produção e arquivos temporários ou de staging melhora a qualidade da análise de dados e a confiança nas informações. Para quem opera pipelines de dados, essa granularidade e velocidade (P99 de 200 ms para travessias) são essenciais para manter a confiabilidade, garantir a conformidade e otimizar recursos, evitando a manutenção de pipelines obsoletos ou o uso de datasets redundantes. Ferramentas que dependem da linhagem, como as que suportam governança e observability, ganham uma base mais sólida e acurada.

Linha do tempo

  1. CEVIU noticia integrações unificadas do LinkedIn para melhoria de dados e recrutamento

  2. CEVIU noticia a engenharia da próxima geração do Feed do LinkedIn, com LLMs e sistema de retrieval unificado

  3. CEVIU noticia que LinkedIn otimiza treinamento de modelos de IA para busca de empregos

  4. CEVIU noticia que LinkedIn inova na arquitetura de dados com Northguard e Xinfra para superar gargalos do Kafka

  5. CEVIU noticia que LinkedIn otimiza análises com nova camada de contexto de dados para IA

  6. CEVIU noticia que LinkedIn reconstrói infraestrutura de tracking e reduz uso de rede de entrada em cerca de 89%

  7. LinkedIn reformula plataforma de linhagem de dados para maior precisão em dependências de jobs

Perguntas frequentes

Qual a principal diferença da nova plataforma de linhagem de dados do LinkedIn?

A principal diferença é a captura de linhagem diretamente de jobs em execução, em vez de inferir de sistemas de armazenamento. Isso proporciona maior precisão sobre as relações produtor-consumidor e o fluxo exato de dados.

Como a nova plataforma ajuda na resolução de incidentes e análise de impacto?

A plataforma fornece uma visão exata das dependências, permitindo que engenheiros identifiquem rapidamente a origem de problemas e avaliem o impacto de modificações nos datasets e pipelines. Isso agiliza a resposta a incidentes e a análise de causa raiz.

Quais tecnologias são utilizadas na arquitetura da nova plataforma?

A plataforma utiliza tecnologias como Spark, Trino, Flink, Beam, Airflow e Flyte para captura de linhagem. Para processamento e armazenamento, emprega Kafka, Flink e MySQL, além de gRPC para serviços online e APIs.

Quantos <em>datasets</em> e arestas o grafo de linhagem abrange?

O grafo de linhagem da nova plataforma abrange aproximadamente 6 milhões de datasets e 10 milhões de arestas, fornecendo uma cobertura abrangente do ecossistema de dados do LinkedIn.

Fontes

Avalie este artigo:
Categoria
CEVIU Dados
Publicado
19 de novembro de 2026
Editoria
CEVIU Dados

Quer receber mais sobre CEVIU Dados?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser