CEVIU News - CEVIU Dados - 2 de março de 2026

A Uber Engineering descentralizou seu data warehouse monolítico Hive ao implementar a Federação de Bancos de Dados. Esse processo envolveu a migração de conjuntos de dados para bancos de dados Hive menores, de domínio ou de equipes, sem duplicação de dados ou tempo de inatividade. Isso foi possível graças a um Bootstrap Migrator único, que copiou os dados para novas localizações no HDFS e atualizou os ponteiros. Enquanto isso, sincronizadores em tempo real (Apache Flink + Piper) e em batch garantiram a consistência bidirecional dos metadados do HMS.

O formato colunar Vortex da SpiralDB implementa a Compressão Cascata, uma abordagem recursiva e orientada por dados que encadeia múltiplas codificações leves e de rápida decodificação por coluna. Essa técnica avalia esquemas em amostras estratificadas (aproximadamente 1% dos dados) e seleciona o melhor caminho otimizado de forma gulosa. Ela comprime recursivamente as saídas intermediárias, como códigos, dicionários e tamanhos, em uma árvore com profundidade limitada, o que permite lidar eficientemente com distribuições de dados assimétricas, agrupadas ou mistas, sem a necessidade de depender de um codec fixo como o ZSTD.

A Tencent Games implementou uma arquitetura de analytics em tempo real , utilizando os princípios de CQRS e event sourcing. Para isso, a empresa emprega Apache Pulsar para ingestão de eventos de alta vazão e ScyllaDB para distribuir eficientemente eventos a milhões de sessões de jogo. Eles particionam os eventos usando IDs de sessão e aproveitam os keyspaces do ScyllaDB, juntamente com a replicação de dados entre regiões, para otimizar o gerenciamento de dados multi-tenant. Este design desacopla a lógica da aplicação da distribuição de dados, entregando operações de baixa latência e consistência global, essenciais para o monitoramento de risco e a moderação dentro do jogo.

A engenharia de analytics está ressurgindo à medida que camadas semânticas, contexto de IA e lógica de negócio estruturada se tornam críticos em níveis estruturais, de mensuração e interpretativos. O dbt moldou o papel, mas o restringiu ao SQL. Com agentes de IA consumindo lógica de negócio, a ambiguidade se torna mais arriscada, tornando essencial uma forte engenharia de contexto e semântica clara para manter os dados confiáveis e prontos para máquinas.

Quando sistemas RAG baseados em HNSW excedem cerca de 100 mil vetores, a latência cresce super linearmente e o recall diminui , frequentemente retornando resultados muito similares, mas irrelevantes para consultas raras. As causas incluem armadilhas de mínimos locais, hubness em altas dimensões e pressão de memória. As mitigações ️ incluem o ajuste de M, ef_construct e ef_search, o uso de retrieval híbrido em duas etapas, a aplicação de quantização com oversampling e rescoring, e a dependência de engines otimizados como o Qdrant.

A comparação de schemas e a automação de deploy para Postgres ficam mais fluidas com as novas funcionalidades de script e recursos sensíveis a dependências.

Modelos de dados tradicionais e camadas semânticas frequentemente desconsideram o significado real do negócio, fazendo com que sistemas de IA acabem inferindo contextos e gerando respostas confiantes, mas incorretas. Ao adicionar uma ontologia clara – um mapa estruturado de como o negócio realmente funciona – a IA ganha capacidade de entender causa e efeito. Isso permite ir além de relatórios básicos para gerar insights estratégicos verdadeiros .

Hardwood é um parser Parquet leve e de código aberto para Java 21+, construído para leitura multi-threaded de alto throughput com dependências mínimas. Utilizando paralelismo em nível de página, prefetching adaptativo e mapeamento de memória, ele pode ler 9.2GB ou 650 milhões de linhas em cerca de 1.2 segundos em 16 núcleos, superando em mais de duas vezes a velocidade de leituras linha a linha. A ferramenta oferece APIs de linha e coluna com amplo suporte a compressão e tem suporte a predicate pushdown planejado.

O Dropbox aprimorou a relevância da busca no Dropbox Dash ao combinar um pequeno conjunto inicial de julgamentos de relevância consulta-documento, rotulados por humanos e de alta qualidade, com a rotulagem assistida por LLMs. Essa abordagem escalou os dados de treinamento em cerca de 100 vezes . A equipe otimizou os prompts dos LLMs com dados humanos para minimizar discordâncias, e então empregou o LLM calibrado offline como um "professor", gerando um grande volume de rótulos sintéticos a partir de amostras representativas ou com potencial de erro .

Backfills são inevitáveis na engenharia de dados, pois dados mudam e bugs acontecem. Contudo, esses processos são lentos, ️ arriscados e podem prejudicar a confiança nos dados.

Sistemas de IA baseados em agentes aceleram a escrita de código, mas seu principal efeito é amplificar a maturidade existente das equipes: equipes fortes aprimoram-se mais rapidamente, enquanto equipes mais fracas geram mais bugs e riscos. O gargalo de desenvolvimento e operação, por sua vez, migra para testes, CI/CD, segurança, governança e o atrito com sistemas legados. Espera-se um quadro com menos engenheiros, mas com habilidades mais elevadas, e que os melhores resultados virão de líderes que investem em capacitação, e não apenas em cortes de pessoal.