CEVIU News - CEVIU Dados - 14 de julho de 2026

A Affirm realizou uma reengenharia significativa em sua plataforma de mensagens de pré-checkout, substituindo uma arquitetura monolítica em Python por um microsserviço em Kotlin, integrado a um motor de regras avançado. A transformação resultou em uma impressionante redução de 50% na latência P99 e, crucialmente, diminuiu o tempo de configuração de novos experimentos de longos dois meses para apenas quatro dias. Essa otimização é um marco, pois a criação de experimentos agora se resume à configuração de regras com base em atributos pré-existentes, eliminando a complexidade de desenvolvimento de código e ciclos de deployment prolongados.

Uma análise recente da SQLSure revelou que benchmarks amplamente utilizados para modelos de text-to-SQL, como BIRD e Spider, contêm chaves de resposta ('gold queries') incorretas. Esse problema impacta diretamente a avaliação da acurácia dos modelos, podendo levar a uma situação onde sistemas são recompensados por replicar erros inerentes aos benchmarks, enquanto respostas corretas são indevidamente penalizadas. A empresa argumenta que a validação desses modelos deve ir além da simples execução, incorporando uma verificação rigorosa da semântica dos dados, incluindo cardinalidade de junções, granularidade e aditividade, para garantir avaliações mais precisas e justas.

A Arcesium, gigante em serviços financeiros e de tecnologia, transformou seu data warehousing ao migrar um repositório de P&L de 170TB e 15 trilhões de registros de um RDBMS tradicional para uma arquitetura baseada em Apache Iceberg no S3, orquestrada por DuckDB. Essa transição estratégica, que incluiu o desenvolvimento da camada Swiftlake e a adoção de KEDA para autoescalonamento no Kubernetes, resultou em uma impressionante redução de 80% no tempo de ingestão para grandes carteiras. Além disso, a empresa conseguiu minimizar timeouts de egress e otimizar custos de infraestrutura em aproximadamente 40%, aproveitando ainda os recursos de time-travel do Iceberg para recuperação de dados.

A nova versão do Manifesto Shift Left reforça a tese de que a engenharia de software deve priorizar a proveniência de dados desde sua origem, no código do produtor, e não apenas nos *data warehouses*. Essa abordagem permite rastrear a linhagem de dados em nível de código, atrelada aos *releases*, revelando a propriedade, fluxos de dados sensíveis, dependências semânticas e o impacto de mudanças diretamente nos *pull requests*. Isso transforma a governança, a rastreabilidade para modelos de IA, a análise de impacto e as auditorias em processos contínuos, algo crucial frente à aceleração de mudanças por agentes de codificação.

O PostgreSQL demonstra capacidade de realizar o pruning de partições de forma eficiente, mesmo quando as consultas envolvem filtros em colunas que não são chaves de partição. Essa otimização é viável ao correlacionar colunas com intervalos previsíveis e a chave de partição. A implementação de constraints do tipo CHECK, especificando esses intervalos e tratando valores atípicos em faixas separadas, permite que o otimizador ignore partições irrelevantes. Tal abordagem evita a varredura desnecessária de todos os índices locais, resultando em uma melhoria significativa no desempenho das consultas.

Empresas sem profissionais dedicados à propriedade de produtos de dados desperdiçam 45% do tempo da equipe em tarefas reativas, contrastando com os 27% observados em equipes com responsabilidades bem definidas. Essa disparidade surge quando organizações falham em designar donos claros para dashboards, conjuntos de dados ou modelos. A adoção de ferramentas de IA intensifica essa diferença: equipes com propriedade estabelecida registram um aumento de 18 pontos percentuais no sentimento positivo, enquanto aquelas sem essa clareza experimentam uma queda de 26 pontos, evidenciando o impacto crítico da governança de dados na eficácia e percepção do trabalho.

O Lakekeeper apresenta uma API de Tabela Genérica que permite que ativos de dados fora do padrão Iceberg, como datasets Lance, sejam gerenciados como objetos catalogados e governáveis, eliminando a necessidade de conversão direta para o formato Iceberg. A solução centraliza o armazenamento de metadados cruciais e aproveita os mecanismos de catálogo do Iceberg, provendo gestão unificada para controle de acesso, ciclo de vida dos dados e credenciais com escopo definido. Essa abordagem simplifica a governança de dados em ecossistemas heterogêneos, ampliando a capacidade de integração de diferentes formatos de dados.

O Apache Airflow está introduzindo um conjunto de três novos controles baseados em IA que visam otimizar a resiliência dos pipelines de dados, reduzindo significativamente as interrupções. As inovações incluem validação semântica de schema, que detecta desvios, e um sistema de gerenciamento de estado persistente para facilitar a reconexão e recuperação de jobs falhos, preservando identificadores externos. Além disso, o Airflow integrará um mecanismo de decisão de retry baseado em LLM para classificar falhas e determinar se um job deve ser retentado, atrasado ou escalado, prometendo uma engenharia de dados mais robusta e menos complexa.

O GitHub revelou que a introdução de ferramentas de code review mais eficientes para o Copilot inicialmente resultou em uma piora nos benchmarks, com aumento dos custos de token e menor identificação de problemas. O gargalo se deu porque as instruções genéricas direcionavam o agente a navegar por todo o repositório, em vez de focar no *diff* inicial. A solução veio com a reescrita das instruções para priorizar o *diff*, refinando a busca com comandos como *grep* e *glob*, e validando evidências com *view*. Essa otimização reduziu o custo médio de revisão em 20%, mantendo a qualidade.

O ClickHouse anuncia a disponibilização de imagens Docker fortificadas, fundamentadas em uma arquitetura mínima que elimina shell, gerenciador de pacotes e ferramentas de rede. Esta medida resultou na erradicação de vulnerabilidades de segurança de média gravidade (CVEs), reduzindo de oito na imagem padrão do Ubuntu para zero, sem comprometer a funcionalidade do banco de dados. A adoção dessas imagens otimizadas requer apenas uma pequena alteração no comando `docker run`, e uma versão de depuração está disponível para anexar ferramentas temporariamente, mantendo a integridade da imagem de produção.

A Databricks conduziu uma avaliação interna detalhada de agentes de codificação, utilizando suas próprias tarefas operacionais como benchmark. Os resultados indicaram que diversos modelos de IA, inclusive soluções de código aberto como o GLM 5.2, demonstraram desempenho robusto. Este estudo é crucial para a otimização de pipelines de dados e processamento, além de influenciar futuras arquiteturas de modelagem e estratégias de governança de dados.