CEVIU News - CEVIU Dados - 6 de agosto de 2026

A Meta alcançou um avanço notável em seus modelos de recomendação de anúncios, quadruplicando a performance nos últimos 12 meses e dobrando a eficiência de treinamento para 20-25% de MFU. A inovação é resultado de cinco técnicas-chave, incluindo o uso de jagged flash attention para otimizar o preenchimento de dados, um kernel de attention unificado que acelera o processamento em até 3,5 vezes, o treinamento com precisão MXFP8, e uma comunicação coletiva SM-free que aprimora o desempenho. Além disso, um shuffle de balanceamento de carga foi implementado, agregando 4% de eficiência sem custos adicionais de comunicação, consolidando a infraestrutura de IA da empresa.

A Netflix reformulou sua gestão de petabytes de dados temporais, migrando de uma arquitetura baseada em Kafka e Flink para um sistema que lê diretamente do S3 via Cassandra. Anteriormente, fatias imutáveis eram movidas de clusters Cassandra para o S3 em formato Parquet, com leituras frias que atingiam latência p99 de 500 ms. A nova abordagem, com uma camada de dados frios nativa do Cassandra, já gerencia mais de 15 PB de dados compactados, reduzindo a latência p90 em cerca de 30% e mantendo a mesma API de consulta, ao passo que otimiza custos operacionais.

O Flipkart, gigante do e-commerce, revolucionou a rotulagem de relevância de produtos em sua busca com o Product Analyser, uma ferramenta baseada em IA. A solução emprega um modelo de rotulagem bifásico: inicialmente um ajuste fino (SFT) em milhões de pares consulta-produto balanceados, enriquecidos com traços de raciocínio gerados. Posteriormente, ocorre um alinhamento via GRPO, utilizando um modelo de recompensa de 8 bilhões de parâmetros que avalia tanto a correção do rótulo quanto a qualidade da explicação. Essa abordagem automatizada não só reduz os custos em 30% mas também atinge uma precisão de NDCG com menos de 1% de desvio em relação ao método manual, otimizando a experiência do usuário e a eficiência operacional.

A prática de definir métricas uma única vez por meio de uma camada semântica tem se mostrado essencial para mitigar riscos de inconsistência de dados em diversas plataformas, como Tableau, Power BI e notebooks. Esta abordagem centraliza os controles de permissão e a propagação de mudanças, conferindo auditabilidade a partir de um ponto único. Assim, a camada semântica transcende a função de um mero recurso opcional, consolidando-se como uma estratégia operacional indispensável na gestão e integridade dos dados.

O Polars está redefinindo o desenvolvimento de pipelines de ETL, permitindo que equipes prototipem localmente com amostras de dados e, em seguida, escalem as mesmas queries LazyFrame para processar até 16 bilhões de linhas na nuvem, sem reescrita de código. A metodologia otimiza o acesso a dados ao pré-agregar informações brutas do Polymarket em pequenos arquivos Parquet no S3. Isso garante que dashboards interativos, como os construídos com Plotly Dash, mantenham alta performance, evitando a varredura completa do conjunto de dados a cada solicitação e aprimorando a experiência analítica.

Um estudo recente sobre a latência de um serviço web ilustrou dramaticamente os perigos de depender exclusivamente da média em análises de dados. Enquanto a média da latência aumentou 9% em um conjunto de dados, a mediana inesperadamente caiu 46%, e o percentil 99 (p99) disparou 119%. Essa discrepância sublinha como resumos de métrica única podem mascarar distribuições bimodais complexas, induzindo a erros de interpretação. Para uma compreensão robusta, é essencial empregar ferramentas analíticas mais sofisticadas, como *density plots*, *CDFs*, *shift functions* e *ridgelines*, que, em conjunto, revelaram o tamanho da resposta como a causa raiz do comportamento anômalo.

A Smevals surge como uma solução CLI em Python, leve e eficiente, para a avaliação de modelos de IA e prompts. Seu principal objetivo é identificar a configuração de modelo mais custo-efetiva que satisfaça os critérios de qualidade predefinidos. A ferramenta permite a criação de tarefas personalizadas e a definição de avaliadores (graders) em YAML, com scripts de verificação customizáveis. Após a execução das avaliações em diferentes configurações, os resultados pontuados podem ser visualizados em um dashboard local ou em um site estático, facilitando a análise e otimização.

O DuckLake foi integrado ao Apache DataFusion como um backend de catálogo open-source, oferecendo ao Hotdata metadados transacionais, snapshots e gerenciamento de esquemas para tabelas Parquet armazenadas em object storage. Seu design inovador permite múltiplos backends de catálogo relacionais e catálogos lógicos, viabilizando milhões de bancos de dados isolados e efêmeros para agentes de IA, sem a necessidade de duplicar a infraestrutura existente. Testes de benchmark TPC-H, realizados em 22 queries e com três diferentes tamanhos de conjuntos de dados, demonstraram que não há overhead perceptível em comparação com o acesso direto ao Parquet, com uma leve melhora de desempenho atribuída à descoberta otimizada de metadados durante o planejamento de consultas.

A DB Trail está transformando a forma como os logs de auditoria do MySQL são utilizados, tornando-os consultáveis e contextualizados. A ferramenta inova ao conectar as alterações de linha à identidade da sessão, às declarações SQL executadas e às imagens anteriores dos dados. Com isso, é possível obter respostas atribuídas e em nível de linha para ações destrutivas, além de gerar SQLs de reversão com escopo transacional, permitindo a restauração precisa dos dados afetados. Esta abordagem promete elevar a governança e a segurança de dados em ambientes MySQL.

No universo da otimização de dados, codificação e compressão são frequentemente vistas como abordagens distintas. Enquanto a codificação acelera consultas analíticas ao facilitar operações como poda e SIMD (Single Instruction, Multiple Data), a compressão visa primariamente a redução do volume de armazenamento. No entanto, é possível e vantajoso combinar ambas. Técnicas como a codificação por dicionário e *frame-of-reference* provam que otimizar o desempenho analítico e a economia de espaço não são mutuamente exclusivos, mas sim complementares. Recomenda-se aplicar a codificação como prática padrão e só então adicionar compressão (como zstd), se o ganho de espaço justificar o custo computacional.

A gigante do e-commerce Etsy anunciou o desenvolvimento de novas funcionalidades para o Claude Code, focando na otimização de seus workflows de streaming Kafka. Essas habilidades de IA foram implementadas em sete fluxos críticos, abrangendo desde a geração de features para modelos de Machine Learning (ML) até a criação de embeddings e pipelines de fan-out. A iniciativa visa aprimorar a automação e a eficiência no processamento de dados em tempo real da plataforma.

No universo das arquiteturas de Recuperação Aumentada por Geração (RAG), a escolha entre GraphRAG e Vector RAG não é trivial, e um artigo recente na VentureBeat elucida os cenários ideais para cada um. O GraphRAG demonstra superioridade em consultas complexas, que exigem múltiplos passos, forte dependência de relacionamentos entre os dados ou demandas por explicações detalhadas, otimizando a qualidade da resposta. Em contraste, o Vector RAG emerge como uma alternativa mais econômica e eficiente para buscas semânticas diretas, onde a similaridade vetorial é o principal critério. A compreensão dessas distinções é crucial para arquitetos de dados e engenheiros que buscam otimizar suas soluções de IA.