Cinco meses depois de reconstruir seu produto de warehouse sobre o DuckDB, a PostHog está abandonando a tecnologia. Segundo a empresa, cada instância precisava ser dimensionada antes da chegada da query, e o DuckLake, com cerca de 1 trilhão de linhas, podia levar mais de três minutos para uma escrita em uma única tabela. Agora, a PostHog está reconstruindo o produto sobre o Trino, com um formato de tabela próprio, o HogLake.
O Airbnb fez fine-tuning de um modelo com 2 bilhões de parâmetros efetivos para filtrar conteúdo que viola a política de preços. O F1 score saiu de 0,563 e chegou a 0,902, o que iguala o desempenho das melhores APIs de frontier models. A latência mediana ficou em 35 ms, contra cerca de 900 ms dessas APIs. Com milhares de requisições por minuto, usar frontier models custa duas ordens de grandeza a mais do que manter uma única GPU self-hosted.
À medida que agentes de IA geram mais SQL, transformações e dashboards, verificar o resultado passa a pesar mais do que escrever o código em si. Segundo o texto, o que os times de desenvolvimento realmente precisam é de validação no estilo de compilador, suítes de testes em camadas e lineage unificado entre modelos de dados e ativos de BI. Levar as assertions para etapas mais iniciais do desenvolvimento pode tornar as análises geradas por agentes mais fáceis de auditar e menos sujeitas a semantic drift.
A Meta reconstruiu a infraestrutura de features de ML dos seus anúncios para que cada feature possa ser implantada de forma independente, sem abrir mão da eficiência da computação compartilhada. O F3 Lightning combina stable computation IDs, um plano de execução unificado e memória compartilhada para evitar processamento redundante entre mais de 20.000 features. Com isso, features comparáveis chegam à produção 3,6 vezes mais rápido, sem aumento nos custos de compute da infraestrutura.
A Halodoc migrou seu data warehouse Redshift de instâncias RA3 para instâncias RG, baseadas em Graviton, depois de validar a compatibilidade de ingestão, ETL, dashboards e governança. Os resultados: operações de COPY cerca de 6x mais rápidas, consultas pesadas de relatórios de 2,1x a 5,2x mais rápidas e tempo em fila cerca de 70% menor. Os custos gerais do Redshift caíram 32%, o que mostra o potencial da nova arquitetura para workloads de analytics em produção.
A indústria de dados está presa entre a consolidação de fornecedores, a automação movida por IA e problemas operacionais que ainda não foram resolvidos. Gerar SQL, pipelines e documentação está cada vez mais barato, mas dados quebrados, definições de negócio inconsistentes e responsabilidades pouco claras continuam existindo. O valor duradouro dos times de dados está em semântica, governança e compreensão, e não em produzir mais artefatos técnicos.
A análise exploratória de dados ainda exige olhos humanos sobre os dados. O que parece estranho depende do que se pretende fazer, e nenhum modelo consegue saber isso no vácuo. Segundo o texto, os LLMs raramente tornam o trabalho mais rápido.
O SurrealDB 4 chega com o query engine reconstruído e mais de 240 correções. A versão reporta operações de CRUD 42% mais rápidas e projeta consultas indexadas 22 vezes mais rápidas, além de adicionar compatibilidade com PostgreSQL, MySQL e MongoDB. O mesmo engine alimenta os bancos de dados serverless da Earth na Cloudflare e os clusters distribuídos do SurrealDS, que só confirmam as gravações depois de armazená-las em duas zonas.
O Apache Hudi-rs 0.6.0 passa a oferecer suporte nativo de escrita para Rust e Python. Com isso, aplicações podem criar, anexar, atualizar, fazer upsert e excluir registros sem depender de Spark nem de JVM. O índice em nível de registro permite atualizações de pequenos lotes em menos de um segundo, mesmo em tabelas com milhões de linhas. O release também melhora em até 6x o desempenho de leitura em Python e mantém a compatibilidade com os engines de consulta já existentes do Hudi.
Antes, o Pinterest executava inference com Ray, gravava as previsões no S3 e depois iniciava um job do Spark para lê-las novamente e calcular as métricas. A nova plataforma de avaliação muda essa lógica: calcula métricas parciais lote a lote dentro do próprio job de inference do Ray e as combina no final. Com isso, o tempo de avaliação de ponta a ponta caiu até 32% em execuções de feature importance.
Guia prático da estuary.dev mostra como replicar bancos PostgreSQL isolados por tenant para tabelas analíticas compartilhadas. A abordagem busca preservar chaves primárias, manter a compatibilidade de schema e garantir o isolamento de falhas.
O SpecBridge mostra que modelos de text-to-SQL frequentemente escolhem, de forma silenciosa, uma única interpretação de perguntas ambíguas. Ao responder a cada interpretação separadamente, a cobertura melhora de 29 a 63 pontos percentuais, sem perda de precisão em pedidos claros.
Conteúdo curado diariamente, direto no seu e-mail.
