CEVIU News - CEVIU Dados - 19 de março de 2026

O Reddit migrou sua frota Apache Kafka em escala de petabytes, com mais de 500 brokers, do Amazon EC2 para o Kubernetes. A transição foi realizada sem qualquer downtime, perda de dados ou alterações no lado do cliente . Para alcançar isso, a equipe implementou uma fachada DNS para abstração de conexão contínua, dobrou o tamanho do cluster com brokers EC2 de IDs mais altos para liberar IDs mais baixos, e fez um fork do operador Strimzi para permitir uma operação mista EC2-Kubernetes .

Claude Code é um poderoso impulsionador de produtividade para prototipagem rápida, iteração e gerenciamento de tarefas repetitivas na engenharia de dados. No entanto, carece de julgamento, confiança e confiabilidade para trabalho de produção não supervisionado devido a saídas que parecem corretas mas estão erradas, perda de dados silenciosa e não determinismo. Assim, Claude Code se posiciona como uma forte ferramenta "companheira" hoje, mas ainda não como um substituto completo.

O Ranking Engineer Agent (REA) da Meta é um agente de IA que acelera o ranking de anúncios gerenciando o ciclo de vida completo de ML com quase nenhuma intervenção humana. O REA utiliza o framework Confucius para acesso persistente a estados e ferramentas, gerando hipóteses de alta qualidade a partir de insights históricos com o ML Research Agent. Este processo segue um Framework de Planejamento de Três Fases (Validação → Combinação → Exploração), operando dentro de orçamentos de compute definidos e lidando autonomamente com erros através de runbooks.

Utilizando o otimizador do DSPy, a Dropbox definiu um objetivo claro para o avaliador de relevância do Dash: minimizar o erro médio quadrático normalizado em relação a avaliações humanas. A equipe incorporou feedback estruturado a partir de lacunas nas avaliações e racionalizações humanas, garantiu a validade de JSON com guardrails e realizou o refinamento iterativo de prompts. Esses avanços possibilitaram de 10 a 100 vezes mais rotulagem sintética pelo mesmo custo e aceleraram a troca de modelos de semanas para 1-2 dias, otimizando significativamente o processo.

A adoção da IA acelerou drasticamente , com agentes agora gerando dados de "trajetória" contextuais e com alta carga de escrita que sobrecarregam bancos de dados operacionais tradicionais e borram as fronteiras entre infraestrutura e feature stores. Implantações reais, como a escalabilidade do PostgreSQL pela OpenAI para 800 milhões de usuários e seguradoras utilizando speech-to-text com 95% de precisão para criação rápida de planos de cuidado, destacam um ROI mensurável . A governança de IA tornou-se urgente, exigindo novas salvaguardas sobre a governança de dados existente, enquanto o hype em torno dos context graphs sinaliza complexidade crescente e desafios de integração semântica ainda não resolvidos .

Pgit é um CLI similar ao Git que armazena repositórios em PostgreSQL com compressão delta integrada. Isso torna todo o histórico de commits consultável via SQL, muitas vezes igualando ou superando a melhor compressão do Git. A ferramenta viabiliza análises de código poderosas, permitindo que desenvolvedores e agentes de IA consultem instantaneamente o histórico, detectem padrões e gerem insights sem a necessidade de custom tooling.

A forte dependência de ferramentas de codificação de IA em gigantes da tecnologia como Anthropic, Amazon, Uber e Meta está impulsionando aumentos significativos na produção de código – engenheiros classificados como "power users" de IA produzem 52% mais pull requests. No entanto, essa dependência também está levando a quedas notáveis na qualidade do software, aumento de interrupções e crescimento da dívida técnica. Na Anthropic, mais de 80% do código de produção é gerado por IA, resultando em bugs críticos de UX que afetam milhões de usuários. Similarmente, a Amazon tem observado um aumento nos SEVs (Severity Events) e agora exige revisão sênior para códigos assistidos por IA. Essas tendências destacam a necessidade de uma supervisão arquitetural mais rigorosa, validação de código e maior ênfase na garantia de qualidade.

Agentes de IA modernos em ferramentas como Snowflake Cortex, Copilot, Claude e Slack são vulneráveis a ataques de prompt injection que podem contornar as salvaguardas, executar malware e exfiltrar dados sensíveis. Um exemplo real demonstra como um prompt injetado enganou o Cortex para executar código malicioso fora de sua sandbox sem aprovação do usuário, permitindo que atacantes roubem ou destruam dados usando as credenciais da vítima.

A codificação assistida por IA impulsionou um aumento de 34% ano a ano nos segredos vazados em 2025. Commits feitos com Claude Code apresentaram uma taxa de vazamento de 3,2% (mais que o dobro da linha de base de 1,5%), resultando em quase 29 milhões de credenciais expostas detectadas no GitHub. Vazamentos envolvendo credenciais de serviços de IA saltaram 81% ano a ano, e repositórios internos foram seis vezes mais propensos a conter segredos hardcoded. Lacunas persistentes na remediação, com 64% dos segredos válidos de 2022 ainda não revogados, destacam falhas críticas na governança e na gestão de NHI.

Modelos de IA não gerenciados criam dívida técnica oculta, representando um risco significativo para a governança de dados e sistemas.

A Snap migrou suas pipelines de dados para testes A/B do Snapchat, que processam mais de 10 PB de dados por dia, de Apache Spark baseado em CPU para Spark acelerado por GPUs NVIDIA no Google Kubernetes Engine. Essa transição resultou em tempos de execução 4x mais rápidos e uma economia de custo diária de 76% .