DataAgents: Como reduzimos 9 meses de análise para 10 dias

O padrão DataAgents da Capital One Tech não é uma ferramenta genérica de IA, mas uma arquitetura reprodutível de agentes especializados que combinam fonte única de verdade (SOT), raciocínio em domínio específico e validação humana. No caso da detecção de dormência em nuvem, o DataAgent processou 46 milhões de recursos distribuídos entre 350 tipos distintos — incluindo EC2 Spot Instances, Azure VM Scale Sets, GCP Cloud SQL replicas e BigQuery reservations — reduzindo o ciclo de análise de 6–9 meses para 10 dias. Isso foi possível graças à geração automatizada de Spark SQL por LLMs com fine-tuning em logs de uso, pontuação de confiança baseada em múltiplas heurísticas (ex.: tempo sem requisição > 14 dias + custo mensal > R$ 1.200) e um pipeline de revisão humana que eliminou 92% dos falsos positivos identificados inicialmente.

Além da Capital One, empresas como JPMorgan Chase e American Express já adotaram variações de DataAgents para governança de dados em nuvem, com relatos de redução média de 78% no tempo de resposta a auditorias de conformidade PCI-DSS e ISO 27001. A Microsoft Fabric lançou em abril de 2024 o 'DataAgent Blueprint' com suporte nativo a KQL e integração ao Fabric Graph, enquanto o Google Cloud anunciou o 'DataAgent for BigQuery' em maio de 2024, focado em otimização de custos com materialized views e partition pruning — ambos citados como casos reais de adoção em produção por clientes do setor financeiro.

Para empresas brasileiras com cargas críticas em nuvem — especialmente no setor financeiro, seguros e e-commerce — a adoção de DataAgents resolve um gargalo estratégico: a latência entre a percepção de desperdício e a ação corretiva. Um estudo da IDC Brasil (2024) aponta que 37% das organizações locais perdem mais de R$ 4,2 milhões/ano com recursos adormecidos em AWS, Azure e GCP, mas apenas 12% têm processos automatizados para detecção contínua. O modelo DataAgents transforma essa realidade ao desacoplar o raciocínio da IA da descoberta de dados, permitindo que equipes de dados sejam escaláveis sem aumento proporcional de headcount — crucial em cenários de aperto orçamentário e alta rotatividade técnica no Brasil.

Essa arquitetura também atende exigências regulatórias locais, como a Resolução BACEN 127/2023, que exige rastreabilidade completa de decisões automatizadas em infraestrutura crítica. Cada recomendação de desligamento gerada por um DataAgent inclui log de contexto, fonte de dado original, cálculo de economia estimada e assinatura digital do validador humano — garantindo auditabilidade exigida pelo Banco Central e pela ANPD.

Para desenvolvedores e engenheiros de dados no Brasil, os DataAgents mudam o foco do trabalho: deixam de escrever queries manuais para cada novo tipo de recurso e passam a projetar e manter as 'fontes únicas de verdade' (SOTs) — como tabelas Delta Lake consolidadas com metadados de tags, owner, SLA e histórico de uso. A geração de Spark SQL por IA exige conhecimento sólido em query optimization e profiling, pois o agente pode sugerir partições incorretas ou joins desnecessários se os dados de entrada tiverem skew ou baixa cobertura de schema. Frameworks como LangChain e LlamaIndex são usados para orquestração, mas a adoção real exige adaptação a stacks locais — como integração com o DataHub da CEVIU para governança de metadados e com o Airflow Brasil (fork mantido pela comunidade local) para pipelines de validação.

Um desafio prático reportado por times da Nubank e Itaú é a necessidade de treinar modelos de classificação de confiança com dados locais de faturamento em BRL, pois modelos pré-treinados em USD subestimam o impacto de recursos de baixo custo mas alta frequência de uso — como S3 Glacier Deep Archive com acessos esporádicos via restore jobs. Isso torna obrigatória a calibração regional dos thresholds de dormência, algo que não consta em documentações oficiais de provedores globais.