Datadog lança Online Experiments para comparar variantes de agentes de IA em tráfego real

O Online Experiments fica dentro do Datadog Agent Observability e junta as avaliações de agentes com o Datadog Experiments. A ideia é testar mudanças em prompts, modelos, recuperação de contexto ou ferramentas com tráfego de produção, e não só com datasets fixos. Uma variante de controle roda no mesmo período da variante alterada, com atribuição aleatória, para separar o efeito da mudança de diferenças de uso (por exemplo, uma ferramenta parecer melhor só porque recebeu perguntas mais fáceis). O Experiments calcula as mudanças relativas e os intervalos de confiança.

A divisão de tráfego pode ser feita com Datadog Feature Flags, o que permite começar com uma fatia pequena e ajustar a exposição sem novo deploy. Os scores dos avaliadores criados no Agent Observability viram métricas do experimento, ao lado de latência, custo, tokens e erros. A partir do resultado, dá para abrir os traces e ver qual ferramenta o agente chamou, com quais argumentos e como reagiu.

No teste interno, o Datadog comparou o GPT-5.6 Luna (referência) e o GPT-6 Luna no agente Insights, com tráfego dividido igualmente. O custo estimado caiu 44,3% (intervalo de 37,5% a 51,2%). A nota de qualidade, dada por um LLM judge de 1 a 5, ficou em 3,84 contra 3,86, mas a própria empresa ressalva que médias próximas não provam qualidade equivalente. A duração subiu 12,8% e os erros de workflow 13,6% na melhor estimativa, com intervalos que vão de queda a aumento relevante (duração de 4% menor a 30% maior, erros de 16% menores a 43% maiores). Nos traces, o GPT-6 Luna errava mais parâmetros de ferramentas, mas em geral se corrigia com retries. O time tratou o problema antes de seguir com o modelo mais barato.

O recurso é gratuito para clientes do Agent Observability com até 40.000 spans de LLM por mês.

Em 9 de fevereiro de 2026, o CEVIU noticiou "Monitorando aplicações agentic do Google ADK com Datadog LLM Observability", que já mencionava suporte a experimentos offline, além de monitoramento de decisões, tokens, latência e qualidade. Agora a mesma linha de produto ganha o lado online, com experimentos sobre tráfego real. Em 4 de setembro de 2026, o CEVIU publicou "Otimização de Agentes: Estratégias para Reduzir Custos em IA", que apontava seleção de modelos e observabilidade em tempo de execução como caminhos para cortar custo. O teste do GPT-6 Luna é um exemplo concreto dessa prática, com medição antes da troca.

Para quem opera agentes em produção, a leitura é que trocar de modelo por preço sem medir é arriscado. O caso do Datadog mostra isso: o custo caiu quase pela metade, mas só os traces revelaram o aumento de falhas em chamadas de ferramentas, que a nota de qualidade não capturava. Na prática, o fluxo vira o de um canary release: feature flag, controle, métricas de custo e erro lado a lado, e rollback sem deploy. Vale lembrar que o exemplo vem de um teste do próprio fornecedor, em um único agente.