Voltar
Screenshot of an evaluator’s model selector listing Fireworks AI model and router endpoint IDs, with a router selected.

Datadog Agent Observability passa a suportar Fireworks AI como provedora de modelos

Aprofundamento CEVIU

Aprofundamento

O Datadog Agent Observability passou a aceitar a Fireworks AI como provedora de modelos. Quem roda agentes sobre modelos abertos hospedados lá (GPT-OSS, Kimi, GLM, Qwen e MiniMax, citados pela Datadog) agora conecta a própria chave de API uma vez e vê os modelos disponíveis em qualquer ponto da plataforma que peça um provedor.

Na prática, são dois usos. O primeiro é LLM-as-a-judge: um modelo da Fireworks pontua entradas e saídas dos traces de produção em critérios como fidelidade, relevância de tópico e sentimento. Os resultados aparecem ao lado de cada span, dá para filtrar traces por nota e alertar sobre regressões. O segundo é o Playground, onde você testa prompts contra modelos como o gpt-oss-120b e vê resposta, contagem de tokens e latência. Dá para trocar por endpoints de roteamento de baixa latência, como o Nexus Auto, rodar o prompt contra um dataset e usar o "Get Code" para copiar a configuração para a aplicação.

Como as avaliações rodam na sua conta Fireworks, o consumo segue o faturamento e a governança que você já configurou. Você escolhe o equilíbrio entre custo e qualidade por avaliador e não precisa montar um pipeline à parte para exportar traces, chamar o modelo e gravar as notas de volta. O recurso está disponível para todos os clientes do Agent Observability.

O que mudou

Em 2 de novembro de 2026, o CEVIU noticiou "Datadog Agent Observability passa a fazer tracing de voice agents", com captura de áudio, transcrições, tokens e tool calls de agentes sobre a OpenAI Realtime API. Quatro dias depois, o mesmo produto amplia o outro lado: além de observar agentes, agora aceita um novo provedor de modelos para avaliá-los e testá-los.

Por que isso importa

Para quem opera agentes em produção, isso sugere que o custo da avaliação contínua pode cair, já que o juiz pode ser um modelo aberto menor ou um endpoint de baixa latência, escolhido por avaliador. Para times de plataforma, manter a cobrança na conta da Fireworks facilita aplicar os controles de governança existentes. É uma leitura editorial: o ganho real depende da qualidade do modelo escolhido como juiz, e isso precisa ser validado nos seus próprios dados.

Linha do tempo

  1. CEVIU noticia o tracing de voice agents no Datadog Agent Observability.

  2. Datadog Agent Observability passa a suportar a Fireworks AI como provedora de modelos.

Perguntas frequentes

O que o Datadog Agent Observability passou a fazer com a Fireworks AI?

Passou a aceitar a Fireworks AI como provedora de modelos. Você usa sua própria chave de API para rodar avaliações LLM-as-a-judge e para experimentar modelos no Playground. Os resultados ficam junto dos demais dados de observabilidade.

Preciso de um pipeline separado para avaliar traces com modelos da Fireworks?

Não. Segundo a Datadog, a plataforma roda o avaliador sobre seus traces de produção com o modelo escolhido. Não é preciso exportar traces, chamar o modelo e gravar as notas de volta por conta própria.

Quem paga pelo uso dos modelos nas avaliações?

As avaliações rodam na sua conta da Fireworks AI. O uso segue o faturamento e os controles de governança que você já configurou lá. Você decide o equilíbrio entre custo e qualidade em cada avaliador.

Quem já pode usar a integração?

A integração está disponível hoje para todos os clientes do Datadog Agent Observability. É preciso ter uma conta na Fireworks AI para obter a chave de API e conectá-la uma vez.

Fontes

Avalie este artigo:
Categoria
CEVIU DevOps
Publicado
06 de novembro de 2026
Editoria
CEVIU DevOps

Quer receber mais sobre CEVIU DevOps?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser