Nunca desperdice um token: como evitar perdas de custo em chamadas de IA

O artigo de Sunil Pai não é só sobre 'não perder tokens', é sobre reconstruir a camada de infraestrutura entre agentes e LLMs. A falha que gera o desperdício não está no código do seu agente, mas na arquitetura: quando um processo morre (por deploy, OOM ou evicção), a conexão HTTP com o provedor some com ele. Você paga pelos tokens gerados até aquele instante, mas perde o acesso a eles. A solução proposta, um buffer como Durable Object no Cloudflare, move essa conexão para fora do ciclo de vida do agente. Isso transforma o stream em um ativo durável: os tokens são escritos em SQLite assim que saem do modelo, e qualquer leitor (browser, agente reiniciado ou ferramenta de monitoramento) pode acessá-los a partir de um índice de evento.

Isso explica por que a OpenAI conseguiu implementar algo semelhante nativamente no Responses API: ela controla toda a pilha. Já Anthropic e Gemini exigem rechamadas porque sua infraestrutura não mantém o estado da geração após o drop da conexão. O ponto crítico, confirmado por testes recentes no AI Gateway, é que resumir por event index, não por byte offset ou tempo, é o único jeito confiável de garantir correspondência exata. E isso só funciona se o buffer for gerenciado em infraestrutura que nunca é reimplantada junto com seu código: gateway, não worker.

Em abril de 2026, a CEVIU já alertava que comparar preços por milhão de tokens era enganoso, agora sabemos que até o *modo como você paga* por eles muda radicalmente. Em junho de 2026, o Cloudflare AI Gateway lançou suporte real a resume durável (com cf-aig-run-id e recuperação por event index), validado com seis modelos diferentes. Isso é uma virada: antes, a única opção para evitar dupla cobrança era construir sua própria camada de buffer (como o DO hack descrito por Pai). Hoje, basta ativar uma flag no gateway, e o recurso já está rodando em tráfego real, não em beta teórico. Também houve mudança regulatória: o Google impôs limites máximos de gastos mensais na API Gemini em abril, e a Anthropic reverteu sua mudança para créditos baseados em uso em 15 de junho, reconhecendo que modelos de faturamento devem acompanhar a realidade operacional, incluindo o risco de tokens perdidos.

Um token desperdiçado não é só um centavo perdido. É um sintoma de arquitetura frágil. Em um agente com três chamadas de ferramenta por turno, uma única evicção durante a segunda chamada pode custar até 30 vezes mais com GPT-4o-mini do que com Claude Sonnet, não pela eficiência do modelo, mas pelo preço por token de saída. E isso escala: equipes que usam roteamento inteligente (como reportado em 9 de junho) ainda pagam duas vezes se o buffer não sobreviver ao deploy. A inferência durável fecha essa brecha técnica e financeira. Mais importante: ela muda o contrato entre desenvolvedor e infra. Agora, o gateway assume a responsabilidade de entregar o que foi pago, não apenas o que foi solicitado.