DigitalOcean lança plataforma serverless de inferência com mais de 30 modelos de IA

A DigitalOcean não lançou só mais uma API de inferência: ela ativou a camada de IA da sua AI-Native Cloud, anunciada na Deploy 2026. O Serverless Inference é o primeiro serviço de produção dessa arquitetura de cinco camadas (infraestrutura → core cloud → inferência → dados → agentes), projetada para rodar sistemas agênticos em escala sem que engenheiros precisem gerenciar GPUs, modelos ou ciclos de vida. A cobrança por token, e não por instância ou hora, elimina o custo oculto de idle time, um gargalo crônico em pipelines de inferência com autoscaling baseado em requisição, como o já disponível na App Platform desde 25 de maio. O serviço usa vLLM otimizado com roteamento ciente de prefixo (técnica validada em 3 de junho com ganho de até 4x em eficiência) e integra cache de prompts, RAG nativo e web search diretamente no endpoint, tudo compatível com OpenAI/Anthropic, sem necessidade de adaptação de código.

O Inference Router, que estava em preview desde 1º de junho, agora está em GA como núcleo do Serverless Inference. Ele não é só um load balancer: é um MoE próprio da DigitalOcean que decide, em tempo real, qual modelo usar com base em tarefa, latência, custo e contexto, e já reduziu 40% dos gastos de clientes como LawVo. Isso conecta diretamente ao lançamento anterior do OpenCode com suporte ao roteador: agora o mesmo mecanismo que otimizava custos em agentes de codificação foi expandido para todos os tipos de carga (texto, vídeo, áudio, visão).

Em 1º de junho, o Inference Router era um componente isolado em preview, integrado apenas ao OpenCode. Agora, em 3 de junho, ele é o cérebro do Serverless Inference, um serviço completo, em GA, com 70+ modelos (não 30, como divulgado inicialmente), faturamento unificado e compatibilidade plena com padrões de API. Também houve evolução técnica: o roteamento ciente de prefixo, testado com vLLM em 3 de junho, deixou de ser um caso de uso pontual e virou feature nativa da plataforma. Além disso, o catálogo agora inclui modelos como DeepSeek V3.2 e Llama 3.3 70B, ausentes nas primeiras listas divulgadas.

Para equipes de DevOps e engenharia de plataformas, isso significa menos infraestrutura para operar e mais controle sobre custos de IA em produção. Não é só 'mais um modelo': é uma mudança de paradigma no ciclo de vida de serviços agênticos, onde o autoscaling passa de HTTP (App Platform, 25/05) para tokens (Serverless Inference, 03/06), o cache de prompts vira nativo e a observabilidade se alinha com métricas de inferência (tempo para primeiro token, throughput por modelo). Em ambientes com múltiplos agentes, o Inference Router substitui orquestradores customizados, reduzindo a complexidade operacional e eliminando o risco de subutilização de GPUs dedicadas, algo que a Dedicated Inference (oferta paralela) ainda exige.