Como criar agentes de voz em tempo real no AI Gateway

O Vercel AI Gateway agora suporta áudio nativamente em modo tempo real, não como uma cadeia de STT + LLM + TTS, mas com modelos que processam voz de entrada e geram voz de saída diretamente, como os modelos xai/grok-voice-think-fast-1.0 e openai/realtime. Essa funcionalidade está disponível desde a versão beta do AI SDK 7, com suporte completo para streaming, interrupção (barge-in), detecção de fala no servidor (server-VAD) e chamadas de ferramentas no meio da conversação. Para usar, desenvolvedores instalam as versões canary do SDK (@ai-sdk/gateway@canary, @ai-sdk/react@canary) e integram o hook useRealtime no navegador, que gerencia microfone, WebSocket autenticado via token de curta duração e reprodução de áudio sem expor chaves de API.

A arquitetura Speech-to-Speech end-to-end reduz latência e preserva nuances vocais, mas ainda é limitada a poucos modelos confirmados: openai/realtime e xai/grok-voice-think-fast-1.0, ambos listados na página de modelos do AI Gateway. A alternativa STT > LLM > TTS continua mais flexível e amplamente adotada, usando serviços como Gladia ou Whisper para transcrição e LMNT ou ElevenLabs para síntese, e também roda pelo mesmo gateway, com observabilidade unificada, controle de gasto e roteamento entre provedores.

Isso elimina a necessidade de orquestrar múltiplas APIs, gerenciar estados de sessão manualmente ou lidar com sincronização entre STT, LLM e TTS. O AI Gateway centraliza tudo: um único endpoint, uma única chave de acesso, orçamentos por ambiente, fallback automático entre provedores e logs detalhados de cada requisição de áudio, igual ao que já existe para texto e imagens. A autenticação é feita com tokens OIDC quando implantado no Vercel, e o SDK já tem mais de 15,8 milhões de downloads semanais, o que indica adoção massiva e maturidade operacional.

Os novos componentes AI Elements, lançados em janeiro de 2026, incluem VoiceSelector, SpeechInput e AudioPlayer, prontos para uso com TypeScript e Next.js. Guia atualizado de início rápido para recursos em tempo real foi publicado em 20 de junho de 2026, confirmando que a documentação e exemplos estão ativos e mantidos.

Desenvolvedores podem construir agentes de voz com menos de 50 linhas de TypeScript, integrando OpenAI, Gladia e LMNT em um único fluxo controlado pelo AI SDK. Não há necessidade de servidores dedicados para WebSockets ou pipelines de áudio: o useRealtime lida com captura, stream e playback no navegador; fora dele, o SDK fornece getWebSocketConfig, serializeClientEvent e parseServerEvent para controle total em back-ends ou dispositivos embarcados. A detecção de fala no servidor (turnDetection: { type: 'server-vad' }) permite interrupções naturais, o usuário fala por cima da resposta, sem esperar silêncio.

O modelo openai/realtime é o único com documentação pública detalhada no GitHub da Vercel e suporte direto no playground do AI Gateway. Já o xai/grok-voice-think-fast-1.0 aparece listado como suportado, mas sem exemplos oficiais ou benchmarks públicos até hoje, sua disponibilidade é confirmada apenas pela presença na interface do gateway e em releases do SDK.