ElevenLabs chega ao AI Gateway da Vercel com 14 modelos de áudio

A Vercel e a ElevenLabs levaram 14 modelos de áudio da ElevenLabs ao AI Gateway, todos acessíveis por uma única API key do gateway. São seis categorias: speech to text, streaming text to speech, agentes de voz em tempo real, música, efeitos sonoros e diálogo com várias vozes. Cada requisição cai nas mesmas visões de uso, custo e trace do resto do tráfego do gateway. Até 9 de novembro, todos os modelos da ElevenLabs saem com 50% de desconto.

Há dois desenhos de arquitetura. No pipeline encadeado, o Scribe v2 Realtime transcreve enquanto o usuário fala, um modelo de linguagem à escolha responde e o Eleven Flash v2.5 fala o texto conforme ele chega por streaming. Como cada etapa é um modelo independente, dá para trocar qualquer uma sem mexer nas outras. No desenho de sessão única, o Eleven Realtime v1 Max e o Eleven Realtime v1 Mini cuidam de toda a conversa por uma sessão WebSocket. O navegador abre a sessão, o servidor só gera um token de curta duração e a API key fica fora do cliente. No front, o hook useRealtime do @ai-sdk/react recebe um voice ID e turnDetection: { type: 'semantic-vad' } no sessionConfig. Esses modelos aceitam semantic VAD, mas não server-vad.

Música (Music v2.5 e Music v2) e efeitos (Sound Effects v2) usam generateSpeech, com texto descrevendo o som. O diálogo com várias vozes fica com Eleven v4, Eleven v4 Turbo e Eleven v3, que geram uma gravação contínua a partir de um roteiro com uma voz por fala. O AI Gateway, segundo a fonte, reflete o preço do provedor sem markup e não cobra taxa de plataforma sobre inferência, inclusive em BYOK.

Em 29 de junho de 2026, o CEVIU noticiou "Como criar agentes de voz em tempo real no AI Gateway", sobre a Vercel viabilizar agentes de voz em tempo real na infraestrutura do gateway. Agora a oferta ganha um provedor de voz específico, com os modelos Eleven Realtime v1 Max e Mini. Em 29 de setembro de 2026, o CEVIU cobriu "Eleven Labs Lança Eleven v4", modelo de voz com expressividade aprimorada. O Eleven v4 e o Eleven v4 Turbo agora aparecem no gateway para diálogo com várias vozes.

Para quem desenvolve com o AI SDK, isso significa testar voz, transcrição e música sem abrir contrato nem chave separada com a ElevenLabs, e com custo e trace no mesmo painel do restante da IA. A janela de 50% de desconto até 9 de novembro é um bom momento para comparar o pipeline encadeado com a sessão única em latência e controle.