Como a lemonflow usa Gemma 4 em TPUs para rodar agentes de voz na recarga de veículos elétricos

O caso da lemonflow mostra um problema comum em agentes de voz: o gargalo não está só no modelo, está em quem garante a capacidade. A empresa diz que, com APIs gerenciadas de LLM, a latência saltava de 1,0 a 1,2 segundo para mais de 1,7 segundo no pico, com erros HTTP 429. Nos testes dela, acima de 800 milissegundos o motorista tende a interromper o agente. Cada agente roda com um prompt único e abrangente, mais chamadas dinâmicas de ferramentas sobre dados ao vivo dos carregadores, o que gera picos de demanda difíceis de garantir em capacidade compartilhada.

A solução foi self-hosting do Gemma 4 em TPUs v6e do Google Cloud, na União Europeia. Segundo a empresa, a compatibilidade do Gemma com o Gemini permitiu migrar a infraestrutura de prompts com pouca modificação. Houve também otimizações no vLLM e um esquema de memória em camadas entre TPU e memória do host, para manter muitos agentes de operadores prontos sem recalcular o contexto. Um gateway prioriza voz ao vivo, depois chats, e deixa re-simulações para horários de pouco tráfego. O Gemma responde a mais de 99,9% dos turnos ao vivo, com fallback para GPUs próprias e endpoints do Gemini Enterprise.

Os números são da própria empresa: P50 de cerca de 350 ms e P90 de cerca de 600 ms (aproximadamente três vezes mais rápido que a linha de base com APIs gerenciadas), zero erros 429 e ciclos de atualização e teste de prompt caindo de 2 a 3 horas para cerca de 10 minutos. O texto vem de um blog do Google Cloud sobre um cliente, então vale ler como relato do fornecedor. A arquitetura também separa tokens de texto, enviados ao TTS, de tokens de chamada de ferramenta, executados de forma assíncrona (reiniciar carregador, destravar cabo, enviar SMS).

Para quem opera agentes de voz em produção, o caso sugere que o ponto de decisão entre API gerenciada e modelo aberto em hardware dedicado é a previsibilidade de latência no pico, não o custo por token. Isso é leitura editorial: a fonte não traz comparação de custo. Controlar o stack de serving também deixa os testes mais estáveis, algo que pesa em quem mantém centenas de prompts distintos.