ZenteiQ quadruplica a geração de dados sintéticos com GKE Inference Gateway e llm-d

O caso da ZenteiQ mostra um uso de inference que foge do chatbot: geração de dados sintéticos em lote para pré-treinar modelos científicos de fundação. O pipeline tem quatro etapas: expandir conceitos em prompts, gerar traços de raciocínio, avaliar as respostas e rodar checagens de guardrail com outra família de modelos. Tudo passa por um único GKE Inference Gateway, alimentado pelo framework open source llm-d, na frente de pools vLLM.

O problema era de roteamento. O round-robin via ClusterIP não enxergava a fila das engines vLLM e mandava pedidos novos para pods ocupados com derivações longas. Pior: como 70% a 80% de cada prompt é contexto compartilhado, as requisições se espalhavam e cada pod recalculava o mesmo prefixo. Com o gateway, a decisão passa a usar fila e uso de KV cache em tempo real. O throughput agregado foi de 16.964 para 69.114 tokens por segundo a cada 1.000 aceleradores. A taxa de acerto do cache de prefixo subiu 14 pontos percentuais, e os pools individuais ganharam de 3,5x a 5,5x.

A cobertura anterior do CEVIU trazia o GKE Inference Gateway em duas frentes: a matéria de 13 de fevereiro de 2026, sobre os 35% de redução de latência no Vertex AI com roteamento load-aware e content-aware, e a de 17 de junho de 2026, sobre o cache de prefixo inteligente. Em 25 de setembro de 2026, o assunto foi o roteamento multi-cluster. Agora a tecnologia aparece num cliente externo, com carga em lote e métrica de throughput, não de latência. O ganho aqui é em tokens por dia, e o artigo cita o caso do Vertex como referência.

Com alocação fixa de computação, cada hora gasta gerando dados é uma hora a menos de pré-treino. Roteamento melhor devolve esse tempo e evita cluster parado esperando dataset. A ZenteiQ também planeja usar a mesma configuração em RL pós-treino e na avaliação automática de solvers numéricos.