Google revoluciona inferência de IA com roteamento multi-cluster no GKE Inference Gateway

A crescente demanda por infraestrutura de IA e a escassez de aceleradores impõem desafios significativos às equipes de engenharia. O Google aborda isso com o GKE Inference Gateway multi-cluster, que unifica a capacidade global de aceleradores em um único endpoint. Esta arquitetura de roteamento em camadas faz com que clusters geograficamente dispersos funcionem como um pool unificado, maximizando a utilização e o retorno do investimento em hardware de IA. A solução usa o Endpoint Picker Proxy (EPP) para monitorar a utilização do KV-cache em tempo real, um sinal crítico para LLMs, e direcionar o tráfego de forma inteligente, evitando que aceleradores fiquem ociosos enquanto requisições esperam em outra região.

Diferente do roteamento round-robin tradicional, que é ineficiente para as demandas de memória e computação de LLMs, o GKE Inference Gateway atua com sensibilidade à pressão de memória. Ele detecta a saturação de KV-cache (por exemplo, quando um cluster atinge 40% de sua capacidade) e automaticamente direciona o excesso de tráfego para regiões mais saudáveis. Essa abordagem não só otimiza o uso de recursos caros, mas também garante alta disponibilidade e resiliência, transformando centros de dados regionais isolados em uma frota coesa de aceleradores de IA.

O GKE Inference Gateway segue em constante evolução. Em fevereiro de 2026, noticiamos como ele reduzia a latência do Vertex AI com roteamento load-aware e content-aware. Depois, em junho de 2026, destacamos o uso de cache de prefixo inteligente para otimizar inferência de LLMs.

Agora, o Google avança com o roteamento multi-cluster. O que era um roteamento inteligente para um cluster se torna uma solução global que agrupa capacidade entre regiões. A inteligência passa de um cache de prefixo local para o uso em tempo real da utilização do KV-cache como métrica de roteamento global, tornando a distribuição de carga muito mais eficaz para as características específicas dos LLMs e suas demandas de memória.

Para equipes de DevOps e engenharia de plataformas, a novidade é um salto na otimização de custo e desempenho para cargas de trabalho de IA em escala. Ela resolve o dilema de como gerenciar clusters de GPUs/TPUs fragmentados em diversas localidades, convertendo-os em um recurso único e eficiente. Isso significa menos hardware ocioso e mais 'inteligência por dólar', algo fundamental para o desenvolvimento e operação de serviços baseados em IA.

A capacidade de rotear tráfego com base na utilização real de memória (KV-cache) garante que o custo da infraestrutura seja maximizado, evitando gargalos de recursos que antes eram difíceis de prever e gerenciar. A abstração da complexidade multi-regional para a equipe de operação simplifica a implantação e a manutenção, permitindo focar na inovação e na entrega de valor.