Como reduzimos a latência do Vertex AI em 35% com GKE Inference Gateway

O Vertex AI aprimorou o serving de inference ao adotar o GKE Inference Gateway, que utiliza roteamento load-aware e content-aware para reduzir a latência e aumentar a eficiência. Em produção, esta implementação entregou respostas mais rápidas, melhor tail latency e dobrou as taxas de acerto do cache de prefixo.