Cloudflare aprimora execução de modelos de IA com otimizações em escala na plataforma Workers AI

A otimização da execução de modelos de IA, como o Kimi K2.6 da Moonshot e o GLM da Z.ai, na plataforma Workers AI da Cloudflare, é um avanço crucial em engenharia de plataformas. A Cloudflare adotou três técnicas principais para gerenciar as demandas de memória e processamento. Primeiramente, a quantização do cache KV, antes em 16 bits, agora usa ponto flutuante de 8 bits (FP8). Isso dobra a capacidade de contexto do Kimi K2.6 para 1,37 milhão de tokens, reduzindo o custo por token em 30%.

Em segundo lugar, a compactação dos pesos do modelo GLM, passando de inteiros de 8 bits para 4 bits (INT4), diminuiu o tamanho do checkpoint de 705 GB para 421 GB. Essa técnica acelera a decodificação de requisições únicas em 55%. Por fim, uma camada de verificação de integridade do cache KV foi implementada para garantir a segurança dos dados entre usuários em ambientes multi-tenant, adicionando menos de 1% de overhead. A Cloudflare utiliza SGLang como framework de inferência, garantindo alta performance e eficiência.

Essa otimização demonstra uma evolução notável na capacidade da Cloudflare de hospedar modelos de IA de ponta em sua infraestrutura. Em 20 de março de 2026, o CEVIU News noticiou a introdução do Kimi K2.5 na Workers AI, destacando sua janela de contexto de 256k tokens e economia de custos. Agora, com o Kimi K2.6, a Cloudflare não apenas suporta uma versão mais recente do modelo, mas também expandiu sua janela de contexto para impressionantes 1,37 milhão de tokens, uma melhoria de mais de cinco vezes na capacidade de memória do cache KV. Isso prova que as promessas de economia e escala da plataforma estão se concretizando com engenharia avançada.

Para o ecossistema DevOps e engenharia de plataformas, essas otimizações são fundamentais. Elas permitem que desenvolvedores utilizem modelos de IA mais poderosos com janelas de contexto estendidas a um custo significativamente menor, sem comprometer a acurácia. A capacidade de otimizar a utilização de recursos de GPU, como memória e largura de banda, através de técnicas como quantização e compressão de pesos, é vital para a sustentabilidade e escalabilidade de aplicações de IA. A verificação de integridade do cache, por sua vez, adiciona uma camada essencial de confiabilidade e segurança em um ambiente de hardware compartilhado, garantindo a integridade dos dados mesmo com alto volume de requisições.