Benchmarking de Motores de Inference em Workloads Agentic

Workloads agentic estão redefinindo os benchmarks para motores de inference, exigindo cenários de múltiplas interações e uso de ferramentas. Tais cenários impõem desafios ao gerenciamento e ao escalonamento do KV cache devido a traces mais longos e a distribuições variadas de tokens. A Applied Compute introduziu três perfis de workload para auxiliar na otimização da performance de motores e aceleradores. A empresa lançou uma ferramenta de benchmarking open-source para replicar essas situações, destacando a necessidade de soluções como o offloading de KV cache e o roteamento sensível ao workload para aprimorar o throughput e a eficiência.