Prompt Caching 201: Otimizando Desempenho e Custos com Reutilização de Prefixes de Prompt

A OpenAI publicou um guia detalhado explicando como o prompt caching reutiliza prefixes de prompt repetidos para evitar o prefill compute, resultando na redução da latência e dos custos de tokens de entrada. O documento aborda a mecânica do cache, considerações sobre roteamento, a reutilização de pares chave-valor (KV) e oferece estratégias práticas para elevar as taxas de acerto do cache em workloads de produção .