Acelerando a Inference de LLMs com Prompt Caching para Modelos Open-Source no Databricks

O Databricks implementou o prompt caching automático para LLMs open-source, incluindo modelos Llama, Mistral e DBRX. Essa funcionalidade reduz o processamento redundante de prompts repetidos, diminuindo custos e latency sem a necessidade de configuração por parte do cliente.