O Trilema da Inference de LLM: Throughput, Latency e Custo

A tensão ortogonal tridirecional entre throughput, latency e custo representa o desafio central de engenharia na hospedagem dedicada de large language models (LLMs). Compreender essa dinâmica é crucial para otimizar a infraestrutura e o desempenho.