Ray Data LLM dobra o throughput em comparação com o vLLM em escala de produção

Muitas das cargas de trabalho modernas que usam LLMs priorizam o throughput em vez da latência por solicitação, algo que muitos sistemas e implantações de LLM otimizam atualmente. O Ray Data LLM é uma biblioteca desenvolvida para inferência em batch em larga escala para LLMs. Ele oferece execução escalonável, alto throughput e tolerância a falhas. Com uma arquitetura altamente otimizada para inferência em batch de LLM, os usuários podem alcançar o dobro de throughput em comparação com o motor síncrono de LLM do vLLM, aproveitando a resiliência em escala de produção.