Escalando Sistemas de Ranking Baseados em LLMs com SGLang no LinkedIn

O LinkedIn escalou seus sistemas de ranking baseados em LLMs para as funcionalidades de busca de pessoas e vagas de IA, adaptando e contribuindo com otimizações significativas para o framework open-source SGLang de serving de LLMs. As principais contribuições incluem in-request batch tokenization, async dynamic batching, caminhos de execução exclusivos para scoring, in-batch prefix caching e uma arquitetura multi-processo para contornar gargalos de Python.