SMG: A Justificativa para Desagregar CPU da GPU no Serviço de LLMs

Shepherd Model Gateway (SMG) é um gateway de roteamento de modelos de alta performance para deployments de LLMs em larga escala. Ele centraliza o gerenciamento do ciclo de vida de workers, balanceia o tráfego entre backends compatíveis com HTTP, gRPC e OpenAI, e oferece controle de nível empresarial sobre armazenamento de histórico, MCP tooling e fluxos de trabalho sensíveis à privacidade. O SMG possui compatibilidade total com as APIs OpenAI e Anthropic, abrangendo SGLang, vLLM, TRT-LLM, OpenAI, Gemini e outros. Este artigo discute a arquitetura subjacente por trás do gateway.