DeepSeek abre o código do DeepInfer, framework de inference voltado a reduzir custos de IA

A DeepSeek abriu o código do DeepInfer, o framework de inference que, segundo a empresa, sustenta seus serviços de produção em larga escala. A licença é Apache 2.0. O repositório traz suporte ao modelo DeepSeek-V4.1-Flash e roda em GPUs Nvidia SM100 e em NPUs Huawei Ascend 950. A empresa diz que pretende incluir sistemas futuros.

O pacote tem kernels otimizados, métodos de paralelismo para camadas de atenção e mixture-of-experts, decodificação com tokens rascunho e estimativas de confiança, agendamento assíncrono que sobrepõe CPU e execução no dispositivo, inference invariante a batch, amostragem determinística e saídas estruturadas. Os dois últimos recursos funcionam só em hardware Nvidia. Há limites claros: a entrega cobre inference offline. Quem quiser um serviço completo precisa trazer o próprio sistema de KV cache, a separação entre prefill e decode e o balanceamento de carga entre réplicas. Os requisitos incluem Linux, GCC 13.0 ou superior, Python 3.12 e CUDA 13 (Nvidia) ou CANN 9.2 (Ascend). Segundo a DeepSeek, a base original foi o vLLM, com inspiração de SGLang e TensorRT-LLM.

Em 21 de outubro de 2026, o CEVIU noticiou "DeepInfer e DeepSeek V4.1 Flash: Eficiência e Escala em Inference de IA", sobre a proposta de eficiência do DeepInfer. Agora o código está aberto e disponível sob Apache 2.0. Em 2 de outubro de 2026, em "DeepSeek Otimiza Desenvolvimento em Nuvem Huawei com Ferramentas de IA para Plataforma Ascend", o CEVIU registrou a abertura de componentes para Ascend, incluindo TileLang. O DeepInfer amplia esse movimento, com kernels TileLang e suporte ao Ascend 950. Já o DeepSeek-V4.1-Flash, tema da matéria de 10 de setembro de 2026, é o modelo que o framework suporta.

Leitura editorial: para quem opera inference em produção, o valor imediato está em estudar as técnicas e, quando fizer sentido, adaptá-las. Ninguém de fora mediu os ganhos de eficiência até agora, segundo a Bloomberg, então o time de TI deve validar com benchmark próprio antes de projetar economia. Como a entrega é só offline, o custo de montar a camada de serviço continua com a equipe. A licença Apache 2.0 facilita a análise jurídica, e o suporte a Ascend abre uma opção fora da Nvidia, o que pesa em decisões de arquitetura e dependência de fornecedor.