Voltar
Cerebras lança serviço de inference desagregada para acelerar geração de tokens

Cerebras Apresenta Serviço de Inference Desagregada para Otimizar Geração de Tokens em LMs

Aprofundamento CEVIU

Aprofundamento

A Cerebras lançou um serviço de inference desagregada que divide a carga de trabalho de modelos de linguagem (LMs) entre GPUs e seus próprios sistemas. A ideia é que GPUs (como as AMD Instinct) cuidem do processamento do prompt (fase de prefill), enquanto os sistemas Cerebras se dedicam à geração dos tokens de saída (fase de decode). Essa separação capitaliza as forças de cada hardware: GPUs são eficientes para o processamento em paralelo do prefill, e os sistemas Cerebras, com sua arquitetura focada em SRAM e alta largura de banda de memória (350x a capacidade SRAM e 5.400x a largura de banda de memória de uma GPU GB300, segundo a empresa), são otimizados para o processo autoregressivo de decode, onde a leitura rápida de dados é crucial.

A empresa afirma que essa divisão resulta em cinco vezes mais tokens por megawatt sem perda de velocidade. O serviço já está em produção na Cerebras Inference Cloud e disponível em early access para parceiros como Amazon Web Services, Fireworks AI, Gimlet Labs e General Compute. A solução inclui um framework de inference desagregada para roteamento de requisições, um motor de prefill que usa engines de código aberto como vLLM ou SGLang, um motor de decode da Cerebras e software KV Portal para transferência de estado do modelo entre as etapas via RDMA.

O que mudou

A abordagem de inference desagregada da Cerebras, que agora está oficialmente lançada e disponível em early access, havia sido mencionada como parte da estratégia da empresa no início do ano. Em 16 de março de 2026, o CEVIU noticiou que a Cerebras e a AWS estavam implementando sistemas CS-3 para inferência de IA, já utilizando uma arquitetura desagregada. O que era então uma estratégia em implementação, agora se consolida como um serviço de produção com resultados de eficiência energética detalhados e ampla disponibilidade para parceiros. Este lançamento, portanto, expande e formaliza a oferta, antes restrita a um contexto de implementação com um parceiro.

Por que isso importa

Para desenvolvedores e empresas que operam LMs em larga escala, a inferência desagregada da Cerebras representa um avanço significativo na otimização de custo e energia. A promessa de cinco vezes mais tokens por megawatt pode reduzir drasticamente o custo operacional de aplicações intensivas em IA, especialmente aquelas que exigem respostas ultrarrápidas, como assistentes e copilotos. Ao permitir que a Cerebras e seus parceiros gerem um volume muito maior de tokens rapidamente, a solução pode destravar novas possibilidades para aplicações com uso intensivo de IA, onde a latência e o throughput são críticos. A disponibilidade para parceiros também sinaliza um ecossistema mais flexível, onde as empresas podem integrar essa capacidade em suas próprias infraestruturas.

Linha do tempo

  1. Cerebras e AWS iniciam colaboração para inferência de IA com arquitetura desagregada.

  2. Cerebras lança supercomputador de IA com promessa de superar Nvidia em velocidade.

  3. Cerebras lança oficialmente serviço de Inference Desagregada para otimizar geração de tokens.

Perguntas frequentes

O que é inference desagregada?

É uma arquitetura onde as duas principais fases da inferência de modelos de linguagem, o processamento do prompt (prefill) e a geração de tokens de saída (decode), são executadas em hardware ou sistemas separados, otimizados para cada tipo de tarefa. A Cerebras faz isso usando GPUs para prefill e seus sistemas CS-3 para decode.

Quais são os benefícios dessa abordagem?

Os principais benefícios são o aumento da eficiência energética (cinco vezes mais tokens por megawatt, segundo a Cerebras) e a manutenção da velocidade de geração de tokens. Isso permite que mais tokens sejam processados com o mesmo consumo de energia, aumentando a capacidade de inferência sem comprometer a latência.

Quais hardwares são usados na solução da Cerebras?

A solução da Cerebras utiliza GPUs para o processamento de prompt (prefill), mencionando as AMD Instinct como exemplo. Para a geração de tokens de saída (decode), são usados os sistemas Cerebras CS-3, que são otimizados para essa fase devido à sua arquitetura com SRAM e alta largura de banda de memória.

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
18 de novembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser