Qwen4 inova com arquitetura de 51B parâmetros, prometendo salto em desempenho de IA

A arquitetura do Qwen4 inova ao utilizar 51 bilhões de parâmetros como um embedding separado, indexado por fragmentos de dois e três caracteres. Esta abordagem difere do método tradicional de adicionar especialistas (experts), buscando otimizar o uso de memória e o custo computacional. O modelo totaliza 125 bilhões de parâmetros, mas ativa apenas 6 bilhões por token, projetado para ser eficiente em tarefas de agentes que lidam com contextos muito longos. Essa escolha arquitetônica também sugere um foco em aceleradores com memória limitada, uma necessidade comum em cenários onde há restrições de acesso a hardware de ponta.

Outras melhorias incluem um novo esquema de atenção esparsa, um mecanismo de resíduo com gate para controle entre camadas e uma receita de treinamento que elimina o aquecimento do tamanho do lote. Essa combinação de estratégias posiciona o Qwen4 para lidar com a crescente demanda por IA de alto desempenho e baixo custo operacional.

A nova arquitetura do Qwen4 (apresentada no Qwen3.8-Flash-Next) representa uma evolução significativa em relação a modelos anteriores, como o Qwen3.7-Plus, que possuía 397 bilhões de parâmetros e ativava 17 bilhões por token. O Qwen4, com 125 bilhões de parâmetros e apenas 6 bilhões ativos por token, diminui a computação ativa para cerca de um terço do que era antes. Esta mudança arquitetônica se afasta da adição de especialistas, uma estratégia usada por outros modelos já noticiados pelo CEVIU News, como o KimiK3 em julho de 2026, que ativa 16 de seus 896 especialistas por token.

Essa transição para embeddings separados em vez de especialistas é uma mudança de paradigma na busca por eficiência, priorizando a indexação inteligente e o uso parcimonioso de recursos, o que reflete a evolução constante das abordagens de otimização em IA.

A inovação do Qwen4 em otimização de parâmetros tem um impacto direto nos custos de inferência, tornando a IA de alto desempenho mais acessível. Com menos recursos computacionais ativos, modelos complexos podem ser executados de forma mais econômica, ampliando o alcance da tecnologia para empresas e desenvolvedores com menor capacidade de investimento em hardware. Isso também impulsiona o desenvolvimento de agentes autônomos, que exigem processamento eficiente de contextos extensos.

Além disso, a discussão sobre a licença do Qwen, especialmente em relação ao EU AI Act, é um ponto crucial. A definição do caráter 'aberto' ou 'comercial' da licença pode afetar a adoção do modelo por empresas europeias, como a Thomson Reuters, que já utilizam a tecnologia. O desfecho dessa regulamentação pode estabelecer precedentes importantes para o uso de modelos de IA em escala global.