Mythos Kimi K3: Inovação em Escala com Eficiência Computacional Otimizada

O Kimi K3 da Mythos redefine a escalabilidade de modelos de IA com sua abordagem de ativação esparsa. Em vez de ativar todos os seus 2.8 trilhões de parâmetros a cada inferência, ele mobiliza apenas 16 dos 896 'experts' disponíveis por token. Esta técnica permite que o modelo alcance uma capacidade massiva sem onerar o custo computacional de inferência por token, uma meta que laboratórios de código aberto têm perseguido, como noticiado pelo CEVIU em 14 de julho de 2026 sobre 'Sparse Training'.

A estratégia do Kimi K3 muda o foco do consumo de computação (FLOPs) para a capacidade de armazenamento. O modelo aprende mais com o mesmo orçamento de treinamento, pois a adição de mais experts minimiza as perdas. Conforme observamos em 11 de julho de 2026 com o MiniMax M3 e a 'Atenção Esparsa', a otimização do processamento do contexto é crucial. Essa inovação é o ponto de chegada de uma tendência arquitetural que busca manter o custo por token estável enquanto a capacidade total cresce exponencialmente.

A Moonshot, desenvolvedora do Kimi K3, havia anunciado este modelo em 17 de julho de 2026, destacando seus 2.8 trilhões de parâmetros e a janela de contexto de 1 milhão. Agora, descobrimos o segredo por trás dessa escala: a ativação de apenas 16 experts por token. Esta abordagem representa uma evolução clara desde as versões Kimi K2.5 e K2.6, que, conforme nossa cobertura de 20 de março de 2026, apresentavam 1 trilhão de parâmetros totais, mas com 32 bilhões de parâmetros ativos. A grande mudança é que, embora os parâmetros totais do Kimi K3 tenham crescido quase três vezes nos últimos doze meses, os parâmetros ativos por token se mantiveram praticamente inalterados, sublinhando um foco contínuo na eficiência de inferência.

A inovação do Kimi K3 é vital para a democratização da IA em larga escala. Ao deslocar o custo da computação para o armazenamento, ela torna viável para empresas hospedar modelos de trilhões de parâmetros. Isso significa que, com o Kimi K3, uma empresa pode ter um supermodelo de IA auto-hospedado sem precisar de supercomputadores, utilizando uma arquitetura que otimiza o uso da memória. O modelo tem um custo de inferência por token comparável a modelos densos de médio porte, mas oferece a inteligência de um modelo gigante.

Esta mudança também abre caminho para futuras otimizações, como a organização de experts em camadas de memória, permitindo que os mais usados fiquem em HBM e os menos usados em DRAM mais barata. Em ambientes de baixa utilização, como instalações empresariais, isso significa uma economia real. A viabilidade de servir um modelo de 2.8 trilhões de parâmetros fora de um hyperscaler é um divisor de águas.