Thinking Machines Desvenda Inkling-Small: IA MoE de 276 Bilhões de Parâmetros com Custo Computacional Reduzido

O Inkling-Small é o novo modelo MoE da Thinking Machines, destacando-se pela eficiência. Ele possui 276 bilhões de parâmetros totais, mas ativa apenas 12 bilhões para cada tarefa, o que reduz o custo computacional. Mantendo as funcionalidades do Inkling original, como raciocínio multimodal com áudio e imagens, e uma janela de contexto de 1 milhão de tokens, o modelo também permite ajustar o esforço de pensamento.

Sua arquitetura encoder-free processa áudio como espectrogramas dMel e imagens em patches de 40x40 pixels, transformados por uma camada hMLP e embeddings leves. Este processamento unificado, juntamente com o texto, garante desempenho robusto em diversas avaliações multimodais. A equipe de desenvolvimento treinou o Inkling-Small em sistemas NVIDIA GB300 NVL72, aplicando melhorias no mix de dados e na receita de machine learning para otimizar o treinamento.

O Inkling-Small marca uma evolução notável em relação ao Inkling original, anunciado em 16 de julho de 2026. A principal mudança é a otimização de escala: o Inkling-Small opera com 276 bilhões de parâmetros totais e 12 bilhões ativos, enquanto o Inkling original tinha 975 bilhões totais e 41 bilhões ativos. Essa redução drástica nos parâmetros resulta em um custo computacional significativamente menor, com desempenho comparável.

As melhorias no processo de treinamento, incluindo um mix de dados e uma receita de machine learning refinados, permitiram que o Inkling-Small superasse seu antecessor em tarefas de raciocínio e codificação agentic, conforme benchmarks como Humanity's Last Exam e SWEBench-Verified. Contudo, o Inkling ainda detém vantagem em cobertura de conhecimento e factualidade, mostrando que os modelos se complementam em suas especialidades.

O lançamento do Inkling-Small é um passo importante para democratizar o acesso a IAs de grande escala. Ao oferecer um modelo MoE potente, mas com custo computacional reduzido, a Thinking Machines possibilita que mais desenvolvedores e empresas inovem sem enfrentar os gastos normalmente associados a IAs de ponta. A flexibilidade do esforço de pensamento variável permite um ajuste fino entre custo e desempenho, maximizando a utilidade em diferentes cenários.

Esta abordagem de otimização de recursos pode acelerar o desenvolvimento e a implementação de soluções baseadas em IA. Com a capacidade de processar dados multimodais e realizar tarefas complexas de raciocínio e codificação de forma eficiente, o Inkling-Small posiciona-se como uma ferramenta valiosa no ecossistema de IA, incentivando novas aplicações e a expansão do uso da tecnologia.