IBM revela detalhes da arquitetura dos LLMs Granite 4.2

A IBM detalhou a arquitetura da família Granite 4.2, seus LLMs focados em raciocínio. São modelos densos e decoder-only, disponíveis em três tamanhos: 3B, 8B e 30B parâmetros. A base arquitetônica inclui componentes como Grouped Query Attention (GQA), Rotary Position Embedding (RoPE) e MLP com ativação SwiGLU. O treinamento prévio consumiu cerca de 15 trilhões de tokens, seguindo uma estratégia de cinco fases que estende a janela de contexto para impressionantes 512 mil tokens.

Após o pré-treinamento, os modelos passam por um ajuste fino supervisionado (SFT) com 7,2 milhões de amostras. Esse dataset combina dados agentic (como engenharia de software e uso de ferramentas) e não agentic, garantindo que o modelo aprenda a seguir instruções e a usar ferramentas. Um diferencial é a pós-treinamento via pipeline de Aprendizado por Reforço (RL) em múltiplas etapas. As versões de 8B e 30B incorporam um bloco de RL agentic, que ensina os modelos a operar como agentes, chamando ferramentas, editando código e navegando na web dentro de ambientes reais. A funcionalidade de alternância 'THINKING/NON-THINKING' e o suporte nativo a chamadas de ferramentas otimizam o desempenho para tarefas complexas, com os modelos emitindo chamadas no formato OpenAI, padronizando a integração.

A família Granite 4.2 representa um salto significativo em relação à versão 4.1, que o CEVIU News cobriu em 30 de abril de 2026. Embora o Granite 4.1 já utilizasse uma arquitetura densa, decoder-only, com tamanhos similares e pré-treinamento robusto em 15 trilhões de tokens, o foco principal era a capacidade de seguir instruções. O Granite 4.2 agora adiciona raciocínio explícito. A grande novidade é a inclusão de um modo 'thinking/non-thinking' e, principalmente, aprimoramento agentic via pipeline de RL multi-estágio, que permite aos modelos 8B e 30B aprenderem a interagir com ambientes reais e usar ferramentas de forma autônoma. Isso era algo que não estava presente na versão anterior, tornando o 4.2 muito mais capaz em cenários de uso prático e complexo.

A chegada do Granite 4.2 é um avanço crucial para o ecossistema de IA. Ele transforma modelos de linguagem de meros 'seguidores de instruções' em agentes mais autônomos e capazes de raciocínio complexo. A habilidade nativa de chamar ferramentas e operar em ambientes reais significa que esses LLMs podem executar tarefas que antes exigiam intervenção humana constante, como depurar código ou pesquisar na web de forma mais inteligente. Isso impacta diretamente o desenvolvimento de softwares, a automação de processos e a criação de assistentes de IA mais sofisticados e confiáveis. A licença Apache 2.0 ainda democratiza o acesso a essa tecnologia, acelerando sua adoção e inovação em diversas frentes.