Bonsai 2 27B: Compressão Quase Sem Perdas Reduz Modelos em Até 9x

O Bonsai 2 27B Ternário redefine a compressão de modelos de linguagem, levando inteligência de ponta para hardware local. Ele usa pesos ternários (valores de −1, 0 ou +1) e escalonamento de grupo FP16. Isso resulta em uma pegada de memória de apenas 5,9 GB, mantendo 98,2% da performance do modelo original, que tem 27 bilhões de parâmetros. É uma densidade de inteligência notável, o que permite rodar modelos potentes em GPUs Nvidia com CUDA e em dispositivos Apple via MLX.

Esta abordagem torna modelos de IA com 27 bilhões de parâmetros práticos para uso local, desde a execução de agentes de código até a análise privada de documentos. A eficiência energética também é um diferencial: o Bonsai 2 27B consome 40% menos energia por token do que um modelo de 8 bilhões de parâmetros em precisão total. Isso abre caminho para assistentes de IA que operam no seu dispositivo sem depender constantemente da nuvem.

Em relação à primeira geração do Bonsai 27B, o Bonsai 2 27B traz avanços significativos. A base agora é o Qwen3.8 27B, um modelo mais robusto. A retenção da capacidade agregada subiu de 95% para 98,2% comparado ao modelo de precisão total, tornando a compressão praticamente "sem perdas".

Houve também melhorias nas capacidades de raciocínio, codificação, visão e uso como agente. Apesar dessas otimizações, o modelo mantém o mesmo perfil de implantação para dispositivos locais, entregando mais capacidade sem aumentar a demanda por recursos. A taxa de transferência também melhorou, alcançando até 143 tokens por segundo em uma NVIDIA RTX 5090.

A capacidade de rodar modelos de IA com bilhões de parâmetros em dispositivos pessoais democratiza o acesso a inteligência avançada. Isso é crucial para aplicações que exigem privacidade, baixa latência ou operação offline. Pense em assistentes pessoais que processam seus dados localmente, sem enviar informações sensíveis para a nuvem. A economia de energia e a alta taxa de transferência transformam o que era possível apenas em data centers para desktops e smartphones.

O Bonsai 2 27B demonstra que modelos de baixo bit podem ser a melhor solução para implantar IA em larga escala. Isso afeta a economia e arquitetura de sistemas de IA em vários níveis: você pode encaixar modelos maiores em hardware existente, atender mais usuários com a mesma infraestrutura ou reduzir o custo por inferência. Isso empurra o limite para uma IA mais acessível e ubíqua.