Modelo on-device de 20B da Apple roda com cerca de 2GB de memória em testes, mas vai pior em matemática

O modelo é o Core Advanced, o maior dos dois modelos on-device da Apple, com 20 bilhões de parâmetros, dos quais 1 a 4 bilhões trabalham por vez. A Apple diz que ele foi "custom-built in collaboration with Google". O autor da análise não leu os pesos (a licença proíbe engenharia reversa). Ele observou o Mac por fora, com ferramentas do próprio macOS, num MacBook Pro M3 Max de 48 GB, ao lado de modelos abertos. Onde a Apple não explica uma escolha, ele marca como "Assumption" (suposição dele).

O truque é guardar o modelo em armazenamento flash e escolher os especialistas por prompt, não por token. Dois segundos após um pedido longo, o modelo e os modelos de segurança seguravam 2,0 GiB de memória. O Gemma 4 26B A4B, modelo aberto da mesma classe com roteamento por token, segurava cerca de 15 GiB. Nos mesmos 20 problemas de matemática, o modelo da Apple gastou cerca de um terço da energia da melhor versão aberta testada, mas acertou só 13 e ficou em último entre os quatro. O processamento roda no Neural Engine (4,2 W na leitura do prompt, 3,8 W na escrita, GPU em clock ocioso). A janela de contexto reportada pela API é de 8.192 tokens.

Os guias da Apple listam matemática básica, código e raciocínio lógico como capacidades a evitar. O modelo serve a resumo, extração de entidades, classificação e tarefas curtas. Segundo a Apple, a versão maior exige Mac com M3 ou posterior e ao menos 12 GB, conforme o MacRumors.

Para quem desenvolve para Apple Intelligence, o recado é de escopo: o modelo foi desenhado para tarefas curtas, com memória e bateria sob controle, e não para raciocínio. Para quem avalia IA local, a comparação mostra que o custo de memória depende tanto da arquitetura de roteamento quanto do tamanho nominal do modelo. É uma leitura editorial, e as medições vêm de um único Mac e de um único autor.