O Enigma do Tokenizer do Claude: Menos é Mais para a Anthropic?

A decisão da Anthropic de operar o tokenizer do Claude com um vocabulário tão enxuto (cerca de 15.000 entradas) vai na contramão da tendência de mercado. Enquanto a maioria dos modelos de linguagem avançados, como o Qwen 3.8, aposta em vocabulários gigantescos (chegando a 250.000 tokens), o Claude adota uma estratégia que parece contra-intuitiva. Essa escolha, contudo, pode ser uma jogada inteligente para contornar um gargalo conhecido no treinamento de modelos de IA: a camada softmax final.

A teoria aponta para um problema na retropropagação de gradientes. Na fase de treinamento, para selecionar o próximo token, o modelo projeta seu espaço latente (dimensão D) para o espaço do vocabulário (dimensão V). Quando V é muito maior que D, como nos modelos com vocabulários vastos, há uma perda de informação significativa na retropropagação do erro. Isso ocorre porque a informação de aprendizado, que é tão ampla quanto o vocabulário, é comprimida para uma dimensão menor, limitando o quanto o modelo pode aprender eficientemente. Ao reduzir o vocabulário, a Anthropic busca minimizar essa perda, otimizando o fluxo de informação durante o treinamento.

Esta nova descoberta sobre o tokenizer do Claude conecta diretamente com o que o CEVIU News reportou em 30 de abril de 2026, na matéria “Novo Tokenizer do Claude Opus 4.7: Qual o Custo Real?”. Naquela ocasião, notamos que, embora o preço do modelo não tivesse mudado, os mesmos inputs passaram a custar mais, com aumentos entre 12% e 27%. Agora, entendemos o porquê: a redução do vocabulário do tokenizer, que vinha de cerca de 50.000 entradas no Claude 3 para as atuais 15.000 (ou 16.000, conforme estimativas), significa que mais tokens são usados para representar o mesmo texto de entrada. Isso gera um custo maior por input, confirmando a observação anterior e revelando a estratégia por trás da Anthropic para otimizar o treinamento, mesmo que o custo de inferência aumente.

A abordagem da Anthropic desafia a máxima de que “mais é melhor” no desenvolvimento de tokenizers e vocabulários para LLMs. Isso pode redefinir o foco da pesquisa em IA, desviando a atenção de vocabulários cada vez maiores para otimizações mais profundas na arquitetura de treinamento. Se a Anthropic provar que a eficiência do treinamento e a performance final podem ser melhoradas com um vocabulário menor, a indústria pode presenciar uma mudança de paradigma. Isso tem implicações diretas nos custos de treinamento, na velocidade de iteração dos modelos e até mesmo na forma como os futuros modelos são projetados, buscando equilíbrio entre a cobertura léxica e a eficiência computacional.