Tokenizer Mono: fonte experimental mostra como modelos de linguagem dividem o texto em tokens

O Tokenizer Mono é uma família tipográfica baseada na IBM Plex Mono, com 28 estilos, cada um mapeado para um tokenizer diferente. Em vez de rodar um tokenizer e destacar os limites no navegador, a fonte faz o trabalho sozinha, com recursos OpenType. O único JavaScript da demo troca qual face está carregada. Todo destaque é desenhado pela fonte.

O motor é a tabela GSUB, com substituição contextual encadeada (tipo 6): uma regra por token do vocabulário, da mais longa para a mais curta, que reescreve as letras em variantes de início, meio e fim. As cores vêm das tabelas COLR (versão 0) e CPAL: cada letra colorida tem duas camadas, uma caixa arredondada e a letra por cima. São duas paletas, pastel para fundo claro e mais saturada para fundo escuro, escolhidas pela propriedade CSS font-palette. Onde COLR não é suportado, como em muitos terminais, as caixas não aparecem e sobra a IBM Plex Mono sem cor.

A limitação central é que a fonte faz casamento guloso pelo token mais longo, o que não é o mesmo que o BPE, que reaplica as fusões na ordem em que foram aprendidas. Para corrigir os erros, o autor usou as 60.000 palavras mais comuns do inglês, rodou todas no tokenizer real e criou regras de palavra inteira onde o guloso errava. Isso levou a face cl100k de 4,4 MB para 10,9 MB em TTF. Não há face para Claude nem para Gemini, porque esses tokenizers não são públicos.

Para quem trabalha com design e tipografia, o projeto é uma demonstração prática do que a camada tipográfica consegue fazer sem script, e de como ela degrada com elegância quando falta suporte. Também é uma leitura editorial: visualizar tokens direto no texto pode ajudar quem desenha interfaces de IA a explicar custo e limite de contexto ao usuário final. O custo em peso de arquivo e em tempo de renderização mostra que a abordagem serve melhor como demo e ferramenta didática do que como solução de produção.