Tokenização Compute Optimal

Pesquisadores derivaram neural scaling laws conscientes de compressão ao treinar quase 1.300 modelos, revelando como bytes por token afetam a alocação de compute. Isso desafia a heurística que escala modelos por 20 tokens por parâmetro, mostrando que isso se deve a tokenizers específicos. O estudo sugere que o scaling deveria usar bytes, não tokens, para melhor eficiência de compute em diversas linguagens.