Custo por milhão de tokens em modelos de IA pode ser uma armadilha financeira

A métrica de custo por milhão de tokens, frequentemente usada para comparar modelos de IA, se mostra uma armadilha para gestores e desenvolvedores. A principal razão é a inconsistência na tokenização: cada laboratório, e até mesmo diferentes versões do mesmo modelo, pode dividir o mesmo texto em um número distinto de tokens. Um exemplo notório é o GPT-4o, que tokeniza um texto de forma diferente do GPT-4 (1106-preview), ou a Anthropic que modificou seu tokenizador, aumentando em 30% a contagem de tokens para o Claude.

Mais do que isso, a verdadeira eficácia do modelo está no custo por tarefa concluída, não no preço unitário do token. Modelos com tokens mais caros podem ser mais eficientes, demandando menos