chatgpt token 计算方式

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 1127 days ago, the information mentioned may be changed or developed.

tokenizer 和 opencat 当中的计算方式是准确的吗？计算出来的 token 数量和我在 usage 里得到的 token 消耗数量似乎是不一样的（也可能是我自己搞错了）

2 replies • 2023-04-09 05:29:16 +08:00

fang2hou

Apr 8, 2023 via iPhone

应该不同的，我记得官方给的是 GPT2 的 Fast Tokenize 实现

HimeHina

Apr 9, 2023

官方的 tokenizer 网页应该是给 GPT3 用的。GPT3.5 和 GPT4 用的 encoding 不太一样。可以用官方提供的 tiktoken 库来计算，不过官方示例说是一个估计值，但我用下来和账单的数据是一样的（可能会差一两个 token ）。

具体看[官方示例]( https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb)的第 6 小节。