openai stream 模式如何自行统计 token

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 598 天前的主题，其中的信息可能已经有所发展或是发生改变。

RT

如果不是 stream 模式会返回 token count ，但是用 stream 模式就没返回了。不知道该怎么计算自己大致的使用量。

2 条回复 • 2023-04-05 13:37:38 +08:00

superares

2023-04-05 07:51:00 +08:00 via iPhone

搜 tiktoken ，openai 用的字符串压缩算法，这个可以算 token

chenzhe

2023-04-05 13:37:38 +08:00

@superares 感谢。