这是一个创建于 549 天前的主题，其中的信息可能已经有所发展或是发生改变。
多轮对话的时候，聊的越多后面每次对话传的字数越多，很费 token 。
有可能每次只传 上一轮对话 id 和新对话 来节省 token 么？
https://platform.openai.com/docs/api-reference/chat/create
有可能每次只传 上一轮对话 id 和新对话 来节省 token 么？
https://platform.openai.com/docs/api-reference/chat/create
 |
1
lzgshsj 2023-05-10 13:33:07 +08:00
呃，不知从何吐槽。。。
假设真的实现可以传 id 的话，那 openai 还要从数据库里调出 id 对应的对话，然后在后端把对话加入上下文中，不还是要算进 token 吗。 目前来看，比较可行的还是用 embedding 的方式压缩提炼上下文来一定程度上保留更长对话。 |
 |
2
iyiluo 2023-05-10 13:38:33 +08:00
和大模型的推算成本有关，上下文越长，推算的成本越大，这部分成本肯定要用户来承担。
|
 |
3
foveal OP @iyiluo 有点好奇，在网页上使用 chatgpt 也是聊天记录越长，每次对话费用越高么（很多人可能习惯一个网页 chat 里面聊很长很长）？
另外我理解推算成本大概是字数的平方？ openai 为啥按照字数来收费？ gpt4 甚至输入和输出字的成本都不同，纯粹是商业定价还是有成本架构原因？ |
 |
4
yushiro 2023-05-10 14:17:33 +08:00 via iPhone
你觉得是架构设计的原因，OpenAI 目前的行为，看上去是用的无状态请求，服务器端处理的时候，不需要知道你是谁，只是根据你的输入进行处理，这样做的好处是省去了很多同步，并发问题。
特别是应对服务器资源自动缩放的时候，完全没影响，否则处理你请求的服务器，还需要去访问中央数据库，拿到你的信息再处理，那瓶颈就是中央数据库了 |
 |
6
yinmin 2023-05-10 15:52:47 +08:00  1
@foveal 网页版与 API 是区别的。网页版有对话 ID(conversation_id)的，每次聊天是传输 conversation_id + 本次提问。
|
|
7
yinmin 2023-05-10 15:55:52 +08:00 1
@foveal API 没有对话 ID(conversation_id)，这个项目 https://github.com/Yidadaa/ChatGPT-Next-Web 使用了压缩以前对话内容减少 token 的技巧，你可以研究参考。
|
|
9
yinmin 2023-05-11 13:58:07 +08:00
|
Select Language