V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1039 days ago, the information mentioned may be changed or developed.
背景：在与 AI 模型对话的过程中客户端需要把对话历史记录也发给 AI ，这样 AI 能根据上下文更好的理解用户意图并作出回应。但是，无关的历史信息会影响 AI 对意图的理解，而且也会增加模型的负担。
场景：用户和模型的对话主题是旅游，然而，用户突然蹦出个电影问题，然后又回到旅游主题，这时历史记录中就冒出个无关的电影内容，这对主题是无关紧要的，而且浪费 Token 。
如何在历史记录中剔除与主题无关的内容？
Supplement 1 · Jul 3, 2023
我是开发客户端 App ，希望找个方案来避免发送不必要的历史内容
 |
1
pigmen Jul 3, 2023
直接删除就好了呗，不支持的话建议换个客户端
|
 |
2
maolon Jul 3, 2023 via Android
使用带 embedding vector search 的数据库来存历史对话，比如 redis ，postgresql ，云方案可以用 pinecone 之类的，然后返回 score 在一定阈值之上的历史问答
|
 |
3
liantian Jul 3, 2023 via iPhone
1. 用 ai 解决，似乎…更费 token 。
2. 分词一下，根据词频和权重，似乎不够智能？ 非人工，想到的也就这样了额。 还是学会怎么问问题比较好，比如我想旅游看个电影，ai 或分词方法，会不会异常排除掉了… |
Select Language