V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  marsg  ›  全部回复第 1 页 / 共 1 页
回复总数  4
天赋不至于,只能说特质适配。
1 天前
回复了 marsg 创建的主题 程序员 DSH 插件: dsh-clear-tool-results
第一轮结束:S U1 A1 T0 (固定覆盖文字)
第二轮请求:S U1 A1 T0 U2 A2 T0
第三轮请求:S U1 A1 T0 U2 A2 T0 U3 A3 T0
第四轮请求:S U1 A1 T0 U2 A2 T0 U3 A3 T0 U4 A4 T0
1 天前
回复了 marsg 创建的主题 程序员 DSH 插件: dsh-clear-tool-results
@chenluo0429 补充一个信息:目前观测下来,助手消息占比 20 ~ 30%,工具结果占比 70%,在多轮对话情况下,每一轮对话都存在多步思考-调用,大多数情况在会存在 8 ~ 15 步,70%的工具结果的 Token 用量会膨胀。而删除工具结果的情况下,每一轮都会根据重建缓存,经过 10 轮对话,KV10 包含命中的 KV9 + 未命中的上一轮助手消息。如果单纯一两轮对话,确实会更贵,但如果是多轮对话,是否消耗更多 Token 还需要测定,应该会有一个临界点。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2908 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 14:07 · PVG 22:07 · LAX 07:07 · JFK 10:07
♥ Do have faith in what you're doing.