marsg's recent timeline updates
marsg

marsg

V2EX member #471033, joined on 2020-02-21 09:18:28 +08:00
Today's activity rank 1812
marsg's recent replies
天赋不至于,只能说特质适配。
10h 58m ago
Replied to a topic by marsg 程序员 DSH 插件: dsh-clear-tool-results
第一轮结束:S U1 A1 T0 (固定覆盖文字)
第二轮请求:S U1 A1 T0 U2 A2 T0
第三轮请求:S U1 A1 T0 U2 A2 T0 U3 A3 T0
第四轮请求:S U1 A1 T0 U2 A2 T0 U3 A3 T0 U4 A4 T0
11h 6m ago
Replied to a topic by marsg 程序员 DSH 插件: dsh-clear-tool-results
@chenluo0429 补充一个信息:目前观测下来,助手消息占比 20 ~ 30%,工具结果占比 70%,在多轮对话情况下,每一轮对话都存在多步思考-调用,大多数情况在会存在 8 ~ 15 步,70%的工具结果的 Token 用量会膨胀。而删除工具结果的情况下,每一轮都会根据重建缓存,经过 10 轮对话,KV10 包含命中的 KV9 + 未命中的上一轮助手消息。如果单纯一两轮对话,确实会更贵,但如果是多轮对话,是否消耗更多 Token 还需要测定,应该会有一个临界点。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3082 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 14:08 · PVG 22:08 · LAX 07:08 · JFK 10:08
♥ Do have faith in what you're doing.