这个相差的 3 是啥呀？ 第一次写缓存：
{ "input_tokens": 8412, "input_tokens_details": { "cache_write_tokens": 8409, "cached_tokens": 0 } }
第二、三次命中缓存：
{ "input_tokens": 8412, "input_tokens_details": { "cache_write_tokens": 0, "cached_tokens": 8409 } }
 |
1
neteroster 13h 21m ago via Android
你命中缓存那个请求的内容是什么？和第一次完全一样吗？
|
 |
2
blakezhaothinks 13h 21m ago
3 是未命中缓存的 token 数量。
|
 |
3
rikiishere OP @neteroster 3 次请求完全一致
|
|
4
rikiishere OP @blakezhaothinks 那我第一次请求为啥就差了 3 ？ 第一次请求的 token 不应该是全部作为 cache 吗？
|
|
5
neteroster 13h 13m ago via Android  1
@rikiishere 除了你的内容还会有一些 chat template 中的特殊 token ，比如<|start|>，这些很可能不会缓存所以会有轻微差异
|
|
6
rikiishere OP @neteroster 明白了，感谢解惑
|
Select Language