不是那种跑 30%就开始降性能的那种模型
1
xiaomushen 1h 40m ago
压缩一下呗,带着那么多垃圾历史信息没意义
|
2
lynn1su OP @xiaomushen #1 自动压缩感觉会损失很多细节。期待真 2m 上下文模型
|
3
SHIINASAMA 1h 31m ago
我觉得目前这个上下文大小已经比较甜点了,有用的信息提到项目文档或者个人知识库就好
|
4
ktyang 1h 27m ago
1M 的时候不担心 token 消耗量么? 2M 那更不敢想了
|
6
hrapunzel 1h 21m ago
上下文太多 记忆力稀释怎么办
|
8
getadoggie 36 mins ago via iPhone
能不能引入一种上下文提炼组件,代替压缩呢?自动判断哪些有价值,哪些没有的那种 我觉得比光加要好
|
9
mingtdlb 32 mins ago
1M 上下文有些模型都丢信息。支持更大的上下文长度 价值不大,压缩要做好 能提取重要的信息,1M 往上 显存兜不住
|
11
Dream4U 28 mins ago
稀释问题解决不了,再长也没用
|