huc2 最近的时间轴更新 huc2 最近的时间轴更新 |
huc2V2EX 第 614681 号会员，加入于 2023-02-17 21:11:58 +08:00 |
| LLM 静态批处理和 Continuous Batch 相关疑问的求解 问与答 • huc2 • 5 天前 • 最后回复来自 bug2018 | 7 |
| codeium 套餐涨价了，里面的 Cascade User Prompt Credits 是什么东西？ 问与答 • huc2 • 40 天前 • 最后回复来自 Charrlles | 3 |
| Windsurf 是不是没有 pylance 插件
1 Python • huc2 • 39 天前 • 最后回复来自 jianyisiqian
|
4 |
| 《沙威玛传奇》国区 ios 怎么搞无广告？ 问与答 • huc2 • 76 天前 • 最后回复来自 eriko | 9 |
| 有人用过这个 "第二代 RAG 系统 auto-coder.rag" 吗？
1 问与答 • huc2 • 117 天前 • 最后回复来自 xing7673
|
2 |
| 本地部署的小 LLM 模型不会自动停止输出，怎么解决？ 问与答 • huc2 • 143 天前 • 最后回复来自 huc2 | 2 |
| vscode 打开的终端为什么会有 2 个 conda 环境 Python • huc2 • 165 天前 • 最后回复来自 GarrickLin | 5 |
huc2 最近回复了
5 天前 回复了 huc2 创建的主题 › 问与答 › LLM 静态批处理和 Continuous Batch 相关疑问的求解 |
@frankyzf 谢谢谢谢，有空去刷刷
@bug2018 谢谢大佬回复，我感觉方案 1 和方案 2 其实本质都差不多，都是利用提前算好的 kv 来缓解这个问题。但是我对方案 2 有一些疑问，chunk split 是不是一种损失精度的方式。因为 kv 只有第一层 layer 是上下文无关的，切了 chunk 后，后面 layer 的 kv 都缺失了很多上下文。这个方法让我想到了最近看到的这个里面提到的 kvcache 不光可以前缀匹配，后面甚至中间的匹配也可以用到，我当时也很疑惑。这种方法在实际操作过程中是不是都会损失精度 https://zhuanlan.zhihu.com/p/17239625983?utm_medium=social&utm_psn=1860823961383874560&utm_source=wechat_session
@bug2018 谢谢大佬回复，我感觉方案 1 和方案 2 其实本质都差不多，都是利用提前算好的 kv 来缓解这个问题。但是我对方案 2 有一些疑问，chunk split 是不是一种损失精度的方式。因为 kv 只有第一层 layer 是上下文无关的，切了 chunk 后，后面 layer 的 kv 都缺失了很多上下文。这个方法让我想到了最近看到的这个里面提到的 kvcache 不光可以前缀匹配，后面甚至中间的匹配也可以用到，我当时也很疑惑。这种方法在实际操作过程中是不是都会损失精度 https://zhuanlan.zhihu.com/p/17239625983?utm_medium=social&utm_psn=1860823961383874560&utm_source=wechat_session
5 天前 回复了 huc2 创建的主题 › 问与答 › LLM 静态批处理和 Continuous Batch 相关疑问的求解 |
@RoccoShi orz ，我主要是看到最上面那篇博客里的图，他每一列对齐是用 token 对齐的，从某种角度看似乎也没错。但是我脑子里想这个过程的时候，就总是一个 batch 里大家先一起 prefill （也就是我说的 prefill 阶段是左右都对齐的），然后大家每个 new_token 都一起生成第一个，第二个，，，这样子。然后看他这个图就很别扭，所以想确认一下我的理解是否有误。
41 天前 回复了 huc2 创建的主题 › 问与答 › codeium 套餐涨价了，里面的 Cascade User Prompt Credits 是什么东西？ |
普通用户一天只能用 5 次的 gpt4o 和 claude ？
58 天前 回复了 Jaxbuild 创建的主题 › 分享创造 › windsurf 资料整理 |
windsurf 是不是不是完全兼容 vscode 插件啊，比如 pylance 就没有
58 天前 回复了 neptuno 创建的主题 › 分享发现 › windsurf 免费领 8 周 pro 会员！快来！ |
已领，感谢。但是为什么看不到什么时候到期，不知道是不是真的 8 周
89 天前 回复了 huc2 创建的主题 › 问与答 › 《沙威玛传奇》国区 ios 怎么搞无广告？ |
134 天前 回复了 moshou 创建的主题 › 问与答 › 目前 iOS App 评分不错，就是下载量很低，如何解决啊？ |
啥 app ，不推广很难有人知道吧，去你认为有你客户的地方推呗，甚至是一些博客，比如阮一峰之类的
136 天前 回复了 37Y37 创建的主题 › 分享发现 › 分享我的照片备份方案，无 NAS，简单可靠 |
博客有 rss 吗
Select Language