V2EX › bug2018 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2025 年 1 月 12 日

回复了 huc2 创建的主题 › 机器学习 › LLM 静态批处理和 Continuous Batch 相关疑问的求解

@huc2 这三种方案都是精度无损的(不考虑 float 不满足交换率)，我们实现过方案 1 和 3 。chunk split 会保存之前算好的 kvcache, 然后当前 chunk 在 attention 的时候使用前面的 kvcache ，这样就无损了。前缀缓存确实也是类似的。
按我的经验，kvcache 只能是前缀匹配，不能随意匹配中间的，要不然结果对不上了。

2025 年 1 月 11 日

回复了 huc2 创建的主题 › 机器学习 › LLM 静态批处理和 Continuous Batch 相关疑问的求解

之前实现过 continuous batching, 会把 prefill 和 decode 拼在一次处理。新 sample 的插入确实会打断 decode ，现象就是用户生成会卡顿，如果 prompt 不长一般影响不大，但长 prompt 高 qps 下会非常影响性能。
对此业界有一些应对方案，1. 前缀缓存 2. chunk split 3. prefill 和 decode 分离。前两个方案可以缓解打断问题，方案 3 可以彻底解决打断问题。

2023 年 3 月 19 日

回复了 poyanhu 创建的主题 › 推广 › GPT4 API 功能上线， T 楼，送 10 个 ChatGPT 账号

Z3B0c2h1b0BvdXRsb29rLmNvbQo=

感谢

2023 年 3 月 17 日

回复了 poyanhu 创建的主题 › 推广 › 送 50 张千次对话卡密

Z3B0c2h1b0BvdXRsb29rLmNvbQo=

感谢

2022 年 3 月 19 日

回复了 leomm 创建的主题 › 优惠信息 › 3 月 19 号腾讯云香港新加坡云服务器约 3 年 33 元-166 元 8 台

过来捧捧场，万一中

2018 年 9 月 19 日

回复了 bug2018 创建的主题 › 全球工单系统 › 投诉滴滴-有车不给派单

@Deville 滴滴做生意可以理解，要盈利天经地义。但做生意要将诚信，把虚假的功能放在软件里面，违背了基本的诚信。