Yserver's recent timeline updates Yserver's recent timeline updates ONLINE |
YserverV2EX member #674684, joined on 2024-02-03 20:57:31 +08:00Today's activity rank 164 |
| [急]大量收 Claude 官 key Claude • Yserver • 9h 13m ago |
| 这些模型的市场容易做吗 程序员 • Yserver • Apr 23 • Lastly replied by Yserver | 3 |
| [送 5 张 Giffgaff 卡] 阿里云折扣账户， 低门槛 ECS 五折 推广 • Yserver • Apr 19 • Lastly replied by whitewash | 61 |
| [送 5 张 Giffgaff 卡] 阿里云大客户折扣账户， ECS 轻松 5 折！
1 推广 • Yserver • Apr 8 • Lastly replied by zemul
|
176 |
| 上海移动互联网专线安装记录 宽带症候群 • Yserver • Jun 28 • Lastly replied by Yserver | 77 |
| 上海移动 Qos 这么严重吗 宽带症候群 • Yserver • Jun 2, 2025 • Lastly replied by fengyaochen | 23 |
| 新版电脑微信聊天记录迁移教程 微信 • Yserver • May 6, 2025 • Lastly replied by wwqm2 | 2 |
Yserver's recent replies
10h 44m ago Replied to a topic by Tiberisino › OpenAI › 当最上游也宕机：从 OpenAI 稳定性聊中转站的未来 |
这个内容有什么意义？大部分中转站都是有不同渠道和不同模型的
12h 26m ago Replied to a topic by mMartin › 宽带症候群 › 由于爱快拉跨，准备全面更换为 ros，并把家庭网络架构重构一下 |
@fengyaochen #14 pve 里面装 ros 会让拓扑图变得很乱 我感觉服务还是不少的
13h 45m ago Replied to a topic by yidinghe › 程序员 › （2026-08-21）目前国内各家 DeepSeek V4 Flash 0731 的费用对比 |
阿里的忙时比官网会长很多 不过阿里可以做折扣
17h 42m ago Replied to a topic by mMartin › 宽带症候群 › 由于爱快拉跨，准备全面更换为 ros，并把家庭网络架构重构一下 |
好复杂的架构 专业！
1 day ago Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
测了一下 dflash 上下文不够长了
单卡 NVIDIA RTX 5880 Ada bench_one_batch_server
`--mamba-full-memory-ratio 0.5 --mem-fraction-static 0.94`（并发 3 / 上下文 17.3 万 token）
## 单批矩阵（并发 1/2/3）
| batch | 输入长度 | Prefill 吞吐 (tok/s) | Decode 吞吐 (tok/s, 聚合) | Decode 单步时延 |
|---|---|---|---|---|
| 1 | 1024 | 3,341 | 76.8 | 13.0 ms |
| 1 | 4096 | 3,380 | 81.4 | 12.3 ms |
| 2 | 1024 | 3,442 | 159.3 | 12.7 ms |
| 2 | 4096 | 3,320 | 204.3 | 9.7 ms |
| 3 | 1024 | 3,451 | 187.1 | 16.1 ms |
| 3 | 4096 | 2,934 | 493.0 | 6.1 ms |
单卡 NVIDIA RTX 5880 Ada bench_one_batch_server
`--mamba-full-memory-ratio 0.5 --mem-fraction-static 0.94`（并发 3 / 上下文 17.3 万 token）
## 单批矩阵（并发 1/2/3）
| batch | 输入长度 | Prefill 吞吐 (tok/s) | Decode 吞吐 (tok/s, 聚合) | Decode 单步时延 |
|---|---|---|---|---|
| 1 | 1024 | 3,341 | 76.8 | 13.0 ms |
| 1 | 4096 | 3,380 | 81.4 | 12.3 ms |
| 2 | 1024 | 3,442 | 159.3 | 12.7 ms |
| 2 | 4096 | 3,320 | 204.3 | 9.7 ms |
| 3 | 1024 | 3,451 | 187.1 | 16.1 ms |
| 3 | 4096 | 2,934 | 493.0 | 6.1 ms |
2 days ago Replied to a topic by liulanggoukk › 程序员 › 20 天 2 折国内模型，可在 workbuddy 中使用， 90%的情况稳定，作为补充通道，算不算便宜 |
还比较便宜了
2 days ago Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
@zhaoziling #44 H3 我 48g 的跑 fp8 都好慢
2 days ago Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
可以参考下 https://docs.sglang.io/cookbook/autoregressive/Qwen/Qwen3.8-27B#deployment 的 Speculative Decoding
2 days ago Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
我看到 sglang 好像是可以使用 dspark 的 --speculative-algorithm DSPARK 这个应该也会对性能有较大提升吧
3 days ago Replied to a topic by realpg › 程序员 › 今日份的阿里不带云笑话。。踩坑进行时。。 |
@viweei #41 阿里云的费用我觉得还是不会出问题的...他们的计费还是挺详细的
Select Language