手里有两块 H100 96G 版，用的 AMD 平台，128G DDR5 内存。
目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用，求推荐更合适的模型。
主要用途： 1.本地 agent 调用 2.部分编码工作 3.rag 问答
 |
1
hutoer 5 days ago
试试 Qwen3.8-Flash-Next ?
|
 |
2
lovelyxiaod 5 days ago
qwen3.8 27B 都是大材了吗, 我们自己部署的 qwen3.8 flash next 版本好蠢啊.
后来改用 deepseek-v4.1-flash 了. 这个模型真的能胜任编码工作吗? |
 |
3
zhuanggu 5 days ago
@lovelyxiaod 他指的硬件大才小用
|
|
6
hutoer 5 days ago
@lovelyxiaod strata unsloth iq4_xs ，我简单玩了下，编程还行的。
|
 |
9
Gnnbb 5 days ago
我们 4 块 pro 6000D 的卡跑的 qwen3.8 27B 。。。
|
 |
10
TSNEZHJ 5 days ago
推荐个网站，之前找过，不确定适不适合你的生产环境
https://llmconfigurator.com/zh/best-models |
 |
11
hanguofu 17h 57m ago via Android
羡慕 ing... 请问这个 128G H100 96G DDR5 内存大概要多少钱？
|
 |
12
eben 2h 55m ago
羡慕啊，这设备得上百万？
|
Select Language