如题，预算 3w 左右，想弄一套小型化本地大模型硬件来跑本地大模型，处理一些不能传到外网的文档的 RAG ，保证 tps 的情况下，能省电更好，目前看了华硕的 GX10 ，求问是否还有其他的推荐？
 |
1
niubee1 21h 45m ago
微星的一样的配置更便宜一点。或者你可以 AMD 7900XTX 组台机器，能耗高点，但是整体硬件更便宜
|
 |
3
coefu 3h 43m ago
还是 nvidia dgx spark 算了，之前看不来，现在很想买。😂
虽然带宽才 200GB/s ，但是无奈 cuda 和 gpu 都强大，市面上大部分优化都是针对这块的。 |
|
4
niubee1 54 mins ago
@turing518 跑 Qwen3.8-27B 可以 Q4 量化本地跑起来很巴适，你非要跑全尺寸大模型，插八张也不是不行啊。另外 7900XTX 涨价了，五千多买不到了，要七千了，8 张也不到 6 万啊
|
Select Language