想玩玩 DeepSeekR1 ，家里电脑太费电而且噪音大不适合一直开机，想入一个小巧一点的，噪音小点的性价比高的设备，专门跑 AI 。
是否有符合我需求的设备？
- 噪音小。
- 预算少，性价比高。
- 单独跑 DeepSeekR1 。
第 1 条附言 · 12 天前
我也没提是满血版，不知道为啥都认为我要满血版？
随随便便跑一个就行了。
随随便便跑一个就行了。
59 条回复 • 2025-03-07 14:19:53 +08:00
 |
1
cnscud 12 天前  9
云服务。你用 1 一个月就没兴趣自建服务了，所以云服务最合适
|
 |
2
xyfan 12 天前
清华的 ktransformers 应该是最性价比的配置方案了，单个消费级 GPU+足够大（ 1T ）内存就能跑 INT8 量化版，内存再大一些应该也能跑 FP 版，除非上水冷否则噪音不会太小，成本大头在 3090/4090 显卡和大量内存
|
 |
5
knva 12 天前
买个 api 玩玩得了。
|
 |
8
Chihaya0824 12 天前
买 api 得了，老实说，同时实现 1+2+3 ，不太可能，特别是 1
预算再少也要花 10k-14k 吧，那种预算下根本不可能有水冷，而且你要买的还是二手服务器，那不能说是噪音小，只能说是天天起飞 |
 |
9
Greenm 12 天前
DeepSeek R1 就跟性价比没关系，更别提噪音小这种问题了，如果是原版纯用 GPU 版本跑，需求是 20 块 4090 或者 8 块 H800 ，多少公司也跑不起满血版 R1 ，如果是用 ktransformers 内存版本，速度比起 GPU 来说慢很多，况且内存价格也不便宜。
个人使用建议考虑下官方 API 接口更实际呢。 |
 |
11
joequan 12 天前
满血 671Bdeepseek r1 至少要两台 8 卡 h100 的服务器吧，减少噪音的话可以单独家里弄个低温隔音机房。说实话，与其自己折腾，不如租个云服务器，比自己搭成本会低一些。但为什么不用官方 api 呢？
|
 |
12
zzzyk 12 天前
mac mini
|
 |
13
easing 12 天前 2
家里自己部署满血版么。。。你说的这些大厂那么多资源都做不到和 DeepSeek 公司一样的 cost ，自己就别想了。
还是说只搞一个小参数版本玩一玩 |
 |
14
AoEiuV020JP 12 天前
需要巨大显存所以 mac 应该算性价比高的了，几万块就够了，噪音相对小，
 |
|
15
AoEiuV020JP 12 天前
@AoEiuV020JP #13 这应该是十几万吧，原谅我对顶配 mac 价格不敏感，
|
 |
16
234ygg 12 天前
本地就算用 4090 5090 跑 32b 都亏麻了，api 要比自己折腾便宜太多太多了
|
 |
18
marquina 12 天前 1
@klo424 #4 “查了一下 ktransformers 是框架？我需要硬件推荐。”
deepseek 和常规 llm 在架构上有较大差别（非常稀疏），而 llm 对硬件的要求相比常规应用又有较大区别。所以部署 deepseek 有多种推理方案：纯 CPU 、CPU/GPU 混合（ ktransformers ）、纯 GPU ，每种方案的硬件配置有很大差别。 但 OP 这种问法的话，我建议老老实实调 API 得了 |
 |
19
NamelessRain 12 天前
我自己看了各种 671 版本的搭建，国内博主全都是硬加内存让它启动起来最多 2-3token ，海外博主只有一两个有大量显卡搭建的，其中有一个人用 8 块 h800 搭的 671B 每秒 15/token ，并且以上说的这些都不是真正意义上的满血版本，目前满血的版本连个成功部署的案例我都没找到跟别说能不能用了，如果有找到的发我下
|
 |
20
shuixf 12 天前
官方 API 开放充值了，最为靠谱的选择。
其余云服务商就更多了选择了。 |
 |
21
xiadengmaX1 12 天前
要考虑家里电脑太费电的情况，基本上就放弃自建吧，买 API 是你最好的选择。
|
 |
22
Greendays 12 天前
买 API 是最划算的。现在的硬件并没有为个人 AI 准备好。
|
 |
23
andyskaura 12 天前
你要本地部署，主机都嫌费电，噪音大。
拿你家电视盒子刷个 linux 跑个 1.5b 得了。 |
 |
24
tool2dx 12 天前
|
 |
25
uprit 12 天前
你要跑的 R1 是满血 671B 吗？跑这个就不可能省电，再折腾不管哪个方案基本也是开机 500w 起步。
你要是只想用用，那 API 最合适了。100w token 能够你高强度玩好几天，也就几块钱。 你要是只想自己部署，折腾硬件，就享受满屏跑码不断报错的过程，那随便整个双路平台，E5 都行，再随便搞个 16G 显卡，跑 KT 方案，几千块就够了，当然，这个也不省电。 你要是非满血也可以，那就简单多了，7B 及以下，随便一台机器都能跑，没显卡也行。要是再小点的模型，比如 1.5B 甚至 0.5B 的，几百块的 arm 应该也可以跑起来 |
 |
27
vpsvps 12 天前
去 B 站搜了下
发现需要上百万的硬件设备才行的 |
 |
28
wwhc 12 天前
二代以上 Epyc 32 核心或以上，8 通道 DDR4 或 12 通道 DDR5 ，可确保首 1000tokens 输出在 4 tokens/s 或以上。Epyc 五代极度优化下应该能有 10 tokens/s 的能力。建议避免配置双 cpu ，尽可能使用 llama.cpp 而不是其它推理系统
|
 |
29
klo424 OP |
 |
30
lrigi 12 天前 via iPhone
楼主买个 mac mini 就行了，比如 8b 的模型，16G 内存就够用了
|
 |
31
jiejia 12 天前
锐龙 AI max+ 395 96g 内存，然后分 80G 显存给集成显卡，可以试试跑个 70b 的。
|
 |
32
HENQIGUAI 12 天前 3
因为非满血版没任何意义.....所以各位才默认你要部署满血版，不信的话，7B, 32B 啥的跑起来试试就知道啦
|
 |
33
datehoer 12 天前
腾讯云可以免费用 16g 显存 10000 小时一个月，自己跑个试试就知道了。https://ide.cloud.tencent.com/
|
 |
34
Clannad0708 12 天前
非满血版没有任何意义，我自己在公司部署了 32b ，70b 很笨，连除法都算不对。根本打不到所谓的 AI 助手的级别，当个聊天工具可以，但是你要准备好他在胡说，错误，嘴硬的情况
|
 |
35
peterli427 12 天前
e5 洋垃圾可以用 ecc ddr3 内存，白菜价大内存，但是不知道性能够不够
|
|
36
klo424 OP @HENQIGUAI @Clannad0708 不可以自己喂数据培养么？
|
 |
38
nagisaushio 12 天前 via Android
|
|
39
Clannad0708 12 天前 1
@klo424 #36 自己喂养数据你说的是训练，AI 大模型分为两部分一部分是训练。一部分是推理，训练过程中可以给他新数据，给他内容训练他，让他记住。训练完成后想要使用就是推理过程，再推理过程是不能进行新数据的喂养的。
而你所谓的训练需要的资源是推理的 2-4 倍。比如一个 32B 需要的显存大概是 30G 那么你只用推理大概 30G 显存就够了，如果你要训练就需要 100G+的显存。因为在训练过程中你需要并行多次的运行，并且你还有自己的数据需要加载到内存显存中，所以他所需要的资源是更多的。 |
|
40
Clannad0708 12 天前
@klo424 #36 你想的几千块，几万块搞个低配 deepseek 然后用自己的数据训练一下让它变成某个领域的高级 AI 是吧哈哈。没那么简单的
|
|
41
Chihaya0824 12 天前
如果要自己微调完全可以，但是首先你要准备数据集（这个部分是最花时间的）
非常可能的是你会发现调完之后很可能会出现变笨或者变没有思考的情况，因为你的数据集里没有 CoT 相关的，所以你还要把模型重新 align 回有 CoT 的状态 用 unsloth 的话要调比如说 14b 的话，怎么都要个 24g vram 吧，那买个 3090 就可以 当然也可以选择更小的，但是低于 14b 真的没什么实用价值 不过依我看步子最好不要一次性迈太大，部署玩明白了再去做训练也不迟，要玩训练那根本就和推理要求的不是一个级别的 可以参考的项目[这里]( https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT-Q8)，大概是一个正经的项目（ 上面的模型就算这样也要 8 张 H20(!!!!!110 万 CNY)，所以 op 可以再看看自己到底想要什么 |
 |
42
wy315700 12 天前
如果不跑满血版的话，，试试 2080Ti 22G 的，可以跑 32b
|
 |
43
winglight2016 12 天前
我在 MBA m4 16G 512G 配置下，跑 14B ，10token/s ，这速度我觉得还能接受了，而且自己配一个开源搜索引擎，可以绕过官方限制
|
 |
44
neteroster 12 天前 via Android
只有 671B 是“真正的” R1 ，其他蒸馏版本都没有跑过本体的训练管线，其实不能叫 R1
|
 |
45
szkoda 12 天前
预算多少？
|
 |
46
terrysnake 12 天前 9
这种小白问题直接问 deepseek 吧，楼主自己啥调研都没做就来问一嘴，最终其实也不会实施。
你们还答得这么认真，真是辛苦你们了。 |
|
47
marquina 12 天前
@terrysnake #46 笑死，非常真实
|
 |
48
ichou 12 天前
@terrysnake 真相帝啊，估计楼主要把你拉黑了 哈哈哈
|
 |
49
nekomiao 12 天前
@terrysnake 这么多人打了这么多字。现在的互联网还是太和善，换贴吧早就明嘲暗讽狠狠嘲笑了
|
|
50
vpsvps 11 天前
@NamelessRain
FP16 精度的吗？ 1.3T 的版本 没见过搭建成功的？ |
|
51
klo424 OP @terrysnake 首先，我很感谢能认真回答的朋友，我也认真看了每一个回复。
其次，我承认自己在这方面了解的不多，也正是因为了解的不多，才需要推荐，否则我不是可以自己就知道选什么了，更不需要问了。 然后呢，我提问之前是有想过问问 AI 的，但我凭之前的使用经验就知道这个问题 AI 是给不了我满意的答案的。 最后，我把原问题给了 deepseek ，回复是这样的： ----------------------------------------------------------------- 要满足你的需求（噪音小、预算少、性价比高、专门跑 DeepSeekR1 ），以下是几种硬件推荐： 1. NVIDIA Jetson Nano 优点: 低功耗、静音、性价比高，专为 AI 设计。 缺点: 性能有限，适合轻量级 AI 任务。 价格: 约 100-150 美元。 2. NVIDIA Jetson Xavier NX 优点: 性能优于 Jetson Nano ，功耗和噪音依然较低。 缺点: 价格较高。 价格: 约 400-500 美元。 3. Intel NUC with NVIDIA GPU 优点: 小巧、静音、可扩展性强。 缺点: 需要额外购买 GPU ，整体成本较高。 价格: 约 500-800 美元（不含 GPU ）。 4. Raspberry Pi 4 with Coral USB Accelerator 优点: 极低功耗、静音、成本低。 缺点: 性能有限，适合轻量级 AI 任务。 价格: 约 100-150 美元（含 Coral USB Accelerator ）。 5. Mini PC with Integrated GPU 优点: 小巧、静音、性价比高。 缺点: 性能有限，适合轻量级 AI 任务。 价格: 约 300-500 美元。 6. 二手工作站 优点: 性价比高，性能强劲。 缺点: 噪音和功耗可能较高。 价格: 约 300-600 美元。 7. 云服务 优点: 无需硬件投入，按需付费。 缺点: 长期使用成本较高。 价格: 按使用量计费。 总结 预算有限且任务轻量: 选择 NVIDIA Jetson Nano 或 Raspberry Pi 4 with Coral USB Accelerator 。 预算中等且需要更好性能: 选择 NVIDIA Jetson Xavier NX 或 Mini PC with Integrated GPU 。 预算充足且需要高性能: 选择 Intel NUC with NVIDIA GPU 或 二手工作站。 根据你的具体需求和预算，选择最适合的设备。 ----------------------------------------------------------------- 论坛本该是分享知识的平台，我也没觉得我在这里提问有什么问题。 |
|
52
NamelessRain 11 天前
@vpsvps 对的 FP16 精度的 = = 在 YouTube 看了一圈也没找着
|
|
53
Clannad0708 11 天前
@marquina #47 问问题没问题的，大家也很乐意给你解答，不过你的问题有点过于小白以至于大家觉得你好像在反串一样产生怀疑。
|
|
56
terrysnake 9 天前
@klo424 你觉得没问题就没问题。实施那一天来 v2 发个 report 我敬你是条汉子。
|
|
57
klo424 OP @terrysnake 不用激我，我不会搞，看了大家的回复，我已经意识到了自己搞这个不现实。
|
|
58
terrysnake 8 天前
@klo424 这个态度可以，给你点赞。不过还是建议下次提问前先自己搜索下或者 GPT 一下。
|
 |
59
coala 8 天前
ktransformers 方案 1 万多能跑 4bit 量化
|
Select Language