跑个 glm 5.2 50 万能够不？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
sagnitude 11h 20m ago
加一两个零吧
|
 |
2
realpg PRO 想回收残值，就 H200*8 一体机一台或者两台 看实力
想便宜且不怕费电 可以考虑找找渠道的垃圾华为老方案的 910B 两台跑 deepseek v4 pro/flash 可以降低成本 甚至有渠道几十万就能搞定一台 |
 |
3
fbu11 11h 14m ago
参考前两天的这个帖子 https://www.v2ex.com/t/1220819
本地部署的机器要求蛮高的，不如直接买 token ，大概你们想的是安全问题，但自己搭建的真的慢，智商也不太够用 |
 |
4
elehayym1618 11h 12m ago
8 张 h20 勉强能跑吧，光服务器就是 150w 。有这个钱还是充钱买 token 吧
|
 |
5
MoozLee 11h 11m ago
200w 起吧
|
 |
6
jackOff 11h 7m ago
50 万你只能淘宝买个 deepseek 2 这种一体机
|
|
8
realpg PRO |
 |
9
jimrok 9h 39m ago
首先，你这些算卡，3 年折旧下来你就受不了。第二，模型都再更新，刚刚迈入可用的状态。海外的模型，1 万亿参数规模都只是 flash ，mini 级别，刚刚能够用。后续前沿模型出来，参数变大，你这点预算根本抗不下。自己部署没有能力对模型调优，你的成本会非常高，远远高于模型的套餐成本。
|
 |
10
xiaomushen 9h 32m ago
具体什么模型？如果是 glm5.1/5.2 这种，5-10 并发至少需要两台 8 卡 H20
|
 |
11
syubo2810 9h 31m ago
本地部署只适合严格保密场景和要自己优化大模型的场景，其他的都是云端便宜，不说硬件随随便便大几百万，电费也是一大笔开销，按 deepseek 的价格，如果用的商电，就真只够电费了，硬件白送了
|
 |
12
nevin47 9h 26m ago
@elehayym1618 5-10 人一台不够，至少 2 台。如果做互连还要再贵点
|
 |
13
peteretep 9h 10m ago
才 10 个人，如果不是必须自己搭，完全可以给每个人开 codex 套餐。
能干和干得好，有天大的差别 |
 |
15
jinsongzhaocn 9h 8m ago
目前纯本地部署一定不划算，哪怕硬件够便宜了，每天更新模型的人力成本也不省心。最佳组合是本地+云服务。
|
 |
16
xubeiyou 9h 2m ago
真建议买 token 。。。。
|
 |
18
maskerTUI 7h 49m ago
硬件成本至少要 500W 才能跑完整的 GLM5.2 ，每个月电费至少也要两三万吧。不如直接买 token
|
 |
19
zliea 7h 41m ago
可以按照模型文件大小/0.75 计算跑起来需要的显存。
不量化的版本 1.5T ，估计需要 2T 显存，然后再算价格。 |
 |
20
PopRain 7h 38m ago
看了以上说法，token 要涨价，现在在圈地比较便宜😓
|
 |
21
loryyang 7h 37m ago
想啥呢，要是能这么搞，还有人买 token 嘛……从性价比来讲，肯定是不行的
当然你一定要说数据隐私问题，那……得加钱 |
 |
22
coefu 7h 8m ago
glm5.1 Q8 模型大小 811G ，10 个人并发的 1M context kvcache ，算 Q4 压缩，一个人大概留 100G ，因为 agent 回反复读 context ，那么 10 个人就得 1T 。所以你要准备 2T 左右 gmem 的环境，目前能买到的 H20 单卡 96G ，起码准备 20 张，单机 8 卡，准备 3 台机器。
h20 96G. ebay 上目前大概 8w 一张，卡就要 160w ，算 40w 能搞到 3 台服务器，外加网络。200w 起步，还要自己搞环境，另外电费另算。 |
 |
23
Solix 5h 50m ago via iPhone
电费是大头啊，兄弟，你试试一个月不得烧你个几十万
|
 |
24
haoofun 5h 45m ago
划不来的吧，白天都上班抢算力，晚上又没人用，我觉得这个账目前算不过来
|
 |
25
sn0wdr1am 5h 16m ago
目前看起来，本地部署，远远没有性价比。
除非预算不限，隐私无限。 |
 |
26
Co1e 4h 45m ago
真的贵，因为我是卖 it 硬件产品的，不如买 token 了
|
 |
27
limusi 3h 54m ago
给你个市场的参考..
我今天代购了 5 个 Premium, 正儿八经国内公司公对公, 开票和签合同一套下来, 6500/月; 这个是原汁原味的 claude team 账号 换言之 10 个人就是 1 万 3 50 万永久其实可以, 但是明智的老板, 会选择月付, 因为 AI 发展日新月异.. 与其有优惠半价绑死 1 年, 还不如短租保持灵活,随时能跳槽 |
 |
28
NathanInMac 3h 52m ago
@limusi 还不是违法。。
|
|
29
limusi 3h 47m ago
@NathanInMac 不至于, 吧
|
 |
30
paranoiagu 3h 45m ago via Android
glm 这么大的模型，私有化部署还是算了
qwen 80 那个可以考虑，不要说模型不够聪明🤫🤫 |
 |
31
m1nm13 3h 8m ago
50 万看不起谁呢？没实力就去买 token
|
|
32
xiaomushen 2h 38m ago
@limusi 还是灰色的，不合规
|
 |
33
firefox12 1h 58m ago
我想问下 google 那个 gemini 和 chatgpt 都是免费给我们用， 那得准备多少张卡 给全世界一起用啊？
|
|
34
limusi 34 mins ago
@xiaomushen 这还是解释权之争, 意义不大, 我们还是回归真正务实高效的解决问题之上
|
Select Language