跑个 glm 5.2 50 万能够不？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
sagnitude Jun 17
加一两个零吧
|
 |
2
realpg Jun 17
想回收残值，就 H200*8 一体机一台或者两台 看实力
想便宜且不怕费电 可以考虑找找渠道的垃圾华为老方案的 910B 两台跑 deepseek v4 pro/flash 可以降低成本 甚至有渠道几十万就能搞定一台 |
 |
3
fbu11 Jun 17
参考前两天的这个帖子 https://www.v2ex.com/t/1220819
本地部署的机器要求蛮高的，不如直接买 token ，大概你们想的是安全问题，但自己搭建的真的慢，智商也不太够用 |
 |
4
elehayym1618 Jun 17
8 张 h20 勉强能跑吧，光服务器就是 150w 。有这个钱还是充钱买 token 吧
|
 |
5
MoozLee Jun 17
200w 起吧
|
 |
6
jackOff Jun 17
50 万你只能淘宝买个 deepseek 2 这种一体机
|
|
8
realpg Jun 17
|
 |
9
jimrok Jun 17
首先，你这些算卡，3 年折旧下来你就受不了。第二，模型都再更新，刚刚迈入可用的状态。海外的模型，1 万亿参数规模都只是 flash ，mini 级别，刚刚能够用。后续前沿模型出来，参数变大，你这点预算根本抗不下。自己部署没有能力对模型调优，你的成本会非常高，远远高于模型的套餐成本。
|
 |
10
xiaomushen Jun 17
具体什么模型？如果是 glm5.1/5.2 这种，5-10 并发至少需要两台 8 卡 H20
|
 |
11
syubo2810 Jun 17
本地部署只适合严格保密场景和要自己优化大模型的场景，其他的都是云端便宜，不说硬件随随便便大几百万，电费也是一大笔开销，按 deepseek 的价格，如果用的商电，就真只够电费了，硬件白送了
|
 |
12
nevin47 Jun 17
@elehayym1618 5-10 人一台不够，至少 2 台。如果做互连还要再贵点
|
 |
13
peteretep Jun 17
才 10 个人，如果不是必须自己搭，完全可以给每个人开 codex 套餐。
能干和干得好，有天大的差别 |
 |
15
jinsongzhaocn Jun 17
目前纯本地部署一定不划算，哪怕硬件够便宜了，每天更新模型的人力成本也不省心。最佳组合是本地+云服务。
|
 |
16
xubeiyou Jun 17
真建议买 token 。。。。
|
 |
18
maskerTUI Jun 17
硬件成本至少要 500W 才能跑完整的 GLM5.2 ，每个月电费至少也要两三万吧。不如直接买 token
|
 |
19
zliea Jun 17
可以按照模型文件大小/0.75 计算跑起来需要的显存。
不量化的版本 1.5T ，估计需要 2T 显存，然后再算价格。 |
 |
20
PopRain Jun 17
看了以上说法，token 要涨价，现在在圈地比较便宜😓
|
 |
21
loryyang Jun 17
想啥呢，要是能这么搞，还有人买 token 嘛……从性价比来讲，肯定是不行的
当然你一定要说数据隐私问题，那……得加钱 |
 |
22
coefu Jun 17
glm5.1 Q8 模型大小 811G ，10 个人并发的 1M context kvcache ，算 Q4 压缩，一个人大概留 100G ，因为 agent 回反复读 context ，那么 10 个人就得 1T 。所以你要准备 2T 左右 gmem 的环境，目前能买到的 H20 单卡 96G ，起码准备 20 张，单机 8 卡，准备 3 台机器。
h20 96G. ebay 上目前大概 8w 一张，卡就要 160w ，算 40w 能搞到 3 台服务器，外加网络。200w 起步，还要自己搞环境，另外电费另算。 |
 |
23
Solix Jun 17 via iPhone
电费是大头啊，兄弟，你试试一个月不得烧你个几十万
|
 |
24
haoofun Jun 17
划不来的吧，白天都上班抢算力，晚上又没人用，我觉得这个账目前算不过来
|
 |
25
sn0wdr1am Jun 17
目前看起来，本地部署，远远没有性价比。
除非预算不限，隐私无限。 |
 |
26
Co1e Jun 17
真的贵，因为我是卖 it 硬件产品的，不如买 token 了
|
 |
27
limusi Jun 17
给你个市场的参考..
我今天代购了 5 个 Premium, 正儿八经国内公司公对公, 开票和签合同一套下来, 6500/月; 这个是原汁原味的 claude team 账号 换言之 10 个人就是 1 万 3 50 万永久其实可以, 但是明智的老板, 会选择月付, 因为 AI 发展日新月异.. 与其有优惠半价绑死 1 年, 还不如短租保持灵活,随时能跳槽 |
 |
28
NathanInMac Jun 17
@limusi 还不是违法。。
|
|
29
limusi Jun 17
@NathanInMac 不至于, 吧
|
 |
30
paranoiagu Jun 17 via Android
glm 这么大的模型，私有化部署还是算了
qwen 80 那个可以考虑，不要说模型不够聪明🤫🤫 |
 |
31
m1nm13 Jun 17
50 万看不起谁呢？没实力就去买 token
|
|
32
xiaomushen Jun 17
@limusi 还是灰色的，不合规
|
 |
33
firefox12 Jun 17
我想问下 google 那个 gemini 和 chatgpt 都是免费给我们用， 那得准备多少张卡 给全世界一起用啊？
|
|
34
limusi Jun 18
@xiaomushen 这还是解释权之争, 意义不大, 我们还是回归真正务实高效的解决问题之上
|
 |
35
qxmqh Jun 18
别折腾了，绝对不划算
|
 |
36
WispZhan Jun 18 via Android
这个价格租机可以玩几个月，买就算了
|
 |
37
Mageblade Jun 18  1
投入几百万的硬件才够部署 deepseek-v4/glm-5.2 满血版，根本不划算啊
用这钱去买 api 够用到天荒地老、海枯石烂了 |
 |
38
Ipsum Jun 18
直接买 token 划算。
|
 |
39
bingoAI Jun 18
200W 预算以上
|
 |
40
shm7 Jun 18
看了下评论，还真有这么干的。政企就算了，私企我只能说活了这么大，什么人都有。
|
 |
41
owt5008137 Jun 18
我之前看过开源国模，基本在 300W 左右。然后功率 9000W 以上。
|
 |
42
roygong Jun 18 via iPhone
算力中心都跑不明白 glm-5.2 ，别搞私有部署了，有这钱都够买几套房子了
|
Select Language