 |
1
sentinelK 5h 10m ago  1
“回本周期看起来还行”这个是如何得出的如此结论？
|
 |
2
musi 5h 8m ago 1
"回本周期看起来还行"
如果真的还行的话模型厂商为什么不直接扫货然后对外提供服务？ |
 |
3
sillydaddy OP @sentinelK 简单估算了下跑满的 token 产出量： https://v2ex.com/t/1232688#r_17950784
|
 |
4
bunai 5h 7m ago
买 token 更换算吧
|
 |
5
catning 5h 6m ago
纯讨论啊，我觉得 AI 市场已经很泡沫了（单纯投资方面），靠倒腾硬件很容易跌个跟头。再说，怎么定义你说的“用完的硬件还可以二次出售”，你不用了，对别人还有用吗，硬件也会推陈出新，所以某一款硬件一直保持在高价位是不可能的。
虽然 deepseek 涨价了，一定使用量的情况下，还是比你自己维护要省心和便宜，我实在看不出来投资的必要，要不然我早入了。 |
 |
6
1258 5h 6m ago
如无刚需，感觉还是不要创造需求吧。
|
|
7
sentinelK 5h 5m ago
@sillydaddy 这个预估完全失真。
实际使用中，一定是在 harness 场景下，harness 有巨量的系统提示词，即便是计算上超高的缓存命中，prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度，你就会发现大概是 15~20 年回本。 |
 |
8
shintendo 5h 4m ago
纯经济考虑肯定是不划算的，自建基本是隐私因素
|
|
10
sentinelK 5h 0m ago
@privil 但是楼主押宝的是 GB10 ，他的“显存”带宽很小。如果楼主买的是 rtx pro 6000 maxQ ，4 卡集群，我都认为合理。
GB10 就注定了大模型能跑，跑不快，小模型跑不过显卡。 |
 |
11
lscho 4h 59m ago
AI 泡沫不炸之前，肯定划算。。。因为硬件保值。不考虑硬件的话，绝对不划算
|
|
12
bunai 4h 55m ago
op 买四台 4090 都比这个跑的快
|
|
14
sentinelK 4h 51m ago
|
|
15
sillydaddy OP @sentinelK #7 就算按 7:3 ，也不是 15~20 年啊，最多翻个 3 倍，算 10 年。
主要是这种估算变数比较大： 那里面估算的时候，取的是平均单次 API 调用花费¥0.004 ，这本身就有些低估。而且现在涨价了，估计单价这项得翻个几倍。 再加上多路并发，也可以有个几倍。 |
 |
16
sampdoria 4h 31m ago
|
 |
17
zhengfan2016 4h 23m ago
上游租用 gpu 部署模型也没大幅涨价吧，买全款和那些 21 年上车房子的有啥区别
 |
 |
18
aimuz 4h 21m ago
DGX Spark 硬件只能跑量化模型吧？
|
 |
19
gouyoudawang 3h 57m ago
到目前为止 隐私定律还在发力 除非 ai 厂商真的要涨价 10 倍
|
 |
20
Nasdaq 3h 55m ago
OP 了解一下 GDDR7 和 LPDDR5X 的区别
|
 |
21
msg7086 2h 57m ago
#15 估算变数本来就很大，哪家公司出一个中等智能的低价私有模型就能直接把你的本地部署打趴下。
而且你是按照官方 API 计价来算钱的。众所周知官方 API 价格是个人订阅价格折算单价的 20 倍以上。 你从一开始就是按照普通人能接触到的价格的 20 倍来计算回本。 我可以帮你开个 AI 计算器算一下的价格。 在输入输出 token 比 99:1 ，缓存成功率 98%，输入 1000tok/s ，输出 60tok/s 的条件下，24x7 跑满： 输出 token 272.5M/y 缓存输入 token 26.4B/y 非缓存输入 token 539.55/y 按照 deepseek 涨价后价格取平均价：0.99/M 0.01/M 0.33/M 来算，完全跑满的总价值是$700 左右。 但如果买 gpt 订阅跑 luna max ，智力水平基本接近，但一个$20 的订阅一个月至少能用$500 价值的 API ，2 个月的订阅就可以跑出你私有硬件一年的量。 你自建，除了自己买硬件以外，还要交电费，还要忍受 60tok/s 的低速产出，还要 24 小时不停喂数据才能跑足价值，然后你要谈回本周期。你这回本，回的是什么本？ |
 |
22
ytmsdy 2h 39m ago
我突然觉得，买硬件来跑开源模型的事情，有点和当年买房和租房的逻辑差不多。
租房党觉得用首付就能住到天荒地老，买房党觉得房价能上涨。 如果考虑到硬件慌在未来 3 到 5 年里无法缓解，叠加硬件价格上涨，那买硬件的逻辑是否就更加合理了？ |
 |
23
murmurkerman 2h 32m ago
当然可以作为奢华玩具买，不适合投资。要保值建议入手 rtx 5090 ，因为显卡还有游戏玩家，二手流通性高，可以去咸鱼上看看成交记录。
我自己就有一个 amd ai max 395 的机器，作为主力机，本地模型推理是可以，只要你不在乎发热和噪音和速度就好，本地模型只能跑 30b fp16 左右的，显存 96gb ，聊胜于无。 |
 |
24
rb6221 2h 17m ago
token 涨价有一部分是硬件因素，同时也有模型本身性能提高的原因
直白一点，半年后 token 涨价了，但是你的新设备可能已经运行不了当时的最新模型了 |
 |
25
llwy1412b 2h 16m ago
奢华玩具+1
本地算力这种东西目前还没有成熟，能做得事情对比在线大模型，性能和效果都要差很多。 真指望他输出 tokens 赚钱，不一定收得回电费成本。 |
 |
26
jettttt 2h 4m ago
我们这也搞了台 amd395 ，和 dgx 差不多，我个人的感受是带宽限制的原因，要真正作为生产力工具不太合适。端侧模型和推理引擎在不断进化，这种本地算力的机器或许能发挥更好的能力，但是我也担心这类机器其实会不会和手机一样，也是会不断进化迭代的，现在觉得 amd395 、dgx spark 是比较好的选择，那过两年说不定有更好的选择，这类机器会不会沦为老古董呢？玩玩肯定是可以的，但是作为投资个人觉得没有太大意义。
|
 |
27
zxjxzj9 2h 3m ago
需要音视频&图像编辑或者 ai 制作的完全值得, 纯文本类 LLM 不是很需要
|
|
28
sentinelK 2h 1m ago
|
 |
29
lhtdeg 1h 50m ago
|
 |
30
yyh0808 1h 27m ago
我觉得你特指内存 128G 左右的硬件，能做什么，可能未来做专项任务还不错，在 128G 的范围内，数据量足够的低推理能力的专项任务。
这些硬件最终的结论，就是接盘侠或烂在个人或贩子手里，因为这是短期资本买不到硬件的炒价竞争，未来资源供应能力上去，这点资源完全不需要，直接生产像 TPU 这种专用卡就足够了，通用卡成本完全干不过专用卡。 |
 |
31
Rothschild 1h 25m ago
@sentinelK 两台 DGX 能完美运行 DeepSeek V4 Flash ，自己搜搜最近涨幅把
|
 |
32
AstroProfundis 1h 15m ago
目前看自建的主要优势是敏感、隐私一类需要保密的数据不需要发送给第三方也不需要经过第三方审查过滤，单纯从用量上算并不是很划算
|
|
33
sentinelK 1h 8m ago
@Rothschild 要不要先定义一下什么叫“完美运行”，prefill 的速度是多少 t/s?
|
 |
34
liulihaocai 56 mins ago via Android
@sillydaddy 4699$ 买一个 dgx spark 的钱足够买 4 年 ChatGPT/Claude 5x 了，还比本地模型好用很多
|
|
35
sillydaddy OP @msg7086 你是不是算错了😂，2 台 DGX Spark 跑 DeepSeek-V4-Flash ，一天至少 1000 万~2000 万纯输出 token 的。
不过订阅倍率这个，我确实给忘了，哈哈，如果按 20 倍倍率，那肯定是回不了本。 @liulihaocai |
|
36
msg7086 32 mins ago
@sillydaddy 我算的时候把输入的时间也算进去了，确实低估了一些。
|
 |
37
kdwycz 7 mins ago
首先个人很难跑满 token
其次硬件价格相对去年，已经涨的太高了。对比过去几次矿潮/内存涨价周期，目前可能在高点 最后即使有 dgx/5090/aimax/m4max 等机器跑本地模型，codex 订阅/grok 订阅可能在便利性/功能/价格上更有优势 |
|
38
sillydaddy OP @kdwycz 我可以跑满，真的。而且还有 10 倍的缺口。每个人的情景和用法都不一样，跑连续自主的 Agent 非常烧 token 。
|
|
39
kdwycz 3 mins ago
我年初买了几台 macmini/aimax 。最后发现收益最大化的方案是挂闲鱼。可惜当时显卡选的是 5090 不是 pro6000
|
Select Language