coefu

coefu

V2EX member #616381, joined on 2023-02-28 17:15:35 +08:00
Per coefu's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
coefu's recent replies
10h 40m ago
Replied to a topic by davidyin Local LLM 想折腾一个 AI 主机,请行家出手
@Nidhoggur 母鸡,我也没这资源跑过这种大模型啊。
20h 2m ago
Replied to a topic by davidyin Local LLM 想折腾一个 AI 主机,请行家出手
@davidyin #33 真正的行家来告诉你,2000$的方案。

amd epyc 单路 9004 12 通道 ddr5 主板,目前大概 4000 。12 通道全插满 4800 MT/s DDR5 内存时,12 个通道的总带宽约为 500GB/s 以上。使用更高频率(如 6400 MT/s )的内存时,理论总带宽可达到约 614 GB/s 。几乎摸到了 hbm2 的边。关键是容量可伸缩。

ddr5 6400 16G 目前单条价格大概 700*12 ,8400

amd epyc 9124 cpu 目前大概 4000

总成本正好 2000$ 左右。

此时,你有 192G 内存( Qwen3.5-122B-A10B ,这种都能跑),带宽 500 ~ 614G 左右,500G 的带宽足够让你跑 MOE ,20 ~ 25 token/s ,再加一块几百块的 16G hbm2 gpu ,完全够。
你这么搞的适得其反,你这个也不是大家刚需的非 GA 不可,大把竞品。你逞一时嘴快,网上嘴炮赢了别人又如何?但是你这个项目,因为你盛气凌人的态度,把看法由你而引申到你的 GA ,恰恰起了反作用。本来中立的人,也会考虑考虑了。

别人蛐蛐你,你当然可以反击,如果只是生活区为了某个点嘴炮,输赢都是无所谓的。你带着目的来,这就不同了,你赢了输了,都和你宣传的 GA 隐性的关联上了。

我看了你的这些推广,没有去 GitHub 点 star ,也没有用 GA ,就不是智力正常的人了?

@h4nru1 #66
@h4nru1 #22 这么狂?还好只是 top3 ,你要是 top2 ,那岂不是你现在导师都入不了你的眼了。
@shum02 #7 你自己想的很明白了,还要别人给你出歪点子让你动摇?看你性格,想来别人的建议你也是不会接受的。二十啷当岁,就是试错的时候,没必要瞻前顾后,该怎么样,会怎么样,命中自有定数的。
活在自我臆想里的堂吉柯德。
我选 amd ,内存带宽都有。只是没钱买,有钱也买不到。
上了年纪就是这样,有怀旧情结了。谷歌地球最早可以到 2002 年的长沙,可能是湖南省最早的了。地级市大概在 2013 ~ 2014 最早。
@diudiuu #8 太 tm 悲催了,我因为用错了电源线,把 amd mi50 的 hbm2 显存给烧了。以后坚决不买这种小众的东西了,电源线都找不到。还得是一分钱一分货。内存差价这种钱,果然还是赚不得。
@KaiWuBOSS #23 甚至是异构模型,也是可以的,只是中间要搞转换。转换的这个事情,可能更简单一点。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6208 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 02:21 · PVG 10:21 · LAX 19:21 · JFK 22:21
♥ Do have faith in what you're doing.