现在用 2020 款初代 M1 处理器的 MacBook pro ,算了下也 5 年了,虽然还能用,但是距离苹果的更新日期也只有一两年时间了。 想换一台新的 mac 。
如果普通的日常开发的话,选择最新的 m5 处理器的 MacBook pro 32G+1T 版本足够我用了。 但是最近两年本地大模型越来越多,范围也越来越广,如果考虑到大模型本地运行,最少可能需要一台 m4 max 处理器的 mac studio 128G+2T 的配置,两者价格直接差了快一倍。
目前有没有在做本地大模型微调等,距离比如用本地大模型写代码以及做一些图片生成、大规模内容处理等事情还有多远,是否值得为后面的四五年准备上一台高配的 mac ?
1
wu67 2 天前
我就这么说, 你加钱买高配的钱+高功率跑模型产生的电费, 砍下来买标配硬件, 然后去开各种 AI 的会员, 够你爽玩好几年
|
2
oed 2 天前
搞成人内容有用。
|
3
elevioux 2 天前
除了隐私或 NSFW 内容可能需要,其它情况不如买 API 了。
|
4
beefhotpot 2 天前 主要现在大模型更新换代很快,要本地跑效果很好的模型,你上面提到的设备也跑不动,最多跑个量化版,也没什么意思
|
5
HENQIGUAI 2 天前
有预算可以买,一般 64G 其实就够了,64G 不够的话再大的话就得 128G 也可能不够。
|
6
liu731 PRO 4090+96GB RAM 跑不起来 120B ,只能说玩玩。
|
7
adov 2 天前 via Android
现在没有可以搞 nsfw 内容的 api 吗?那看来还是要搞本地啊
|
8
evan1 PRO 搞成人内容有用。
其它没用,不如用免费的 grok 、gemini 之类的。 |
9
Solix 2 天前
本地模型不用 N 卡就是残废,别信说 mac 高配就行了
|
10
maichael 2 天前
个人使用意义不大。
|
11
taozheju 2 天前
NSFW
|
12
wyfig OP 按照 v 友们说的,确实本地为了跑大模型搞这个配置意义不大。 我平时开发目前 m1 16GB 的也够用了,感觉升级个 32G 的绰绰有余了。
|
13
Seanfuck 2 天前
没什么意义,玩 2 天就没兴趣了。
想玩可以去线上租个卡玩,几十块就能玩几天。 |
14
fank99 2 天前
没有什么意义,即使有意义,也不是现在这个时间点的 mac 能搞定的
|
15
frayesshi1 PRO 这个时候没得什么意义,但是一旦后面不知道
|
16
hughrover 1 天前
以 16B 尺寸的模型部署推理为例,加载半精度模型权重占用显存 16G (全精度 32G ,此外还有 KV Cache 、激活缓冲区占用的显存),即使是 m4 max 的最高配 128G ,也很难流畅运行超过 100B 尺寸的模型,供楼主参考。
|
17
coefu 1 天前
除了 m3 mac studio ultra 512G,其余都是玩具。如果有钱搞 2 个,并起来搞成 1T ,跑一跑推理 ok 的,其余的定制就得搞 n 卡了。
|
18
jingcoco 1 天前
现在是当备用, 现在免费的 api 太多, 不过私人的东西 还是不用或者本地大模型.
|