搞 AI 的兄弟们都选的多大的内存？ 32 还是 64？
lrigi · 2023-07-26 12:22:40 +08:00 via iPhone · 8334 次点击这是一个创建于 485 天前的主题，其中的信息可能已经有所发展或是发生改变。
（别都选个 8GB 然后远程
 |
1
swulling 2023-07-26 12:27:32 +08:00 via iPhone
搞 AI 用 Macbook 不太行吧。
MPS 跑跑推理还行，训练什么的行么。 |
 |
2
deplivesb 2023-07-26 12:31:28 +08:00
搞 ai 用 MacBook ？
我的 m2 max 64G ，跑 sd 能吃掉 50G 左右的内存， 训练过一个小小的 cnn ，mac gpu 跑了 70 多个小时，相同的项目，4090 跑了 50 小时左右 |
 |
3
vtemp249 2023-07-26 12:31:59 +08:00
本地需要堆的不都是显存，管什么内存
|
 |
5
lrigi OP |
 |
6
ZedRover 2023-07-26 13:51:21 +08:00
16g + vscode remote
|
|
9
lrigi OP @ZedRover 我现在就是 16G+vs remote ，但既然买电脑了，要求不高（ 7B 到 65B 都能推理不过分吧
|
 |
10
8355 2023-07-26 14:00:05 +08:00
之前看到有大佬 Mac Studio 192g 内存跑模型用
|
|
11
ZedRover 2023-07-26 14:12:53 +08:00
@lrigi #9 不太清楚 mac 上的 torch 现在适配的怎么样了，之前跑 MAE 的代码跑不通，有几个库都不支持，之后就不怎么在 mac 上跑模型了，aws autodl 什么的随便开个按量的服务器跑不香么
|
 |
12
czfy 2023-07-26 14:17:03 +08:00
搞 AI ，想本地跑，还用 Mac ？
|
|
13
lrigi OP @ZedRover 现在适配的应该不错了，毕竟 llama 和 sd 里面都有包含很多比较新的算子吧。服务器不缺，但不是要换机吗，3000 块加 32G 显存打着灯笼也找不到吧，还是挺心动的。
|
|
14
lrigi OP @czfy 😏时代变了大兄弟，m2 max 已经和 v100 计算力差不多了，以后可能真的很多论文用 mac 实现了。毕竟学界很多组还在 2080ti 和 titan 呢
|
 |
15
YsCi2 2023-07-26 14:35:30 +08:00
我感觉相比 N 卡还是速度太慢了，N 卡能够节省数倍的时间，Mac 本地也就看看代码能不能跑。（我测试的是 ChatGLM 和 YOLO ）
|
 |
17
046569 2023-07-26 14:41:57 +08:00
原则上越大越好,目前 MPS 确实存在限制,粗略估算三分之二当显存.
一旦内存爆了,速度会立刻降到没法使用. 实测 32G 内存跑 70B 量化只有 0.03 tokens/s. |
 |
18
RoccoShi 2023-07-26 14:43:22 +08:00
你想用 mac 搞 ai?
|
|
19
lrigi OP  2
@czfy 我没怎么看过那个视频，你觉得我哪里说的不对你可以反驳我，而不是说一些没意义的话。相比专业的计算卡，mac 是不是在价格和显存容量上都有优势？ m2 max 的 tflops 是不是跟 v100 差不多？
|
 |
20
shwnpol 2023-07-26 14:51:29 +08:00
mac 不行，pytorch 适配得再好没意义，解决不了训练的问题，最多只能微调，皮衣的护甲现在打不穿的
|
|
21
shwnpol 2023-07-26 14:53:31 +08:00
用 cpu 跑模型至少 64g ，32 太小了塞不下
|
 |
23
Pteromyini 2023-07-26 15:04:09 +08:00 2
@lrigi #14 你想的太多了，这个理论性能指的是推理性能，训练和推理完全不是一回事，M2MAX 反向性能打不打得过 3080 都不好说，更别提 V100 了
|
 |
24
AnsonUTF8 2023-07-26 15:48:04 +08:00
搞深度学习的用 16 的就够了哈哈哈，因为肯定得用服务器的～
|
 |
25
winson030 2023-07-26 15:50:45 +08:00 via iPhone
大家预判下一个在计算领域吊打英伟达企业会是谁，赶紧买股票
|
 |
28
LaurelHarmon 2023-07-26 16:26:31 +08:00
没必要本地搞，服务器很香，已经习惯 ssh Linux pytorch cuda 生态了
|
 |
29
neopenx 2023-07-26 17:08:27 +08:00 1
@lrigi M2Max 只是 FP32 的 FLOPS 接近 V100 而已。FP16 的硬件加速在 ANE 上，做不了训练而且峰值还不如 FP32 。
|
 |
31
ShadowPower 2023-07-26 17:24:37 +08:00
买 8G 内存，加内存的钱拿去买 NVIDIA 显卡
|
 |
32
6i3BMhWCpKaXhqQi 2023-07-26 17:25:17 +08:00
一定要 64 ，32G 路过，太惨了
|
|
33
6i3BMhWCpKaXhqQi 2023-07-26 17:27:06 +08:00
@czfy Mac 优势挺大的，统一内存会解决一些显存不够的问题。
|
|
34
ShadowPower 2023-07-26 17:37:21 +08:00 1
关于“M2 Max 的 TFLOPs 是不是跟 V100 差不多”这一点，可以参考这个：
https://sebastianraschka.com/blog/2022/pytorch-m1-gpu.html 虽然是去年测的 M1 ，但 M2 和 M1 没有本质区别，只是晶体管规模比 M1 大了一点而已 其实连 3060 都赢不过，然后 3060 比 V100 差多了，差在显存带宽和 Tensor Core 上，可以各租一台 VPS 对比测试 |
 |
35
dlwlrm 2023-07-26 17:55:44 +08:00
我是单独组了台 windows 远程跑 ai 的……mac gpu 和内存加的钱都能买两台 windows 机子了
|
|
36
lrigi OP @ShadowPower 显卡肯定不缺啊😂各种都有
|
|
37
lrigi OP 1
@ShadowPower youtube 看了下 确实有差距😌和 4090 差距在十倍吧我笑死。V100 都是要淘汰的卡了，那苹果这个确实不太行，那感觉 64G 内存确实没啥用，甚至 max 都没必要上了
|
 |
38
mmdsun 2023-07-26 19:25:46 +08:00 via iPhone
AI 买 Mac 你会后悔的，
建议选至少 16GB 显存的 N 卡的 Windows 电脑，WSL 2 乌班图性能可以跑满，或者不玩游戏直接装乌班图就行 |
 |
39
Aspector 2023-07-26 19:26:24 +08:00 via iPhone
@murmur 应该不止一半，我的 32GB 能正常跑 INT4 的人 30B ，这个理论占用是 20GB 的。再往上就不行了
|
 |
40
Xie123 2023-07-26 19:30:18 +08:00 via iPhone
我是新人，求问，手机的 V 社没办法发帖子吗？我用的谷歌
|
 |
41
siriussilen 2023-07-26 19:34:12 +08:00
老哥，我们都是代码提交到服务器上，本机的要求就是内存大就好了（ 30 个网页 idea pycharm dataspell 同事打开不卡哪种）
|
|
42
lrigi OP @mmdsun 都用了快十年 Mac 了，就从来没考虑过 Windows 。没事俺有服务器，显卡其实无关紧要
|
|
43
lrigi OP @siriussilen 我也是这样想的呀😌本地要是能高速跑跑大模型 int4 推理就更好了。我就用 vscode ，transmit ，pdf ，网页一般不超过十个。之前试过 8G 的 mac mini 完全够了。
|
 |
45
mauis 2023-07-26 20:05:59 +08:00
完 ai 就别折腾 mac 了。省下来钱租 v100 吧。要说纯推理买张 t4 也很香
|
 |
46
izzy27 2023-07-26 21:24:31 +08:00
就是选低配然后远程连到服务器呀，把钱省下来花在显卡上面不香吗
|
 |
47
zhouyg 2023-07-26 21:30:28 +08:00
搭楼问，普通玩家，搞 AI 用什么机器，显卡和系统比较好？
|
 |
48
asdgsdg98 2023-07-26 21:33:31 +08:00
还不如买个 4070 以上的卡
|
 |
49
WuSiYu 2023-07-26 22:29:39 +08:00
mac 炼丹图一乐，除了跑龟速的 LLM 推理/ft ，没别的用
|
 |
50
qweruiop 2023-07-27 00:02:57 +08:00
玩 ai 就算了吧，nvidian 的 cuda ，搞了十年了，apple 和他谈不拢，现在业界的生态基本上都是 cuda 上的吧。。。
|
 |
52
lchynn 2023-07-27 09:17:50 +08:00
M2 上据说 跑 LLAMA.C 的编译版本，推理速度大概就有几十个 token/s ；
赶得上英伟达单卡 V100+原始的 llama2 模型了吧？ |
 |
53
terminals 2023-07-27 09:50:24 +08:00
A100 80G 显存的够用了，ubuntu 系统跑
|
|
54
terminals 2023-07-27 09:53:00 +08:00
普通玩家，3090ti ，除了大语言模型，其他都够用了，用 ubuntu 系统跑，用 ubuntu 系统跑，用 ubuntu 系统跑
|
|
55
ShadowPower 2023-07-27 10:10:46 +08:00
@lchynn 那是 15M 参数量的模型……
其实普通的电脑也可以，那个项目优化并不好，是教学用途的 |
 |
56
iamqk 2023-07-27 10:42:44 +08:00
@ShadowPower 最新评测结果 https://www.lightly.ai/post/apple-m1-and-m2-performance-for-training-ssl-models m2 max 的 gpu 性能应该是 4070 左右吧？
|
|
57
iamqk 2023-07-27 10:53:20 +08:00
应该是 m2 ultra ，记错了
|
 |
58
summersun2021 2023-07-27 17:28:26 +08:00
@lrigi #14 m1 max 64g ，跑 sd ，风扇像拖拉机一样，跑了 30 分钟就关了，不敢试了。
|
 |
59
EchoAI 2023-07-27 22:15:25 +08:00
使用服务器跑，ubuntu 系统 384GB 的内存。
|
|
61
lrigi OP @summersun2021 风扇拖拉机就拖拉机吧，我现在的 Mac 用 vscode 远程终端多输出一点内容就开始很吵了。风扇转一转应该没啥
|
|
62
EchoAI 2023-07-28 01:10:46 +08:00
@lrigi 有条件就上最高配，我当年买的时候最高只有 16G 。不过折腾 AI 的话，mac 目前还是有很多的不方便的地方，我的 Intel 的处理器基本上就不去想了。
|
|
63
lrigi OP |
 |
64
nyxsonsleep 2023-08-21 00:41:27 +08:00
@deplivesb #2 但是 4090 理论性能是 m2 ultra 的三倍，更别说 m2max ，你这个例子怎么搞的 mac 速度变快了。
|
Select Language