如果跑大模型,对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ,不知道还有没有其他方式。
1
kindjeff 2023-11-05 13:45:24 +08:00 2
emmm 或许是 intel 核显跑 pytorch 吧,然后插 32 G 内存条
|
2
kidlj 2023-11-05 14:27:46 +08:00
找一个大模型算法工程师的工作 :doge:
|
3
chesha1 2023-11-05 14:37:30 +08:00
在 GPU 云(比如 autodl )上租个 A100 ,因为看上去不是专业用途,个人用户自己玩玩的话,还是租比较合算,A100 大概每小时 6 块钱
担心不会用浪费时长,可以去 paperspace 买个包月会员 |
4
RiESA 2023-11-05 15:07:05 +08:00
|
5
cwyalpha 2023-11-05 15:42:08 +08:00 via iPhone 1
4060ti 16g 2
|
6
1KTN90lKW9gVJ9vX 2023-11-05 15:46:23 +08:00 via iPhone
把内存分配给显存用、弄个 512g 显存🤔
|
7
em70 2023-11-05 16:26:38 +08:00
阿里云已经停售 A100 了,现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右,比买 4090 划算
|
8
yummysakko 2023-11-05 17:31:04 +08:00
sxm2 的 V100 吧
|
9
icyalala 2023-11-05 17:40:06 +08:00
本地跑的话,Mac Studio 64GB 内存,RTX8000 48G 显存,都是两万上下?
|
10
paopjian 2023-11-05 18:00:28 +08:00 1
超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
我觉得你如果还不清楚自己的需求话不如先租服务器试一下? |
11
modestdeveloper 2023-11-05 20:07:05 +08:00 1
不考虑速度的情况下,mac 确实是一个性价比之选
|
12
lithiumii 2023-11-05 21:45:15 +08:00 via Android
能多卡的话就买老卡呗
|
13
bihui 2023-11-05 22:02:51 +08:00
4060 16g 不够用吗?
|
14
netabare 2023-11-06 07:19:33 +08:00 1
如果不限定操作系统的话,MacBook 好像不错
|
15
frankyzf OP 谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ,所以先问下。因为没有实践过,所以不确定实际的效果。
|
16
sketcherly 2023-11-06 15:20:06 +08:00
如果只是玩的话可以找一些租显卡的服务,可以看下我之前用过的这个,为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ,或者顺着这个思路找个同类产品
|