V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
frankyzf
V2EX  ›  问与答

最便宜的得到 32G 显存的方式是什么?

  •  
  •   frankyzf · 2023-11-05 12:46:48 +08:00 · 3502 次点击
    这是一个创建于 369 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果跑大模型,对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ,不知道还有没有其他方式。

    16 条回复    2023-11-06 15:20:07 +08:00
    kindjeff
        1
    kindjeff  
       2023-11-05 13:45:24 +08:00   ❤️ 2
    emmm 或许是 intel 核显跑 pytorch 吧,然后插 32 G 内存条
    kidlj
        2
    kidlj  
       2023-11-05 14:27:46 +08:00
    找一个大模型算法工程师的工作 :doge:
    chesha1
        3
    chesha1  
       2023-11-05 14:37:30 +08:00
    在 GPU 云(比如 autodl )上租个 A100 ,因为看上去不是专业用途,个人用户自己玩玩的话,还是租比较合算,A100 大概每小时 6 块钱
    担心不会用浪费时长,可以去 paperspace 买个包月会员
    RiESA
        4
    RiESA  
       2023-11-05 15:07:05 +08:00
    个人玩的话,感觉目前最划算还是魔改的 2080 22G 的版本,才两千多 但是达不到 OP 说的 32G
    cwyalpha
        5
    cwyalpha  
       2023-11-05 15:42:08 +08:00 via iPhone   ❤️ 1
    4060ti 16g 2
    1KTN90lKW9gVJ9vX
        6
    1KTN90lKW9gVJ9vX  
       2023-11-05 15:46:23 +08:00 via iPhone
    把内存分配给显存用、弄个 512g 显存🤔
    em70
        7
    em70  
       2023-11-05 16:26:38 +08:00
    阿里云已经停售 A100 了,现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右,比买 4090 划算
    yummysakko
        8
    yummysakko  
       2023-11-05 17:31:04 +08:00
    sxm2 的 V100 吧
    icyalala
        9
    icyalala  
       2023-11-05 17:40:06 +08:00
    本地跑的话,Mac Studio 64GB 内存,RTX8000 48G 显存,都是两万上下?
    paopjian
        10
    paopjian  
       2023-11-05 18:00:28 +08:00   ❤️ 1
    超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
    我觉得你如果还不清楚自己的需求话不如先租服务器试一下?
    modestdeveloper
        11
    modestdeveloper  
       2023-11-05 20:07:05 +08:00   ❤️ 1
    不考虑速度的情况下,mac 确实是一个性价比之选
    lithiumii
        12
    lithiumii  
       2023-11-05 21:45:15 +08:00 via Android
    能多卡的话就买老卡呗
    bihui
        13
    bihui  
       2023-11-05 22:02:51 +08:00
    4060 16g 不够用吗?
    netabare
        14
    netabare  
       2023-11-06 07:19:33 +08:00   ❤️ 1
    如果不限定操作系统的话,MacBook 好像不错
    frankyzf
        15
    frankyzf  
    OP
       2023-11-06 10:36:21 +08:00
    谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ,所以先问下。因为没有实践过,所以不确定实际的效果。
    sketcherly
        16
    sketcherly  
       2023-11-06 15:20:06 +08:00
    如果只是玩的话可以找一些租显卡的服务,可以看下我之前用过的这个,为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ,或者顺着这个思路找个同类产品
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2707 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:29 · PVG 20:29 · LAX 04:29 · JFK 07:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.