frankyzf
V2EX  ›  问与答

最便宜的得到 32G 显存的方式是什么?

  •  
  •   frankyzf · Nov 5, 2023 · 4930 views
    This topic created in 920 days ago, the information mentioned may be changed or developed.

    如果跑大模型,对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ,不知道还有没有其他方式。

    16 replies    2023-11-06 15:20:07 +08:00
    kindjeff
        1
    kindjeff  
       Nov 5, 2023   ❤️ 2
    emmm 或许是 intel 核显跑 pytorch 吧,然后插 32 G 内存条
    kidlj
        2
    kidlj  
       Nov 5, 2023
    找一个大模型算法工程师的工作 :doge:
    FlashEcho
        3
    FlashEcho  
       Nov 5, 2023
    在 GPU 云(比如 autodl )上租个 A100 ,因为看上去不是专业用途,个人用户自己玩玩的话,还是租比较合算,A100 大概每小时 6 块钱
    担心不会用浪费时长,可以去 paperspace 买个包月会员
    RiESA
        4
    RiESA  
       Nov 5, 2023
    个人玩的话,感觉目前最划算还是魔改的 2080 22G 的版本,才两千多 但是达不到 OP 说的 32G
    cwyalpha
        5
    cwyalpha  
       Nov 5, 2023 via iPhone   ❤️ 1
    4060ti 16g 2
    1KTN90lKW9gVJ9vX
        6
    1KTN90lKW9gVJ9vX  
       Nov 5, 2023 via iPhone
    把内存分配给显存用、弄个 512g 显存🤔
    em70
        7
    em70  
       Nov 5, 2023
    阿里云已经停售 A100 了,现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右,比买 4090 划算
    yummysakko
        8
    yummysakko  
       Nov 5, 2023
    sxm2 的 V100 吧
    icyalala
        9
    icyalala  
       Nov 5, 2023
    本地跑的话,Mac Studio 64GB 内存,RTX8000 48G 显存,都是两万上下?
    paopjian
        10
    paopjian  
       Nov 5, 2023   ❤️ 1
    超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
    我觉得你如果还不清楚自己的需求话不如先租服务器试一下?
    modestdeveloper
        11
    modestdeveloper  
       Nov 5, 2023   ❤️ 1
    不考虑速度的情况下,mac 确实是一个性价比之选
    lithiumii
        12
    lithiumii  
       Nov 5, 2023 via Android
    能多卡的话就买老卡呗
    bihui
        13
    bihui  
       Nov 5, 2023
    4060 16g 不够用吗?
    netabare
        14
    netabare  
       Nov 6, 2023   ❤️ 1
    如果不限定操作系统的话,MacBook 好像不错
    frankyzf
        15
    frankyzf  
    OP
       Nov 6, 2023
    谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ,所以先问下。因为没有实践过,所以不确定实际的效果。
    sketcherly
        16
    sketcherly  
       Nov 6, 2023
    如果只是玩的话可以找一些租显卡的服务,可以看下我之前用过的这个,为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ,或者顺着这个思路找个同类产品
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1115 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 23:02 · PVG 07:02 · LAX 16:02 · JFK 19:02
    ♥ Do have faith in what you're doing.