mingtdlb
V2EX  ›  Local LLM

现在大模型主流都用哪些 nVidia GPU?

  •  
  •   mingtdlb · 16h 25m ago · 2373 views

    不限于参数大小

    19 replies    2026-06-09 19:51:43 +08:00
    zzutmebwd
        1
    zzutmebwd  
       16h 19m ago   ❤️ 1
    没有 nvlink 的最强是 pro6000 ,下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。
    zzutmebwd
        2
    zzutmebwd  
       16h 17m ago
    你如果说千亿参数在线 api 的话,h100 h200 b200 等的群集。
    clemente
        3
    clemente  
       16h 15m ago
    b200
    zzutmebwd
        4
    zzutmebwd  
       16h 12m ago
    @zzutmebwd 对了,有个 pro6000d 84g ,合规阉割版,算力是不如 5090 的,但差不太多,如果四万多点能买到的话还是不错的,大显存省事儿很多。
    robyn87leonard
        5
    robyn87leonard  
       16h 12m ago
    l20
    raycool
        6
    raycool  
       15h 57m ago
    H200 B200 这些吧。
    不过我还在用 4090
    v2exgo
        7
    v2exgo  
       15h 21m ago
    b300
    mingtdlb
        8
    mingtdlb  
    OP
       14h 58m ago
    @zzutmebwd #4 4090 48g/4080 32g 都是魔改版?我看官方没有这个版本
    JmHappy
        9
    JmHappy  
       14h 56m ago
    B300 集群,有 FP4 模块的都行
    zzutmebwd
        10
    zzutmebwd  
       14h 50m ago via Android
    @mingtdlb 是的 消费级+大显存基本都是魔改的,所以还是建议 pro6000d
    oldAndy
        11
    oldAndy  
       14h 49m ago
    H100 H200 B200
    xiaomushen
        12
    xiaomushen  
       14h 47m ago
    pro6000 真的爽,本地做一些 bert 训练完全够用
    zzutmebwd
        13
    zzutmebwd  
       14h 44m ago
    @xiaomushen 10 万了哥,现在买不划算了
    xiaomushen
        14
    xiaomushen  
       14h 23m ago
    @zzutmebwd 我 7 万多买的
    zzutmebwd
        15
    zzutmebwd  
       13h 14m ago
    8000 刀才是合理价,我 6 万买的都嫌贵。
    @xiaomushen
    liuxyon
        16
    liuxyon  
       12h 9m ago
    哪里有合理价格卖
    coefu
        17
    coefu  
       10h 54m ago
    要是能买到,amd 的 mi 系列,可能会更好点。
    xiaomushen
        18
    xiaomushen  
       9h 25m ago
    @zzutmebwd 没办法呀,国内对公,只能吃这个价。现在都快 10 万了
    nrtEBH
        19
    nrtEBH  
       5h 58m ago
    最强当然是 GB200 GB300 组的大集群
    从行业内看各种尺寸的都有 还包括魔改显存的 4090 5090
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1196 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 93ms · UTC 17:49 · PVG 01:49 · LAX 10:49 · JFK 13:49
    ♥ Do have faith in what you're doing.