首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yuanbopang
V2EX  ›  Local LLM

请教 PRO 6000 96G 选择什么模型部署

  •   
  •   yuanbopang · 2025 年 12 月 8 日 · 1054 次点击
    这是一个创建于 39 天前的主题，其中的信息可能已经有所发展或是发生改变。

    96G 显存下，选择哪个模型以及哪种量化效果比较好

  • PRO 6000
  • 96G显存
  • 模型部署
    2 条回复  •  2025-12-08 09:15:35 +08:00
    egen
        1
    egen  
       2025 年 12 月 8 日
    agent：gpt-oss-120B
    其他：Qwen3 Next80B A3B FP8
    565656
        2
    565656  
       2025 年 12 月 8 日
    gpt 120 跑起来都还剩 20G
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2854 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 11:11 · PVG 19:11 · LAX 03:11 · JFK 06:11
    ♥ Do have faith in what you're doing.