V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
PalWorld
V2EX  ›  Local LLM

多卡部署 QWQ Q8 是否可行

  •  
  •   PalWorld · Jun 14, 2025 · 1672 views
    This topic created in 317 days ago, the information mentioned may be changed or developed.

    目前手上有一块 3090 ,想再买个 5070ti ,凑个 40g 显存,这样可行吗?主板是华南 H12D ,CPU 是 7532 ,主要是想在本地部署个 ragflow ,可能还要部署 embedding ,rerank 和 ocr 的模型,或者买 2 张 5070ti 这样?

    3 replies    2025-06-16 11:00:05 +08:00
    lithiumii
        1
    lithiumii  
       Jun 15, 2025 via Android
    可行,不过建议 48G 的 4090 或者 4090D 一步到位
    mumbler
        2
    mumbler  
       Jun 15, 2025
    1. 2080ti 22G 支持 nvlink ,两块组成 44G ,加上准系统不到 1 万,这是最廉价的方案

    2. qwq 32B 不如 qwen3 32B
    coefu
        3
    coefu  
       Jun 16, 2025
    40G 少了,多卡之后会有 cache ,这个也是耗显存的。QWQ q8 起码要准备 60G 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3219 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 00:30 · PVG 08:30 · LAX 17:30 · JFK 20:30
    ♥ Do have faith in what you're doing.