catyun88
V2EX  ›  Local LLM

3090 跑文本向量模型可以么? 3090 是不是有点过剩?

  •  
  •   catyun88 · Mar 21 · 1296 views
    This topic created in 69 days ago, the information mentioned may be changed or developed.

    如题 3090 涡轮 24G 客户拿来跑文本向量模型,配的铂金 8259CL 的处理器 是不是有点过剩

    2 replies    2026-03-23 17:52:45 +08:00
    malusama
        1
    malusama  
       Mar 21
    这还过剩? 4090 我都嫌弃不够
    coefu
        2
    coefu  
       Mar 23
    embedding 的话,凑合 带宽窄了点,主要是 GPU core 算的快一点,Tensor core 多一点。 用 qwen3 embedding FP16 ,显存差不多可以用完。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1138 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 17:49 · PVG 01:49 · LAX 10:49 · JFK 13:49
    ♥ Do have faith in what you're doing.