Home Sign Up Sign In
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  jinja27  ›  全部回复第 1 页 / 共 1 页
回复总数  6
2025 年 2 月 22 日
回复了 jinja27 创建的主题 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢
@Attenton 而且我下载的 671B 4bit 量化是 gguf 格式，VLLM 运行不了
2025 年 2 月 22 日
回复了 jinja27 创建的主题 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢
@kk2syc
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
2025 年 2 月 22 日
回复了 jinja27 创建的主题 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢
@Attenton
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
2025 年 2 月 22 日
回复了 jinja27 创建的主题 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢
@guoyijun163
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
2024 年 3 月 8 日
回复了 hepin1989 创建的主题 › 生活 › 发现穷人的孩子真的难翻身
@ttvv123 比特币除非上杠杆和玩合约，可以说是最近 10 几年最优质的投资资产了，你知道这些只能说明你认识的都是赌狗
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5866 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 03:35 · PVG 11:35 · LAX 20:35 · JFK 23:35
♥ Do have faith in what you're doing.