jinja27's recent timeline updates jinja27's recent timeline updates |
jinja27V2EX member #650734, joined on 2023-09-25 15:57:06 +08:00 |
| 8 路 L40 部署 R1-671B 上限是多少呢 Local LLM • jinja27 • Feb 24, 2025 • Lastly replied by jingzf0214 | 10 |
jinja27's recent replies
Feb 22, 2025 Replied to a topic by jinja27 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢 |
@Attenton 而且我下载的 671B 4bit 量化是 gguf 格式，VLLM 运行不了
Feb 22, 2025 Replied to a topic by jinja27 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢 |
@kk2syc
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
给过了，模型共 61 层，GPU 上只有 40 层，再大显存就不够了，但是 40 层显卡几乎没工作
Feb 22, 2025 Replied to a topic by jinja27 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢 |
@Attenton
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
500G 是内存，显存的话每张显卡实际可用的只有 44 左右，8*44 约 350G
Feb 22, 2025 Replied to a topic by jinja27 › Local LLM › 8 路 L40 部署 R1-671B 上限是多少呢 |
@guoyijun163
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
但是 KT 不是走纯 CPU 方案吗？这样 8 路显卡的资源浪费不是更严重了？
Mar 8, 2024 Replied to a topic by hepin1989 › 生活 › 发现穷人的孩子真的难翻身 |
@ttvv123 比特币除非上杠杆和玩合约，可以说是最近 10 几年最优质的投资资产了，你知道这些只能说明你认识的都是赌狗
Select Language