jinja27's recent timeline updates
jinja27

jinja27

V2EX member #650734, joined on 2023-09-25 15:57:06 +08:00
jinja27's recent replies
Feb 22, 2025
Replied to a topic by jinja27 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢
@Attenton 而且我下载的 671B 4bit 量化是 gguf 格式,VLLM 运行不了
Feb 22, 2025
Replied to a topic by jinja27 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢
@kk2syc
给过了,模型共 61 层,GPU 上只有 40 层,再大显存就不够了,但是 40 层显卡几乎没工作
Feb 22, 2025
Replied to a topic by jinja27 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢
@Attenton
500G 是内存,显存的话每张显卡实际可用的只有 44 左右,8*44 约 350G
Feb 22, 2025
Replied to a topic by jinja27 Local LLM 8 路 L40 部署 R1-671B 上限是多少呢
@guoyijun163
但是 KT 不是走纯 CPU 方案吗?这样 8 路显卡的资源浪费不是更严重了?
Mar 8, 2024
Replied to a topic by hepin1989 生活 发现穷人的孩子真的难翻身
@ttvv123 比特币除非上杠杆和玩合约,可以说是最近 10 几年最优质的投资资产了,你知道这些只能说明你认识的都是赌狗
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6057 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 02:14 · PVG 10:14 · LAX 19:14 · JFK 22:14
♥ Do have faith in what you're doing.