oldfans's recent timeline updates oldfans's recent timeline updates |
oldfansV2EX member #146001, joined on 2015-11-06 00:17:29 +08:00 |
oldfans's recent replies
Dec 3, 2024 Replied to a topic by fid › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
Ollama 是 llama.cpp 的一个前端。
llama.cpp 支持多 GPU ，但不支持张量并行，单一并发同时只有一张卡在跑，多卡还有通信的开销，所以会比单卡还慢（前提是单卡的显存足够放模型）。
vLLM 支持在多卡上推理量化模型。
4-bit 的 Qwen2.5 72B 应该比未量化的 Qwen2.5 32B 要好。
Qwen2.5 可以试试用同系列的小参数量模型做推测解码（ Speculative decoding ），应该会快不少。
llama.cpp 支持多 GPU ，但不支持张量并行，单一并发同时只有一张卡在跑，多卡还有通信的开销，所以会比单卡还慢（前提是单卡的显存足够放模型）。
vLLM 支持在多卡上推理量化模型。
4-bit 的 Qwen2.5 72B 应该比未量化的 Qwen2.5 32B 要好。
Qwen2.5 可以试试用同系列的小参数量模型做推测解码（ Speculative decoding ），应该会快不少。
Aug 29, 2024 Replied to a topic by Hozoy › NAS › 最近比较火的国产免费 NAS 系统 fnOS，大家怎么看？ |
Select Language