V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 324 days ago, the information mentioned may be changed or developed.
系统 win11
使用
https://www.modelscope.cn/models/Intel/ollama
设置环境变量
set ONEAPI_DEVICE_SELECTOR=level_zero:0
set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1
set OLLAMA_NUM_PARALLEL=1
start-ollama.bat
ollama run modelscope.cn/Qwen/Qwen3-14B-GGUF:Q8_0
大概十几 tokens/s ，因为我后台还开着其他东西不确定是否有影响，但是感觉显存不够，已经占用了一部分的系统内存.
 |
1
privil Jun 8, 2025
ollama ps 看一下是不是 100% GPU 你这显卡显存多大你也不说。
|
 |
2
abc0123xyz OP @privil 忘了😂，刚刚急着洗澡
a770 16g 版本，占用待会我看下。 |
 |
3
mumbler Jun 8, 2025
qwen3 30B MOE 模型不需要显卡，纯 CPU 就能跑出 10-15t/s 的速度，能力和 14B 差不多
|
 |
4
w568w Jun 9, 2025
完全没必要跑 Q8_0 。Q6 到 fp16 在日常使用几乎没有差异，可以省点显存，尝试大点的模型。Q4 以下才有显著影响
|
 |
5
ExplodingDragon Jun 9, 2025
显存不够回退到内存了，Q8 模型本身有 15.6G +
|
 |
6
coefu Jun 10, 2025
效果很可以了。
|
Select Language