笔记本是泰坦 17 4060 ，cpu 14700hx 20 核 28 线程，内存 16gb ；
用的软件 LM STDUIO ，语言模型是 B 站的：Index-1.9B-Chat-GGUF 16bit 4GB 版本。
加载模型勾选了 GPU 执行起来，测试提问观察、笔记本 CPU GPU 都是满负荷运行。
但是软件输出的流信息很慢，。模型换成 4bit 1GB 版本后响应飞快。
有人知道是机器不行吗？
笔记本是泰坦 17 4060 ，cpu 14700hx 20 核 28 线程，内存 16gb ；
用的软件 LM STDUIO ，语言模型是 B 站的：Index-1.9B-Chat-GGUF 16bit 4GB 版本。
加载模型勾选了 GPU 执行起来，测试提问观察、笔记本 CPU GPU 都是满负荷运行。
但是软件输出的流信息很慢，。模型换成 4bit 1GB 版本后响应飞快。
有人知道是机器不行吗？
 |
1
chronos Oct 14, 2024
LM STUDIO 有设置 GPU 加载的层数的，如果加载的少了性能就差了。
|
Select Language