这是一个创建于 281 天前的主题，其中的信息可能已经有所发展或是发生改变。
ollama 是个可以跑多种大模型的平台，可以跑 llama2, mistral 等。我机器比较老，windows 10 ，32G 内存，只有 2G 显存。但看起来速度还可以接受（ mistral ），下载模型也只需要几分钟。安装完用的 mistral ，即后面这个命令ollama run mistral。当作本地的 code 助手应该比较方便。
 |
1
imzcg2 281 天前
amd 6800h 80%cpu
 |
 |
2
reeco 281 天前  1
自己编译一下 llama.cpp ，一样的效果
|
 |
4
mumbler 281 天前
太慢了，没用上 avx2 指令集，我自己编译的比官方快得多
|
 |
5
cwyalpha 281 天前 via iPhone
楼主跑的时候应该是用的内存不是显存？
|
Select Language