ZimaBlueee 最近的时间轴更新 ZimaBlueee 最近的时间轴更新 |
ZimaBlueeeV2EX 第 635411 号会员，加入于 2023-06-22 22:47:58 +08:00 |
| A30 显卡-24G 显存，推荐部署什么大模型呢
1 Local LLM • ZimaBlueee • 2 天前 • 最后回复来自 ZimaBlueee
|
6 |
| ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白
1 Local LLM • ZimaBlueee • 3 天前 • 最后回复来自 hefish
|
19 |
ZimaBlueee 最近回复了
2 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › A30 显卡-24G 显存，推荐部署什么大模型呢 |
@linauror 这个名词我找 ai 问过，ai 说思考过程是拟人化的表达，表述成显示化推理会更准确。。我也分不清了 QAQ
2 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › A30 显卡-24G 显存，推荐部署什么大模型呢 |
@jackerbauer 不需要推理哈，推理的时间太长了
4 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
谢谢各位的回复，答案基本有了：
1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。
2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。
再次感谢各位的热心回答！
1. modelfile 文件需要自己手动编写，这对新手来说主要怕写的不好，怕漏东西或写的不完美。
2. 用 server 启动时指定环境变量来指定 GPU ，或者开 2 个 docker 容器来指定。这里我选择了后者，开 2 个 docker 容器简单好维护。
再次感谢各位的热心回答！
4 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@joyhub2140 如果想分配另一张卡，是需要再开一个新的容器吗？
4 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@iSkylar 明白您的意思，但是环境变量不是只能设置一个嘛？如何在同一个 docker 容器内为 2 个大模型分配各自的显卡呢？
请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？
请问是这样操作吗：我部署 A 模型时，先把 CUDA_VISIBLE_DEVICES=0 ；部署 B 模型时，再把 CUDA_VISIBLE_DEVICES=1 。这样不会改变 A 模型的运行显卡吧？
4 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@b821025551b 刚看了一下 ollama show --modelfile 还会额外补充信息，比我自己写的 modelfile 内容还要丰富很多
4 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@hcr707305003 很多模型找不到 modelfile ，比如这个： https://huggingface.co/Qwen/QwQ-32B
4 天前 回复了 ZimaBlueee 创建的主题 › Local LLM › ollama 新手，求问哥哥们 2 个问题，找了好多资料还是没弄明白 |
@iSkylar 我现在是用 docker 跑的，这是我的配置：
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```
我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?
```
services:
ollama:
volumes:
- /opt/models:/root/.ollama
- ./modelfiles:/root/modelfiles
container_name: ollama
tty: true
restart: always
image: ollama/ollama:latest
ports:
- 7013:11434
environment:
- OLLAMA_KEEP_ALIVE=24h
- TZ=Asia/Shanghai
networks:
- ollama-docker
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["1"]
capabilities: [gpu]
```
我在配置中指定了：device_ids: ["1"]，也就是这个容器使用第二块显卡，这里我需要把 1 改成 all 吗？改成 all 的话，还能使用环境变量指定 GPU 嘛，请问是在 modelfile 里指定 GPU 编号嘛?
170 天前 回复了 noodles007 创建的主题 › 项目管理 › Openproject 有人二次开发过么 |
还有一个原因，搜索是全局搜索，没法在文档或者 wiki 的当前页面搜索，这个用起来其实也不太方便
170 天前 回复了 noodles007 创建的主题 › 项目管理 › Openproject 有人二次开发过么 |
@ericguo 我看 OP 有 2 种，一个叫文档（ document ），一个叫 wiki ，您发的这个链接应该是 wiki 吧
其实文档和 wiki 看起来差不多，不知道为啥我领导特别喜欢文档。
请问您方便加下我 vx 沟通嘛：cj1216912253
其实文档和 wiki 看起来差不多，不知道为啥我领导特别喜欢文档。
请问您方便加下我 vx 沟通嘛：cj1216912253
Select Language