iSkylar

iSkylar

V2EX 第 668330 号会员,加入于 2023-12-25 08:22:36 +08:00
今日活跃度排名 6000
iSkylar 最近回复了
@HHAO2019 #150 来点 GitHub 看看。
@banliyun #106 没必要,花那点钱升级提升感不强,你可以考虑买个 JBL 的移动蓝牙音箱呢,还可以多用。
看了一眼酷安,买了个无线耳机 OPPO Enco Air4 pro ,便宜,186 元,主动降噪,丢办公室用。
非凡云开业大吉! https://ffy.com 开奖时间:2025/4/11 16:00
8 天前
回复了 lemonTreeTop 创建的主题 小米 听说 4 月有小米 NAS,有点期待
相比之下,我更期待飞牛的成品 NAS ,NAS 这种硬件没啥太大的研发成本,反而更多是软件,如果后续没有持续投入(产品利润和市场预期不理想),NAS 又会变成是一个刷其他 NAS OS 的硬件。
8 天前
回复了 xiaotiantian007 创建的主题 剧集 说说你 N 刷的国产经典电视剧。
谍战类:ALL
历史类:《大明王朝 1566 》《康熙王朝》《雍正王朝》《新三国》
人文类:《遥远的救世主》《岁月》《青瓷》《大染坊》
现实剧:《觉醒年代》《山海情》《人世间》《温州人家》
扫黑:《狂飙》
@ZimaBlueee
3. 很多模型找不到 modelfile ,比如这个: https://huggingface.co/Qwen/QwQ-32B
-从 Hugging Face 下载 GGUF 格式并手动创建 Modelfile
@ZimaBlueee
1. 里我需要把 1 改成 all 吗?改成 all 的话,还能使用环境变量指定 GPU 嘛?
- 基于 docker 配置 device_ids: ["all"],然后也可以通过环境配置来指定 GPU ,再 env 那里配置,例如 CUDA_VISIBLE_DEVICES=1
2. 在 modelfile 里指定 GPU 编号嘛?
- 不行,Modelfile 是 Ollama 用来定义模型配置的文件(例如模型路径、参数、提示词等),但它无法直接控制 GPU 分配,GPU 分配是由运行时环境( Docker 或系统)决定的。
1. Modelfile 自定义编写即可,你可以查看一下它的文本规范
2. 查看显卡编号,然后通过使用环境变量指定 GPU 跑大模型,另外也可以选择 docker 容器来指定 GPU
@wintersun 您分享的非常好,向您学习。生活还是要经营的,我觉得每一位妈妈把孩子照顾好不用老公操太多心,已经难能可贵,共情多理解,男人该承受就承受,该吐槽就吐槽,一家人往往会受老公/爸爸的情绪影响的呢。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3471 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 04:37 · PVG 12:37 · LAX 21:37 · JFK 00:37
Developed with CodeLauncher
♥ Do have faith in what you're doing.