这是一个创建于 207 天前的主题，其中的信息可能已经有所发展或是发生改变。
nas 里存了一些文件
众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理
那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底
nas 是黑群晖，性能还可以
众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理
那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底
nas 是黑群晖，性能还可以
4 条回复 • 2024-05-07 21:36:12 +08:00
 |
1
czfy 207 天前
你对于流畅运行端侧大模型的配置需求有误解
|
 |
2
AS4694lAS4808 207 天前 via Android
NAS 如果有显卡，本地部署 7B+模型和全量 RAG 可以实现楼主的功能，如果没有，只能放弃隐私用云端 LLM+短分片 RAG 了，7B 以下的模型都是凑活事的。我司倒是在做类似产品，也有量化和压缩的 2B 高通端侧模型，不过业余是 toB 的
|
 |
3
LuckyLauncher 207 天前
“性能还可以”
A100? |
 |
4
PerFectTime 206 天前
跑大模型也费电啊
|
Select Language