nas 里存了一些文件
众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理
那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底
nas 是黑群晖，性能还可以
众所周知大模型可以实现对这些文件的自然语言对话，打造一个私有助理
那么，有木有这种方案，可以设置一个文件夹，通过容器部署，实现对这些文件的对话，同时可以 gpt 或者其他大模型进行兜底
nas 是黑群晖，性能还可以
This topic created in 754 days ago, the information mentioned may be changed or developed.
 |
1
jr55475f112iz2tu May 6, 2024
你对于流畅运行端侧大模型的配置需求有误解
|
 |
2
AS4694lAS4808 May 6, 2024 via Android
NAS 如果有显卡，本地部署 7B+模型和全量 RAG 可以实现楼主的功能，如果没有，只能放弃隐私用云端 LLM+短分片 RAG 了，7B 以下的模型都是凑活事的。我司倒是在做类似产品，也有量化和压缩的 2B 高通端侧模型，不过业余是 toB 的
|
 |
3
LuckyLauncher May 7, 2024
“性能还可以”
A100? |
 |
4
PerFectTime May 7, 2024
跑大模型也费电啊
|
Select Language