1
TimePPT 190 天前 via Android
应该有现成框架,langchain 或者 llamaimex 好像都自带
|
2
maolon 190 天前 via Android
提取块的: qanything, ragflow 但是是把整篇文章分块,你要求的段落在里面,然后 llm 问答,可以在管理界面查看管理提取过的段落
普通低配能跑: 这两都不怎么行 最后开源模型: qwen 1.5 的 7 或者 14 应该能满足你需求 |
3
mumbler 190 天前
这是常见 NLP 场景,有个 6G 显存的 GPU ,ollama 跑 llama3 8B 就能完成得很好,CPU 长文分析太慢了
|
4
NoobNoob030 190 天前
普通低配服务器? 2 核 4G 没显卡的吗?如果是跑不了一点
|
5
mmdsun 190 天前
大模型基本上都可以。本地电脑 WSL 2 直接跑的 qwen 14b 4090 显卡。自己部署就不会有什么数据泄露了
|
6
myhloli 131 天前 via iPhone
|