之前在 DIFY 上测试了体检报告的效果,基本是个笑话。
于是降低要求
找了份科幻小说 txt 文件:猎户座防线
上传到 DIFY 的知识库,配置都选默认
模型有:chatgpt3.5 、月之暗面 v1 、glm4 、文心一言刚免费的 speed 。
效果只举两个例子
小说中反复提到“大副迪尔”,还有这么一段:
“我来自丹那芭⑤”她说,“你知道那儿吗?”
“不。”
“它距离地球 1600 光年……
问“丹那芭距离地球多少光年?”,基本都能答对,这点我有点小惊讶。
问“迪尔是什么职务”,居然都回答不知道或者说文中没提。
不甘心,打开 kimi ,上传文件,问“迪尔是什么职务”,kimi 马上答上了
1
gaobh 188 天前 via iPhone
fastgpt 效果好
|
2
nnqijiu 188 天前
WPS AI 的 rag 不错,不过好像收费了
|
3
xenoblade 188 天前
我认为这个例子其实应该归类为“RAG VS 长上下文”,恰恰说明了长上下文在有限信息的 QA 中完胜 RAG 。
目前 langchain 系的 通用 RAG 系统上限就在那里了,要想达到更高的精确度需要对不同领域进行微调,例如例子中读书场景的 prompt 优化、chunk 分割的人工干预。 |
4
wencan OP @xenoblade rag 也属于上下文
dify 上换上 https://github.com/netease-youdao/BCEmbedding 的 embedding 和 rerank 模型,效果杠杠的 |
5
butterls 183 天前 via Android
主要是只有切片会丢失上下文,RAG 里要存的实际是类似知识图谱的上下文数据,比如你要做代码仓分析,rag 就能查到函数块,上下文引用,宏定义啥的都米有,那分析结果就跟个二傻子一样
|
6
codingbody 160 天前
@wencan #4 dify 上配置 bce 的 embedding 和 rerank ,这两个模型需要自己部署吧?
|
7
wencan OP |
8
fakecoder 154 天前
op 用 llamaindex 感觉咋样
|