公司项目要求把数十年的归档的文件结构化，然后使用 json 导出，问一下技术上如何选型 目前要求：不要求内网部署，使用 api 调用（后端交互方便），能上传文件（ doc 、pdf ），能解析成 json 目前问题：我们目前试用了 fastgpt ，先把文件全部导入知识库，然后让 gpt 根据文件名称去解析，但是会出现解析时候 1.上传的文件会被分割多个部分，解析时候就只是解析了前几个部分，有的部分不读取； 2.按照文件名设置解析的文档有可能数据来自于知识库中其他的文件； 3.gpt 模型有文字限制，文档太长解析出来的 json 就截断了 各位老哥有啥思路吗
This topic created in 665 days ago, the information mentioned may be changed or developed.
 |
1
4BVL25L90W260T9U Aug 26, 2024
doc 和 json 之间也没有明确映射关系吧…… GPT 巧妇难为无米之炊啊
|
 |
2
h417840395 OP @ospider 这个文本是按照一定的规则写的 有相对固定的标题和格式 用 gpt 已经能解析出来 60%左右 关键点还是上面介个问题咋办 有点头疼
|
 |
3
maymay5 Aug 26, 2024
不能用知识库，必须用上下文模式，然后用 api 的 jsonschema 模式，如果 128K 的上下文还不够用，那你只能人工介入，分块然后合并，人工分块，合并可以写个函数自动化
|
|
4
h417840395 OP @maymay5 好的谢谢老哥 按这个说法知识库的应用场景不是这个？ 知识库主要用来解决啥问题的啊
|
|
5
maymay5 Aug 27, 2024
@h417840395 #4 在我看来，知识库有且只有私有化，且垂直轻量的搜索引擎，这唯一一个场景
|
|
6
maymay5 Aug 27, 2024
@h417840395 #4 用知识库的前提，至少知识录入人已经对文档甚至可以倒背如流了，面向给对文档不熟悉的人，也就是客服场景比较好
|
Select Language