因为领导层反复强调和要求推进 AI 相关的工作,近期也试了不少方案。 目前是做了两个实验性的 Agent:
1 、各种技术资料的检索 Agent ,效果一般般,但勉强能用。
2 、对某个特定平台,报错后,对各类历史问题的处理方案自动检索 Agent ,方便用户自行解决。
都是用 Elastic + Dify 简单做的。
目前就是感觉 Agent 的效果还是没达到能大规模实际投入生产的程度。主要几个问题:
1 、数据保密问题,也是最主要的问题,由于厂内对信息保密的要求比较高,不允许使用外部大模型 API 。虽然采购了一些卡部署了 deepseek 开源模型,但速度方面感觉很难满足大规模使用,我算了下只能满足 20 个并发左右。
2 、传统企业数字化程度不足的问题,文档格式非常混乱,虽然数字化已经推进了好几年,但资料还是不太行(还有部门之间的问题,数据上下游配合一直都挺困难的)。
感觉一种现在各种企业都想强推 AI ,但基础又很难执行。
有相关经验的大佬也可以分享下你们的经历。
1
chen11 16 小时 18 分钟前
领导就是傻逼,我们也是有信息安全要求,只能本地部署,然后卡还不够用。最后的结果就是开发了一半的项目直接干掉,压根用不了。
|
2
bixinhaner 15 小时 53 分钟前
dirty data 、dirty work 、dirty security 。各种非技术大山阻碍
|
3
xFrye 15 小时 40 分钟前
按你说的,目前公司里数字化推进都这么难,ai 就更不用想了
|
4
Ketteiron 15 小时 5 分钟前
良好的数字化是 AI 落地的前提,Garbage In, Garbage Out 是永恒不变的真理。
|
5
dingawm 13 小时 12 分钟前
现在的模型,文档格式应该不太会影响一般的问答吧?是不是文档内容本身也不太行?
|
6
SakurajimaMa 11 小时 18 分钟前
目前遇到同样的问题
|
7
jinlong 10 小时 38 分钟前
只要有数据和数据字段描述,文档格式在 AI 下根本不是问题。你的问题核心是数据涉密、本地部署成本,天文数字。
|
8
YanSeven 10 小时 33 分钟前
除非是 BAT ,不然内部部署的大模型,大概率没啥用。以后可能会有 LLM 的私有云部署服务。
|
9
DefoliationM 10 小时 28 分钟前 via Android
自己部署是差很多,搞个差不多的凑合就行了。我司也是,用的 vllm+qwen ,开源里都算好的了,还是各种不遵守指令,还不如 chatgpt 网页上免费的模型。
|