V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wencan
V2EX  ›  OpenAI

如何让 RAG 产品不像直接调了大模型 API?

  •  
  •   wencan · 158 天前 · 1156 次点击
    这是一个创建于 158 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一直有一种声音,说 ai 开发就是调接口,或者就是调接口的人说自己在做 ai 开发。 这个我是无可奈何。

    这阵子,花了很大时间去玩 rag ,采集数据,技术调研,先 dify ,后 llamaindex 。 昨天终于出了结果。然后我好奇,直接去原版大模型 web 问了一样的问题。立马诞生一个奇怪的念头:rag 的效果跟直接调了大模型 api 有什么分别??

    如果 rag 隐藏在产品逻辑中,界面上直接看不出来,还好。小白会觉得技术很牛逼。 如果也有一个聊天窗口,完了,小白会说:这不就是调了 ChatGPT 吗?我分分钟搞定。

    所以,有什么好办法,让 rag 的输出,明显不同于直接调接口?要是小白一眼就看出不同的那种。

    6 条回复    2024-06-19 15:16:43 +08:00
    cbythe434
        1
    cbythe434  
       158 天前
    私有数据
    TimePPT
        2
    TimePPT  
       158 天前
    相信我,正常用户根本不在乎你用了啥,只要好用就行。
    你说的那些小白用户,其实是只知其然不知其所以然的嘴炮王者罢了
    mumbler
        3
    mumbler  
       158 天前
    我们用的方法是给出答案的出处,甚至给出具体引用的段落,证明回答的权威性,直接调用大模型做不到这一点
    wencan
        4
    wencan  
    OP
       158 天前
    @TimePPT 假如你的客户是 B 端。B 端 BOSS 自以为“懂”那么一点技术,知道有 api 这回事。然后这 BOSS 还非常理智地去咨询他信任的一位技术人员。那技术人员也给出直接调 API 的答案。于是你的产品/服务就只值一毛钱。
    在内地所谓的“新一线”、“全球研发城市中心”,这样的情况如果不发生,我会很惊讶。
    TimePPT
        5
    TimePPT  
       157 天前
    @wencan toB 确实这点比较麻烦, 所以一般 API 包装的产品都卖不了高价,很多玩定制就是为了拉高客单价的,比如说 SFT+RLHF ,门槛不就高点了,再上个少样本自动挂 LORA 啥的 Feature ,还能再吹一波
    wencan
        6
    wencan  
    OP
       157 天前
    @TimePPT 高级 rag ,能卖到什么价?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2763 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 06:26 · PVG 14:26 · LAX 22:26 · JFK 01:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.