V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
necat
V2EX  ›  程序员

怎么训练一个 bot 深度学习和掌握牛克思哲学理论

  •  
  •   necat · 248 天前 · 1195 次点击
    这是一个创建于 248 天前的主题,其中的信息可能已经有所发展或是发生改变。
    假如一个叫牛克思的牛人,发明了一个”牛克思哲学理论“,怎么让 bot 深度学习和掌握它。
    是否需要先编撰一本《牛克思思想》,提交到知识库让他引用?
    还是以对话 QA 的方式记录为文档,,提交到知识库让他参考?
    还是编写一个详细的面向用户的基本手册,提交到知识库让他举一反三?
    还有更简单的方法吗?
    6 条回复    2024-03-19 11:08:16 +08:00
    yanyao233
        1
    yanyao233  
       248 天前 via Android
    直接把原文扔数据库应该是成本最低的方式吧,也是现在大部分 rag 的惯用方式,可以先试一下,看看效果怎么样
    allplay
        2
    allplay  
       248 天前
    有意思,要干什么?哈哈
    批量生产 D 八股
    sullevy
        3
    sullevy  
       247 天前
    基本就是 RAG 的思路了,同时看你用的架构
    可能需要要一点的 Embedding 和 ReRank 模型,基础的 LLMs 也不成差。
    如果可以 这个牛克思的数据最好也处理下,方便召回
    necat
        4
    necat  
    OP
       247 天前
    @yanyao233 问题是这样,这个牛克思因为是自己刚刚总结的思考,几乎没有任何外部的相关数据和讨论,如果依赖大量的数据只有他自己编写了。如果只能是这样,大概需要多少数据量呢。
    necat
        5
    necat  
    OP
       247 天前
    @allplay 一种探讨,牛克思不一定局限在经济政治方面,利用 bot 的知识库、逻辑思维和举一反三的能力,一旦掌握用途还是很广阔的。
    necat
        6
    necat  
    OP
       247 天前
    @sullevy 是否需要依赖大量的数据,包括作者原文、答疑记录和应用案例,最终的训练结果取决于数据量吗?直接用公开的模型和工具训练是不是不能满足这种要求。重点是在准备数据、还是优化模型、还是最后的训练调试呢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5163 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 01:19 · PVG 09:19 · LAX 17:19 · JFK 20:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.