V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
archxm
V2EX  ›  程序员

大伙有想过二次训练吗?

  •  
  •   archxm · 2 小时 48 分钟前 · 146 次点击
    • 比如我下载了一个模型。
    • 然后再把我所有文档交给它,二次训练。
    • 那么,是不是就没必要 RAG 了。
    • 通过这个模型,我就能提问了嘛,毕竟,我的基因已经嵌入进去了。
    raycool
        1
    raycool  
       2 小时 40 分钟前   ❤️ 1
    理论上是
    只是微调的效果不可控,并且算力的需求比 RAG 大太多了。
    HHHans
        2
    HHHans  
       58 分钟前
    gpt3.5 刚出来的时候微调还很火热,现在已经没人提了。。
    owt5008137
        3
    owt5008137  
       13 分钟前
    正常模型本就是分初始预训练和继续预训练的,你说的二次训练怕不就是继续预训练。然后后面才是微调和对齐训练。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2776 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 12:47 · PVG 20:47 · LAX 05:47 · JFK 08:47
    ♥ Do have faith in what you're doing.