• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cookgo
V2EX  ›  程序员

大语言模型训练请教

  •  
  •   cookgo · Feb 23, 2024 · 3062 views
    This topic created in 984 days ago, the information mentioned may be changed or developed.
    • 各位佬,小弟我想训练一个对话机器人,其功能为:
      • 根据用户遇到的场景提供法律咨询。
    • 比如能达到这样的效果:
      • 自己买的商品楼烂尾了,把内容丢给机器人,机器人能提供为消费者进行维权的相关法律条款的介绍。
    • 请问这个要如何入手?提前谢谢各位佬。
    8 replies  •  2024-02-28 09:38:45 +08:00
    makejohn2015
    makejohn2015
    Feb 23, 2024❤️1
    1
    不用从零开始找数据训练,可以找网上现有的法律对话、问答的东西,写个脚本疯狂问,用来训练你的“机器人”,知识蒸馏。
    sentinelK
    sentinelK
    Feb 23, 2024❤️2
    2
    有几个问题需要先明确。

    1 、是从 0 开始模型训练?还是模型微调?还是只是注入上下文信息?
    2 、对信息的准确度要求如何?
    3 、你想付出多少成本?
    cmos
    cmos
    Feb 23, 2024 via Android❤️1
    3
    1. 不管什么方法,弄到至少 100G 的法律资料。
    2. 找 3-5 个 5 年以上经验,不同方向的律师,让他们把上述内容分类整理。
    3. 买至少 4 张 H100 以上的卡,初期可以在 llama2 的基础上,使用 LoRA 进行微调。后期至少需要 3 台英伟达 DGX 服务器。
    4. 找至少 20 位律师(不要求经验),对输出进行 ground truth 核对。
    vivisidea
    vivisidea
    Feb 23, 2024❤️1
    4
    你是否在找 https://github.com/PKU-YuanGroup/ChatLaw?tab=readme-ov-file

    自己搞投入有点大的,我是建议用业界最强 gpt4 试试
    mU9vX912XopmAoE1
    mU9vX912XopmAoE1
    Feb 23, 2024❤️1
    5
    现在的 AI ,无论中外,只要能搜互联网的,都可以满足你的要求

    你自己试试就知道了

    官方的,税务总局的机器人客服有类似的功能,通过关键词会触发对应的条例和具体条款

    其他部门的没碰到过
    noahliaszn
    noahliaszn
    Feb 23, 2024❤️2
    6
    阿里有一个法律的 通义法睿 https://tongyi.aliyun.com/farui/chat
    cookgo
    cookgo
    OP
    Feb 28, 2024
    7
    @makejohn2015 这种方式是指的《模型微调》吗?
    cookgo
    cookgo
    OP
    Feb 28, 2024
    8
    @sentinelK 对信息的准确要尽可能的高,因此应该是要从 0 开始训练模型了吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5275 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 02:12 · PVG 10:12 · LAX 18:12 · JFK 21:12
    ♥ Do have faith in what you're doing.