Home Sign Up Sign In
cowcomic
V2EX  ›  问与答

llama-3-sqlcoder-8b 微调效果不好，求助

  •   
  •   cowcomic · Sep 30, 2024 · 2327 views
    This topic created in 599 days ago, the information mentioned may be changed or developed.
    使用 LoRA 进行微调

    大约 1W 条微调数据，大概是四个维度各十几种排列组合来的

    学习率：1e-6
    训练轮数：10
    学习率调节器：Inverse Square Root

    学习的参数大概是这么多
    trainable params: 20971520 || all params: 8051232768 || trainable%: 0.2605

    图像看着倒还不错


    但实际生成的 SQL 效果不升反降

    求助这可能是什么原因啊？
  • 微调
  • lora
  • 效果
    6 replies  •  2024-10-02 17:35:23 +08:00
    chaucerling
        1
    chaucerling  
       Sep 30, 2024
    轮数太多过拟合了吧，取 1000 的 checkpoint 试试效果
    Volekingsg
        2
    Volekingsg  
       Sep 30, 2024
    干脆直接整个 online evaluator 看看训练过程中的效果
    cowcomic
        3
    cowcomic  
    OP
       Sep 30, 2024
    @chaucerling 好的，我去试试

    @Volekingsg 这是啥意思，我用的是 LLaMA-Factory ，有这个功能吗？
    Volekingsg
        4
    Volekingsg  
       Oct 1, 2024
    @cowcomic #3 我都是基于 Lightning 框架自己写的，LLaMA-Factory 不确定怎么加
    cowcomic
        5
    cowcomic  
    OP
       Oct 2, 2024
    @Volekingsg 感谢，我去查查
    Volekingsg
        6
    Volekingsg  
       Oct 2, 2024
    @cowcomic #5 就是自己加个 Callback 之类的东西，每个 epoch 或者多少次 evaluate 一次 text2sql 的性能看看
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   960 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 22:19 · PVG 06:19 · LAX 15:19 · JFK 18:19
    ♥ Do have faith in what you're doing.