• 请不要在回答技术问题时复制粘贴 AI 生成的内容
KAAAsS
V2EX  ›  程序员

机器学习中的正则化是什么原理?

  •  
  •   KAAAsS ·
    KAAAsS · Apr 23, 2017 · 3743 views
    This topic created in 3323 days ago, the information mentioned may be changed or developed.

    因为格式问题和公式问题,请前往我的博客: https://blog.kaaass.net/archives/611

    7 replies    2017-04-26 18:26:52 +08:00
    suiterchik
        1
    suiterchik  
       Apr 23, 2017
    然而还是没有说到要点上
    正则化无非是为了满足设计者对参数的一些偏好所引入的约束罢了
    KAAAsS
        2
    KAAAsS  
    OP
       Apr 23, 2017 via Android
    @suiterchik 从某种程度上,您这样说没错。但是正则化之所以能有效解决过拟合,还是有其道理的。文章其实就是想说明这个道理。当然,我认为除了“满足偏好”之外,正则化还是会让模型更加 perfect 的。
    menc
        3
    menc  
       Apr 23, 2017   ❤️ 1
    @suiterchik
    写的挺好的,硬生生加入一个对参数大小的约束是缺乏解释性的,不能因为"它运行的很好"就说“它是对的”,所有能够让模型跑的更好的 trick ,一定都要有 learning theory 的支撑。
    menc
        4
    menc  
       Apr 23, 2017
    不过原文先验和后验概率的定义写反了
    hackpro
        5
    hackpro  
       Apr 24, 2017
    可以尝试提供一个直观点的解释:
    相对于低阶模型,高阶模型引入的额外参数往往绝对值较大,使得模型在数据集上具有高频分量。引入正则化后系数参数明显变小,相当于削弱高阶项引入的额外的参数的权重。
    menc
        6
    menc  
       Apr 24, 2017
    @hackpro
    这是动机,不是原因,人人都知道正则项是为了惩罚参数 scale 来获得更加保守的模型增加泛化能力,但是
    这样做能够稳定提升性能的原因何在?
    这样做究竟是让性能提升到半山腰还是山顶了?
    有没有更好地正则项选取,为什么非要是 L1 和 L2 ?
    都需要用理论来解释。
    KAAAsS
        7
    KAAAsS  
    OP
       Apr 26, 2017
    @menc 抱歉哈。可能录入的时候出了点偏差。现在电脑不在身边,麻烦问下是哪里写反了呢?一会儿我去改改。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   932 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 19:22 · PVG 03:22 · LAX 12:22 · JFK 15:22
    ♥ Do have faith in what you're doing.