V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
KAAAsS
V2EX  ›  程序员

机器学习中的正则化是什么原理?

  •  
  •   KAAAsS ·
    KAAAsS · 2017-04-23 14:01:33 +08:00 · 3036 次点击
    这是一个创建于 2769 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为格式问题和公式问题,请前往我的博客: https://blog.kaaass.net/archives/611

    7 条回复    2017-04-26 18:26:52 +08:00
    suiterchik
        1
    suiterchik  
       2017-04-23 17:17:27 +08:00
    然而还是没有说到要点上
    正则化无非是为了满足设计者对参数的一些偏好所引入的约束罢了
    KAAAsS
        2
    KAAAsS  
    OP
       2017-04-23 17:23:36 +08:00 via Android
    @suiterchik 从某种程度上,您这样说没错。但是正则化之所以能有效解决过拟合,还是有其道理的。文章其实就是想说明这个道理。当然,我认为除了“满足偏好”之外,正则化还是会让模型更加 perfect 的。
    menc
        3
    menc  
       2017-04-23 17:46:56 +08:00   ❤️ 1
    @suiterchik
    写的挺好的,硬生生加入一个对参数大小的约束是缺乏解释性的,不能因为"它运行的很好"就说“它是对的”,所有能够让模型跑的更好的 trick ,一定都要有 learning theory 的支撑。
    menc
        4
    menc  
       2017-04-23 17:53:47 +08:00
    不过原文先验和后验概率的定义写反了
    hackpro
        5
    hackpro  
       2017-04-24 11:20:57 +08:00
    可以尝试提供一个直观点的解释:
    相对于低阶模型,高阶模型引入的额外参数往往绝对值较大,使得模型在数据集上具有高频分量。引入正则化后系数参数明显变小,相当于削弱高阶项引入的额外的参数的权重。
    menc
        6
    menc  
       2017-04-24 11:38:27 +08:00
    @hackpro
    这是动机,不是原因,人人都知道正则项是为了惩罚参数 scale 来获得更加保守的模型增加泛化能力,但是
    这样做能够稳定提升性能的原因何在?
    这样做究竟是让性能提升到半山腰还是山顶了?
    有没有更好地正则项选取,为什么非要是 L1 和 L2 ?
    都需要用理论来解释。
    KAAAsS
        7
    KAAAsS  
    OP
       2017-04-26 18:26:52 +08:00
    @menc 抱歉哈。可能录入的时候出了点偏差。现在电脑不在身边,麻烦问下是哪里写反了呢?一会儿我去改改。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3813 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:16 · PVG 13:16 · LAX 21:16 · JFK 00:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.