机器学习中的正则化是什么原理？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2757 天前的主题，其中的信息可能已经有所发展或是发生改变。

因为格式问题和公式问题，请前往我的博客： https://blog.kaaass.net/archives/611

7 条回复 • 2017-04-26 18:26:52 +08:00

suiterchik

2017-04-23 17:17:27 +08:00

然而还是没有说到要点上
正则化无非是为了满足设计者对参数的一些偏好所引入的约束罢了

KAAAsS

2017-04-23 17:23:36 +08:00 via Android

@suiterchik 从某种程度上，您这样说没错。但是正则化之所以能有效解决过拟合，还是有其道理的。文章其实就是想说明这个道理。当然，我认为除了“满足偏好”之外，正则化还是会让模型更加 perfect 的。

menc

2017-04-23 17:46:56 +08:00

@suiterchik
写的挺好的，硬生生加入一个对参数大小的约束是缺乏解释性的，不能因为"它运行的很好"就说“它是对的”，所有能够让模型跑的更好的 trick ，一定都要有 learning theory 的支撑。

menc

2017-04-23 17:53:47 +08:00

不过原文先验和后验概率的定义写反了

hackpro

2017-04-24 11:20:57 +08:00

可以尝试提供一个直观点的解释：
相对于低阶模型，高阶模型引入的额外参数往往绝对值较大，使得模型在数据集上具有高频分量。引入正则化后系数参数明显变小，相当于削弱高阶项引入的额外的参数的权重。

menc

2017-04-24 11:38:27 +08:00

@hackpro
这是动机，不是原因，人人都知道正则项是为了惩罚参数 scale 来获得更加保守的模型增加泛化能力，但是
这样做能够稳定提升性能的原因何在？
这样做究竟是让性能提升到半山腰还是山顶了？
有没有更好地正则项选取，为什么非要是 L1 和 L2 ？
都需要用理论来解释。

KAAAsS

2017-04-26 18:26:52 +08:00

@menc 抱歉哈。可能录入的时候出了点偏差。现在电脑不在身边，麻烦问下是哪里写反了呢？一会儿我去改改。