Empirical Risk Minimization

定义 Definition

经验风险最小化：在机器学习中，用训练数据上的平均损失（经验风险）来近似真实世界的期望损失（真实风险），并通过选择使该经验风险最小的模型来进行学习的方法。常见缩写为 ERM。（在统计学习理论里常与“结构风险最小化 SRM”对比。）

发音 Pronunciation (IPA)

/ɪmˈpɪrɪkəl rɪsk ˌmɪnɪməˈzeɪʃən/

例句 Examples

We trained the classifier by empirical risk minimization on the labeled dataset.
我们在带标签的数据集上用经验风险最小化来训练分类器。

Under empirical risk minimization, a highly flexible model may overfit unless regularization or validation is used to control generalization error.
在经验风险最小化框架下，高度灵活的模型可能会过拟合，除非使用正则化或验证来控制泛化误差。

词源 Etymology

该短语由三部分组成：empirical（“基于经验/观测的”，源自希腊语 empeiria，意为“经验”）、risk（在统计与学习中指“损失的期望/风险”）、minimization（“最小化”，源自拉丁语 minimus “最小的”及相关派生）。组合起来表达“用观测到的数据来估计风险，并把它压到最低”的学习原则。

相关词 Related Words

• Generalization
• Overfitting
• Loss
• Objective
• Regularization
• Structural Risk Minimization
• PAC Learning
• Cross-Validation

文学与经典著作 Notable Works

• Vladimir N. Vapnik, The Nature of Statistical Learning Theory（统计学习理论经典著作，系统讨论ERM与泛化界等核心概念）
• Vladimir N. Vapnik, Statistical Learning Theory（更系统、更理论化地阐述经验风险、结构风险与VC理论）
• Shai Shalev-Shwartz & Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms（教材中明确介绍ERM作为学习框架，并讨论其理论保证与局限）