Huber Loss

定义 Definition

Huber Loss（Huber 损失）是一种常用于回归问题的损失函数，兼具 均方误差（MSE）在小误差时的平滑性 与 绝对误差（MAE）在大误差时对离群点更稳健 的特点。它通过一个阈值参数（常写作 δ）在“二次惩罚”和“线性惩罚”之间切换。（该术语在机器学习与稳健统计中最常见；在其他语境下较少见。）

发音 Pronunciation (IPA)

/ˈhuːbər lɔs/

词源 Etymology

以瑞士统计学家 Peter J. Huber 命名。Huber 在稳健统计（robust statistics）中提出相关思想，用于在存在异常值（outliers）时提升估计与回归的稳定性；“loss”表示模型训练时要最小化的误差度量。

例句 Examples

We used Huber loss to reduce the impact of outliers.
我们使用 Huber 损失来降低离群点的影响。

In robust regression, Huber loss behaves like MSE for small residuals but switches to a linear penalty for large errors, making training more stable on noisy data.
在稳健回归中，Huber 损失在残差较小时表现得像均方误差，但在误差很大时会切换为线性惩罚，从而让含噪数据上的训练更稳定。

相关词 Related Words

• Robust
• Regression
• Outlier
• Residual
• MSE
• MAE
• Optimization
• Gradient
• Regularization
• Smooth

文学与名著用例 Literary Works

• Peter J. Huber, Robust Statistics（1981）：系统讨论稳健估计与与 Huber 相关的损失/代价函数思想。
• Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning（第二版）：在回归与稳健方法相关章节中常提及稳健损失思想（包括 Huber 类方法）。
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning（2016）：在损失函数与优化相关内容中讨论多种回归损失，工程实践中常与 Huber 损失并列使用。