Gradient Boosting

释义 Definition

梯度提升（算法）：一种集成学习方法，通过逐步训练多个弱模型（常见为浅层决策树），每一步都针对前一步的预测误差进行修正；通常等价于在某个损失函数下，沿着“类似梯度下降”的方向不断加入新模型，从而提升整体预测性能。（也常泛指这类提升树模型家族，如 GBDT、XGBoost、LightGBM 等。）

发音 Pronunciation (IPA)

/ˈɡreɪdiənt ˈbuːstɪŋ/

例句 Examples

Gradient boosting often delivers strong results on tabular data.
梯度提升在表格型数据上往往表现很强。

By adding many small trees that correct previous mistakes, gradient boosting can fit complex patterns, but it may overfit without careful regularization.
通过叠加许多用来纠正前次错误的小树，梯度提升能拟合复杂模式，但如果缺少恰当的正则化也可能过拟合。

词源 Etymology

“Gradient boosting”由两部分组成：gradient（梯度）指在优化中损失函数的变化方向（借用“梯度下降”的直觉）；boosting（提升/增强）源自集成学习中的“提升法”，强调把多个弱学习器逐步组合成强学习器。该术语在统计学习与机器学习文献中普及，尤其与 Friedman 提出的梯度提升框架密切相关。

相关词 Related Words

• Adaboost
• Xgboost
• Lightgbm
• Catboost
• Ensemble
• Decision Tree
• Loss Function
• Gradient Descent
• Bagging
• Random Forest
• Overfitting
• Regularization

文学与经典著作中的用例 Literary Works

• Jerome H. Friedman（2001）《Greedy Function Approximation: A Gradient Boosting Machine》
• Trevor Hastie, Robert Tibshirani, Jerome Friedman《The Elements of Statistical Learning》（多处讨论 boosting 与 gradient boosting）
• Aurélien Géron《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》（介绍梯度提升与提升树实战）
• Kevin P. Murphy《Machine Learning: A Probabilistic Perspective》（涉及提升法与相关优化观点）
• Tianqi Chen, Carlos Guestrin（2016）《XGBoost: A Scalable Tree Boosting System》（以梯度提升思想为核心的工程化实现）