AdaBoost

定义 Definition

AdaBoost（Adaptive Boosting，自适应提升）是一种集成学习算法：通过按轮次训练多个“弱学习器”（常见如浅层决策树/树桩），并逐步提高被错分样本的权重，把多个弱模型组合成一个更强的分类器（也可扩展到回归）。

例句 Examples

AdaBoost is easy to implement and often works well on small to medium datasets.
AdaBoost 易于实现，并且在中小型数据集上常常表现良好。

By reweighting misclassified examples at each iteration, AdaBoost builds an ensemble that can achieve strong performance even when each base learner is only slightly better than random guessing.
通过在每次迭代中对被错分的样本重新加权，AdaBoost 构建出一个集成模型；即使每个基学习器只比随机猜测好一点点，整体也能获得很强的效果。

发音 Pronunciation (IPA)

/ˈeɪdəˌbuːst/

词源 Etymology

“AdaBoost”是 Adaptive Boosting 的缩写与合成词：Ada- 来自 adaptive（自适应），boost 表示“提升/增强”。该算法由 Yoav Freund 和 Robert E. Schapire 在 1990 年代提出并推广，使 “boosting（提升法）” 成为机器学习中的重要方法家族。

相关词 Related Words

• Boosting
• Ensemble
• Weak Learner
• Decision Stump
• Classifier
• Gradient Boosting
• XGBoost
• Random Forest

文献与作品 Literary / Notable Works

• Freund, Y., & Schapire, R. E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting（提出并系统化 AdaBoost 的经典论文）
• Hastie, Tibshirani, Friedman. The Elements of Statistical Learning（多处讨论 boosting 与 AdaBoost）
• Bishop. Pattern Recognition and Machine Learning（在集成方法/boosting 章节中提及 AdaBoost）
• Goodfellow, Bengio, Courville. Deep Learning（在传统机器学习与集成方法的相关讨论中涉及 boosting/AdaBoost）