Gradient Descent

释义 Definition

梯度下降：一种常用的优化算法，通过沿着目标函数在当前点的负梯度方向迭代更新参数，使函数值逐步减小，从而找到（局部）最小值。常用于机器学习模型训练与数值优化。（也常见变体：随机梯度下降、批量梯度下降等）

发音 Pronunciation

/ˈɡreɪdiənt dɪˈsent/

例句 Examples

Gradient descent helps the model learn by reducing the error step by step.
梯度下降通过一步步降低误差来帮助模型学习。

To avoid slow convergence, we tuned the learning rate and used gradient descent with momentum to minimize the loss on a high-dimensional dataset.
为避免收敛过慢，我们调整了学习率，并使用带动量的梯度下降在高维数据集上最小化损失。

词源 Etymology

gradient 源自拉丁语 *gradi-*（“步、行走”之意的词根），在数学中引申为“变化率的方向与大小（梯度）”；descent 来自拉丁语 descendere（“向下走、下降”）。合起来表示“沿着梯度指示的下降方向走下去”，即沿最陡下降方向逐步降低目标函数值。

相关词 Related Words

• Optimization
• Gradient
• Loss
• Learning Rate
• Momentum
• Stochastic Gradient Descent
• Backpropagation
• Convex

文学与名著中的用例 Literary Works

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）——在神经网络训练章节中系统讨论梯度下降及其变体。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在优化与学习算法部分多次出现并用于推导训练方法。
• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）——在统计学习的优化求解与迭代算法语境中出现。
• Numerical Recipes（Press 等）——作为数值优化/最小化方法体系中的常见概念被提及。