Vanishing Gradients

定义 Definition

“Vanishing gradients（梯度消失）”指在训练深层神经网络时，反向传播过程中梯度在层与层之间逐步变得极小，导致前面（靠近输入端）的层几乎得不到有效更新，从而训练变慢、难以收敛或学不到长期依赖关系。该问题常见于很深的网络与传统循环神经网络（RNN）。

发音 Pronunciation (IPA)

/ˈvænɪʃɪŋ ˈɡreɪdiənts/

例句 Examples

The network trains slowly because of vanishing gradients.
由于梯度消失，这个网络训练得很慢。

In very deep models, vanishing gradients can prevent early layers from learning useful features, especially when using saturating activation functions.
在非常深的模型中，梯度消失可能会阻止前面层学到有用特征，尤其是在使用会饱和的激活函数时。

词源 Etymology

“Vanishing”来自动词“vanish（消失、逐渐不见）”，强调“越来越弱直到几乎没有”；“gradient”在数学与优化中指“梯度”，表示函数在参数空间中的变化方向与幅度。该术语在深度学习语境中，用来形象描述：梯度在反向传播时被多次相乘（例如连乘导数）后“越传越小”，最终近乎“消失”。

相关词 Related Words

• Exploding Gradients
• Backpropagation
• Gradient Descent
• Chain Rule
• Saturation
• Sigmoid
• ReLU
• LSTM
• Residual Networks
• Batch Normalization

文学与著作中的用例 Literary & Notable Works

• Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen（早期系统讨论深层/循环网络中的梯度消失问题）
• Bengio, Y., Simard, P., & Frasconi, P. (1994). “Learning long-term dependencies with gradient descent is difficult.”（经典论文，明确指出长期依赖学习困难与梯度消失相关）
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning（教材中专门讲解 vanishing gradients 及常见缓解方法，如 ReLU、初始化、归一化、残差结构等）