Weight Initialization

定义 Definition

（机器学习/深度学习）权重初始化：在训练神经网络之前，为模型的参数（权重）设置初始数值的过程。合适的初始化有助于稳定梯度、加快收敛，并提升训练效果。（该短语在其他语境也可泛指“给权重赋初值”，但最常见于神经网络训练。）

发音 Pronunciation

/weɪt ɪˌnɪʃəlaɪˈzeɪʃən/

例句 Examples

We use weight initialization to start training the neural network.
我们使用权重初始化来开始训练神经网络。

Proper weight initialization can reduce vanishing gradients and speed up convergence in deep models.
合适的权重初始化可以缓解深层模型中的梯度消失，并加快收敛速度。

词源 Etymology

weight 源自古英语 wiht（“重量、重物”之意），在机器学习里引申为“参数的权重”。initialization 来自 initial（“最初的”）+ 后缀 -ization（“使之成为/使之处于某状态的过程”），合起来就是“把权重设为初始值的过程”。

相关词 Related Words

• Weights
• Parameter
• Initialization
• Random
• Seed
• Xavier
• He
• Variance
• Gradient
• Convergence

文学与典籍 Literary Works

• Ian Goodfellow, Yoshua Bengio, Aaron Courville，《Deep Learning》（讨论初始化、梯度与训练稳定性）
• Xavier Glorot & Yoshua Bengio (2010), “Understanding the difficulty of training deep feedforward neural networks”（提出常称“Xavier/Glorot 初始化”的思路）
• Kaiming He et al. (2015), “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification”（提出常称“He 初始化”的方法）
• Christopher M. Bishop，《Pattern Recognition and Machine Learning》（在神经网络与优化相关章节涉及参数设定与训练问题）