“陈旧梯度；过期梯度”：在（尤其是分布式或异步）梯度下降/反向传播中，某个工作线程使用的是较早版本参数计算出来的梯度；由于参数已被其他更新改变，这些梯度与当前模型状态不一致，可能导致收敛变慢、震荡或精度下降。
/steɪl ˈɡreɪdiənts/
The training became unstable because of stale gradients in asynchronous updates.
由于异步更新产生了陈旧梯度，训练变得不稳定。
In large distributed systems, stale gradients can accumulate and bias optimization unless you control delay or synchronize periodically.
在大型分布式系统中，若不控制延迟或定期同步，陈旧梯度可能累积并使优化产生偏差。
stale 原意为“变质的、不新鲜的”，引申为“过时的、旧的”；gradient 来自拉丁语 gradiens（“行走/逐步前进的”），在数学与机器学习中表示“函数变化的方向与大小（梯度）”。合起来，“stale gradients”形象地表示“已经不再反映当前参数状态的旧梯度”。
Select Language