Weight Sharing

Definition / 释义

weight sharing（权重共享/参数共享）：在机器学习与深度学习中，指让模型中不同位置或不同部分使用同一组参数（权重），以减少参数数量、增强泛化能力并利用结构上的重复性。常见于卷积神经网络（CNN）（同一卷积核在整张图上滑动复用）以及Siamese 网络（两条分支共享同一套权重）。

Pronunciation / 发音（IPA）

/weɪt ˈʃeərɪŋ/

Examples / 例句

Weight sharing helps a model learn with fewer parameters.
权重共享能让模型用更少的参数完成学习。

In a convolutional neural network, weight sharing makes the same filter detect similar patterns across different locations in an image.
在卷积神经网络中，权重共享使同一个滤波器能在图像的不同位置检测相似的模式。

Etymology / 词源

该短语由 weight（权重） 与 sharing（共享） 组合而成。这里的 weight 源自“重量”的通用含义，在统计/机器学习语境中引申为“对输出影响程度的系数”；sharing 表示“在多个地方共同使用”。在神经网络发展过程中，为了利用输入的重复结构（如图像的平移不变性）并降低模型复杂度，“共享同一组权重”的做法逐渐固定为术语 weight sharing。

Related Words / 相关词汇

• Parameter Sharing
• Tied Weights
• Convolution
• Filter
• Kernel
• Siamese Network
• Regularization
• Autoencoder
• Backpropagation

Literary Works / 文献与著作中的用例

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）：在卷积网络与“参数共享（parameter sharing）”相关章节中讨论与使用该概念。
• Neural Networks and Deep Learning（Michael Nielsen）：在介绍卷积网络思想时涉及共享参数/权重的核心动机。
• Learning Deep Architectures for AI（Yoshua Bengio, 2009）：在深度学习架构与参数约束的语境中提及权重共享/参数共享思想。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）：在“参数绑定/参数共享（parameter tying/sharing）”相关表述中出现同类概念。