BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢
Deking · 2023-06-30 09:01:40 +08:00 · 586 次点击这是一个创建于 516 天前的主题，其中的信息可能已经有所发展或是发生改变。
RT ，BN 中一开始先进行归一化处理，然后使用 gamma 和 beta 调整，那为什么一开始不直接使用 gamma 和 beta 调整呢
 |
1
txhwind 2023-06-30 10:27:20 +08:00
方便描述和模型训练。实际推理部署的时候一般都是融合到一起了。
|
 |
2
paidaxtis 2023-06-30 11:17:30 +08:00
归一化是归一化，gamma 和 beta 调整是 gamma 和 beta 调整。一开始直接使用不是跳过归一化了吗？
|
Select Language