ReLU 函数在 x＞ 0 的时候也是线性的，套 ReLU 函数是怎么实现激活作用的？

This topic created in 519 days ago, the information mentioned may be changed or developed.

神经网络每一层节点输出值，都要套一层非线性激活函数。现在使用较多的激活函数 ReLU 激活函数在 x ＞ 0 的时候也是线性的，并且是 y=x ，这能起到“线性”=>“非线性”的作用吗？不太理解 ReLU 是怎么实现激活作用的

4 replies • 2024-12-23 09:15:21 +08:00

GuuJiang

Dec 22, 2024 via iPhone

线性指的是全定义域线性，有分段就已经是非线性了，更进一步地说，ReLU 的行为跟生物的神经网络也比较接近，即需要超过某个阈值后才导通

565656

Dec 22, 2024

如果全部节点都是 y=x ，确实是线性的，但是不会这样，总会有一部分<0 的，这样就不是线性了

greyfox

Dec 22, 2024 via Android

x>0 时，y=x ，即激活，x<0 时，y=0 ，即不激活，相当于在 x=0 处拐了个弯，就是非线性了

sanebow

Dec 23, 2024 via iPhone

线性的定义是对于任意 x 和 y ，f(a*x + b*y) = a*f(x) + b*f(y)。比如假设 a=b=1 ，随便找一个负数 x 和正数 y 带入，你就会发现 ReLU 不满足上面等式了。