激活函数：给神经元注入非线性

激活函数给神经元的输出加一层非线性变换。没有它，无论网络多深都等价于一个线性模型，深度就失去了意义。小小的激活函数，其实是深度学习能成的关键。

激活函数的故事很有启示：一个看起来不起眼的非线性变换，却决定了整个网络的表达能力。很多技术瓶颈的突破口，往往不在最显眼的地方，而在某个被忽视的基础环节。

## 核心要点

图片来源：Openverse / jurvetson（https://www.flickr.com/photos/44124348109@N01/483475990）

1. ReLU（小于零输出零，大于零原样输出）是当前最主流的选择。

2. Sigmoid 曾流行但存在梯度消失问题，深层网络慎用。

3. GELU、SwiGLU 是大模型时代的新选择，效果更佳。

4. 激活函数的选择至今仍是经验主导的实验科学。

图片来源：Openverse / pdinnen（https://www.flickr.com/photos/49689051@N00/4455387348）

## 写在最后

以上是关于「激活函数」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。