残差连接：深层网络能训动的秘密

残差连接把每层的输入直接加到输出上，让网络学习“变化量”而非完整结果。这个看似简单的改动解决了深层网络无法训练的问题，把网络深度从几十层推向了上百层。

残差连接的智慧令人拍案：既然完整地学一个映射太难，那就学“在原来基础上改进多少”。这种增量思维极其强大——它把一个不可能的问题，转化为一系列可叠加的小改进。很多组织变革成功的底层逻辑，也不过如此。

## 核心要点

图片来源：Openverse / playful.geometer（https://www.flickr.com/photos/24888685@N08/6879702994）

1. 残差连接让梯度可以直接回流，有效缓解梯度消失。

2. 它使“更深的网络至少不比浅的差”这一期望成立。

3. 残差块的思想已融入几乎所有现代架构，包括 Transformer。

4. 理解残差是理解为什么大模型能被训出来的关键之一。

图片来源：Openverse / Ars Electronica（https://www.flickr.com/photos/36085842@N06/4957717874）

## 写在最后

以上是关于「残差连接」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。