循环神经网络（RNN）：会记忆的网络

循环神经网络专门处理序列数据：它每处理一步，就把当前状态传给下一步，从而拥有“记忆”。语音、文本、股票曲线这类有先后顺序的数据，曾主要靠它建模。

RNN 的局限很有哲学意味：它像一个人逐字读书，读到后面就忘了前面。这提醒我们，记忆不是把信息存下来那么简单，关键在于该记住什么、该遗忘什么——LSTM 的门控机制正是在解决这个问题。

## 核心要点

图片来源：Openverse / sbpoet（https://www.flickr.com/photos/36521983286@N01/5906126346）

1. RNN 的隐藏状态就是它的“记忆”，携带了之前所有步骤的信息。

2. 梯度消失/爆炸导致 RNN 难以记住长期依赖。

3. LSTM、GRU 通过门控机制缓解了这个问题。

4. 如今 Transformer 在大多数序列任务上已取代 RNN。

图片来源：Openverse / Orange County Archives（https://www.flickr.com/photos/30346812@N07/16851335246）

## 写在最后

以上是关于「循环神经网络（RNN）」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。