LSTM：给网络装上“记忆门”

LSTM（长短期记忆网络）通过遗忘门、输入门、输出门精细控制信息的保留与丢弃，让网络能记住几百步之前的依赖关系。它曾是自然语言处理的不二选择。

LSTM 最动人的设计是“主动遗忘”。它不是努力记住更多，而是学会该忘掉什么——这与人类记忆的机理惊人相似。有时候，限制记忆容量反而让信息处理更高效，这个道理对人与对机器都成立。

## 核心要点

图片来源：Openverse / Brokentaco（https://www.flickr.com/photos/92024986@N00/3334826539）

1. 遗忘门决定丢弃哪些旧信息，是“主动遗忘”的机制。

2. 输入门决定哪些新信息值得写入记忆。

3. 输出门决定当前状态中哪些部分参与输出。

4. LSTM 参数量是 RNN 的四倍，但换来了真正的长程记忆。

图片来源：Openverse / wstryder（https://www.flickr.com/photos/36514345@N00/6882421495）

## 写在最后

以上是关于「LSTM」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。