循环神经网络(RNN):会记忆的网络
循环神经网络专门处理序列数据:它每处理一步,就把当前状态传给下一步,从而拥有“记忆”。语音、文本、股票曲线这类有先后顺序的数据,曾主要靠它建模。 RNN 的局限很有哲学意味:它像一个人...
LSTM:给网络装上“记忆门”
LSTM(长短期记忆网络)通过遗忘门、输入门、输出门精细控制信息的保留与丢弃,让网络能记住几百步之前的依赖关系。它曾是自然语言处理的不二选择。 LSTM 最动人的设计是“主动遗忘”。它不是努...
GRU:LSTM 的轻量化替代
GRU(门控循环单元)把 LSTM 的三个门简化为两个,参数更少、训练更快,在很多任务上效果与 LSTM 相当。它是“够用就好”工程哲学的典范。 GRU 的故事是给所有工程师的提醒:不是越复杂越好。当...




