本文共 271 字，大约阅读时间需要 1 分钟。
RNN，recurrent neural network
LSTM，long short-term memory networkLSTM隐藏层激活函数，通常使用tanh函数。
输出层使用softmax函数。RNN反向传播算法，back-propagation through time
LSTM可以学习长期依赖信息，增加遗忘门，输入门，输出门。
具体见：
LSTM解决RNN梯度弥散。
在RNN中将tanh换成ReLU可以一定程度上解决梯度消失，但：
RNN中使用ReLU会导致非常大但输出值，导致梯度爆炸；正交权重矩阵可以解决梯度爆炸；转载地址：http://euwji.baihongyu.com/