LSTM
LSTM とは RNN の一種であり、RNNで直面した、長い系列を扱うことが出来ないという問題を「ゲート」と呼ばれる情報の取捨選択を行うことのできる機構を導入することで解決した。
LSTMはRNNでの各ノードが入力ゲート、出力ゲート、忘却ゲートからなるLSTM Cell に置き換わったものからなり、上図の各ゲートでの情報の取捨選択はシグモイド関数により行われ、これにより「忘却」が可能になる。各時間ステップを迂回するパスが存在するので逆誤差伝播の際の勾配消失問題が低減される。
スクラッチ実装 kaggle - LSTM Neural Network from Scratch