Transformer

Transformerとは2017年にGoogle Reserchが発表した自然言語処理における深層学習モデルのひとつであり, それまでの主流となっていたRNN, LTSMよりも少ない計算量で圧倒的な精度を出し, それ以降の自然言語処理による機械学習界のブレイクスルーを起こした.

Transfomerは RNN, LSTM で問題となっていた逐次的に出力を計算しなければならない $\mathcal{O}(N)$ 問題を克服しAttentionのみからなる計算量が $\mathcal{O}(1)$のモデルであり、並列化も容易である。

Transformerモデルなどのトランスダクションモデル(ある文章を他の文章に変換するモデル(翻訳など))において主流なのは以下のようなエンコーダ-デコーダモデルである。

• エンコーダ: 入力の文 $(x_1,\cdots ,x_n)$ を $z=(z_1,\cdots ,z_n)$ へ変換
• デコーダ: $z$ から単語 $(y_1,\cdots ,y_m)$ を出力。

ただし、1時刻に1単語のみで、前時刻のデコーダの出力を現時刻のデコーダの入力として使う。

参考文献

• Attention Is All You Need
• 論文解説 Attention Is All You Need (Transformer)