過ぎるだけの時間じゃ悔しい

系列モデル（RNN / 注意機構 / 分散表現）

Properties2
tagsml, nn, nlp, embedding
aliasesrecurrent-neural-network, attention-mechanism, word-embeddings

6 min read

系列モデル（RNN / 注意機構 / 分散表現）

細かい話題を束ねた概念ページ。各節は元は独立ページだった。

RNN / LSTM（再帰型ニューラルネット）

RNN（Recurrent Neural Network）

入力層から出力層まで一方通行の通常の NN と異なり、自己再帰する層を持つネットワーク。隠れ層に「記憶」として過去の時系列入力の情報が保持され、文章などの連続入力を扱える。時系列順に入力 を与えると予測確率ベクトル が出力され、隠れ状態 が更新される。活性化関数は tanh や ReLU。

機械翻訳（文章→翻訳文）や文章生成（会話文→応答文）といった生成モデルに使える。学習は BPTT（Backpropagation Through Time）で過去ステップの計算も使うが、再帰構造のため並列化できない・層が深くなると勾配消失するという欠点がある。

LSTM（Long Short-Term Memory）

RNN が長い系列を扱えない問題を、「ゲート」による情報の取捨選択で解決した派生。各ノードが入力ゲート・出力ゲート・忘却ゲートからなる LSTM Cell に置き換わり、ゲートの開閉をシグモイド関数で行うことで「忘却」が可能になる。各時間ステップを迂回するパス（セル状態）により逆誤差伝播時の勾配消失が低減される。GRU も同系統の改良。

Transformer による置換

RNN/LSTM の逐次計算 と勾配消失を、sequence-models のみで構成した transformer が克服し、NLP の主流が移った。初期のバイラテラル制御模倣学習（Bi-ACT の関連研究）は LSTM ベースだったが、画像を扱えずロバスト性に欠けたため act 系の Transformer に置き換わった。

関連

Attention（注意機構）

ある文中の単語を理解する際に、文中の他のどの単語に「注意」しているかを表すスコア。系列内（あるいは系列間）の要素同士の関連度を動的に重み付けし、文脈に応じた表現を作る。

主要な派生形

  • Scaled Dot-Product Attention: クエリ・キーの内積をスケーリングして softmax で重みにする基本形。
  • Multi-Head Attention: 複数の Attention を並列に計算し、異なる関係性を同時に捉える。
  • Self-Attention: 同一系列内の要素間の Attention。並列計算が可能で系列長に対する逐次依存を解消する。
  • Masked Self-Attention: デコーダ側で未来の解答を隠す（下三角マスク）。自己回帰生成で使う。
  • Source-Target Attention: エンコーダ出力（source）とデコーダ（target）の間の Attention。

意義

Attention のみで構成された transformer（“Attention Is All You Need”, 2017）が、sequence-models（RNN/LSTM）の逐次計算 問題を克服し並列化を可能にした。bert では Multi-Head / Scaled Dot-Product / Source-Target-Attention などが使われる。

vla のアーキテクチャでも中心的で、視覚・言語・触覚トークンを自由に相互参照する非因果的 Attention（Tactile-VLA）や、Cross-Attention と Causal Self-Attention の交互配置（smolvla）として再利用される。

関連

分散表現 / 単語埋め込み

自然言語処理（sequence-models や bert を含む）では単語を文字列のまま学習できないため、何らかのベクトルで表す必要がある。これを**分散表現（embedding）**という。意味的に近い語がベクトル空間で近くに配置されるよう学習する。

バリエーション

  • 単語レベル: Word2Vec 系。周辺文脈から単語ベクトルを学習。
  • 文書レベル: Doc2Vec。文書全体を 1 つのベクトルに埋め込む。
  • 文脈付き埋め込み: Sentence-BERT など。bert に文を通して文脈を加味した埋め込みを得る。

活用

得られた高次元埋め込みは dimensionality-reduction（UMAP / t-SNE）で 2 次元化して可視化し、クラスタ構造を確認したり、類似文書検索・推薦に使う（例: アニメタイトルの埋め込みによる作品推薦）。VLA でも言語指示は CLIP / SigLIP / BERT 系エンコーダで固定長ベクトル化され、視覚・行動トークンと統合される。

関連

Graph View

Backlinks