変分ベイズ

お気持ち

機械学習の登竜門らしい.
確率モデルの潜在変数, パラメータに関する事後分布を近似するための手法
潜在変数 $Z$ として, 事後分布 $p(Z\mid X)$ は計算できないとした上で, 別の新しい分布 $q(Z)$ で近似しよう.

• ここが変分法と言われる所以

推定方法

• EMアルゴリズム: 点推定 をする
• 変分ベイズ: ベイズ推定 をする

変分ベイズ

更新式

$$\ln q_i^{\ast }(Z_i)=E_{j\ne i}[\ln p(X,Z)]+\mathrm{const}$$

更新式の導出には

• KLダイバージェンスの最小化
• 周辺対数尤度関数を下限と KLダイバージェンス の2つに分解させる方法
  がある.

事後分布との KLダイバージェンス を最小化するような分布を求める

普通にやると自由度が高くなりすぎるので 平均近似場 を採用

応用

• VAE
• 混合ガウス分布

参考文献

• 【徹底解説】変分ベイズをはじめからていねいに | Academaid
  • 「難しい概念はボトムアップ的に道具を用意する方法とトップダウン的にフォールバックする方法がある」