ベイズ統計と確率分布

確率分布のパラメータや潜在変数を推定する枠組みと、基礎となる分布・検定。測度論を土台に、機械学習へ繋がる。

確率分布の基礎

• ベルヌーイ分布 $f(k;p)=p^k(1-p{)}^{1-k}$（成功確率 $p$）。これを $n$ 回繰り返した成功回数が二項分布 $\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$。
• 正規分布：再生性（和も正規）を持つ。AUC との関係 $\mathrm{AUC}=P[X_1>X_0]$ など。
• iid（独立同一分布）：全試行が独立で同一分布に従う。
• 期待値：確率変数が独立でなくても線形性（和の期待値＝期待値の和）が成立。

確率は可測空間上の確率測度であり、尤度 $p(X\mid \theta )$ も測度として解釈できる。

推定の階層

• 点推定（最尤推定）: 尤度 $p(X\mid \theta )$ を最大化する ${\hat{\theta }}_{ML}$。多峰性に対応できない。
• MAP推定: 事後確率 $p(\theta \mid X)\propto p(X\mid \theta )p(\theta )$ を最大化。変分ベイズで近似分布をデルタ分布にしたものに相当。
• ベイズ推論: 点でなく事後分布そのものを推論する。

変分ベイズ

事後分布 $p(Z\mid X)$ が計算困難なとき、別の分布 $q(Z)$ で近似する手法（変分法に由来）。更新式
$\ln q_i^{\ast }(Z_i)={\mathbb{E}}_{j\ne i}[\ln p(X,Z)]+\mathrm{const}$
は、事後分布との KLダイバージェンス の最小化として導かれる。自由度が高すぎるので平均場近似を用いる。EM アルゴリズムが点推定、変分ベイズがベイズ推定を担う。VAE や混合ガウス分布に応用。MCMC（マルコフ連鎖モンテカルロ）も事後分布サンプリングの主力。

KL ダイバージェンス

2 分布の離れ具合 $\mathrm{KL}[q\Vert p]={\sum }_{X}q(X)\log \frac{q(X)}{p(X)}$。対称性を欠くので距離関数ではない（対称化が JS ダイバージェンス）。情報理論の相互情報量とも関係する。

検定と因果

• t検定（スチューデント）：2 群の平均差の検定。p 値偏重への批判もある。
• 因果推論：予測でなく因果の推定が目的。説明変数を入れすぎると多重共線性で係数が信頼できなくなる（機械学習では許容されても因果推論では許されない）。

関連: information-theory / axiomatic-set-theory / _moc-math