ベイズ統計と確率分布

確率分布のパラメータや潜在変数を推定する枠組みと、基礎となる分布・検定。測度論を土台に、機械学習へ繋がる。

確率分布の基礎

• ベルヌーイ分布 $f(k;p)=p^k(1-p{)}^{1-k}$（成功確率 $p$）。これを $n$ 回繰り返した成功回数が二項分布 $\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$。
• 正規分布：再生性（和も正規）を持つ。AUC との関係 $\mathrm{AUC}=P[X_1>X_0]$ など。
• iid（独立同一分布）：全試行が独立で同一分布に従う。
• 期待値：確率変数が独立でなくても線形性（和の期待値＝期待値の和）が成立。

確率は可測空間上の確率測度であり、尤度 $p(X\mid \theta )$ も測度として解釈できる。

推定の階層

• 点推定（最尤推定）: 尤度 $p(X\mid \theta )$ を最大化する ${\hat{\theta }}_{ML}$。多峰性に対応できない。
• MAP推定: 事後確率 $p(\theta \mid X)\propto p(X\mid \theta )p(\theta )$ を最大化。変分ベイズで近似分布をデルタ分布にしたものに相当。
• ベイズ推論: 点でなく事後分布そのものを推論する。

変分ベイズ

事後分布 $p(Z\mid X)$ が計算困難なとき、別の分布 $q(Z)$ で近似する手法（変分法に由来）。更新式
$\ln q_i^{\ast }(Z_i)={\mathbb{E}}_{j\ne i}[\ln p(X,Z)]+\mathrm{const}$
は、事後分布との KLダイバージェンス の最小化として導かれる。自由度が高すぎるので平均場近似を用いる。EM アルゴリズムが点推定、変分ベイズがベイズ推定を担う。VAE や混合ガウス分布に応用。MCMC（マルコフ連鎖モンテカルロ）も事後分布サンプリングの主力。

KL ダイバージェンス

2 分布の離れ具合 $\mathrm{KL}[q\Vert p]={\sum }_{X}q(X)\log \frac{q(X)}{p(X)}$。対称性を欠くので距離関数ではない（対称化が JS ダイバージェンス）。情報理論の相互情報量とも関係する。

検定と因果

• t検定（スチューデント）：2 群の平均差の検定。p 値偏重への批判もある。
• 因果推論：予測でなく因果の推定が目的。説明変数を入れすぎると多重共線性で係数が信頼できなくなる（機械学習では許容されても因果推論では許されない）。

関連: information-theory / mathematical-logic / _moc-ai-robotics

確率的プログラミング（PPL）

Probabilistic Programming Language。確率変数を組み合わせて確率モデル（特にbayesian-statisticsのベイズモデル）を記述し、データからパラメータを推論する枠組み。実装例に Pyro（PyTorch backend）、Stan、webppl など。

モデリングと推論

• 生成（forward）: 確率変数を分布（ベルヌーイ、正規分布など）からサンプリングし、階層モデルを組む。例: 天気 cloudy ~ Bernoulli(0.3) → 気温 → アイスクリーム売上、とすると二峰性の分布が得られる。
• 推論: モデルを仮定しパラメータを推定する。主な方法は変分ベイズ（変分下限の最適化、generative-models と同じ発想）と MCMC。特殊系に MAP 推定・ラプラス近似など。
• Pyro の pyro.plate は確率変数を変数のように一括（ベクトル化）して扱える。

確率分布はモナド

確率変数間の依存はグラフィカルモデル（DAG）で表せる。「ある確率で表が出るコインを投げる」操作は R<double> -> (double -> R<bool>) -> R<bool> という型を持ち、これはモナドの bind に一致する。確率分布をモナドとして扱う視点は、関数型プログラミングと確率モデルを橋渡しする。

関連

• bayesian-statistics / pytorch / generative-models
• _moc-ai-robotics（ml-robotics クラスタの atomic ノート群）