KLダイバージェンス

お気持ち

2分布の離れ具合を測る指標.
対称性を満たさないので 距離関数 ではない

• with 対称性: JSダイバージェンス

定義

離散確率分布 $p(X)$, $q(X)$

$$\mathrm{KL}[q(X)\mid \mid p(X)]:=\sum _{X}q(X)\log \frac{q(X)}{p(X)}$$