情報量

• レアな程大きくなる

定義

$I(a)=\log \left(\frac{1}{P(a)}\right)=-\log P(a)$