情報理論と通信路
情報量・エントロピーを定義し、雑音のある通信路でどれだけ情報を送れるかを論じる分野。光通信・符号化の話題と接続する。
情報量とエントロピー
事象 の情報量 （レアなほど大きい）。その平均がエントロピー。2 つの確率変数の依存度を測る相互情報量は、片方を知ったときのエントロピー減少量で、KLダイバージェンスを使って表せる。
AWGN通信路と通信路容量
AWGN（加法的白色ガウス雑音）通信路 ：
- はビット列から作るシンボル（シンボル数 ）
- は白色（要素ごと独立）ガウス雑音。雑音を重ねるとガウスに近づく（中心極限定理的）。
通信路容量は信号点を無限個・ガウス分布に従って配置し、ラグランジュの未定乗数法で計算する。**BICM（ビット置換符号化変調）**は独立に復号するため容量を達成せず性能が劣り、最適なビットラベル割り当てがグレイ符号になる。
物理層の制約
- ナイキストの定理（標本化定理）：忠実な再現には元の倍以上の周波数が必要。伝送速度 に対しローパスフィルタの帯域が 以上必要で、方形パルスは高周波成分を持つためフィルタでなまる。
- ショット雑音：光子の到着間隔がポアソン分布に従うため光電流が揺らぐ雑音。光パワーに比例して SNR が決まり（）、振幅分布はガウス。
これらは制御理論の信号処理やFFTによる周波数解析と地続きになっている。
関連: bayesian-statistics / number-theoretic-transform / _moc-math