情報理論と平均情報量（エントロピー）

出現確率による平均情報量（エントロピー）の定義

＊歪みのない場合の情報源符号化定理 情報源のエントロピーＨにいくらでも近い平均長さを持つ符号化が存在する。: 情報源のエントロピーＨにいくらでも近い平均長さを持つ符号化が存在する。
＊歪みのある場合の情報源符号化定理 平均歪みを一定とする符号化の平均長さの下限は仮想的な通信路における相互情報量の最小値として求められる。 ＊通信路符号化定理 誤りのおこる通信路でも誤りの確率から計算される通信容量に限りなく近い速度で情報源のデータを符号化する方法が存在する。: 平均歪みを一定とする符号化の平均長さの下限は仮想的な通信路における相互情報量の最小値として求められる。
＊通信路符号化定理 誤りのおこる通信路でも誤りの確率から計算される通信容量に限りなく近い速度で情報源のデータを符号化する方法が存在する。: 誤りのおこる通信路でも誤りの確率から計算される通信容量に限りなく近い速度で情報源のデータを符号化する方法が存在する。