情報理論

発売日 : 2021年02月22日

著者／編集 : 古市 茂

出版社 : 日本評論社

発行形態 : 単行本

いま知っておきたい情報理論の数学的基礎がここに！ＡＩ社会を生き抜くための基礎知識である情報理論。本書は大学初年級で学ぶ数学（微分積分・線型代数・確率論など）をベースに、エントロピーと符号化定理を中心に丁寧に解説する。

第1章　情報理論から広がる世界
　　　1.1 情報理論を学ぶ意義
　　　1.2 熱力学・微分積分の復習

第2章　物理学におけるエントロピー
　　　2.1 熱力学的(Clausius)エントロピー
　　　2.2 統計力学的(Boltzmann)エントロピー

第3章　情報(Shannon)エントロピー
　　　3.1 自己情報量とエントロピー
　　　3.2 エントロピーの性質と公理的特徴付け

第4章　情報源符号化
　　　4.1 符号化の基本
　　　4.2 符号化アルゴリズムと情報源符号化定理
　　　4.3 Huffman 符号の最適性
　　　4.4 ユニバーサル符号化

第5章　相対エントロピー
　　　5.1 相互情報量
　　　5.2 相対エントロピー
　　　5.3 微分エントロピー

第6章　通信路符号化
　　　6.1 通信路容量と具体的な通信路
　　　6.2 通信路符号化定理(順定理)
　　　6.3 通信路符号化定理(逆定理)

第7章　符号理論入門
　　　7.1 誤り検出と訂正の仕組み
　　　7.2 線形符号の基礎
　　　7.3 巡回符号の基礎

第8章　典型系列による符号化定理の証明
　　　8.1 典型系列
　　　8.2 情報源符号化定理(固定長)
　　　8.3 同時典型系列と通信路符号化定理

第9章　量子情報理論
　　　9.1 量子力学的(von Neumann)エントロピー
　　　9.2 典型部分空間
　　　9.3 量子情報源符号化定理
　　　9.4 量子通信路符号化定理
付録　　　
　　　A マルコフ情報源
　　　B いくつかの不等式のまとめ
　　　C さまざまなエントロピー
　　　D 9章で必要な事柄

古市 茂

日本大学文理学部情報科学科教授

古市, 茂