情報理論 Math＆Science 読書メモ

機械学習技術　人工知能技術　プログラミング技術 　デジタルトランスフォーメーション　深層学習　自然言語処理 ITシステム情報理論&計算機工学　機械学習における数学

「クロード・シャノンが記念碑的論文「通信の数学的理論」を発表したのは1948年のことだった。それから60余年──今では情報理論は情報通信のみならず、生命科学や脳科学、社会科学など幅広い分野に応用されるようになっている。情報理論は高度な数学を用いているが、“大数の法則”をおさえることでその本質がすっきりと見えてくる。シャノンのアイディアから情報幾何学の基礎までを、初学者にもわかるよう明快に解説、情報理論の考え方と仕組みを直観的に理解するための、第一人者の手による入門書。」

第１章　情報の数量的認識

第1節情報量とエントロピー

1.1 情報の量を以下に定めるか
1.2 エントロピー
1.3 複合事象のエントロピー
1.4 条件付きエントロピー
1.5 相互情報量
1.6 雑談

第2節情報源

2.1 情報源のマルコフモデル
2.2 マルコフ的情報源
2.3 情報源の冗長度
2.4 情報源の大数の法則
2.5 情報源のエルゴート性
2.6 雑談

第２章　雑音のない通話路による情報伝送

第1節雑音のない離散通話路

1.1 情報伝達モデル
1.2 雑音のない通信路の容量
1.3 雑音のない離散通話路の符号化定理
1.4 雑談

第2節符号化による冗長度の除去

2.1 符号化と冗長度の除去
2.2 簡単の符号化
2.3 最適な符号化法
2.4 雑談

第３章　雑音のある通話路での情報伝送

第1節雑音のある離散通話路の容量

1.1 雑音の妨害化での情報伝達
1.2 通話路容量
1.3 雑音のある通話路を用いた誤りのない情報伝達
1.4 雑談

第2節　誤り訂正符号

2.1 誤り訂正の仕組み
2.2 Hamming距離
2.3 Hamming符号
2.4 線形符号
2.5 巡回符号
2.6 雑談

第４章　連続情報と信号空間

第1節連続信号のエントロピー

1.1 連続信号のエントロピーの定義
1.2 種々の信号のエントロピー
1.3 条件付きエントロピーと相互情報量
1.4 信号の変換とエントロピー
1.5 雑談

第2節信号空間の構成

2.1 信号空間
2.2 標本化定理
2.3 時間領域表示と周波数領域表示の間の関係
2.4 雑談

第3節連続通話路

3.1 連続通話路による情報伝達
3.2 白色ガウス雑音を発生する通話路の容量
3.3 連続通話路による誤りのない通信
3.4 雑談

第4節信号空間の情報幾何学

4.1 信号空間の雑音と計量
4.2 リーマン信号空間
4.3 信号空間の情報理論
4.4 雑談

第５章　信号空間の写像と通信系の理論

第1節通信系の構造

1.1 通信系の構成
1.2 符号伝達形
1.3 連続写像を用いた通信系
1.4 量子化通信方式
1.5 雑談

第2節連続通信系の理論

2.1 信号空間の挿入写像
2.2 信号空間の退化写像
2.3 退化写像における雑音構造の変化
2.4 最適退化写像
2.5 雑談