Python実装を通して学ぶ、 統計モデリング入門

サマリー

Pythonは、簡単に学べること、読みやすいコードを書けること、広範囲にわたるアプリケーションに使えることなどの、多くの優れた特徴を持つ汎用プログラミング言語となる。Pythonは、1991年にGuido van Rossumによって開発されている。

Pythonは、比較的新しい言語であるため、オブジェクト指向プログラミング、手続き型プログラミング、関数型プログラミング等の様々な効果的なプログラミング手法を利用することができる。また、多くのライブラリやフレームワークが用意されているため、Webアプリケーション、デスクトップアプリケーション、科学技術計算、機械学習、人工知能などの分野に広く使われている。さらに、クロスプラットフォームであり、Windows、Mac、Linuxなどの多くのオペレーティングシステムで動作するという特徴を持つ。Pythonは、インタープリタ言語であるため、コンパイルの必要がなく、REPL的な仕組みを持つため、開発サイクルが早くなる。

ここでは「Python実装を通して学ぶ、-統計モデリング入門」をベースにpythonを使った統計モデリングについて述べている。

ここでは読書メモについて述べる。

Python実装を通して学ぶ、 統計モデリング入門

本書は確率を使った機械学習の理論概要とpyhonでの実装について述べられている。

内容は以下の通り

第1章 確率分布と最尤法
　　1.1 確率分布の直感的理解や定義とその応用
　　　　1.1.1 サンプリングによる確率分布（正規分布）の直感的理解
　　　　1.1.2 数式と学ぶ確率分布
　　　　　　　確率密度関数と累積分布関数
　　　　　　　正規分布(NormalDistribution)
　　　　　　　ポアソン分布(PoissonDistribution)
　　　　　　　二項分布(Binomialdistribution)
　1.2 確率分布と統計モデリング
　1.3 確率分布と最尤法
　　　1.3.1 確率分布とパラメータ
　　　1.3.2 同時確率と尤度
　　　1.3.3 最尤法
　　　　　　ベルヌーイ分布の最尤推定
　　　　　　ポアソン分布の最尤推定
　　　　　正規分布の最尤推定
まとめ

第2章 一般化線形モデル
　　2.1 一般化線形モデル
　　2.2 指数型分布族
　　　　　2.2.1 指数型分布族の定義と正規分布
　　　　　2.2.2 指数型分布族の定義とベルヌーイ分布
　　　　　2.2.3 指数型分布族の定義とポアソン分布
　　2.3 一般化線形モデルの具体例
　　　　　2.3.1 ロジスティック回帰
　　　　　　　　問題設定
　　　　　　　　実装方針
　　　　　　　　実装
　　　　2.3.2 ポアソン回帰
　　　　　　　　問題設定
　　　　　　　　実装方針
　　　　　　　　実装
　　2.4 最尤法と誤差関数について
　　　　　2.4.1 最尤法から導く最小二乗法
　　　　　2.4.2 交差エントロピー誤差と最尤法

第3章 最尤法とベイズ統計モデリング
　　3.1 最尤法とサンプル数
　　3.2 ベイズの定理と事前・事後分布
　　3.3 重みパラメータのMAP推論
　　3.4 予測分布の導出*
　　　　　3.4.1 数式の確認*
　　　　　3.4.2 問題設定*
　　　　　3.4.3 実装*

第4章 最適化とMCMC法
　　4.1 最適化の再度復習
　　　　　4.1.1 最適化問題の多くは最大値or最小値問題に置き換えることができる。
　　　　　4.1.2 関数の凸性の議論は重要だが、二次関数のイメージでつかんでおくとよい。
　　　　　4.1.3最大値or最小値問題へのアプローチを大きく分けると、「1.数式を解く」と「2.計算機を用いて繰り返し演算で解く」という二つのアプローチがある。
　　4.2 勾配降下法
　　　　　4.2.1 例題と勾配降下法
　　　　　　　　　例題
　　　　　　　　　例題の解答
　　　　　　　　　解説
　　　　　4.2.2 勾配法と曲線フィッティング
　　　　　　　　　数式的に解く(正規方程式)
　　　　　　　　　勾配降下法(数値計算)を用いて解く
　　4.3 MCMC法
　　　　　4.3.1 MCMC法とは
　　　　　4.3.2 メトロポリス・ヘイスティングス法
　　　　　4.3.3 ロジスティック回帰の問題定義(再確認)
　　　　　4.3.4 実装で理解するMCMCによるロジスティック回帰の実装
本書について