『データ解析のための統計モデリング入門』

#読んだ

読書メモ

• 統計モデルとは次の特徴を持つ数理モデル

  • 観察によってデータ化された現象を説明するために作られる
  • 確率分布が基本的な部品であり、これはデータに見られるばらつきを表現する手段である
  • データとモデルを対応付ける手続きが分化されていて、モデルがデータにどれくらいよく当てはまっているかを定量的に評価できる

• 一般化線形モデル Generalized Linear Model（GLM）

  • 線形モデル（一般線形モデル）Linear Model に対して、データのばらつきが等分散正規分布であることの仮定を外したもの
  • 正規分布以外の確率分布も扱えるようにしたもの

1章

• 観測データは自然現象のごく一部を切り取ったものであり、そこに見られるパターンを要約したり、未観測の挙動を予測するために統計モデルが必要
• この本では最も簡単な統計モデルの一つである一般化線形モデルをベースに改良していきながら、様々な概念を学習する

3章

対数リンク関数をなぜつかう？

• $\lambda$ を非負にしたい

• 積処理の効果

• ポアソン分布だから？

• 指数分布族に対して正準リンク関数が一意に定まる

4章（AIC）

モデル選択の目的は「真の」モデルを求めることではない

• AICを導入する
• AICは標本と推定した分布の距離ではなく、推定した分布と真の分布（未知）の距離を測ろうとしている
  • 要するに KL Divergence を考えているのと同じようなもの
  • 式変形すると $D_{KL}[Q(x) \| P(x)] = \int Q(x) \log \frac{Q(x)}{P(x)} dx = \int Q(x) \log Q(x) dx - \int Q(x) \log P(x) dx$
  • で、$-E[\ln P(x)] = E[\log L]$
  • 一方 AIC の定義は $AIC = -2 (\log L^{\ast} - b) = -2 E[\log L]$
• 平均対数尤度 $E[\log L]$ を直接求めることはできない（真の統計モデルがわからないから）
• で、AIC では $b^{\ast}$ をパラメータ数 $k$ でもいいよ、という話
  • 証明はあるが割愛、数理統計をちゃんとやれば分かるらしい

8章（MCMC・ベイズ）

• 7章で取り扱ったランダム効果について、対数尤度を評価するには発生源の分だけの多重積分が必要になる
• 複雑なモデルでは最尤推定が困難になる
• MCMC（マルコフ連鎖モンテカルロ法）

メトロポリス法

1. パラメータ q の初期値を選ぶ
2. q を増やすか減らすかをランダムに決める（新しく選んだ q を q_new とする）
3. q_new での尤度が大きくなる場合は $q \to q_{new}$ と更新
4. q_new での尤度が小さくなる場合は確率 $r = L(q_{new}) / L(q)$ で $q \to q_{new}$ と更新

ベイズ統計モデル

• $\text{事後分布} = \frac{\text{尤度} \times \text{事前分布}}{\text{データが得られる確率}} \propto \text{尤度} \times \text{事前分布}$

といった構造を持つ統計モデル。

10章（階層ベイズ）

• 階層事前分布を使って一般化線形混合モデル（GLMM）を階層ベイズモデルとして扱う方法について説明している
• 個体差なども組み込んだ現実的な統計モデルを構築するには、無情報事前分布だけではなく階層事前分布も使わなければならない
• 階層ベイズモデル = ベイズ版 GLMM
  • 階層事前分布 $p(r_i \mid s)$ を使っているベイズ統計モデル
  • 階層: 事前分布のパラメータにさらに事前分布が設定されていること

統計モデルのパラメータと事前分布

パラメータの種類	説明する範囲	同じようなパラメータの個数	事前分布
全体に共通する平均・ばらつき	大域的	少数	無情報事前分布
グループごとのずれ・個体差	局所的	多数	階層事前分布

例

• 切片 $\beta$ は、これ一つでデータ全体を説明している大域的なパラメータ → 無情報事前分布を用いて推定
• 個体差 $\{r_i\}$ は、以下の点から局所的なパラメータ
  • 個々の $r_i$ はデータ全体のごく一部を説明しているだけ
  • 全個体の $\{r_i\}$ は「似たような（ある分布に従う）」パラメータの集まりと考えられる
  • → $\{r_i\}$ 全体のばらつきを決める階層事前分布を推定する