物理ノート

サイエンス社「数理科学」SGCライブラリの読書メモ

情報幾何学の新展開

SGCライブラリ - 110

情報幾何学の新展開

甘利俊一 著

2014年8月25日 初版発行

多様体とダイバージェンス関数

 {n} 次元多様体  {S = \{p(x,\xi)\}}

  • 確率変数  {x}
  • 確率密度関数  {p(x,\xi)}
  •  {n} 次元パラメータ  {\xi}

ダイバージェンス: {D[P:Q]}

  •  {D[P:Q] \ge 0}
  •  {P = Q} のとき、このときに限り、 {D[P:Q] = 0}
  •  {D[\xi:\xi + d\xi]} のテイラー展開:
    •  {\displaystyle D[\xi:\xi + d\xi] = \frac{1}{2}\sum g_{ijj}(\xi)d\xi_id\xi_j}
    •  {G(\xi) = (g_{ij}(\xi))} は正定値行列

ダイバージェンスの例:

  • ユークリッド空間
    •  {\displaystyle D[\xi:\xi^{\prime}] = \frac{1}{2}\sum(\xi_i - \xi_i^{\prime})^2}
  • 確率分布族空間における Kullback–Leibler ダイバージェンス
    •  {\displaystyle D[p(x):q(x)] = \int p(x)\log\frac{p(x)}{q(x)}dx}
    •  {\displaystyle D_{\alpha}[p(x):q(x)] = \frac{4}{1 - \alpha^2}\left\{1 - \int p(x)^{\frac{1 - \alpha}{2}}q(x)^{\frac{1 + \alpha}{2}}dx\right\}}
  • 正定値行列
    •  {\displaystyle D[P:Q] = \mathrm{tr}\,(PQ^{-1}) - \log|PQ^{-1}| - n}
    •  {\displaystyle D[P:Q] = \mathrm{tr}\,(P\log P - P\log Q - P + Q)}
    •  {\displaystyle D[P:Q] = \frac{4}{1 - \alpha^2}\mathrm{tr}\left(-P^{\frac{1 - \alpha}{2}}Q^{\frac{1 + \alpha}{2}} + \frac{1 - \alpha}{2}P + \frac{1 + \alpha}{2}Q\right)}
  • 正測度空間
    •  {\displaystyle D[\xi:\xi^{\prime}] = \sum\left\{-\log\left(\frac{\xi_i^{\prime}}{\xi_i}\right) + \left(\frac{\xi_i^{\prime}}{\xi_i}\right) - 1\right\}}
    •  {\displaystyle D[\xi:\xi^{\prime}] = \frac{4}{1 - \alpha^2}\sum\left\{\frac{1 - \alpha}{2}\xi_i + \frac{1 + \alpha}{2}\xi_i^{\prime} - \xi_i^{\frac{1 - \alpha}{2}}\xi_i^{\prime\frac{1 + \alpha}{2}}\right\}}

凸関数の導くダイバージェンスと双対平坦構造

多様体  {M} 上に微分可能な凸関数  {\psi(\xi)} が与えられたとする。

Legendre 変換: {\xi^{\ast} = \nabla\psi(\xi)}

 {\displaystyle \psi^{\ast}(\xi^{\ast}) = \max_{\xi}\{\xi\cdot\xi^{\ast} - \psi(\xi)\}}

双対ダイバージェンス:

 {D^{\ast}[\xi^{\ast}:\xi^{\prime\ast}] = \psi^{\ast}(\xi^{\ast}) - \psi^{\ast}(\xi^{\prime\ast}) - \nabla\psi^{\ast}(\xi^{\prime\ast})\cdot(\xi^{\ast} - \xi^{\prime\ast}) = D[\xi^{\prime}:\xi]}

 {\xi^{\ast}} および  {\psi^{\ast}} {\xi} および  {\psi} と双対的な関係にある。

 {D[P:Q] = \psi(\theta_P) + \psi^{\ast}(\theta_Q^{\ast}) - \theta_P\cdot\theta_Q^{\ast}}

  •  {\psi(\theta)} が凸となるようなアファイン座標  {\theta}
  • 2点  {P,\,Q} のアファイン座標  {\theta_P,\,\theta_Q}
  • 双対アファイン座標  {\theta_P^{\ast},\,\theta_Q^{\ast}}

双対平坦多様体

  • アファイン座標
    • 測地線  {\theta(t) = \mathbf{a}t + \mathbf{b}}
    •  {\theta = (\theta^1,\dots,\theta^n)}
    • 平坦な部分空間: {M} の部分空間  {S} {A\theta + \mathbf{b} = 0} で定義される。
    • アファイン座標系  {\theta} を用いた自然基底  {\mathbf{e}_i}
  • 双対アファイン座標
    • 双対測地線  {\theta^{\ast}(t) = \mathbf{a}t + \mathbf{b}}
    •  {\theta^{\ast} = (\theta_1^{\ast},\dots,\theta_n^{\ast})}
    •  {\nabla\psi\{\theta(t)\} = \mathbf{a}t + \mathbf{b}}
    • 双対平坦な部分空間:部分空間  {S^{\ast}} {A\theta^{\ast} + \mathbf{b} = 0} で定義される。
    • 双対座標系  {\theta^{\ast}} の自然基底  {\mathbf{e}^{\ast i}}

2つの双対基底系は双直交系である:

 {\langle e_i,e_j^{\ast}\rangle = \delta_{ij}}

拡張ピタゴラスの定理

3点  {P,\,Q,\,R} を考える。

  • 拡張ピタゴラスの定理
    •  {P} {Q} を結ぶ双対測地線が  {Q} {R} を結ぶ測地線と直交するとき  {D[P:R] = D[P:Q] + D[Q:R]}
  • 双対ピタゴラスの定理
    •  {P} {Q} を結ぶ測地線が  {Q} {R} を結ぶ双対測地線と直交するとき  {D^{\ast}[P:R] = D^{\ast}[P:Q] + D^{\ast}[Q:R]}

拡張射影定理

双対平坦空間で、一点  {P} とそれを含まない曲面  {S} を考える。

  •  {P} {S} への射影  {P_S} {P} {P_S} を結ぶ測地線が曲面と直交する。
  •  {P} {S} への双対射影  {P_S^{\ast}} {P_S^{\ast}} {P} を結ぶ双対測地線が曲面と直交する。

射影定理

曲面  {S} が与えられたとき、 {P} から  {S} へのダイバージェンス  {D[P:S] = \min_{R \in S}D[P:R]} を最小にする  {S} の点  {P_S} は、 {P} {S} への双対射影  {P_S^{\ast}} である。

一方、 {P} {S} への双対ダイバージェンス  {D^{\ast}[P:S] = \min_{R \in S}D[P:R]} を最小にする点  {P_S^{\ast}} は、 {P} {S} への射影  {P_S} である。

指数型分布族の双対平坦構造

確率分布族における不変なダイバージェンス

確率分布族、正測度族、正定値行列空間に導入する非不変な双対平坦構造

アファイン接続、共変微分、測地線

曲率と捩率

双対接続の幾何

階層構造を持つ双対平坦空間

統計的推論と情報幾何:曲指数型分布族を用いて

Neyman–Scott 問題:局外母数とセミパラメトリック統計モデル

信号処理と最適化の情報幾何