物理ノート

サイエンス社「数理科学」SGCライブラリの読書メモ

> > 情報幾何学の新展開

情報幾何学の新展開

計算科学

SGCライブラリ - 110

情報幾何学の新展開

甘利俊一　著

2014年8月25日　初版発行

多様体とダイバージェンス関数

{n} 次元多様体 {S = \{p(x,\xi)\}}：

  • 確率変数 {x}
  • 確率密度関数 {p(x,\xi)}
  • {n} 次元パラメータ {\xi}

ダイバージェンス： {D[P:Q]}

  • {D[P:Q] \ge 0}
  • {P = Q} のとき、このときに限り、 {D[P:Q] = 0}
  • {D[\xi:\xi + d\xi]} のテイラー展開：
    • {\displaystyle D[\xi:\xi + d\xi] = \frac{1}{2}\sum g_{ijj}(\xi)d\xi_id\xi_j}
    • {G(\xi) = (g_{ij}(\xi))} は正定値行列

ダイバージェンスの例：

  • ユークリッド空間
    • {\displaystyle D[\xi:\xi^{\prime}] = \frac{1}{2}\sum(\xi_i - \xi_i^{\prime})^2}
  • 確率分布族空間における　Kullback–Leibler ダイバージェンス
    • {\displaystyle D[p(x):q(x)] = \int p(x)\log\frac{p(x)}{q(x)}dx}
    • {\displaystyle D_{\alpha}[p(x):q(x)] = \frac{4}{1 - \alpha^2}\left\{1 - \int p(x)^{\frac{1 - \alpha}{2}}q(x)^{\frac{1 + \alpha}{2}}dx\right\}}
  • 正定値行列
    • {\displaystyle D[P:Q] = \mathrm{tr}\,(PQ^{-1}) - \log|PQ^{-1}| - n}
    • {\displaystyle D[P:Q] = \mathrm{tr}\,(P\log P - P\log Q - P + Q)}
    • {\displaystyle D[P:Q] = \frac{4}{1 - \alpha^2}\mathrm{tr}\left(-P^{\frac{1 - \alpha}{2}}Q^{\frac{1 + \alpha}{2}} + \frac{1 - \alpha}{2}P + \frac{1 + \alpha}{2}Q\right)}
  • 正測度空間
    • {\displaystyle D[\xi:\xi^{\prime}] = \sum\left\{-\log\left(\frac{\xi_i^{\prime}}{\xi_i}\right) + \left(\frac{\xi_i^{\prime}}{\xi_i}\right) - 1\right\}}
    • {\displaystyle D[\xi:\xi^{\prime}] = \frac{4}{1 - \alpha^2}\sum\left\{\frac{1 - \alpha}{2}\xi_i + \frac{1 + \alpha}{2}\xi_i^{\prime} - \xi_i^{\frac{1 - \alpha}{2}}\xi_i^{\prime\frac{1 + \alpha}{2}}\right\}}

凸関数の導くダイバージェンスと双対平坦構造

多様体 {M} 上に微分可能な凸関数 {\psi(\xi)} が与えられたとする。

Legendre 変換： {\xi^{\ast} = \nabla\psi(\xi)}

{\displaystyle \psi^{\ast}(\xi^{\ast}) = \max_{\xi}\{\xi\cdot\xi^{\ast} - \psi(\xi)\}}

双対ダイバージェンス：

{D^{\ast}[\xi^{\ast}:\xi^{\prime\ast}] = \psi^{\ast}(\xi^{\ast}) - \psi^{\ast}(\xi^{\prime\ast}) - \nabla\psi^{\ast}(\xi^{\prime\ast})\cdot(\xi^{\ast} - \xi^{\prime\ast}) = D[\xi^{\prime}:\xi]}

{\xi^{\ast}} および {\psi^{\ast}} は {\xi} および {\psi} と双対的な関係にある。

{D[P:Q] = \psi(\theta_P) + \psi^{\ast}(\theta_Q^{\ast}) - \theta_P\cdot\theta_Q^{\ast}}

  • {\psi(\theta)} が凸となるようなアファイン座標 {\theta}
  • ２点 {P,\,Q} のアファイン座標 {\theta_P,\,\theta_Q}
  • 双対アファイン座標 {\theta_P^{\ast},\,\theta_Q^{\ast}}

双対平坦多様体

  • アファイン座標
    • 測地線 {\theta(t) = \mathbf{a}t + \mathbf{b}}
    • {\theta = (\theta^1,\dots,\theta^n)}
    • 平坦な部分空間： {M} の部分空間 {S} が {A\theta + \mathbf{b} = 0} で定義される。
    • アファイン座標系 {\theta} を用いた自然基底 {\mathbf{e}_i}
  • 双対アファイン座標
    • 双対測地線 {\theta^{\ast}(t) = \mathbf{a}t + \mathbf{b}}
    • {\theta^{\ast} = (\theta_1^{\ast},\dots,\theta_n^{\ast})}
    • {\nabla\psi\{\theta(t)\} = \mathbf{a}t + \mathbf{b}}
    • 双対平坦な部分空間：部分空間 {S^{\ast}} が {A\theta^{\ast} + \mathbf{b} = 0} で定義される。
    • 双対座標系 {\theta^{\ast}} の自然基底 {\mathbf{e}^{\ast i}}

２つの双対基底系は双直交系である：

{\langle e_i,e_j^{\ast}\rangle = \delta_{ij}}

拡張ピタゴラスの定理

３点 {P,\,Q,\,R} を考える。

  • 拡張ピタゴラスの定理
    • {P} と {Q} を結ぶ双対測地線が {Q} と {R} を結ぶ測地線と直交するとき {D[P:R] = D[P:Q] + D[Q:R]}
  • 双対ピタゴラスの定理
    • {P} と {Q} を結ぶ測地線が {Q} と {R} を結ぶ双対測地線と直交するとき {D^{\ast}[P:R] = D^{\ast}[P:Q] + D^{\ast}[Q:R]}

拡張射影定理

双対平坦空間で、一点 {P} とそれを含まない曲面 {S} を考える。

  • {P} の {S} への射影 {P_S}： {P} と {P_S} を結ぶ測地線が曲面と直交する。
  • {P} の {S} への双対射影 {P_S^{\ast}}： {P_S^{\ast}} と {P} を結ぶ双対測地線が曲面と直交する。

射影定理

曲面 {S} が与えられたとき、 {P} から {S} へのダイバージェンス {D[P:S] = \min_{R \in S}D[P:R]} を最小にする {S} の点 {P_S} は、 {P} の {S} への双対射影 {P_S^{\ast}} である。

一方、 {P} の {S} への双対ダイバージェンス {D^{\ast}[P:S] = \min_{R \in S}D[P:R]} を最小にする点 {P_S^{\ast}} は、 {P} の {S} への射影 {P_S} である。

指数型分布族の双対平坦構造

確率分布族における不変なダイバージェンス

確率分布族、正測度族、正定値行列空間に導入する非不変な双対平坦構造

アファイン接続、共変微分、測地線

曲率と捩率

双対接続の幾何

階層構造を持つ双対平坦空間

統計的推論と情報幾何：曲指数型分布族を用いて

Neyman–Scott 問題：局外母数とセミパラメトリック統計モデル

信号処理と最適化の情報幾何