SGCライブラリ - 79

行列解析の基礎

Advanced 線形代数

山本哲朗　著

2010年12月25日　初版発行

線形代数の基礎（１）

${n}$ 次行列 ${A = (a_{ij})}$ に対し ${A}$ の第 ${i_1,\dots,i_r}$ 行と第 ${j_1,\dots,j_r}$ 行の交差する要素を取り出してつくる行列（ ${A}$ の ${r}$ 次主小行列）

$$ A \begin{pmatrix} i_1 & \cdots & i_r \\ j_1 & \cdots & j_r \end{pmatrix} = \begin{pmatrix} a_{i_1j_1} & \cdots & a_{i_1j_r} \\ & \cdots & \\ a_{i_rj_1} & \cdots & a_{i_rj_r} \end{pmatrix} $$

${A}$ の第 ${i}$ 行と第 ${j}$ 列を取り除いてえられる ${n - 1}$ 次行列の行列式に ${(-1)^{i + j}}$ をかけたものを ${A}$ の ${(i,j)}$ 余因子または ${a_{ij}}$ の余因子といい ${\triangle_{ij}}$ であらわす。

${\det A = a_{i1}\triangle_{i1} + a_{i2}\triangle_{i2} + \cdots + a_{in}\triangle_{in}}$
${\det A = a_{1j}\triangle_{1j} + a_{2j}\triangle_{2j} + \cdots + a_{nj}\triangle_{nj}}$

${n}$ 次行列 ${A}$ に対し次の２条件は同値である：

${A}$ が正則である
${\det A \neq 0}$

線形代数の基礎（２）

${A}$ を ${n}$ 次行列 ${(A \in \mathbb{F}^{n \times n})}$ とするとき、（複素）Hermite 行列 ${A^{\ast}A}$ の固有値はすべて非負である。

${A}$ の特異値

$\mu = \frac{||A\mathbf{x}||_2^2}{||\mathbf{x}||_2^2} \ge 0$

${A^{\ast}A}$ の固有値を ${\alpha_1^2,\dots,\alpha_n^2\,(\alpha_i \ge 0\,\forall i)}$ とすると、 ${A}$ の特異値は ${\alpha_1,\dots,\alpha_n}$ であらわされる。

$\mathrm{tr}(A^{\ast}A) = \alpha_1^2 + \cdots + \alpha_n^2 = \sum_{i,j = 1}^n|a_{ij}|^2 = \mathrm{tr}(AA^{\ast})$

${A = (a_{ij}) \in \mathbb{F}^{n \times n}}$ の固有値を ${\lambda_1,\dots,\lambda_n}$ 、特異値を ${a_1,\dots,a_n}$ とすれば

$\sum_{i=1}^n|\lambda_i|^2 \le \sum_{i=1}^n\alpha_i^2 = \sum_{i,j=1}^n|a_{ij}|^2$

行列の分解

LU 分解

下３角行列

$$ L = \begin{pmatrix} l_{11} & & & \\ l_{21} & l_{22} & & \\ \vdots & & \ddots & \\ l_{n1} & l_{n2} & \cdots & l_{nn} \end{pmatrix} $$

上３角行列

$$ U = \begin{pmatrix} u_{11} & u_{12} & \cdots & u_{1n} \\ & u_{22} & \cdots & u_{2n} \\ & & \ddots & \vdots \\ & & & u_{nn} \end{pmatrix} $$

正則行列 ${A \in \mathbb{F}^{n \times n}}$ の LU 分解： ${A = LU}$

${n}$ 次正則行列 ${A = (a_{ij})}$ が LU 分解可能であるための必要十分条件は

$$ \det A \begin{pmatrix} 1 & 2 & \cdots & k \\ 1 & 2 & \cdots & k \end{pmatrix} = \begin{vmatrix} a_{11} & \cdots & a_{1k} \\ \vdots & & \vdots \\ a_{k1} & \cdots & a_{kk} \end{vmatrix} \neq 0 \quad (1 \le k \le n) $$

特に ${L}$ を単位下３角行列に限定すれば ${A}$ の LU 分解は一意に定まる。

正則行列 ${A}$ の LDV 分解： ${A = LDV}$

${d_i = u_{ii}}$
${D = \mathrm{diag}(d_1,\dots,d_n)}$
${V = D^{-1}U}$

LL ${{}^{\mathrm{t}}}$ 分解

${A}$ を実正定値対称行列とする。

${\tilde{\mathbf{x}}^{\mathrm{t}}A_k\tilde{\mathbf{x}} = \mathbf{x}^{\mathrm{t}}A\mathbf{x} \gt 0 \quad \forall\tilde{\mathbf{x}} (\neq \mathbf{0}) \in \mathbb{R}^n}$

$$ A_k = A \begin{pmatrix} 1 & 2 & \cdots & k \\ 1 & 2 & \cdots & k \end{pmatrix} $$

${\mathbf{x} = (x_1,\dots,x_k,0,\dots,0)^{\mathrm{t}}}$
${\tilde{\mathbf{x}} = (x_1,\dots,x_k)^{\mathrm{t}}}$

${A}$ が実正定値対称行列ならば

各 ${k\,(1 \le k \le n)}$ につき ${A_k}$ は正定値対称行列である。

対角要素がすべて正の下３角行列 ${L}$ をえらんで ${A = LL^{\mathrm{t}}}$ と書ける。（ ${A}$ の Cholesky 分解）

QR 分解

${A}$ を ${n}$ 次実行列とすれば ${A = QR}$ をみたす直交行列 ${Q}$ と上３角行列 ${R = (r_{ji})}$ が存在する。（ ${A}$ の QR 分解）

${r_{ij} = 0\quad (i \gt j)}$

${r_{ii} \ge 0\quad\forall i}$

${A}$ が複素行列ならば ${Q}$ はユニタリ行列でおきかえられる。

特異値分解

${A}$ を ${n}$ 次実行列とすれば適当な ${n}$ 次直交行列 ${T_1}$ と ${T_2}$ をえらんで

$$T_1AT_2 = \begin{pmatrix}\alpha_1 & & \\ & \ddots & \\ & & \alpha_n\end{pmatrix}$$

とできる。（ ${\alpha_1,\dots,\alpha_n}$ は ${A}$ の特異値）

${A}$ が複素行列ならば ${T_1,\,T_2}$ はユニタリ行列 ${U_1,\,U_2}$ でおきかえられる。

${A}$ の特異値分解

${A = T_1^{\mathrm{t}}\Sigma T_2^{\mathrm{t}} = U\Sigma V^{\mathrm{t}} = \alpha_1\mathbf{u}_1\mathbf{v}_1^{\mathrm{t}} + \cdots + \alpha_r\mathbf{u}_r\mathbf{v}_r^{\mathrm{t}}}$

${U = T_1^{\mathrm{t}} = (\mathbf{u}_1,\dots,\mathbf{u}_m),\quad \mathbf{u}_i \in \mathbb{R}^m}$
${V = T_2^{\mathrm{t}} = (\mathbf{v}_1,\dots,\mathbf{v}_n),\quad \mathbf{v}_i \in \mathbb{R}^m}$

極分解

任意の ${n}$ 次複素行列 ${A}$ は適当な半正定値 Hermite 行列 ${H}$ とユニタリ行列 ${U}$ をえらんで

${A = HU}$

と書ける。（ ${A}$ の極分解）

${A}$ が正則ならばこのような分解は一意的である。

行列 ${A}$ の共役転置行列 ${A^{\ast}}$ を極分解

${A^{\ast} = HV}$

${H}$ ：半正定値行列
${V}$ ：ユニタリ行列

${A = (HV)^{\ast} = V^{\ast}H^{\ast} = UH}$

${U = V^{\ast}}$ はユニタリ行列。

Jordan 分解

行列 ${A}$ は適当な正則行列 ${V}$ により

$$V^{-1}AV = \begin{pmatrix}J_1 & & \\ & \ddots & \\ & & J_m\end{pmatrix} = J$$

$$J_i = \begin{pmatrix}\lambda_i & 1 & & \\ & \ddots & \ddots & \\ & & \ddots & 1 \\ & & & \lambda_i\end{pmatrix}$$

の形に変換される。

${A = V^{-1}JV}$ ： ${A}$ の Jordan 分解

${J}$ ：Jordan の標準形

${J_i}$ ：Jordan ブロック