Soptq

行列の微分（Matrix Derivative）は行列の微分（Matrix Differential）とも呼ばれ、機械学習、画像処理、最適化などの分野での公式導出に頻繁に使用されます。行列の微分は実際には多変数の微積分の問題であり、単に行列空間に適用されるもので、スカラーの微分の一般化です。その定義は、独立変数の各数値に対して従属変数の各数値を微分することです。

具体的には、$A_{m \times n}$ と $B_{p \times q}$ が存在すると仮定すると、$\frac{\partial A}{\partial B}$ は $A$ の各値を $B$ の各値に対して微分し、最終的に $m \times n \times p \times q$ 個の導関数値を得ることになります。これだけの導関数値がある場合、最終的には $m \times (n \times p \times q)$ の行列として配置されるのか、それとも $(m \times n \times p) \times q$ の行列として配置されるのかが問題です。行列の微分の鍵は、これらの多くの導関数値をどのように配置するかを規定することにあります。

分布配置の例として、以下のいくつかの行列微分の法則があります。分母配置とは何か？簡単に言えば、分母を基準として、求められる結果が分母の次元と同じであることを望むことです。分母配置の他に分子配置もあります。分子配置と分母配置の微分結果は通常、転置が異なります。

基本法則#

法則 0 ：スカラー対スカラーの微分#

略。詳細は高等数学を参照してください。

法則 1 ：スカラー対ベクトルの微分#

$f$ がスカラーで、$x = \begin{bmatrix} x_1 & x_2 & \cdots & x_p \end{bmatrix}^{T}$ が $p \times 1$ の列ベクトルであると考えます。すると、

$\frac{\partial f}{\partial x}=\begin{bmatrix}\frac{\partial f}{\partial x_1} & \frac{\partial f}{\partial x_2} & \cdots & \frac{\partial f}{\partial x_p}\end{bmatrix}^{T}$

求められた結果の次元は分母 $x$ と同じであることがわかります。もし $x$ が行ベクトルであれば同様です。

法則 2 ：ベクトル対スカラーの微分#

$f = \begin{bmatrix} f_1 & f_2 & \cdots & f_m \end{bmatrix}^{T}$ が $m \times 1$ の列ベクトルで、$x$ がスカラーであると考えます。すると、

$\frac{\partial f}{\partial x}=\begin{bmatrix}\frac{\partial f_1}{\partial x} & \frac{\partial f_2}{\partial x} & \cdots & \frac{\partial f_m}{\partial x}\end{bmatrix}$

この場合、求められた結果の次元は分子 $f$ と逆になります。もし $f$ が行ベクトルであれば同様です。

法則 3 ：ベクトル対ベクトルの微分#

$f = \begin{bmatrix} f_1 & f_2 & \cdots & f_m \end{bmatrix}^{T}$ が $m \times 1$ の列ベクトルで、$x = \begin{bmatrix} x_1 & x_2 & \cdots & x_p \end{bmatrix}^{T}$ が $p \times 1$ の列ベクトルであると考えます。すると、

$\frac{\partial f}{\partial x}=\begin{bmatrix}\frac{\partial f_1}{\partial x_1} & \frac{\partial f_2}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_1} \\ \frac{\partial f_1}{\partial x_2} & \frac{\partial f_2}{\partial x_2} & \cdots & \frac{\partial f_m}{\partial x_2} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_1}{\partial x_p} & \frac{\partial f_2}{\partial x_p} & \cdots & \frac{\partial f_m}{\partial x_p} \end{bmatrix}$

このとき、微分結果の次元は $p \times m$ です。

法則 4 ：スカラー対行列の微分#

$f$ がスカラーで、$x_{p \times q}$ が行列であると考えます。すると、

$\frac{\partial f}{\partial x}=\begin{bmatrix}\frac{\partial f}{\partial x_{11}} & \frac{\partial f}{\partial x_{12}} & \cdots & \frac{\partial f}{\partial x_{1q}} \\ \frac{\partial f}{\partial x_{21}} & \frac{\partial f}{\partial x_{22}} & \cdots & \frac{\partial f}{\partial x_{2q}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f}{\partial x_{p1}} & \frac{\partial f}{\partial x_{p2}} & \cdots & \frac{\partial f}{\partial x_{pq}} \end{bmatrix}$

同様に、求められた結果は分母 $x$ の次元と一致し、$p \times q$ です。

法則 5 ：行列対ベクトルの微分#

$f_{m \times n}$ が行列で、$x$ がスカラーであると考えます。すると、

$\frac{\partial f}{\partial x}=\begin{bmatrix}\frac{\partial f_{11}}{\partial x} & \frac{\partial f_{21}}{\partial x} & \cdots & \frac{\partial f_{m1}}{\partial x} \\ \frac{\partial f_{21}}{\partial x} & \frac{\partial f_{22}}{\partial x} & \cdots & \frac{\partial f_{m2}}{\partial x_{2q}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_{n1}}{\partial x} & \frac{\partial f_{n2}}{\partial x} & \cdots & \frac{\partial f_{nm}}{\partial x} \end{bmatrix}$

求められた結果は分子と逆になり、$n \times m$ です。

その他：ベクトルと行列の間、及び行列と行列の間の微分#

自変数と従変数がどちらもスカラーでない場合、行列の微分の本質的な議論に基づいて、多くの導関数が配置されることが難しくなることが必然的に生じます。例えば、一般的な場合、$f_{m \times n}$ と $x_{p \times q}$ があると仮定すると、微分後に $m \times n \times p \times q$ 個の導関数結果を得ることになります。この場合、これらの導関数には通常、2 つの定義方法があります。

第一の定義#

前述の法則に従い、$\frac{\partial f}{\partial x}$ を $f$ の各スカラーに対して $x$ に対して微分し、それを行列 $f$ の元の位置に戻すと解釈します。つまり、$\frac{\partial f_{ij}}{\partial x}$ を $f_{ij}$ に置き換え、最終的に $mp \times nq$ の導関数行列を得ます。

第二の定義（主流）#

この定義は、行列対行列の微分問題をベクトル対ベクトルの微分に還元します。つまり、行列に対してまずベクトル化処理を行い、その後微分します：

$\frac{\partial f}{\partial x}=\frac{\partial vec(f)}{\partial vec(x)}$

ここで、ベクトル化の実現方法は列ベクトル化と行ベクトル化に分かれます。列ベクトル化を例にとると、$f_{m \times n}$ と $x_{p \times q}$ をそれぞれ $f_{mn \times 1}$ と $x_{pq \times 1}$ にベクトル化し、法則 3 を用いて微分を行い、次元が $pq \times mn$ の導関数結果を得ます。

有用な公式#

以下の公式において、$A_{m \times 1}$ と $x_{m \times 1}$ は列ベクトルであり、$B_{m \times m}$ は行列です。以下の 3 つの公式は文末に証明があります。

以下の公式は行列のトレースに関する公式です。ここで、 $a$ はスカラーであり、 $A$, $B$, $C$ は 3 つの行列です。

一部公式の証明#

次のように定義します：

$A_{m \times 1} = \begin{bmatrix} A_1 & A_2 & \cdots & A_m \end{bmatrix} ^ {T}$

$B_{m \times m} = B_{m \times m} = \begin{bmatrix} B_{11} & B_{12} & \cdots & B_{1m} \\ B_{21} & B_{22} & \cdots & B_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ B_{m1} & B_{m2} & \cdots & B_{mm} \end{bmatrix}$

$x_{m \times 1} = \begin{bmatrix} x_1 & x_2 & \cdots & x_m \end{bmatrix} ^ {T}$

公式 1#

$\frac{\partial{x^{T}A}}{\partial{x}} = \frac{\partial{A^{T}x}}{\partial{x}} = A$

$A_{m \times 1}$ と $x_{m \times 1}$ が列ベクトルであるため、$x^{T}A = A^{T}x = \sum_{i=1}^{m}{A_{i}x_{i}}$ はスカラーであるため、法則 1 を用いて計算できます。

$\frac{\partial{x^{T}A}}{\partial{x}} = \frac{\partial{A^{T}x}}{\partial{x}}$

$= \begin{bmatrix} \frac{\partial{\sum_{i=1}^{m}{A_{i}x_{i}}}}{\partial{x_1}} \\ \frac{\partial{\sum_{i=1}^{m}{A_{i}x_{i}}}}{\partial{x_2}} \\ \cdots \\ \frac{\partial{\sum_{i=1}^{m}{A_{i}x_{i}}}}{\partial{x_m}} \end{bmatrix}$

$= \begin{bmatrix} A_1 \\ A_2 \\ \cdots \\ A_m \end{bmatrix}$

$= A$

公式 2#

同様に公式 1

公式 3#

$\frac{\partial{x^{T}Bx}}{\partial{x}} = (B + B^{T})x$

問題の条件から、 $x^{T}Bx$ はスカラーであるため、元の式はスカラー対列ベクトルの微分であり、法則 1 を用いて計算できます。

$\frac{\partial{x^{T}Bx}}{\partial{x}}$

$= \begin{bmatrix} \frac{\partial{\sum_{i=1}^{m}{\sum_{j=1}^{m}{B_{ij}x_{i}x_{j}}}}}{\partial{x_1}} \\ \frac{\partial{\sum_{i=1}^{m}{\sum_{j=1}^{m}{B_{ij}x_{i}x_{j}}}}}{\partial{x_2}} \\ \cdots \\ \frac{\partial{\sum_{i=1}^{m}{\sum_{j=1}^{m}{B_{ij}x_{i}x_{j}}}}}{\partial{x_m}} \end{bmatrix}$

導関数の法則により：

$\frac{\partial{f(x)g(x)}}{\partial{x}} = \frac{\partial{f(x)}}{x}g(x) + f(x)\frac{\partial{g(x)}}{\partial{x}}$

したがって、元の式は次のように続きます：

$= \begin{bmatrix} \sum_{i=1}^{m}{B_{i1}x_i} + \sum_{j=1}^{m}{B_{1j}x_j} \\ \sum_{i=1}^{m}{B_{i2}x_i} + \sum_{j=1}^{m}{B_{2j}x_j} \\ \cdots \\ \sum_{i=1}^{m}{B_{im}x_i} + \sum_{j=1}^{m}{B_{mj}x_j} \end{bmatrix}$

$= \begin{bmatrix} \sum_{i=1}^{m}{B_{i1}x_i} \\ \sum_{i=1}^{m}{B_{i2}x_i} \\ \cdots \\ \sum_{i=1}^{m}{B_{im}x_i} \end{bmatrix} + \begin{bmatrix} \sum_{j=1}^{m}{B_{1j}x_j} \\ \sum_{j=1}^{m}{B_{2j}x_j} \\ \cdots \\ \sum_{j=1}^{m}{B_{mj}x_j} \end{bmatrix}$

$= \begin{bmatrix} B_{11} & B_{21} & \cdots & B_{m1} \\ B_{12} & B_{22} & \cdots & B_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ B_{1m} & B_{2m} & \cdots & B_{mm} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix}+ \begin{bmatrix} B_{11} & B_{12} & \cdots & B_{1m} \\ B_{21} & B_{22} & \cdots & B_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ B_{m1} & B_{m2} & \cdots & B_{mm} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix}$

$= (A^{T} + A)x = (A + A^{T})x$