這份筆記是關於偽逆映射的定義與相關應用。

偽逆映射

定義 1：偽逆映射 (Pseudo-Inverse Transformation)

給定有限維內積空間\((V,\langle\cdot,\cdot\rangle_V)\)與\((W,\langle\cdot,\cdot\rangle_W)\)並考慮線性映射\(T:V\to W\)。我們知道 \[ V=N(T)\oplus N(T)^\perp, W=R(T)\oplus R(T)^\perp \] 定義\(L=T|_{N(T)^\perp}\)，則由於 \[ \dim N(T)^\perp=\dim V-\dim N(T)=\dim R(T) \] 故知\(L\)是\(N(T)^\perp\)和\(R(T)\)間的同構映射，即\(L\)可逆。則我們定義\(T\)的偽逆矩陣\(T^+:W\to V\)為如下定義的線性映射： \[ T^+(y)=\left\{ \begin{aligned} L^{-1}(y)&,\mbox{ if }y\in R(T)\\ 0&,\mbox{ if }y\in R(T)^\perp \end{aligned} \right. \] 這樣的偽逆映射也稱為摩爾-潘洛斯逆映射(Moore-Penrose Inverse)。

圖1 Eliakim Hastings Moore

圖2 Roger Penrose

註記 2

給定有限維內積空間\((V,\langle\cdot,\cdot\rangle_V)\)與\((W,\langle\cdot,\cdot\rangle_W)\)並考慮線性映射\(T:V\to W\)。由這裡的定理4知我們可以對\(T\)做奇異值分解，即存在\(V\)的正交規範基底\(\beta=\{v_1,v_2,\cdots,v_n\}\)和\(W\)的正交規範基底\(\gamma=\{u_1,u_2,\cdots,u_m\}\)及\(\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0\)使得 \[ T(v_i)=\left\{ \begin{aligned} \sigma_iu_i&,\mbox{ for }1\leq i\leq r\\ 0&,\mbox{ otherwise} \end{aligned} \right. \] 則\(T\)的偽逆\(T^+\)滿足 \[ T^+(u_i)=\left\{ \begin{aligned} \frac{1}{\sigma_i}v_i&,\mbox{ for }1\leq i\leq r\\ 0&,\mbox{ otherwise} \end{aligned} \right. \]

證明：對於所有\(1\leq i\leq n\)，都有\(T(v_i)\in R(T)\)。故由定義 \[ T^+(T(v_i))=L^{-1}(T(v_i))=v_i \] 但同時當\(1\leq i\leq r\)時又有 \[ T^+(T(v_i))=T^+(\sigma_iu_i)=\sigma_iT^+(u_i) \] 故有\(T^+(u_i)=\frac{1}{\sigma_i}v_i\)。而由於\(L^{-1}:R(T)\xrightarrow{\sim} N(T)^\perp\)是同構映射，故\(\mbox{rank}(T)=\mbox{rank}(T^+)\)。於是對於\(i>r\)，有\(T^+(u_i)=0\)。QED

註記 3

給定矩陣\(A\in M_{m\times n}(F)\)，其中\(\mbox{rank}(A)=r\)。考慮由\(A\)導出的線性映射\(L_A:F^n\to F^m\)。由這裡的定理4-2知我們可以對\(A\)做奇異值分解，即存在么正矩陣\(U,V\)與\(\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r\)使得 \[ A=U\left( \begin{array}{ccc|c} \sigma_1 & & 0 & 0\\ & \ddots & & 0\\ 0 & & \sigma_r & 0\\ \hline 0 & \cdots & 0 & 0 \end{array} \right)V^\ast \] 考慮\(L_A\)的偽逆映射\((L_A)^+:F^m\to F^n\)，則其對應的矩陣為 \[ A^+=V\left( \begin{array}{ccc|c} \frac{1}{\sigma_1} & & 0 & 0\\ & \ddots & & 0\\ 0 & & \frac{1}{\sigma_r} & 0\\ \hline 0 & \cdots & 0 & 0 \end{array} \right)U^\ast \]

證明：只要檢查對於所有\(x\in N(L_A)^\perp\)都有\(A^+A(x)=x\)即可。詳略。QED

定義 3-1：偽逆矩陣 (Pseudo-Inverse Matirx)

註記3中的\(A^+\)稱為\(A\)的偽逆矩陣。

引理 4

證明：令\(L=T|_{N(T)^\perp}:N(T)^\perp\xrightarrow{\sim}R(T)\)。則對於所有\(x\in N(T)^\perp\)，有 \[ T^+T(x)=L^{-1}L(x)=x \] 且對於所有\(x\in N(T)\)，有\(T^+T(x)=0\)，故\(R(T^+T)=N(T)^\perp\)。又因為\(L\)是一對一的，故\(N(T^+T)=N(T)\)，於是有\(R(T^+T)=N(T^+T)^\perp\)。又因為\(V\)是有限維的，故有\((N(T^+T)^\perp)^\perp=N(T^+T)\)，故 \[ R(T^+T)^\perp=(N(T^+T)^\perp)^\perp=N(T^+T) \] 最後，由\(T^+\)的定義有 \[ (T^+T)^2=T^+(TT^+)T=T^+T \] 故知\(T^+T\)是\(V\)在\(N(T)^\perp\)上的正交投影。同理可得\(TT^+\)是\(W\)在\(R(T)\)上的正交投影。QED

定理 5

給定矩陣\(A\in M_{m\times n}(F)\)，對於\(b\in F^m\)，考慮線性方程組\(Ax=b\)。令\(A^+\)為\(A\)的偽逆矩陣，並令\(z=A^+b\)，則：
1. 若\(Ax=b\)有解，則\(z\)是\(Ax=b\)的解，且\(z\)是所有\(Ax=b\)的解中範數最小的。
2. 若\(Ax=b\)無解，則\(z\)是對解的最佳估計。即對於所有\(y\in F^n\)，都有 \[ 0<\|Az-b\|\leq\|Ay-b\| \]

證明：
1. 考慮映射\(T=L_A:F^n\to F^m\)及其偽逆映射\(T^+=(L_A)^+:F^m\to F^n\)。由\(Ax=b\)有解可知\(b\in R(T)\)，則 \[ Az=A(A^+b)=L_A(L_A)^+b \] 但由引理4知\(L_A(L_A)^+\)是\(F^m\)在\(R(L_A)\)上的正交投影，且\(b\in R(L_A)\)，故\(Az=b\)，即\(z\)是解。
令\(y\)也是\(Ax=b\)的解。由引理4知\(T^+T\)是\(F^n\)在\(N(T)^\perp\)上的正交投影，且 \[ T^+T(y)=A^+Ay=A^+b=z \] 故\(z\)是\(y\)在\(N(T)^\perp\)上的正交投影 i.e. 若令\(y=y'+z\)，則\(y'\in N(T)\)。於是由這裡的註記2-1有 \[ \|y\|=\|y-0\|\geq\|y-y'\|=\|z\| \]
2. 我們有\(Az=AA^+b=TT^+(b)\)。由引理4知\(TT^+\)是\(F^m\)在\(R(L_A)\)上的正交投影，即\(Az=\mbox{Proj}_{R(T)}(b)\)。故由這裡的註記2-1可知對於所有\(y\in F^n, Ay\in R(T)\)，我們都有 \[ 0<\|Az-b\|\leq\|Ay-b\| \] QED

永蔚Alex

線性代數：偽逆映射