這份筆記是關於譜分解的定義與性質，以及與同步對角化相關的定理。
正交投影的等價定義
註記 1
給定內積空間\(V\)及其子空間\(W\)，並考慮\(V\)在\(W\)上的正交投影\(\mbox{Proj}_W:V\to V\)。則\(R(\mbox{Proj}_W)=W\)(正交投影的定義可見這裡的定義4)。
證明：由定義顯然有\(R(\mbox{Proj}_W)\subseteq W\)。而若存在\(x\in W\)使得\(x\notin R(\mbox{Proj}_W)\)。則 \[ \underbrace{x}_{\in W}-\underbrace{\mbox{Proj}_W(x)}_{\in W}\in W \] 但由定義又有 \[ x-\mbox{Proj}_W(x)\in W^\perp \] 但又有\(W\cap W^\perp=\{0\}\)，故\(x=\mbox{Proj}_W(x)\)，即\(x\in W\)。矛盾，故\(R(\mbox{Proj}_W)=W\)。QED
註記 2
給定內積空間\(V\)及其子空間\(W\)，並考慮\(V\)在\(W\)上的正交投影\(\mbox{Proj}_W:V\to V\)。則\(N(\mbox{Proj}_W)=W^\perp\)。
證明：對於所有\(y\in W^\perp\)，有 \[
y=\underbrace{0}_{\in W}+\underbrace{y}_{\in W^\perp}
\] 故\(\mbox{Proj}_W(y)=0\)，即\(W^\perp\subseteq N(\mbox{Proj}_W)\)。
另一方面來說，給定\(y\in
N(\mbox{Proj}_W)\)，由正交投影的定義有 \[
y-\mbox{Proj}_W(y)=y-0=y\in W^\perp
\] 故\(N(\mbox{Proj}_W)\subseteq
W^\perp\)。於是有\(N(\mbox{Proj}_W)=W^\perp\)。QED
定義 3：正交投影的另一種定義
給定內積空間\(V\)及線性映射\(T:V\to V\)，且\(T=T^2\)。若\(T\)又滿足 \[ R(T)^\perp=N(T), N(T)^\perp=R(T) \] 則稱\(T\)為正交投影。
註記 3-1
定義3所定義的正交投影和這裡的定義4所定義的正交投影是等價的。
證明：我們分成兩個部分說明。
1.
這裡的定義4\(\Rightarrow\)定義3：考慮\(V\)的子空間\(W\)。令\(\mbox{Proj}_W:V\to W\)為\(V\)在\(W\)上的正交投影。由定義易知\((\mbox{Proj}_W)^2=\mbox{Proj}_W\)。而由註記1與註記2有
\[
R(\mbox{Proj}_W)^\perp=W^\perp=N(\mbox{Proj}_W)
\] 我們希望說明\(N(\mbox{Proj}_W)^\perp=R(\mbox{Proj}_W)\)。由正交補餘的定義，顯然有
\[
R(\mbox{Proj}_W)\subseteq (R(\mbox{Proj}_W)^\perp)^\perp
\] 假設存在\(y\in(W^\perp)^\perp\)使得\(y\notin W\)。則令 \[
y=\tilde{y}+\tilde{\tilde{y}},\tilde{y}\in W^\perp, \tilde{\tilde{y}}\in
W
\] 假設\(\tilde{y}\neq 0\)，則
\[
\langle y,\tilde{y}\rangle=\langle \tilde{y},\tilde{y}\rangle+\langle
\tilde{\tilde{y}},\tilde{y}\rangle=\langle
\tilde{y},\tilde{y}\rangle\neq 0
\] 但\(\tilde{y}\in W^\perp\),
\(y\in (W^\perp)^\perp\)，故應有\(\langle
y,\tilde{y}\rangle=0\)，矛盾。故應有\(\tilde{y}=0\)，即\(y=\tilde{\tilde{y}}\in W\)。於是有 \[
R(\mbox{Proj}_W)=(R(\mbox{Proj}_W)^\perp)^\perp=N(\mbox{Proj}_W)^\perp
\]
2. 定義3\(\Rightarrow\)這裡的定義4：對於所有\(x\in V\)，有 \[
x=T(x)+(x-T(x))
\] 有\(T(x)\in R(T)\)。且由\(T=T^2\)有 \[
T(x-T(x))=T(x)-T^2(x)=T(x)-T(x)=0
\] 即\(x-T(x)\in
N(T)=R(T)^\perp\)，於是有\(V=R(T)+R(T)^\perp\)。
又假設存在另一組\(T(\tilde{x})\in
R(T)\), \(x-T(\tilde{x})\in
N(T)\)滿足 \[
x=T(x)+(x-T(x))=T(\tilde{x})+(x-T(\tilde{x}))
\] 則由於\(x-T(x), x-T(\tilde{x})\in
N(T)\)，故 \[
\begin{aligned}
&T((x-T(x))-(x-T(\tilde{x})))=0\\
\Rightarrow &0=T^2(x-\tilde{x})=T(x-\tilde{x})=T(x)-T(\tilde{x})
\end{aligned}
\] 故有\(T(x)=T(\tilde{x})\)，即\(V=R(T)\oplus N(T)\)。由這裡的註記4-1有\(T=\mbox{Proj}_{R(T)}\)。QED
註記 4
給定內積空間\(V\)及其上的正交投影\(T:V\to V\)，並給定\(v\in V\)。則對於所有\(w\in R(T)\)，有 \[
\|w-v\|\geq\|T(v)-v\|
\] (這個東西在這裡的註記2-1證明過了，但我們可以用此處的正交投影的定義再證一次。)
證明：我們有\(v=T(v)+(v-T(v))\)，其中\(T(v)\in R(T)\), \(v-T(v)\in N(T)\)。而對於所有\(w\in R(T)\)，有 \[ w-v=\underbrace{w-T(v)}_{\in R(T)}+\underbrace{(T(v)-v)}_{\in N(T)=R(T)^\perp} \] 故 \[ \|w-v\|^2=\|w-T(v)\|^2+\|T(v)-v\|^2+\underbrace{2\langle w-T(v),T(v)-v\rangle}_{=0}\geq \|T(v)-v\|^2 \] 即\(\|w-v\|\geq\|T(v)-v\|\)。QED
定理 5
給定內積空間\(V\)及其上的線性映射\(T:V\to V\)，則\(T\)是正交投影 iff. \(T^2=T=T^\ast\)。
證明：我們分成兩個部分證明。
「\(\Rightarrow\)」：假設\(T\)是正交投影，則由定義有\(T^2=T\)。我們希望說明\(T^\ast\)存在且\(T=T^\ast\)(這裡的定理1證明過在\(\dim V<\infty\)的時候\(T^\ast\)總是存在，這裡要證明的狀況包含\(\dim V=\infty\))。
由於\(T\)是正交投影，故\(V=R(T)\oplus N(T)\)，且\(R(T)^\perp=N(T)\), \(N(T)^\perp=R(T)\)。對於\(x,y\in V\)，令 \[
x=x_1+x_2, y=y_1+y_2,\mbox{ where }x_1,y_1\in R(T), x_2,y_2\in N(T)
\] 則 \[
\begin{aligned}
\langle x,T(y)\rangle&=\langle x_1+x_2,y_1\rangle\\
&=\langle x_1,y_1\rangle+\underbrace{\langle x_2,y_1\rangle}_{=0}\\
&=\langle x_1,y_1\rangle
\end{aligned}
\] 同理有\(\langle
T(x),y\rangle=\langle x_1,y_1\rangle\)。故有 \[
\langle T(x),y\rangle=\langle x,T(y)\rangle=\langle x,T^\ast(y)\rangle
\] 即\(T^\ast\)存在且\(T^\ast=T\)。
「\(\Leftarrow\)」：假設\(T^2=T=T^\ast\)。我們希望說明\(R(T)^\perp=N(T)\), \(N(T)^\perp=R(T)\)。
令\(x\in R(T)\), \(y\in N(T)\)。則應存在\(\tilde{x}\in V\)使得\(x=T(\tilde{x})=T^\ast(\tilde{x})\)。故
\[
\langle x,y\rangle=\langle T^\ast(\tilde{x}),y\rangle=\langle
x,T(y)\rangle=\langle x,0\rangle=0
\] 故\(x\in
N(T)^\perp\)，即\(R(T)\subseteq
N(T)^\perp\)。
又另外給定\(z\in
N(T)^\perp\)，有 \[
\begin{aligned}
\|y-T(y)\|^2&=\langle y-T(y),y-T(y)\rangle\\
&=\langle\underbrace{y}_{\in N(T)^\perp},\underbrace{y-T(y)}_{\in
N(T)}\rangle-\langle T(y),y-T(y)\rangle\\
&=-\langle y,T^\ast(y-T(y))\rangle\\
&=-\langle y,\underbrace{T(y-T(y))}_{=0}\rangle=0
\end{aligned}
\] 故知\(y=T(y)\)，即\(y\in R(T)\)。於是有\(N(T)^\perp=R(T)\)，即\(R(T)=N(T)^\perp\)。
而再給定\(w\in R(T)^\perp\)，則對於任何\(x\in V\)，有 \[
\langle T(w),x\rangle=\langle w,T^\ast(x)\rangle=\langle
\underbrace{w}_{\in R(T)^\ast},\underbrace{T(y)}_{\in R(T)}\rangle=0
\] 令\(x=T(w)\)即有\(T(w)=0\)，故\(w\in N(T)\)，即\(R(T)^\perp\subseteq N(T)\)。
最後，由\(R(T)=N(T)^\perp\)，我們直接有 \[
N(T)\subseteq (N(T)^\perp)^\perp=R(T)^\perp
\] 於是有\(R(T)^\perp=N(T)\)。QED
譜分解
定理 6：譜定理 (Spectral Theorem)
給定\(F\)上的有限維內積空間\(V\)及其上的線性映射\(T:V\to V\)。並且：
A. 若\(F=\mathbb{C}\)，令\(T\)是正規映射。
B. 若\(F=\mathbb{R}\)，令\(T\)是自伴隨映射。
意即，假設存在由\(T\)特徵向量構成的\(V\)的正交規範基底(見這裡的定理7與定理10)。並令\(\lambda_1,\lambda_2,\cdots,\lambda_k\)為\(T\)所有的特徵值，且其對應的特徵空間為\(W_1,W_2,\cdots,W_k\)，則：
1. \(V=W_1\oplus W_2\oplus\cdots\oplus W_k\)
2. 令 \[
W_i'=W_1\oplus\cdots\oplus W_{i-1}\oplus W_{i+1}\oplus\cdots\oplus
W_k
\] 則\(W_i^\perp=W'_i\)。
3. 令\(T_i\)為\(V\)在\(W_i\)上的正交投影，\(1\leq i\leq k\)，則\(T_iT_j=\delta_{ij}T_i\)。
4. \(I=T_1+T_2+\cdots+T_k\)
5. \(T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k\)
證明:
1. 由假設知\(T\)可對角化，故由這裡的定理15知
\[
V=W_1\oplus W_2\oplus\cdots\oplus W_k
\]
2. 給定\(x\in W_i\),
\(y\in W_j\)，其中\(i\neq j\)。則由這裡的定理6第4.點知\(\langle x,y\rangle=0\)，故應有\(W_i'\subseteq W_i^\perp\)。然而 \[
\dim W_i'=\dim V-\dim W_i=\dim W_i^\perp
\] 故\(W_i'=W_i^\perp\)。
3. 對於\(i\neq j\)，\(x\in V\)，由於\(T_j(x)\in W_j\)且\(W_j\subseteq W'_i\)，故 \[
T_iT_j(x)=T_i(T_j(x))=0
\] 而若\(i=j\)，則\(T_iT_j=T_i^2=T_i\)。
4. 對於所有\(x\in V\)，可以令 \[
x=x_1+x_2+\cdots+x_k, x_i\in W_i, 1\leq i\leq k
\] 然而\(T_i\)是\(W_i\)上的正交投影，故\(T_i(x)=x_i\)。而 \[
\begin{aligned}
I(x)=x&=x_1+x_2+\cdots+x_k\\
&=T_1(x)+T_2(x)+\cdots+T_k(x)\\
&=(T_1+T_2+\cdots+T_k)(x),\forall x\in V
\end{aligned}
\] 故有\(I=T_1+T_2+\cdots+T_k\)。
5.
對於所有\(x\in
V\)，和第4.點中一樣考慮\(x=x_1+x_2+\cdots+x_k\)。則由於\(x_i\in W_i\)，故 \[
\begin{aligned}
T(x)&=T(x_1)+T(x_2)+\cdots+T(x_k)\\
&=\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_kx_k\\
&=\lambda_1T(x)+\lambda_2T(x)+\cdots+\lambda_kT(x)\\
&=(\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k)(x)
\end{aligned}
\] 故有\(T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k\)。QED
定義 6-1：譜 (Spectrum)
定理6中的\(\{\lambda_1,\lambda_2,\cdots,\lambda_k\}\)稱為\(T\)的譜。
定義 6-2：單位分解 (Resolution of Identity)
定理6中的\(I=T_1+T_2+\cdots+T_k\)稱為由\(T\)導出的單位分解。
定義 6-3：譜分解 (Spectral Decomposition)
定理6中的\(T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k\)稱為\(T\)的譜分解。
註記 6-4
給定有限維內積空間\(V\)及其上的線性映射\(T:V\to V\)。令 \[ T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k \] 為\(T\)的譜分解。並令\(g(t)\)為多項式。則由定理6的第3.點易得 \[ \begin{aligned} g(T)&=g(\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k)\\ &=g(\lambda_1)T_1+g(\lambda_2)T_2+\cdots+g(\lambda_k)T_k \end{aligned} \]
推論 6-5
給定\(F=\mathbb{C}\)上的有限維內積空間\(V\)及其上的線性映射\(T:V\to V\)，則\(T\)是正規的 iff. 存在某個多項式\(g\)使得\(T^\ast=g(T)\)。
證明:我們分成兩個部分說明。
「\(\Leftarrow\)」：若\(T^\ast=g(T)\)，則 \[
TT^\ast=Tg(T)=g(T)T=T^\ast T
\] 即\(T\)是正規的。
「\(\Rightarrow\)」：由於\(T\)是正規的，故由定理6知\(T\)有譜分解 \[
T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k
\] 故有 \[
T^\ast=\overline{\lambda_1}T^\ast_1+\overline{\lambda_2}T^\ast_2+\cdots+\overline{\lambda_k}T^\ast_k
\] 然而由定義，\(T_i\)是正交投影，故由定理5知\(T^\ast_i=T_i\)。使用拉格朗日插值法可以找到多項式\(g\)滿足\(g(\lambda_i)=\overline{\lambda_i},\forall 1\leq
i\leq k\)。故有 \[
\begin{aligned}
g(T)&=g(\lambda_1)T_1+g(\lambda_2)T_2+\cdots+g(\lambda_k)T_k\\
&=\overline{\lambda_1}T^\ast_1+\overline{\lambda_2}T^\ast_2+\cdots+\overline{\lambda_k}T^\ast_k\\
&=T^\ast
\end{aligned}
\] QED
推論 6-6
給定\(F=\mathbb{C}\)上的有限維內積空間\(V\)及其上的線性映射\(T:V\to V\)，若\(T\)是正規的且所有\(T\)的特徵值\(\lambda\)都滿足\(|\lambda|=1\)，則\(T\)是么正映射。
(這是這裡的註記3-1的前半部，此處提供另一種說明。)
證明:由於\(T\)是正規的，故由定理6知\(T\)存在譜分解 \[ T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k \] 又所有\(T\)的特徵值\(\lambda_i\)都滿足\(|\lambda_i|=1\)，故 \[ \begin{aligned} TT^\ast&=(\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k)(\overline{\lambda_1}T^\ast_1+\overline{\lambda_2}T^\ast_2+\cdots+\overline{\lambda_k}T^\ast_k)\\ &=\lambda_1\overline{\lambda_1}T_1+\cdots+\lambda_k\overline{\lambda_k}T_k\;\;(\forall i\neq j, T_iT_j=0)\\ &=T_1+T_2+\cdots+T_k=I=T^\ast T \end{aligned} \] 即\(T\)是么正映射。QED
推論 6-7
給定\(F=\mathbb{C}\)上的有限維內積空間\(V\)及其上的正規線性映射\(T:V\to V\)，則\(T\)是自伴隨的 iff. \(T\)所有的特徵值都是實數。
證明:我們分成兩個部分說明。
「\(\Rightarrow\)」：這是這裡的引理9。
「\(\Leftarrow\)」：由於\(T\)是正規的，故由定理6知\(T\)有譜分解 \[
T=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k
\] 又\(T\)所有的特徵值都是實數，故 \[
\begin{aligned}
T^\ast&=\overline{\lambda_1}T^\ast_1+\overline{\lambda_2}T^\ast_2+\cdots+\overline{\lambda_k}T^\ast_k\\
&=\lambda_1T_1+\lambda_2T_2+\cdots+\lambda_kT_k=T
\end{aligned}
\] 即\(T\)是自伴隨的。QED
同步對角化
註記 7
給定\(F=\mathbb{C}\)上的有限維內積空間\(V\)及其上的正規線性映射\(T, U:V\to V\)。若\(TU=UT\)，則\(T^\ast U=UT^\ast\)。
證明:由於\(T\)是正規的，故由推論6-5知存在多項式\(g\)使得\(T^\ast=g(T)\)。故 \[ T^\ast U=g(T)U=Ug(T)=UT^\ast \] QED
註記 8
給定\(F=\mathbb{C}\)上的有限維內積空間\(V\)及其上的正規線性映射\(T:V\to V\)，並給定\(V\)的子空間\(W\)。若\(W\)是\(T\)-不變的，則\(W^\perp\)是\(T^\ast\)-不變的。
證明:對於所有\(w\in W^\perp\), \(v\in W\)，有\(\langle v,w\rangle=0\)。而又因為\(W\)是\(T\)-不變的，故\(T(v)\in W\)。於是 \[ \langle v,T^\ast(w)\rangle=\langle T(v),w\rangle=0 \] 即\(T^\ast(w)\in W^\perp\)，即\(W^\perp\)是\(T^\ast\)不變的。QED
定理 9：同步對角化 (Simultaneous Diagonalization)
給定\(F=\mathbb{C}\)上的有限維內積空間\(V\)及其上的正規線性映射\(T, U:V\to V\)，滿足\(TU=UT\)。則\(T\)和\(U\)可以同步對角化，即存在\(V\)的基底\(\beta\)使得\([T]_\beta\)和\([U]_\beta\)都是對角矩陣。
證明:我們對\(V\)的維度進行數學歸納法。
1. \(\dim V=1\)時，結論是顯然的。
2.
假設\(\dim V\leq
n\)時結論都成立，則當\(\dim
V=n+1\)時，考慮\(W=E_\lambda\)為\(T\)對應特徵值\(\lambda\)的特徵空間。對於\(w\in W\)，有 \[
T(T(w))=T(\lambda w)=\lambda T(w)
\] 即\(T(w)\in W\)，故知\(E_\lambda\)是\(T\)-不變的。而對於所有\(x\in E_\lambda\)，又有 \[
TU(x)=UT(x)=U(\lambda x)=\lambda U(x)
\] 即\(U(x)\in
E_\lambda\)，故\(E_\lambda\)也是\(U\)-不變的。而由於\(T\)是正規的，故對於所有\(x\in E_\lambda\)，有 \[
T(T^\ast(x))=T^\ast(T(x))=T^\ast(\lambda x)=\lambda T^\ast(x)
\] 即\(T^\ast(x)\in W\)，\(E_\lambda\)也是\(T^\ast\)不變的。我們接著希望說明\(E_\lambda\)是\(U^\ast\)不變的。由註記7可知\(U^\ast T=TU^\ast\)，故對於所有\(x\in E_\lambda\)，有 \[
TU^\ast(x)=U^\ast T(x)=\lambda U^\ast(x)
\] 即\(U^\ast(x)\in
E_\lambda\)，\(E_\lambda\)是\(U^\ast\)不變的。故由註記8，我們可以知道\(W^\perp\)是\(T\)-不變、\(U\)-不變、\(T^\ast\)-不變及\(U^\ast\)不變的(前兩項來自\(W\)是\(T^\ast\)-不變及\(U^\ast\)不變，後兩項來自\(W\)是\(T\)-不變及\(U\)-不變)。故\(T_W, U_W, T_{W^\perp},
U_{W^\perp}\)都是正規的，且 \[
TU=UT, T_WU_W=U_WT_W, T_{W^\perp}U_{W^\perp}=U_{W^\perp}T_{W^\perp}
\] 而\(\dim W,\dim W^\perp<\dim
V\)，故由歸納假設知\(T_W\)和\(U_W\)可同步對角化，\(T_{W^\perp}\)和\(U_{W^\perp}\)可同步對角化。而\(V=W\oplus W^\perp\)，故\(T\)和\(U\)可同步對角化。故由數學歸納法知此定理對任意\(\dim
V=n\)都成立。QED
在實數上，也有類似的定理。證明是相似的。
定理 9-1
給定\(F=\mathbb{R}\)上的有限維內積空間\(V\)及其上的自伴隨線性映射\(T, U:V\to V\)，滿足\(TU=UT\)，則\(T\)和\(U\)可以同步對角化。