這份筆記是關於正交補餘與正交投影的定義與性質。
正交補餘
定義 1：正交補餘 (Orthogonal Complement)
給定內積空間\(V\)，令\(S\)為\(V\)的子集。我們定義\(S\)的正交補餘為 \[ S^\perp=\{x\in V:\langle x,y\rangle=0,\forall y\in S\} \]
註記 1-1
顯然可知\(S^\perp\)是一個向量空間。
註記 1-2
若\(W\)是向量空間\(V\)的子空間，則\(W\cap W^\perp=\{0\}\)。
證明：對於\(0\neq w\in W\)，總有\(\langle w,w\rangle>0\)，故\(w\notin W^\perp\)。QED
定理 2
給定內積空間\(V\)及其子空間\(W\)，其中\(\dim W<\infty\)。給定\(y\in V\)，則存在唯一\(u\in W\)與\(z\in W^\perp\)使得\(y=u+z\)。並且若\(\{v_1,v_2,\cdots,v_k\}\)是\(W\)的正交規範基底(由格蘭-施密特正交化過程可知此基底存在，見這裡的定理10-1)，則 \[ u=\sum_{i=1}^k\langle y,v_i\rangle v_i \]
證明：對於上述的\(u\)，令 \[
z=y-u=y-\sum_{i=1}^k\langle y,v_i\rangle v_i
\] 我們很容易可以知道\(u\in
W\)，我們希望說明\(z\in
W^\perp\)。對於\(j=1\sim
k\)，我們有 \[
\begin{aligned}
\langle z,v_j\rangle&=\left\langle y-\sum_{i=1}^k\langle
y,v_i\rangle v_i,v_j\right\rangle\\
&=\langle y,v_j\rangle-\left(\sum_{i=1}^k\langle y,v_i\rangle\langle
v_i,v_j\rangle\right)
\end{aligned}
\] 由於\(\{v_1,v_2,\cdots,v_k\}\)是正交規範的，故
\[
\langle v_i,v_j\rangle=\left\{
\begin{aligned}
0&,\mbox{ if }i\neq j\\
1&,\mbox{ if }i=j
\end{aligned}
\right.
\] 故有 \[
\langle z,v_j\rangle=\langle y,v_j\rangle-\langle y,v_j\rangle=0
\] 故對所有\(w\in W\)，有\(\langle z,w\rangle=0\)，即\(z\in W^\perp\)。
接著，我們希望證明這樣的\(u,z\)是唯一的。假設\(y=z+u=z'+u'\)，其中\(z,z'\in W^\perp\)，\(u,u'\in W\)。則 \[
\underbrace{z-z'}_{\in W^\perp}=\underbrace{u'-u}_{\in W}
\] 即 \[
z-z'=u'-u\in W\cap W^\perp=\{0\}
\] 即\(z=z'\), \(u=u'\)。如此便有了唯一性。QED
註記 2-1
給定內積空間\(V\)及其子空間\(W\)，其中\(\dim
W<\infty\)，並用\(V\)上的內積定義範數\(\|\cdot\|\)(見這裡的定義4)。對於\(y\in V\)，我們用定理2的方式將\(y\)分解成\(y=u+z\), \(u\in
W\), \(z\in W^\perp\)。則\(u\)是\(W\)中最靠近\(y\)的向量 i.e. \(\forall x\in W\), \(\|y-x\|\geq\|y-u\|\)。
證明：對於\(x\in W\)，我們知道\(u-x\in W\)，又\(z\in W^\perp\)，故\(\langle u-x,z\rangle=0\)。故有 \[ \begin{aligned} \|y-x\|^2&=\|u+z-x\|^2=\|(u-x)+z\|^2\\ &=\|u-x\|^2+\|z\|^2+\underbrace{\langle u-x,z\rangle}_{=0}+\underbrace{\langle z,u-x\rangle}_{=0}\\ &\geq \|z\|^2=\|y-u\|^2 \end{aligned} \] 故有\(\|y-x\|\geq\|y-u\|\)。QED
定理 3
給定內積空間\(V\)，其中\(\dim V<\infty\)。令\(S=\{v_1,v_2,\cdots,v_k\}\)為\(V\)的正交規範子集。則：
1. \(S\)可以被擴張成\(V\)的正交規範基底\(\{v_1,v_2,\cdots,v_k,v_{k+1},\cdots,v_n\}\)。
2. 令\(W=\mbox{span}(S)\)，則\(\{v_{k+1},v_{k+2},\cdots,v_n\}\)是\(W^\perp\)的正交規範基底。
3. 對於\(V\)的任意子集\(U\)，有\(\dim
V=\dim U+\dim U^\perp\)。
證明：
1. 使用取代定理(這裡的定理5)可以從\(S\)建構出\(V\)的基底\(\{v_1,v_2,\cdots,v_k,w_{k+1},\cdots,w_n\}\)。然後就可以對其進行格蘭-施密特正交化過程(這裡的定理10)。很容易可以發現這個過程並不會改變\(\{v_1,v_2,\cdots,v_k\}\)，故可由此得到\(V\)的正交規範基底\(\{v_1,v_2,\cdots,v_k,v_{k+1},\cdots,v_n\}\)。
2. 我們有\(W=\mbox{span}(\{v_1,v_2,\cdots,v_k\})\)。沿用第1.點的記號，令
\[
S_1=\{v_{k+1},v_{k+2},\cdots,v_n\}
\] 由第1.點知\(S_1\)是線性獨立的。由於\(\{v_1,v_2,\cdots,v_n\}\)是正交規範的，故應有\(\mbox{span}(S_1)\subseteq
W^\perp\)。又給定\(x\in
W^\perp\subseteq V\)，由這裡的註記9-1知
\[
x=\sum_{i=1}^n\langle x,v_i\rangle v_i
\] 而由於\(x\in
W^\perp\)，故對於所有\(j=1\sim
k\)有\(\langle
x,v_j\rangle=0\)。故 \[
x=\sum_{i=1}^n\langle x,v_i\rangle v_i=\sum_{i=k+1}^n\langle
x,v_i\rangle v_i\in \mbox{span}(S_1)
\] 故有\(W^\perp\subseteq\mbox{span}(S_1)\)。於是有\(W^\perp=\mbox{span}(S_1)\)，即\(S_1\)是\(W^\perp\)的正交規範基底。
3.
由第1.點與第2.點可知這是顯然的。QED
正交投影
定義 4：正交投影 (Orthogonal Projection)
給定內積空間\(V\)及其子空間\(W\)，其中\(\dim
W<\infty\)。考慮滿足以下兩個性質的線性映射\(\mbox{Proj}_W:V\to W\):
1. \(\forall x\in V\), \(\mbox{Proj}_W(x)\in W\)。
2. \(\forall x\in V\), \(x-\mbox{Proj}_W(x)\in W^\perp\)。
我們稱這樣的線性映射為\(V\)在\(W\)上的正交投影。
註記 4-1
給定內積空間\(V\)及其子空間\(W\)，其中\(\dim W<\infty\)。對於\(y\in V\)，由定理2知存在唯一的\(u\in W\), \(z\in W^\perp\)使得\(y=u+z\)。考慮映射\(f:V\to W\)使得 \[ \forall y\in V, f(y)=u \] 很容易可以檢驗\(f\)是線性映射，且\(f\)是\(V\)在\(W\)上的正交投影。事實上，由\(u,z\)的唯一性會有\(f=\mbox{Proj}_W\)。
註記 4-2
給定內積空間\(V\)及其子空間\(W\)，其中\(\dim
W<\infty\)。則\(\mbox{Proj}_W=\mbox{Proj}_W^2\)。
證明：對於任意\(x\in V\)，由定義知\(x-\mbox{Proj}_W(x)\in W^\perp\)。故有 \[ \begin{aligned} \underbrace{\mbox{Proj}_W(x-\mbox{Proj}_W(x))}_{\in W}&=\underbrace{\mbox{Proj}_W(x)-\mbox{Proj}_W^2(x)}_{\in W^\perp}\\ &\in W\cap W^\perp=\{0\} \end{aligned} \] 故對於所有\(x\in V\)有\(\mbox{Proj}_W(x)=\mbox{Proj}_W^2(x)\)，即\(\mbox{Proj}_W=\mbox{Proj}_W^2\)。QED