這份筆記是關於希爾伯特空間的定義與性質，以及里斯表現定理。
希爾伯特空間
定義 1：柯西序列 (Cauchy Sequence)
給定內積空間\(V\)，並用其上的內積定義範數。考慮\(V\)上的序列\(\{x_n\}_{n=1}^\infty\subseteq V\)。若對於所有\(\epsilon>0\)，存在\(N>0\)使得對於所有\(m,n>N\)有\(\|x_n-x_m\|<\epsilon\)，則稱\(\{x_n\}\)為一\(V\)上的柯西序列。
定義 2：希爾伯特空間 (Hilbert Space)
給定內積空間\(V\)，並用其上的內積定義範數。若對於\(V\)上的所有柯西序列\(\{x_n\}\)，都存在\(x\in V\)使得 \[ \lim_{n\to infty}\|x_n-x\|=0 \] i.e. \(\{x_n\}\)在\(V\)中收斂，則稱\(V\)是希爾伯特空間。
定義 3：閉集 (Closed Set)
給定希爾伯特空間\(V\)及其子集\(W\)。若任意\(W\)中的柯西序列\(\{x_i\}\subseteq W\)都收斂到某個\(x\in W\)，則我們說\(W\)是閉集。
定理 4
給定希爾伯特空間\(V\)與其閉子集\(W\)，則\(\mbox{Proj}_W\)存在且唯一(我們在這裡的定理2證過有限維的狀況了，然而此處\(V,W\)可能是無限維的)。
證明：對於\(x\in V\)，令\(S=\{\|x-w\|:w\in W\}\)是一個\(\mathbb{R}\)的子集。因為總有\(\|x-w\|\geq 0\)，故\(S\)有下界。令\(d\)是\(S\)的最大下界。我們希望找出\(y\in W\)使得\(\|x-y\|=d\)且\(y-x\in W^\perp\)。
由於\(d\)是\(S\)的最大下界，故對於所有\(n>0\)，都存在\(w_n\in W\)使得 \[
d\leq\|x-w_n\|\leq d+\frac{1}{n}
\] (不然最大下界就可以是\(d+1/n\)了)。給定正整數\(N>0\)，則對於任意\(m,n>N\)，有 \[
\begin{aligned}
\|w_n-w_m\|^2&=\|(w_n-x)-(w_m-x)\|^2\\
&=\|w_n-x\|^2+\|w_m-x\|^2-2\mbox{Re}(\langle w_n-x,w_m-x\rangle)
\end{aligned}
\] 且 \[
4\left\|\frac{w_n+w_m}{2}-x\right\|^2=\|w_n-x\|^2+\|w_m-x\|^2+2\mbox{Re}(\langle
w_n-x,w_m-x\rangle)
\] 綜合上兩式有 \[
\|w_n-w_m\|^2=2\|w_n-x\|^2+2\|w_m-x\|^2-4\left\|\frac{w_n+w_m}{2}-x\right\|^2
\] 而我們有\(\|w_n-x\|\leq
d+1/n\), \(\|w_m-x\|\leq
d+1/m\)以及 \[
\begin{aligned}
\left\|\frac{w_n+w_m}{2}-x\right\|&=\left\|\frac{w_n-x}{2}+\frac{w_m-x}{2}\right\|\\
&\geq\frac{1}{2}\|w_n-x\|+\frac{1}{2}\|w_m-x\|\mbox{ (三角不等式)}\\
&\geq \frac{1}{2}d+\frac{1}{2}d=d
\end{aligned}
\] 故 \[
\begin{aligned}
\|w_n-w_m\|^2&\leq
2\left(d+\frac{1}{n}\right)^2+2\left(d+\frac{1}{m}\right)^2-4d^2\\
&=4d\left(\frac{1}{n}+\frac{1}{m}\right)+2\left(\frac{1}{n^2}+\frac{1}{m^2}\right)\\
&\leq\frac{8d}{N}+\frac{4}{N^2}
\end{aligned}
\] 這當\(N\)很大時可以任意小，故知\(\{w_n\}\)是\(W\)中的柯西序列。而又由於\(W\)是閉的，故應存在\(y\in W\)使得當\(n\to\infty\)時\(w_n\to y\)。於是，對於所有\(w_n\)，我們有 \[
d\leq\|x-y\|=\|x-w_n+w_n-y\|\leq\|x-w_n\|+\|y-w_n\|
\] 而又\(\|x-w_n\|\to d\), \(\|y-w_n\|\to 0\)，故\(\|x-y\|=d\)。
接著我們需要說明\(x-y\in W^\perp\)，即對於所有\(w\in W\)有\(\langle x-y,w\rangle=0\)。給定\(t\in\mathbb{R}\)(或\(\mathbb{C}\))，由\(y+tw\in W\)可知 \[
\|x-(y+tw)\|\geq \|x-y\|=d
\] 故有\(\|x-y-tw\|^2\geq\|x-y\|^2\)，即 \[
\begin{aligned}
&2\mbox{Re}(\langle x-y,-tw\rangle)+|t|^2\|w\|^2\geq 0\\
\Rightarrow&|t|^2\|w\|^2-2\mbox{Re}(\overline{t}\langle
x-y,w\rangle)\geq 0\mbox{ (☆)}
\end{aligned}
\] 若存在\(0\neq w\in
W\)使得\(\langle x-y,w\rangle\neq
0\)，則令 \[
\langle x-y,w\rangle=re^{i\theta}, t=\epsilon
e^{i\theta},\;\;r,\epsilon>0
\] 則代回(☆)式有 \[
\begin{aligned}
&\epsilon^2\|w\|^2-2\mbox{Re}(\epsilon e^{-i\theta}re^{i\theta})\geq
0\\
\Rightarrow&\epsilon^2\|w\|^2-2\epsilon r\geq 0
\end{aligned}
\] 而又\(\epsilon>0\)，故\(\epsilon\|w\|^2-2r\geq
0\)。然而，這條式子應該對於任意\(\epsilon>0\)都正確，但\(r\)是固定的數。明顯矛盾，故應有\(\langle x-y,w\rangle=0\)，即\(x-y\in W^\perp\)。
最後，這裡的定理2在證明\(y\)的唯一性時並未用到\(V\)有限維的條件，故不需調整。即對於任意\(x\in V\)，都存在唯一\(\mbox{Proj}_W(x)\in W\)使得\(x-\mbox{Proj}_W(x)\in
W^\perp\)。QED
有界算子
定義 5：有界算子 (Bounded Operator)
給定\(F=\mathbb{C}\)或\(\mathbb{R}\)上的希爾伯特空間\(V\)，並考慮線性映射\(l:V\to F\)。若存在\(M\)使得 \[ \forall x\in V, |l(x)|\leq M\|x\| \] 則稱\(l\)是有界算子。
定義 6：有界算子空間 (Space of Bounded Operators)
給定\(F=\mathbb{C}\)或\(\mathbb{R}\)上的希爾伯特空間\(V\)，記\(V\)的有界算子空間為 \[ V^\ast_{bdd}=\{l\in V^\ast:l\mbox{ is bounded}\} \]
註記 7
給定\(F=\mathbb{C}\)或\(\mathbb{R}\)上的內積空間\(V\)。若\(\dim
V<\infty\)，則\(V^\ast_{bdd}=V^\ast\)。
證明：令\(\{v_1,v_2,\cdots,v_n\}\)為\(V\)的正交規範基底。則對於\(l\in V^\ast\)，應有 \[ l(a_1v_1+a_2v_2+\cdots+a_nv_n)=a_1l(v_1)+a_2l(v_2)+\cdots+a_nl(v_n) \] 則對於\(x=a_1v_1+a_2v_2+\cdots+a_nv_n\)，有 \[ \begin{aligned} |l(x)|^2&=|a_1l(v_1)+a_2l(v_2)+\cdots+a_nl(v_n)|^2\\ &\leq(|a_1|^2+|a_2|^2+\cdots+|a_n|^2)(|l(v_1)|^2+|l(v_2)|^2+\cdots+|l(v_n)|^2)\\ &\mbox{(普通的柯西不等式)} \end{aligned} \] 又因為\(\{v_1,v_2,\cdots,v_n\}\)是正交規範的，故 \[ \|x\|^2=|a_1|^2+|a_2|^2+\cdots+|a_n|^2 \] 於是 \[ |l(x)|^2\leq \|x\|^2\underbrace{(|l(v_1)|^2+|l(v_2)|^2+\cdots+|l(v_n)|^2)}_{\mbox{定值}} \] 令\(M=\sqrt{|l(v_1)|^2+|l(v_2)|^2+\cdots+|l(v_n)|^2}\)，即有\(|l(x)|\leq M\|x\|\)。故\(l\)是有界算子，即\(V^\ast_{bdd}=V^\ast\)。QED
註記 7-1
\(\dim V=\infty\)時不一定有\(V^\ast_{bdd}=V^\ast\)。
里斯表現定理
定理 8
給定\(F=\mathbb{C}\)或\(\mathbb{R}\)上的內積空間\(V\)，其中\(\dim V=n<\infty\)，並令\(V^\ast\)為\(V\)的對偶空間。則\(V\simeq V^\ast\)，且這個同構映射是\(v\to l_v\)，其中這個\(l_v\in V^\ast\)是映射\(l_v:V\to F\)，滿足 \[ \forall x\in V, l_v(x)=\langle x,v\rangle \]
證明：令\(\beta=\{v_1,v_2,\cdots,v_n\}\)是\(V\)的基底。考慮集合\(\{l_{v_1},l_{v_2},\cdots,l_{v_n}\}\)。我們希望說明這個集合是\(V^\ast\)的基底，如此\(v\to l_v\)就是同構映射了。
由這裡的定理2可知\(\dim V=\dim V^\ast\)，故我們只要證明\(\{l_{v_1},l_{v_2},\cdots,l_{v_n}\}\)是線性獨立的即可。考慮純量\(a_1,a_2,\cdots,a_n\)使得 \[
a_1l_{v_1}+a_2l_{v_2}+\cdots+a_nl_{v_n}=0\in V^\ast
\] 即 \[
\forall x\in V, (a_1l_{v_1}+a_2l_{v_2}+\cdots+a_nl_{v_n})(x)=0
\] 故 \[
\forall x\in V, \langle
x,\overline{a_1}v_1+\overline{a_2}v_2+\cdots+\overline{a_n}v_n\rangle=0
\] 令\(x=\overline{a_1}v_1+\overline{a_2}v_2+\cdots+\overline{a_n}v_n\)，可知應有\(\overline{a_1}v_1+\overline{a_2}v_2+\cdots+\overline{a_n}v_n=0\)。然而\(\{v_1,v_2,\cdots,v_n\}\)是線性獨立的，故
\[
\forall i=1\sim n, \overline{a_i}=0=a_i
\] 即\(\{l_{v_1},l_{v_2},\cdots,l_{v_n}\}\)也是線性獨立的。QED
註記 8-1
定理8在\(\dim V=\infty\)時不一定會成立。
定理 9：里斯表現定理 (Riesz Representation Theorem)
給定希爾伯特空間\(V\)與有界算子\(l\in V^\ast_{bdd}\)。則存在\(y\in V\)使得\(l(x)\langle x,y\rangle\), \(\forall x\in V\)。
證明：令\(N=N(l)\)，我們希望說明\(N\)是閉的。
給定\(N\subseteq V\)中的柯西序列\(\{z_n\}^\infty_{n=1}\)，則由定義知 \[
l(z_i)=0,\forall i\in\mathbb{N}
\] 而因為\(V\)是希爾伯特空間，故\(\{z_n\}\)收斂，令其收斂到\(z\in V\)。若要說明\(N\)是閉的，則必須說明\(z\in N\)，即\(l(z)=0\)。
由於\(l\)是有界的，故應存在\(M>0\)使得對於所有\(x\in V\)有\(|l(x)|\leq M\|x\|\)。於是，有 \[
|l(z)-l(z_n)|\leq M\|z-z_n\|
\] 而由\(z_n\to z\)知當\(n\to\infty\)時，\(\|z-z_n\|\)可以任意小。故有 \[
\lim_{n\to\infty}|l(z)-l(z_n)|=0
\] 而由\(l(z_n)=0\)有\(l(z)=0\)。故可知\(N=N(l)\)確是閉的。
接著，若\(N=V\)，則\(l\equiv 0\)，可以令\(y=0\)，即有\(0=l(x)=\langle x,0\rangle\)。而若\(N\neq V\)，則因為\(N\)是閉集，故由定理4知\(\mbox{Proj}_N\)唯一存在，即\(N^\perp\)中有非零元素(對於\(x\notin N\)，有\(0\neq x-\mbox{Proj}_N(x)\in
N^\perp\))。於是可以給定\(0\neq v\in
N^\perp\)。由\(v\notin
N=N(l)\)知應有\(l(v)\neq
0\)，則對於所有\(x\in V\)，有
\[
l(x)=\alpha l(v),\;\;\alpha=\frac{l(x)}{l(v)}
\] 故有\(l(x-\alpha
v)=0\)，於是有\(x-\alpha v\in
N\)。而\(v\in N^\perp\)，故
\[
\langle x-\alpha v,v\rangle=0
\] 故 \[
\langle x,v\rangle=\alpha\langle v,v\rangle=\frac{l(x)}{l(v)}\langle
v,v\rangle
\] 稍做移項，有 \[
l(x)=\frac{\langle x,v\rangle}{\langle v,v\rangle}l(v)=\left\langle
x,\overline{\frac{l(v)}{\langle v,v\rangle}}v\right\rangle
\] 可以看到\(\overline{\frac{l(v)}{\langle
v,v\rangle}}v\)和\(x\)無關，故可令\(y=\overline{\frac{l(v)}{\langle
v,v\rangle}}v\)，即得 \[
l(x)=\langle x,y\rangle,\forall x\in V
\] QED
