這份筆記是關於線性方程組的解的性質。
這裡的行與列依循的是台灣的翻譯習慣，即行對應到英文的Column，而列對應到英文的Row。
線性方程組
定義 1：線性方程組 (Linear Equations)
我們稱如下形式的方程組為線性方程組： \[ (s)\left\{ \begin{aligned} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n&=b_1\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n&=b_2\\ &\vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n&=b_n \end{aligned} \right. \] 我們可以把此方程記為\(Ax=b\)，其中\(A\)為\(m\times n\)矩陣 \[ A=\left( \begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{array} \right) \] \(x\)是\(m\times 1\)矩陣 \[ x=\left( \begin{array}{c} x_1\\ x_2\\ \vdots\\ x_m \end{array} \right) \] \(b\)是\(m\times 1\)矩陣 \[ b=\left( \begin{array}{c} b_1\\ b_2\\ \vdots\\ b_m \end{array} \right) \]
定義 1-1：線性方程組的解 (Solution of Linear Equations)
對於 \[ \tilde{x}=\left( \begin{array}{c} x_1\\ x_2\\ \vdots\\ x_m \end{array} \right)\in F^m \] 我們說\(\tilde{x}\)是\((s)\)的解，若\(A\tilde{x}=b\)。
定義 1-2：線性方程組的解 (Solution Set of Linear Equations)
我們稱\((s)\)所有解的集合為\((s)\)的解集。
定義 1-2-1：一致線性方程組 (Consistent Linear Equations)
若\((s)\)的解集不為空，則我們說\((s)\)是一致的。
定義 1-2-2：不一致線性方程組 (Inconsistent Linear Equations)
若\((s)\)的解集為空，則我們說\((s)\)是不一致的。
定義 1-3：齊次性 (Homogeneity)
定義 1-3-1：齊次線性方程組 (Homogeneous Linear Equations)
我們稱\(Ax=0\)為齊次方程組。
定義 1-3-2：非齊次線性方程組 (Non-homogeneous Linear Equations)
我們稱\(Ax=b, b\neq 0\)為非齊次方程組。
註記 2
給定線性方程組\(Ax=0\)，其中\(A\in M_{m\times n}(F)\)。令\(K\)為此方程組的解集，則\(K=N(L_A)\)。
推論 2-1
由維度定理(這裡的定理8)知 \[ \dim K=\mbox{nullity}(L_A)=\dim(F^n)-\mbox{rank}(L_A)=n-\mbox{rank}(L_A) \]
推論 2-2
沿用註記2的符號，若\(m<n\)，則\(Ax=0\)有非零解。
證明：由推論2-1有 \[ \dim K=n-\mbox{rank}(A)\geq n-m\geq 1 \] 即\(K\)中有非零元素 i.e. \(Ax=0\)有非零解。QED
定理 3
令\(K\)為\(Ax=b\)的解集，\(K_H\)為\(Ax=0\)的解集，\(s\)為\(Ax=b\)的任一解，則 \[ K=\{s\}+K_H\equiv\{s+k:k\in K_H\} \]
證明：我們分成兩部分證明。
1.
給定\(w\in K\)，則\(Aw=b\)，即 \[
A(w-s)=Aw-As=b-b=0
\] 故\(w-s\in K_H\), \(w\in\{s\}+K_H\)，故\(K\subseteq\{s\}+K_H\)。
2. 給定\(w\in\{s\}+K_H\)，則存在某個\(k\in K_H\)使\(k\in K_H\)。則 \[
Aw=A(s+k)=As+\underbrace{Ak}_{=0}=b
\] 故\(w\in K\)，即\(\{s\}+K_H\subseteq K\)。
綜合1.與2.，有\(K=\{s\}+K_H\)。QED
定理 4
給定線性方程組\(Ax=b\)，其中\(A\in M_{m\times n}(F)\)。則\(A\)可逆 iff. \(Ax=b\)友且僅有一組解。
證明：我們分成兩部分證明。
「\(\Rightarrow\)」：若\(A\)可逆，則 \[
A(A^{-1}b)=(AA^{-1})b=b
\] 故\(A^{-1}b\)是\(Ax=b\)的解。而若有\(s\)使得\(As=b\)，則易有\(s=A^{-1}b\)，故知\(Ax=b\)有唯一解。
「\(\Leftarrow\)」：若\(s\)是\(Ax=b\)的唯一解，則由定理3知其解集\(K\)可表為 \[
K=\{s\}+K_H
\] 其中\(K_H\)為\(Ax=0\)的解集。但\(s\)為\(Ax=b\)的唯一解，故應有\(K=\{s\}\)。故由註記2-1知 \[
\{0\}=K_H=N(L_A)
\] 故由這裡的定理9和這裡的性質1-6知\(A\)可逆。QED
定理 5
給定線性方程組\(Ax=b\)，其中\(A\in M_{m\times n}(F)\)。則\(Ax=b\)有解 iff. \(\mbox{rank}(A)=\mbox{rank}(A|b)\)。
證明：我們知道 \[ Ax=b\mbox{有解}\Leftrightarrow b\in R(L_A) \] 又 \[ R(L_A)=\mbox{span}(\{a_1,a_2,\cdots,a_n\}) \] 其中\(a_1,a_2,\cdots,a_n\)是\(A\)的行。則 \[ \begin{aligned} b\in R(L_A)&\Leftrightarrow\mbox{span}(\{a_1,\cdots,a_n\})=\mbox{span}(\{a_1,\cdots,a_n,b\})\\ &\Leftrightarrow \dim(\mbox{span}(\{a_1,\cdots,a_n\}))=\dim(\mbox{span}(\{a_1,\cdots,a_n,b\}))\\ &\Leftrightarrow \mbox{rank}(A)=\mbox{rank}(A|b) \end{aligned} \] QED
定理 6
令\(C\)是可逆矩陣，則\(Ax=b\)和\(CAx=Cb\)有一樣的解集。
定義 6-1：等價線性方程組 (Equivalent Linear Equations)
我們稱有一樣解集的兩組線性方程組是等價的。
證明：令\(K\)為\(Ax=b\)的解集，\(K'\)為\(CAx=Cb\)的解集。給定\(w\in K\)，由\(Aw=b\)直接可得\(CAw=Cb\)，即\(w\in K'\) i.e. \(K\subseteq K'\)。
而給定\(w\in K'\)，有\(CAw=Cb\)。由於\(C\)可逆，故 \[
C^{-1}(CAw)=C^{-1}(Cb)\Rightarrow Aw=b
\] 即\(w\in K\) i.e. \(K'\subseteq K\)。
綜上所述，有\(K=K'\)。QED
註記 6-2
若\((A'|b')\)可由\((A|b)\)經一系列基本列運算得到，則\((A'|b')\)和\((A|b)\)等價。
證明：我們知道存在一系列基本矩陣\(E_1,\cdots,E_p\)使得 \[ (A'|b')=E_pE_{p-1}\cdots E_1(A|b) \] 然而矩陣 \[ M=E_pE_{p-1}\cdots E_1 \] 顯然是可逆的，故由定理6知\((A'|b')\)和\((A|b)\)等價。QED
高斯消去法
定義 7：列梯形式 (Echelon Form)
我們稱一個矩陣為列梯形式，若
1. 在某一列之後每一列都只有\(0\)。
2.
每個非零列的第一個非零元素是其所在行的唯一非零元素。
3.
每列的第一個非零元素為\(1\)，且其所在行在「上一列的第一個非零元素的所在行」的右邊。
定義 8：高斯消去法 (Gaussian Elimination)
即用一系列基本列運算把\((A|b)\)化為列梯形式並求解\(Ax=b\)的方案。
例 8-1
考慮增廣矩陣 \[ \left( \begin{array}{ccccc|c} 2 & 3 & 1 & 4 & -9 & 17\\ 1 & 1 & 1 & 1 & -3 & 6\\ 1 & 1 & 1 & 2 & -5 & 8\\ 2 & 2 & 2 & 3 & -8 & 14 \end{array} \right) \] 經過一系列基本列運算後，可以將其化為列梯形式 \[ \left( \begin{array}{ccccc|c} \textcolor{red}{1} & 0 & \textcolor{blue}{2} & 0 & \textcolor{blue}{-2} & 3\\ 0 & \textcolor{red}{1} & -1 & 0 & 1 & 1\\ 0 & 0 & 0 & \textcolor{red}{1} & -2 & 2\\ 0 & 0 & 0 & 0 & 0 & 0 \end{array} \right) \] 令此方程組的解為 \[ x=\left( \begin{array}{c} x_1\\ x_2\\ x_3\\ x_4\\ x_5 \end{array} \right) \] 則我們可以令\(x_3=t_1\), \(x_5=t_2\)。則 \[ x_1=3-2t_1+2t_2, x_2=1+t_1-t_2, x_4=2+t_2 \] 即 \[ x=\left( \begin{array}{c} 3\\ 1\\ 0\\ 2\\ 0 \end{array} \right)+t_1\left( \begin{array}{c} -2\\ 1\\ 1\\ 0\\ 0 \end{array} \right)+t_2\left( \begin{array}{c} 2\\ -1\\ 0\\ 2\\ 1 \end{array} \right) \]