定义:Orthogonal Matrix (必为方阵) 如果$A^TA=AA^T=I$,则$n$阶实矩阵$A$称为正交矩阵
性质:
1)$A^T$是正交矩阵
2)$A$的各行是单位向量且两两正交
3)$A$的各列是单位向量且两两正交
4)|A|=1或-1
举例:
二、标准正交矩阵的优势
1)求解投影矩阵
在投影矩阵章节我们已经知道投影矩阵为:$P=A\left(A^{T} A\right)^{-1} A^{T}$
当矩阵A为标准正交矩阵Q时,由于正交矩阵与其转置的乘积为单位矩阵,则上式可以转化为:$P=QQ^{T}$
这样就将投影矩阵简单化了。
2)求解$Ax=b$
在投影矩阵章节我们已经知道:$\hat{x}=\left(A^{T} A\right)^{-1} A^{T} b$
当矩阵A为标准正交矩阵Q时,由于正交矩阵与其转置的乘积为单位矩阵,则上式可以转化为:$\hat{x}=Q^{T} b$
三、Gram-Schmidt正交化
1)二维情况
假设原来的矩阵为[a,b],a,b为线性无关的二维向量,下面我们通过Gram-Schmidt正交化获得标准正交矩阵
假设正交化后的矩阵为Q=[A,B],我们可以令$A=a$,$B$垂直于$A$,根据我们在前面所讲的投影,我们将$b$投影到$a$上,误差向量$e$即为$B$:
$B=b - \frac{A^{T} b}{A^{T} A}A$
2)三维情况
假设原来的矩阵为[a,b,c],a,b,c为线性无关的二维向量,正交化后的矩阵为Q=[A,B,C],我们可以令$A=a$,则可以根据二维情况得到如下猜想:
$B=b - \frac{A^{T} b}{A^{T} A}A$
$C= c - \frac{A^{T} c}{A^{T} A}A - \frac{B^{T} c}{B^{T} B}B$
用$c$减去其在$A$和$B$上的投影就得到我们想要的$C$
3)多维情况
如果我们有更多的向量,那我们就用新的向量减去它在已经设定好的所有向量上的投影即可,最后,我们再除以它们各自的长度就得到了标准正交向量
4)实例
假设矩阵为[a,b]
$a=\left[\begin{array}{l}{1} \\ {1} \\ {1}\end{array}\right], b=\left[\begin{array}{c}{1} \\ {0} \\ {2}\end{array}\right]$
则由二维情况的结论可知:
$A=a$
$B=b - \frac{A^{T} b}{A^{T} A}A$
把具体数值代入得:
经过归一化得:
原始矩阵的列空间和Q的列空间相同,能够张成一个二维空间的平面。a和b是原始矩阵列空间的一组基,但这组基“不够好”
我们还想进一步让这组基的向量两两正交,并且都是单位向量,这就得到了q1和q2
四、矩阵的QR 分解
如同$A = LU$一样,$A$可以分解成一个正交矩阵和一个上三角矩阵的乘积,$A = QR$
这里$A$是原始矩阵,各列线性无关,$Q$是标准正交矩阵,$R$是上三角矩阵
假设原始矩阵$A$有三个列向量:
$A=[a_1, a_2, a_3]$
按照格拉姆-施密特正交化方法转换后,得到$q_1, q_2, q_3$:
$Q=[q_1, q_2, q_3]$
我们知道$A = QR$,想求$R$,等式同乘$Q^T$