一个矩阵和他本身的转置矩阵乘积必然是一个对称矩阵$A^TA = (A^TA)^T$，正如下面的图示。这一个重要性质在比如协方差矩阵PCA降维时非常有用!
假如给定一个数据集:$$X = (X_1,X_2,...,X_n)^T, X_i=(X_{i1},X_{i2},..,X_{im})$$
我们对m个特征数据列分别做数据中心化，使得特征随机变量均值为0，则有
$$C=X^TX=\sum_{i=1}^{n} X_i^TX_i$$
矩阵$C$为数据集$X$的协方差矩阵，是一个实对称矩阵!
协方差矩阵(实对称矩阵)的特征值分解$$C=X^TX = Q\Sigma Q^T$$
其中$Q$为$C$矩阵的特征向量，互相正交，$\Sigma$则是其特征值组成的对角矩阵。 PCA降维时就是找到对应最大特征值对应的特征向量
PCA降维核心思想W为pxd矩阵，p为降维的目标维数，W由$X^TX$协方差矩阵的前p个最大特征值对应的特征向量组成的矩阵。由于特征向量反映了矩阵数据变化最快的方向，而这里协方差矩阵的数据意义为数据方差，因此也代表着数据方差变化最快的方向，也就是最能反映数据特征的方向，这就是PCA降维的几何解释
对称矩阵:$A=A^T$：实对称矩阵的特征值都是实数
实对称矩阵的任一特征值都有一个实特征向量
实对称矩阵不同特征值的实特征向量互相正交
实对称矩阵一定可以相似对角化
反对称矩阵:$A=-A^T$
可逆矩阵设A为n阶方阵，若存在n阶方阵B，使得:$AB = BA = E_n$，则称$A$是可逆矩阵，$B为A$的可逆矩阵,记为$B=A^{-1}$
逆矩阵的几何意义就是将图形变回原来的样子
如果A可逆，则其A的拟矩阵是唯一的。
如果A可逆，则A的逆矩阵也是可逆的$(A^{-1})^{-1} = A$
如果A，B都是n阶可逆矩阵，则$(AB)^{-1} = B^{-1}A^{-1}$ :乘积的逆等于反序后逆阵的乘积
$(kA)^{-1} = k^{-1}A^{-1}$
$(A\')^{-1} = (A^{-1})\'$
$|A||A^{-1}| = 1$
可逆矩阵的判定： 伴随矩阵:给定n阶方阵A，
$$A = \begin{pmatrix}a_{11} & a_{12} &.. & a_{1n}\\ a_{21} & a_{22} &.. & a_{2n}\\ a_{n1} & a_{n2} &.. & a_{nn}\end{pmatrix}$$
将矩阵A的第一行每一个元素$a_{ij}$对应的代数余子式当作新矩阵$A^{*}$的第一列，矩阵$A$的第二行每个元素对应的代数余子式当作新矩阵的第2列。。。最后形成的矩阵$A^{*}$我们称为$A$矩阵的伴随矩阵
$$A^{*} = \begin{pmatrix}A_{11} & A_{12} &.. & A_{1n}\\ A_{21} & A_{22} &.. & A_{2n}\\ A_{n1} & A_{n2} &.. & A_{nn}\end{pmatrix}$$
引理:
$$A^{*}A = AA^{*} = |A|E_n$$
可逆判定定理：n阶方阵$A$可逆的充分必要条件是:$det(A) = |A| \neq 0$
并且其逆矩阵可用以下方法计算:
$$A^{-1} = \frac{1}{|A|}A^{*}$$
由于矩阵代表着线性变换，矩阵可逆就是线性变换可以逆操作恢复，而如果行列式为0，则应用变换后就将损失相应的信息，我们可以直观想象直线无法逆转恢复平面
矩阵的初等变换$$\begin{matrix}. & 行 & 列 \\ 换法 & r_i\leftrightarrow r_j & c_i\leftrightarrow c_j \\ 倍法& k \cdot r_i,k\neq 0 & k \cdot c_i,k\neq 0 \\消法 & r_j+k \cdot r_i,k\neq 0 & c_j+k \cdot c_i,k\neq 0\end{matrix}$$任何一个矩阵
任何一个矩阵通过初等行变换都能变换出一个行阶梯形
任何一个矩阵通过初等行变换都能形成行最简形