我们在这一篇《模式识别、推荐系统中常用的两种矩阵分解-----奇异值分解和非负矩阵分解 》中详细介绍了矩阵奇异值分解的数学证明，我们沿用这一篇的博文的符号，继续讨论这一章的内容。
矩阵的奇异值分解定理：
设矩阵，秩为，，则该矩阵可以分解为：
也可以表示为：
。
其中：为矩阵（或者）的非零向量,为的对应特征向量，为的对应特征向量，。
SVD的第一个作用之低秩近似（Low Rank Approximation）：
，，
即用矩阵近似。
SVD的第二个作用之特征降维（Dimensionality Reduction）：
假设特征是按列存储的，即：
，
其中，。
我们在低秩近似中已经用近似表示了。
则根据分块矩阵的乘法，我们很容易得到：
，。
令：
因为，是相互正交的，所以根据
，
显然可以得出，可以近似由，张成，所以我们得出结论：
m维的，可以降到维的，