机器学习-矩阵和线性代数-笔记 (3)

    

机器学习-矩阵和线性代数-笔记

  利用上述结论很快得到:

    将实数 λ 带入方程组 (A-λI)x=0 ,该方程组为实系数方程组,因此, 实对称阵 的特征向量可以取 实向量 。

实对称阵不同特征值的特征向量正交

  令实对称矩阵为 A ,其两个不同的特征值 λ1λ2对应的特征向量分别是 μ1μ2;

  λ1λ2μ1μ2都是实数或是实向量。

    

机器学习-矩阵和线性代数-笔记

  最终结论:设 A 为 n 阶 对称阵 ,则必有 正交阵 P ,使得P-1AP=PTAP=Λ

    Λ 是以 A 的 n 个特征值为对角元的对角阵。

    该变换称为“合同变换”, A 和 Λ 互为合同矩阵。

白化/漂白whitening

  计算观测数据x的n×n的对称阵x.xT的特征值和特征向量,用特征值形成对角阵D,特征向量形成正交阵U,则

    x.xT=UTDU

  令:

机器学习-矩阵和线性代数-笔记

  则:

    

机器学习-矩阵和线性代数-笔记

正定阵

  对于 n 阶方阵 A ,若任意 n 阶向量 x ,都有xTAx>0 ,则称 A 是正定阵。

    若条件变成 xTAx≥0 ,则 A 称作半正定阵

    类似还有负定阵,半负定阵。

  正定阵的判定:

    对称阵A为正定阵;

    A的特征值都为正;

    A的顺序主子式大于0;

    以上三个命题等价。

  利用定义证明:

    若A、B为n阶半正定阵,则

机器学习-矩阵和线性代数-笔记

    从而,

      

机器学习-矩阵和线性代数-笔记

  即:

机器学习-矩阵和线性代数-笔记

为半正定阵。从而,n阶半正定阵的集合为凸锥。

QR分解

  对于m×n的列满秩矩阵A,必有:

    

机器学习-矩阵和线性代数-笔记

  其中QT·Q=I, (即列正交矩阵),R为非奇异上三角矩阵。当要求R的对角线元素为正时,该分解唯一。

  该分解为QR分解。可用于求解矩阵A的特征值、A的逆等问题。

  QR分解计算特征值

  计算 n 阶方阵 A 的特征值:

    

机器学习-矩阵和线性代数-笔记

向量的导数

  A为m×n的矩阵, x为n×1的列向量,则Ax为m×1的列向量,记:

机器学习-矩阵和线性代数-笔记

  推导:

    

机器学习-矩阵和线性代数-笔记

   结论与直接推广:

    向量偏导公式:

        

机器学习-矩阵和线性代数-笔记

   标量对向量的导数

    A为n×n的矩阵, x为n×1的列向量,

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwdfzd.html