协方差、样本协方差和协方差矩阵

协方差用于衡量两个变量的总体误差或协同程度。两个总体 $X,Y$ 之间的协方差定义为

$$Cov(X,Y) = E\left [ (X - E(X))(Y - E(Y)) \right ]$$

将这个式子展开就到计算总体协方差的常用公式：

$$Cov(X,Y) = E\left [ (X - E(X))(Y - E(Y)) \right ] = E(XY) - E(X)E(Y)$$

从直观上来看，协方差表示的是两个变量总体误差的期望。