协方差矩阵

最新推荐文章于 2025-03-18 19:37:58 发布

原创最新推荐文章于 2025-03-18 19:37:58 发布 · 485 阅读

CC 4.0 BY-SA版权

文章标签：

前言：学习记录，欢迎指正，讨论

均值： $\bar{X}=\frac{\sum_{i=1}^{n}Xi}{n}$ 描绘样本集合的中间点

标准差： $S = \sqrt{\frac{\sum_{i=1}^{n}{(Xi-\bar{X})_{}}^{2}}{n-1}}$ 描述样本集合的各个样本点到均值的距离平均，即“散布度”

方差： $S= \frac{\sum_{i=1}^{n}{(Xi-\bar{X})_{}}^{2}}{n-1}$ 之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

均值，标准差，方差只能用来描述一个变量。需要描述两个变量之间的关系时就要引入协方差。

协方差是用来度量两个随机变量关系的统计量，仿照方差的定义：

$var(X)=\frac{\sum_{i=1}^{n}(Xi-\bar{X})(Xi-\bar{X})}{n-1}$

协方差可以这样定义：

$cov(X,Y)=\frac{\sum_{i=1}^{n}(Xi-\bar{X})(Yi-\bar{Y})}{n-1}$

协方差结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义）。如果结果为负值，就说明两者是负相关。如果为0，则两者之间没有关系，就是统计上说的“相互独立”。

从定义可以看出

1.cov(X,X)=var(X);

2.cov(X,Y) = cov(Y,X);

如果有三个维度，则协方差矩阵为：

$C=\begin{pmatrix} cov(X,X)& cov(X,Y) &cov(X,Z) \\ cov(Y,X)&cov(Y,Y) &cov(Y,Z) \\ cov(Z,X)& cov(Z,Y) &cov(Z,Z) \end{pmatrix}$

则协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差。

计算协方差矩阵首先要搞清楚样本和维度（变量），然后计算每个维度的均值

如班级成绩统计表

三个样本（小明，小红，小丽）4个维度（语文，数学，英语，音乐）

则该协方差矩阵是四行四列的矩阵。

理解协方差矩阵的关键在于它的计算不同维度之间的协方差