本页使用了标题或全文手工转换

协方差矩阵

维基百科,自由的百科全书
跳转至: 导航搜索
中心为 (0, 0) 的一个二元高斯概率密度函数,协方差矩阵为 [ 1.00, 0.50 ; 0.50, 1.00 ]。
一个左下右上方向标准差为 3,正交方向标准差为 1 的多元高斯分布的样本点。由于 xy 分量共变,xy 的方差不能完全描述该分布;箭头的方向对应的协方差矩阵的特征向量,其长度为特征值的平方根。

统计学概率论中,协方差矩阵(也称离差矩阵方差-协方差矩阵)是一个矩阵,其 i, j 位置的元素是第 i 个与第 j随机向量英语Multivariate random variable(即随机变量构成的向量)之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。

定义[编辑]

假设是以个随机变数(其中的每个随机变数是也是一个向量,当然是一个行向量)组成的列向量

并且是其第i个元素的期望值,即, ,其中是列向量中的一个元素。协方差矩阵的第i,j项(第i,j项是一个协方差)被定义为如下形式:

而协方差矩阵为:

矩阵中的第个元素是的协方差。这个概念是对于标量随机变数方差的一般化推广。

术语与符号分歧[编辑]

协方差矩阵有不同的术语。有些统计学家,沿用了概率学家威廉·费勒的说法,把这个矩阵称之为随机向量的方差(Variance of random vector X),这是从一维随机变量方差到高维随机向量的自然推广。另外一些则把它称为协方差矩阵(Covariance matrix),因为它是随机向量里头每个标量元素的协方差的矩阵。不幸的是,这两种术语带来了一定程度上的冲突:

随机向量的方差(Variance of random vector X)定义有如下两种形式:

协方差矩阵(Covariance matrix)定义如下:

第一个记号可以在威廉·费勒的广受推崇的两册概率论及其应用的书中找到。两个术语除了记法之外并没有不同。

性质[编辑]

满足下边的基本性质:

  1. 半正定的和对称的矩阵。
  2. ,则有
  3. 是独立的,则有

其中 是随机向量, 是随机向量, 向量, 矩阵。

尽管协方差矩阵很简单,可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis),在图像处理中称为Karhunen-Loève 变换(KL-变换)。

复随机向量[编辑]

均值为的复随机标量变量的方差定义如下(使用共轭复数):

其中复数的共轭记为

如果 是一个复列向量,则取其共轭转置,得到一个方阵:

其中为共轭转置, 它对于标量也成立,因为标量的转置还是标量。

估计[编辑]

多元正态分布的协方差矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做矩阵的迹更好的原因。参见协方差矩阵的估计

外部链接[编辑]