协方差矩阵

维基百科，自由的百科全书

在统计学与概率论中，协方差矩阵（或稱共變異矩陣）是一个矩阵，其每个元素是各个向量元素之间的方差。这是从标量随机变量到高维度随机向量的自然推广。

假设 $X$ 是以 $n$ 个标量随机变量组成的列向量，

$X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}$

并且 $μ i$ 是其第i个元素的期望值, 即, $μ i = E(X i)$ 。协方差矩阵被定义的第i，j項是如下協方差：

$\Sigma_{ij} = \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix}$

即：

$\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]$

$= \begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)] \end{bmatrix}$

矩阵中的第 $(i, j)$ 个元素是 $X i$ 与 $X j$ 的协方差。这个概念是对于标量随机变量方差的一般化推广。

[编辑] 术语与符号分歧

协方差矩阵有不同的术语。有些统计学家，沿用了概率学家威廉·费勒的说法，把这个矩阵称之为随机向量 $X$ 的方差（Variance of random vector X），这是从一维随机变量方差到高维随机向量的自然推广。另外一些则把它称为协方差矩阵（Covariance matrix），因为它是随机向量里头每个标量元素的协方差的矩阵。不幸的是，这两种术语带来了一定程度上的冲突：

标准记号:

$\operatorname{var}(\textbf{X}) = \mathrm{E} \left[ (\textbf{X} - \mathrm{E} [\textbf{X}]) (\textbf{X} - \mathrm{E} [\textbf{X}])^\top \right]$

另标准记号(与上边的记号不幸冲突):

$\operatorname{cov}(\textbf{X}) = \mathrm{E} \left[ (\textbf{X} - \mathrm{E}[\textbf{X}]) (\textbf{X} - \mathrm{E}[\textbf{X}])^\top \right]$

又标准记号:

$\operatorname{cov}(\textbf{X},\textbf{Y}) = \mathrm{E} \left[ (\textbf{X} - \mathrm{E}[\textbf{X}]) (\textbf{Y} - \mathrm{E}[\textbf{Y}])^\top \right]$ (两个随机向量的"互协方差(cross covariance)")

头两个术语彼此冲突，第一个与第三个彼此切合。第一个记号可以在威廉·费勒的广受推崇的两本概率书中找到。

[编辑] 性质

$\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]$ 与 $\mu = \mathrm{E}(\textbf{X})$ 满足下边的基本性质：

$\Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top}$
$\operatorname{var}(\mathbf{a^\top}\mathbf{X}) = \mathbf{a^\top} \operatorname{var}(\mathbf{X}) \mathbf{a}$
$\mathbf{\Sigma} \geq 0$
$\operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A} \operatorname{var}(\mathbf{X}) \mathbf{A^\top}$
$\operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top$
$\operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})$
若 $p = q$ ，則有 $\operatorname{cov}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})$
$\operatorname{cov}(\mathbf{AX}, \mathbf{BX}) = \mathbf{A} \operatorname{cov}(\mathbf{X}, \mathbf{X}) \mathbf{B}^\top$
若 $\mathbf{X}$ 与 $\mathbf{Y}$ 是独立的，則有 $\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0$
$\Sigma = \Sigma^\top$

其中 $\mathbf{X}, \mathbf{X_1}$ 与 $\mathbf{X_2}$ 是随机 $\mathbf{(p \times 1)}$ 向量, $\mathbf{Y}$ 是随机 $\mathbf{(q \times 1)}$ 向量, $\mathbf{a}$ 是 $\mathbf{(p \times 1)}$ 向量, $\mathbf{A}$ 与 $\mathbf{B}$ 是 $\mathbf{(p \times q)}$ 矩阵。

尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。