在统计学 与 概率论中, 协方差矩阵 是一个矩阵,其每个元素是各个向量元素之间的方差.这是从标量随机变量到高维度随机向量的自然推广.
在统计学 与 概率论中, 协方差矩阵 是一个矩阵,其每个元素是各个向量元素之间的方差.这是从标量随机变量到高维度随机向量的自然推广.假设 X 是以 n 个标量随机变量组成的列向量,并且\mu_k 是其第k个元素的期望值, 即, \mu_k = \mathrm{E}(X_k), 协方差矩阵然后被定义为:
\Sigma=\mathrm{E} \left[
\left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top
\right]
= \begin{bmatrix}
\mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)]
\end{bmatrix}
矩阵中的第(i,j)个元素是X_i与X_j的协方差. 这个概念是对于标量随机变量方差的一般化推广.
[编辑]术语与符号分歧
协方差矩阵有不同的术语.有些统计学家,沿用了概率学家威廉·费勒的说法,把这个矩阵称之为随机向量X的方差（Variance of random vector X）,这是从一维随机变量方差到高维随机向量的自然推广.另外一些则把它称为协方差矩阵（Covariance matrix）,因为它是随机向量里头每个标量元素的协方差的矩阵.不幸的是,这两种术语带来了一定程度上的冲突：
标准记号:
\operatorname{var}(\textbf{X}) = \mathrm{E} \left[
(\textbf{X} - \mathrm{E} [\textbf{X}]) (\textbf{X} - \mathrm{E} [\textbf{X}])^\top
\right]
另 标准记号(与上边的记号不幸冲突):
\operatorname{cov}(\textbf{X}) = \mathrm{E} \left[
(\textbf{X} - \mathrm{E}[\textbf{X}]) (\textbf{X} - \mathrm{E}[\textbf{X}])^\top
\right]
又 标准记号:
\operatorname{cov}(\textbf{X},\textbf{Y}) = \mathrm{E} \left[
(\textbf{X} - \mathrm{E}[\textbf{X}]) (\textbf{Y} - \mathrm{E}[\textbf{Y}])^\top
\right] (两个随机向量的"互协方差(cross covariance)")
头两个术语彼此冲突,第一个与第三个彼此切合.第一个记号可以在威廉·费勒的广受推崇的两本概率书中找到.
[编辑]性质
\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right] 与 \mu = \mathrm{E}(\textbf{X}) 满足下边的基本性质：
\Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top}
\operatorname{var}(\mathbf{a^\top}\mathbf{X}) = \mathbf{a^\top} \operatorname{var}(\mathbf{X}) \mathbf{a}
\mathbf{\Sigma} \geq 0
\operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A} \operatorname{var}(\mathbf{X}) \mathbf{A^\top}
\operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top
\operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})
若 p = q,则有\operatorname{cov}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})
\operatorname{cov}(\mathbf{AX}, \mathbf{BX}) = \mathbf{A} \operatorname{cov}(\mathbf{X}, \mathbf{X}) \mathbf{B}^\top
若\mathbf{X} 与\mathbf{Y} 是独立的,则有\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0
\Sigma = \Sigma^\top
其中 \mathbf{X}, \mathbf{X_1} 与\mathbf{X_2} 是随机\mathbf{(p \times 1)}向量, \mathbf{Y} 是随机\mathbf{(q \times 1)}向量, \mathbf{a} 是\mathbf{(p \times 1)} 向量, \mathbf{A} 与\mathbf{B} 是\mathbf{(p \times q)} 矩阵.
尽管协方差矩阵很简单,可它却是很多领域里的非常有力的工具.它能导出一个变换矩阵,这个矩阵能使数据完全去相关(decorrelation).从不同的角度看,也就是说能够找出一组最佳的基以紧凑的方式来表达数据.(完整的证明请参考瑞利商).这个方法在统计学中被称为主成分分析(principal components analysis),在图像处理中称为Karhunen-Loève 变换(KL-变换).
[编辑]复随机向量
均值为\mu的复随机标量变量的方差定义如下（使用共轭复数）：
\operatorname{var}(z) = \operatorname{E} \left[
(z-\mu)(z-\mu)^{*}
\right]
其中复数z的共轭记为z^{*}.
如果Z 是一个复列向量,则取其共轭转置,得到一个方阵:
\operatorname{E} \left[
(Z-\mu)(Z-\mu)^{*}
\right]
其中Z^{*}为共轭转置, 它对于标量也成立,因为标量的转置还是标量.
[编辑]估计
多元正态分布的协方差矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做1 \times 1矩阵的trace更好的原因. 参见协方差矩阵的估计.
[编辑]外部连接
Covariance Matrix at Mathworldde:Kovarianzmatrix
en:Covariance matrix fr:Matrice de variance-covariance pl:Macierz kowariancji ru:Ковариационная матрица
http://define.cnki.net/define_result.aspx?searchword=%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5
