均方差

维基百科,自由的百科全书
跳转至: 导航搜索

统计学中,均方误差是对于无法观察的参数 \theta 的一个估计函数T;其定义为:

\operatorname{MSE}(T)=\operatorname{E}((T-\theta)^2),

即,它是"误差"的平方的期望值.误差就是估计值与被估计量的差. 均方差满足等式

\operatorname{MSE}(T)=\operatorname{var}(T)+(\operatorname{bias}(T))^2

其中

\operatorname{bias}(T)=\operatorname{E}(T)-\theta,

也就是说,偏差\operatorname{E}(T)是估计函数的期望值与那个无法观察的参数的差。

下边是一个具体例子.假设

X_1,\dots,X_n\sim\operatorname{N}(\mu,\sigma^2),

X_1,\dots,X_n是一组来自正态分布的样本. 常用的两个对σ2 估计函数为:


\frac{1}{n}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2\  和  \frac{1}
{n-1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2

其中

\overline{X}=(X_1+\cdots+X_n)/n

样本均值.

第一个估计函数为最大似然估计,它是有偏的,即偏差不为零,但是它的方差比第二个小. 而第二个估计函数是无偏的. 较小的方差某种程度上补偿了偏差,因此第二个估计函数的均方误差比第一个要小.

另外,这两个估计函数的均方误差都比下边这个有偏估计函数小

\frac{1}{n+1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2

这个估计函数使得形如c\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2 (其中c是常数)的均方误差最小

参见[编辑]

外部连接[编辑]