高斯-馬可夫定理(英語:Gauss-Markov Theorem),在統計學中陳述的是在线性回归模型中,如果线性模型满足高斯马尔可夫假定,则回归系数的最佳线性无偏估计(BLUE, Best Linear unbiased estimator)就是普通最小二乘法估计。
- 这里最佳的意思是指相较于其他估计量有更小方差的估计量,同时把对估计量的寻找限制在所有可能的线性无偏估计量中。
- 值得注意的是这里不需要假定误差满足同分布或正态分布。
- 线性模型指对于参数是线性的,因此线性模型并非看起来那么有约束性,通过适当的对y与x做变换(如logy与x),可以得到y与x的非线性关系,但并未跳出线性模型的范畴。
简单(一元)线性回归模型[编辑]
对于简单(一元)线性回归模型,

其中
和
是非随机但不能观测到的参数,
是非随机且可观测到的一般变量,
是不可观测的随机变量,或称为随机误差或噪音,
是可观测的随机变量。
高斯-马尔可夫定理的假设条件是:
- 在总体模型中,各变量关系为
(线性于参数)
- 我们具有服从于上述模型的随机样本,样本容量为n(随机抽样),
- x的样本结果为非完全相同的数值(解释变量的样本有波动),
- 对于给定的解释变量,误差的期望为零,换言之
(零条件均值),
- 对于给定的解释变量,误差具有相同的方差,换言之
(同方差性)。
则对
和
的最佳线性无偏估计为,

多元线性回归模型[编辑]
对于多元线性回归模型,
, 
使用矩阵形式,线性回归模型可简化记为
,其中采用了以下记号:
(观测值向量,Vector of Responses),
(设计矩阵,Design Matrix),
(参数向量,Vector of Parameters),
(随机误差向量,Vectors of Error)。
高斯-马尔可夫定理的假设条件是:
,
(零均值),
,(同方差且不相关),其中
为n阶单位矩阵(Identity Matrix)。
则对
的最佳线性无偏估计为

首先,注意的是这里数据是
而非
,我们希望找到
对于
的线性估计量,记作

其中
,
,
和
分别是
,
,
和
矩阵。
根据零均值假设所得,

其次,我们同时限制寻找的估计量为无偏的估计量,即要求
,因此有
(零矩阵),
外部連結[编辑]