本页使用了标题或全文手工转换

高斯-马尔可夫定理

维基百科,自由的百科全书
跳转至: 导航搜索

统计学中,高斯-马尔可夫定理陈述的是:在线性回归模型中,如果误差满足零均值、同方差互不相关,则回归系数的最佳线性无偏估计(BLUE, Best Linear unbiased estimator)就是普通最小二乘法估计。这里最佳的意思是在所有可能的线性无偏估计量中,相较于其他估计量有更小方差的估计量。值得注意的是这里不需要假定误差满足独立同分布(iid)英语iid正态分布,而仅需要满足零均值不相关同方差这三个稍弱的条件。


表述[编辑]

简单(一元)线性回归模型[编辑]

对于简单(一元)线性回归模型,

其中非随机但不能观测到的参数,非随机且可观测到的一般变量,不可观测的随机变量,或称为随机误差或噪音,因此可观测的随机变量。

高斯-马尔可夫定理的假设条件是:

  • (零均值),
  • (同方差),
  • (不相关)。

则对的最佳线性无偏估计为,

多元线性回归模型[编辑]

对于多元线性回归模型,

,

使用矩阵形式,线性回归模型可简化记为,其中采用了以下记号:

(观测值向量,Vector of Responses),

(设计矩阵,Design Matrix),

(参数向量,Vector of Parameters),

(随机误差向量,Vectors of Error)。

证明[编辑]

外部連結[编辑]