用戶:Ycc69/普通最小二乘法
外觀
普通最小二乘法(英語:Ordinary least squares,簡稱:OLS)是回歸分析中最常用的回歸方法之一,屬於線性最小二乘法。其基本思想是令解釋變量(因變量)的估計值儘可能接近實際值,即殘差平方和(residual sum of squares;RSS)最小。
根據高斯-馬爾科夫定理,在給定經典線性回歸的假定下,最小二乘估計量是具有最小方差的線性無偏估計量。
線性模型
[編輯]代數形式
[編輯]假設有一組樣本,由個觀測值組成,其中為被解釋變量,為個解釋變量(自變量)向量。其線性回歸模型可表示為:
其中為殘差項,假設被解釋變量的估計值。則應有:
矩陣形式
[編輯]記:
得到線性回歸模型的矩陣形式: