跳至內容

核回歸

本頁使用了標題或全文手工轉換
維基百科,自由的百科全書

核回歸(又稱局部加權線性回歸)是統計學中用於估計隨機變量條件期望非參數方法。目的是找到一對隨機變量XY之間的非線性關係。

在任何非參數回歸中 ,變量的條件期望 相對於變量可以寫成:

m為一個未知函數。

Nadaraya–Watson核回歸

[編輯]

1964年, Nadaraya和Watson都提出了估算作為局部加權平均值,使用內核作為加權函數的方法。 [1] [2] [3] Nadaraya–Watson估計量為:

是一個帶寬為 的核。 分母是一個總和為1的加權項。

推導

[編輯]

內核密度估計用於具有內核K的聯合分布f(x,y)f(x)

, ,

我們得到

這便是Nadaraya–Watson估計量。

Priestley–Chao核估計函數

[編輯]

此處 為帶寬(或平滑參數)。

Gasser–Müller核估計函數

[編輯]

此處

示例

[編輯]

此示例基於加拿大截面工資數據,該數據由1971年加拿大人口普查公用帶中的隨機樣本組成,這些樣本適用於受過普通教育的男性(13年級)。共有205個觀測值。

右圖顯示了使用二階高斯核以及漸近變化範圍的估計回歸函數

程序實例

[編輯]

以下R語言命令使用npreg()函數提供最佳平滑效果並創建上面給出的圖形。 這些命令可以通過剪切和粘貼在命令提示符下輸入。

 install.packages("np")
 library(np) # non parametric library
 data(cps71)
 attach(cps71)

 m <- npreg(logwage~age)

 plot(m,plot.errors.method="asymptotic",
   plot.errors.style="band",
   ylim=c(11,15.2))

 points(age,logwage,cex=.25)

相關資料

[編輯]

大衛·薩爾斯堡 (David Salsburg)指出 ,用於內核回歸的算法是獨立開發的,並且已用於模糊系統 :「通過幾乎完全相同的計算機算法,模糊系統和基於內核密度的回歸似乎是完全獨立於彼此而開發的。 」 [4]

統計實現

[編輯]

相關資料

[編輯]
  • 內核平滑
  • 局部回歸

參考文獻

[編輯]
  1. ^ Nadaraya, E. A. On Estimating Regression. Theory of Probability and Its Applications. 1964, 9 (1): 141–2. doi:10.1137/1109020. 
  2. ^ Watson, G. S. Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A. 1964, 26 (4): 359–372. JSTOR 25049340. 
  3. ^ Bierens, Herman J. https://books.google.com/books?id=M5QBuJVtbWQC&pg=PA212 |chapterurl=缺少標題 (幫助). The Nadaraya–Watson kernel regression function estimator. New York: Cambridge University Press. 1994: 212–247. ISBN 0-521-41900-X. 
  4. ^ Salsburg, D. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. W.H. Freeman. 2002: 290–91. ISBN 0-8050-7134-2. 
  5. ^ Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing. Singapore: World Scientific Publishing. 2012. ISBN 978-981-4405-48-5. 
  6. ^ np: Nonparametric kernel smoothing methods for mixed data types. [2019-10-14]. (原始內容存檔於2020-08-17). 
  7. ^ Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R. CRC Press. 2014: 98–106. ISBN 978-1-4398-7343-4. 

延申閱讀

[編輯]

外部連結

[編輯]