非參數回歸
| 統計學系列條目 |
| 迴歸分析 |
|---|
 |
| 模型 |
| 估計 |
| 背景 |
非參數回歸指的是一類回歸分析，其中的預測子不是預先確定的，而根據從數據中獲得的信息。也就是說，預測子與因變量之間的關係不會假定為參數形式。非參數回歸需要更大的樣本量，因為數據必須提供參數模型結構和模型估計值。
定義
[編輯]非參數回歸中，有隨機變量、，並假設其關係如下：
![{\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/22d0a824f5337ac602b525e98934a8536ff5caa3)
其中是某個確定函數。線性回歸也是非參數回歸的一種，假定為仿射。 有些學者使用了稍強的加性噪聲假設：
其中隨機變量是「噪聲項」，均值為0. 若不假設屬於特定的函數參數族，就不可能得到的無偏估計，但大多數估計量在適當條件下都是一致的。
通用非參數回歸算法列表
[編輯]這是非參數回歸模型的非詳盡列表。
例子
[編輯]高斯過程回歸/克里金法
[編輯]高斯過程回歸也稱克里金法，假設回歸曲線的先驗為常態分布，並假設誤差遵循多元常態分布，回歸曲線由後驗模式估計。正態先驗可能取決於未知的超參數，可用經驗貝葉斯方法估計。 超參數通常指定一個先驗協方差核。若核也要從數據中進行非參數推斷，則可使用臨界濾波器。
平滑樣條法可解釋為高斯過程貨櫃的後驗模式。
核回歸
[編輯]
 |
核回歸用核函數卷積數據點位置，從有限的數據點中估計連續因變量。近似地說，核函數說明了「模糊」數據點影響的方法，以便用它們的值預測附近位置的值。
回歸樹
[編輯]決策樹學習算法可以從數據中學習，以預測因變量。[2]雖然最初的分類回歸樹（CART）公式僅適用於預測單變量數據，該框架也可用於預測多變量數據，包括時間序列。[3]
另見
[編輯]參考文獻
[編輯]- ^ Statistical and neural network techniques for nonparametric regression by Vladimir Cherkassky, Filip Mulier https://link.springer.com/chapter/10.1007/978-1-4612-2660-4_39 （頁面存檔備份，存於網際網路檔案館）
- ^ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. 1984. ISBN 978-0-412-04841-8.
- ^ Segal, M.R. Tree-structured methods for longitudinal data. Journal of the American Statistical Association (American Statistical Association, Taylor & Francis). 1992, 87 (418): 407–418. JSTOR 2290271. doi:10.2307/2290271.
閱讀更多
[編輯]- Bowman, A. W.; Azzalini, A. Applied Smoothing Techniques for Data Analysis. Oxford: Clarendon Press. 1997. ISBN 0-19-852396-3.
- Fan, J.; Gijbels, I. Local Polynomial Modelling and its Applications. Boca Raton: Chapman and Hall. 1996. ISBN 0-412-98321-4.
- Henderson, D. J.; Parmeter, C. F. Applied Nonparametric Econometrics. New York: Cambridge University Press. 2015. ISBN 978-1-107-01025-3.
- Li, Q.; Racine, J. Nonparametric Econometrics: Theory and Practice. Princeton: Princeton University Press. 2007. ISBN 978-0-691-12161-1.
- Pagan, A.; Ullah, A. Nonparametric Econometrics
. New York: Cambridge University Press. 1999. ISBN 0-521-35564-8.
外部連結
[編輯]- HyperNiche, software for nonparametric multiplicative regression （頁面存檔備份，存於網際網路檔案館）.
- Scale-adaptive nonparametric regression （頁面存檔備份，存於網際網路檔案館） (with Matlab software).
