跳至內容

赤池資訊量準則

本頁使用了標題或全文手工轉換
維基百科,自由的百科全書

赤池資訊量準則(英語:Akaike information criterion,簡稱AIC)是評估統計模型的複雜度和衡量統計模型「擬合」資料之優良性(英語:Goodness of Fit,白話:合身的程度)的一種標準,是由日本統計學家赤池弘次創立和發展的。赤池資訊量準則建立在資訊熵的概念基礎上。

AIC

[編輯]

在一般的情況下,AIC可以表示為:

其中:K參數的數量,L是似然函數

假設條件是模型的誤差服從獨立正態分佈。

n為觀察數,RSS殘差平方和,那麼AIC變為:

增加自由參數的數目提高了擬合的優良性,AIC鼓勵數據擬合的優良性但是儘量避免出現過度擬合(Overfitting)的情況。

所以優先考慮的模型應是AIC值最小的那一個。赤池資訊量準則的方法是尋找可以最好地解釋數據但包含最少自由參數的模型。

AICc和AICu

[編輯]

樣本少的情況下,AIC轉變為AICc(改正的赤池資訊量準則):

n增加時,AICc收斂成AIC。所以AICc可以應用在任何樣本大小的情況下(Burnham and Anderson, 2004)。

McQuarrie 和 Tsai(1998: 22)把AICc定義為:

他們提出的另一個緊密相關指標為AICu:

QAIC

[編輯]

QAIC(Quasi-AIC)可以定義為:

其中:c方差膨脹因素。因此QAIC可以調整過度離散(或者缺乏擬合)。

在小樣本情況下, QAIC表示為:

.

參考文獻

[編輯]
  • Akaike, Hirotsugu. A new look at the statistical model identification. IEEE Transactions on Automatic Control. 1974, 19 (6): 716–723. 
  • Burnham, K. P., and D. R. Anderson, 2002. Model Selection and Multimodel Inference: A Practical-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7.
  • --------, 2004. Multimodel Inference: understanding AIC and BIC in Model Selection頁面存檔備份,存於互聯網檔案館, Amsterdam Workshop on Model Selection.
  • Hurvich, C. M., and Tsai, C.-L., 1989. Regression and time series model selection in small samples. Biometrika, Vol 76. pp. 297-307
  • McQuarrie, A. D. R., and Tsai, C.-L., 1998. Regression and Time Series Model Selection. World Scientific.

另見

[編輯]

外部連結

[編輯]