偏差信息量準則
外觀
![]() |
偏差信息量準則(英語:deviance information criterion,DIC)是等級模型化的赤池信息量準則(AIC),被廣泛應用於由馬爾可夫鏈蒙特卡洛(MCMC)模擬出的後驗分布的貝葉斯模型選擇問題。和赤池信息量準則一樣,偏差信息量準則是隨樣本容量增加的漸近近似,只應用於後驗分布呈多元正態分布的情況。
定義
[編輯]定義偏差(deviance)為 ,其中 為數據, 是模型中的未知參量, 是似然函數, 是常量。
有兩種計算模型參數的有效數量 的方法。一種是 ,其中 是 的期望(Spiegelhalter 等人 2002,p.587)。 第二種是 (Gelman 等人 2004,p.182)。 有效數量 越大,模型的參數就越多,模型就越容易擬合數據,但也需要更小的偏差。
偏差信息量準則 被定義為
- ,
或等效於
- 。
從第二種定義更能看出它和赤池信息量準則的聯繫。
應用
[編輯]一般而言,偏差信息量準則 的值越小,模型越好。這一準則的優點是它很容易從馬爾可夫鏈蒙特卡洛(MCMC)模擬產生的樣本中計算出來。
參見
[編輯]參考文獻
[編輯]- Ando, Tomohiro. Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models. Biometrika. 2007, 94 (2): 443–458. doi:10.1093/biomet/asm017.
- Ando, T. (2010). Bayesian Model Selection and Statistical Modeling, CRC Press. Chapter 7.
- Ando, Tomohiro. Predictive Bayesian Model Selection. American Journal of Mathematical and Management Sciences. 2011, 31 (1-2): 13–38. doi:10.1080/01966324.2011.10737798.
- Claeskens, G, and Hjort, N.L. (2008). Model Selection and Model Averaging, Cambridge. Section 3.5.
- Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayesian Data Analysis: Second Edition. Texts in Statistical Science. CRC Press. 2004. ISBN 1-58488-388-X. LCCN 2003051474. MR 2027492.
- van der Linde, A. (2005). "DIC in variable selection", Statistica Neerlandica, 59: 45-56. doi:10.1111/j.1467-9574.2005.00278.x
- Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. Bayesian measures of model complexity and fit (with discussion). Journal of the Royal Statistical Society, Series B. 2002, 64 (4): 583–639. JSTOR 3088806. MR 1979380. doi:10.1111/1467-9868.00353.
- Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. The deviance information criterion: 12 years on (with discussion). Journal of the Royal Statistical Society, Series B. 2014, 76 (3): 485–493.
外部連結
[編輯]- McElreath, Richard. Statistical Rethinking Lecture 8 (on DIC and other information criteria). 2015-01-29 [2018-10-04]. (原始內容存檔於2019-03-13) –透過YouTube.