偏差信息量準則

偏差信息量準則（英語：deviance information criterion，DIC）是等級模型化的赤池信息量準則（AIC），被廣泛應用於由馬爾可夫鏈蒙特卡洛（MCMC）模擬出的後驗分布的貝葉斯模型選擇問題。和赤池信息量準則一樣，偏差信息量準則是隨樣本容量增加的漸近近似，只應用於後驗分布呈多元正態分布的情況。

定義

定義偏差（deviance）為 $D(\theta )=-2\log(p(y|\theta ))+C$ ，其中 $y$ 為數據， $\theta$ 是模型中的未知參量， $p(y|\theta )$ 是似然函數， $C$ 是常量。

有兩種計算模型參數的有效數量 $p_{D}$ 的方法。一種是 $p_{D}={\bar {D}}-D({\bar {\theta }})$ ，其中 ${\bar {\theta }}$ 是 $\theta$ 的期望(Spiegelhalter et al. 2002，第587頁)。第二種是 $p_{D}=p_{V}={\frac {1}{2}}{\widehat {\operatorname {var} }}\left(D(\theta )\right)$ (Gelman et al. 2004，第182頁)。有效數量 $p_{D}$ 越大，模型的參數就越多，模型就越容易擬合數據，但也需要更小的偏差。

偏差信息量準則 ${\mathit {DIC}}$ 被定義為

{\mathit {DIC}}=p_{D}+{\bar {D}}

，

或等效於

{\mathit {DIC}}=D({\bar {\theta }})+2p_{D}

。

從第二種定義更能看出它和赤池信息量準則的聯繫。

應用

一般而言，偏差信息量準則 ${\mathit {DIC}}$ 的值越小，模型越好。這一準則的優點是它很容易從馬爾可夫鏈蒙特卡洛（MCMC）模擬產生的樣本中計算出來。

參見

參考文獻

Ando, Tomohiro. Bayesian predictive information criterion for the evaluation of hierarchical Bayesian and empirical Bayes models. Biometrika. 2007, 94 (2): 443–458. doi:10.1093/biomet/asm017.

Ando, T. (2010). Bayesian Model Selection and Statistical Modeling, CRC Press. Chapter 7.

Ando, Tomohiro. Predictive Bayesian Model Selection. American Journal of Mathematical and Management Sciences. 2011, 31 (1-2): 13–38. doi:10.1080/01966324.2011.10737798.

Claeskens, G, and Hjort, N.L. (2008). Model Selection and Model Averaging, Cambridge. Section 3.5.

Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayesian Data Analysis: Second Edition. Texts in Statistical Science. CRC Press. 2004. ISBN 1-58488-388-X. LCCN 2003051474. MR 2027492.

van der Linde, A. (2005). "DIC in variable selection", Statistica Neerlandica, 59: 45-56. doi:10.1111/j.1467-9574.2005.00278.x

Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. Bayesian measures of model complexity and fit (with discussion). Journal of the Royal Statistical Society, Series B. 2002, 64 (4): 583–639. JSTOR 3088806. MR 1979380. doi:10.1111/1467-9868.00353.

Spiegelhalter, David J.; Best, Nicola G.; Carlin, Bradley P.; van der Linde, Angelika. The deviance information criterion: 12 years on (with discussion). Journal of the Royal Statistical Society, Series B. 2014, 76 (3): 485–493.

外部連結

McElreath, Richard. Statistical Rethinking Lecture 8 (on DIC and other information criteria). 2015-01-29 [2018-10-04]. （原始內容存檔於2019-03-13） –透過YouTube.