新起点
偏差信息量准则
2020-06-15 06:31:37

偏差信息量准则(英语:deviance information criterion,DIC)是等级模型化的赤池信息量准则(AIC),被广泛应用于由马尔可夫链蒙特卡洛(MCMC)模拟出的后验分布的贝叶斯模型选择问题。和赤池信息量准则一样,偏差信息量准则是随样本容量增加的渐近近似,只应用于后验分布呈多元正态分布的情况。


定义偏差(deviance)为 D ( θ ) = 2 log ( p ( y | θ ) ) + C {\displaystyle D(\theta )=-2\log(p(y|\theta ))+C} ,其中 y {\displaystyle y} 为数据, θ {\displaystyle \theta } 是模型中的未知参量, p ( y | θ ) {\displaystyle p(y|\theta )} 是似然函数, C {\displaystyle C} 是常量。

有两种计算模型参数的有效数量 p D {\displaystyle p_{D}} 的方法。一种是 p D = D ¯ D ( θ ¯ ) {\displaystyle p_{D}={\bar {D}}-D({\bar {\theta }})} ,其中 θ ¯ {\displaystyle {\bar {\theta }}} θ {\displaystyle \theta } 的期望(Spiegelhalter 等人 2002,p.587)。第二种是 p D = p V = 1 2 var ^ ( D ( θ ) ) {\displaystyle p_{D}=p_{V}={\frac {1}{2}}{\widehat {\operatorname {var} }}\left(D(\theta )\right)} (Gelman 等人 2004,p.182)。有效数量 p D {\displaystyle p_{D}} 越大,模型的参数就越多,模型就越容易拟合数据,但也需要更小的偏差。

偏差信息量准则 D I C {\displaystyle {\mathit {DIC}}} 被定义为

或等效于

从第二种定义更能看出它和赤池信息量准则的联系。

一般而言,偏差信息量准则 D I C {\displaystyle {\mathit {DIC}}} 的值越小,模型越好。这一准则的优点是它很容易从马尔可夫链蒙特卡洛(MCMC)模拟产生的样本中计算出来。


网站公告: