互信息

维基百科,自由的百科全书
跳转至: 导航搜索

互信息(Mutual Information)是一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为:

 I(X;Y) = \sum_{y \in Y} \sum_{x \in X} 
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) }, \,\!

又可以表示成

\begin{align}
I(X;Y) & = H(X) - H(X|Y) \\
& = H(Y) - H(Y|X) \\
& = H(X) + H(Y) - H(X,Y) \\
& = H(X,Y) - H(X|Y) - H(Y|X) \ge 0
\end{align}

其中H(X,Y)是联合熵(Joint Entropy),其定义为:

H(X,Y) = -\sum p(x,y) \log p(x,y)

H(X|Y)是条件熵(conditional entropy),定义重属于熵的定义;

x,y互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。