互信息

互信息（Mutual Information）是一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

$\begin{align} I(X;Y) & = H(X) - H(X|Y) \\ & = H(Y) - H(Y|X) \\ & = H(X) + H(Y) - H(X,Y) \\ & = H(X,Y) - H(X|Y) - H(Y|X) \ge 0 \end{align}$

其中H(X,Y)是联合熵（Joint Entropy），其定义为：

$H(X,Y) = -\sum p(x,y) \log p(x,y)$

H(X|Y)是条件熵（conditional entropy），定义重属于熵的定义；

x,y互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。