联合熵

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

联合熵 是一集变量之间不确定性的衡量手段。

定义

两个变量$X$ 和 $Y$ 的联合熵定义为：

$H(X,Y) = -\sum_{x} \sum_{y} P(x,y) \log_2[P(x,y)] \!$

其中 $x$ 和 $y$ 是 $X$ 和 $Y$的特定值, 相应地, $P(x,y)$ 是这些值一起出现的概率, 若 $P(x,y)=0$ 为0，则$P(x,y) \log_2[P(x,y)]$ 则定义为0。

对于两个以上的变量 $X_1, ..., X_n$ ，该式的一般形式为：

$H(X_1, ..., X_n) = -\sum_{x_1} ... \sum_{x_n} P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)] \!$

其中 $x_1,...,x_n$ 是 $X_1,...,X_n$ 的特定值, 相应地, $P(x_1, ..., x_n)$ 是这些变量同时出现的概率,若$P(x_1, ..., x_n)=0$为0 则 $P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)]$ 被定义为0.

属性

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

$H(X,Y) \geq max[H(X),H(Y)]$

$H(X_1, ..., X_n) \geq max[H(X_1), ..., H(X_n)]$

少于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在$X$和$Y$均为统计独立的时候相等。

$H(X,Y) \leq H(X) + H(Y)$

$H(X_1, ..., X_n) \leq H(X_1) + ... + H(X_n)$

与其他熵测量手段的关系

在条件熵的定义中，使用了联合熵 --

$H(X|Y) = H(X,Y) - H(Y)\,$

-- 互信息的定义中也出现了联合熵的身影：

$I(X;Y) = H(X) + H(Y) - H(X,Y)\,$

在量子信息理论中， 联合熵被扩展到联合量子熵。