联合熵

维基百科,自由的百科全书
跳转至: 导航搜索
独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

联合 是一集变量之间不确定性的衡量手段。

定义[编辑]

两个变量XY 的联合熵定义为:

H(X,Y) = -\sum_{x} \sum_{y} P(x,y) \log_2[P(x,y)] \!

其中 xyXY的特定值, 相应地, P(x,y) 是这些值一起出现的概率, 若 P(x,y)=0 为0,则P(x,y) \log_2[P(x,y)] 则定义为0。

对于两个以上的变量 X_1, ..., X_n ,该式的一般形式为:

H(X_1, ..., X_n) = -\sum_{x_1} ... \sum_{x_n} P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)] \!

其中 x_1,...,x_nX_1,...,X_n 的特定值, 相应地, P(x_1, ..., x_n) 是这些变量同时出现的概率,若P(x_1, ..., x_n)=0为0 则 P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)] 被定义为0.

属性[编辑]

大于每个独立的熵[编辑]

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

H(X,Y) \geq max[H(X),H(Y)]
H(X_1, ..., X_n) \geq max[H(X_1), ..., H(X_n)]

少于独立熵的和[编辑]

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在XY均为统计独立的时候相等。

H(X,Y) \leq H(X) + H(Y)
H(X_1, ..., X_n) \leq H(X_1) + ... + H(X_n)

与其他熵测量手段的关系[编辑]

条件熵的定义中,使用了联合熵 --

H(X|Y) = H(X,Y) - H(Y)\,

-- 互信息的定义中也出现了联合熵的身影:

I(X;Y) = H(X) + H(Y) - H(X,Y)\,

在量子信息理论中, 联合熵被扩展到联合量子熵。