联合熵

维基百科,自由的百科全书
跳转至: 导航搜索
独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

联合是一集变量之间不确定性的衡量手段。

定义[编辑]

两个变量XY 的联合信息熵定义为:

\Eta(X,Y) = -\sum_{x} \sum_{y} P(x,y) \log_2[P(x,y)] \!

其中 xyXY的特定值, 相应地, P(x,y) 是这些值一起出现的联合概率, 若P(x,y)=0 为0,则P(x,y) \log_2[P(x,y)] 定义为0。

对于两个以上的变量 X_1, ..., X_n ,该式的一般形式为:

\Eta(X_1, ..., X_n) = -\sum_{x_1} ... \sum_{x_n} P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)] \!

其中 x_1,...,x_nX_1,...,X_n 的特定值,相应地,P(x_1, ..., x_n) 是这些变量同时出现的概率,若P(x_1, ..., x_n)=0为0,则 P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)] 被定义为0.

性質[编辑]

大于每个独立的熵[编辑]

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

\Eta(X,Y) \geq \max[\Eta(X),\Eta(Y)]
\Eta(X_1, ..., X_n) \geq \max[H(X_1), ..., H(X_n)]

少于独立熵的和[编辑]

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在XY均为统计独立的时候相等。

\Eta(X,Y) \leq \Eta(X) + \Eta(Y)
\Eta(X_1, ..., X_n) \leq \Eta(X_1) + ... + \Eta(X_n)

与其他熵测量手段的关系[编辑]

条件熵的定义中,使用了联合熵

\Eta(X|Y) = \Eta(X,Y) - \Eta(Y)\,

互信息的定义中也出现了联合熵的身影:

I(X;Y) = \Eta(X) + \Eta(Y) - \Eta(X,Y)\,

量子信息理论中, 联合熵被扩展到联合量子熵英语joint quantum entropy