条件熵

维基百科,自由的百科全书
跳转至: 导航搜索

条件熵信息论信息熵的一种度量,它表示如果已经完全知道第二个随机变量 X 的前提下,随机变量 Y 的信息熵还有多少。也就是 基于 XY 的信息熵,用 H(Y|X) 表示。同其它的信息熵一样,条件熵也用比特奈特等信息单位表示。

定义[编辑]

给定随机变量XY,其熵分别为H(X)H(Y),两者的联合熵H(X,Y)。则基于XY条件熵定义为:

H(Y|X) \equiv H(X,Y) - H(X)

直观看来,联合系统包括 H(X,Y) 位信息,如果已知 X,那么就得到了 H(X) 位的信息,未知的信息为 H(Y|X) 位。当且仅当 X 完全确定 Y 的时候 H(Y|X)=0。相反,当且仅当 XY独立的随机变量的时候 H(Y|X) = H(Y)

量子信息论中,条件熵都概括为量子条件熵

Template:信息论小作品