相对熵

相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，簡稱KLD），信息散度（information divergence），信息增益（information gain）。

KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来 度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。 典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。

定義

對於离散隨機变量，其概率分布P 和 Q的KL散度可按下式定義為

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \ln \frac{P(i)}{Q(i)}. \!$

即按概率P求得的P和Q的對數差的平均值。KL散度僅當概率P和Q各自總和均為1，且對於任何i皆滿足$Q(i)>0$及$P(i)>0$時，才有定義。式中出現$0 \ln 0$的情況，其值按0處理。

對於連續隨機變量，其概率分佈P和Q可按積分方式定義為

$D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^\infty p(x) \ln \frac{p(x)}{q(x)} \, {\rm d}x, \!$

其中p和q分別表示分佈P和Q的密度。

更一般的，若P和Q為集合X的概率測度，且Q關於P絕對連續，則從P到Q的KL散度定義為

$D_{\mathrm{KL}}(P\|Q) = -\int_X \ln \frac{{\rm d}Q}{{\rm d}P} \,{\rm d}P, \!$

其中，假定右側的表達形式存在，則$\frac{{\rm d}Q}{{\rm d}P}$為Q關於P的R–N導數。

相應的，若P關於Q絕對連續，則

$D_{\mathrm{KL}}(P\|Q) = \int_X \ln \frac{{\rm d}P}{{\rm d}Q} \,{\rm d}P = \int_X \frac{{\rm d}P}{{\rm d}Q} \ln\frac{{\rm d}P}{{\rm d}Q}\,{\rm d}Q,$

即為P關於Q的相對熵。

特性

相對熵的值為非負數：

$D_{\mathrm{KL}}(P\|Q) \geq 0, \,$

由吉布斯不等式（en:Gibbs' inequality）可知，當且僅當P = Q時D_KL(P||Q)為零。

尽管从直觉上KL散度是个度量或距离函数, 但是它实际上并不是一个真正的度量或距離。因為KL散度不具有对称性：从分布P到Q的距离（或度量）通常并不等于从Q到P的距离（或度量）。

$D_{\mathrm{KL}}(P\|Q) \neq D_{\mathrm{KL}}(Q\|P)$

KL散度和其它量的关系

自信息（en:self-information）和KL散度

$I(m) = D_{\mathrm{KL}}(\delta_{im} \| \{ p_i \}),$

互信息（en:Mutual information）和KL散度

$\begin{align}I(X;Y) & = D_{\mathrm{KL}}(P(X,Y) \| P(X)P(Y) ) \\ & = \mathbb{E}_X \{D_{\mathrm{KL}}(P(Y|X) \| P(Y) ) \} \\ & = \mathbb{E}_Y \{D_{\mathrm{KL}}(P(X|Y) \| P(X) ) \}\end{align}$

信息熵（en: Shannon entropy)）和KL散度

$\begin{align}H(X) & = \mathrm{(i)} \, \mathbb{E}_x \{I(x)\} \\ & = \mathrm{(ii)} \log N - D_{\mathrm{KL}}(P(X) \| P_U(X) )\end{align}$

条件熵（en:conditional entropy）和KL散度

$\begin{align}H(X|Y) & = \log N - D_{\mathrm{KL}}(P(X,Y) \| P_U(X) P(Y) ) \\ & = \mathrm{(i)} \,\, \log N - D_{\mathrm{KL}}(P(X,Y) \| P(X) P(Y) ) - D_{\mathrm{KL}}(P(X) \| P_U(X)) \\ & = H(X) - I(X;Y) \\ & = \mathrm{(ii)} \, \log N - \mathbb{E}_Y \{ D_{\mathrm{KL}}(P(X|Y) \| P_U(X)) \}\end{align}$

交叉熵（en:cross entropy）和KL散度

$\mathrm{H}(p, q) = \mathrm{E}_p[-\log q] = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q).\!$