吉布斯不等式

维基百科,自由的百科全书
跳转至: 导航搜索

吉布斯不等式說明:

\sum_{i=1}^n p_i = \sum_{i=1}^n q_i = 1 ,且p_i , q_i \in (0,1],則有:

- \sum_{i=1}^n p_i \log p_i \leq - \sum_{i=1}^n p_i \log q_i,等號成立若且唯若p_i = q_i \forall i

信息論概率論,它能應用在Fano不等式訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明[编辑]

吉布斯不等式等價於:

0 \geq \sum_{i=1}^n p_i \log q_i  - \sum_{i=1}^n p_i \log p_i = \sum_{i=1}^n p_i \log (q_i / p_i) = - D_{\mathrm{KL}}(P\|Q) (見相對熵

證明最右的項小於或等於0的方法有幾種,

\sum_{i=1}^n p_i \log (q_i / p_i) \leq \sum_{i=1}^n p_i (q_i / p_i - 1) = \sum_{i=1}^n (q_i - p_i) = \sum_{i=1}^n q_i - \sum_{i=1}^n p_i = 0


\sum_{i=1}^n p_i \log \frac{p_i}{q_i} \geq (\sum_{i=1}^n p_i) \log \frac{\sum_{i=1}^n p_i}{\sum_{i=1}^n q_i} = 0

引理[编辑]

對於n個變數的概率分布P,其的最大值是:

H(p_1, \ldots , p_n) \leq \log n