吉布斯不等式

约西亚·吉布斯

吉布斯不等式说明：

若 $\sum _{i=1}^{n}p_{i}=\sum _{i=1}^{n}q_{i}=1$，且$p_{i},q_{i}\in (0,1]$，则有：

$-\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}$，等号成立当且仅当$p_{i}=q_{i}\forall i$

在信息论和概率论，它能应用在法诺不等式和讯号源编码定理的证明。

约西亚·吉布斯在19世纪提出它。

证明

吉布斯不等式等价于：

$0\geq \sum _{i=1}^{n}p_{i}\log q_{i}-\sum _{i=1}^{n}p_{i}\log p_{i}=\sum _{i=1}^{n}p_{i}\log(q_{i}/p_{i})=-D_{\mathrm {KL} }(P\|Q)$（见相对熵）

证明最右的项小于或等于0的方法有几种：

• 已知 $\ln(x)\leq x-1$，等号成立当且仅当 $x=1$：

$\sum _{i=1}^{n}p_{i}\log(q_{i}/p_{i})\leq \sum _{i=1}^{n}p_{i}(q_{i}/p_{i}-1)=\sum _{i=1}^{n}(q_{i}-p_{i})=\sum _{i=1}^{n}q_{i}-\sum _{i=1}^{n}p_{i}=0$

• 根据对数求和不等式或延森不等式：

$\sum _{i}p_{i}\log {\frac {q_{i}}{p_{i}}}\leq \log \sum _{i}p_{i}{\frac {q_{i}}{p_{i}}}=\log \sum _{i}q_{i}\leq 0$

引理

对于n个变量的概率分布P，其熵的最大值是：

$H(p_{1},\ldots ,p_{n})\leq \log n$