吉布斯不等式

维基百科,自由的百科全书
跳转至: 导航搜索
約西亞·吉布斯

吉布斯不等式說明:

,且,則有:

,等號成立若且唯若

信息論概率論,它能應用在Fano不等式訊號源編碼定理的證明。

約西亞·吉布斯在19世紀提出它。

證明[编辑]

吉布斯不等式等價於:

(見相對熵

證明最右的項小於或等於0的方法有幾種,

  • 已知 ,等號成立若且唯若 x=1。


引理[编辑]

對於n個變數的概率分布P,其的最大值是: