跳转到内容

对数求和不等式

维基百科,自由的百科全书

对数求和不等式(Log sum inequality)是一个不等式 ,可用于证明信息论中的多个定理。

定理陈述

[编辑]

对任何非负实数 和正数 ,并记

则有如下的对数求和不等式:

上式中,等号成立的充分必要条件是所有 都相等。

证明

[编辑]

设辅助函数 ,容易验证这个函数是一个凸(Convex)函数,我们有

推导中第二行的不等号,是由琴生不等式得到的 (可验证 )。

应用

[编辑]

对数求和不等式可用于证明信息论中的几个不等式,例如吉布斯不等式KL散度的基本性质 。

例如,证明吉布斯不等式时,将 看作 ,将 看作 ,得到

一般情形

[编辑]

这个不等式对于收敛的无穷级数亦成立,即当 时,附加假设 即可使不等式成立。

另一种推广则是将对数函数一般化。只要将对数函数换为任何一个,其使得 是一个凸(Convex)函数即可。2004年,Csiszár证明了将对数函数换成一个单调非减函数,定理亦成立。

参考文献

[编辑]
  • T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. ISBN 0-8218-0534-7.
  • Information Theory course materials, Utah State University [1]. Retrieved on 2009-06-14.
  • Csiszár, I.; Shields, P. Information Theory and Statistics: A Tutorial (PDF). Foundations and Trends in Communications and Information Theory. 2004, 1 (4): 417–528 [2009-06-14]. doi:10.1561/0100000004. (原始内容存档 (PDF)于2021-01-25).