本页使用了标题或全文手工转换

信息论

维基百科,自由的百科全书
跳转至: 导航搜索

信息论英语information theory)是应用数学電機工程學计算机科学的一个分支,涉及信息的量化。信息论是由克劳德·香农发展,用来找出信号处理操作的基本限制,如数据压缩、可靠的存储和数据传输的。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理密码学神经生物学[1]、进化论[2]和分子编码的功能[3]生态学的模式选择[4]、热物理[5]量子计算语言学、剽窃检测[6]模式识别、异常检测和其他形式的数据分析[7]

是信息的一个关键度量,通常用一条消息中需要存储或传输一个符号英语Symbol rate的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定擲硬幣的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。

信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理信源-信道隔离定理相互联系。

信息论的基本内容的应用包括无损数据压缩(如ZIP文件)、有损数据压缩(如MP3JPEG)、信道编码(如数字用户线路(DSL))。这个领域处在数学统计学计算机科学物理学神经科学電機工程學的交叉点上。信息论对航海家深空探测任务的成败,光盘的发明,手机的可行性,互联网的发展,语言学和人类感知的研究,对黑洞的了解,和许多其他领域都影响深远。信息论的重要子领域有信源编码信道编码算法复杂性理论算法信息论資訊理論安全性和信息度量。

简述[编辑]

信息论的主要内容可以类比人类最广泛的交流手段——语言来阐述。

一种简洁的语言(以英语为例)通常有两个重要特点: 首先,最常用的词(比如"a"、"the"、"I")应该比不太常用的词(比如"benefit"、"generation"、"mediocre")要短一些;其次,如果句子的某一部分被漏听或者由于噪声干扰(比如一辆车辆疾驰而过)而被误听,听者应该仍然可以抓住句子的大概意思。而如果把电子通信系统比作一种语言的话,这种健壮性(robustness)是不可或缺的。将健壮性引入通信是通过信道编码完成的。信源编码和信道编码是信息论的基本研究课题。

注意这些内容同消息的重要性之间是毫不相干的。例如,像“多谢;常来”这样的客套话与像“救命”这样的紧急请求在说起来、或者写起来所花的时间是差不多的,然而明显后者更重要,也更有实在意义。信息论却不考虑一段消息的重要性或内在意义,因为这些是数据的质量的问题而不是数据量(数据的长度)和可读性方面上的问题,后者只是由概率这一因素单独决定的。

信息的量[编辑]

信息I(Information)[编辑]

一離散行隨機實驗,其各結果為獨立的隨機變數,一則訊息的資訊量可以被量化成和機率倒數有關的公式。

 r.v.S \in {s_1,s_2,s_3, \dots} p(S=s)=p_k, \sum_{k}p_k=1

故出現機率為p_k的事件S_k的信息量

 I(S_k)\equiv \log_2\left(\frac{1}{p_k}\right)=-\log_2(p_k)

單位:bit(位元)

Example:

若今天有一場球賽的結局可能性有三種,每種結果的發生機率皆一樣,則

 I=log_2\left(3\right)

信息熵(Entropy)[编辑]

美國數學家克劳德·香农(Claude Shannon)被称为“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论》(A Mathematical Theory of Communication)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特(Harry Nyquist)和拉尔夫·哈特利(Ralph Hartley)於1920年代先後發表的研究成果。在该文中,香农给出了信息熵(Information Entropy,以下简称为“熵”)的定义:

H(S)=E[I(S_k)] =\sum_{k}^{}p_k I(S_k)

 = \sum_{k}^{}p_k \log_2\left(\frac{1}{p_k}\right)

信息熵度量的是作为信源的随机系统的不确定程度。

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻尔兹曼(Ludwig Boltzmann)与吉布斯(Josiah Willard Gibbs)在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

性質[编辑]

1.  H(S^n) = nH(S)

2.  0 \le H(S) \le \log_2 N N:信號符號數

例子[编辑]

若S為一個三個面的骰子,

P(面一)=1/5,

P(面二)=2/5,

P(面三)=2/5

 H(S)=\frac{1}{5}\log_2 (5)+\frac{2}{5}\log_2\left(\frac{5}{2}\right)+\frac{2}{5}\log_2\left(\frac{5}{2}\right)

鍊式法則[编辑]

兩個隨機變數組合成的熵可以用鍊式法則來表示:

 H(X,Y)=H(X)+H(Y|X)

意思是兩個隨機變數的資訊量相等於一個隨機變數的資訊量加上另一個隨機變數在條件機率下的熵,證明如下:


 P_{X,Y} (x,y)=P_X (x)P_Y (y)

H(X,Y)=log_2 (P_{X,Y} (x,y)\frac{1}{P_{X,Y} (x,y)})

利用條件機率的Bayes' theorem

      =log_2 (P_X (x)P_{Y|X} (y|x)\frac{1}{P_X (x)P_{Y|X} (y|x)})

因為對數中相乘,等於對數拆開後相加

      =log_2 (P_X (x)\frac{1}{P_X (x)})+log_2 (P_{Y|X} (y|x)\frac{1}{P_{Y|X} (y|x)})

再經由信息熵定義的轉換

      =H(X)+H(Y|X)

因此也可以推得另一個信息熵的性質:

非對稱性:

H(X,Y)不等於H(Y,X)

互信息[编辑]

互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件XY的互信息定义为:

I(X, Y) = H(X) + H(Y) - H(X, Y)

其中 H(X, Y)联合熵(Joint Entropy),其定义为:

H(X, Y) = - \sum_{x, y}^{} p(x, y) \log p(x, y)

如果X,Y互為獨立,則

I(X;Y)=0

當兩個隨機變數相互的條件機率越大,兩者間的互訊息越大。 另外互訊息還有另一個特性:

對稱性:

I(X;Y)=I(Y;X)

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

应用[编辑]

信息论被广泛应用在:

参考文献[编辑]

  1. ^ F. Rieke, D. Warland, R Ruyter van Steveninck, W Bialek. Spikes: Exploring the Neural Code. The MIT press. 1997. ISBN 978-0262681087. 
  2. ^ cf. Huelsenbeck, J. P., F. Ronquist, R. Nielsen and J. P. Bollback (2001) Bayesian inference of phylogeny and its impact on evolutionary biology, Science 294:2310-2314
  3. ^ Rando Allikmets, Wyeth W. Wasserman, Amy Hutchinson, Philip Smallwood, Jeremy Nathans, Peter K. Rogan, Thomas D. Schneider[失效連結], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences, Gene 215:1, 111-122
  4. ^ Burnham, K. P. and Anderson D. R. (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition (Springer Science, New York) ISBN 978-0-387-95364-9.
  5. ^ Jaynes, E. T. (1957) Information Theory and Statistical Mechanics, Phys. Rev. 106:620
  6. ^ Charles H. Bennett, Ming Li, and Bin Ma (2003) Chain Letters and Evolutionary Histories, Scientific American 288:6, 76-81
  7. ^ David R. Anderson. Some background on why people in the empirical sciences may want to better understand the information-theoretic methods (pdf). November 1, 2003 [2010-06-23]. [失效連結]

外部链接[编辑]