本页使用了标题或全文手工转换

自信息

维基百科,自由的百科全书
跳转至: 导航搜索

信息论中,自信息英语self-information),由克勞德·夏農提出,是与概率空间中的單一事件或离散随机变量的值相关的資訊量的量度。它用信息的單位表示,例如 bitnat或是hart,使用哪个单位取决于在计算中使用的对数的底。

定義[编辑]

由定义,一個隨機產生的事件所包含的資訊本體數量,只與事件發生的機率相關。事件發生的機率越低,在事件真的發生時,接收到的資訊中,包含的資訊本體越大。

此外,根据定义,自信息的量度是正的而且是可加的。如果事件 C 是两个独立事件 AB交集,那么宣告 C 发生的信息量就等于分别宣告事件 A 和事件 B 的信息量的I(A ∩ B)=I(A)+I(B).

考虑到这些性质,假設事件\omega_n發生的機率是 P(\omega_n),資訊本體 I(\omega_n) 的定義就是:

I(\omega_n) = \log \left(\frac{1}{P(\omega_n)} \right) = - \log(P(\omega_n))

此定义符合上述条件。在上面的定义中,没有指定的对数的基底:如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

資訊本體還有這樣的特性:如果事件 c 中包含了兩個相互獨立的事件 a 與事件 b,當事件 c 發生時,它所包含的資訊本體量,等於事件 a 的資訊本體量加上事件 b。一系列事件的資訊本體加總之後,平均的資訊本體值就是資訊熵

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。