本页使用了标题或全文手工转换

自信息

维基百科,自由的百科全书
跳转至: 导航搜索

自信息英语self-information),又譯為資訊本體,由克勞德·夏農提出,用來衡量單一事件發生時所包含的資訊量多寡。它的單位是bit,或是nats。

定義[编辑]

假設事件\omega_n發生的機率是 P(\omega_n),資訊本體 I(\omega_n) 的定義就是:

I(\omega_n) = \log \left(\frac{1}{P(\omega_n)} \right) = - \log(P(\omega_n))

因此,一個隨機產生的事件所包含的資訊本體數量,只與事件發生的機率相關。事件發生的機率越低,在事件真的發生時,接收到的資訊中,包含的資訊本體越大。

資訊本體還有這樣的特性:如果事件c中包含了兩個相互獨立的事件a與事件b,當事件c發生時,它所包含的資訊本體量,等於事件a的資訊本體量加上事件b。一系列事件的資訊本體加總之後,平均的資訊本體值就是資訊熵

信息量的大小不同于信息作用的大小,这不是同一概念。信息量只表明不确定性的减少程度,至于对接收者来说,所获得的信息可能事关重大,也可能无足轻重,这是信息作用的大小。