贝叶斯定理

维基百科,自由的百科全书

跳转到: 导航, 搜索


贝叶斯定理Bayes theorem),是概率论中的一个结果,它跟随机变量条件概率以及边缘概率分布有关。在有些关于概率的解说中,贝叶斯定理(贝叶斯更新)能够告知我们如何利用新证据修改已有的看法。

通常,事件A在事件B(发生)的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。

作为一个规范的原理,贝叶斯定理对于所有概率的解释是有效的;然而,频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法: 频率主义者根据随机事件发生的频率,或者总体样本里面的个数来赋值概率;贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是,贝叶斯主义者有更多的机会使用贝叶斯定理。本文深度讨论了这些争论。

目录

[编辑] 贝叶斯定理的陈述

贝叶斯定理是关于随机事件A和B的条件概率边缘概率的一則定理。

\Pr(A|B) = \frac{\Pr(B | A)\, \Pr(A)}{\Pr(B)}  \propto L(A | B)\, \Pr(A) \!

其中L(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中,每个名词都有约定俗成的名称:

按這些術語,Bayes定理可表述為:

后驗概率 = (相似度 * 先驗概率)/標准化常量

也就是說,后驗概率与先驗概率和相似度的乘積成正比。

另外,比例Pr(B|A)/Pr(B)也有時被稱作標准相似度(standardised likelihood),Bayes定理可表述為:

后驗概率 = 標准相似度 * 先驗概率

[编辑] 從條件概率推導貝氏定理

根據條件概率的定義 . 在事件B发生的条件下事件 A发生的概率是

\Pr(A|B)=\frac{\Pr(A \cap B)}{\Pr(B)}.

同樣地, 在事件A发生的条件下事件 B发生的概率

\Pr(B|A) = \frac{\Pr(A \cap B)}{\Pr(A)}. \!

整理与合并這兩個方程式, 我們可以找到

\Pr(A|B)\, \Pr(B) = \Pr(A \cap B) = \Pr(B|A)\, \Pr(A). \!

这个引理有时称作概率乘法规则.上式兩邊同除以Pr(B), 若Pr(B)是非零的, 我們可以得到贝叶斯 定理:

\Pr(A|B) = \frac{\Pr(B|A)\,\Pr(A)}{\Pr(B)}. \!

[编辑] 二中擇一的形式

貝氏定理通常可以再寫成下面的形式:

\Pr(B) = \Pr(A, B) + \Pr(A^C, B) = \Pr(B|A) \Pr(A) + \Pr(B|A^C) \Pr(A^C)\,

其中AC是A的補集(即非A)。故上式亦可寫成:

\Pr(A|B) = \frac{\Pr(B | A)\, \Pr(A)}{\Pr(B|A)\Pr(A) + \Pr(B|A^C)\Pr(A^C)}. , \!

在更一般化的情況,假設{Ai}是事件集合裡的部份集合,對於任意的Ai,貝氏定理可用下式表示:

\Pr(A_i|B) = \frac{\Pr(B | A_i)\, \Pr(A_i)}{\sum_j \Pr(B|A_j)\,\Pr(A_j)} , \!

[编辑] 以可能性與相似率表示貝氏定理

参见:全機率定理

貝氏定理亦可由相似率Λ可能性O表示:

O(A|B)=O(A) \cdot \Lambda (A|B)

其中

O(A|B)=\frac{\Pr(A|B)}{\Pr(A^C|B)} \!

定義為B發生時,A發生的可能性(odds);

O(A)=\frac{\Pr(A)}{\Pr(A^C)} \!

則是A發生的可能性。相似率(Likelihood ratio)則定義為:

\Lambda (A|B) = \frac{L(A|B)}{L(A^C|B)} = \frac{\Pr(B|A)}{\Pr(B|A^C)} \!

[编辑] 貝氏定理與機率密度

貝氏定理亦可用於連續機率分佈。由於機率密度函數嚴格上並非機率,由機率密度函數導出貝氏定理觀念上較為困難(詳細推導參閱[1])。貝氏定理與機率密度的關係是由求極限的方式建立:

 f(x|y) = \frac{f(x,y)}{f(y)} = \frac{f(y|x)\,f(x)}{f(y)} \!

全機率定理則有類似的論述:

 f(x|y) = \frac{f(y|x)\,f(x)}{\int_{-\infty}^{\infty} f(y|x)\,f(x)\,dx}.
\!

如同離散的情況,公式中的每項均有名稱。 f(x, y)是XY的聯合分佈; f(x|y) 是給定Y=y後,X的後驗分佈; f(y|x) = L(x|y)是Y=y後,X的相似度函數(為x的函數); f(x) 和f(y)則是XY的邊際分佈; f(x)則是X的先驗分佈。 為了方便起見,這裡的f在這些專有名詞中代表不同的函數(可以由引數的不同判斷之)。


[编辑] 貝氏定理的推廣

對於變數有二個以上的情況,貝式定理亦成立。例如:

 \Pr(A|B,C) = \frac{\Pr(A) \, \Pr(B|A) \, \Pr(C|A,B)}{\Pr(B) \, \Pr(C|B)} \!

這個式子可以由套用多次二個變數的貝式定理及條件機率的定義導出:

 \Pr(A|B,C) = \frac{\Pr(A,B,C)}{\Pr(B,C)} = \frac{\Pr(A,B,C)}{\Pr(B) \, \Pr(C|B)} =
 = \frac{\Pr(C|A,B) \, \Pr(A,B)}{\Pr(B) \, \Pr(C|B)} = \frac{\Pr(A) \, \Pr(B|A) \, \Pr(C|A,B)}{\Pr(B) \, \Pr(C|B)} .

一般化的方法則是利用聯合機率去分解待求的條件機率,並對不加以探討的變數積分(意即對欲探討的變數計算邊緣機率)。取決於不同的分解形式,可以證明某些積分必為1,因此分解形式可被簡化。利用這個性質,貝氏定理的計算量可能可以大幅下降。貝氏網路為此方法的一個例子,貝氏網路指定數個變數的聯合機率分佈的分解型式,該機率分佈滿足下述條件:當其他變數的條件機率給定時,該變數的條件機率為一簡單型式。

[编辑] 範例

[编辑] 例一:醫學檢驗中的錯誤陽性反應

[编辑] 例二:條件機率

[编辑] 参见

[编辑] References

[编辑] Versions of the essay

[编辑] Commentaries

  • G. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. (biographical remarks)
  • Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". (an outline and exposition of Bayes's essay)
  • Stephen M. Stigler (1982). "Thomas Bayes's Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler argues for a revised interpretation of the essay; recommended)
  • Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

[编辑] Additional material

个人工具