贝叶斯定理

维基百科,自由的百科全书
跳转至: 导航搜索

贝叶斯定理Bayes' theorem)是概率论中的一个结论,它跟随机变量条件概率以及边缘概率分布有关。在有些关于概率的解说中,贝叶斯定理(贝叶斯更新)能够告知我们如何利用新证据修改已有的看法。

通常,事件A在事件B(发生)的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。贝叶斯公式的用途在于通过己知三个概率函数推出第四个。它的内容是:在B出现的前提下,A出现的概率等于A出现的前提下B出现的概率乘以A出现的概率再除以B出现的概率。通过联系A与B,计算从一个事件产生另一事件的概率,即从结果上溯原。

作为一个普遍的原理,贝叶斯定理对于所有概率的解释是有效的;然而,频率主义者贝叶斯主义者对于在应用中,某个随机事件的概率该如何被赋值,有着不同的看法: 频率主义者根据随机事件发生的频率,或者总体样本裡面的发生的个数来赋值概率;贝叶斯主义者则根据未知的命题来赋值概率。这样的理念导致贝叶斯主义者有更多的机会使用贝叶斯定理。

陈述[编辑]

贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一則定理。

P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}

其中P(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中,每个名词都有约定俗成的名称:

按這些術語,Bayes定理可表述為:

后驗概率 = (相似度*先驗概率)/標准化常量

也就是說,后驗概率与先驗概率和相似度的乘積成正比。

另外,比例P(B|A)/P(B)也有時被稱作標准相似度(standardised likelihood),Bayes定理可表述為:

后驗概率 = 標准相似度*先驗概率

從條件概率推導貝氏定理[编辑]

根據條件概率的定義。在事件B发生的条件下事件A发生的概率是

P(A|B)=\frac{P(A \cap B)}{P(B)}

同樣地,在事件A发生的条件下事件B发生的概率

P(B|A) = \frac{P(A \cap B)}{P(A)}. \!

整理与合并這兩個方程式,我們可以找到

P(A|B)\, P(B) = P(A \cap B) = P(B|A)\, P(A). \!

这个引理有时称作概率乘法规则。上式兩邊同除以P(B),若P(B)是非零的,我們可以得到贝叶斯 定理:

P(A|B) = \frac{P(B|A)\,P(A)}{P(B)}. \!

二中擇一的形式[编辑]

貝氏定理通常可以再寫成下面的形式:

P(B) = P(A, B) + P(A^C, B) = P(B|A) P(A) + P(B|A^C) P(A^C)

其中AC是A的補集(即非A)。故上式亦可寫成:

P(A|B) = \frac{P(B | A)\, P(A)}{P(B|A)P(A) + P(B|A^C)P(A^C)}. , \!

在更一般化的情況,假設{Ai}是事件集合裡的部份集合,對於任意的Ai,貝氏定理可用下式表示:

P(A_i|B) = \frac{P(B | A_i)\, P(A_i)}{\sum_j P(B|A_j)\,P(A_j)} , \!

以可能性與相似率表示貝氏定理[编辑]

貝氏定理亦可由相似率Λ和可能性O表示:

O(A|B)=O(A) \cdot \Lambda (A|B)

其中

O(A|B)=\frac{P(A|B)}{P(A^C|B)} \!

定義為B發生時,A發生的可能性(odds);

O(A)=\frac{P(A)}{P(A^C)} \!

則是A發生的可能性。相似率(Likelihood ratio)則定義為:

\Lambda (A|B) = \frac{L(A|B)}{L(A^C|B)} = \frac{P(B|A)}{P(B|A^C)} \!

貝氏定理與概率密度[编辑]

貝氏定理亦可用於連續機率分佈。由於機率密度函數嚴格上並非機率,由機率密度函數導出貝氏定理觀念上較為困難(詳細推導參閱[1])。貝氏定理與機率密度的關係是由求極限的方式建立:

 f(x|y) = \frac{f(x,y)}{f(y)} = \frac{f(y|x)\,f(x)}{f(y)} \!

全機率定理則有類似的論述:

 f(x|y) = \frac{f(y|x)\,f(x)}{\int_{-\infty}^{\infty} f(y|x)\,f(x)\,dx}.
\!

如同離散的情況,公式中的每項均有名稱。 f(x, y)是XY的聯合分佈; fx|y)是給定Y=y後,X的後驗分佈; fy|x)= Lx|y)是Y=y後,X的相似度函數(為x的函數); fx)和fy)則是XY的邊際分佈; fx)則是X的先驗分佈。 為了方便起見,這裡的f在這些專有名詞中代表不同的函數(可以由引數的不同判斷之)。

貝氏定理的推廣[编辑]

對於變數有二個以上的情況,貝氏定理亦成立。例如:

 P(A|B,C) = \frac{P(A) \, P(B|A) \, P(C|A,B)}{P(B) \, P(C|B)} \!

這個式子可以由套用多次二個變數的貝式定理及條件機率的定義導出:

 P(A|B,C) = \frac{P(A,B,C)}{P(B,C)} = \frac{P(A,B,C)}{P(B) \, P(C|B)} =
 = \frac{P(C|A,B) \, P(A,B)}{P(B) \, P(C|B)} = \frac{P(A) \, P(B|A) \, P(C|A,B)}{P(B) \, P(C|B)}

一般化的方法則是利用聯合機率去分解待求的條件機率,並對不加以探討的變數積分(意即對欲探討的變數計算邊緣機率)。取決於不同的分解形式,可以證明某些積分必為1,因此分解形式可被簡化。利用這個性質,貝氏定理的計算量可能可以大幅下降。貝氏網路為此方法的一個例子,貝氏網路指定數個變數的聯合機率分佈的分解型式,該機率分佈滿足下述條件:當其他變數的條件機率給定時,該變數的條件機率為一簡單型式。

範例[编辑]

吸毒者检测[编辑]

贝叶斯定理在检测吸毒者时很有用。假设一个常规的检测结果的敏感度与可靠度均为99%,也就是说,当被检者吸毒时,每次检测呈阳性(+)的概率为99%。而被检者不吸毒时,每次检测呈阴性(-)的概率为99%。从检测结果的概率来看,检测结果是比较准确的,但是贝叶斯定理卻可以揭示一个潜在的问题。假设某公司将对其全体雇员进行一次鸦片吸食情况的检测,已知0.5%的雇员吸毒。我们想知道,每位医学检测呈阳性的雇员吸毒的概率有多高?令“D”为雇员吸毒事件,“N”为雇员不吸毒事件,“+”为检测呈阳性事件。可得

  • P(D)代表雇员吸毒的概率,不考虑其他情况,该值为0.005。因为公司的预先统计表明该公司的雇员中有0.5%的人吸食毒品,所以这个值就是D的先验概率
  • P(N)代表雇员不吸毒的概率,显然,该值为0.995,也就是1-P(D)。
  • P(+|D)代表吸毒者阳性检出率,这是一个条件概率,由于阳性检测准确性是99%,因此该值为0.99。
  • P(+|N)代表不吸毒者阳性检出率,也就是出错检测的概率,该值为0.01,因为对于不吸毒者,其检测为阴性的概率为99%,因此,其被误检测成阳性的概率为1-99%。
  • P(+)代表不考虑其他因素的影响的阳性检出率。该值为0.0149或者1.49%。我们可以通过全概率公式计算得到:此概率 = 吸毒者阳性检出率(0.5% x 99% = 0.495%)+ 不吸毒者阳性检出率(99.5% x 1% = 0.995%)。P(+)=0.0149是检测呈阳性的先验概率。用数学公式描述为:
P(+)=P(+,D)+P(+,N)=P(+|D)P(D)+P(+|N)P(N)

根据上述描述,我们可以计算某人检测呈阳性时确实吸毒的条件概率P(D|+):

\begin{align}P(D|+) & = \frac{P(+ | D) P(D)}{P(+)} \\
& = \frac{P(+ | D) P(D)}{P(+ | D) P(D) + P(+ | N) P(N)} \\
& = \frac{0.99 \times 0.005}{0.99 \times 0.005 + 0.01 \times 0.995} \\
& = 0.3322.\end{align}

尽管我们的检测结果可靠性很高,但是只能得出如下结论:如果某人检测呈阳性,那么此人是吸毒的概率只有大约33%,也就是说此人不吸毒的可能性比较大。我们测试的条件(本例中指D,雇员吸毒)越难发生,發生误判的可能性越大。

参见[编辑]

參考文獻[编辑]

  1. ^ Papoulis A.(1984). Probability, Random Variables, and Stochastic Processes, 2nd edition. Section 7.3. New York: McGraw-Hill.

参考资料[编辑]

Versions of the essay[编辑]

Commentaries[编辑]

  • G. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. (biographical remarks)
  • Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". (an outline and exposition of Bayes's essay)
  • Stephen M. Stigler (1982). "Thomas Bayes's Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler argues for a revised interpretation of the essay; recommended)
  • Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

Additional material[编辑]

外部連結[编辑]