貝葉斯定理

維基百科,自由的百科全書
跳到: 導覽搜尋

貝葉斯定理Bayes' theorem)是機率論中的一個結論,它跟隨機變量條件機率以及邊緣機率分佈有關。在有些關於機率的解說中,貝葉斯定理(貝葉斯更新)能夠告知我們如何利用新證據修改已有的看法。

通常,事件A在事件B(發生)的條件下的機率,與事件B在事件A的條件下的機率是不一樣的;然而,這兩者是有確定的關係,貝葉斯定理就是這種關係的陳述。貝葉斯公式的用途在於通過己知三個機率函數推出第四個。它的內容是:在B出現的前提下,A出現的機率等於A出現的前提下B出現的機率乘以A出現的機率再除以B出現的機率。通過聯繫A與B,計算從一個事件產生另一事件的機率,即從結果上溯原。

作為一個普遍的原理,貝葉斯定理對於所有機率的解釋是有效的;然而,頻率主義者貝葉斯主義者對於在應用中,某個隨機事件的機率該如何被賦值,有着不同的看法: 頻率主義者根據隨機事件發生的頻率,或者總體樣本裏面的發生的個數來賦值機率;貝葉斯主義者則根據未知的命題來賦值機率。這樣的理念導致貝葉斯主義者有更多的機會使用貝葉斯定理。

陳述[編輯]

貝葉斯定理是關於隨機事件A和B的條件機率(或邊緣機率)的一則定理。

P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}

其中P(A|B)是在B發生的情況下A發生的可能性。

在貝葉斯定理中,每個名詞都有約定俗成的名稱:

按這些術語,Bayes定理可表述為:

後驗機率 = (相似度*先驗機率)/標准化常量

也就是說,後驗機率與先驗機率和相似度的乘積成正比。

另外,比例P(B|A)/P(B)也有時被稱作標准相似度(standardised likelihood),Bayes定理可表述為:

後驗機率 = 標准相似度*先驗機率

從條件機率推導貝葉斯定理[編輯]

根據條件機率的定義。在事件B發生的條件下事件A發生的機率是

P(A|B)=\frac{P(A \cap B)}{P(B)}

同樣地,在事件A發生的條件下事件B發生的機率

P(B|A) = \frac{P(A \cap B)}{P(A)}. \!

整理與合併這兩個方程式,我們可以找到

P(A|B)\, P(B) = P(A \cap B) = P(B|A)\, P(A). \!

這個引理有時稱作機率乘法規則。上式兩邊同除以P(B),若P(B)是非零的,我們可以得到貝葉斯 定理:

P(A|B) = \frac{P(B|A)\,P(A)}{P(B)}. \!

二中擇一的形式[編輯]

貝葉斯定理通常可以再寫成下面的形式:

P(B) = P(A, B) + P(A^C, B) = P(B|A) P(A) + P(B|A^C) P(A^C)

其中AC是A的補集(即非A)。故上式亦可寫成:

P(A|B) = \frac{P(B | A)\, P(A)}{P(B|A)P(A) + P(B|A^C)P(A^C)}. , \!

在更一般化的情況,假設{Ai}是事件集合裡的部份集合,對於任意的Ai,貝葉斯定理可用下式表示:

P(A_i|B) = \frac{P(B | A_i)\, P(A_i)}{\sum_j P(B|A_j)\,P(A_j)} , \!

以可能性與相似率表示貝葉斯定理[編輯]

貝葉斯定理亦可由相似率Λ和可能性O表示:

O(A|B)=O(A) \cdot \Lambda (A|B)

其中

O(A|B)=\frac{P(A|B)}{P(A^C|B)} \!

定義為B發生時,A發生的可能性(odds);

O(A)=\frac{P(A)}{P(A^C)} \!

則是A發生的可能性。相似率(Likelihood ratio)則定義為:

\Lambda (A|B) = \frac{L(A|B)}{L(A^C|B)} = \frac{P(B|A)}{P(B|A^C)} \!

貝葉斯定理與機率密度[編輯]

貝葉斯定理亦可用於連續機率分佈。由於機率密度函數嚴格上並非機率,由機率密度函數導出貝葉斯定理觀念上較為困難(詳細推導參閱[1])。貝葉斯定理與機率密度的關係是由求極限的方式建立:

 f(x|y) = \frac{f(x,y)}{f(y)} = \frac{f(y|x)\,f(x)}{f(y)} \!

全機率定理則有類似的論述:

 f(x|y) = \frac{f(y|x)\,f(x)}{\int_{-\infty}^{\infty} f(y|x)\,f(x)\,dx}.
\!

如同離散的情況,公式中的每項均有名稱。 f(x, y)是XY的聯合分佈; fx|y)是給定Y=y後,X的後驗分佈; fy|x)= Lx|y)是Y=y後,X的相似度函數(為x的函數); fx)和fy)則是XY的邊際分佈; fx)則是X的先驗分佈。 為了方便起見,這裏的f在這些專有名詞中代表不同的函數(可以由引數的不同判斷之)。

貝葉斯定理的推廣[編輯]

對於變數有二個以上的情況,貝葉斯定理亦成立。例如:

 P(A|B,C) = \frac{P(A) \, P(B|A) \, P(C|A,B)}{P(B) \, P(C|B)} \!

這個式子可以由套用多次二個變數的貝式定理及條件機率的定義導出:

 P(A|B,C) = \frac{P(A,B,C)}{P(B,C)} = \frac{P(A,B,C)}{P(B) \, P(C|B)} =
 = \frac{P(C|A,B) \, P(A,B)}{P(B) \, P(C|B)} = \frac{P(A) \, P(B|A) \, P(C|A,B)}{P(B) \, P(C|B)}

一般化的方法則是利用聯合機率去分解待求的條件機率,並對不加以探討的變數積分(意即對欲探討的變數計算邊緣機率)。取決於不同的分解形式,可以證明某些積分必為1,因此分解形式可被簡化。利用這個性質,貝葉斯定理的計算量可能可以大幅下降。貝葉斯網絡為此方法的一個例子,貝葉斯網絡指定數個變數的聯合機率分佈的分解型式,該機率分佈滿足下述條件:當其他變數的條件機率給定時,該變數的條件機率為一簡單型式。

範例[編輯]

吸毒者檢測[編輯]

貝葉斯定理在檢測吸毒者時很有用。假設一個常規的檢測結果的敏感度與可靠度均為99%,也就是說,當被檢者吸毒時,每次檢測呈陽性(+)的機率為99%。而被檢者不吸毒時,每次檢測呈陰性(-)的機率為99%。從檢測結果的機率來看,檢測結果是比較準確的,但是貝葉斯定理卻可以揭示一個潛在的問題。假設某公司將對其全體僱員進行一次鴉片吸食情況的檢測,已知0.5%的僱員吸毒。我們想知道,每位醫學檢測呈陽性的僱員吸毒的機率有多高?令「D」為僱員吸毒事件,「N」為僱員不吸毒事件,「+」為檢測呈陽性事件。可得

  • P(D)代表僱員吸毒的機率,不考慮其他情況,該值為0.005。因為公司的預先統計表明該公司的僱員中有0.5%的人吸食毒品,所以這個值就是D的先驗機率
  • P(N)代表僱員不吸毒的機率,顯然,該值為0.995,也就是1-P(D)。
  • P(+|D)代表吸毒者陽性檢出率,這是一個條件機率,由於陽性檢測準確性是99%,因此該值為0.99。
  • P(+|N)代表不吸毒者陽性檢出率,也就是出錯檢測的機率,該值為0.01,因為對於不吸毒者,其檢測為陰性的機率為99%,因此,其被誤檢測成陽性的機率為1-99%。
  • P(+)代表不考慮其他因素的影響的陽性檢出率。該值為0.0149或者1.49%。我們可以通過全機率公式計算得到:此機率 = 吸毒者陽性檢出率(0.5% x 99% = 0.495%)+ 不吸毒者陽性檢出率(99.5% x 1% = 0.995%)。P(+)=0.0149是檢測呈陽性的先驗機率。用數學公式描述為:
P(+)=P(+,D)+P(+,N)=P(+|D)P(D)+P(+|N)P(N)

根據上述描述,我們可以計算某人檢測呈陽性時確實吸毒的條件機率P(D|+):

\begin{align}P(D|+) & = \frac{P(+ | D) P(D)}{P(+)} \\
& = \frac{P(+ | D) P(D)}{P(+ | D) P(D) + P(+ | N) P(N)} \\
& = \frac{0.99 \times 0.005}{0.99 \times 0.005 + 0.01 \times 0.995} \\
& = 0.3322.\end{align}

儘管我們的檢測結果可靠性很高,但是只能得出如下結論:如果某人檢測呈陽性,那麼此人是吸毒的機率只有大約33%,也就是說此人不吸毒的可能性比較大。我們測試的條件(本例中指D,僱員吸毒)越難發生,發生誤判的可能性越大。

參見[編輯]

參考文獻[編輯]

  1. ^ Papoulis A.(1984). Probability, Random Variables, and Stochastic Processes, 2nd edition. Section 7.3. New York: McGraw-Hill.

參考資料[編輯]

Versions of the essay[編輯]

Commentaries[編輯]

  • G. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. (biographical remarks)
  • Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". (an outline and exposition of Bayes's essay)
  • Stephen M. Stigler (1982). "Thomas Bayes's Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler argues for a revised interpretation of the essay; recommended)
  • Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

Additional material[編輯]

外部連結[編輯]