贝叶斯定理

贝叶斯定理（Bayes' theorem），是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理（贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。

通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。

作为一个普遍的原理，贝叶斯定理对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中，某个随机事件的概率该如何被赋值，有着不同的看法： 频率主义者根据随机事件发生的频率，或者总体样本裡面的发生的个数来赋值概率；贝叶斯主义者则根据未知的命题来赋值概率。这样的理念导致贝叶斯主义者有更多的机会使用贝叶斯定理。

陈述

贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一則定理。

$P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}$

其中P(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中，每个名词都有约定俗成的名称：

• P(A)是A的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
• P(A|B)是已知B發生后A的條件概率，也由于得自B的取值而被稱作A的后驗概率。
• P(B|A)是已知A發生后B的條件概率，也由于得自A的取值而被稱作B的后驗概率。
• P(B)是B的先驗概率或邊緣概率，也作標准化常量（normalized constant）.

按這些術語，Bayes定理可表述為：

后驗概率 = (相似度*先驗概率)/標准化常量

也就是說，后驗概率与先驗概率和相似度的乘積成正比。

另外，比例P(B|A)/P(B)也有時被稱作標准相似度（standardised likelihood），Bayes定理可表述為：

后驗概率 = 標准相似度*先驗概率

從條件概率推導貝氏定理

根據條件概率的定義。在事件B发生的条件下事件A发生的概率是

$P(A|B)=\frac{P(A \cap B)}{P(B)}$。

同樣地，在事件A发生的条件下事件B发生的概率

$P(B|A) = \frac{P(A \cap B)}{P(A)}. \!$

整理与合并這兩個方程式，我們可以找到

$P(A|B)\, P(B) = P(A \cap B) = P(B|A)\, P(A). \!$

这个引理有时称作概率乘法规则。上式兩邊同除以P(B)，若P(B)是非零的，我們可以得到贝叶斯 定理:

$P(A|B) = \frac{P(B|A)\,P(A)}{P(B)}. \!$

二中擇一的形式

貝氏定理通常可以再寫成下面的形式：

$P(B) = P(A, B) + P(A^C, B) = P(B|A) P(A) + P(B|A^C) P(A^C)$，

其中A^C是A的補集（即非A）。故上式亦可寫成：

$P(A|B) = \frac{P(B | A)\, P(A)}{P(B|A)P(A) + P(B|A^C)P(A^C)}. , \!$

在更一般化的情況，假設{A_i}是事件集合裡的部份集合，對於任意的A_i，貝氏定理可用下式表示：

$P(A_i|B) = \frac{P(B | A_i)\, P(A_i)}{\sum_j P(B|A_j)\,P(A_j)} , \!$

以可能性與相似率表示貝氏定理

貝氏定理亦可由相似率Λ和可能性O表示：

$O(A|B)=O(A) \cdot \Lambda (A|B)$

其中

$O(A|B)=\frac{P(A|B)}{P(A^C|B)} \!$

定義為B發生時，A發生的可能性（odds）；

$O(A)=\frac{P(A)}{P(A^C)} \!$

則是A發生的可能性。相似率（Likelihood ratio）則定義為：

$\Lambda (A|B) = \frac{L(A|B)}{L(A^C|B)} = \frac{P(B|A)}{P(B|A^C)} \!$

貝氏定理與機率密度

貝氏定理亦可用於連續機率分佈。由於機率密度函數嚴格上並非機率，由機率密度函數導出貝氏定理觀念上較為困難（詳細推導參閱）。貝氏定理與機率密度的關係是由求極限的方式建立：

$f(x|y) = \frac{f(x,y)}{f(y)} = \frac{f(y|x)\,f(x)}{f(y)} \!$

全機率定理則有類似的論述：

$f(x|y) = \frac{f(y|x)\,f(x)}{\int_{-\infty}^{\infty} f(y|x)\,f(x)\,dx}. \!$

如同離散的情況，公式中的每項均有名稱。 f(x, y)是X和Y的聯合分佈； f（x|y）是給定Y=y後，X的後驗分佈； f（y|x）= L（x|y）是Y=y後，X的相似度函數（為x的函數)； f（x）和f（y）則是X和Y的邊際分佈； f（x）則是X的先驗分佈。 為了方便起見，這裡的f在這些專有名詞中代表不同的函數（可以由引數的不同判斷之）。

貝氏定理的推廣

對於變數有二個以上的情況，貝式定理亦成立。例如：

$P(A|B,C) = \frac{P(A) \, P(B|A) \, P(C|A,B)}{P(B) \, P(C|B)} \!$

這個式子可以由套用多次二個變數的貝式定理及條件機率的定義導出：

$P(A|B,C) = \frac{P(A,B,C)}{P(B,C)} = \frac{P(A,B,C)}{P(B) \, P(C|B)} =$

$= \frac{P(C|A,B) \, P(A,B)}{P(B) \, P(C|B)} = \frac{P(A) \, P(B|A) \, P(C|A,B)}{P(B) \, P(C|B)}$。

一般化的方法則是利用聯合機率去分解待求的條件機率，並對不加以探討的變數積分（意即對欲探討的變數計算邊緣機率）。取決於不同的分解形式，可以證明某些積分必為1，因此分解形式可被簡化。利用這個性質，貝氏定理的計算量可能可以大幅下降。貝氏網路為此方法的一個例子，貝氏網路指定數個變數的聯合機率分佈的分解型式，該機率分佈滿足下述條件：當其他變數的條件機率給定時，該變數的條件機率為一簡單型式。

範例

吸毒者检测

贝叶斯定理在检测吸毒者时很有用。假设一个常规的检测结果的敏感度与可靠度均为99%，也就是说，当被检者吸毒时，每次检测呈阳性（+）的概率为99%。而被检者不吸毒时，每次检测呈阴性（-）的概率为99%。从检测结果的概率来看，检测结果是比较准确的，但是贝叶斯定理卻可以揭示一个潜在的问题。假设某公司将对其全体雇员进行一次鸦片吸食情况的检测，已知0.5%的雇员吸毒。我们想知道，每位医学检测呈阳性的雇员吸毒的概率有多高？令“D”为雇员吸毒事件，“N”为雇员不吸毒事件，“+”为检测呈阳性事件。可得

• P(D)代表雇员吸毒的概率，不考虑其他情况，该值为0.005。因为公司的预先统计表明该公司的雇员中有0.5%的人吸食毒品，所以这个值就是D的先验概率。
• P(N)代表雇员不吸毒的概率，显然，该值为0.995，也就是1-P(D)。
• P(+|D)代表吸毒者阳性检出率，这是一个条件概率，由于阳性检测准确性是99%，因此该值为0.99。
• P(+|N)代表不吸毒者阳性检出率，也就是出错检测的概率，该值为0.01，因为对于不吸毒者，其检测为阴性的概率为99%，因此，其被误检测成阳性的概率为1-99%。
• P(+)代表不考虑其他因素的影响的阳性检出率。该值为0.0149或者1.49%。我们可以通过全概率公式计算得到：此概率 = 吸毒者阳性检出率（0.5% x 99% = 0.495%)+ 不吸毒者阳性检出率（99.5% x 1% = 0.995%)。P(+）=0.0149是检测呈阳性的先验概率。用数学公式描述为：

$\begin{align}P(+)=P(+,D)+P(+,N)=P(+|D)P(D)+P(+|N)P(N)\end{align}$

根据上述描述，我们可以计算某人检测呈阳性时确实吸毒的条件概率P(D|+)：

$\begin{align}P(D|+) & = \frac{P(+ | D) P(D)}{P(+)} \\ & = \frac{P(+ | D) P(D)}{P(+ | D) P(D) + P(+ | N) P(N)} \\ & = \frac{0.99 \times 0.005}{0.99 \times 0.005 + 0.01 \times 0.995} \\ & = 0.3322.\end{align}$

尽管我们的检测结果可靠性很高，但是只能得出如下结论：如果某人检测呈阳性，那么此人是吸毒的概率只有大约33%，也就是说此人不吸毒的可能性比较大。我们测试的条件（本例中指D，雇员吸毒）越难发生，發生误判的可能性越大。

参见

• 概率论

参考资料

Versions of the essay

• Thomas Bayes (1763), "An Essay towards solving a Problem in the Doctrine of Chances. By the late Rev. Mr. Bayes, F. R. S. communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.", Philosophical Transactions, Giving Some Account of the Present Undertakings, Studies and Labours of the Ingenious in Many Considerable Parts of the World 53:370–418.
• Thomas Bayes (1763/1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:296–315. （Bayes's essay in modernized notation）
• Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances". （Bayes's essay in the original notation）

Commentaries

• G. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes's Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. （biographical remarks）
• Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". （an outline and exposition of Bayes's essay）
• Stephen M. Stigler (1982). "Thomas Bayes's Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler argues for a revised interpretation of the essay; recommended)
• Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

Additional material

• Pierre-Simon Laplace (1774). "Mémoire sur la Probabilité des Causes par les Événements", Savants Étranges 6:621–656; also Œuvres 8:27–65.
• Pierre-Simon Laplace (1774/1986). "Memoir on the Probability of the Causes of Events", Statistical Science 1(3):364–378.
• Stephen M. Stigler (1986). "Laplace's 1774 memoir on inverse probability", Statistical Science 1(3):359–378.
• Stephen M. Stigler (1983). "Who Discovered Bayes's Theorem?" The American Statistician 37(4):290–296.
• Jeff Miller et al. Earliest Known Uses of Some of the Words of Mathematics (B). (very informative; recommended)
• Athanasios Papoulis (1984). Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill.
• James Joyce (2003). "Bayes's Theorem", Stanford Encyclopedia of Philosophy.
• The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay provides an up to date overview of the use of Bayes's theorem in information theory and machine learning.
• Stanford Encyclopedia of Philosophy: Bayes's Theorem provides a comprehensive introduction to Bayes's theorem.
• 埃里克·韦斯坦因, Bayes' Theorem at MathWorld
• Bayes' theorem at PlanetMath.

外部連結

• 数学之美番外篇：平凡而又神奇的贝叶斯方法