本頁使用了標題或全文手工轉換

常態分佈

維基百科,自由的百科全書
前往: 導覽搜尋
常態分佈
Probability density function for the Normal distribtion
綠線代表標準常態分佈
機率密度函數
Cumulative distribution function for the Normal distribution
顏色與機率密度函數同
累積分佈函數
參數 \mu數學期望(實數)
\sigma^2>0變異數(實數)
支撐集 x \in (-\infty;+\infty)\!
機率密度函數 \frac1{\sigma\sqrt{2\pi}}\; \exp\left(-\frac{\left(x-\mu\right)^2}{2\sigma^2} \right) \!
累積分佈函數 \frac12 \left(1 + \mathrm{erf}\,\frac{x-\mu}{\sigma\sqrt2}\right) \!
期望值 \mu
中位數 \mu
眾數 \mu
變異數 \sigma^2
偏度 0
峰度 0
信息熵 \ln\left(\sigma\sqrt{2\,\pi\,e}\right)\!
動差生成函數 M_X(t)= \exp\left(\mu\,t+\sigma^2 \frac{t^2}{2}\right)
特性函數 \phi_X(t)=\exp\left(\mu\,i\,t-\frac{\sigma^2 t^2}{2}\right)

常態分佈德語Normalverteilung英語Normal distribution)又名高斯分佈德語Gauß-Verteilung英語Gaussian distribution, 以德國數學家卡爾·弗裡德里希·高斯的姓冠名),是一個在數學物理工程領域都非常重要的機率分佈,由於這個分布函數具有很多非常漂亮的性質,使得其在諸多涉及統計科學離散科學等領域的許多方面都有著重大的影響力。比如圖像處理中最常用的濾波器類型為Gaussian濾波器(也就是所謂的常態分佈函數)。

隨機變量X服從一個位置參數為\mu、尺度參數為\sigma的機率分佈,記為:

X \sim N(\mu,\sigma^2),

則其機率密度函數

f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- {{(x-\mu )^2 \over 2\sigma^2}}}

常態分佈的數學期望值或期望值\mu等於位置參數,決定了分佈的位置;其變異數\sigma^2的開平方或標準差\sigma等於尺度參數,決定了分佈的幅度。

常態分佈的機率密度函數曲線呈鐘形,因此人們又經常稱之為鐘形曲線。我們通常所說的標準常態分佈是位置參數\mu = 0,尺度參數\sigma = 1的常態分佈(見右圖中綠色曲線)。

概要[編輯]

常態分佈是自然科學行為科學中的定量現象的一個方便模型。各種各樣的心理學測試分數和物理現象比如光子計數都被發現近似地服從常態分佈。儘管這些現象的根本原因經常是未知的,理論上可以證明如果把許多小作用加起來看做一個變量,那麼這個變量服從常態分佈(在R.N.Bracewell的Fourier transform and its application中可以找到一種簡單的證明)。常態分佈出現在許多區域統計:例如,採樣分佈均值是近似地常態的,即使被採樣的樣本的原始群體分佈並不服從常態分佈。另外,常態分佈信息熵在所有的已知均值及變異數的分佈中最大,這使得它作為一種均值以及變異數已知的分佈的自然選擇。常態分佈是在統計以及許多統計測試中最廣泛應用的一類分佈。在機率論,常態分佈是幾種連續以及離散分佈的極限分佈

歷史[編輯]

常態分佈最早是棣莫弗在1718年著作的書籍的(Doctrine of Change),及1734年發表的一篇關於二項分佈文章中提出的,當二項隨機變數的位置參數n很大及形狀參數p為1/2時,則所推導出二項分布的近似分布函數就是常態分佈。拉普拉斯在1812年發表的《分析機率論》Theorie Analytique des Probabilites)中對棣莫佛的結論作了擴展到二項分布的位置參數為n及形狀參數為1>p>0時。現在這一結論通常被稱為棣莫佛-拉普拉斯定理

拉普拉斯在誤差分析試驗中使用了常態分佈。勒讓德於1805年引入最小平方法這一重要方法;而高斯則宣稱他早在1794年就使用了該方法,並通過假設誤差服從常態分佈給出了嚴格的證明。

「鐘形曲線」這個名字可以追溯到Jouffret他在1872年首次提出這個術語"鐘形曲面",用來指代二元常態分佈bivariate normal)。常態分佈這個名字還被Charles S. PeirceFrancis GaltonWilhelm Lexis在1875分別獨立地使用。這個術語是不幸的,因為它反應和鼓勵了一種謬誤,即很多機率分佈都是常態的。(請參考下面的「實例」)

這個分佈被稱為「常態」或者「高斯」正好是Stigler名字由來法則的一個例子,
這個法則說「沒有科學發現是以它最初的發現者命名的」。

常態分佈的定義[編輯]

有幾種不同的方法用來說明一個隨機變量。最直觀的方法是機率密度函數,這種方法能夠表示隨機變量每個取值有多大的可能性。累積分佈函數是一種機率上更加清楚的方法,請看下邊的例子。還有一些其他的等價方法,例如cumulant特徵函數動差生成函數以及cumulant-生成函數。這些方法中有一些對於理論工作非常有用,但是不夠直觀。請參考關於機率分佈的討論。

機率密度函數[編輯]

四個不同參數集的機率密度函數(綠色線代表標準常態分佈)

常態分佈機率密度函數均值為\mu 變異數\sigma^2 (或標準差\sigma)是高斯函數的一個實例:


f(x;\mu,\sigma)
=
\frac{1}{\sigma\sqrt{2\pi}} \, \exp \left( -\frac{(x- \mu)^2}{2\sigma^2} \right)

(請看指數函數以及\pi.)

如果一個隨機變量X服從這個分佈,我們寫作 X ~ N(\mu, \sigma^2). 如果\mu = 0並且\sigma = 1,這個分佈被稱為標準常態分佈,這個分佈能夠簡化為

f(x) = \frac{1}{\sqrt{2\pi}} \, \exp\left(-\frac{x^2}{2} \right)

右邊是給出了不同參數的常態分佈的函數圖。

常態分佈中一些值得注意的量:

  • 密度函數關於平均值對稱
  • 平均值與它的眾數(statistical mode)以及中位數(median)同一數值。
  • 函數曲線下68.268949%的面積在平均數左右的一個標準差範圍內。
  • 95.449974%的面積在平均數左右兩個標準差2 \sigma的範圍內。
  • 99.730020%的面積在平均數左右三個標準差3 \sigma的範圍內。
  • 99.993666%的面積在平均數左右四個標準差4 \sigma的範圍內。
  • 函數曲線的反曲點(inflection point)為離平均數一個標準差距離的位置。

累積分佈函數[編輯]

上圖所示的機率密度函數的累積分佈函數

累積分佈函數是指隨機變數X小於或等於x的機率,用機率密度函數表示為


F(x;\mu,\sigma)
=
\frac{1}{\sigma\sqrt{2\pi}}
\int_{-\infty}^x
 \exp
 \left( -\frac{(t - \mu)^2}{2\sigma^2}
\ \right)\, dt.

常態分佈的累積分佈函數能夠由一個叫做誤差函數特殊函數表示:


\Phi(z)=
\frac12 \left[1 + \mathrm{erf}\,(\frac{z-\mu}{\sigma\sqrt2})\right] .

標準常態分佈的累積分佈函數習慣上記為\Phi,它僅僅是指\mu=0\sigma=1的值,


\Phi(x)
=F(x;0,1)=
\frac{1}{\sqrt{2\pi}}
\int_{-\infty}^x
\exp\left(-\frac{t^2}{2}\right)
\, dt.

將一般常態分佈用誤差函數表示的公式簡化,可得:


\Phi(z)
=
\frac{1}{2} \left[ 1 + \operatorname{erf} \left( \frac{z}{\sqrt{2}} \right) \right]
.

它的反函數被稱為反誤差函數,為:


\Phi^{-1}(p)
=
\sqrt2
\;
\operatorname{erf}^{-1} \left(2p - 1 \right)
.

該分位數函數有時也被稱為probit函數。probit函數已被證明沒有初等原函數。

常態分佈的分佈函數\Phi(x)沒有解析表達式,它的值可以通過數值積分泰勒級數或者漸進序列近似得到。

生成函數[編輯]

動差生成函數[編輯]

動差生成函數或矩生成函數或動差產生函數被定義為\exp(tX)的期望值。

常態分佈的動差產生函數如下:


M_X(t)\, =
\mathrm{E}
\left(
 e^{tX}
\right)
  =
\int_{-\infty}^{\infty}
 \frac
 {1}
 {\sigma \sqrt{2\pi} }
 e^{\left( -\frac{(x - \mu)^2}{2 \sigma^2} \right)}
 e^{tx}
\, dx
  =
e^{
\left(
 \mu t + \frac{\sigma^2 t^2}{2}
\right)}

可以通過在指數函數內配平方得到。

特徵函數[編輯]

特徵函數被定義為\exp (i t X)期望值,其中i是虛數單位. 對於一個常態分布來講,特徵函數是:

\phi_X(t;\mu,\sigma)\! =
\mathrm{E}
\left[
 \exp(i t X)
\right]
  =
\int_{-\infty}^{\infty}
 \frac{1}{\sigma \sqrt{2\pi}}
 \exp
 \left(- \frac{(x - \mu)^2}{2\sigma^2}
 \right)
 \exp(i t x)
\, dx
  =
\exp
\left(
 i \mu t - \frac{\sigma^2 t^2}{2}
\right)
.

把矩生成函數中的t換成i t就能得到特徵函數。

性質[編輯]

常態分佈的一些性質:

  1. 如果X \sim N(\mu, \sigma^2) \,ab實數,那麼a X + b \sim N(a \mu + b, (a \sigma)^2) (參見期望值變異數).
  2. 如果X \sim N(\mu_X, \sigma^2_X)Y \sim N(\mu_Y, \sigma^2_Y)統計獨立的常態隨機變量,那麼:
    • 它們的和也滿足常態分佈U = X + Y \sim N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y) (proof).
    • 它們的差也滿足常態分佈V = X - Y \sim N(\mu_X - \mu_Y, \sigma^2_X + \sigma^2_Y).
    • UV兩者是相互獨立的。(要求X與Y的變異數相等)
  3. 如果X \sim N(0, \sigma^2_X)Y \sim N(0, \sigma^2_Y)是獨立常態隨機變量,那麼:
    • 它們的積X Y服從機率密度函數為p的分佈
      p(z) = \frac{1}{\pi\,\sigma_X\,\sigma_Y} \; K_0\left(\frac{|z|}{\sigma_X\,\sigma_Y}\right),其中K_0是修正貝塞爾函數(modified Bessel function)
    • 它們的比符合柯西分佈,滿足X/Y \sim \mathrm{Cauchy}(0, \sigma_X/\sigma_Y).
  4. 如果X_1, \cdots, X_n為獨立標準常態隨機變量,那麼X_1^2 + \cdots + X_n^2服從自由度為n卡方分佈

標準化常態隨機變量[編輯]

動差或矩(moment[編輯]

一些常態分佈的一階動差如下:

階數 原點矩 中心矩 累積量
0 1 0
1 \mu 0 \mu
2 \mu^2 + \sigma^2 \sigma^2 \sigma^2
3 \mu^3 + 3\mu\sigma^2 0 0
4 \mu^4 + 6 \mu^2 \sigma^2 + 3 \sigma^4 3 \sigma^4 0

標準常態的所有二階以上的累積量為零。

生成常態隨機變量[編輯]

中心極限定理[編輯]

常態分佈的機率密度函數,參數為μ = 12,σ = 3,趨近於n = 48、p = 1/4的二項分佈的機率質量函數。

常態分佈有一個非常重要的性質:在特定條件下,大量統計獨立的隨機變量的平均值的分佈趨於常態分佈,這就是中心極限定理。中心極限定理的重要意義在於,根據這一定理的結論,其他機率分佈可以用常態分佈作為近似。

  • 參數為np二項分佈,在n相當大而且p接近0.5時近似於常態分佈(有的參考書建議僅在n pn(1 - p)至少為5時才能使用這一近似)。

近似常態分佈平均數為\mu = n p且變異數為\sigma^2 = n p (1 - p).

  • 卜瓦松分佈帶有參數\lambda當取樣樣本數很大時將近似常態分佈\lambda.

近似常態分佈平均數為\mu = \lambda且變異數為\sigma^2 = \lambda.

這些近似值是否完全充分正確取決於使用者的使用需求

無限可分性[編輯]

常態分佈是無限可分的機率分佈。

穩定性[編輯]

常態分佈是嚴格穩定的機率分佈。

標準偏差[編輯]

深藍色區域是距平均值小於一個標準差之內的數值範圍。在常態分佈中,此範圍所佔比率為全部數值之68%,根據常態分佈,兩個標準差之內的比率合起來為95%;三個標準差之內的比率合起來為99%

在實際應用上,常考慮一組數據具有近似於常態分佈的機率分佈。若其假設正確,則約68.3%數值分佈在距離平均值有1個標準差之內的範圍,約95.4%數值分佈在距離平均值有2個標準差之內的範圍,以及約99.7%數值分佈在距離平均值有3個標準差之內的範圍。稱為「68-95-99.7法則」或「經驗法則」。

常態測試[編輯]

相關分佈[編輯]

參量估計[編輯]

參數的極大似然估計[編輯]

概念一般化[編輯]

多元常態分佈協變異數矩陣的估計的推導是比較難於理解的。它需要瞭解譜原理(spectral theorem)以及為什麼把一個標量看做一個1×1矩陣(matrix)的跡(trace)而不僅僅是一個標量更合理的原因。請參考協變異數矩陣的估計(estimation of covariance matrices).

參數的矩估計[編輯]

常見實例[編輯]

光子計數[編輯]

計量誤差[編輯]

飲料裝填量不足與超量的機率[編輯]

某飲料公司裝瓶流程嚴謹,每罐飲料裝填量符合平均600毫升,標準差3毫升的常態分配法則。隨機選取一罐,求(1)容量超過605毫升的機率;(2)容量小於590毫升的機率。

容量超過605毫升的機率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475

容量小於590毫升的機率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004

6-標準差(6-sigma或6-σ)的品質管制標準

6-標準差(6-sigma或6-σ),是製造業流行的品質管制標準。在這個標準之下,一個標準常態分配的變數值出現在正負三個標準差之外,只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是說,這種品質管制標準的產品不良率只有萬分之二十六。假設例中的飲料公司裝瓶流程採用這個標準,而每罐飲料裝填量符合平均600毫升,標準差3毫升的常態分配。那麼預期裝填容量的範圍應該多少?

6-標準差的範圍 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此,預期裝填容量應該介於591至609毫升之間。

生物標本的物理特性[編輯]

金融變量[編輯]

壽命[編輯]

測試和智力分佈[編輯]

計算學生智商高低的機率[編輯]

假設某校入學新生的智力測驗平均分數與變異數分別為100與12。那麼隨機抽取50個學生,他們智力測驗平均分數大於105的機率?小於90的機率?

本例沒有常態分配的假設,還好中央極限定理提供一個可行解,那就是當隨機樣本長度超過30,樣本平均數xbar近似於一個常態變數,因此標準常態變數Z = (xbar –μ) /σ/ √n。

平均分數大於105的機率 = p(Z> (105 – 100) / (12 /√50))= p(Z> 5/1.7) = p( Z > 2.94) = 0.0016

平均分數小於90的機率 = p(Z< (90 – 100) / (12 /√50))= p(Z < 5.88) = 0.0000

計算統計應用[編輯]

生成常態分佈隨機變數[編輯]

在計算機模擬中,經常需要生成常態分佈的數值。最基本的一個方法是使用標準的正態累積分布函數的反函數。除此之外還有其他更加高效的方法,Box-Muller變換就是其中之一。另一個更加快捷的方法是ziggurat演算法。下面將介紹這兩種方法。一個簡單可行的並且容易編程的方法是:求12個在(0,1)上均勻分布的和,然後減6(12的一半)。這種方法可以用在很多應用中。這12個數的和是Irwin-Hall分布;選擇一個變異數12。這個隨即推導的結果限制在(-6,6)之間,並且密度為12,是用11次多項式估計常態分佈。

Box-Muller方法是以兩組獨立的隨機數U和V,這兩組數在(0,1]上均勻分布,用U和V生成兩組獨立的標準常態分布隨機變數X和Y:

 X = \sqrt{- 2 \ln U} \, \cos(2 \pi V) ,
 Y = \sqrt{- 2 \ln U} \, \sin(2 \pi V)

這個方程的提出是因為二自由度的卡方分布(見性質4)很容易由指數隨機變數(方程中的lnU)生成。因而通過隨機變數V可以選擇一個均勻環繞圓圈的角度,用指數分布選擇半徑然後變換成(常態分佈的)x,y坐標。

參見[編輯]

參考文獻[編輯]

外部連結[編輯]