在統計學中,一個概率樣本的置信區間(英語:Confidence interval,CI),是對產生這個樣本的母體的參數分佈(Parametric Distribution)中的某一個未知參數值,以區間形式給出的估計。相對於點估計(Point Estimation)用一個樣本統計量來估計參數值,置信區間還蘊含了估計的精確度的訊息。在現代機器學習中越來越常用的信賴集合(Confidence Set)概念是置信區間在多維分析的推廣[1]。
置信區間在頻率學派中間使用,其在貝氏統計中的對應概念是可信區間(Credible Interval)。兩者建立在不同的概念基礎上的,貝氏統計將分佈的位置參數視為隨機變數,並對給定觀測到的數據之後未知參數的後驗分布進行描述,故無論對隨機樣本還是已觀測數據,構造出來的可信區間,其可信水準都是一個合法的概率[2];而置信區間的置信水平,只在考慮隨機樣本時可以被理解為一個概率。
- 對隨機樣本的定義
定義置信區間最清晰的方式是從一個隨機樣本出發。考慮一個一維隨機變數
服從分佈
,又假設
是
的參數之一。假設我們的數據採集計劃將要獨立地抽樣
次,得到一個隨機樣本
,注意這裏所有的
都是隨機的,我們是在討論一個尚未被觀測的數據集。如果存在統計量(統計量定義為樣本
的一個函數,且不得依賴於任何未知參數)
滿足
使得:

則稱
為一個用於估計參數
的
置信區間,其中的,
稱為置信水平。
- 對觀測到的數據的定義
接續隨機樣本版本的定義,現在,對於隨機變數
的一個已經觀測到的樣本
,注意這裏用小寫x表記的
都是已經觀測到的數字,沒有隨機性了,定義基於數據的
置信區間為:

注意,置信區間可以是單邊或者雙邊的,單邊的置信區間中設定
或者
,具體前者還是後者取決於所構造的置信區間的方向。
初學者常犯一個概念性錯誤,是將基於觀測到的數據所同樣構造的置信區間的置信水平,誤認為是它包含真實未知參數的真實值的概率。正確的理解是:置信水平只有在描述這個同樣構造置信區間的過程(或稱方法)的意義下才能被視為一個概率。一個基於已經觀測到的數據所構造出來的置信區間,其兩個端點已經不再具有隨機性,因此,類似的構造的間隔將會包含真正的值的比例在所有值中,其包含未知參數的真實值的概率是0或者1,但我們不能知道是前者還是後者[3]。
- 例1:正態分佈,已知母體方差

水準的正態置信區間為:
(雙邊)
(單邊)
(單邊)
以下為方便起見,只列出雙邊置信區間的例子,且區間中用"
"進行簡記:
- 例2:正態分佈,未知母體方差

水準的雙邊正態置信區間為:

- 例3:兩個獨立正態樣本
和
,樣本大小為
和
,估計母體均值之差
,假設母體方差未知但相等:
(如果未知且不等就要應用Welch公式來確定t分佈的自由度)
水準的雙邊正態置信區間為:
,其中
且
分別表示
和
的樣本標準差。
構造法[編輯]
一般來說,置信區間的構造需要先找到一個樞軸變數(Pivotal quantity,或稱Pivot),其表達式依賴於樣本以及待估計的未知參數(但不能依賴於母體的其它未知參數),其分佈不依賴於任何未知參數。
下面以上述例2為例,說明如何利用樞軸變數構造置信區間。對於一個正態分佈的隨機樣本
,可以證明(此證明對初學者並不容易)如下統計量互相獨立:
和 
它們的分佈是:
和 
所以根據t分佈的定義,有

於是反解如下等式左邊括號中的不等式

就得到了例2中雙邊置信區間的表達式。
與參數檢定的聯繫[編輯]
有時,置信區間可以用來進行參數檢定。例如在上面的例1中構造的雙邊
水準置信區間,可以用來檢定具有相應的顯著水準為
的雙邊對立假設,具體地說是如下檢定:
正態分佈母體,知道母體方差
,在
顯著水準下檢定:
vs 
檢定方法是:當且僅當相應的
水準置信區間不包含
時拒絕虛無假設
例1中構造的雙邊
水準置信區間也可以用來檢定如下兩個顯著水準為
的單邊對立假設:
vs 
和
vs 
檢定方法是完全類似的,比如對於上述第一個單尾檢定
,當且僅當雙邊置信區間的左端點大於
時拒絕虛無假設。
參考文獻[編輯]
- ^ Brittany Terese Fasy; Fabrizio Lecci; Alessandro Rinaldo; Larry Wasserman; Sivaraman Balakrishnan; Aarti Singh. Confidence sets for persistence diagrams. The Annals of Statistics. 2014, 42 (6): 2301–2339.
- ^ Box, George EP; Tiao, George C. Bayesian inference in statistical analysis. John Wiley & Sons. 2011.
- ^ Moore, D; McCabe, George P; Craig, B. Introduction to the Practice of Statistics. San Francisco, CA: Freeman. 2012.
參考書目[編輯]
- 羅納德·費雪 (1956) Statistical Methods and Scientific Inference. Oliver and Boyd, Edinburgh. (See p. 32.)
- 弗羅因德 (1962) Mathematical Statistics Prentice Hall, Englewood Cliffs, NJ. (See pp. 227–228.)
- 伊安·海金 (1965) Logic of Statistical Inference. Cambridge University Press, Cambridge
- 齊平 (1962) Introduction to Statistical Inference. D. Van Nostrand, Princeton, NJ.
- 傑克·基弗(1977) "Conditional Confidence Statements and Confidence Estimators (with discussion)" Journal of the American Statistical Association, 72, 789–827.
- 澤西·內曼 (1937) "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" Philosophical Transactions of the Royal Society of London A, 236, 333–380. (Seminal work.)
- G.K.羅賓遜 (1975) "Some Counterexamples to the Theory of Confidence Intervals." Biometrika, 62, 155–161.