切比雪夫不等式

在概率論中，切比雪夫不等式（英语：Chebyshev's Inequality）顯示了隨機變數的「幾乎所有」值都會「接近」平均。切比雪夫不等式，对任何分布形状的数据都适用。

概念

這個不等式以數量化這方式來描述，究竟「幾乎所有」是多少，「接近」又有多接近：

• 與平均相差2個標準差的值，數目不多於1/4
• 與平均相差3個標準差的值，數目不多於1/9
• 與平均相差4個標準差的值，數目不多於1/16

……

• 與平均相差k個標準差的值，數目不多於1/k²

舉例說，若一班有36個學生，而在一次考試中，平均分是80分，標準差是10分，我們便可得出結論：少於50分（與平均相差3個標準差以上）的人，數目不多於4個（=36*1/9）。
公式：$P(\mu - k \sigma < X < \mu + k \sigma) \ge 1- \frac{1}{k^2}$

推论

測度論說法

設(X,Σ,μ)為一測度空間，f為定義在X上的廣義實值可測函數。對於任意實數t > 0，

$\mu(\{x\in X\,:\,\,|f(x)|\geq t\}) \leq {1\over t^2} \int_X f^2 \, d\mu.$

一般而言，若g是非負廣義實值可測函數，在f的定義域非降，則有

$\mu(\{x\in X\,:\,\,f(x)\geq t\}) \leq {1\over g(t)} \int_X g\circ f\, d\mu.$

上面的陳述，可透過以|f|取代f，再取如下定義而得：

$g(t)=\begin{cases}t^2&\mbox{if }t\geq0\\0&\mbox{otherwise,}\end{cases}$

概率論說法

設$X$為隨機變數，期望值為$\mu$，标准差為$\sigma$。對於任何實數k>0，

$\Pr(\left|X-\mu\right|\geq k\sigma)\leq\frac{1}{k^2}.$

改進

一般而言，切比雪夫不等式給出的上界已無法改進。考慮下面例子：

$\Pr(X = 1) = \Pr(X = -1) = 1/(2k^2)$

$\Pr(X = 0) = 1 - 1/k^2$

這個分布的標準差$\sigma = 1/k$，$\mu=0$。

对于任意分布形态的数据，根据切比雪夫不等式，至少有 $1-1/k^2$ 的数据落在k个标准差之内。其中k>1，但不一定是整数。

當只求其中一邊的值的時候，有Cantelli不等式：

$\Pr(X-\mu \geq k\sigma)\leq\frac{1}{1+k^2}.$[1]

證明

定義$~A_t := \{x \in X \mid f(x) \geq t\}$，設$1_{A_t}$為集$~A_t$的指標函數，有

$0\leq g(t) 1_{A_t}\leq g\circ f\,1_{A_t}\leq g\circ f,$

$g(t)\mu(A_t)=\int_X g(t)1_{A_t}\,d\mu\leq\int_{A_t} g\circ f\,d\mu\leq\int_X g\circ f\,d\mu.$

又可從馬爾可夫不等式直接證明：馬氏不等式說明對任意隨機變數Y和正數a有$\Pr(|Y|>a) \le \operatorname{E}(|Y|)/a$。取$Y=(X-\mu)^2$及$a=(k \sigma)^2$。

亦可從概率論的原理和定義開始證明：

$\Pr(|X-\mu| \geq k\sigma) = \operatorname{E}(I_{|X-\mu| \geq k\sigma}) = \operatorname{E}(I_{[(X-\mu)/(k\sigma)]^2 \geq 1})$

$\leq \operatorname{E}\left( \left( {X-\mu \over k\sigma} \right)^2 \right) = {1 \over k^2} {\operatorname{E}((X-\mu)^2) \over \sigma^2} = {1 \over k^2}.$

參見

• 馬爾可夫不等式
• 弱大數定律

参考来源

• 《基本統計學 觀念與應用二版》，林惠玲 陳正倉 著
• 《應用統計學 第四版》 修訂版，林惠玲 陳正倉 著