特征函数 (概率论)

维基百科,自由的百科全书
跳转至: 导航搜索

概率论中,任何随机变量特征函数(缩写:ch.f,复数形式:ch.f's)完全定义了它的概率分布。在直线上,它由以下公式给出,其中X是任何具有该分布的随机变量:

\varphi_X(t) = \operatorname{E}\left(e^{itX}\right)

其中t是一个实数i虚数单位,E表示期望值

矩母函数MXt)来表示(如果它存在),特征函数就是iX的矩母函数,或X在虚数轴上求得的矩母函数。

\varphi_X(t) = M_{iX}(t) = M_X(it)

与矩母函数不同,特征函数总是存在。

如果FX累积分布函数,那么特征函数由黎曼-斯蒂尔切斯积分给出:

\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx}\,dF_X(x)

概率密度函数fX存在的情况下,该公式就变为:

\operatorname{E}\left(e^{itX}\right) = \int_{-\infty}^{\infty} e^{itx} f_X(x)\,dx

如果X是一个向量值随机变量,我们便取自变量t为向量,tX数量积

RRn上的每一个概率分布都有特征函数,因为我们是在有限测度的空间上对一个有界函数进行积分,且对于每一个特征函数都正好有一个概率分布。

一个对称概率密度函数的特征函数(也就是满足fX(x) = fX(-x))是实数,因为从x>0所获得的虚数部分与从x<0所获得的相互抵消。

性質[编辑]

连续性[编辑]

勒维连续定理说明,假设(X_n)_{n=1}^\infty为一个随机变量序列,其中每一个X_n都有特征函数\varphi_n,那么它依分布收敛于某个随机变量X

X_n \xrightarrow{\mathcal D} X  n \to \infty

如果

\varphi_n \quad \xrightarrow{\textrm{pointwise}} \quad \varphi  n \to \infty

\varphi(t)\ t=0处连续,\varphiX的特征函数。

勒维连续定理可以用来证明弱大数定律

反演定理[编辑]

在累积概率分布函数与特征函数之间存在双射。也就是说,两个不同的概率分布不能有相同的特征函数。

给定一个特征函数φ,可以用以下公式求得对应的累积概率分布函数F

F_X(y) - F_X(x) = \lim_{\tau \to +\infty} \frac{1} {2\pi}
 \int_{-\tau}^{+\tau} \frac{e^{-itx} - e^{-ity}} {it}\, \varphi_X(t)\, dt

一般地,这是一个广义积分;被积分的函数可能只是条件可积而不是勒贝格可积的,也就是说,它的绝对值的积分可能是无穷大。[1]

博赫纳-辛钦定理/公理化定義[编辑]

任意一个函数\varphi 是对应于某个概率律\mu 的特征函数,当且仅当满足以下三个条件:

  1. \varphi \, 是连续的;
  2. \varphi(0) = 1 \,
  3. \varphi \, 是一个正定函数(注意这是一个复杂的条件,与\varphi >0 不等价)。

計算性质[编辑]

特征函数对于处理独立随机变量的函数特别有用。例如,如果X1X2、……、Xn是一个独立(不一定同分布)的随机变量的序列,且

S_n = \sum_{i=1}^n a_i X_i,\,\!

其中ai是常数,那么Sn的特征函数为:

\varphi_{S_n}(t)=\varphi_{X_1}(a_1t)\varphi_{X_2}(a_2t)\cdots \varphi_{X_n}(a_nt). \,\!

特别地,\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)。这是因为:

\varphi_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi_X(t) \varphi_Y(t)

注意我们需要XY的独立性来确立第三和第四个表达式的相等性。

另外一个特殊情况,是a_i=1/nS_n为样本平均值。在这个情况下,用\overline{X}表示平均值,我们便有:

\varphi_{\overline{X}}(t)=\left(\varphi_X(t/n)\right)^n

特征函数的应用[编辑]

由于连续定理,特征函数被用于中心极限定理的最常见的证明中。

[编辑]

特征函数还可以用来求出某个随机变量的。只要第n个矩存在,特征函数就可以微分n次,得到:

\operatorname{E}\left(X^n\right) = i^{-n}\, \varphi_X^{(n)}(0)
  = i^{-n}\, \left[\frac{d^n}{dt^n} \varphi_X(t)\right]_{t=0}. \,\!

例如,假设X具有标准柯西分布。那么\varphi_X(t)=e^{-|t|}。它在t=0处不可微,说明柯西分布没有期望值。另外,注意到n独立的观测的样本平均值\overline{X}具有特征函数\varphi_{\overline{X}}(t)=(e^{-|t|/n})^n=e^{-|t|},利用前一节的结果。这就是标准柯西分布的特征函数;因此,样本平均值与总体本身具有相同的分布。

特征函数的对数是一个累积量母函数,它对于求出累积量是十分有用的;注意有时定义累积量母函数为矩母函数的对数,而把特征函数的对数称为第二累积量母函数。

一个例子[编辑]

具有尺度参数θ和形状参数k伽玛分布的特征函数为:

(1 - \theta\,i\,t)^{-k}

现在假设我们有:

\ X \sim \Gamma(k_1,\theta) \ Y \sim \Gamma(k_2,\theta)

其中XY相互独立,我们想要知道X + Y的分布是什么。XY特征函数分别为:

\varphi_X(t)=(1 - \theta\,i\,t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta\,i\,t)^{-k_2}

根据独立性和特征函数的基本性质,可得:

\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta\,i\,t)^{-k_1}(1 - \theta\,i\,t)^{-k_2}=\left(1 - \theta\,i\,t\right)^{-(k_1+k_2)}

这就是尺度参数为θ、形状参数为k1 + k2的伽玛分布的特征函数,因此我们得出结论:

X+Y \sim \Gamma(k_1+k_2,\theta)

这个结果可以推广到n个独立、具有相同尺度参数的伽玛随机变量:

\forall i \in \{1,\ldots, n\} : X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right)

多元特征函数[编辑]

如果X是一个多元随机变量,那么它的特征函数定义为:

\varphi_X(t)=\operatorname{E}\left(e^{it\cdot X}\right)

这裡的点表示向量的点积,而向量t位于X对偶空间内。用更加常见的矩阵表示法,就是:

\varphi_X(t)=\operatorname{E}\left(e^{it^TX}\right)

例子[编辑]

如果X\sim N(0,\Sigma) \,是一个平均值为零的多元高斯随机变量,那么:

\varphi_X(t)=\operatorname{E}\left(e^{it^T X}\right)
=\int_{x\in \mathbf{R}^n}\frac{1}{\left(2\pi\right)^{n/2}\left|\Sigma\right|^{1/2}} \, e^{-\frac{1}{2}x^T\Sigma^{-1}x}\cdot e^{it^T x} \, dx = e^{-\frac{1}{2}t^T\Sigma t}, \quad t \in \mathbf{R}^n,

其中|\Sigma|表示正定矩阵 Σ的行列式。

矩阵值随机变量[编辑]

如果X是一个矩阵值随机变量,那么它的特征函数为:

\varphi_X(T)=\operatorname{E}\left(e^{i\, \mathrm{Tr}(XT)}\right)

在这裡,\mathrm{Tr}(\cdot)函数,\ XT表示TX的矩阵乘积。由于矩阵XT一定有迹,因此矩阵X必须与矩阵T转置的大小相同;因此,如果Xm × n矩阵,那么T必须是n × m矩阵。

注意乘法的顺序不重要(XT\neq TX\ tr(XT)=tr(TX))。

矩阵值随机变量的例子包括威沙特分布矩阵正态分布

相关概念[编辑]

相关概念有矩母函数概率母函数。特征函数对于所有概率分布都存在,但矩母函数不是这样。

特征函数与傅里叶变换有密切的关系:一个概率密度函数p(x)的特征函数是p(x)连续傅里叶变换共轭复数(按照通常的惯例)。

\varphi_X(t) = \langle e^{itX} \rangle = \int_{-\infty}^{\infty} e^{itx}p(x)\, dx = \overline{\left( \int_{-\infty}^{\infty} e^{-itx}p(x)\, dx \right)} = \overline{P(t)},

其中P(t)表示概率密度函数p(x)连续傅里叶变换。类似地,从\varphi_X(t)可以通过傅里叶逆变换求出p(x)

p(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} P(t)\, dt = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{itx} \overline{\varphi_X(t)}\, dt

确实,即使当随机变量没有密度时,特征函数仍然可以视为对应于该随机变量的测度的傅里叶变换。

参考文献[编辑]

  1. ^ P. Levy, Calcul des probabilités, Gauthier-Villars, Paris, 1925. p. 166
  • Lukacs E. (1970) Characteristic Functions. Griffin, London. pp. 350
  • Bisgaard, T. M., Sasvári, Z. (2000) Characteristic Functions and Moment Sequences, Nova Science