最大期望算法

维基百科,自由的百科全书
跳转至: 导航搜索

最大期望演算法Expectation-maximization algorithm,又譯期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。

统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计算法,其中概率模型依赖于无法观测的隐藏变量Latent Variable)。最大期望经常用在机器学习计算机视觉数据聚类Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中,这个过程不断交替进行。

历史[编辑]

最大期望值算法由 Arthur Dempster,Nan LairdDonald Rubin在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者"在他们特定的研究领域中多次提出过"。

EM简单教程[编辑]

EM是一个在已知部分相关变量的情况下,估计未知变量的迭代技术。EM的算法流程如下:

  1. 初始化分布参数
  2. 重复直到收敛:
    1. E步骤:估计未知参数的期望值,给出当前的参数估计。
    2. M步骤:重新估计分布参数,以使得数据的似然性最大,给出未知变量的期望估计。

应用于缺失值。

最大期望过程说明[编辑]

我们用 \textbf{y} 表示能够观察到的不完整的变量值,用 \textbf{x} 表示无法观察到的变量值,这样 \textbf{x}\textbf{y} 一起组成了完整的数据。\textbf{x} 可能是实际测量丢失的数据,也可能是能够简化问题的隐藏变量,如果它的值能够知道的话。例如,在混合模型Mixture Model)中,如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利(参见下面的例子)。

估计无法观测的数据[编辑]

p\, 代表矢量 \theta: p( \mathbf y, \mathbf x | \theta) 定义的参数的全部数据的概率分布(连续情况下)或者概率聚类函数(离散情况下),那么从这个函数就可以得到全部数据的最大似然值,另外,在给定的观察到的数据条件下未知数据的条件分布可以表示为:

p(\mathbf x |\mathbf y, \theta) = \frac{p(\mathbf y, \mathbf x | \theta)}{p(\mathbf y | \theta)} = \frac{p(\mathbf y|\mathbf x, \theta) p(\mathbf x |\theta) }{\int p(\mathbf y|\mathbf x, \theta) p(\mathbf x |\theta) d\mathbf x}

参考文献[编辑]

参见[编辑]