重要性采样

维基百科,自由的百科全书
跳到导航 跳到搜索

重要性采样(英語:importance sampling)是统计学中估计某一分布性质时使用的一种方法。该方法从与原分布不同的另一个分布中采样,而对原先分布的性质进行估计。重要性采样与计算物理学中的伞形采样英语Umbrella sampling相关。

原理[编辑]

假设概率空间上的一个随机变量。我们想要估计X期望值,记作E[X;P]。如果根据P随机抽取样本,估计的期望值即

这一估计的精确度取决于X的方差,

而重要性采样的基本思想则是从另一个分布中抽取样本,用以降低E[X;P]估计的方差。进行重要性采样时,首先选择一个随机变量,使得E[L;P]=1,并满足P几乎处处。由此,可以定义新的概率

于是,我们可以从P(L)上抽样,通过变量X/L估计E[X;P]。如果成立,此时的估计便优于直接在原分布上采样得到的估计。

X在Ω上不变号时,最优的L。此时X/L*即为要估计的E[X;P],只需一个样本便可得到该值。然而由于L*与要估计的E[X;P]有关,在实际操作中我们无法取到理论上最优的L*。不过,我们仍可以采用如下方式逼近该理论值:

于是,要估计的期望值可改写为:

注意到,更优(即让估计值方差更小)的P(L)会使得样本分布的频率与其在E[X;P]计算中的权重更加相关。这也是该方法得名“重要性采样”的原因。

重要性采样常用于蒙特卡洛积分。当均匀分布时,E[X;P]即为实函数的积分。

参考文献[编辑]

  • Arouna, Bouhari. Adaptative Monte Carlo Method, A Variance Reduction Technique. Monte Carlo Methods and Their Applications. 2004, 10 (1): 1–24. doi:10.1515/156939604323091180. 
  • Bucklew, James Antonio. Introduction to Rare Event Simulation. New York: Springer-Verlag. 2004. 
  • Doucet, A.; de Freitas, N.; Gordon, N. Sequential Monte Carlo Methods in Practice. Springer. 2001. ISBN 978-0-387-95146-1. 
  • Ferrari, M.; Bellini, S. Importance Sampling simulation of turbo product codes. The IEEE International Conference on Communications. 2001, 9: 2773–2777. doi:10.1109/ICC.2001.936655. 
  • Mazonka, Oleg. Easy as Pi: The Importance Sampling Method (PDF). Journal of Reference. 2016, 16. 
  • Oberg, Tommy. Modulation, Detection, and Coding. New York: John Wiley & Sons. 2001. 
  • Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP. Section 7.9.1 Importance Sampling. Numerical Recipes: The Art of Scientific Computing 3rd. New York: Cambridge University Press. 2007. ISBN 978-0-521-88068-8. 
  • Ripley, B. D. Stochastic Simulation. Wiley & Sons. 1987. 
  • Smith, P. J.; Shafi, M.; Gao, H. Quick simulation: A review of importance sampling techniques in communication systems. IEEE J. Select. Areas Commun. 1997, 15 (4): 597–613. doi:10.1109/49.585771. 
  • Srinivasan, R. Importance sampling – Applications in communications and detection. Berlin: Springer-Verlag. 2002.