径向基函数核

维基百科,自由的百科全书
跳转至: 导航搜索

机器学习中,(高斯径向基函数英语Radial basis function kernel),或称为RBF核,是一种常用的核函数。它是支持向量机分类中最为常用的核函数。[1]

关于两个样本xx'的RBF核可表示为某个“输入空间”(input space)的特征向量,它的定义如下所示:[2]

K(\mathbf{x}, \mathbf{x'}) = \exp\left(-\frac{||\mathbf{x} - \mathbf{x'}||_2^2}{2\sigma^2}\right)

\textstyle||\mathbf{x} - \mathbf{x'}||_2^2可以看做两个特征向量之间的平方欧几里得距离\sigma是一个自由参数。一种等价但更为简单的定义是设一个新的参数\gamma,其表达式为\textstyle\gamma = -\tfrac{1}{2\sigma^2}

K(\mathbf{x}, \mathbf{x'}) = \exp(\gamma||\mathbf{x} - \mathbf{x'}||_2^2)

因为RBF核函数的值随距离减小,并介于0(极限)和1(当x = x'的时候)之间,所以它是一种现成的相似性度量表示法。[2] 核的特征空间有无穷多的维数;对于\sigma = 1,它的展开式为:[3]

\exp\left(-\frac{1}{2}||\mathbf{x} - \mathbf{x'}||_2^2\right) = \sum_{j=0}^\infty \frac{(\mathbf{x}^\top \mathbf{x'})^j}{j!} \exp\left(-\frac{1}{2}||\mathbf{x}||_2^2\right) 
\exp\left(-\frac{1}{2}||\mathbf{x'}||_2^2\right)

近似[编辑]

因为支持向量机和其他模型使用了核技巧英语Kernel trick,它在处理输入空间中大量的训练样本或含有大量特征的样本的时表现不是很好。所以,目前已经设计出了多种RBF核(或相似的其他核)的近似方法。[4] 典型的情况下,这些方法使用z(x)的形式,也就是用一个函数对一个与其他向量(例如支持向量机中的支持向量)无关的单向量进行变换,例如:

z(\mathbf{x})z(\mathbf{x'}) \approx \varphi(\mathbf{x})\varphi(\mathbf{x'}) = K(\mathbf{x}, \mathbf{x'})

其中\textstyle\varphi是RBF核中植入的隐式映射。

一种构造这样的z函数的方法是对核函数作傅里叶变换,然后从中随机抽出所需函数。[5]

参见[编辑]

参考资料[编辑]

  1. ^ Yin-Wen Chang, Cho-Jui Hsieh, Kai-Wei Chang, Michael Ringgaard and Chih-Jen Lin (2010). Training and testing low-degree polynomial data mappings via linear SVM. J. Machine Learning Research 11: 1471–1490.
  2. ^ 2.0 2.1 Vert, Jean-Philippe, Koji Tsuda, and Bernhard Schölkopf (2004). "A primer on kernel methods." Kernel Methods in Computational Biology.
  3. ^ Shashua, Amnon. Introduction to Machine Learning: Class Notes 67577. arXiv:0904.36641 [cs.LG]. 2009. 
  4. ^ Andreas Müller (2012). Kernel Approximations for Efficient SVMs (and other feature extraction methods).
  5. ^ Ali Rahimi and Benjamin Recht (2007). Random features for large-scale kernel machines. Neural Information Processing Systems.