典型相关

维基百科,自由的百科全书
(重定向自典型相关分析
跳转至: 导航搜索

统计学中,典型相关分析(Canonical Correlation Analysis)是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X1, ..., Xn) 和 Y = (Y1, ..., Ym) 并且它们是相关的,那么典型相关分析会找出 XiYj 的相互相关最大的线性组合。[1]T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析,这是研究两组变量之间关系的一般步骤。”[2] 这个方法在1936年由哈罗德·霍特林首次引入。[3]

定义[编辑]

给定两个带有限的随机变量的列向量 ,我们可以定义互协方差矩阵 矩阵,其中 协方差 。实际上,我们可以基于 的采样数据来估计协方差矩阵。(如从一对数据矩阵)。

典型相关分析求出向量 使得随机变量 相关 最大。随机变量 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量;这样就得到了 第二对典型变量。 这个步骤会进行 次。

计算[编辑]

求导[编辑]

。需要最大化的参数为

第一步是定义一个基变更以及

因此我们有

根据柯西-施瓦茨不等式,我们有

如果向量 共线,那么上式相等。此外,如果 是矩阵 (见Rayleigh quotient) 最大特征值对应的特征向量,那么就可以得到相关的最大值。随后的典型变量对可以通过减少特征值的量级来得到。正交性保证了相关矩阵的对称性。

解法[编辑]

因此解法是:

  • 的一个特征向量。
  • 的比例项。

相反地,也有:

  • 的一个特征向量。
  • 的比例项。

把坐标反过来,我们有

  • 的一个特征向量。
  • 的一个特征向量。
  • 的比例项。
  • 的比例项。

那么相关变量定义为:

实现[编辑]

典型相关分析可以用一个相关矩阵的奇异值分解来解决。[4] 以下是它在一些语言中的函数 [5]

假设检验[编辑]

每一行可以用下面的方法检测其重要性。由于相关是排好序的,也就是说行 为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有 个独立观测,对 是其估计相关。对第 行,测试统计为:

上面渐近为一个对大 自由度卡方分布[6] 由于所有从 的相关从逻辑上来说都是 0,所以在这一点之后的乘积都是不相关的。

实际运用[编辑]

例子[编辑]

与principal angles的连接[编辑]

参见[编辑]

参考文献[编辑]

  1. ^ Härdle, Wolfgang; Simar, Léopold. Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. 2007: 321–330. ISBN 978-3-540-72243-4. doi:10.1007/978-3-540-72244-1_14. 
  2. ^ Knapp, T. R. Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin. 1978, 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410. 
  3. ^ Hotelling, H. Relations Between Two Sets of Variates. Biometrika. 1936, 28 (3–4): 321–377. JSTOR 2333955. doi:10.1093/biomet/28.3-4.321. 
  4. ^ Hsu, D.; Kakade, S. M.; Zhang, T. A spectral algorithm for learning Hidden Markov Models (PDF). Journal of Computer and System Sciences. 2012, 78 (5): 1460. arXiv:0811.4413. doi:10.1016/j.jcss.2011.12.025. 
  5. ^ Huang, S. Y.; Lee, M. H.; Hsiao, C. K. Nonlinear measures of association with kernel canonical correlation analysis and applications (PDF). Journal of Statistical Planning and Inference. 2009, 139 (7): 2162. doi:10.1016/j.jspi.2008.10.011. 
  6. ^ Kanti V. Mardia, J. T. Kent and J. M. Bibby. Multivariate Analysis. Academic Press. 1979. 

外部链接[编辑]