相关

在概率论和统计学中，相关（Correlation，或称相关系数或关联系数），显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下，有许多根据数据特点而定义的用来衡量数据相关的系数。

对于不同数据特点，可以使用不同的系数。最常用的是皮尔逊积矩相关系数。其定义是两个变量协方差除以两个变量的標準差（方差的平方根）。

皮尔逊积差系数（Pearson's r）

数学特征

$\rho_{X,Y}={\mathrm{cov}(X,Y) \over \sigma_X \sigma_Y} ={E((X-\mu_X)(Y-\mu_Y)) \over \sigma_X\sigma_Y},$

其中，E是数学期望，cov表示协方差，$\sigma_X$和 $\sigma_Y$是標準差。

因为$\mu_X = E(X)$，$\sigma_X^2 = E(X^2) - E^2(X)$，同样地，对于$Y$，可以写成

$\rho_{X,Y}=\frac{E(XY)-E(X)E(Y)}{\sqrt{E(X^2)-E^2(X)}~\sqrt{E(Y^2)-E^2(Y)}}.$

当两个变量的標準差都不为零，相关系数才有定义。从柯西-施瓦茨不等式可知，相关系数的絕對值不超过1。当两个变量的线性关系增强时，相关系数趋于1或-1。当一个变量增加而另一变量也增加时，相关系数大于0。当一个变量的增加而另一变量减少时，相关系数小于0。当两个变量独立时，相关系数为0.但反之并不成立。 这是因为相关系数仅仅反映了两个变量之间是否线性相关。比如说，X是区间［－１，１］上的一个均匀分布的随机变量。Y = X². 那么Y是完全由X确定。因此Y 和X是不独立的。但是相关系数为0。或者说他们是不相关的。当Y 和X服从联合正态分布时，其相互独立和不相关是等价的。

当一个或两个变量带有测量误差时，他们的相关性就受到削弱，这时，“反衰减”性（disattenuation）是一个更准确的系数。

几何特征

对于居中的数据来说（何谓居中？也就是每个数据减去样本均值，居中后它们的平均值就为0），相关系数可以看作是两个随机变量中得到的样本集向量之间夹角的cosine函数。 一些实际工作者更喜欢用非居中的相关系数（与Pearson系数不相兼容）。看下面的例子中有一个比较。 例如，假设五个国家的国民生产总值分别是1、2、3、5、8（单位10亿美元），又假设这五个国家的贫困比例分别是11%、12%、13%、15%、18%。则我们现在有两个有序的包含5个元素的向量x、y：x = (1, 2, 3, 5, 8) 、 y = (0.11, 0.12, 0.13, 0.15, 0.18) 使用一般的方法来计算向量间夹角（参考数量积），未居中的相关性系数如下：

$\cos \theta = \frac { \bold{x} \cdot \bold{y} } { \left\| \bold{x} \right\| \left\| \bold{y} \right\| } = \frac { 2.93 } { \sqrt { 103 } \sqrt { 0.0983 } } = 0.920814711.$

上面的数据实际上是故意选择了一个完美的线性关系：y = 0.10 + 0.01 x。因此皮尔逊相关系数应该就是1。把数据居中（x中数据减去 E(x) = 3.8 ，y中数据减去E(y) = 0.138）后得到：x = (−2.8, −1.8, −0.8, 1.2, 4.2)、 y = (−0.028, −0.018, −0.008, 0.012, 0.042)，由此得到了预期结果：

$\cos \theta = \frac { \bold{x} \cdot \bold{y} } { \left\| \bold{x} \right\| \left\| \bold{y} \right\| } = \frac { 0.308 } { \sqrt { 30.8 } \sqrt { 0.00308 } } = 1 = \rho_{xy},$

统计学上的相关

相关系数的计算过程可表示为：将每个变量都转化为标准单位，乘积的平均数即为相关系数。

两个变量的关系可以直观地用散点图表示，当其紧密地群聚于一条直线的周围时，变量间存在强相关。

一个散点图可以用五个统计量来概括。 所有x值得平均数，所有x值的SD， 所有y值得平均数，所有y值的SD， 相关系数r.

将第一个变量记为 x , 第二个变量记为 y , 相关系数为 r ，则可以通过以下公式：

r = [(以标准单位表示的 x ) X (以标准单位表示的 y )] 的平均数