本页使用了标题或全文手工转换

回归分析

维基百科,自由的百科全书
跳到导航 跳到搜索
简单线性回归分析的例子

回归分析英语:Regression Analysis)是一种统计学上分析数据的方法,目的在于了解两个或多个变数间是否相关、相关方向与强度,并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。更具体的来说,回归分析可以帮助人们了解在只有一个自变量变化时应变量的变化量。一般来说,通过回归分析我们可以由给出的自变量估计应变量的条件期望。

回归分析是建立应变数(或称依变数,反应变数)与自变数(或称独变数,解释变数)之间关系的模型。简单线性回归使用一个自变量复回归使用超过一个自变量()。

起源[编辑]

回归的最早形式是最小二乘法,由1805年的勒让德(Legendre)[1],和1809年的高斯(Gauss)出版[2]。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道(主要是彗星,但后来是新发现的小行星)的问题。 高斯在1821年发表了最小二乘理论的进一步发展[3],包括高斯-马尔可夫定理的一个版本。

“回归”一词最早由法兰西斯·高尔顿(Francis Galton)所使用[4][5]。他曾对亲子间的身高做研究,发现父母的身高虽然会遗传给子女,但子女的身高却有逐渐“回归到中等(即人的平均值)”的现象。不过当时的回归和现在的回归在意义上已不尽相同。

在1950年代和60年代,经济学家使用机械电子桌面计算器来计算回归。在1970年之前,它有时需要长达24小时从一个回归接收结果[6]

回归分析原理[编辑]

  • 目的在于找出一条最能够代表所有观测资料的函数(回归估计式)。
  • 用此函数代表因变数和自变数之间的关系。

参数估计[编辑]

回归模型[编辑]

回归模型主要包括以下变量:

  • 未知参数,记为,可以代表一个标量或一个向量
  • 自变量
  • 因变量

回归模型将和一个关于的函数关联起来。

在不同的应用领域有各自不同的术语代替这里的“自变量”和“因变量”。

这个估计值通常写作:

在进行回归分析时,函数的形式必须预先指定。有时函数的形式是在对关系的已有知识上建立的,而不是在数据的基础之上。如果没有这种已有知识,那么就要选择一个灵活和便于回归的的形式。

假设现在未知向量的维数为k。为了进行回归分析,必须要先有关于的信息:

  • 如果以的形式给出了个数据点,当时,大多数传统的回归分析方法都不能进行,因为数据量不够导致回归模型的系统方程不能完全确定
  • 如果恰好有个数据点,并且函数的形式是线性的,那么方程能精确求解。这相当于解一个有个未知量和个方程的方程组。在线性无关的情况下,这个方程组有唯一解。但如果是非线性形式的,解可能有多个或不存在。
  • 实际中的情况占大多数。这种情况下,有足够的信息用于估计一个与数据最接近的值,这时当回归分析应用于这些数据时,可以看作是解一个关于超定方程

在最后一种情况下,回归分析提供了一种完成以下任务的工具: ⒈找出一个未知量的解使因变量的预测值和实际值差别最小(又称最小二乘法)。

⒉在特定统计假设下,回归分析使用数据中的多余信息给出关于因变量和未知量之间的关系。

回归分析的种类[编辑]

简单线性回归[编辑]

简单线性回归英语Simple linear regression英语:simple linear regression

  • 应用时机
  1. 以单一变数预测
  2. 判断两变数之间相关的方向和程度

复回归(或多变量回归)[编辑]

复回归分析英语:multiple regression analysis)是简单线性回归的一种延伸应用,用以了解一个依变项与两组以上自变项的函数关系。

对数线性回归[编辑]

对数线性回归英语Log-linear model英语:Log-linear model),是将解释变项(实验设计中的自变项)和反应变项(实验设计中的依变项)都取对数值之后再进行线性回归,所以依据解释变项的数量,可能是对数简单线性回归,也可能是对数复回归。

非线性回归[编辑]

对数几率回归[编辑]

对数几率回归英语:Logistic Regression

偏回归[编辑]

偏回归英语Partial Regression英语:Partial Regression

自回归[编辑]

自回归滑动平均模型[编辑]

差分自回归滑动平均模型[编辑]

向量自回归模型[编辑]

参阅[编辑]

参考资料[编辑]

  1. ^ A.M. Legendre. Nouvelles méthodes pour la détermination des orbites des comètes, Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.
  2. ^ C.F. Gauss. Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum. (1809)
  3. ^ C.F. Gauss. Theoria combinationis observationum erroribus minimis obnoxiae. (1821/1823)
  4. ^ Mogull, Robert G. Second-Semester Applied Statistics. Kendall/Hunt Publishing Company. 2004: 59. ISBN 0-7575-1181-3. 
  5. ^ Galton, Francis. Kinship and Correlation (reprinted 1989). Statistical Science (Institute of Mathematical Statistics). 1989, 4 (2): 80–86. JSTOR 2245330. doi:10.1214/ss/1177012581. 
  6. ^ Rodney Ramcharan. Regressions: Why Are Economists Obessessed with Them? March 2006. Accessed 2011-12-03.

外部链接[编辑]

  1. 解读回归分析的原理及结构