不可不知的回归分析与相关分析
本文主要对回归分析、相关分析进行了简单的介绍。
回归
“回归”(Regression)一词最初是由英国生物学家兼统计学家F.Galton(F·高尔顿)在一篇著名的遗传学论文中引入的(1877年)。他在研究中发现，具有较高身躯的双亲，或具有较矮身躯的双亲尔，其子女的身高表现为退回(即回归)到人的平均身高趋势。这一回归定律后来被统计学家K·Pearson通过上千个家庭成员身高的实际调查数据进一步得到证实，从而产生了“回归”这一名称。
然而，现代意义上的“回归”比其原始含义要广得多。一般来说，现代意义上的回归分析是研究一个变量（也称为explained variable或因变量dependent variable）对另一个或多个变量（也称为解释变量explanatory variable或自变量independent variable ）的依赖关系，其目的在于通过解释变量的给定值来预测被解释变量的平均值或某个特定值。
具体而言，回归分析所要解决的问题主要有：
（1）确定因变量与自变量之间的回归模型，并依据样本观测值对回归模型中的参数进行估计，给出回归方程。
（2）对回归方程中的参数和方程本身进行显著性检验。
（3）评价自变量对因变量的贡献并对其重要性进行判别。
（4）利用所求得的回归方程，并根据自变量的给定值对因变量进行预测，对自变量进行控制。
相关分析
现象之间的相互联系一般可以分为两种不同的类型：一类为变量间的关系是确定的，称为函数关系；而另一类变量之间的关系是不确定的，称为统计关系。
变量之间的函数关系表达的是变量之间在数量上的确定性关系，即一个或几个变量在数量上的变动就会引起另一个变量在数量上的确定性变动，它们之间的关系可以用函数关系 y=f（x）准确地加以描述，这里x可以是一个向量。当知道了变量x的值，就可以计算出一个确切的y值来。
变量之间统计关系，是指一个或几个变量在数量上的变动会引起另一个变量数量上发生变动，但变动的结果不是惟一确定的，亦即变量之间的关系不是一一对应的，因而不能用函数关系进行表达。变量之间的统计关系可以用数学模型y=f（x）+μ来表示。这里的x既可以是单个变量，也可以是向量。f（x）是一个确定的函数关系，它既可以是线性的，也可以是非线性的。
当已经知道变量之间存在统计关系后，能否根据一个变量的值来预测另一个变量的平均值或个别值，或者根据给定的变量值来控制另一个变量值呢？这一问题的回答涉及到线性回归分析。在此，必须弄清相关分析和回归分析两者之间的关系。
相关分析和回归分析虽然都是研究两个或两个以上变量之间的关系，但二者之间既有区别又有联系。
首先，二者的研究目的不同。前者主要研究变量之间是否存在线性关系以及这种关系的强弱程度，而后者则是在前者的基础上进一步研究变量之间的联系方式，以便在给定一个或几个变量值的条件下预测或控制另一个变量的值。因此，相关分析中的变量之间的关系是对等的，而回归分析中的变量间的地位是不对等的。在进行回归分析时，必须明确变量间的依赖关系，即哪个变量依赖于哪个或哪些变量。一般把说明或解释另一个变量的变量称为解释变量，用x表示；而作为被说明或被解释的变量称为被解释变量，用y表示。
其次，两者的假设条件不同。相关分析假设研究的两个变量都是随机的。事实上，只要有一个变量是确定性的，则相关系数一定为零。而回归分析一般都假设解释变量是确定性的，在重复抽样中取固定的值；被解释变量是随机的，它有一个概率分布。回归分析的目的就是要通过给定解释变量的值来预测或控制被解释变量的总体均值或个别值。
然而相关分析与回归分析之间又有着密切的联系。首先，在进行回归分析之前，一般要确定变量之间的线性关系是否密切，这就要依赖相关分析。其次，变量之间的相关系数与回归分析中的拟合程度也存在一定关系，这在后面的分析中将会看到。
值得注意的是，回归分析所研究的变量之间的依赖关系通常是一种经验关系，而并不一定包含因果关系。换句话说，变量之间因果关系的确立只能来自其他学科的理论根据，而非回归分析所能解决的。