参数估计方法的比较与启示
第23卷 第1期 邢 台 职 业 技 术 学 院 学 报 V ol.23 No.1 2006年2月 Journal of Xingtai Vocational and Technical College Feb. 2006
三种参数估计方法的比较与启示
徐 勇，任一萍
(河北大学 研究生学院，河北 保定 071002)
摘 要：对回归模型进行参数估计时，常用的两种重要方法是普通最小二乘法和最大似然法。随着社会的发展，普通最小二乘法的不足之处日益显现，另一种新的参数估计方法——累积法的推广和运用，为我们提供了新的研究思路。本文通过对这三种参数估计方法进行分析与比较，得出了一些新的启示。
关键词：普通最小二乘法；最大似然法；累积法
中图分类号：O221.8 文献标识码：A 文章编号：1008—6129（2006）01—0015—04
一、普通最小二乘法与最大似然法的比较差异
普通最小二乘法（Ordinary Least Squares，简称OLS）是应用最多的回归模型参数估计方法，它是从最小二乘原理出发的其他估计方法的基础。最大似然法（Maximum Likelihood，简称ML）也称最大或然法，是不同于OLS 的另一种回归模型参数估计方法，它是从最大或然原理出发的其他估计方法的基础。由此可见，这两种方法所依据的数学原理不同。
（一）OLS与ML 方法的数学原理的比较 1．OLS方法
对双变量总体回归函数Y i =β1+β2X i +µi L L L L (1)
ˆ+βˆX +µˆ+µˆi =Y ˆi Y i =β12i i
通过样本回归函数去估计
ˆˆˆˆi =Y i −Y i =Y i −β1−β2X i µ
ˆ是Y 的估计值，µˆi 为残差。最小二乘原理认为只要残差的平方尽可能的小，样本回归函数其中Y i i
就尽可能的靠近实际的Y ，即：∑µˆi 2必须取最小值。
ˆ求得偏导的值为0，得一正规方程组ˆ、β根据微积分原理，∑µˆ2取最小值的充要条件是分别对β21
ˆˆ⎧⎪∑Y i =β1+β2∑X i
⎨2
ˆˆ⎪⎩∑Y i X i =β1∑X i +β2∑X i L L L L L L (2)
令x i =X i −, y i =Y i −⎧
ˆ=∑x i y i ⎪β2
x i 2 得⎪
⎪ˆˆL L L L L (3) ⎨β1=−β2⎪1⎪σˆ2=ˆi 2L L L L (4) µ∑n −2⎪⎩
2．ML方法
假定双变量模型Y i =
β1+β2X i +µi 中，Y i 是正态且独立分布的，其均值为β1+β2X i ，其方差为
n
σ2。Y 1, Y 2, L , Y n 的联合概率密度函数为：
f (Y 1, Y 2, L , Y n β1+β2X i ，σ) =∏f (Y i β1+β2X i ，σ) =
2
2
i =1
1
−n
12σ2
σ
n
e
∑(Y i −β1−β2X i )
i =1
n
记似然函数为
LF (β1、β2、σ) =
2
1
n
n
−
12σσ最大似然原理认为要使观测到给定的Y i 的概率尽可能大，则必须使似然函数达到最大值。由于对数
e
∑(Y i −β1−β2X i )
i =1
n
L L L (5)
函数是单调函数，故㏑LF 和LF 在同一点上达到最大，对式(5)作对数变换得到: ——————————————
收稿日期：2005－10－19
15
作者简介：徐勇（1981—），河北邯郸人，河北大学研究生学院04级统计系研究生。
邢台职业技术学院学报 2006年 第1期
n n 1(Y i −β1−β2X i ) 2，2根据微积分原理，lnLF 达到最大的充要条件是其对β1、β2、lnLF =−ln σ−ln2π−∑2222σ
σ2的偏导数为0。
⎧
~~⎪Y =n β
∑1+β2∑X i i
⎪
~~⎪2
⎨∑Y i X i =β1∑X i +β2∑X i L L L L L L L L (6) ⎪
1~~2⎪−n +(Y β−∑1−β2X i ) =0L L L L (7) i 24⎪2σ⎩2σ
ˆ等同，这是经比较可得式(6)正是最小二乘原理的正规方程组(2)，故ML 估计量βi 与OLS 估计量βi
因为对数似然函数的最大化就是其最后一项，即⎡1
(Y i −β1−β2X i ) 2⎤的最小化。解上述方程组得:
⎢∑⎥
σ2⎣2⎦
⎧~∑x i y i ⎪β2=
x i 2⎪ ~⎪~
⎨β1=−β2L L (8) ⎪
~2=1µ⎪σˆi 2L L (9) ∑n ⎪⎩
~
ˆ、βˆ等同。 通过比较式(8)与式(3)可得ML 估计量β1、β2与OLS 估计量β12
（二）两种参数估计方法下的随机误差项的方差的比较
以一元线性回归模型Y i =β1+β2X i +µi 为例，在模型满足基本假定(但随机误差项µi 满足正态性分
布的假定除外)的条件下，最小二乘法OLS 估计量是最优线性无偏估计量。最大似然法必须对随机误差项的概率分布作一假定，即其在回归分析中假设遵循正态分布。在基本假定加正态性假定下，ML方法下的截距和斜率参数的估计量(β1、β2)与OLS 方法下的估计量(β1、β2)是等同的。但是随机误差项µi 的方差分别在OLS 和ML 两种方法下的估计量存在差别；而在大样本中，这两个估计量趋于一致。
~2=1µ证明：ML方法下，由式（9）随机误差项µi 的方差σˆi 2 ∑n
2~2n −22~2) =1E (µˆi 2) =E (σσ=σ2−σ2
n n n 2~2是有偏~2) →σ2，故σ2是渐近无偏的。所以，σ会低估真实的σ。而随着样本容量的无限增大， E (σ
~~
~2有误差~222~2−σ20有：P E (σ) −σ2=σ2−σ2−σ2=−σ2→0
}
~是一致性估计量。 差都趋于0，所以σ
二、累积法
对经济模型结构参数的估计目前常用的方法是最小二乘法和最大似然法。随着社会的发展，最小二乘法的不足之处日益突出，其系列假设前提也显得更为不科学，而且不易被验证。我国学者曹定爱在前人研究的基础上，发展了新的参数估计方法——累积法，其基本思想是利用有关数据的累积和及权数直接估计模型的有关参数。所谓累积和就是对某列数据按照一定的叠加规律进行不同叠加后所得到的结果。它以寻找累积算子的各阶通式为切人点，创建了累积算子表，创造性地求得累积算子的各阶通式，使得该新方法的运用简便易行。
以河北省的经济数据为例，全省生产总值与固定资产投资总额之间具有线性关系。
表1 全省生产总值与固定资产投资总额 单位：亿元 年份 全省生产总值 固定资产投资总额 1996 3 453 1 188 1997 3 953 1 470 1998 4 256 1 651 1999 4 569 1 798 2000 5 089 1 847
2
~的方差Var (σ~) →0（n →∞）（n →∞），同理可证σ，亦即随着样本容量的无限增大，其误差和方
2
2
n n
16
2001 5 578 2002 6 123 2003 7 099
资料来源：《河北经济年鉴》、《河北经济统计年鉴》
根据题意，设拟合的模型为y t =β0+β1x t +εt L L L L (10) 1．普通累积法
首先求各阶与各项的累积和(n =8)：
1 942 2 047 2 516
其中全省生产总值记为y t ，固定资产投资总额记为x t ，误差项记为εt 。我们用两种方法求解：
∑∑
t =1
8
(1)
=1+1+1+1+1+1+1+1=8
8
t =18
∑
t =1
8
(2)
=8+7+6+5+4+3+2+1=36
∑
t =1
8
(1)
x t =∑x t =14459
t =1
8
(2)
x t =∑8x 1+7x 2+L +1x 8=58510；
t =1
8
同理，∑(1) y t =4012
t =1
∑
t =1
8
(2)
y t =160111；
其次求行列式∆=8×58510−36×14459=−52444 ；
5851014459⎧
×40120−×160111=−617. 35β0=⎪然后求普通累积法估计⎪； −52444−52444
⎨
8⎪β=−36×40120+×160111=3. 121⎪−52444−52444⎩
ˆ代人方程(10)，略去误差项最后将β
εt
就得到因变量y t 和自变量
x t
之间的经验关系
ˆt =−617. 35+3. 12x ˆt 。这样误差项εt =y t −y y ˆt ，且误差率ε1/y1如下表：
2．最小二乘法
⎡1⎢1⎢⎢1⎢1X =⎢
⎢1⎢⎢1⎢1⎢⎢⎣1
1188⎤
1470⎥⎥
⎡27234087−14459⎤ 11651⎥， (X T X ) −1=
⎥8⎥8810015⎢⎣−14459⎦1798⎥1847⎥
⎥1942⎥2047⎥
⎥2516⎥⎦
ˆ⎤⎡β⎡40120⎤ ⎡−351. 12⎤−10T T X T Y =⎢⎥=(X X )X Y =⎢⎢⎥ ， 这样最小二乘估计是。⎥ˆ⎥⎣75781516⎦⎣2. 97⎦⎢β⎣1⎦
ˆ代入方程(10)，同上，得下表： 将β
17
8
，
普通累积法的总误差是∑εt =1760. 9总误差率是
t =1
∑t =1t =1
t
=
t
∑y
1760. 90
=4. 3890%
40120
同理，普通最小二乘法的总误差是1677.61，总误差率是4.1800%。
这两种方法都是比较好的估计，这就证明普通累积法像普通最小二乘法一样，对估计一元方程具有同样的效果,同时，计算过程较为简便。
三、总结
通过对上述三种参数估计方法的比较，我们得知：ML法虽然没有OLS 法应用广泛，但在计量经济学中处于基础地位；经过改进的累积法同OLS 法相比，更加简便易行。随着计量经济学专用软件（Eviews等）的普及应用，我们应当熟练掌握利用软件来解决实际经济问题，进一步提高预测分析的能力。
参考文献：
[1]刘振亚.计量经济学教程[M].北京:中国人民大学出版,1996．23. [2]张晓峒.计量经济学基础[M].天津:南开大学出版社,2001．41． [3]李子奈.计量经济学基础[M].北京:高等教育出版,2000．24.
[4]周四军,陈黎明.OLS与ML 回归模型两种参数估计方法的比较研究[J].统计教育,2004,(2)． [5]青萍.计量经济学新方法探索——评《累积法引论》[J].数量经济技术经济研究,2000,(5)． [6]曹定爱,张顺明.累积法引论[M].北京:科学出版社,1999．101．
Comparison and Enlightenment about Three Methods of Parameter
Estimation
XU Yong，REN Yi-ping
（ Hebei University, Baoding, Hebei 071002, China）
Abstract ：We often estimate the return model parameter by ordinary least squares and maximum likelihood. Along with society's development, the deficiency of ordinary least squares is more remarkable. A new method of parameter estimation - accumulation have provided the new mentality of research for us. I will compare the three methods to obtain some new enlightenment.
Key words：ordinary least squares; maximum likelihood; accumulation
（责任编辑 鲍东杰）
18