加权最小二乘法(WLS)
加权最小二乘法(WLS)
如果模型被检验证明存在异方差性,则需要发展新的方法估计模型,最常用的方法是加权最小二乘法。
加权最小二乘法是对原模型加权,使之变成一个新的不存在异方差性的模型,然后采用普通最小二乘法估计其参数。下面先看一个例子。
原模型:
y i =β0+β1x 1i +β2x 2i + ,+βk x ki +u i
i =1, 2, , n
如果在检验过程中已经知道:
2
, 2, , n D (u i ) =E (u i ) =σi 2=f (x 2i ) σu , i =1
2
即随机误差项的方差与解释变量x 2之间存在相关性,模型存在异方差。那么可以用去除原模型,使之变成如下形式的新模型:
f (x 2)
1f (x 2i )
y i =β0
1f (x 2i )
+β11f (x 2i )
1f (x 2i ) x ki +
x 1i +β21f (x 2i )
1f (x 2i )
x 2i +
+βk 在该模型中,存在
u i
i =1, 2, , n
D (
11122
u i ) =E (u i ) 2=E (u i ) =σu (4.2.1)
f (x 2i ) f (x 2i ) f (x 2i )
即同方差性。于是可以用普通最小二乘法估计其参数,得到关于参数β0, β1, , βk 的无偏的、有效的估计量。这就是加权最小二乘法,在这里权就是f (x 2i )
。
一般情况下,对于模型
Y =X B+N (4.2.2)
若存在:
E (N) =0
C o (v N, N) =E (NN') =σW
w 2
2
u
⎡w 1⎢
W =⎢
⎢⎢⎣⎤⎥
⎥ (4.2.3) ⎥
⎥w n ⎦
则原模型存在异方差性。设
W =DD T
⎡w ⎢1⎢D =⎢
⎢⎢⎣
-1
w 2
⎤⎡w -1
⎥⎢1⎥, -1⎢
D =⎢⎥
⎢⎥
⎢w n ⎥⎦⎣
w 2
-1
⎤
⎥⎥ ⎥⎥-1w n ⎥⎦
用D 左乘(4.2.2)两边,得到一个新的模型:
D -1Y =D -1X B+D -1N (4.2.4) 即
Y *=X *B+N*
T
T
该模型具有同方差性。因为
C o (v N *, N *) =E (N*N*) =E (D -1NN'D -1)
'
=D -1E (NNT ) D -1
-12-1=D σW D u
T 2
=D -1σu D D 'D -1
T
=σu 2I
于是,可以用普通最小二乘法估计模型(4.2.4),得到参数估计量为:
*T *-1*T *ˆB=(X X ) X Y W L S
=(X T D -1D -1X ) -1X T D -1D -1Y
T T
=(X W X ) X W Y
T -1-1T -1
(4.2.5)
这就是原模型(2.6.2)的加权最小二乘估计量,是无偏的、有效的估计量。
如何得到权矩阵W ?仍然是对原模型首先采用普通最小二乘法,得到随机误差项的近似估计量,以此构成权矩阵的估计量,即
⎡e 12⎢ˆ=⎢ W
⎢⎢⎢⎣
2
e 2
⎤⎥
⎥ (4.2.6) ⎥
2⎥e n ⎥⎦
当我们应用计量经济学软件包时,只要选择加权最小二乘法,将上述权矩阵输入,估
计过程即告完成。这样,就引出了人们通常采用的经验方法,即并不对原模型进行异方差性检验,而是直接选择加权最小二乘法,尤其是采用截面数据作样本时。如果确实存在异方差性,则被有效地消除了;如果不存在异方差性,则加权最小二乘法等价于普通最小二乘法。
在利用Eviews 计量经济学软件时,加权最小二乘法具体步骤是:
⑴ 选择普通最小二乘法估计原模型,得到随机误差项的近似估计量e i ;
⑵ 建立e i 的数据序列;
⑶ 选择加权最小二乘法,以i 序列作为权,进行估计得到参数估计量。实际上是以
e i 乘原模型的两边,得到一个新模型,采用普通最小二乘法估计新模型。
(步骤见PPT 文件)