基本极限分布理论和线性检验统计量的构造

基本极限分布理论和线性检验统计量的构造

一、基本极限分布理论

1．对于序列a N ，如果对于任意ε，存在N ε使得对于N >N ε时，有|a N -a |

p 3．依概率收敛：对于所有T ≥N ，有Pr ob {|X T -c |>δ}

p p −→c ，则g (X T ) −性质1：g (⋅) 为连续函数，若X T −−→g (c ) ；

p p p p 性质2：X 1T −−→c 1，X 2T −−→c 2，则{X 1T +X 2T }−−→(c 1+c 2) ；[X 1T ]-1[X 2T ]−−→c 1-1c 2

D 4．依分布收敛：记F X T (x ) 为X T 的分布函数，若lim F X T (x ) =F X (x ) ，则X T −−→X ； T →∞

D p D 性质1：Y T −−→Y ，若(X T -Y T ) −−→0；则X T −−→Y （渐近等价引理）

D D D p 性质2：X T −−→Y ，则{X T +Y T }−−→c +Y ；{X T ' Y T }−−→c ' Y ； −→c ，Y T −

D D 性质3：X T −−→X ，g (X T ) −−→g (X ) （连续影射定理）

D D p 性质4：向量X T −−→Y ~N (μ, Ω) ；X T Y T −−→cY ~N (c μ, c Ωc ' ) ； −→c ，Y T −

二、推导统计量渐近分布时的有用结论及应用 ˆ~N (β, σ2(X '1．βX ) -1)

1．若X ~N (μ, I n ) ，则X 'X ~χ2(n , λ) ，λ=∑μi 2（非中心参数）

2．N 维随机变量X ~N (0, V ) ，则X 'V -1X ~χ2(n ) （证明思路为对V -1进行楚勒斯基分解，即V -1=P P '）

3．N 维随机变量X ~N (0, V ) ，BV 为幂等矩阵，则X 'BX ~χ2(rank (B )) R β=r ）

ˆ-β(βˆ-β) /σˆ-βββ=~N (0, (X 'X ) -1) ；1．t 统计量。t 统计量的计算形式为，则) ) /σσse (βse (β

ˆ) =(β) =s (X ' X ) se (β2-1ˆ'u ˆu ˆ) ˆ'u u u se (β-1（~N (0, I ) ） =(X 'X ) ；=(X 'X ) -1；σT -k σT -k

ˆ-β) /σ(β故~se (β) /σN (0, I ) χ2

(T -k ) 为t 分布。 T -k )

2．F 统计量。F 统计量的计算形式为(SSR 1-SSR 0) /q ，q 为约束个数，SSR 1和SSR 0分别为SSR 0/(T -k )

ˆ-r ) '(R (X 'X ) -1R ') -1(R βˆ-r ) /q (SSR (R β1-SSR 0) /q 受限模型和非受限的残差平方和。则=SSR 0/(T -k ) s 2

ˆ'u ˆu 2-1ˆ-r ~N (0, σ2R (X ''s =（*）；R β；。（*）式上下同除以σ2得到： X ) R ) T -k

ˆ-r R βσ~N (0, R (X 'X ) -1R ') ，ˆu

σ~N (0, I ) ，由相关结论可知统计量服从F 分布。

注意：无论是t 统计量还是F 统计量只有当残差严格服从正态分布的时候才是有效的。

三、计量经济学中的假设检验

1．计量经济建模中需要哪些检验

从经济理论出发、选择解释变量、构建回归方程到模型的参数估计量的求解，再到该模型能否解释所研究的经济现象的本质特征或所研究的经济活动中的各个因素之间的关系，最后到能否进行模型的实际应用，必须通过各种检验加以确定。一般来讲，计量经济建模需要进行三个方面检验：（1）设定检验（Specification Test ），即将数据生成设定为某一种具体形式以便进行参数估计；（2）经济意义的检验，即根据经济理论对某个约束条件进行检验；（3）诊断检验（Diagnose Test），即判断参数估计是否具有显著性，以及模型设定是否合理。设定检验一般包括：正态性检验、异方差检验、序列相关性检验、单位根检验、协整检验、面板数据模型形式设定检验、个体效应固定效应检验、针对非线性模型的线性检验等。

2．检验的形式Wald 检验、似然比检验和LM 检验（得分检验、Rao 检验）

2.1 Wald检验

Wald 检验与F 检验类似，通常适用于残差不是严格服从正态分布的情况，主要优点是应用简单，并且不需要对受限模型进行估计。Wald 检验的基本思想是如果约束条件为真，则未受限模型的估计量近似等价于受限模型估计量。由于最值估计量（M-Estimator ，即通过求解一系列最大化或者最小化目标函数得出参数估计，Huber ，1967年提出，包括普通最小二乘法、非线性最小二乘法、最大似然估计和准极大似然估计等）渐近服从正态分布，即

d ˆ-β) −n (β−→N (0, V ) 。则在原假设下有R β0=r ，故0

d ˆ-r ) '(RVR ) -1(R βˆ-r ) −n (R β−→χ2(q ) ，q 为约束条件个数。 d ˆ-r ) −n (R β−→N (0, RV R ') ，

2.2 得分检验

某些情况下，受限模型比非受限模型具有更简单的形式，因此在构造检验统计量时人们希望只估计受限模型（原假设下的模型）。以线性检验为例，原假设为模型是线性的，备择假设为模型是非线性，显然估计线性模型（原假设成立下的模型）更为简单。这就是提出得分

ˆ应该渐近服检验的初衷。该检验的基本思想是，如果原假设成立，则目标函数的梯度向量λ

d ˆ=(R (X 'ˆ-r ) ，n λˆ−从均值为零的正态分布，即λX ) -1R ') -1(R β−→N (0, Ω) ；则得分检验的统-1⎛'R (X X ) R '⎫ˆd 2ˆ' ⎪计量λλ−−→χ(q ) 。得分检验最初是针对最大似然估计提出的（也就是LM 2 ⎪σ0⎝⎭

检验），但是其基本思想可以应用于许多估计方法。

2.3 似然比检验

构造Wald 检验要求估计非受限模型，构造得分检验要求估计受限模型，而似然比检验需

~ˆ) -ln L (θ要同时估计受限和非受限模型。统计量的计算表达式为：LR =2(lnL (θ)) ~χ2(q ) ；θˆ

~~为非受限估计量，θ为受限估计量。为了证明似然比统计量服从χ2分布，需要将ln L (θ) 在θˆ~~ˆ~ˆˆ) +n (θˆ)(θ-θ) 'H (θ-θ) （根据最大似然估计的定义，处二阶泰勒级数展开得到ln L (θ) ≈ln L (θ2

~ˆ~ˆˆ)(θˆ) +I (θˆ) =0，则： 一阶展开项为0），则LR ≈-n (θ-θ) 'H (θ-θ) ；由于H (θ

~ˆ~ˆ~ˆ~ˆˆ)(θˆ) n (θLR ≈n (θ-θ) 'I (θ-θ) =n (θ-θ) 'I (θ-θ) ~χ2(q )

2.4 Wald检验、似然比检验、得分检验的渐近等价性

通过（2.1）~（2.3）不难发现，wald 检验、得分检验和似然比检验统计量都渐近服从χ2分布，那么它们之间是否存在某种联系呢？是的！这三种检验以及qF 统计量在原假设成立时是渐近等价的，即qF =W =LM =LR 。下面对这三个检验统计量进行总结：（1）LR 统计量的构造是建立在似然函数基础上的，因此它依赖于对残差的分布做出假设；（2）qF 统计量又被称为伪似然比统计量，因为其构造同样依赖受限和非受限估计量。二者的区别是qF 统计量不需要对分布做出假设；（3）Wald 检验和得分检验是针对线性模型提出的，但是它们的基本思想同样适用于非线性模型。

尽管这些统计量是渐近等价的，但从数值计算的角度来看三者还是存在差别的，这是由

于方差估计的不同方法造成的。这就带来一个问题，人们可以根据偏好有选择地使用某种检验得到想要的结果。因此，在实证应用中，理想的解决方法是同时给出三种统计量的检验结果。

3．统计量临界值的计算

统计量临界值的计算都是以统计量的极限分布为基础的，具体来说有两种方法：（1）如果统计量的极限分布是标准的，则可以直接查相应的分布表；（2）大多数情况下，统计量的分布形式要么非标准要么难以计算，此时需要运用模拟方法。举例来说，单位根检验的统计ˆ-1) ˆ-1(ββ(1/2)[W (1) 2-1]量为DF =，其中W(r)为(0,1)内的维纳过程。显然=~T 1/22-1/21s (β) s u (∑t =1y t -1) ⎡W 2(r ) dr ⎤⎢⎥⎣⎰0⎦

计算该统计量的分布函数是极为困难的。

使用Monte Carlo方法计算统计量的临界值通常分为以下3步：（1）使用原假设成立下的数据生成过程产生样本；（2）构造辅助回归，计算所需要的统计量数值；（3）重复以上两步N 次（N 足够大）， 并根据要求的检验水平确定统计量数值序列的分位数。下面就以DW 检验和单位根检验为例，介绍这一过程。 DW 检验的原假设为：H 0∑:ρ=0，即u 不存在自相关；检验统计量为DW =t T 2(e -e ) t t -1t =2∑T 2

t t =1e ，

使用的数据生成过程为y t =x t +u t ，u t ~i . i . dN (0, 1) （检验的名义水平为1%，5%，10%） ˆ-1) (βˆ对应的t 统计量，使用单位根检验的原假设为H 0:β=1；检验统计量为DF =，即β) s (β

的数据生成过程为y t =y t -1+u t ，u t ~i . i . dN (0, 1) ，即将检验的辅助回归设定为不含有漂移项和趋势项。（检验的名义水平为1%，5%，10%）

4．检验统计量的（有限样本）性质

4.1 检验功效与检验水平

在假设检验中可能犯两类错误，即第一类错误（“弃真错误”）和第二类错误（“取伪错误”）。不同检验方法犯错误的概率一般是不一样的，而且对于同一种方法，采用不同的统计量或对同一统计量采用不同的参数估计方法，其犯错误的概率也不尽相同。另一方面，检验临界值是在某一假设前提下，在统计量的极限分布基础上（T →∞）计算的，如果待检验的序列较

短，或者假设条件不满足，则统计量的性质（可靠性）会受到影响。因此，为了评价检验的可靠性需要计算统计量在不同样本容量下以及误差项不同设定情况下的检验功效和实际检验水平，这就要用到Monte Carlo模拟的方法。所谓检验功效（Power of Test）是指给定一个名义检验水平，在备择假设H 1成立的条件下，拒绝原假设的概率；实际检验水平（Size of Test）是指，给定一个名义检验水平，当原假设成立的条件下，拒绝原假设的概率。Monte Carlo方法解决这一问题的基本思路是：（1）使用原假设（计算Size ）或备择假设（计算Power ）的数据生成过程生成样本；（2）使用样本序列构造统计量数值，并与临界值比较；（3）重复上述步骤若干次，确定统计量数值小于临界值的频率，从而得到Size 或者Power 。

实验：构造针对数据生成过程y t =β1+β2*y t -1+u t ，β2=0.9的t 检验，计算不同样本容量下t 检验的功效和实际检验水平。提示：计算检验功效时的DGP 为y t =β1+β2*y t -1+u t ，β2={0.2,0.4,0.6,0.8,0.85}；计算检验水平时DGP 为y t =β1+0.9*y t -1+u t 。（名义检验水平为0.05，样本容量分别为T=20，40，80，120，200，1000）

4.2 检验功效与检验水平的权衡关系

统计量的检验水平和检验功效之间存在着一种权衡取舍（trade-off ）的关系，即不论数据生成过程是何种形式，检验水平的值越小，相应的检验功效的值也就越小；检验水平的值越大，相应的检验功效的值也就越大。这也就是说，当某种检验方法犯第一类错误的可能性越小时，其犯第二类错误的可能性就会越大。从这种意义上来说，我们不能奢望某一种检验方法能够同时在这两个方面都明显地优于其他的检验方法。

实验：仍然使用上一个实验的数据生成过程，针对原假设H 0:β2=0. 9，计算大样本下（T=1000）和小样本下（T=25），t 统计量、LM 统计量（χ2版本和F 版本）以及LR 统计量的检验功效和检验水平。

4.3 影响统计量可靠性的因素

我们推导统计量极限分布以及据此计算其临界值的过程都是建立在这样两个假设基础上的：（1）样本容量足够大；（2）残差项独立同分布。（思考：为什么不要求残差服从正态分布？）因此当这两个条件不满足时，统计量的可靠性值得商榷。对于第一个条件，主要是现有统计量的分布和临界值都是在大样本情况下得到的（理解“极限分布”中的“极限”二字）；对于第二个条件，如果数据生成过程存在序列相关或者异方差，我们根本无法得到模型方差-协方差矩阵的一致估计，使得统计量的极限分布（例如，Wald 检验需要估计N (0, V ) 中的V ，得分

2检验需要估计σ0）和标准情况存在很大的偏差。

影响统计量可靠性的另一个因素是冗余参数问题（nuisance parameter ）。所谓冗余参数就是指我们不关心其取值，但其取值又会影响我们分析其他参数的一类参数。假设检验中的冗余参数是指不参与统计量的构造，但其取值会影响统计量可靠性的参数。与之相对应的一个概念就是轴枢统计量（pivotal statistic），即统计量的分布不含有未知参数。简而言之，轴枢统计量就是不含有冗余参数的统计量。

实验：仍然使用上一个实验的数据生成过程和原假设H 0:β2=0. 9，针对不同β1的取值，计算大样本下（T=1000）和小样本下（T=25），t 统计量、LM 统计量（χ2版本和F 版本）以及LR 统计量的检验功效和检验水平。

5．假设检验中的自助法（Bootstrap ）

5.1 Bootstrap的基本概念

在（4.3）小节中我们已经给出影响统计量可靠性的因素，那么如何解决小样本下以及残差非独立同分布下统计量的功效降低或者水平扭曲问题呢？这就要使用自助法（Bootstrap ）。所谓自助法就是指，在原始数据的基础上（“自助”的翻译依据）根据一定规则运用模拟技术构造出若干模拟样本（Bootstrap sample ）并使用这些样本对原始数据进行统计推断（参数估计或者假设检验）的方法。自助法的基本思想是使用基于原始数据信息（样本容量、拟合残差）构造的统计量经验分布代替极限分布用于检验。近年来，自助法普及的原因主要有三个：

（1）计算机运算能力极大提高；（2）自助法易于实施；（3）基于自助法的统计推断具有很好的效果。

5.2 基于Bootstrap 的置信区间估计

我们以一元线性模型介绍基于Bootstrap 的置信区间估计。令y =X β0+u t ，

2ˆ的分布也是未知的，使用传统方法构造βˆu t ~i . i . dN (0, σ0) 。由于u t 分布未知，则小样本下β

的置信区间是不可靠的。使用Bootstrap 的步骤如下：（1）使用OLS 估计模型，得到残差序

ˆ+u b ；ˆt ；ˆt 中选取B 个，构造Bootstrap 样本y b =X β列u （2）有放回的从u t （3）估计模拟样本

ˆ, βˆ，根据显著性水平α确定βˆ，即βˆ的置信区间。 得到B 个β(1) (B )

ˆ（原始数据的OLS 估计量）注意事项：（1）构造Bootstrap 样本时务必使用β；（2）Bootstrap

样本容量应该满足αB /2为整数，即对于α=0. 05，B 应为40的倍数，对于α=0. 01，B 应为200的倍数，当然若不考虑计算成本，B 越大越好。

5.3 基于Bootstrap 的假设检验

前提条件：Bootstrap 检验的适用条件是，统计量必须有极限分布（尽管我们不知道该分布的具体形式）。基本步骤：（1）在原假设成立的条件下构造B 个模拟样本；（2）针对原始

ˆ的次数N ，计算p-value=N /(1+B ) ，样本和每个模拟样本计算统计量τˆ和τ*；（3）统计τ*>τ

如果p-value 大于显著性水平α则接受原假设，否则拒绝原假设。在构造模拟样本时需要注意以下几个问题：（1）一定要使用原假设下的估计量；（2）残差序列可以使用原假设下或者备择假设下的估计量。同时，根据模拟残差序列生成方式不同，可以将自助法划分为残差自助法、参数自助法和Wild 自助。下面就以检验y t =β1y t -1+β2+u t 中β1=0. 9为例介绍这三种自助法（使用LM 检验，统计量为LM F =(SSR 0-SSR 1) /m 。

~F (m , T -k -m -1) ）SSR 1/(T -k -m -1)