第四章极大似然估计
第四章 极大似然估计
第一节 引言
考虑ARMA模型：
Yt=c+φ1Yt−1+φ2Yt−2+....+φpYt−p+εt+θ1εt−1+...+θqεt−q （1）
其中εt∼WN(0,σ2)。前面我们假定知道总体参数(c,φ1,...,φp,θ1,...,θq,σ2)，此时利用过程（1）进行预测。
本章我们要研究在仅能观测到Y的情况下，如何估计
(c,φ,...,φ,θ,...,θ,σ)
2
1
p
1
q
。估计方法为极大似然估计。令
θ=(c,φ1,...,φp,θ1,...,θq,σ2)表示总体参数向量。假定我们观察到一个样本
量为T的样本(y1,y2,...,yT)。计算所实现样本的联合概率密度函数：
fYT,YT−1,...,Y1(yT,yT−1,...,y1) （2）
这可以看作是观察到样本发生的概率。使得“概率”最大的θ值就是最优估计。这种思想就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。如果εt是高斯白噪声，则得到的函数为高斯似然函数。
极大似然估计的步骤： 1） 2）
计算似然函数（2）。
利用求极大值方法求使得函数值最大的θ值。
第2节 高斯AR(1)过程的似然函数
一．计算高斯AR(1)过程似然函数
高斯AR(1)过程的表达式为
Yt=c+φYt−1+εt （3）
其中εt∼iidN(0,σ2)。总体参数向量为θ=(c,φ,σ2)。
观察值Y1的均值和方差分别为E(Y1)=µ=c/(1−φ)和
E(Y1−µ)=σ2/(1−φ)。因为εt∼iidN(0,σ2)，因此Y1也是高斯分布。其概
2
率密度函数为
⎡−y−⎡c/(1−φ)⎤
1⎣⎦
fY1(y1;θ)=fY1(y1;c,φ,σ2)
=⎢
⎢2σ2/1−φ⎢⎣
{}
2
⎤
⎥ （4） ⎥⎥⎦
对于第二个观察值在观察到Y1=y1条件下的分布。根据（3），
Y2=c+φY1+ε2 此时(Y2Y1=y1)∼N((c+φy1),σ2)，其概率密度函数为
fy⎡−(y2−c−φy1)2⎤
Y2Y1(2y1;θ)=⎢⎢⎥ ⎣2σ2⎥ ⎦
此时观察值Y1和Y2的联合密度函数就是（4）和（6）的乘积：fY2,Y1(y2,y1;θ)=fY21(y2y1;θ)fY1(y1;θ) 同样
f⎡−(y3−c−φy2)2⎤Y32,Y1(y3y2,y1;θ)
=fY321(y3y2;θ)=⎢⎢⎣2σ2⎥⎥ ⎦
fY3,Y2,Y1(y3,y2,y1;θ)=fY32,Y1(y3y2,y1;θ)fY2,Y1(y2,y1;θ) 一般情况下，
fYtt−1,...,Y1(ytyt−1,...,y1;θ)
=fYtt−1(ytyt−1;θ)
=⎡−(yt−c−φy2t−1)⎤ ⎢⎢⎣2σ2⎥⎥⎦
则前t个观察值的联合密度为
fYt,Yt−1,....,Y1(yt,yt−1,...,y1;θ)=fYtYt−1(ytyt−1;θ)fYt−1,...,Y1(yt−1,....,y1;θ) 则完全样本似然函数为
T
fYT,YT−1,....,Y1(yT,yT−1,...,y1;θ)=fY1(y1;θ)∏fYtYt−1(ytyt−1;θ) t=2进行对数变换，得到对数似然函数L(θ)：
5）
6） 7）
8） 9）
10） 11）
12）
（ （
（ （ （（（（
L(θ)=lnfY1(y1;θ)+∑ln⎡fYtt−1(ytyt−1;θ)⎤ （13） ⎣⎦t=2
()
T
将（4）和（10）代入（13），得到
⎧c⎫
−y⎨⎬1
1−φ⎭11⎛σ2⎞⎩
−L(θ)=−ln(2π)−ln⎜2⎟2σ222⎝1−φ⎠
1−φ2
2
（14）
2
T
{y−c−φyt−1}T−1T−12
−ln(2π)−ln(σ)−∑t
222σ2t=2
二．似然函数的矩阵表示
观察值写成向量形式为：
T×1
y=(y1,y2,...,yT)′ （15）
可以看作是T为高斯分布的单个实现。其均值为
⎡E(Y1)⎤⎡µ⎤
⎢⎥⎢⎥EYµ()2⎥⎢=⎢⎥ （16） ⎢