第十七讲极大似然估计

第十七讲 极大似然估计

首先看矩估计法可能存在的问题。 （上节课最后一道例题）设总体X的均值和方差2

都存在，且有2

0.但，2

均为未知。又设(X1,X2,,Xn)是来自X的样本。试求，2的矩估计量。 例题的求解结论为：



ˆ，ˆ21n

nXi

2

i1

例１ 设X~()，未知，(X1,X2,,Xn)是X的一个样本，求

。

解1：E(X)，

ˆ. 2：D(X),1n解ˆnXi

2

.

i1

显然，1nn

(Xi)2是两个不同的统计

i1

量，但都是的估计。就会给应用带来不便，为此，R.A.Fisher提出了以下的改进的方法：最（极）大似然估计法。 1. 基本思想：

若总体X的分布律为P(Xx)p(x;)[或密度函数为f(x;)]，其中(1,2,,k)为待估参数（）。

设(X1,X2,,Xn)是来自总体X的一个样本，(x1,x2,,xn)是相应于样本的一样本值，易知：样本(X1,X2,,Xn)取到观测值

(x1,x2,,xn)的概率为

第七章 参数估计

第一节 点估计

1E(X),

2E(X2)22

联立以上两式解得

1,

22

21.



ˆA1， 

ˆ2

AA21n2

21

nXi2i1



1

n

nXi

2

i1

基本思想简述：将简单随机样本

(X1,X2,,Xn)取相应的样本值看作是一随机事件，既然这一事件已经发生，则说明该事件发生的可能性是比较大的。因此，不妨依据总体X的分布构造出该事件发生的概率，并通过改变总体X的待求分布参数，使该事件发生的概率趋于最大，并将使该事件发生的概率取最大值的相应分布参数值作为待求参数的估计值。

pP{X1x1,X2x2,,Xnxn}p(xi;)

i1

n

，[或样本(X1,X2,,Xn)落在点

(x1,x2,,xn)的邻域（边长分别为dx1,dx2,

,dxn的n维立方体）内的概率近似地为

pf(xi;)dxi（微分中值定理）]，令

i1n

L()L(x1,x2,,xn;)p(xi;)[或

i1n

n

则概L()L(x1,x2,,xn;)f(xi;)]，

i1

率p随的取值变化而变化，它是的函数，

L()称为样本的似然函数（注意，这里的

x1,x2,,xn是已知的样本值，它们都是常数）。

如果已知当0时使L()取最大值，我们自然认为0作为未知参数的估计较为合理。

最大似然方法就是固定样本观测值

(x1,x2,,xn)，在取值的可能范围内，挑选使似然函数L()L(x1,x2,,xn;)达到最大（从而概率p达到最大）的参数值ˆ作为参数的估计值，即

ˆ)maxL(x,x,,x;)，L(x1,x2,,xn;这12n



样得到的ˆ与样本值(x1,x2,,xn)有关，常

ˆ(x,x,,x)，称之为参数的最大似记为12nˆ(X,X,,X)然估计值，而相应的统计量12n称为参数的最大似然估计量。这样将原来求参数的最大似然估计值问题就转化为求

似然函数L()的最大值问题了。 2. 具体做法:

①在很多情况下，p(x;)和f(x;)关于

可微，因此据似然函数的特点，常把它变n

为如下形式：lnL()lnf(xi;)（或

i1n

lnp(xi

;)）

，该式称为对数似然函数。由i1

高等数学知：L()与lnL()的最大值点相同，令

lnL()

0i1,2,,k，求解得：i

ˆˆ(x1,x2,,xn

)，从而可得参数的极大似然估计量为ˆˆ(X1,X2,,Xn

)； ②若p(x;)和f(x;)关于不可微时，需另寻方法。

例２ 设X~B(1,p)，p为未知参数，

(X1,X2,,Xn)是来自总体X的一个样本，求参数p的极大似然估计。 解：设(x1,x2,,xn)是相应于样本

(X1,X2,,Xn)的一个样本值。 因为总体X的分布律为：

P{Xx}px(1p)1x，x=0,1 故似然函数为

n

n

n

xn

xL(p)pxi

(1p)

1xi

p

i

i1

(1p)

i

i1

i1xi0,1(i1,2,n) 而

n

n

lnL(p)(xi)lnp(nxi)ln(1p)

i1

i1

n

n

n

x

i

ni1

xi

ni1

xi

i1

p



1p

1p

p



n

x

i

i1

令[lnL(p)]'

x

i1

n

i

p



nxi

i1

n

1p

0，解得p的

1n

ˆxi。 最大似然估计值为p

ni1所以p的最大似然估计量为：

1n

ˆXiX。 p

ni1

例３：设X~N(,2)，，2未知，

(X1,X2,,Xn)为X的一个样本，(x1,x2,,xn)是(X1,X2,,Xn)的一个样本值，求，2的极大似然估计值及相应的估计量。

X~f(x;,)解：

所以似然函数为：

12e



(x)2

22

xR

L(,2)

i1

n

(x)i1

e2

2

2

　　　　(2)e取对数：

n

22



12(xi)

i1

n

2

lnL(,2)

n1(ln2ln2)

222令

(x

i1

n

i

)

2

1n

(lnL)2(xi)0i1

n

n12(lnL)2(xi)02422i1

1n

ˆxi，由前一式解得代入后一式得

ni1

1n

ˆ(xi)2 

ni1

2

,2的极大似然估计量分别为：

1n1n2

ˆ(Xi)2B2 ˆXiX,

ni1ni1

例４：设X~U[a,b],a,b未知，(x1,x2,,xn)是一个样本值，求a,b的极大似然估计。

1

解：由于X~f(x)ba

0

axb其它

，

似然函数为：

1

(ba)n

L(a,b)

0

ax1,x2,,xnb

其它

通过分析可知，用解似然方程极大值的方法求极大似然估计很难求解（因为无极值点），所以可用直接观察法：

记x(1)minxi,x(n)maxxi，有

1in

1in

ax1,x2,,xnbax(1),x(n)b 则对于满足条件：ax(1),x(n)b的任意a,b有L(a,b)

11

nn

(ba)(x(n)x(1))

即L(a,b)在ax(1),bx(n)时取得最大值

Lmax(a,b)

(x(n)

1

x(1))n

故a,b的极大似然估计值为

ˆxmaxx，ˆx(1)minxi,baa,b的极(n)i

1in

1in

大似然估计量为

ˆXmaxX。 ˆX(1)minXi,ba(n)i

1in

1in

（课间休息）

3. 最大似然估计的性质

设的函数uu()，具有单值反函数(u)。又设ˆ是X的概率分布中参

ˆ)是u()的ˆu(数的最大似然估计，则u最大似然估计。

例如，在例3中得到2的极大似然估计

1n

ˆ(Xi)2，而uu(2)2为

ni1

2

具有单值反函数2u2(u0)。

据上述性质有：标准差的极大似然估

1n

ˆˆ计为(Xi)2 ni1

2

4.基于截尾样本的最大似然估计 （1）寿命分布的定义

产品寿命T 是一个随机变量,它的分布称为寿命分布.（2）完全样本的定义

将随机抽取的n个产品在时间t0时, 同时投入试验，直到每个产品都失效，记录每一个产品的失效时间，这样得到的样本（即由所有产品的失效时间0t1t2tn所组成的样本）叫完全样本。(一种典型的寿命试验)

获得完全样本的时间周期较长,花费较

大,在实际中很难实现. 如果不能得到完全样本, 就考虑截尾寿命试验. （3）两种常见的截尾寿命试验

定时截尾寿命试验：假设将随机抽取的n个产品在时间t0时同时投入试验，试验进行到事先规定的截尾时间t0停止。如试验截止时共有m个产品失效，它们的失效时间分别为0t1t2tmt0，此时m是一个随机变量，所得的样本t1,t2,,tm称为定时截尾样本。

定数截尾寿命试验：假设将随机抽取的n个产品在时间t0时同时投入试验，试验进行到有m个（m是事先规定的，mn）产品失效时停止，m个失效产品的失效时间分别为0t1t2tm，这里tm是第m个产品的失效时间。所得的样本t1,t2,,tm称为定数截尾样本。

（4）基于截尾样本的最大似然估计 设产品的寿命分布是指数分布, 其概率密度是

t

1

e,t0

， f(t)

0,t0

0未知。

定数截尾样本的最大似然估计：设有n个产品投入定数截尾试验, 截尾数为m, 得定数截尾样本0t1t2tm。利用这一样本估计未知参数(产品的平均寿命). 在时间

区间0,tm有m个产品失效，有n-m个产品的寿命超过tm。利用最大似然估计法来估计，为了确定似然函数, 观察上述结果出现的概率.

产品在(ti,tidti]失效的概率近似地为

f(tti

i)dt1

i



edti，i1,2,,m.

其余n-m个产品寿命超过tm的概率为

nm

1ttm

tdtnm

m

e



上述观察结果出现的概率近似地为

1t1

2tCm

nm

n

1t1tmedt1edt2m

edtme



C

m1



1

n



t1t2tm(nm)tm

m

e

dt1dt2dtm

其中，dt1,dt2,,dtm为常数。 取似然函数为

L()

1e

1



t1t2tm(nm)tm



m

对数似然函数为

lnL()mln1mt

i(nm)tmi1

令

dlnL()

d

0，即

m

1m

2ti(nm)tmi10 得到的最大似然估计值为

1ms(t)mti(nm)tmi1

mm

事件n个产品中在时间区间0,tm有m个产品失效，有n-m个产品的

寿命超过tm

m的可能结果共有Cn

个，每一个结果发生的概率为

1t1

1t21tm

tm

nm

edt1edt2edtme





若任何一个可能结果出现，则该事件发生，又各可能结果互不相容，因此，该事件概率为各可能结果的概率之和。

其中，s(tm)ti(nm)tm称为总试验时

i1

m

间，它表示直到时刻tm为止n个产品的试验时间的总和。

定时截尾样本的最大似然估计：设定时截尾样本0t1t2tmt0（其中t0是截尾时间）。与上面讨论类似, 得似然函数为

L()

1e

1



t1t2tm(nm)t0



m

的最大似然估计值为

1ms(t)ti(nm)t00

mi1m

其中，s(t0)ti(nm)t0称为总试验时

i1m

间，它表示直到时刻t0为止n个产品的试验时间的总和。

例５：设电池的寿命服从指数分布, 其概率密度是

t

1

e,t0

， f(t)

0,t0

0未知。随机地取50只电池投入寿命试验, 规定试验进行到其中有15只失效时结束试验, 测得失效时间(小时)为115, 119, 131, 138, 142, 147, 148, 155, 158, 159, 163, 166, 167, 170, 172. 试求电池的平均寿命的最大似然估计值。 解：n50，m15，

s(t15)115 + 119 131 + 138 + 142 + 147 + 148 + 155 + 158 + 159 + 163 + 166 + 167 + 170 + 172 + 172(5015)=8270

的最大似然估计值为

ˆ

s(t15)8270

551.33(小时). m15