第044_14讲马尔可夫过程续3更新过程

12马尔可夫过程（续二）

更新过程

定义 {N(t), t>0}，以及更新过程举例。 更新过程的基本参数：

计数过程，随机过程{N(t), t>0}是到时间t，事件更新的次数。 更新过程的事件间隔， 更新过程的更新时刻，

更新过程的更新次数，计数过程 计算更新过程的概率分布，

更新时刻序列Sn=

∑x

i=1

n

i

更新时刻序列Sn的概率分布函数、概率密度函数

xn的分布函数是F(t)，Sn的分布函数是Fn(t)，Fn(t)应是F(t)的n次卷积。

计算N(t)的概率分布，

更新时刻序列Sn和N(t)的关系

确定N(t)取值的概率P{N(t)=n}=Fn(t)−Fn+1(t)

计算更新过程的期望，

计算更新过程的期望，m(t)=计算更新过程的强度，

t

∑F(t)

nn=1

∞

计算更新过程的强度，f(t)=λ(t)−研究更新过程的数字特征：

计算更新过程的极限。lim

t→∞

∫λ(t−u)f(u)du

t

=μ N(t)

典型更新过程-泊松过程

泊松过程的分布特性

分布特性、事件间隔，

更新时间间隔呈负指数分布的更新过程

事件间隔、更新时刻、计数过程N(t)、均值过程、更新过程的强度

典型更新过程

例1、计算更新过程N(t)的概率分布 例2、计算更新过程强度， 例3、计算更新过程的速率

例4、计算更新过程的速率 例5、计算更新过程的速率

12.1更新过程

12.1.1定义，更新过程，

设{N(t), t>0}是一个计数过程，xn，(n≥1)表示第n-1次时件和第n次事件的时间间隔，再设{x1,x2,"} 为非负独立、同分布的随机变量序列，则称计数过程{N(t),

t>0}为更新过程。 更新过程举例：

假设灯泡的寿命是统计独立、同分布的随机变量，若每次使用一个灯泡，当灯泡损坏后立刻更换新的，则在时间t内损害的灯泡数是一个更新过程{N(t), t>0}，其中N(t)是在时间t内损坏的灯泡数。

12.1.2更新过程的基本参数：

作为计数过程的更新过程， N(t)

更新过程的事件间隔，xn 更新过程的更新时刻，Sn 更新过程的更新次数，N(t)

对于更新过程，给定事件间隔xn，定义Sn=

∑x

i=1

n

i

为第n次更新时刻。

S0=0，表示过程的起始时刻；

S1=x1，表示过程的第一次更新时刻； S2=x1+x2，表示过程的第一次更新时刻；

Sn=∑xi，表示过程的第n次更新时刻；

i=1

n

更新过程事件间隔xn(n≥1)的概率分布函数F(t)，概率密度函数f(t)，均值为μ。

Sn=∑xi， Sn的分布函数是Fn(t)，Fn(t)应是F(t)的n次卷积，概率密

i=1

n

度函数是fn(t)，fn(t)应是f(t)的n次卷积，

又考虑到，N(t)=max{n;Sn

如果在时间t内，发生了n次更新，Sn

μ，只有当n趋于无穷，Sn才趋于无穷；也只有当Sn趋

于无穷，n才趋于无穷。

12.1.3计算N(t)的概率分布，（从事件间隔的统计特性出发）

对于更新过程，当给定事件间隔xn (n≥1)的概率分布函数F(t)，或概率密度函数f(t) 时，计算N(t)的概率分布。

定义Sn=考虑到，

∑x

i=1

n

i

，设Sn的分布函数是Fn(t)，Fn(t)是F(t)的n次卷积，进一步

{N(t)≥n}⇔{Sn

{N(t)≥n}⇔{N(t)=n}∪{N(t)≥n+1}

P{N(t)=n}=P{N(t)≥n}−P{N(t)≥n+1}

因此有，

P{N(t)=n}表示0～t时间内，更新了n次 Fn(t)表示n个事件的寿命

以下，研究更新过程的特征：期望、强度、极限 12.1.4计算更新过程的期望，

m(t)=E{N(t)}=∑nP{N(t)=n}

n=1

∞

=∑∑P{N(t)=n}=∑∑P{N(t)=n}

n=1k=1∞

k=1n=k

∞n∞∞

=∑P{N(t)≥k}=∑P{N(t)≥n}

k=1∞

n=1

∞

=∑P{Sn

n=1

n=1

∞

m(t)是更新过程的数学期望，或者是更新过程的均值

12.1.5计算更新过程的强度（平均强度），

∞∞

dd∞d

λ(t)=m(t)=∑Fn(t)=∑Fn(t)=∑fn(t)

dtdtn=1n=1dtn=1

对上式两端作拉氏变换，有

∞

∫λ(t)e

−st

dt=∑∫fn(t)e−stdt

n=10

∞∞

定义

∞

−st

∞

−st

∞n

Λ(s)=∫λ(t)edt，φ(s)=∫f(t)edt，[φ(s)]=∫fn(t)e−stdt

等式右端有，

∞

φ(s)

=∑[φ(s)]n，

1−φ(s)n=1

平均强度拉氏变换的结果是，

Λ(s)=

φ(s)Λ(s)

，φ(s)=

1+Λ(s)1−φ(s)

φ(s)=Λ(s)−Λ(s)φ(s)

再做拉氏反变换得到

t

f(t)=λ(t)−∫λ(t−u)f(u)du

给定了更新过程强度λ(t)后，更新过程间隔概率密度函数f(t)可由上述积分方程求

解。

12.1.6极限：lim

t→∞

N(t)

的研究， t

在有限的时间内更新的次数是有限的、当时间t趋于无穷时，更新的次数趋于无穷， 考虑到，

Sn是第n次更新事件发生的时刻，

N(t)是直到时刻t发生更新事件的次数，

SN(t)

SN(t)N(t)

其中

SN(t)+1t≤ N(t)N(t)

N(t)

SN(t)N(t)SN(t)N(t)

=

∑x

i=0

i

N(t)是t时间内N(t)个同分布独立随机变量的平均值，

SN(t)+1N(t)+1t

≤⋅

N(t)N(t)+1N(t)

其中(N(t)+1)N(t)随着t趋于无穷趋于1， 上述不等式两端随着t趋于无穷，都趋于μ， 因此有，

N(t)

=1/μ

t→∞t

tlim=μt→∞N(t)lim

1/μ称为更新过程的速率。

12.2从更新过程研究泊松过程

12.2.1泊松过程和更新过程：

泊松过程的分布特性：

(λt)n−λt

在(0,t)时间间隔内发生n个事件的概率是 e，

n!

从0 时间开始，到t时刻发生第1次事件的概率密度是λe从0 时间开始，到t时刻发生第2次事件的概率密度是λ⋅

−λt

λt

1!

e−λt

n−1

(λt)e−λt

从0 时间开始，到t时刻发生第n次事件的概率密度是λ⋅

n−1!

泊松过程中事件之间的时间间隔是呈负指数分布 泊松过程是更新时间间隔呈负指数分布的更新过程

事件间隔x呈负指数分布：f(t)=λe更新时刻的概率密度函数：

−λt

=f1(t)

S0=0，表示过程的起始时刻；

S1=x1，表示过程的第一次更新时刻；

S1=x1与事件间隔x的分布相同，呈负指数分布：f(t)=λe−λt=f1(t)， S2=x1+x2，表示过程第一次更新时刻，它的分布是；f2(t)=λ⋅λte−λt

S2=x1+x2，

f(t)=f1(t)⊗f2(t)

=∫λe

0t

−λ(t−μ)

⋅λe

−λμ

dμ

=∫e−λt⋅λ2dμ

t

=λ⋅λte−λt

Sn

(λt)n−1−λt

=∑xi，表示过程的第n次更新时刻；fn(t)=λ⋅e

n−1!i=1

n

应用数学归纳法可以证明

更新时刻的概率密度函数：

F1(t)=∫f(t)dt=∫λe−λtdt=1−e−λt

tt

F2(t)=∫f2(t)dt=∫λ⋅λte−λt=1−e−λt−λte−λt

00

"

(λt)n−1−λt

Fn(t)=∫λedt

0(n−1)!

t

tt

(λt)e−λt=1−e−λt−(λt)e−λt−"−

n−1!

i

n−1

λt)−λt( e=1−

n−1

∑

i=0

i!

=∑

i=n

∞

(λt)

i!

i

e−λt

泊松过程作为更新过程的概率分布函数

P{N(t)=k}=Fk(t)−Fk+1(t)

i

k⎡k−1(λt)i−λt⎤⎡λt)−λt⎤(λt)k−λt(e =⎢1−∑e⎥−⎢1−∑e⎥=

k!⎢⎥⎥⎣i=0i!⎦⎢⎣i=0i!⎦

泊松过程作为更新过程的均值过程

⎡n−1(λt)i−λt⎤

m(t)=∑Fn(t)=∑⎢1−∑⎥

n=1n=1⎢⎥⎣i=0i!⎦

ii

∞⎡∞

λt)−λtn−1(λt)−λt⎤(−∑⎥=∑⎢∑ii!!n=1⎢i=0i=0⎥⎣⎦

∞

∞

=∑∑

n=1i=n−λt

∞

∞∞

(λt)−λt=

i!

i

∑∑

i=1n=1

∞

∞i

(λt)−λt

i!

i−1

i

=e

∑

i=1

(λt)i

i!

∞

i

=e

i

−λt

(λt)t

∑i=1i−1!

=λt⋅e−λt∑

i=0

(λt)

i!

=λt

泊松过程作为更新过程的强度

λ(t)=

d

m(t)=λ dt

12.3更新过程举例

例1、计算更新过程N(t)的概率分布，

设xn (n≥1)是非负整数的随机变量，且P{xn=i}=p(1−p)

i−1

,i≥1（呈几何分

布），它是由概率为(1−p)的继续工作事件的(i−1)个时间间隔，以及概率为p的结束工作的1个时间间隔所组成。

Sn (n≥1)是由n个相互独立的xm(m=1,2,"n)组成。它们构成k个时间间隔，最后

一个时间间隔对应概率为p的结束工作的1个时间间隔，在它之前，总共有(k−1)个时间间隔，其中有(n−1)个概率为p的结束工作事件的时间间隔，(k−n)个概率为

(1−p)的继续工作事件的时间间隔，相应的概率是

⎧⎛k−1⎞n

⎟p(1−p)k−n(k≥n)⎪⎜⎟⎜ P{Sn=k}=⎨⎝n−1⎠⎪0(k

Fn(t)=P{N(t)≥n}=P{Sn≤t}

=∑P{Sn=k}

k=ntt

⎛k−1⎞nk−n

=∑⎜⎟p(1−p)k=n⎝n−1⎠

考虑N(t)的概率，有

P{N(t)=n}=Fn(t)−Fn+1(t)

t ⎛k−1⎞n⎛k−1⎞n+1k−nk−n−1

⎟⎜⎟=∑⎜p(1−p)−p(1−p)∑⎜⎟⎜⎟

k=n⎝n−1⎠k=n+1⎝n⎠t

例2、计算更新过程强度，

某更新过程自时间t开始，它的强度是常数λ，求该更新过程{N(t), t>0}的时间间隔xn的概率密度。 解，

∞

∞

Λ(s)=∫λ(t)e−stdt=∫λe−stdt=

λ

s

λ

φ(s)=

Λ(s)

=

1+Λ(s)

1+

λ

s

=

λλ+s

⎧λe−λt

f(t)=L{φ(s)}=⎨

⎩0

−1

t≥0t

泊松过程是更新强度是常数的更新过程。

例3、计算更新过程的速率，

当电池失效时，立刻更换新的电池。电池的寿命时在30小时到60小时均匀分布的随机变量，问长时间工作情况下，更换电池的速率？ 解，

长时间工作的条件下，电池更新的速率是

lim

t→∞

N(t)

=1/μ t

60

μ=∫t⋅

30

1

=45 30

平均每45 小时更新一次电池。

例4、计算更新过程的速率，

当电池失效时，立刻到市场去购买同一型号的电池，获得新电池的时间也是一个均匀分布的随机变量，它是均匀分布于0到1小时之间，问长时间工作情况下，更换电池的速率？ 解,

设第i次电池使用的时间是xi，购买电池的时间是ui，它们都是随机变量，

μ=E[xi]+E[ui]

E[xi]=∫t⋅

301

60

1

=45 30

E[ui]=∫t⋅1dt=1/2

μ=45.5

平均每45.5 小时更新一次电池。

例5、计算更新过程的速率，

顾客以泊松律到达银行，到达率为λ。顾客到达时，如果服务员空闲，他就进入银行接受服务，如果到达时服务员正在接待顾客他就离去，顾客接受服务的时间是一个随机变量，平均值是μG，服从某种服务规律G。问顾客进入银行的速率，进入银行的顾客占潜在顾客的比例。 解,

分析：

更新过程：①没有顾客，到来一个顾客λ ②有一个顾客结束服务μG 数字特征，均值 E[xk]=E[①]+E[②]

顾客进入银行，并接受服务员的服务是更新过程的一个事件。从顾客离开银行后，出现一个新的等待顾客的时间xi，加上新的顾客接受服务的时间ui，是更新过程的一个事件。

更新过程的平均时间是，

μ=E[xi]+E[ui]=1/λ+μG

进入银行的平均速率是

1

μ

=

1λ

=

1/λ+μG1+λμG

实际顾客的到达率与潜在顾客的到达率之比是，

1

μ

=

11

=

1/λ+μG1+λμG

例6 事件间隔呈负指数分布的更新过程

如果事件的间隔是负指数分布，事件的时间间隔是t的概率密度函数和概率分布函数是，

f(t)=λe−λt,

t

F(t)=∫λe

−λt

dt=1−e

−λt

于是有，

f(t)=λe−λt

f2(t)=f(t)⊗f(t)=∫λe−λu⋅λe−λ(t−u)du=λte−λt⋅λ

0t

f3

(λt)2−λt

e⋅λ(t)=

2!"

"

(λt)n−1−λt

fn(t)=e⋅λ

n−1!

"

t

"

t

F(t)=∫f(t)dt=∫λe−λtdt=1−e−λt

t

t

F2(t)=∫f2(t)dt=∫λte−λt⋅λdt=1−e−λt−λte−λt

0t

0t

F3(t)=∫f3(t)dt=∫

(λt)2e−λt⋅λdt=1−e−λt−λte−λt−(λt)2e−λt

2!

2!

"

t

"

t

n

((λt)n−1−λtλt)k−1−λt

Fn(t)=∫fn(t)dt=∫e⋅λdt=1−∑e

k=1k−1!00n−1!

"

更新过程的分布

"

Pr{N(t)=n}=Fn(t)−Fn+1(t)

k−1k−1nn+1⎛⎞⎛⎞(()t)tλλ−λt−λt

⎜⎟⎜=⎜1−∑e⎟−⎜1−∑e⎟⎟⎝k=1k−1!⎠⎝k=1k−1!⎠

=

n+1−1!(λt)n−λt=e

n!

(λt)n

e

−λt