正态分布的线性组合(12级学生)
正态分布的线性组合问题
1 多元(/随机向量)特征函数
定义1.1 设F(x1,",xn)为随机向量ξ=(ξ1,",ξn)′的联合分布函数, 称
ϕ(t1,",tn)=E(ei(tξ+"+tξ))=∫ei(tx+"+tx)dF(x1,",xn)
11
nn
11
nn
R
n
为ξ的特征函数.
如果令t=(t1,",tn)′, x=(x1,",xn)′, 则上式可改写为
ϕ(t)=E(ei(t′ξ))=∫ei(t′ξ)dF(x)
\n
这样便得到与随机变量特征函数一致的形式.
命题1.1 η=a1ξ1+"+anξn的特征函数为ϕη(t)=ϕ(a1t,",ant).
命题1.2 若(ξ1,",ξn)′的特征函数为ϕ(t1,",tn), 则k维子向量(ξl1,",ξlk)′的特征函数为
ϕ(0,",0,tl,0,",0,tl,0,",0)
1
k
命题1.3 两个多元分布函数恒等的充要条件是它们的特征函数恒等.
命题1.4 设ξj的特征函数为ϕj(t)(j=1,2,",n), 则ξ1,",ξn相互独立的充要条件为
(ξ1,",ξn)′的特征函数ϕ(t1,",tn)=ϕ1(t1)"ϕn(tn).
2 多元正态分布
定义2.1 设n维随机向量ξ=(ξ1,ξ2,",ξn)′具有密度函数
f(x)=
1(2π)Σ
n2
12
e
1
−x−μ)′Σ−1(x−μ)2
(2.1)
其中x=(x1,x2,",xn)′, μ=(μ1,μ2,",μn)′, Σ是正定对称矩阵, 则称ξ为n维正态随机向量, 记作Nn(μ,Σ). 简记为N(μ,Σ), 这里μ,Σ分别为分布参数. 当μ=0, Σ=I时, 称此多元正态分布为标准正态分布.
思考题2.1 说明(2.1)是一维与二维正态分布的概率密度的推广. 命题2.1 证明(2.1)式中的f(x)>0,
∫
Rn
f(x)dx=1.
命题2.2 服从N(μ,Σ)的ξ=(ξ1,ξ2,",ξn)′的特征函数为
ϕ(t)=exp{iμ′t−t′Σt} (2.2)
12
将(2.2)展开写成分量形式
1nn
ϕ(t1,",tn)=exp{i∑μktk−∑∑bjstjts} (2.2)’
2j=1s=1k=1
当n=1时即为一元正态分布的特征函数.
思考题2.2 根据(2.2)给出二维正态分布的特征函数. 命题2.3 分布参数μ,Σ分别为ξ的均值向量与协方差阵.
这说明多元正态分布完全由它的均值向量μ和协方差阵Σ所决定. 恰好对应二元正态分布的数学期望、方差和相关系数.
3 多元正态分布的性质
n
), ,Σ命题3.1 正态随机向量(ξ1,",ξn)′的任一子向量(ξl1,",ξlk)′也服从正态分布N(μ 为取Σ的l,",l行与列交叉点所得的k阶矩阵. =(μl1,",μlk)′, Σ其中μ1k
命题3.1说明多元正态分布的任何边际分布还是正态分布. 但是一个随机向量的任何边际
分布均为正态, 并不一定表明它一定服从多元正态分布. 例如: 练习3.1 设ξ=(ξ1,ξ2)′有概率面密度
1−
f(x1,x2)=e
2π
22x1+x22
(1+sinx1sinx2), −∞
(1) 试验证f(x1,x2)符合概率密度的两个性质; (2) 试求ξ1,ξ2的边际密度. 练习3.2 设ξ~Nn(μ,Σ), 这里
ξ=(ξ1,ξ2,",ξn)′, μ=(μ1,μ2,",μn)′, Σ=(σij)n×n
则每个ξi(i=1,",n)的边际分布为N(μi,σii)
命题3.2 服从n元正态分布ξ1,ξ2,",ξn相互独立的充要条件是它们两两不相关. 命题3.2说明正态分布时的随机变量的独立性与不相关性是等价的.
命题3.3 ξ服从多元正态分布的充要条件是它的各分量的任意线性组合仍服从正态分布. 如记a=(a1,",an)′为任意n维实向量, 则ξ~N(μ,Σ)⇔η=a′ξ~N(a′μ,a′Σa)
利用命题3.3, 可以把多元随机变量的各分量的任意线性组合为正态变量作为多元正态变量的另一定义.
推论 设ξ1,ξ2,",ξn相互独立, 且ξi~N(μi,σi), i=1,",n, 则对任意n个常数
2
2
k1,k2,",kn, 有∑kjξj~N(∑kjμj,∑k2jσj).
nnn
j=1j=1j=1
练习3.3 (正态总体样本均值的分布) 设ξ1,ξ2,",ξn与ξ独立同分布于Nμ,σ
(
2
), 则
⎛σ2⎞
~N⎜. ⎜μ,⎜⎝n⎠
下面的性质将命题3.3的必要条件推广到m维线性变换.
命题3.4 设ξ~Nn(μ,Σ), C=(cij)为m×n矩阵, 则η=Cξ+b~N(Cμ+b,CΣC′). 推论1 设n维随机向量ξ~Nn(a,Σ), A为n×n非随机可逆阵, b为n×1向量, 记
η=Aξ+b, 则η~Nn(Aa+b,AΣA′).
推论2 设ξ~Nn(a,Σ), 则η=Σξ~Nn(Σa,I).
注意, 这里ξ的诸分量可以是彼此相关且方差互不相等, 但变换过的η的诸分量相互独立, 且方差皆为1. 这个推论表明, 我们可以用一个线性变换把诸分量相关且方差不相等的多元
正态向量变换为多元标准正态向量.
推论3 设ξ1,ξ2,",ξn相互独立, 且ξi~N(μi,σ), A=(aij)是n阶正交阵. 令
2
−12
−
12
ηi=∑aijξj(i=1,",n)
j=1
n
(也可写成矩阵形式η=Aξ, 其中ξ=(ξ1,ξ2,",ξn)′, η=(η1,η2,",ηn)′) 则η1,η2,",ηn相互独立, 且ηi~N(
2
∑aμ,σ
ij
j
j=1
n
2
)(i=1,",n).
注 如果μi=0, 则ηi~N(0,σ)(i=1,",n). 还有, 在研究正态分布时, 常常用到“正态分布的线性组合仍为正态分布”这一结论.
推论4 存在正交阵U使在η=Uξ的变换下, η的协方差阵为对角阵
UΣU′=D=diag(d1,",dn)
练习3. 4 设n维随机向量X~N(μ,Σ), Σ正定, 求Y=
∑X
j=1
n
j
服从的分布.
练习3.5 设ξ~N2(μ,Σ), 这里
⎛σ12
ξ=(ξ1,ξ2)′, μ=(μ1,μ2)′, Σ=⎜⎜⎜⎜⎝ρσσ
求ξ1−ξ2的分布.
附录A 实对称阵、半正定阵、正定阵
12
ρσ1σ2⎞⎟⎟
2⎟⎟σ2⎠
设A=(aij)n×n, 元素aij均为实数, 且A′=A, 则称A为实对称阵. 性质A.1 设A为n×n实对称阵, 则
(1) A的所有特征值都是实数;
(2) 存在正交阵Φ, 使得Φ′AΦ=diag(λ1,",λn),
这里λ1,",λn为A的特征值, Φ的列为对应的标准正交化特征向量. 记Λ=diag(λ1,",λn), 则A=ΦΛΦ′.
设A为n×n实对称阵, 若对任意的n维实向量x, 均有x′Ax≥0, 则称A为半正定阵, 记为A≥0. 若进一步假设x′Ax=0, 当且仅当x=0, 则称A为正定阵, 记为A>0. 性质A.2 设A为n×n实对称阵.
(1) 若A≥0, 则A的所有特征值均为非负数; (2) 若A>0, 则A的所有特征值均为正数. 若A≥0, 则A的特征值λi≥0.
12
. 记
Λ"
若A=ΦΛ′, 则称A为A的平方根阵.
这是因为(A)=(ΦΛΦ′)(ΦΛΦ′)=ΦΛΦ′=A. 显然, A≥0. 如果A>0, 则不难证明A>0. 因此, 我们可以求A的逆矩阵, 记之为A即A
−12
12
12
122
12
12
12
121212
−
12
,
−12
=(A). 由A=ΦΛΦ′可得A
12−11212
−
12
=ΦΛΦ′. 其中Λ=diag(λ1,",λn).
12
−
12
−
12
−
12
推论: 设A为n×n半正定阵, 则存在矩阵B, 使得A=BB′.(取B=A)
附录B 均值向量与协方差阵
以随机变量为元素的矩阵, 称为随机矩阵. 如果随机矩阵只有一行或一列, 称为随机向量. 设
⎛X11⎜XX=⎜21
⎜#⎜⎝Xm1⎛EX11⎜
EX21
EX:=⎜
⎜#⎜
⎝EXm1
X12X22#Xm2EX12EX22#EXm2
"
X1n⎞
⎟
"X2n⎟
⎟##⎟
"Xmn⎠"EX1n⎞
⎟
"EX2n⎟
⎟##⎟
"EXmn⎠
为随机矩阵, 用EX表示X的期望值. 定义为:
性质B.1 设X,Y为同阶随机矩阵, A,B为可相乘的常数矩阵, 则
E(X+Y)=EX+EY, E(AXB)=AE(X)B, (EX)′=E(X′)
定义B.1 对n维随机向量
ξ=(ξ1ξ2"ξn)′ (其中Eξ=(a1a2"an)′)
的协方差矩阵定义为
cov(ξ):=E[(ξ−Eξ)(ξ−Eξ)′]
则
⎛ξ1−a1⎞⎜⎟ξ−a
cov(ξ)=E[(ξ−Eξ)(ξ−Eξ)′]=E[⎜22⎟(ξ1−a1,ξ2−a2,",ξn−an)′]
⎜#⎟⎜⎟ξ−a⎝nn⎠
⎛cov(ξ1,ξ1)cov(ξ1,ξ2)"cov(ξ1,ξn)⎞⎛b11b12"b1n⎞
⎜⎟⎜⎟
ξξξξ"ξξbb"bcov,cov,cov,()()()21221n21222n⎟=⎜⎟=:Σ =⎜⎜⎟⎜########⎟⎜⎟⎜cov(ξ,ξ)cov(ξ,ξ)"cov(ξ,ξ)⎟⎟⎜bb"bn1n2nn⎠nn⎠⎝n1n2⎝
其中bik=E(ξi−ai)(ξk−ak)=cov(ξi,ξk) 性质B.2 cov(ξ)是对称且半正定阵, 且trcov(ξ)=元之和.
注: 矩阵Σ半正定的充要条件也可写成, 对任何实数tj, j=1,2,",n, 有
∑Dξ
i
, trA表示方阵A的迹, 即对角
j,k=1
∑b
n
jkjk
tt≥0.
性质B.3 设A为m×n阵, ξ为n×1随机向量, η=Aξ, 则cov(η)=Acov(ξ)A′.