盲信号分离基础知识

专业课程设计学习材料

源信号分离

Source Signal Separation

第一部分 简单介绍

一、 目标

我们的目标就是学习源信号分离理论的基础知识和源信号分离时涉及的相关学科知识，最终从观测信号中将源信号分离开来。注意：此时信号源和混合形式可能是未知的。

1.51.0

0.5

0.0

-0.5

-1.0

-1.5

00.050.10.150.20.250.30.350.40.45

1.51.00.50.0-0.5-1.0-1.500.050.10.150.20.250.30.350.40.45

图1 源信号波形

2.01.5

1.0

0.5

0.0

-0.5

-1.0

-1.5

-2.0

00.050.10.150.20.250.30.350.40.45

2.01.00.0-1.0-2.000.050.10.150.20.250.30.350.40.45

图2 混合信号波形

2.0

1.5

1.0

0.5

0.0

-0.5

-1.0

-1.5

-2.0

2.0

1.51.00.50.0-0.5-1.0-1.5-2.0

图3 分离信号波形

二、分离方法

1、FFT法；条件：不同源信号占有不同的频带

2、自适应滤波方法；条件：已经信号的某些特征

3、盲信号分离方法；条件：遵从某些统计假设条件

三、盲分离的基本模型

盲信号分离的基本模型如图（1）所示。

1(t)y2(t)ym(t)

图1 盲信号分离的基本模型

其中：s1(t)，s2(t)，……，sn(t)为n个源信号；x1(t)，x2(t)，……，xm(t)为m个观测信号；y1(t)，y2(t)，……，yn(t)为待求解的n个分离信号；n1(t)，

n2(t)，……，nm(t)为m个噪声信号，t=1,2, ,T。将其分别写成矩阵形式为：

s(t)=[s1(t),s2(t), ,sn(t)]T （1）

x(t)=[x1(t),x2(t), ,xm(t)]T

y(t)=[y1(t),y2(t), ,yn(t)]T

n(t)=[n1(t),n2(t), ,nm(t)]T

向量s(t)、x(t)、y(t)、n(t)分别称作源信号、观测信号、分离信号、噪声信号。通常意义的盲信号分离是指只有观测信号x(t)已知，并且x(t)中含有目标源信号和混合系统的未知信息，而目标源信号特性、源信号的混合信息、噪声信号对观测者来说都是未知的。盲信号分离的任务就是利用某些统计假设条件完成从x(t)中估计源信号波形及参数，使得分离信号满足y(t)≈s(t)。

图（1）的盲信号分离模型可以概括表示为通式（2）和式（3）的数学模型，分别称为系统混合模型和系统分离模型

x(t)=f[s(t)]+n(t) （2）

y(t)=g[x(t)] （3）

式中：f[⋅]=[f1,f2, ,fn]T表示未知混合系统的混合函数；g[⋅]=[g1,g2, ,gm]T表示分离系统的分离函数；没有噪声的情况下，f[⋅]和g[⋅]互为反函数，此时混合系统与分离系统互为逆系统。

依据混合系统的混合方式，盲信号分离问题分为线性瞬时混合盲信号分离、线性卷积混合盲信号分离及非线性瞬时混合盲信号分离三种主要形式，线性瞬时混合盲信号分离是最简单、最经典的盲信号分离模型，其理论和算法的发展最完善、最系统、最成功。

令f[⋅]=A,g[⋅]=B即得线性瞬时混合模型的数学表达式：

x(t)=As(t)+n(t) （4）

y(t)=Bx(t) （5）

其中：A为m⨯n混合系数矩阵，称为系统混合矩阵；B为n⨯m分离系数矩阵，称为系统分离矩阵。线性瞬时混合表示接收器“同时”接收到多个源发射来的信号，信号传输过程无延迟滤波仅有缩放作用，本论文主要针对线性瞬时混合模型进行研究。

第2部分 盲信号分离理论基础

BSS是盲信号处理领域的研究内容之一，主要目标是从观测信号中获得源信号的最佳估计。它是统计信号处理、信息论及神经网络等多学科相结合的综合性分支内容，涉及概率统计、矩阵论、信息论、泛函及人工神经网络等学科基础知识，本章主要总结BSS理论的基础知识和研究盲信号分离时涉及的相关学科知识，为进一步研究BSS问题做准备。

2.1 线阵列信号的盲分离数学模型

若测量向量x(t)来自间距为d的m个各向同性阵元组成的均匀线列阵，n个点源向量s(t)位于远场，来自θ1,θ2, ,θn方向，记为θ=[θ1,θ2, ,θn]T，如图（2.1）所示。

图2.1线列阵接收模型

Fig2.1 The model of linear array receive signals

以阵元x1作为参考阵元，式（1-4）与式（1-5）可写为：

x(t)=A(θ)s(t)+n(t) （2-1）

y(t)=B(θ)x(t) （2-2）

A(θ)=[a(θ1),a(θ2), ,a(θn)]T （2-3）

a(θi)=[1 e-jωdsinθi/c e-j2ωdsinθi/c e-j(m-1)ωdsinθi/c] （2-4） a(θi)表示阵列对第i个源的方向向量；ω为中心角频率；令τ=dsinθ/c，τ表

~(t)分别为s(t)、x(t)s(t)、~x(t)、n示期望信号波前到达相邻两阵元的时间差。设~

与n(t)的解析形式。均匀线列阵接收远场信号，可将式（2-1）表示为：

~~(t) （2-5） x(t)=A(θ)~s(t)+n

其中，

~s(t)=[~s1(t),~s2(t), ,~sn(t)]T

~x(t)=[~x1(t),~x2(t), ,~xm(t)]T

~(t)=[n~(t),n~(t), n~(t)]T n12m

在水声信号处理领域中系统混合矩阵A(θ)是基阵对n个目标入射方向的响应向量构成的m⨯n矩阵，又称为基阵的阵列流形。

相应的系统分离模型可表示为：

~y(t)=B(θ)~x(t) （2-6）

y(t)是分离信号y(t)的解析形式。 B(θ)是n⨯m的分离矩阵，~

盲信号分离的任务就是寻找合适的分离矩阵B(θ)，使式（2-6）成立，再取~y(t)的实部，即：y(t)=Real(~y(t))，y(t)恰好是独立源信号s(t)的一个估计，即

ˆ(t)。 y(t)=s

2.2 盲信号分离的代价函数及优化准则

在BSS问题中，不仅需要建立系统数学模型，还要考虑BSS算法的代价函数，使得BSS的分离系统对应于代价函数的极值点（极大值点或极小值点），再选用某种优化算法寻找代价函数的极值点。当代价函数达到极值点后，对应的系统即为待求解的分离系统。

BSS算法的代价函数大都是建立在独立分量分析（Independent complement Analysis：ICA ）数学模型基础之上，ICA是为了解决盲分离问题而提出并发展起来的一类信号处理技术，现已成为解决盲分离问题的有力工具。然而ICA和BSS方法并不能完全等同或相互替代，BSS比ICA具有更宽广的适用范围，原因是：ICA只在源信号相互独立的条件下适用，而对BSS而言，即便源信号之间存在相关甚至完全相关，依然可能采用其它方法分离信号；BSS的目的是分离源信号，而ICA的目的是寻找某种变换，保证输出信号的各分量之间尽可能地相互独立；另外，很多情况下BSS方法经常使用随机向量的二阶统计量（SOS），而ICA则常常使用更高阶的统计量（HOS）。如果源信号之间满足相互独立的假设条件，ICA和BSS方法可以用相似甚至相同的数学模型来描述，并使用相似的或相同的算法实现源信号的分离，因此，BSS和ICA二者极其相似而又相互区别。

根据中心极限定理，独立随机变量和的分布比其中任何一个随机变量更接近高斯分布，因此非高斯性可以作为随机信号相互独立性的度量。目前，ICA理论的优化准则主要有基于信息论的优化准则和基于高阶累积量的优化准则。

2.2.1 基于信息论的代价函数及优化准则

基于信息论的评价准则主要包括最大似然估计准则、最大熵准则、信息最大化法准则、最小互信息准则和负熵最大化准则，分别介绍如下。

2.2.1.1 最大似然准则

最大似然估计（maximum likwlihood estimator：MLE）是检测理论中常用的一种统计检测方法，它的目标是根据观测数据样本估计信号的参数。

K-L散度（Kullback-Leibler divergence）用来度量随机变量概率密度函数的相似程度，也就是衡量各种分布之间的接近程度。设p1(x)和p2(x)是关于随机向量X的两种不同分布的概率密度函数，则p1(x)相对于p2(x)之间的散度定义为：

T

KL[p1(x)|p2(x)]=∑p1(xi)log[

i=1

Tp1(xi)]p2(xi)T

i=1 =∑p1(xi)log[p1(xi)]-∑p1(xi)log[p2(xi)]i=1 （2-7）

=-H(X)-∑p1(xi)log[p2(xi)]

i=1T

≈-H(X)-log[p2(xi)]

H(X)=-∑p1(xi)log[p1(xi)] （2-8）

i=1T

当p1(x)与p2(x)同分布时，KL[p1(x)|p2(x)]=0；式（2-8）是X的自信息量的平均值，称为熵，用来描述随机事件的不确定性程度。使用K-L散度作为最大似然估计的似然函数，建立似然函数的代价函数。

针对式（2-1）的混合模型，设pX(x)为观测向量x(t)的概率密度，pS(s)为源信号s(t)的概率密度，由概率论及矩阵论理论，知pX(x)与pS(s)满足：

px(x)=ps(A-1x)/det(A) （2-9）

则观测信号x(t)的似然函数定义为：

L(A)=E[log(px(x))]=⎰px(x)log[px(x)]dx

=⎰px(x)logps(Ax)dx-logdet(A-1[] （2-10）

令式（2-2）的分离矩阵满足B=A-1时，根据矩阵论理论将对数似然函数改写为：

L(B)=⎰px(x)log[ps(Bx)]dx+logdet(B)

1T

≈∑{log[ps(Bx)]}+logdet(B)Ti=1

ˆ作为B的估计，即需要满足： 值的B （2-11） 最大似然估计就是选取使L(B)达到最大T为独立同分布观测信号的快拍数。

ˆ)=maxL(B) （2-12） L(BB⊂B

ˆ=Bˆ(x,x, ,x)，可见，估计参数B的最大似然估计值问题，就是寻找B12T

似然函数L(B)的极大值问题。

2.2.1.2 最小互信息准则

互信息量（Mutual Information）用来度量两个随机变量的概率密度函数的相似性。从信息理论角度看，如果源信号相互独立，要将其从它们的混合信号中分离出来，要保证分离信号之间相互独立。所以在源信号统计独立条件下，最小化输出信号之间的互信息量可以作为独立性的分离准则，输出信号之间的互信息量越小，说明信号之间的相关性越小。

设任意随机变量x和y，先验概率和后验概率分别为p(x)和p(xy)，y对x互信息量定义为x的后验概率与先验概率比值的对数，即

I(x,y)=logp(xy)

p(x) （2-13）

则定义随机向量y(k)对x(k)的平均互信息量可推导出：

I(x,y)=H(x)-H(xy) （2-14）

同理，定义x(k)对y(k)的平均互信息量为： I(y,x)=H(y)-H(yx) （2-15）

从而有：

I(x,y)=I(y,x)=H(x)+H(y)-H(xy)

（2-16）

根据上式输出信号y(t)之间的互信息量I(y1,y2, ,yn)可表示为：

I(y1,y2, ,yn)=∑H(y)-H(y) （2-17） i

i=1n

H(yi)为分离信号的边缘熵，H(y)为联合熵。针对式（2-2）的分离模型，输出信号之间的互信息量表示为：

I(y1,y2, ,yn)=∑H(y)-H(x)-logdet(B) （2-18） i

i=1n

因为H(x)与B(θ)无关，互信息量I(y1,y2, ,yn)的代价函数可表示为：

φMI(B)=∑H(y)-logdet(B) （2-19） i

i=1n

最小化式（2-19），可使输出信号y的各分量趋于独立，即得到最小互信息（Minimum Mutual Information：MMI）准则：

min(φMI(B)) （2-20） B

2.2.1.3 信息最大化准则 (最大熵准则)

由互信息I(x,y)的定义可知，I(x,y)表示系统输出信号y的不确定性测量，输出信号y使输入信号x的不确定降低，因此最大化输入输出间的互信息的Infomax准则实际上就是最小化输出和输入信号之间的信息冗余度。

根据式（2-17），最小化互信息量I(y1,y2, ,yn)，也就是最大化输出信号的联合熵H(y)，即为最大熵准则，也称信息最大化（Infomax）准则。

2.2.1.4 负熵最大化准则

负熵（Negentroy）用来度量非高斯分布分布相对高斯分布的偏离程度。它是度量信号非高斯性的一种准则，定义为高斯分布熵H(yg)与随机向量熵H(y)之间的偏差，即：

J(y)=H(yg)-H(y) （2-21）

负熵可以使用任意概率分布和具有相同协方差的高斯分布之间的散度表示，即

J[p(x)]=KL[p(x)|pG(x)]=∑i=1np(xi)p(xi)] （2-22） pG(xi)

负熵是ICA中的重要概念之一，它是非负值，因为在所有方差相等的随机变量之中，高斯随机变量的熵最大，所以只有当y(t)是高斯分布时负熵等于零，因而可以利用负熵来度量非高斯性。负熵与互信息之间的关系可表示为：

I(Y)=J(Y)-∑J(yi) （2-23）

i=1n

因此最小化互信息等价于最大化边缘负熵，边缘负熵最大化的代价函数可表示为：

φNM(W)=H(Y)-H(X)-logdet(W)-∑J(yi) （2-24）

i=1n

2.2.2 基于高阶统计量的代价函数及优化准则

基于高阶统计量的算法可大致分为两类：显累积量算法和隐累积量算法。显累积量算法是指代价函数或优化算法中明确含有高阶累积量，如基于峭度（Kurtosis）的算法；而隐累积量算法是指高阶累积量隐含地嵌入到代价函数或优化算法中，代价函数或优化算法中不明确含有高阶累积量，如固定点算法或快速ICA算法、H-J算法等；可以选取合适的非线性函数引入高阶统计量，如tanh()函数、sigmoid()函数等。

选择合适的分离准则是实现盲信号分离的关键，常用的分离准则经常需要计算互信息量、熵或负熵等物理量，这些量的计算往往很复杂，甚至无法求解，因此通过引入高阶矩和高阶累积量来估计这些量。高阶矩和高阶累积量是描述随机变量统计特性的基本工具。基于高阶统计理论的盲分离算法包括基于二阶统计量的盲分离算法和基于高阶统计量的盲分离算法，基于高阶统计理论的盲分离算法主要有典型的H-J隐累积量算法和基于峭度的盲分离算法。前者的训练算法中可以选取任意合适的非线性函数，这个非线性函数中其实隐含地引入了高阶统计量；后者是以峭度（Kurtosis）作为代价函数的盲分离方法，二者一般都是利用梯度搜索算法来逐步逼近分离矩阵，是一种自适应训练算法。

（1）负熵和互信息

负熵和互信息作为一种独立性度量的分离准则其实质是一种基于高阶累积量的非高斯性分离准则，因为信号的联合概率密度和边缘概率密度直接计算比较困难，因此引入高阶矩、高阶累积量来逼近负熵或熵、互信息量，计算相对简单。

（2）峭度

峭度(kurtosis)是一种衡量源信号随机性质的重要高阶统计量，定义为：

k[x(k)[=E[x4(k)]-3E[x2(k)]2 （2-25）

实际应用时，经常使用其归一化定义：

E[x4(k)]k[x(k)]=-3 （2-26） 22E[x(k)]

峭度是描述随机变量概率函数同高斯分布的偏离程度，即表示随机变量分布的平坦程度：当峭度等于0时，信号为高斯信号；峭度大于0时，信号为超高斯信号；峭度小于0时，信号为亚高斯信号，所以峭度的大小也就是表示信号高斯性的强弱。

当信号经过预白化处理后，E[x2(k)]2=1，即功率为1，则式（2-26）可简

化为：

k(xi)=E[x4(k)]-3=m4-3 （2-27）

基于峭度的目标函数一般表示为：

φ(x)=∑k(xi)

i=1n （2-28）

基于峭度的目标函数运算简单、容易实现，但是它对“野值”比较敏感，因为峭度直接从观测样本中计算获得。

2.3 盲信号分离的优化算法

对盲信号分离算法而言，依据评价准则建立代价函数后，需要选用某种优化算法计算代价函数达到极值点的解。一种性能良好的优化算法应该同时具有高效性、鲁棒性、全局收敛性等优点。高效性指的是计算简单，且收敛速度快；鲁棒性指的是当系统受外界干扰后，算法条件改变时，优化算法的性能而受其影响较小。盲信号分离算法发展至今，已总结出许多有效的优化算法，主要包括自适应算法、批处理算法、智能算法。

自适应算法主要有基于梯度的自适应梯度算法和RLS算法，自适应梯度算法又可分为随机梯度算法、相对梯度算法和自然梯度算法等。固定点算法和联合近似对角化法（JADE法）是主要的批处理盲分离算法。智能算法主要有基于遗传算法的盲分离算法、基于神经网络的盲分离算法、基于粒子群的盲分离算法、基于蚁群算法的盲分离算法等。

本课题优化算法大家自选。老师推荐一种自然梯度算法，具体见参考文献“盲源分离算法研究”，24-26页；“自适应盲信号处理理论及应用研究”12-14页

2.4 性能评价指标

盲信号分离的效果好坏程度需要有一定的评价标准来衡量，不同的算法选取的评价标准会有所不同，常用的评价标准有：性能指数、相似系数、最大信噪比等。这些评价标准都是假设已知真实源信号信息，如已经源信号波形时，可以采用“相似系数”这个评价准则；如果已知混合矩阵情况下，比较方便的评价准则是“性能指标”。但是在实际的盲分离过程中，源信号的信息都是未知的，所以这些评价准则只适用于仿真分析，无法在实际工程应用中使用。目前，还没有针对可测数据评判的实用准则。

2.4.1 相似系数

相似系数是描述分离信号与源信号相似程度的一个非常有效的参数，定义

为：

ξij=ξ(Yi,Sj)=∑Y(t)Si

t=1

n2n

t=1t=1nj(t) （2-29） 2∑Yi(t)∑Sj(t)

当Yi=CSj时，Yi与Sj相互独立时，ξij的值介于0与1之间，ξij=0；ξij=1；

当ξij越接近1，表示Yi与Sj越相似。由此可见：分离信号与源信号之间允许幅

度上存在差异，但不允许相位上存在差异。

根据式（2-29），若源信号之间相互独立，则当由相似系数构成的矩阵是每行每列有且仅有一个元素接近于1，其它元素都接近于0的矩阵时，此时我们认为信号分离效果比较理想[52]。

2.4.2 性能指数

本文选用对相干源的情况也适用的性能指数指标（performance index：PI），它定义为：

1PI=n(n-1)⎧⎛n⎫⎛n⎫⎫gikgki⎪ ⎪⎪ -1+-1⎪⎬ （2-30） ⎨ ⎪ ⎪axjgijmaxjgjii=1⎪⎝k=1mk=1⎭⎝⎭⎪⎩⎭n∑∑∑

maxjgij表示G的第i行元素绝对值中的最大gij为全局传输矩阵G的元素；

值；maxjgji表示G的第i列元素绝对值中的最大值。分离信号与源信号波形完全相同时PI=0。实际上当PI达到10-2时认为分离算法效果非常理想。

2.5 数据预处理

观测的混合信号中一般包含了期望信号、噪声信号及干扰信号，为了更好地完成盲信号分离任务，可以对观测信号进行一些有用的预处理，以便为后面的盲信号分离工作提供方便。预处理方法主要包括：中心化处理、主分量分析（PCA）、白化处理（Whitening）、降噪（Denoising）、滤波（Filtering）等。

2.5.1 中心化处理

中心化处理是信号最简单最基本的预处理方法，中心化就是从观测数据x(t)

ˆ(t)成为零均值的向量，即 中去除均值E[x(t)]，使得x

ˆ(t)=x(t)-E[x(t)] （2-31） x

中心化处理可以可以简化盲信号分离算法，减化计算过程、减少计算量。

2.5.2 主分量分析

PCA方法是盲信号处理领域的基本预处理方法，是数据分析中的有效手段，可用于减少数据特征空间维数、确定向量的线性组合、选择主要分量或异常分量分析等。PCA已广泛应用于信号处理、特征提取、噪声处理、模式识别、数据挖掘、图像处理、计算机视觉、信号恢复和分类等方面。

设零均值的n维随机向量x(t)，其协方差矩阵为：

Rx=E[x(t)x(t)T] （2-32）

对Rx进行特征值分解

Rx=VΛVT （2-33）

其中，Λ=dia{λg ，λn}为n个特征值组成的对角阵，1，λ2，

V=[v1,v2, ,vn]∈Rn⨯n为特征值对应的特征向量矩阵。选择适当的主特征值λi，及其对应的特征向量vi构成信号子空间Vs=[v1,v2, ,vm]∈Rm⨯m，i=1,2, ,m。则随机向量x(t)在单位正交向量Vs上的投影向量u(t)即为主分量。

u(t)=Vsx(t) （2-34）

式（2-34）称为x(t)的主分量分析。

为了重建原始数据向量x(t)，在式（2-34）两边左乘矩阵矢量Vs，得

ˆ(t)=Vsu(t)=VsVsTx(t) （2-35） xT

求解主分量的关键是如何估计协方差矩阵的特征值和特征向量，主分量分析的计算过程如下：

（1）确定随机向量x(t)的协方差矩阵Rx；

（2）对Rx进行特征值分解，求出所有特征值，且满足λ1>=λ2>= >=λn，相应的特征向量为v1,v2, ,vn；

（3）依照信号子空间和噪声子空间估计准则选取m个较大特征值λ1>=λ2>= >=λm，将其对应的特征向量构成信号子空间Vs=[v1,v2, ,vm] ，将x(t)在Vs上进行投影得到m个主分量u(t)，即：

u(t)=Vsx(t) （2-36） T

2.5.3 预白化处理

实际环境中，多个水听器的观测信号的各分量之间经常含有相关成分，致使零均值向量的协方差矩阵不再是对角矩阵，而盲信号处理的一些算法要求观测信号各分量不相关，因此需要对观测信号进行白化预处理（也称预白化、球化或归

一化空域解相关）使其不相关。

零均值观测信号x(t)经白化处理后的白化信号记为(t)，白化处理也就是寻找一个m⨯n的白化矩阵Q，使其满足：

(t)=Qx(t) （2-37） 使(t)具有单位方差，其协方差矩阵R=E[(t)(t)T]为单位矩阵，即R=In。

零均值的n维观测信号x(t)的协方差矩阵Rx=E[x(t)x(t)T]一般是对称正定，对Rx进行特征值分解：

Rx=VΛVT=VΛ1/2Λ1/2VT （2-38）

{λ其中，Λ=diag ，λn}为n个特征值组成的对角阵，满足1，λ2，

λ1>=λ2>= >=λn，V=[v1,v2, ,vn]为特征值对应的特征向量矩阵。白化矩阵可定义为：

Q=Λ-1/2⎧11⎪1V=diag⎨， λn⎪⎩λ12T⎫⎪T⎬V （2-39） ⎪⎭

或Q=UΛ-1/2VT。式中，U为任意正交矩阵。

2.6 本章总结

本章简要总结了盲信号分离的基本理论及相关的数学基础知识，包括盲信号分离的阵列模型、分离准则，寻优算法及评价标准等。最后介绍了盲信号分离中常用的几种预处理方法：中心化处理、主成分分析、预白化处理等。