盲信号分离问题的分类和现状

综述与评论　　　　

　　　　　　　　　　　　　　　　　

化工自动化及仪表,2009,36(3):7～11　

ControlandInstrumentsinChemicalIndustry

盲信号分离问题的分类和现状

朱　茉,季　策,于　洋

(东北大学信息科学与工程学院,沈阳110004)

　　摘要:　,广泛应用。从盲信号分离问题的数学模型出发,,,题。　　;;非线性主分量分析算法　　:A　文章编号:100023932(2009)0320007205

1　引　言盲信号分离问题的实质就是在源信号s(t)和混合矩阵A都未知的情况下,仅根据观测信号x(t)和源信号的统计特性确定一分离矩阵W,使Y(t)=

WX(t)=MPS(t),其中M为一个实对角阵,P为一个交换矩阵,也就是说Y(t)相对于s(t)只是改变了幅值和各分量的排列顺序,这也是盲分离问题固有的两种不确定性

[6]

　　盲信号分离问题最早起源于人们对“鸡尾酒会”问题

[1]

的研究,而盲信号研究工作的实质性进展

[2]

则是从Jutten与Herault提出的反馈神经网络和基于Hebb学习规则的学习算法析方法

[3]

开始的。1994年,

Comon提出了著名的基于最小互信息的独立分量分

;1995年,Bell和Sejnowski提出了基于信

[4]

。

息最大化准则的最大熵法算法

[5]

;随后Amari明确了自

2.2　盲信号分离问题的前提假设

然梯度的概念,提出了一类盲信号分离的自然梯度

。随着数字信号处理理论和技术的发展以及

相关学科的不断深入,大量有效的盲分离算法不断被提出,使盲分离问题逐渐成为当今信息处理领域中最热门的研究课题之一,在无线通信、图象处理、地震信号处理、阵列信号处理和生物医学信号处理

为了使盲信号分离问题具有可分性,必须对混合矩阵和源信号做某种假设,这些假设包括:①源信号s(t)的各分量相互统计独立,且最多只有一个分

量服从高斯分布;②各个源信号分量具有零均值和单位功率;③混合矩阵A列满秩,即m≥n。独立性假设是盲信号分离的立足点,由于不同的源信号通常由相互独立的物理系统发出,因此这也是一条合理的假设。最多只有一个分量服从高斯分布是因为多个高斯信号的线性混合仍然服从高斯分布,从而是不可再分的。单位功率假设将源信号振幅的动态特性归并到混合矩阵A相应的列中。由于混合矩阵列亏损时,只有部分信号可以被提取,因此约定

A是列满秩矩阵,确保所有的源信号分量都可以被

等领域得到了广泛的应用。

2　盲信号分离问题的描述2.1　盲信号分离问题的数学模型

盲信号分离是指在不知道源信号和信道传输参数的情况下,根据输入信号的统计特性,仅由观测信号恢复出源信号各个独立成分的过程。盲信号分离研究的信号模型主要有三种:线性混合模型、卷积混合模型和非线性混合模型。其中线性混合模型在神经网络、信号处理等研究中常常用到,其数学模型描述为:　x(t)

=As(t)+n(t)　(t=1,2,…)

提取。

3　盲信号分离对比函数

盲信号分离的基本思想是根据某种优化准则,选择合适的对比函数,采用某种优化算法搜索对比函数的极值点。对比函数是盲信号分离研究的出发点,它决定算法的统计性能,包括一致性、渐近方差和稳健性等。目前存在的对比函数

3收稿日期:2009204227(修改稿)

[2]

(1)

式中:x(t)———m维观测信号向量,x(t)

=

x2,…,xm

T

x1,

;s(t)———n维源信号向量,s(t)

=

T

主要

s1,s2,…,sn(t

)=

;n(t)———m维加性噪声向量,

T

n1,n2,…,nm;A———m×n维混合矩

阵。

基金项目:辽宁省自然科学基金资助项目(20072025)

・8・有以下几种。

3.1　高阶累积量对比函数

(1)高阶逼近对比函数。

化工自动化及仪表　　　　　　　　　　　　　　第36卷　

近年来,为解决盲信号分离问题,人们提出了许多算法。根据信号的提取方式不同,盲信号分离算法可分为串行算法和并行算法两大类。前者逐个提

:

(2)

[6]

高阶累积量对比函数1　J(Y;W)

=iρ=1

n

取信号,后者实现所有信号的同步分离。根据工作方式不同,盲信号分离算法有离线和在线之分,前者是批处理算法,后者是自适应算法。根据适用的范围不同,盲信号分离算法可分成单一峰度信号的盲,[14cum4(yi)

2

式中:cum4(yi)———yi的四阶累积量。

Moreau等人证明上式中的平方运算可以简化

用绝对值运算代替,从而有高阶累积量对比函数2

[7]

:

=ρ

ni=1

　J(Y;W)

cum4(yi)(3)

[8]

(2)最大去高斯性对比函数。

负熵(Negentropy)　J(y)

=P(4)

(Cardoso等人提出的基于高阶统计的联合对

[15]

角化(JADE)算法是一种基于四阶累计量的学习

()

y)-y)

)

式中:PG(y)与(y)机分布;HG(y),H(y)———随机变量的微分熵。

负熵的近似对比函数　J(Y;W)

=ρ

ni=1

算法,是一种典型的离线算法,对各种情况的盲信号均具有一定的分离作用,但是随着源信号相关性的增强,JADE算法的分离效果也越差。

(2)独立分量分析算法(ICA):信号经过变换

[8,

9]

:

2

EG(yi)-EG(v)(5)

后,使不同信号分量之间的相关性最小化,并尽可能相互统计独立。目前已经有很多有效的在线ICA算法,如自然梯度算法、EASI算法、广义ICA算法、灵活ICA算法和迭代求逆ICA算法等。这些算法都可归类为最小均方算法(LMS),但LMS型算法存在收敛速度和稳态性能之间的矛盾。

几种典型的独立分量分析算法如下:

a.快速定点算法(FastICA)。FastICA算法

[16,17]

)—式中:v———标准的高斯随机变量;G(・——任意

的非二次函数,常用的函数主要有:　G1(u)　G2(u)　G3(u)

==-=

a

lncosh(au)　(1≤a≤2)b

-

2

u　(b≈1)

2

4

u4

[10]

3.2　信息论对比函数

(1)最小互信息对比函数MMI

:

(6)

基于非高斯性最大化原理,使

T

　J(Y;W)离矩阵。

=ρH(yi)-H(X)-log

i=1

n

det(W)

用固定点迭代理论寻找WX的非高斯性最大值。该算法采用牛顿迭代算法,对观测变量X的大量采样点进行批处理,每次从观测信号中分离出一个独立分量,是一种快速的寻优迭代算法。FastICA算法适用于任何非高斯信号,具有良好的收敛性(二次收敛),同时不需要选择学习步长。但该算法只能以批处理的方式进行,不适合实时应用的需要,

而且随着信号源个数的增加,算法性能会明显变差。算法的梯度公式如下:　ΔW

=diag(αidiag(βi)+E

g(y)y

T

)—式中:H(・——随机变量的微分熵;W———正交分

(2)最大熵对比函数ME

[11]

:

(7)

　J(Y;W)

=Hg(Y)=H

g(WX)

式中:g(Y)———非线性的列向量,g(Y)

g1(y1),…,gn(yn)

T-yi

=

,通常选择Sigmoid非线性

-1

函数g(yi)=

n

1+e为源信号的分布建模。

[12]

(3)最大似然函数ML:

det(W)

(8)

　J(Y;W)=iρlogPi(yi;W)+log=1里假设已知)。

W(10)

)—式中:Pi(・——第i个源信号的概率密度函数(这

式中:αi=-

β(yi)g′i+E

[5,18]

;βyig(yi)i=-E。

(4)[13]

:

(9)

b.自然梯度算法。

　J(Y;W)=-珓x-Wg(W珓x)

T

2

由于分离矩阵的变化空间是黎曼空间,而自然梯度

T

WW是随机梯度在黎曼WW

式中:珓x———观测信号x经白化预处理获得的信号

)—向量;g(・——非线性函数。

空间的扩展,所以自然梯度更真实地反映了最速下降方向,同时由于右乘正定矩阵消去了矩阵求逆运算,因此自然梯度算法在收敛速度和稳定性方面都

4　盲源分离算法实现4.1　线性混合盲分离算法

　第3期　　　　　　　　　　　　　朱　茉等.盲信号分离问题的分类和现状

・9・

较随机梯度有所改善。梯度公式如下:　ΔW

=I-g(y)y

T

式中:γ(k)———增益参数,通常取0.5或1。

(11)

W

d.非线性GHA算法。

式中:μ———学习步长。

c.等变化自适应算法(EASI)EASI算法用相对梯度

[19]

非线性GHA算法

。

T

W代替一般W

　W(k

[24]

是在标准的GHA算法中

yi(k)

Wj(k)

引入非线性函数实现信号盲分离的。

+1)=W(k)+μ(k)g

i

的随机梯度进行优化计算,是一种将白化过程和去除高阶相关过程同时进行的一种具有等变化性的算法。但是EASI算法需要选取学习率参数,且其选取是否合适直接影响算法的收敛性能,且其对于超高斯信号的收敛速度没有递归最小二乘(RLS)快。其梯度公式如下:　ΔW

=I-yy+gy-()

T

T

v(k)-jρgyi(k)

=1

　　　　(i=1,2,…,m)

(15)

由于,收敛速度慢,,算法能够根,不需要选取,但运算量高于梯度下4.2　非线性混合盲分离算法

T

有等变化性,存在的情况。在亚高斯和超高斯信号同时存在时,可以使用广义ICA算法和灵活ICA算法等自适应算法,但它们的计算比较复杂。

(3)非线性主分量分析(PCA)算法。

在非线性混合模型中,盲信号分离算法的分离目标是获取逆线性混合矩阵。非线性盲分离研究主要有以下几类方法:

(1)自组织映射(SOM)法

[26]

[14,25]

的

:该算法不考虑非

线性混合的具体形式,但其网络复杂性会随着源信号数目的增多呈指数增长,且在分离连续源信号时存在严重的插值误差。

(2)感知器模型法

[27]

非线性PCA算法是将非线性函数引入标准的主分量分析算法中,这个非线性函数将数据的高阶统计量以隐含的方式引入运算,使得标准的PCA算法能完成对源信号的分离。由于高斯数据三阶以上的统计量为零,因此算法要求输入为非高斯数据,同时需要预白化处理。基于非线性PCA准则的算法主要有以下几种:

a.RLS型算法

J(Y;W)=-[20]

:1992年,Burel首先提

出用一个两层感知器和基于BP思想的无监督训练算法,通过梯度下降算法最小化互信息量准则,得到一种可用于非线性混合信号的盲分离算法。

1998年,Yang和Amari利用两层感知器网络结构,

.

T

2

通过最大熵和最小互信息作为测量独立的代价函数,提出了BP网络训练算法,当合理选择非线性函数时,该算法可以分离出一些特定非线性混合的源信号。

(3)径向基函数网络法

[28]

RLS型

算法从非线性主分

量分析准则函数

珓x-Wg(W珓x)出发,在Yang

等人的投影逼近子空间追踪(PAST)算法中引入非线性函数,进而得到RLS迭代规则。算法通过遗忘因子的作用,利用了当前及以前一段时刻的观测数据来更新分离矩阵,更新幅度和质量都优于梯度型算法。

b.非线性PCA子空间学习算法

[21]

:2001年,Tan等人提

出了使用径向基函数(RBF)神经网络逼近非线性混叠的逆映射,实现盲信号分离。

(4)后非线性混合盲分离方法

[29,30]

:1997年,

Taleb和Jutten首先提出了后非线性混合模型,同

。

时指出这类模型具有可分离性,并针对这类模型提出了一种非线性混合盲分离算法。Solazzi和

Uncini也针对后非线性混合模型,基于信息量最大

该算法是从鲁棒PCA子空间学习算法改进而

)得到非线来,在其迭代算法中引入非线性函数g(・

性PCA子空间分离矩阵迭代计算公式:　W(k

+1)=W(k)+μ(k)

化准则,利用自适应B2样条函数,提出了样条神经

g(Y)(13)

T

υ(k)-Wg(Y)

3

网络后非线性盲分离算法。文献[31]利用多个独立同分布信号的线性组合仍服从高斯分布的特性,先将观测信号变成高斯信号,然后用瞬时线性混合的算法分离提取源信号,这种算法省去了求逆的过程。

式中:υ(k)———增益参数,通常取0.5或1。

一般超高斯信号g(t)

g(t)=tanh(t)。

=t,亚高斯信号

[22,23]

c.双梯度算法(BIG算法)。

T

　W(k+1)=W(k)+μ(k)v(k)g

T

y(k)

(5)贝叶斯集合学习算法

(14)

[32]

:该算法采用多层

+γ(k)W(k)(I-WW)感知器神经元网络(MLP),能够对非线性静态和动

・10・

态过程实现盲分离。

(6)基于遗传算法的盲分离方法

化工自动化及仪表　　　　　　　　　　　　　　第36卷　

究也有待进一步解决。

[33]

:该算法基

(16)

参考文献:

[1]　HAYKINS,CHENZ.TheCocktailPartyProblem[J].Neural

Computation,2005,17:1875-1902.

[2]　JUTTENC,HERAULTJ.BlindSeparationofSources,PartI:

AnAdaptiveAlgorithmBasedonNeurmimeticArchitecture[J].SignalProcessing,1991,24(1):1-10.

[3]　COMONP.IndependentComponentaNewConcept

[J].SignalProcessing,1994,36(3):314.

[4]　AonMaximizationAp2

onon[J].Neural(6-1159.

5]GradientWorksEfficientlyinLearning[J].

Computation,1998,10(2):251-276.

[6]　李小军,朱孝龙,张贤达.盲信号分离研究分类与展望[J].

于非线性混合模型:　X(t)

=Af

HS(t)

式中:A和H———线性、瞬时结构的混合矩阵。

利用遗传算法使信号非线性混合度最小化,然后对去除非线性后的数据进行线性分离,从而实现盲分离。与传统的梯度算法相比,基于遗传算法的盲分离方法有着更快的收敛速度和稳定性,能够在全局范围内寻找最优解。

5　盲信号分离问题的发展方向

展,,:

(1)西安电子科技大学学报:自然科学版,2004,31(3):399-404.

[7]　MOREAUE,MACCHIO.High2orderContrastsforSelf2adap2

tiveSourceSeparation[J].IntJofAdaptiveControlandSignalProcessing,1996,10:19-46.

[8]　HYVARINENA.GaussianMomentsforNoisyIndependent

ComponentAnalysis[J].IEEESignalProcessingLetters,1999,6(6):145-147.

[9]　HYVARINENA.NewApproximationofDifferentialEntropyfor

IndependentComponentAnalysisandProjectPursuit[C]//Proceedingofthe1997ConferenceonAdvancedinNeuralIn2formationProcessingSystems10.Cambridge,MA:MITPress,1998:273-279.

[10]　YANGHH,AMARIS.AdaptiveOn2lineLearningAlgorithms

forBlindSeparation:MaximumEntropyandMinimumMutualInformation[J].NeuralComputation,1997,9(5):1457-1482.

[11]　BELLAJ,SEJNOWSKITJ.AnInformationMaximizationAp2

proachtoBlindSeparationandBlindDeconvolution[J].Neu2ralComputation,1995,7(6):1129-1159.

[12]　CARDOSOJF.InformaxandMaximumLikelihoodforSource

Separation[J].IEEESignalProcessingLetters,1997,4(4):112-114.

[13]　KARHUNENJ,PAJUNENP,OJAE.TheNonlinearPCACri2

terioninBlindSourceSeparation:RelationswithOtherAp2proaches[J].Neurocomputing,1998,22(1):5-20.

[14]　李木森,毛剑琴.盲信号分离的现状和展望[J].信息与电

号分离问题的研究,包括源信号个数的有效确定,观测信号个数比源信号个数多(少)的超(欠)定等问题的研究,特别是关于欠定问题的研究。

(2)非平稳、非高斯混合信号的盲分离问题的

研究。

(3)目前大多数算法都是在混合矩阵为列满秩

的假设前提下完成的,当混合矩阵不满足列满秩的情况下如何尽可能多地去提取源信号。

(4)带噪声混合信号的盲分离。现有的盲源分

离算法和盲反卷积算法,大都假设无噪声或者把噪声看作一个独立源信号。如何将现有的盲分离算法推广到一般的噪声混合模型,是有待于进一步研究的问题。

(5)各分量的排列顺序和幅值本身存在的不确

定性,如何按顺序输出以及只提取一个或多个感兴趣信号的盲分离问题研究。

(6)各种盲源分离算法的全局收敛性、渐近稳

定性以及鲁棒性的研究等。

(7)卷积混合模型和对于更一般的非线性混

合模型盲分离问题的研究较为复杂,有待进一步解决。

6　结　论

子工程,2003,1(1):69-79.

[15]　CARDOSOJF,SOULOUMICAA.BlindBeamformingfor

NongaussianSignals[J].IEEEProceedings,1993,140(6):362-370.

[16]　HYVARINENA.AFastandRobustFixed2pointAlgorithms

forIndependentComponentAnalysis[J].IEEETransNeuralNetworks,1999,10(3):626-634.

[17]　曾生根.快速独立分量分析方法及其在图像分析中的若干

十几年来,盲信号分离在理论研究和算法方面都取得了很好的成果,在一些实际领域中也得到了初步的应用。但是在实际的盲信号分离问题中,很少能够碰到严格符合线性混合模型的信号,而且在实际信号的处理问题中总会存在观测噪声的干扰,使得盲分离算法对实际混合信号的模型误差的鲁棒性以及抗噪声干扰的能力都比较差。目前对于盲分离的研究仍然很不成熟,许多理论问题和算法的研

应用研究[D].南京:南京理工大学,2004.

[18]　AMARIS.NeuralLearninginStructuredParameterSpaces:

NaturalRiemannianGradient[C]//AdvancesinNeuralIn2formationProcessingSystems.Cambridge,MA:MITPress,

　第3期　　　　　　　　　　　　　朱　茉等.盲信号分离问题的分类和现状

1997.

[19]　CARDOSOJF,LAHELDB.EquivariantAdaptiveSourceSep2

aration[J].IEEETransSignalProcessing,1996,44(12):3017-3030.

[20]　KARHUNENJ,PAJUNENP.BlindSourceSeparationUsing

Least2squaresTypeAdaptiveAlgorithms[C]//ICASSP’97.1997:3361-3364.

[21]　KARHUNENJ,OJAE,WANGL,etc.AClassofNeuralNet2

worksforIndependentComponentAnalysis[J].IEEETransNeuralNetworks,1997,8(3):486-504.

[22]　WANGL,KARHUNENJ.AUnifiedNeuralBigradientAlgo2

rithmforRobustPCAandMCA[J].IntJNeuralSyst,1996,53-67.

[23]　WANGL,KARHUNENJ,OJAE.OptimApproachforRobustand]IEEEInt-[24]　SANGERTLearninginaSingle2lay2

erFeedForNetwork[J].NeuralNetwoks,1992,459.

[25]　李荣华,赵　敏,王　进.盲信号分离的理论与发展现状

[J].移动通信,2008,32(8):67-72.

[26]　PAJUNENP,HYVARINENA,KARHUNENJK.Nonlin2

earBlindSourceSeparationbySelforganizingMaps[C]//Proc

・11・

IntConfonNeuralInformationProcessing.HongKong,1996.

[27]　YANGHH,AMARIS,CICHOCKIA.InformationBack2prop2

agationforBlindSeparationofSourcesfromNonlinearMixture[C]//ProcIntConfonNeuralNetworks.1997:2141-2146.

[28]　TANY,WANGJ,ZURADAJM.NonlinearBlindSourceSep2

arationUsingaRadialBasisFunctionNetwork[J].IEEETransNeuralNetworks,2001,12(1):124-134.

[29]　TALEBA,JUTTENC.SourceSeparationinPost2nonlinear

Mixtures[J].IEEETransSignalProcessing,1999,47(10):2807-[30]TALEBAC.ResourceSepara2

tionMC]ProcICA.1999:155-[]CHANLW.ExtendedGaussianizationMethodfor

BlindSeparationofPost2nonlinearMixtures[J].NeuralCom2putation,2005,17:425-452.

[32]　VALPOLAH,HONKELAA,KARHUNENJ.NonlinearStatic

andDynamicBlindSourceSeparationUsingEnsembleLearn2ing[J].NeuralNetworks,2001,4:2750-2755.

[33]　TANY,WANGJ.NonlinearBlindSourceSeparationUsing

HigherOrderStatisticsandaGeneticAlgorithm[J].IEEETransactionsonEvolutionaryComputation,2001,5(6):600-612.

ResearchandProspectofBlindSourceSeparation

ZHUMo,JICe,YUYang

(CollegeofInformationScienceandEngineering,NortheasternUniversity,Shenyang110004,China)

Abstract:Blindsourceseparation(BSS)isatechnologyusedtoseparatesourcesignalsfromthemixedobservationaldata.Atpresent,ithasbeenwidelyappliedinmanyfields.Basedonthemathematicalmodelofblindsourcesepa2ration,thecontrastfunctionsusedinblindsourceseparationwasintroducedandtheoptimizationalgorithmswereprovidedinthefollowingtwoaspects:linearandnon2linearmixedmodel.Finally,severalissuesforfurtherstudyinthisareawereprospected.

Keywords:BSS;contrastfunction;independentcomponentanalysis;nonlinearprinciplecomponentanalysis(上接第6页)

11228)[2009204224].http://erp.newmaker.com/disp_art/1320001/18910.html.

[7]　王成桥,乔　非.ERP与MES集成模式方法研究[J].工业

[8]　崔小迷,谭　杰,林红权.中小企业过程综合自动化系统的

开发及其应用[J].化工自动化及仪表,2004,31(2):41-42.

[9]　陆爱林,荣　冈.面向工艺指标的生产成本控制研究与运用

[J].化工自动化及仪表,2005,32(2):20-22.

工程,2006,9(2):77-81.

TheStatusQuoandFutureDevelopmentTrendsofERP

WANGXi,TANGWei,WANGMeng2xiao

a

b

b

(a.SchoolofManagement;b.FacultyofPapermakingEngineering,ShaanxiUniversityofScienceandTechnology,Xi’an710021,China)

Abstract:EnterpriseResourcePlanning(ERP)hasbeendevelopingintothedominantsoftwareforenterpriseman2agementandbecomesoneofthepowerfultoolsforrealizingtheinformationizationofenterpriseresourcemanagement.Thehistory,functionalcharacteristicsandkeyessentialswereillustratedsystematically.Theapplicationofthepres2entcommercializedERPsysteminChinawasanalyzedindetail.ThefuturetrendofERPindomesticandinterna2tionalwasdiscussedatlast.

Keywords:ERP;manufacturingresourceplanning;materialrequirementsplanning;ERPII