基于数据融合和多重智能模型的目标识别和跟踪

高技术通讯　1999141

基于数据融合和多重智能模型的目标识别和跟踪

杨　杰②　陆正刚　郭英凯

(上海交通大学图象处理和模式识别研究所　200030) ①

摘　要　考虑到单传感器的系统存在着局限性, 提出了基于多传感器(雷达和红外) 信号融合的目标识别和跟踪系统, 以利用数据的互补和冗余。特征层融合能利用各传感器提供的特征信息来提高目标识别能力; 对于点目标和面目标分别提出了智能规则推理和神经网分类器的目标识别方法。决策层融合能提高目标跟踪的精度并提高抗干扰性; 提出了可信度决策的目标跟踪方法。

关键词　目标识别和跟踪, 数据融合, 0　引言

。多传感器(雷达和红外成象) 系统运用。不同传感器根据识别跟踪对象的不同特征提供更精确的数据。, 外界条件影响某一类型传感器而对其它传感器相对无干扰。另外, 通过使用不同传感器的冗余信息可提高目标识别和跟踪系统的可靠性, 一传感器的信号错误不会导致整个系统的错误。因此研究基于多传感器数据融合[1-4]的目标识别和跟踪方法有着十分重要的意义。

我们通过特征层融合、决策层融合(图1) 来实现目标识别和跟踪。特征层融合的作用为:结合雷达提供的目标特征信息和红外成像分析得到的特征信息来实现目标识别。决策层融合的作用为:对雷达和红外模块的目标踪踪信号进行融合, 作出综合决策

。

图1　双模导引头信号融合和决策系统示意图

1　基于特征层融合的目标识别

　　基于特征融合的目标识别就是综合利用雷达提供的目标特征信息和红外成像分析得到的特征信息来进行目标识别。基于红外成象的目标识别过程由信号预处理(信号检测、去噪声) 、图象分割及分割对象的识别三个部分组成。图象分割就是将红外成象中的各亮区分割出来。我们采用虫

①国家自然科学基金(69505002) 和国防预研项目。②男, 1964年生, 博士, 教授; 研究方向:人工智能、图象处理、模式识别; 联系人。

(收稿日期:1998205225)

—10—

杨杰等:基于数据融合和多重智能模型的目标识别和跟踪

随法(一种边缘检测和轮廓跟踪算法) 进行图象分割, 图2为一红外成象及其虫随法分割结果

。

分割对象的识别根据分割对象的象素面积

大小分为点目标识别和面目标识别, 一般分割

对象的象素面积小于等于3×3可视为点目标,

否则可视为面目标。

111　基于智能规则推理的点目标识别方法

对于点目标, 由于从图象分析可得到关于

目标的特征信息有限, 主要基于智能模型来进图2　一红外成象(a ) 及其虫随法分割结果(b ) 行目标识别。智能模型主要包括:目标距离

(可从雷达目标跟踪模块获得) 与成象面积的经验关系; 目标的运动轨迹预估; 目标运动轨迹的连续性。

当目标距离远时, , , 若分割对象的象素面积大于经验阈值, ) ; , 雷达测得目标距离为15公里, 此, , 若此时红外成象中出现点目标分割对象, 。

对于真目标, 由雷达跟踪模块得到的目标的运动轨迹预估应与红外成象跟踪模块得到的目标的运动轨迹预估相一致。考虑到空间相对转换和计算的复杂性, 我们通过将分割对象在红外成象中的运动轨迹预估简化为十字划分(左上、左下、右上、右下) 。根据的目标跟踪的方位信息以及弹轴、电轴、光轴之间的夹角关系可预估出目标在红外成象中的运动轨迹。另外根据红外成象中分割对象在前后两帧图象中的位置变化也可预估出目标在红外成象中的运动轨迹。若两运动轨迹预估方向不一致, 则推导出该分割对象为假目标(信号噪声或云层等干扰源) ; 若两运动轨迹预估方向一致(如均为右上) , 则继续跟踪识别。例如:根据的目标跟踪的方位信息以及弹轴、电轴、光轴之间的夹角关系可预估出目标在红外成象中的运动方向为“左下”, 根据红外成象中分割对象在前后两帧图象中的位置变化得出目标在红外成象中的运动方向为“右上”, 则推导出该分割对象为假目标。

根据红外成象传感器的采样频率以及目标运动轨迹的连续性, 红外成象中分割对象在前后两帧图象中的位置变化应比较小(小于某阈值) 。若红外成象中分割对象在前后两帧图象中的位置变化大于某阈值, 则推导出该分割对象为假目标(信号噪声) ; 否则继续跟踪识别。

112　基于神经网分类器的面目标识别方法

当目标相对红外成象传感器距离较近时, 目标的相对距离和运动姿态(迎面、尾部、侧面) 对于目标在红外成象中成象拓扑形状及面积影响很大, 相互关系复杂。另外, 目标的相对距离和运动姿态(迎面、尾部、侧面) 对于目标在红外成象的前后两帧图象中的位置变化及位置变化方向影响很大, 相互关系复杂。人工学习和建立目标的识别智能模型非常困难。人工神经网因其具有自学习、自适应及并行性, 近年来得到了研究和应用, 尤其应用于模式识别。我们运用多层前向网络的训练学习来实现具有容错性的面目标识别的分类器。选取目标不同的相对距离和运动姿态情况下的红外成象图象进行分析, 采用相对距离、分割对象的象素面积、分割对象在红外成象的前后两帧图象中的位置变化(指形心位置变化) 、分割对象的形状拓扑信息(如:长宽比、图象细化得到的分叉数等) 等特征作为训练样本的输入, 识别结果作为期望输出, 由多层前向网络来学习训练样本的统计特性(即:面目标识别的智能分类模型) 。

—11—

高技术通讯　1999141

　　它由一个三层前馈网组成。输入层节

点Z 1…Z M 表示训练样本的特征描述。输

出层O 1…O K 节点表示训练样本的实际识

别结果。d 1…d K 表示O 1…O K 的期望输出

(例如:d 1为1, d 2为0, 表示是真目标; d 1

为0, d 2为1, 表示是假目标) 。根据误差

反向传播算法以及输出层节点实际输出与图3　三层胶馈网

期望输出的差异来调整输出层和隐层的权

t t 值W ←W +Γ∆o y , ←V +Γ∆o z 直至累积误差小于设定的E m ax 。当多层前馈网训练学习完毕, 就能

根据分割的实际特征描述, 运用这多层前馈网来计算出识别结果。例如:当雷达和红外成象分析, 输出为:O 1=019, O 2=011, 变化确定跟踪决策信号。

2, 需作出综合决策以控制弹体的飞行轨迹。我们运用“决策可信度”来进行综合决策。决策可信度描述了各传感器对于目标跟踪决策的相对可信程度。

雷达模块的决策相对可信度CF R odar =Α×ΒR adar , 其中ΑR a ×R a 为小于1的系数, ∃R 为导弹T h ∃R

与目标相对距离。参数T h ∃R 为导弹与目标相对距离的阈值, 从而使∃R T h ∃R 在导弹飞行过程中逐步递减。参数ΒR adar 为雷达传感器的归一化信噪比, 1表示无干扰, 0表示全是干扰信号。

红外模块的决策相对可信度为CF IR :当红外模块提供的分割对象在红外成象中象素点数目

。当非上述m atch ≥阈值T h m atch , 则CF IR =1N p ix el ≥阈值T h p ix el 且分割对象的神经网分类器的匹配率Σ

情况, 则CF IR =ΑIR ×T h m atch ××ΒIR , 其中ΑIR 为小于1的参数; 参数ΒIR 为红外传感器的归一T h p ix el

化信噪比:1表示无干扰, 0表示全是干扰信号。

决策层融合依据导弹飞行的三个阶段(初始、中间、后期) 采取不同的决策:

(1) 导弹飞行初始阶段(离目标距离远, 红外传感器尚未检测到目标信息即CF IR =0) 。运用雷达信号目标跟踪的决策信息q R adar 来引导红外传感器的伺服控制系统跟踪目标, 使目标落在红外传感器的视角内, 以便当接近目标时红外传感器能通过成像分析(如:区域搜索) 来自行识别和跟踪目标。

(2) 在导弹飞行后期阶段(离目标距离较近, 鉴于距离很近时红外成像信息比雷达信息更可靠, 并且通过图象分析能确定攻击目标的部位, 从而提高命中杀伤力, 即红外模块能开始独立检测和跟踪目标CF IR =1) :此时红外传感器的决策信息可信度很高, 只运用红外传感器提供的决策信息来控制导弹的飞行轨迹来攻击目标。

(3) 在导弹飞行中间阶段(离目标距离较近, 红外传感器开始检测到目标, 一直到红外模块能开始独立检测和跟踪目标; 即0

1) 在雷达传感器受电磁干涉时, 则用红外成像模块的目标跟踪决策信号来控制弹体飞机方向, 并引导雷达伺服控制系统跟踪目标。这样一旦电磁干扰消失, 雷达仍能继续独立跟踪目标。

2) 在红外传感器受云层等干涉时, 则运用雷达信号目标跟踪的决策信号来控制弹体飞机方向, —12—

杨杰等:基于数据融合和多重智能模型的目标识别和跟踪

引导红外传感器的伺服控制系统踪踪目标, 使目标落在红外传感器的视角内, 以便当干扰消失时红外传感器能通过成像分析(如:区域搜索) 来继续独立识别和跟踪目标。

3) 在雷达传感器和红外传感器均未受干涉时, 则控制弹体飞机方向的跟踪决策信号由雷达和红外两模块的踪踪决策信号融合而成。可信度融合公式为:

　　　　q f usion =×q IR +×q R adar CF IR +CF R adar CF IR +CF R adar

从以上可信度融合公式可以看出, 在初始阶段q f usion =q R adar , 在后期阶段q f usion =q IR 。根据雷达和红外模块的决策相对可信度定义, 在决策中间阶段, 雷达模块的决策信号的权值逐步减少而红外模块的决策信号的权值逐步增大, 从而实现了决策信号在三个阶段的平滑过渡。

3　讨论

型的目标识别方法的优势。:基于模板匹配的目(1) , 而要建立识别对象的匹配模型需拥有识别对象(飞机、导弹、云层、干扰弹) 在不同距离、不同三维方位情况下的红外成象数据。获取这样全面的红外成象数据不仅工作量大而且经济代价也大。存储和检索识别对象在不同距离、不同三维方位情况下红外成象匹配模型对弹载计算机的速度和存储容量有很高的要求。基于匹配模型的目标识别方法在目标是点目标情况时难以进行目标识别, 因为对于点目标不存在成象特征和匹配模型。另外基于匹配模型的目标识别方法对于面目标的成象质量和稳定性有高的要求, 因而对于低分辨率红外成象质量及因弹体偏转而造成红外成象偏转情况下目标识别精度受到影响。同时基于匹配模型的目标识别方法对于识别对象脱离红外成象范围时无法继续跟踪目标(使目标重新进入红外成象范围) 。

(2) 基于神经网分类器的目标识别方法(单纯依据红外成象分析)

单纯依据红外成象分析, 基于神经网分类器的目标识方法在点目标情况下无法进行点目标识别, 因为对于点目标不存在成象特征。另外, 低分辨率红外成象质量以及红外成象得到的是观察对象的热辐射信息(而不是观察对象的外形信息, 因为观察对象的热辐射可能不均匀, 尤其是飞机) 的原因, 单纯依据红外成象分析和根据成象拓扑形状来识别目标存在困难, 有时专家也难以识别对象是目标还是云层或干扰弹。例如飞机因尾焰影响有时在红外成象的形状为一团状, 难以区别飞机、云层及干扰弹。

(3) 基于数据融合的目标识别方法的特点

基于数据融合的目标识别方法能根据点目标和面目标的不同特点采取不同的识别方法。不同于单纯依据红外成象分析的目标识别方法即使对于点目标也能够进行识别。它能根据雷达提供的目标距离和运动方位信息运用智能模型来进行点目标识别。

与基于模板匹配的目标识别方法相比, 基于数据融合的目标识别方法简化了红外目标识别和跟踪系统的实现难度和工作量, 不必建立识别对象在不同距离、不同三维方位情况下红外成象匹配模型, 因而省去了建模所需的大量实验工作并降低了对弹载计算机的速度和存储容量要求。由于开始时是雷达跟踪系统引导红外成象传感器跟踪目标, 对于红外成象目标识别跟踪模块来说, 目标识别实际是分出哪个是继续跟踪对象哪个是干扰源(云层、干扰弹) , 因而识别任务简化为分类

—13—

高技术通讯　1999141

任务。分类在建模要求上比识别相对简化了, 同时在低分辨率红外成象质量及因弹体偏转而造成红外成象偏转情况下仍能保证目标识别精度。

与单纯依据红外成象分析的目标识别神经网分类器相比, 雷达提供的目标距离和运动方位信息对于目标识别是十分重要的, 尤其因为从低分辨率的红外成象的图象分析中得到的对象拓扑形状信息是十分有限的。基于数据融合的目标识神经网分类器将雷达提供的目标特征信息(目标相对距离、运动方位信息) 用于神经网分类器的训练, 因而建立的神经网分类器模型综合了雷达提供的目标特征信息和红外成象分析提供的目标特征信息。所以基于数据融合的目标识别神经网分类器将比单纯依据红外成象分析的目标识别神经网分类器有更高的目标识别率和抗干扰性。

(4) 提高系统的抗干扰性、可靠性和攻击力

对于雷达和红外传感器的决策信号进行决策层融合, 踪精度, , 使其恢复目标跟踪能力。, 。

致谢:, 谨致谢意。

参考文献:

[1]L ibby E W . Sequence Comparison T echniques fo rM ultisenso r D ata Fusi on and T arget R ecogniti on . IEEE T ransacti ons on A ero space and E lectronic System s , 1996, 32(1) :52

[2]Par m ar N C , Kokar M M . T arget D etecti on in Fused X 2band R adar and I R I m ages U sing the Functi onal M ini m izati on A pp roach to D ata A ssociati on . 1994IEEE Internati onal Sympo sium on intelligent Contro l . 1994, 16218, A ugust , Co lum bus , O h i o , U SA , 51～56

[3]郁文贤, 雍少为, 郭桂蓉1多传感器信号融合技术述评, 国防科技大学学报, 1994, 16(3) :1

[4]Shetty Sh reenath , A louani A T . A M ultisenso r T rack ing System w ith an I m age 2Based M aneuver D etec 2to r , IEEE T ranscti ons on A ero space and E lectronic System s , 1996, 32(1) :167

Target Recogn ition and Track i ng based on Data Fusion and

M ultiple I n telligen tM odels

Yang J ie , L u Xhenggang , Guo Y ingkai

(In stitu te of I m age P rocessing &R ecogn iti on , Shanghai J iaoTong U n iversity , Shanghai 200030)

Abstract

T h is p ap er p resen ts the app roaches of m u lti 2sen so r (radar and infrared sen so r ) data fu si on fo r ob ject recogn iti on and track ing , w h ich can m ake u se of the com p lem en t and redundancy of da 2ta . T he fu si on of characteristics can com b ine characteristics from differen t sen so rs to i m p rove the ab ility of ob ject recogn iti on . T he app roaches of ob ject recogn iti on based on inference of ru les and neu ral classifier are p resen ted to deal w ith the recogn iti on of do t and su rface . T he fu si on of strategic decisi on can i m p rove the reliab ility and an ti 2in terference of ob ject track ing , and an ap 2p roach of ob ject track ing based on the certain ty of strategic decisi on is p resen ted .

Key words :T arget R ecogn iti on and track , D ata fu si on , Pattern recogn iti on , A rtificial neu 2ral netw o rk

—14—