红外与可见光图像配准和融合中的关键技术
第35卷,增刊
V01.35Supplementh妇删aIldLaLserEngiIlee血g红外与激光工程2006年lo月oct.2006
红外与可见光图像配准和融合中的关键技术
蒋宏,任章
(北京航空航天大学自动化学院,北京100083)
擅要:针对可见光与红外图像的特点和难点,提出了可见光与红外图像配准与融合中的关键技术,即:使用新型的基于一维最大类间方差和最大连通性测量的图像分割方法对源图像进行分割来更好地实行图像粗配准;使用新型的特征点提取方法,特征点的匹配及误匹配的消除来更好地实行图像精配准;采用新型的基于区域的树状小渡活性测度计算来实现树状小波图像融合;利用自生成神经网络来实现模糊图像融合。
关键词:一维最大类间方差;
模糊图像融合
中圈分类号:rIN911.73文献标识码:A文章编号:1007—2276(2006)增D一0007一06最大连通性测量;特征点的匹配及误匹配的消除;树状小波图像融合;
fhsion10rfbrlmrareninf}aredKeVteCnnologleStechnologieslninrelrlSU?anonregistl?ationandandIUSlonJ0eV
andVisibleimages
J认NGHong,RENzhaIlg
(Sch∞l0fAu协I弛吐∞Sci∞ce锄dElec哦cEngineering'B嘶ingullive璐ityofAer0舱utics柚dAs咖雠s,Beijing100083,ChiIla)
Abstract:AilIlingtotlle
problem-solvingschemes
isusedbased
sourceonarecharact嘶sticsaIlddif!ficultiesoftheVisible锄dinfrared.ttlekeytecllll0109ies吼dⅡlepmposedintlleirregistmtionaIldfusion,i.e.,menoVelimagesegmentationalgoritllmtIle1一Dlargestintra-classVarianceandthela唱estshapeconnectiVit),measurerrlenttosegmentmec02urseimagesfor也ebe仕erregistration,tIlenoVelfeatIlrepointextractionmethod,feamrepointmatcllingaJldIIlismatcIlingremoValmetllodsareemployedformebe他rfineregis舰tion,menoVelregion_basedtr.eewaVeletactivi哆measurementcalculationisapphedtorealizeⅡleewaVeletimagefusion,mese堆generatingneuralnetworkisadoptedtorealizetIlefuzzyimagefusion.
Keywords:1一Dla曙estintra—classv撕aIlce;La昭estshapeconnectiV姆measurement;FeatIlrepoint
fusionmatcllingaIldIIlismatcllingremoVal;T慨waveletimagefusion;Fuzzyimage
O引育
图像融合将多传感器采集的同一目标的图像经过一定的图像处理,提取各自的信息,可克服单一传感器的局限性,实现多源数据的优势互补,最后综合成统一图像以供进一步处理‘11;同时由于各传感器通过的光路不收■日期l20080r7.11作誊—介l蒋宏(1967一),女,四川达州人,副教授,硕士生导师,主要从事图像处理、模式识别,目标跟踪目标检测等方面的研究.
8红外与激光工程:光电信息处理技术笫35卷同,或成像体制不同等原因,图像间可能出现相对平移、旋转、比例缩放等,融合时不能直接进行,而必须进行图像配准。
红外图像与可见光图像的融合是最常用的图像融合技术之一。红外和可见光传感器工作于不同的波段,但正是这种图像信息的互补性,使得它们融合后的结果可以更有效地应用于自动目标伪装识别。红外和可见光成像机理不同(不同的波段提供互补信息),导致:红外图像对比度相对较低;红外图像多数呈灰度值偏低;红外和可见光图像的相关性很小,红外图像中出现的特征并不一定在可见光图像中也出现,因而特别要求只选择两幅图像都有的特征点,且需要有效地消除特征误匹配。
1红外与可见光图像配准技术
由于可见光与红外图像配准的复杂性,其研究刚刚起步。特别是可见光与红外图像在图像特性方面的差别大,相关性太小,又加上战场实况不存在已知的特征点,因此配准尤其不可靠。另外其计算量太大,国内外都还没有好的稳定,适应性强的方法。
图像自动配准技术是图像融合的必要前提。被配准的图像称为参考图像,用来与参考图像匹配的图像称为输入图像【2】。基于特征的自动配准步骤是:(1)从参考图像和输入图像中提取共有的特征,如物体的边缘和边界与线交叉点等;(2)对两幅图像中的特征点(控制点)进行匹配;(3)选择几何变换模型,并从匹配特征估计变换参数;(4)对输入图像实行坐标变换和灰度插值。基于特征的自动配准方法对光照变化不敏感,运算量相对较小,但要求可靠的特征点提取及精确匹配。基于特征的自动配准方法提取对比例、缩放、旋转、灰度变换具有不变性的特征。在空间域里常使用的特征包括边缘、区域、线的端点、线交叉点等。
基于特征的方法较适用于不同传感器之间的自动配准。红外与可见光图像的配准具有一般的多传感器图像配准的特点,但还有特殊性要考虑。首先,红外与可见光图像之间的一个重要区别是对比度。可见光图像对比度相对较高;其次,在红外图像中出现的特征并不一定在可见光图像中也出现;再次,军事战场上得到的图像质量比较差,且往往有伪装,导致红外图像与可见光图像的相关性更小;还有,军事战场上图像之间的关系总在变化,可能存在平移、缩放和比例变化,而且要求实时自动配准。因此,对红外与可见光图像的配准的特征点提出了更高要求。首先是要有相当数量的一致性特征点,其次应有有效的一致性检查方法消除错误的匹配点对。
2红外与可见光圈像融合技术
图像融合【1’3L1般被分为三类:像素级、特征级和决策级融合。像素级融合是在严格配准的条件下,直接使用来自各个传感器的信息进行像素与像素关联的融合方法,可用来提高信号的灵敏度与信噪比,以利于目视观测与特征提取。特征级融合是在像素级融合的基础上,使用参数模板,统计分析,模式相关等方法进行几何关联,目标识别,特征提取的融合方法,用以排除虚假特征,以利于系统判决。决策级融合关联各传感器提供的判决,以增加识别的置信度。决策级融合方法主要是基于认知模型的方法,需要采用大型数据库和专家判决系统模拟人的分析、推理、识别、判决过程,以增加决策的智能化和可靠性。本文将致力于像素级图像融合的研究,因而要求严格的图像配准。
一个完整的红外与可见光像素级图像融合过程如图1所示。在这几个步骤中,配准算法是非常重要的,其精度直接影响到图像融合算法的效果。对图像配准后,就可应用某一种融合算法对图像的像素点进行融合。目前常用的融合算法包括:加权平均法,逻辑滤波法,模拟退火方法,多分辨塔式算法,小波变换法,卡尔曼滤波算法等。近年来,树状小波图像融合和模糊图像融合也得到了广泛应用。图像融合的最后一步是对融
增刊蒋宏等:红外与可见光图像配准和融合中的关键技术9合后的效果进行评价。当前融合效果的客观评价问题一直未得到很好的解决,原因是:同一融合算法,对不同类型的图像,其融合效果不同;同一融合算法,对同一图像,观察者感兴趣的部分不同,则认为效果不同;不同的应用方面,对图像各项参数的要求不同,导致选取的融合算法不同。因而,需要寻找一种客观评价融合图像效果的方法,使计算机能够自动选取适合红外图像与可见光图像,效果最佳的融合算法。
㈣簧羹妒1H预处理c螈图像增删卜
旧差籍器2H预处理c撼图像增强等,卜
图1图像融合的流程图
F置g.1Flow配准算法融A口算法融A口效果评价diagr锄ofi衄喀efIlsi∞
3配准和融合中的关键技术
3.1新型的基于一维量大类问方差和量大连通性测量的圈像分割方法研究
图像分割的效果对两幅图像的粗配准有着重要的意义。
分割效果就不太令人满意了。
最大连通性测量(SC)算法【51是一种近似于二维直方图的自动阈值分割算法且最初是针对红外图像提出的。常规的二维直方图是由像素点的灰度值和邻域的灰度均值组成的,但sc算法除像素点自身的灰度值外,只考虑其右侧及下侧相邻像素点的灰度值,因此是一种近似的二维直方图。由于Sc算法在直方图上进行了改进,不再计算邻域像素点的均值,因此简化了计算过程。
新型的基于一维最大类问方差和最大连通性测量综合的图像分割方法的主要思想是选出未经平滑的原始直方图的所有极小值,先经过一维最大类问方差法选取出一部分类间方差较大的灰度值,再对这些灰度值进行sc值的计算,选择sC值最大的一个作为最终分割阈值;同时在将像素点划分为目标或背景点的方法上,使用区域连通性准则对其进行划分,进一步减小误分割发生的可能性。此新算法既利用了像素点的灰度分布信息也利用了像素点的邻域空间相关信息,考虑范围是点和面的结合;同时此新算法克服了一维算法区域连通性差的问题,增强了目标区域的连通性,减少了背景区域的分散点,而且也不用耗费大量时间。
图2显示了分别由一维最大类间方差,SC和综合分割算法得到的分割结果,直方图和平滑后的直方图。由图2可以看出,综合新算法的目标区域连通性优于最大类间方差法(由图像右上目标内部区域可以看出),而和sc算法比较,目标右下角的分散点少,效果较好。
3.2新型的特征点提取方法研究
可见光图像和红外图像由于灰度特性的不一致,通常基于边缘的特征点提取方法性能要好点;但基于边缘的特征点提取方法可能会由于边缘检测器的输出不理想和缺少灰度信息而产生伪特征点。为此,可采取在边缘上计算兴趣值,提取特征点(即是基于整幅图像的特征点提取方法和基于边缘的特征点提取方法的结合)。新型的特征点提取方法【61步骤是:
①在边缘上每点计算兴趣值;图像分割通常选用一维最大类间方差法【4】,该分割方法的分割质量通常都有一定的保障,可以说是最稳定的分割算法。但当图像的信噪比较低时,该方法的
‰地(x,y)=砌r.{IIlin{=—:L,汪1,2….2m}}
,f【fD11JJ(1)【%。,一。.
10红外与激光工程:光电信息处理技术第35卷式中:坛r为标准方差;B,q。。。为@’y)处沿第f和第((f砌)mod2m)方向的方向方差。图像被均匀划分为2m个方向。上面的方差都是在以@,y)为中心的窗口内计算的。
②选择邻域内有最高兴趣值的点为待选特征点。如两待选特征点之间的距离小于最小距离门限,则有较小兴趣值的待选特征点被扔掉。
③如待选特征点的数目仍然大于预定数目,则按兴趣值由大到小的顺序依次选择预定数目的特征点作匹配。
其兴趣值计算的是局部区域的标准方差与方向方差(即边缘强度)之比的最小值的乘积,
趣值对灰度值不敏感,能克服红外图像和可见光图像灰度特性不一致的问题。因而兴趣值具有以下特点:1)易选择局部区域信息多的点;2)计算的是多方向的方向方差,易选择角点而非直线上的点;3)兴
图2
Fig.2由一维最大类间方差,SC和综合分割算法得到的分割结果,直方图和平滑直方图largestin位卜cl弱svari觚ce,SC锄dcompositealgorimmsSegm蛐嘶onresults,mstog姗强dsm00也mst0铲锄f幻m1一D
3.3特征点的匹配及误匹配的消除
红外图像和可见光图像由于其固有的特征不一致性,特别要求只选择两幅图像都有的特征点,严格要求消除误匹配及误匹配的剔除。
经过特征点提取后,得到特征匹配点集A(红外图像)和B(可见光图像),需在A和B中确定同名点对,利用同名点对求解变换模型参数。本文拟对模板相关配准中的交叉相关迭代法进行改进用作匹配。改进后的交叉相关迭代匹配的优点有:可以有效地降低误匹配;在特征点上滑动搜索,大大减小了运算量,有利于算法的快速实现;随着未匹配上,目标窗口不断缩小,减小了运算量,有利于算法的快速实现;在求解变换模型参数时,有大的变换误差的特征点对被进一步剔除。
3.4新型的基于区域的树状小波活性测度计算
基于树状小波变换的图像融合【71由于它不仅仅将低频信息进行分解,而是根据图像的特征按子带图像的能量自适应地对各个子带信息进行分解,因而它的融合效果要优于传统的金字塔形小波图像融合,进而广泛应用于可见光和红外图像融合。
常用的树状小波分解采用基于窗口的活性测度。
厶(P),窗口模板系数为:设两组树状小波分解系数的活性测度分别为A(P)和
增刊蒋宏等:红外与可见光图像配准和融合中的关键技术
删=li;}溅
则活性测度为:(2)
A(P)=∑烈s,f)lD,(f+J,歹+f,七,z)I,
*S.拒r,=1,2(3)
式中:D,(i,.,,忌,Z)为树状小波分解系数,(f’.,)为分解系数的空间位置,足为分解层数,z为子带频段(扛l,2,3,4)。
作者运用了一种新的基于区域多分辨率分割的区域图像融合方法,其主要特点是多分辨率分割。它首先对源图像进行基于小波变换的多分辨率分解,然后对每一层图像都进行区域分割,最后用分割得到的区域信息来指导每一层的融合。因为更多地考虑了像素的邻域特性,所以无论从理论上或者仿真实验上,基于区域的图像融合方法优于基于窗口的融合方法。为此,本文拟参考这一点,把在树状小波分解中基于窗口的活性测度扩展到基于区域的活性测度计算。
3.5自生成神经网络的产生,优化,剪枝及简化
由于红外和可见光图像的灰度特性差异,模糊图像融合方法常被应用于两者的融合。近几年来,一种基于自生成神经网络sGNN(self-generatingneuralnetwork)的模糊图像融合方法㈣有所报道。
SGNN是一种非监督学习的神经网络【9】,它不用预先设定类的数目(如自组织特征映射SOFM),适应性好,因其树型结构而适于聚类或分类。自生成神经网络的产生在国内文献中尚未见详细报道,而其优化,剪枝及简化国内外文献都未见报道。
sGNN网络生成法则以一套训练样本为输入,以生成的SGNN网络为输出。每个训练样本都是一个实数向量,神经元的权向量与训练样本具有相同的维数和定义域。在最终生成的SGNT中,所有叶子神经元的权值为训练样本的矢量值,而所有非叶子神经元的权值则是以它为根的子树的所有叶子权值的平均值。以下是本文所作的用sGNN对图像聚类的实验。
图3和图4分别为要分类的原图和分类的结果。通过此界面可以看到原图像分类的结果:分类类数(6类),网络的总节点数(230),叶子节点数(130),中间节点数(100),并可通过杏询知道每个节点的祖辈和孩子。
图3要分类的原图
Fig.3originalfigurefbr图4原图被SGNN分类的结果cl勰sific撕onFig..4Cl船sificationresunbySGNN
以上所生成的网络还存在一些弱点:网络在形状上并没有达到最优;可能存在死结点,即某些结点将永远不能被以后的训练样本访问到。因而需要对以上所生成的SGNN网络进行更深入的优化,剪枝等研究。
优化过程是对以上生成的网络进行结构上的调整,主要是分别检测水平方向与垂直方向上神经元是否放
12红外与激光工程:光电信息处理技术第35卷置妥当。剪枝过程则是对生成的网络重复训练,若发现某些子网没有新的增长(这些子网被称作是死子网),则将这些死子网丢弃,同时更新神经元的权值。
4结论
本文针对可见光与红外图像的特点和难点,提出了可见光与红外图像配准与融合中的关键技术,即:新型的基于一维最大类问方差和最大连通性测量的图像分割;新型的特征点提取,特征点的匹配及误匹配的消除;新型的基于区域的树状小波活性测度计算;自生成神经网络的产生、优化、剪枝及简化。
参考文献:
【l】毛士艺,赵巍.多传感器图像融合技术综述【J】.北京航空航天大学学报,2002,28(5):512.518.
钮永胜.多传感器图像自动配准技术研究【J】.光学技术,1999,
XUEZ,BLUMRUY.Fusionofvisual加dmimages
Intemational(1):16.20.【2】【3】fbrconcealedwe印0ndetection【C】朋陆:Procee血lgs0fmeFiful1198—1205.Confb呦ceonInfomationFusion,A肌叩ons,USA:PFICⅢ,2002,
【4】
【5】章毓晋.图像分割【M1.北京:科学出版社,2001,2.C眦N
UHM.AutoInatictwo—stageIRaIldMMwiInageregis仃ationalgo珊匝forconcealedweapons础枷on【J】.ⅢEEProc.一Vis.Aer0∞n∞’96ImageProcess,2001,148(4):209—216.【6】HH.Awavelet-basedpointf色annextractorforInul吐一sensorimageregis仃ation【C】胁:Proceedingof吐圮SPm
Symposium,waveletAppUcationⅢ,orlaIldo,FL:1996,2763:524—534.
【7】
【8】
【9】李树涛.基丁树状小波分解的多传感器图像融合【J】.红外与毫米波学报,2001,20(3):219.222.覃征.数字图像融合【M】.西安:西安交通大学出版社,2004.WENWC.Self-generatingneuralnetworks【C】胁:NeuralNetworks,UCNN,ht锄ationalJointConfbrencconNcuralNet、Ⅳorl【s,BaltilI】lore,MD。USA:1992,4:850—855.
红外与可见光图像配准和融合中的关键技术
作者:
作者单位:
刊名:
英文刊名:
年,卷(期):
被引用次数:蒋宏, 任章, JIANG Hong, REN Zhang北京航空航天大学,自动化学院,北京,100083红外与激光工程INFRARED AND LASER ENGINEERING2006,35(z4)1次
参考文献(9条)
1. WEN W C Self-generating neural networks 1992
2. 覃征 数字图像融合 2004
3. 李树涛 基丁树状小波分解的多传感器图像融合[期刊论文]-红外与毫米波学报 2001(03)
4. LI H H A wavelet-based point feature extractor for multi-sensor image registration 1996
5. CHEN H M Automatic two-stage IR and MMW image registration algorithm for concealed weaponsdetection 2001(04)
6. 章毓晋 图像分割 2001
7. XUE Z;BLUMR LI Y Fusion of visual and IR images for concealed weapon detection 2002
8. 钮永胜 多传感器图像自动配准技术研究[期刊论文]-光学技术 1999(01)
9. 毛士艺;赵巍 多传感器图像融合技术综述[期刊论文]-北京航空航天大学学报 2002(05)
引证文献(1条)
1. 陈玉波. 陈乐. 曲长征. 石艳霞 红外制导技术在精确打击武器中的应用[期刊论文]-红外与激光工程 2007(z2)
本文链接:http://d.g.wanfangdata.com.cn/Periodical_hwyjggc2006z4002.aspx