双目立体视觉匹配的预处理技术
第50卷第l期
2012年1月吉林大学学报(理学版)JoumalofJilinUnive璐ity(scienceEdition)V01.50No.1J跚2012
双目立体视觉匹配的预处理技术
常淑华1,宋艳秋2,杨永敏3
(1.吉林农业科技学院信息工程学院,吉林吉林132101;2.长春市希望高中,长春130022;
3.哈尔滨工业大学机器人技术与系统国家重点实验室,哈尔滨150080)
摘要:针对双目立体视觉图对区域匹配应用中存在的问题,提出一种三阶段的匹配预处理方
法.该方法将小波闽值去噪算法和直方图均衡化技术相结合,有效地去除了图像随机噪声和
高斯噪声,实现了立体图对间亮度差异的平衡,并经过拉普拉斯锐化处理提高了图像对的对
比度.实验结果表明,三阶段匹配预处理算法可有效提高立体图对间的匹配准确率.
关键词:双目立体视觉;小波阈值去噪;直方图均衡化;拉普拉斯算子
中图分类号:TP39l,4文献标志码:A文章编号:1671.5489(2012)0l扪95舶
MatchingPreprocessingTechnologyofBinocularStereoVision
,CHANGShu.hual,SONGYan.qiu2,YANGYong.min3
(1.巩P口_咖础眦旷蜘丌,jⅢ幻nEr酒,聊砌学,朋讥A础础l‘r耐sc拓,黜口以‰^,lo蛔盯cof姆;朋讯132101,
3.s眦断龇埘吖矿舶鼬记伽d跏据m,肌r6讥胁t如眦矿‰^加研,胁r6协150080,醌i眦)
Abst隐Ct:Tbsolvethepmbleme】【istingintlle印plicationofbinocularstereo朋讯胁7打珊,吼打m;2.吼鲫g娩址n胁即日话彘&7跏Z,吼田渺^∽130022,吼i眦;visionimage—pair,athree—stages眦tchingpreproces8ingmethod
metllodwasproposed.Thismethodcombinesthewaveletde—nosingalgorithmandhisto彤唧equalization
lumin明ced近brencee髓ctiVely.nemndomnoise粕datGaussIloiseofimageamtiIne.filtered蛐dbetweenstereoimage—pai璐isbalancedtIle鼢meFir讪ythecontr鹊tofimage—pairsw酗improvedbyLaplacesh唧enprocessing.Thee珏.ectiVenes8ofthree—stagesmatchingpreprocessing
oftIlealgorithmcouldimproVe蛔rithmw鸹proVedby
stereoexperiment.The印plicationtIle啪tchingaccuracyofiⅡ诅ge—pai鸺e矗’ectiVely.
stereoKeywords:binocularvision;waveletthresholdde—noising;histogramequali豫tion;IJaplaceopemtor
双目立体视觉中的标定技术只能修正立体图像对的几何误差,并不能消除亮度误差.但当使用区域匹配法进行立体匹配时则必须对立体图对上的亮度误差进行修正.因为区域匹配的实质是衡量匹配窗口内各对应像素灰度的差异,即要求场景中相同景点在左右图像中投影点的灰度值相同.但由于现场采集的图像会受到各种噪声的干扰…及左右图像整体亮度间存在差异旧J,均会严重影响区域匹配结果的质量,甚至不能匹配pJ,因此必须修正,该修正过程称为匹配预处理.本文在对图像滤噪技术及图像对亮度差异进行深入分析的基础上,提出一种三段式匹配预处理技术,在完成滤噪的同时也实现了对亮度差异的校正,并通过实验验证了该三段式匹配预处理技术的正确性.
牧稿日期:20ll舶.27.
作者简介:常淑华(1969一),女,汉族.硕士。实验师,从事计算机科学与技术及计算机图像处理的研究.E・mail:cs}脱Dl@163.嗍.通讯作者:杨永敏(198l一),男,汉族。博士,从事图像并行处理和模式识别算法的研究,E—nlail.hjtyIIlyallg@163.㈣.和哈尔滨工业大学科研创新基金(批准号:Hrr.NSRIF.2009023).基金项目:国家高技术研究发展计划863项目基金(批准号:2007AA041501)、国家重大科技专项基金(批准号:2009Zx删J062)万方数据
吉林大学学报(理学版)第50卷
l传统双目立体视觉匹配预处理方法
1.1图像的噪声分析
图像在拍摄和传输过程中,由于所用器件和传输通道的局限性及现场其他电磁信号的干扰,常含有大量噪声,这些噪声会影响图像的显示效果及后续的图像处理.为有效滤除这些噪声,必须了解图像中噪声的种类和成因.以便采取针对性的滤噪方法.
不同噪声具有不同的数学模型,滤噪时,一般选择按频谱和按幅度分类两种方法.按频谱形状分类:频谱均匀分布的噪声称为白噪声;频谱与频率成反比的噪声称为厂1噪声;频谱与频率平方成正比的噪声称为三角噪声.按幅度分布分类:若噪声的幅度按高斯分布则称其为高斯噪声,按雷利分布则称其为雷利噪声,而那些无分布规律的则称其为随机噪声.一般情况下,图像噪声的主体是高斯噪声,其余部分是随机噪声.因此,目前的滤噪方法大多针对高斯噪声和随机噪声.
1.2常用的滤噪方法
1)均值滤波.均值滤波是一种消除图像噪声的线性处理方法,该方法的基本思想是用几个像素灰度的平均值代替每个像素的灰度值.计算公式为
弛∽=击。。善。,(”),
其中:s表示(x,y)点领域中坐标的集合,但不包括其本身;M表示集合内坐标点的点数.
均值滤波运算简单快速,并能有效去除随机噪声,但缺点是严重破坏了图像的边缘和细节.(1)
2)中值滤波.中值滤波是一种消除噪声的非线性处理方法,基本原理是将数字图像或数字序列中一点的值用该点邻近各点值的中值代替.中值定义如下:
设有一组数*。,*:,…,‰,把这n个数按大小排列,假设y为中问的一个数(即中值),则有y=med{x。,z2,…,‰}.如有一序列为(80,90,200,110,120),则该序列的中值为110.
中值滤波需要一个滤波窗口,即待滤波点周围的特定长度或形状的邻域.在一维情况下,中值滤波的窗口是一个含有奇数个像素的滑动窗口.二维时,滤波窗口的形状可以是方形,也可以是十字形,窗口的大小也可不同.中值滤波是一种典型的非线性处理方法,它能有效地消除图像中的脉冲噪声,较好地保护图像边缘信息.但当滤波窗口变大时,运算速度显著下降,影响图像的实时处理.
3)hG滤波.Marr等”1将高斯滤波和拉普拉
斯边缘检测技术相结合,提出了拉普拉斯一高斯边
缘检测算法,简称hG算子.其形状酷似墨西哥草
帽,因此也被称为墨西哥草帽算子,如图l所示.
LDG滤波先将图像进行高斯滤波,滤除服从高斯分
布的噪声,且孤立的噪声点和小组织结构也被滤
除;再用拉普拉斯锐化突现图像的边缘信息.该方
法可以精确滤除图像中的高斯噪声,但对椒盐噪声
效果较差,且其自身的图像平滑能力与边缘定位能
^z目‘‘,、一一~一£’鬈王一一一-一’。、~一一<、、:・。暖l啪算子
啦・1o坤。4衙0fLoG藻上述几种方法外。目前较流行的滤波方法还
1.3有多图像平均法、低通滤波法、快速自适应滤波法和模糊加权均值滤波法等.图像对间的亮度差异
图像对间的亮度差异是立体视觉技术中特有的,由立体视觉系统的结构导致.双耳立体视觉系统中左右两台摄像机很可能来自不同厂家或不同型号.其内部参数很难保证一致性,即使是同一厂家生产的同一型号的两台摄像机,保证其内部参数完全一致也不可能.这是因为双目立体视觉系统中的左右两台摄像机所处方位不同,因此不同视角接收到的光强也略不同,各摄像机的增益和电平不能完全保证一致,及图像采集卡不同通道间的噪声也不完全相同等因素,都将导致在实际获得的立体图对中万方数据
第1期常淑华,等:双目立体视觉匹配的预处理技术
相同景物点像素灰度值存在差异.该亮度差异的存在,比图像噪声对立体匹配的影响更大.较小的亮度差异则会导致较多的错误匹配,较大的亮度差异则会导致匹配不能进行,因此必须平衡这种差异.
解决此类问题常用直方图均衡化方法.目前在该方法基础上的各种改进算法较多,但实质都是直方图均衡化的思想,即通过某种映射规则将图像中原有的灰度分布进行变换,生成新的灰度直方图,最终达到左右图像的灰度分布尽可能接近,使两组图像的亮度差异达到平衡,但经过直方图均衡后的图像会变得模糊.
2三阶段预处理方法
实验表明,在真实环境采集的图像中除了含有高斯噪声外,还含有少量的随机噪声,这些噪声都应该去除.此外,还必须考虑立体图对间的亮度差异问题,解决此问题需借助直方图均衡化的方法陋引.针对上述问题,本文提出一种三阶段预处理方法.该方法将立体视觉预处理分为3个阶段,首先用小波阈值滤波算法去除高斯噪声和随机噪声,再用直方图均衡化方法平衡立体图对间的亮度差异,最后用拉普拉斯算子对图像进行锐化处理,突出图像的边缘与细节.
2.1小波阈值去噪算法
小波阈值去噪埔1方法具有计算量小、去噪效果较好的特点,近年来广泛应用于图像去噪领域旧.10].对受加性噪声污染的信号,经过小波变换后,包含重要信息的信号小波系数幅值较大,但数量较少,而噪声对应的小波系数幅值较小.通过选取适当的阈值,将小于阈值的小波系数置零,大于阈值的小波系数保留或进行增强处理,从而抑制信号中的噪声.小波阈值图像去噪算法如下:
1)对观测到的含噪图像{岛:i,_『=l,2,…,Ⅳ}进行小波变换,得到含噪图像小波系数{加Ⅱ:i,.『=l,2…,Ⅳ};
2)对含噪图像小波系数进行阈值变换处理:面。f=厶(ttJ“),i,.『=l,2,…,Ⅳ,其中:厂为阈值函数;r为选取的阈值;
3)对阈值处理后的系数进行小波逆变换,得到去噪后的图像.
小波阈值去噪方法的关键是选择阈值,阈值的选择方法有硬阈值函数和软阈值函数方法,其中硬阈值函数不连续,可能在后续图像重构中出现振铃或伪吉布斯效应等现象,增加了伪噪声点;软阈值函数为连续函数,对绝对值大于阈值的小波系数进行收缩处理,可能会导致图像的边缘模糊.半软阈值方法¨¨克服了上述两种方法的缺点,公式为
rO,I凯I≤正,
L<Itt,口I≤疋,(2)厶(硼#)={sgn(埘F)。[疋(I钾FI—r-)/(疋一L)],
【阳。,hI>咒,
其中:兀为下阈值;疋为上阈值.该方法保留了较大的系数,且具有连续性.但该方法需要估计两个阈值,增加了计算量及估计的复杂度,因而限制了其应用.G姗te函数在阈值处连续,且对于大值小波系数收缩均比软阈值小,因此采用Gan的te函数小波阈值去噪,公式如下:
ro,I凯I≤r,
以%卜{旷严‰高>r,
经过此阶段的处理,图像中的噪声被去除,图像灰度由■(戈,),)变为正(菇,,,).
2.2去除立体图对间的亮度差异。’
由于相同景物上的点在两幅图像中的灰度分布不在同一区间,从而导致立体图对间的亮度差异.直方图均衡化方法是将图像的原直方图进行均匀分布映射,从而消除立体图对间的亮度差异.
直方图均衡化原理如下:
1)对原图像作归一化处理,通过如下线性变换:
r=五(省,,,)/255,(4)将图像灰度由区间[o,255]压缩到区间[o,1].
万方数据
吉林大学学报(理学版)第50卷
2)进行变换:
,
s=r(r)=Lp,(埘)d埘,(5)
其中n(”)为r的概率密度.经此变换后得到以s为灰度的图像,s在[O,1]中均匀分布.
直方图均衡化方法的实现步骤如下:
1)在O一255的灰度范围内,计算整幅图像中第&级灰度出现的次数巩;
2)利用灰度值出现的频数近似代替其概率值:
P,(“)=n^/n(hE[0,1],矗∈[O,255]),(6)
其中n为整幅图像的像素总数;
3)计算变换后的像素灰度:
I
厶(Ⅸ,y)=255×乱=255×∑P,(■.(7)
上述处理实现了图像亮度分布均匀化,平衡了立体图对间的亮度差异,同时图像灰度由五(x,,)变为工(#,y).
2.3锐化
当去除了立体图对噪声,平衡了立体图对间亮度差异后,图像出现了模糊化现象,因此必须进行锐化处理增强图像的边缘细节.选择如下拉普拉斯算子实现锐化处理:
正(*,y)=V镌(*,y)=dz(x,y)/缸2+dZ(x,y)/妒,(8)
锐化后使图像边缘细节更清晰,图像灰度则由五(x,y)变为工(x,y),五(x,y)是三阶段匹配预处理方法的最终输出结果.
3实验分析
为了验证三阶段匹配预处理方法的正确性和有效性,本文采用经过双目校准的标准立体图对进行实验,实验结果如图2所示.由图2可见:原始立体图对间具有明显的亮度差异;小波滤波处理后,去除图像噪声的同时,也使图像模糊化,丢失了部分边缘和细节信息;直方图均衡化处理后,降低了立体图对间的亮度差异,能较好地满足后续立体匹配的需求;拉普拉斯锐化处理后,强化了图像的边缘
(c)直方圈均衡化后的立体围对㈣拉普拉斯锐化后的盘体围对
围2三阶段预处理方法实验结果
Fig.2E耳耐m朗衄I咄uns0f血ree・呻pmh蚺劬哪皿劬硼
万方数据
第l期常淑华,等:双日立体视觉匹配的预处理技术
和细节,使图像模糊现象得到有效改善.
为了说明该算法的有效性,本文与文献[5-6]的算法进行对比实验,实验过程中涉及图片的灰度直方图如图3所示.图3(A)为原始立体图对直方图,原始立体图对中左图的灰度分布集中在10~170之间,而右图的灰度分布集中在40—200之间,存在较大的亮度差异,直接进行立体匹配将有较多的错误匹配.图3(B)和图3(c)分别为用文献[5]和文献[6]算法处理后得到的立体图对直方图,左右两图的灰度均分布在20一240之间,存在的亮度差异较小.图3(D)为用本文算法处理后得到的立体图对直方图,左右两图灰度均分布在0~255之间,亮度差异变得很小,能较好地满足立体匹配的要求.3007’
赶200‘’
型
善m,
200
l50
延
莹一oo‘
50
(c)文献f6l再法亘方刖(D)本文算法直方囝
图3本文算法与文献[5_6】算法的对比实验结果
Fig.3c蛐pad鲫n积pe^mental删ts0foural驴一岫蛐d—e弛n嘲[5.6]
为了进一步说明本文算法的有效性,对经过预处理后的立体图对进行立体匹配实验,分别采用了原始立体图对、文献[5]和文献[6]处理后的立体图对及本文算法处理后的立体图对,实验结果如图4所示将处理结果与真实视差图进行比较,所得匹配率列于表1.
(D)本文算法重构结果(E)标准视整削
图4重构实验结果
ng.4R咖毗哪cIi佃a【畔ri眦n蝴咖№
万方数据
100吉林大学学报(理学版)第50卷
由图4和表l可见,本文算法与其他算法相比,不仅有效去除了立体图像对中的噪声,同时有效平衡了立体图像对间的亮度差异,提高了匹配的准确度.
综上所述,立体视觉中的预处理技术既要去除每幅图像上的噪声,又要平衡左右图像间的亮度差异.针对该问题,本文提出一种三阶段的立体视觉预处理方法.先用小波滤波去除高斯及随机噪声,然后用直方图均衡化法平衡立体图对间的亮度差异,最后用拉普拉斯锐化法增强图像的边缘和细节.实验结果表明,该方法可以有效去除图像的噪声,同时也能有效地平衡立体图对间的亮度差异,使处理后的立体图像对能满足后续立体匹配的要求.
参考文献
[1]YlPing,CHENFu-sheng,zouHong—yan.111eMethodsofElimjnatingNoiseinImageProcessing[J].Computer
Applicationsand鼬ware,2003,20(5):29-30.(易平,陈福生,邹红艳.图像处理中消除噪声的方法[J].计算机应用与软件,2003。20(5):29-30.)
[2]CoIinE,WalterS,RobertK,etaI.LuminanceComctioninStereoCo眦spondenceBasedstmcturefromMotion[C]//
ProceedingsofNinthIntemationalWorksh叩onImageAnalysisforMultimediaInteractiveServices.Klagenfurt:IEEE
Pre¥s.2008:179一182.
[3]BAIMing,zHuANGYan,wANGWei.Pr0目.essinBinocularstereoMatchingAlgorithms[J].ContmlandDecision,
2008。23(7):721-729.(白明,庄严,王伟.双目立体匹配算法的研究与进展[J].控制与决策,2008,23(7):
72l-729.、
[4]MarrD,HildrethEc.rI'}IeoryofEdgeDetection[J].ProceedingsoftheRoyalsocietyofbndon,1980,207:
181.217.
[5]WANeHon“un,SUNXi∞-wen,SHIJun.Ad印tiveNei{;llbor}100dContr鹪tEnhancememA190rithmofHistogmm
Equalization[J].ComputerApplications,2003,23(s1):124一126.(王洪君,孙筱雯,石钧.基于自适应邻域对比
度增强的直方图均衡算法[J].计算机应用,2003,23(s1):124.126.)
[6]LDUJing,WUFang-sheng,UUDong-li肌g,AnalysisoftheImplementingMethodofGraykvelHistogmmSpecification
[J].JoumalofJiangsuTeacher8universityofTechnology,2004,10(4):65—69.(楼竞,吴访升,刘栋梁.灰度直方
图规定化实现方法的分析[J].江苏技术师范学院学报,2004,10(4):65_69.)
[7]uuch锄g-chun,Hushun—bo,YANGJi_hong,etaJ.AMethod“HistogmmIncompleteEqualization[J].J0umal0f
Shandonguniversity:En百neeringscience,2003,33(6):66l_664.(刘常春,胡顺波,杨吉宏,等.一种直方图不完全均衡化方法[J].山东大学学报:工学版,2003,33(6):66l删.)
[8]DonohoDL.De-noisingbysoft・1.Ilresholding[J].1EEETmnsactionsonInfomation%eory,1995,4l(3):613—627.[9]M0hideensK,PemmalsA,stafhikMM.ImageDe・noisingusingDiscretewaveletTmnsf0Hn[J].Intemational
JoumalofComputerscienceandNetworkSecurity,2008,8(1):213-216.
[10]MillerM,KingsburyN.ImageDenoisingusingDerota_tedcomplexwaveletcoemcients[J].IEEETmnsactiolls0n
ImagePmcessing,2008,17(9):1500-1511.
UMing,GU0Dong・min,QUANJian—feng,eta1.ImprovedHalf-SoftThresholdDenoisingBasedon“ftingWavelet[J].JoumalofDetection&contml,2009,3l(4):54-57.(栗呜,郭东敏,权建峰,等.基于提升小波的改进半软
阈值降噪方法[J].探测与控制学报,2009,3l(4):54-57.)(责任编辑:韩啸)
万方数据
双目立体视觉匹配的预处理技术
作者:
作者单位:常淑华, 宋艳秋, 杨永敏, CHANG Shu-hua, SONG Yan-qiu, YANG Yong-min常淑华,CHANG Shu-hua(吉林农业科技学院信息工程学院,吉林吉林,132101), 宋艳秋,SONG Yan-qiu(长
春市希望高中,长春,130022), 杨永敏,YANG Yong-min(哈尔滨工业大学机器人技术与系统国家重点实验
室,哈尔滨,150080)
吉林大学学报(理学版)
Journal of Jilin University(Science Edition)
2012,50(1)
6次刊名:英文刊名:年,卷(期):被引用次数:
1. 易平,陈福生,邹红艳 图像处理中消除噪声的方法[期刊论文]-计算机应用与软件 2003(5)
2. Colin E;Walter S;Robert K Luminance Correction in Stereo Correspondence Based Structure from Motion 2008
3. 白明,庄严,王伟 双目立体匹配算法的研究与进展[期刊论文]-控制与决策 2008(7)
4. Marr D;Hildreth E C Theory of Edge Detection 1980
5. 王洪君,孙筱雯,石钧 基于自适应邻域对比度增强的直方图均衡算法[期刊论文]-计算机应用 2003(z1)
6. 楼竞,吴访升,刘栋梁 灰度直方图规定化实现方法的分析[期刊论文]-江苏技术师范学院学报 2004(4)
7. 刘常春,胡顺波,杨吉宏,郭侠 一种直方图不完全均衡化方法[期刊论文]-山东大学学报(工学版) 2003(6)
8. Donoho D.L. De-noising by soft-thresholding[外文期刊] 1995(3)
9. Mohideen S K;Perumal S A;Stathik M M Image De-noising Using Discrete Wavelet Transform 2008(01)
10. Miller M.;Kingsbury N. Image Denoising Using Derotated Complex Wavelet Coefficients[外文期刊] 2008(9)
11. 栗鸣,郭东敏,权建峰,郑小燕 基于提升小波的改进半软阈值降噪方法[期刊论文]-探测与控制学报 2009(4)
1. 邹成刚,张红霞,宋乐,范阳,张以谟 多层曲面仿生复眼成像系统的设计[期刊论文]-吉林大学学报(信息科学版) 2013(04)
2. 沈彤,刘文波,王京 基于双目立体视觉的目标测距系统[期刊论文]-电子测量技术 2015(04)
3. 王浩,许志闻,谢坤,李杰,宋成璐 基于OpenCV的双目测距系统[期刊论文]-吉林大学学报(信息科学版) 2014(02)
4. 刘静 视频监控系统中步态挖掘技术的研究与实现[学位论文]硕士 2012
5. 毕超 高温锻件视觉测量技术研究[学位论文]硕士 2012
引用本文格式:常淑华. 宋艳秋. 杨永敏. CHANG Shu-hua. SONG Yan-qiu. YANG Yong-min 双目立体视觉匹配的预处理技术[期刊论文]-吉林大学学报(理学版) 2012(1)