基于图像处理的交通信号灯识别方法
——武 莹 张小宁 何 斌基于图像处理的交通信号灯识别方法—51
基于图像处理的交通信号灯识别方法*
武 莹1 张小宁1 何 斌2
())同济大学交通运输工程学院1 上海2同济大学电子与信息工程学院2 上海20180401804 (摘 要 针对色盲或色弱驾驶员特殊群体,结合交叉口无人驾驶系统,提出一种能识别出交通信号灯当前状态的方法。在H利用交通灯被黑色矩形框包围这一典型特IS颜色空间进行交通灯颜色分割,征进行形状分割,根据形状分割所得位置对颜色分割候选区域进行确认,从而精确定位交通灯位置以及亮灯在交通灯中的位置;同样根据被黑色矩形框包围的特征设计模板,最终利用模板匹配,完成交通灯的识别。实验表明,该算法识别准确率较高。关键词 交通灯识别;形状分割;模板匹配HIS颜色空间;
:/中图分类号:TP391 文献标志码:A DOI10.3963.ISSN16744861.2011.03.013 -j
0 引 言
对交通灯状态的识别,将使世界上7%~8%
的色盲、色弱患者驾驶汽车成为可能,也使得无人驾驶汽车在技术上前进一步。现有的交通灯识别算法主要利用了交通灯的色彩特征及形状特征。基于色彩特征的识别算法利用了交通灯发出3种特定色彩光的特点,核心是选择某个色彩空间对交通灯的颜色进行描述以及选取合适的阈值进行]分割。文献[在归一化R1GB色彩空间对3种交通灯取样,对分割出的全圆型色彩区域进行检测,文中利用Houh变换检测圆形具有较高的识别g准确率,但由于RGB空间色彩受光照影响极大,]对被检测图要求很高,需光照良好。文献[同样2利用R其给出的经验阈值是现在很多交GB空间,通灯及交通标志识别研究工作经常引用的,该阈值能将图中的指定色较好的提取出来,但由于相近色的区域也会被分割RGB空间的固定特点,
进来。类似工作还有文献[等。基于形状特34]-征的算法利用了交通灯及其附属物的形状信息。]文献[对候选区域的确认使用交通灯和支撑杆5的相对几何关系,对候选区域的过滤仅仅依赖于形状信息。为了达到实时性要求,需要对候选区域设置严格的过滤条件,因此算法对采集的图像有很高的质量要求。
本文综合考虑交通灯的色彩和形状特征,使
收稿日期:2011010620110607-- 修回日期:--)批准号:资助70871092 *国家自然科学基金项目(
使用形状特征对候选用色彩特征查找候选区域,
区域进行确认。由于RGB空间颜色与光照互相影响的特点,使用独立描述色度通道的HIS颜色
从而更加准确地查找出交通灯候选区域;利空间,
用交通灯在形状上的典型特征对候选区域进行确认;进行模板匹配,从而完成交通灯的识别。
1 颜色分割
交通信号灯的颜色特征无疑是其最凸显的特征。要对颜色进行分割,首先要了解颜色空间的概念。R绿、蓝3种基色来显示GB颜色空间采用红、其模型下的3个分量R、因彩色,G、B相关性较高,此受光照影响较大,光照条件的稍微变化,就会引起颜色点在空间中的较大位移,不利于颜色分割。其HIS颜色空间是适合人类视觉特性的色彩模型,
))中,分量表示的是色度信息;表H(hueI(intensity)示的是光的强度;代表颜色的饱和度。S(saturationHIS空间模型H、I、S 3分量之间的相关性较小,
色调与亮度、阴影等无关,故可以利用色调H完成独立于亮度I的彩色区域分割。但它的缺点是需要从R计算量较大。因GB空间转化到HIS空间,为交通灯暴露在空气中,颜色受光照影响非常大,对比后本文采用HIS空间。
6]
:转化公式如下[
H=
{
B<Gθ,360-θ,B≥G
),:第一作者简介:武 莹(硕士生.研究方向:交通信息.1988E-maillvin1988@126.comyg
52式中:
[(]R-G)+(R-B)
;=arccosθ2
((2R-G)+(R-B)G-B)[[(];S=1-minR,G,B)R+G+B/I=(R+G+B)3。实验过程中发现,红色、黄色信号灯为LED灯材质,呈现出的颜色与实际生活中的纯红色、纯黄色有一些差异。于是本文对数十幅交通灯图像黄色h选定了红H通道进行红色、ue值的获取,
黄色的阈值。红色H值为0~1色、8或335~360之间,黄色H值在1饱和度S均不小0~55之间,于0.3。即:如(0≤H≤18或335≤H≤360)和(S
),则该像素为红灯区域;3≥0.
,如(则该像素为10≤H≤55)和(S≥0.3)黄灯区域;
从上述2个式中可以看出,在(10≤H≤18)和(处,红色与黄色重叠。由于光照、污S>0.3)损等自然原因以及拍摄仪器等机器原因,本算法尚无法完全分离红色与黄色,但是将黄色误判成红色对交通状况产生的影响较小,因此若像素位本算法将其判断为红色。于该重叠区间时,
利用本文确定的阈值在H与RIS空间,GB
[]
空间经验公式2分割红色对比见图1。由图可见,HIS空间分割效果要明显优于RGB空间
。
交通信息与安全 2011年第3期 第29卷 总161期
](]的(或[和(S≥0.3)159≤H≤201)S≥0.15)的像素提取出来。见图3,将试验图中的红、黄、绿3色都提取出来
。
图2试验图
Fi.2 Testimae gg
图3 红、绿、黄3色分割后
,Fi.3 Theimaewassementedbred gggy
andchannelsreenellow gy
从图3中可以看到,分割后的图像还有很多
7]
。形态学开运算的杂点。因此引入形态学运算[
作用是消除细小物体,在纤细处分离物体,因此可以去除图中的杂点。闭运算的作用是填充物体内细小空洞,连接临近物体,因此可以将信号灯圆域内空洞填上。选取合适的阈值,对图像综合运用开运算和闭运算。
对图像进行上述处理后,以8-连通的方式联接候选区域中的像素点形成图像块。每个图像块如面积、圆形度、长宽比、饱和程度都有很多属性,
和凹凸性等。图像块的属性可以帮助过滤掉一部分图像块,例如圆形度过低的图像块可以确定不是交通灯。圆形度是指一个图像块类似于圆的程]文献[中给出了一个计算公式,比较常用,其度,7
7]
:公式[
图1 RGB颜色空间和HIS颜色空间分割红色对比图
Fi.1 Thecomarisonimaesoftheoriinalimae gpgggsementedbRGBColorSaceandHIScolorsace gypp
绿色信号灯,仔细观察后我们会发现它不是纯绿色,更偏向于蓝绿色,因此本文在试验基础上给出一个经验阈值:绿色信号灯H值在159-
饱和度S不小于0.201之间,15。,即:如(则该159≤H≤201)和(S≥0.15)
像素为绿灯区域。
因为后文要进行形状确认,所以在颜色分割部分将红、黄、绿3色一起提取出来。若将3色分别提取出来,再分别进行形状分割、确认,将使得(算法重复进行,速度慢。算法将符合[0≤H≤18
)](或3和(或[35≤H≤360S≥0.3)10≤H≤55)
i2
erimeterp
式中:Metric为图像块的圆形度,Area为图像块的面积;Perimeter是图像块的周长,pi为图像块
Metric=
的像素个数,算法中对图块边缘进行扫描可得到。由公式可得圆的Metric=1。
在本文的实验中,使用圆形度属性,设置比较。经过形态学操作和宽松的阈值,选最低值为0.3;圆形度过滤后,如图4此时,图中还有12个块。
——武 莹 张小宁 何 斌基于图像处理的交通信号灯识别方法—53
在颜色割后的图块最小外接矩形所框住的区域,如果有大于一定面积分割图中的同个区域搜索,
的图块出现且不与外接矩形框交叉,则为红绿灯。此处面积阈值设为10个像素。
用该方法能有效的将颜色分割图、形状分割图中多余图块去除,精准的定位交通信号灯的位
图4 颜色分割最终结果
Fi.4 Thefinalresultofcolorsementation gg
置,效果图如图7。颜色图搜索完毕后图像为待匹配图像,即本实验中的图6
。
2 形状分割
交通信号灯在形状上有个显著的特征,即被一个黑色矩形框所包围。根据信号灯设计规范,该矩形框有固定长宽比。可利用该特征,将交通灯范围提取出来。
首先设定一个阈值,将低灰度区域提取出来。再利用颜色分割,将近似黑色的部分提取出来,此时可以粗分割。黑色的提取公式为:
()、((、((如(R-G)0G-B)0)B-R)>1>1
)、(、(、(,00<R<70)0<G<70)0<B<70)>1
则该像素为黑色。
式中:绿、蓝3通R、G、B分别为该像素在红、道的数值。
提取出近似黑色的区域后,以8-连通的方式连接候选区域中的像素点形成图像块。长宽比过大的图像块可以确定不是交通灯边框。但是由于环境光照的变化、车辆与交通灯的距离及抖动等因素的影响,使得图像中交通灯的形状不断发生变化。因此,过滤操作使用的属性的多少以及阈值设置的严格程度应由具体的行车环境决定。在使用了长宽比属性和面积属性,两本文的实验中,
者都设置为比较宽松的阈值,对图像块的面积,设定小于2将其去除。面0个像素的图像块为噪点,积阈值设置为一个很小的值,目的是过滤掉一些孤立的点和一些很小的图像块。图块最小外接矩形是依据图块的X向最大距离和Y向最大距离为长和宽的矩形,长宽比即该最小外接矩形的长度与宽度之比。根据信号灯设计规范,扩大设计比值的范围,保留长宽比为2.2~2.8范围的图像图像见图5。块。经过面积和长宽比分割后,
图5 形状分割最终结果
Fi.5 Thefinalresultofshaesementatio
n gpg
图6 颜色分割与形状分割结合搜索后结果Fi.6ccordintotheofcolorsementandositionost A - gggpp
,ostositionshaesementtheoftrafficlihtwaslocated - pppgg
4 模板匹配
交通图中杂点很多,各类交通标志,汽车尾灯,广告牌灯,都可能会被分割成候选区,所以还需要进行模板匹。同样利用交通灯被黑色矩形框所包围这个特点,设计3个模板代表3个色彩的交通灯。交通灯模板见图7
。
)图7 红灯、黄灯和绿灯的模板(图像大小129×70
,ellowreenFi.7 Thetemlatesofredand yggp
,lihttheseareallthesizeof129×70 g
由于交通灯在图像中的大小和位置会随汽车因此在匹配之和交通灯的距离变化而发生变化,
前需要选择适当的模板,确定模板的大小和待匹配图像中的匹配区域。每个图像块对应的模板取决于它的行心在矩形框中的位置,具体选择规则
/如下:选择红3范围内,①行心位于矩形框上部1//色模板;选3-23范围内,②行心位于矩形框1
3 颜色分割和形状分割相结合
现在有2张处理过的图,一张是颜色分割后一张是形状分割后图。形状分割图中图块外图;
接矩形恰似信号灯黑色外边框,信号灯区域应该位于该外接矩形框内。利用该性质,找到形状分
54
/择黄色模板;3范围内,③行心位于矩形框下部1选择绿色模板。
设计的模板图像的大小是固定的,而图像中
视角等因素有关,因此不的交通灯的大小和距离、
能直接拿模板图像和原图像进行匹配。每个图像
块都需要重新计算它所对应的模板的大小。由于图像块对应的是交通灯的发光区,因此图像块的
记为T和模板中发光区(记为T面积(are)em-g)的面积的比值,就是模板图像(记为SlateTe)p
需要缩小或放大的倍数。即模板图像的大小应变为:STe·Taret/Temlate。gp计算待匹配区域和模板图像的匹配程度,匹配值大于某个阈值的图像块确认为交通灯。阈值本实验中选为0.对于试验图最后4。经过试验,输出结果是:
Thisisredlihtrihtnow!>> gg
交通信息与安全 2011年第3期 第29卷 总161期
直放置还是水平放置,对于水平放置的交通灯需
由于模板是人为生成的,要重新生成模板。另外,
匹配程度不是很高,需要多次测试才能找到合适
提高匹配程的阈值。如何更好地利用形状特征,度是今后研究的重点。
参考文献
[]1achiM,OmachiS.Trafficlihtdetectionwith Om g
colorandedeinformation[C]EEEIntellient ∥I gg
,DVehiclesmosium.WashintonC:IEEE Sypg
,2009:284287.Press-[]孙光民,李 芳.基于R2GB视觉模型的交 黄志勇,
]:微电子学与计算机,通标志分割[J.2004,21(10)
147152.-
[]道路交通标志检测技术研究[厦门:厦3D]. 陈维馨.
门大学,2007.[]4hunheY U,YinBai.Atrafficlihtdetection C gg
C]∥Proceedinsof2010Internationalmethod[ g
,C,CCollouiumonComutinommunicationon -qpg,trolandManaementYanzhou.2010:734737. -gg[]5eCharetteR,NashashibiF.Realtimevisualtraf d -
ficlihtsreconitionbasedonsotlihtdetection ggpgandadativetrafficlihtstemlates[C]IEEEIn ∥ -pgp,DtellientVehiclesSmosium.WashintonC: gypg
,IEEEPress2009:358363. -[],6stableS,SchickJSteinF,etal.Arealtimetraf E -
ficsinreconitionsstem[C]rocofIntellient ∥P ggyg,Vehicles1994:213218.-[,W,E数字图像处理:7]onzalezrcoodsreddinssl. G
阮秋琦,译.北京:电子工业出版社,Matlab版[M].2007.
[]8saidM,LinCT.Fastnormalizedcrosscorrela T -
]tionfordefectdetection[J.PatternReconition g
,():2003,241526252631.Letters-
5 结束语
提出一种基于色彩特征和形状特征的交通灯
识别算法。算法首先将RGB色彩空间转换到HSI色彩空间查找候选区域。对候选区域进行圆形度过滤以后,利用交通灯被一个黑色矩形框所包围的典型形状特征,根据其面积和特定长宽比在图像中分割出整个交通灯区域。通过在形状分割图块最小外接矩形中搜索是否有色彩图块,来最终确定信号灯图块。
同样根据信号灯被黑色矩形框包围的特点,通过模板和原图像之间的模板匹配来确认交通灯。实验结果表明算法能实时准确地识别出交通灯。本文提出的算法也有不足之处,例如要在复杂的背景中精确的找到信号灯外边框,形状分割部分算法有待优化;还需要事先知道交通灯是竖
TrafficLihtsReconitionUsinImaeProcessin ggggg
112
WUYinHANGXiaoninEBin g Zg H
1
(SchooloTransortation EnineerinToniUniversitShanhai201804,China) f pgg,gjy,g
2
(,SchooloElectronicsandInormation EnineerinToniUniversitShanhai201804China) f fgg,gjy,g
:,AbstractInthisaeramethodofreconizintrafficlihtsthrouhimaerocessinisroosed.Thesstem ppgggggpgppy
,canhelthevisualimairedeoledrivinthrouhthesinalizedintersections.Firstcertainreionsinanimaearese -ppppggggg
,lectedascolorcandidatesfrom HIScolorsace.Thenbasedontheticalshaeoftrafficlihts-blackrectanular pyppgg,ositionboxthealorithm willsementtheimaeandselectshaecandidates.Accordintotheofcandidatecolorse -pgggpgg
,mentsandcandidateshaesementstheositionoftrafficlihtsandthehihlihtedsinalcanbelocatedrecisel.In pgpggggpy,,additionwiththetemlatematchintrafficlihtscanalsobereconized.Theexerimentresultsshowthattheroosed pgggpppalorithmisstableandreliable. g
:;H;;KewordstrafficlihtsreconitionIScolorsaceshaesementationtemlatematchin ggppgpgy