基于颜色和形状的道路交通标志检测
第46卷第5期
3007年9月
厦门大学学报(自然科学版)
JournalofXiamenUniversity(NaturalScience)
voL46
No.5
Sep.2007
基于颜色和形状的道路交通标志检测
陈维馨,李翠华。,汪哲慎
<厦门大学计算机科学系,福建厦门361005)
摘要:提出了一种基于颜色分割和形状分析的交通标志检测方法.首先利用改进后的简单向量滤波署分剖感辨趣色彩
区域,对不同色彩区域进行相应形状检测.采用拐角特征与几何结构分析相结合的方法检测矩形与三角形标志,提出了一种基于对称性特征的简单编码算法,并应用于圆形检测.实验结果表明,该方法能在多种复杂场景中有效地定位交通标志,对天气变化有一定鲁棒性,为后继的交通标志识别工作奠定了良好基础.
关键词:交通标志检测}颜色分割I拐角提取l几何特征分析・圆形编码中圉分类号:TP
391.41
文献标识码:A文章编号:0438-0479(2007)05-0635—06
分割是基于彩色(chromaticcolor)进行的,SVF则使用单色(achromaticcolor).SVF基于HSI三色系统,当向量方向相同时。颜色元素相同,单色具有相同的向量方向.
单色的计算如下。
result=
交通标志是交通系统的重要组成部分,具有规范交通、警告驾驶员、提供有用信息等作用.日本早在20世纪80年代就开始交通标志自动识别方面的研究,目前多数有代表性的研究工作集中在汽车工业发达的美日欧地区Ⅱ-缸,国内也有一些相关研究““].交通标志检测主要有基于颜色的方法和基于形状的方法[1】,以及目前多数研究采用的颜色特征和形状特征相结合的
k鲤=旺!!!!±!g:!!!=!!坚I±!!!堡=!鲤1
3D
(1)
方法‘“].
交通标志的自动检测是识别系统的首要环节,为解决这一问题,我们使用改进后的简单向量滤波进行颜色分割,对不同颜色进行相应形状检测,同时达到检验与分类的目的.对矩形与三角形标志采用拐角检测与几何特征分析同步进行的方式,对圆形检测提出一种基于对称性的编码搜索.文中的实验主要针对3类最常见的交通标志:禁令标志(红色圆形)、警告标志(黄色三角形)与指示标志(蓝色圆形)展开,实际上,算法可以推广到具有相同形状特征的其它交通标志,如红色三角形标志、蓝色的圆形标志等.
当resultS=1为彩色,当result<l为单色.Red、
Green、Blue分别为亮度分量,D是单色提取系数,这里取20.
Asakura等将该算子应用于红色标志的提取。我
们在实验中发现,该算子对蓝色和黄色像素也有较好
的分割效果,可将其推广到具有这两种颜色特征的标志检测.我们将SVF与目前常用的HSV彩色空间H分量分割进行了比较,范例如图1所示.大量实验表明,SVF通过简单的运算能较完好地保留有效色彩(or色、蓝色、黄色),并排除大部分干扰区域.
但由于没有对特定的彩色分量进行约束,SVF对一些符合式(1)的非交通标志色彩不具有排除作用.通过对实验样本的分析,我们发现SVF算子错误保留的多数像素属于亮绿色,因此,我们在系统中加上绿色分量的排除.排除条件设置为,
1基于颜色的分割
颜色无疑是交通标志最显著的特征之一.基于颜色的分割能通过少量运算去除大片非感兴趣区域,对交通标志检测系统的实时性非常有益.Asakura等∞提出一种能高速提取指定颜色,去除物体轮廓的简单向量滤波器(Simple
较稿日期12006-11—30
基盒珥目j田索白然科学基金(60175008)・国家剖新研究群体赞助
项目(60024301)和厦门大学955=期信息创新平台厦目资助
Vector
Filter,SVF).多数的色彩
GreeKedn--Red.一>一1,案≥l,Green--Blue<40.
Ked
一
’百Ii了声1’
’
实验结果表明,改进后的SVF能够有效地排除错误保留的绿色区域.另外,为降低后期工作的计算量。颜色分割中产生的噪声点可用均值滤波或中值滤波去除.
・曩讯作者:chli@miJl.。dU.曲
・636・
厦门大学学报(自然科学版)
2007蓝
图l/4分量分割与SVF分割结果比较
(a)原图I(b)H分量分割结果I(c)SVF分割结果
Fig.I
Resulmof
HsegmentationandSVFsegmentation
.6.11.11-60《-11.11-6
.11.18-18.110.1l.18.18.11
.1l.18.18.110・11.18.18.11
_6-1l.1l.60.6.11.11.6
000O0e000
48101212
・6
713171920
・ll
713171920
—ll
48101212
一6
-6-11-1I.6.6.1t.11.6O
.11.18.18.1l-ll.18.18-1l12
.1l.t8.18-11-ll
-18
-6.1l.1l.61219191220
00001220201212
-6.“.11-61219191220
.11.18.18-11-11
.11-18.18-ll.1l.18
.6.1l.11-6-6
乜
171020
.n
.11.6O
-ll.11.6
一18.18.11
.18,18.11
-11,ll《
171020
l-18I-i1
12
图2针对矩形和正三角形的两十掩模
(a)矩形拐角(左下角)I(h)正三角形顶角
Fig.2
MasksofrectangleandequiIatcrdtriangle
2形状检测
2.1拐角提取
拐角是物体的重要特征之一。Rangarajan等啪提出一种拐角检测优化算法。该算法对不同的拐角构造不同的掩模(mask)。通过掩模与图像的卷积运算检测拐角.其数学模型表述如下,
将拐点视为原点。则X轴定为拐角的底边,此时图像灰度为
g(x,,)=cxsin翟笋[一(矿”+r“)+
F”+r”]
(4)(5)
g(圳);c2sin等sin%笋
其中W是掩模的大小,c-、o、m、m、啦、£是常量.式(4)代表图像中的目标部分,式(5)代表背景部分,c,、
旬表示掩模中所有值的乘积,由于0<y<W.式子的后半部分总是负的,为了使代表物体部分的式(4)得
到正值,m必须取一1.为了使代表背景部分的式(5)取得负值,取m=1,m=一1,对=的赋值并没有确定的结论,这一理论的提出者通过实验认为0.2是比较台适的取值.
该算法很适合交通标志检测,因为交通标志的拐
(3)
zc刎,=曹羹≯”勺<“,
灰度实际上是
F(z,y)==I(z・y)+n(x,y)
∽
其中m是拐角上边缘的斜率.在非理想状态下。图像
角特征是相对稳定且简单的.De
la
Escalera在文献
其中n(z,,)代表白噪声,则构造的搜索函数g(z,y)应该满足;
1)卷积O(z,y)=F(z,y)。g(z,y)应该拐角处达到最大值I
2)g(z。,)具有一定抗噪能力}3)00,,)应在拐点处取得最大.用数学的方式描述这些标准,则有
[-23中对矩形和正三角形的3个角构造了3类共7种特征角的9X9掩模,实验表明这些掩模能比较准确地定位相应拐角,并对噪声和轻度形变有一定鲁棒性.本文沿用了其中两个掩模,分别对应矩形拐角和正三角形的顶角(图2).图中用黑线描出的部分代表拐角的形状,图2a是矩形左下角的掩模,实际上矩形左上、右
上、右下角的掩模都可以根据对称性得到.
第5期陈维馨等:基于颜色和形状的道路交通标志检测
・637・
2.2矩形标志检测
Dela
的高,对正三角形来说,一旦顶点和高确定,三角形构成的区域也就确定了.后期的验证仍然以颜色分量的比例为主.另外,考虑到图像中的三角形标志由于偏转可能产生形变,我们将统计范围扩大到顶角为68。左右的区域.实验结果见第三部分.
2.4
、
Escalera等[钉提出一种基于拐角提取的矩
形标志检测算法.首先使用对应矩形4角的4个掩模对分割结果图分别进行卷积运算,其次在图中搜索构成同一矩形的4种拐角,以确定矩形是否存在.该文对三角形检测也采用类似策略.这种算法的缺点是当图像较复杂时,具有相应特征的拐角数量众多,计算量增长很快,且容易带来误检.本文对该算法进行了改进・提出一种拐角检测与几何特征分析同步的方法,对一种图形只提取一类特征拐角,由于本文采用自上向下、从左到右的扫描方法,假定矩形标志没有大幅度旋转,首先扫描到的应该是位于左上角的顶点,因此采用左上角掩模,对全图进行如下操作,具体算法如下:
1)使用左上角掩模对未处理的蓝色像素点进行卷积.当卷积值大于预先给定的阈值,则认为该点为所求拐点.
2)从拐角处沿水平方向扫描,直到无法找到蓝色像素点,记录此时的偏移值,若超过最小长度,则记录为长,否刑返回步骤1).
3)同理从拐角处沿竖直方向扫描,直到无法找到蓝色像素,记录此时的偏移,若超过最小宽度,记为宽・否则返回步骤1).
4)验证(i)长与宽的比例不超过0.8~1.5}(ii)该区域内不应有蓝色和白色以外的色彩.
5)若条件满足,则认为该处为矩形交通标志,将区域内的点全部标记为已处理,返回1),直到图像扫描结束.
几个值得注意的问题:首先,由于交通标志内部图形的存在,扫描过程中可能有小段蓝色像素的中断.针对这种情况,可以定义只有当连续多行/列(本文取20行)无法搜索到蓝色像素时,才认为扫描结束.其次,为了使算法对小角度的偏移及分割造成的特征缺失有一定鲁棒性,本文采用多行/列同时扫描的方法,只要其中有一行/列搜索到蓝色像素,扫描就继续进行.第三,一且某候选区域被确定为交通标志,区域内的所有点都被标记为巳处理,避免了大量重复运算.步骤2)和3)中提到的最小长度和最小宽度是我们对检测目标规模的一个限制,在450×337的实验图中取10×10到50×50像素,随着实验图像尺度的变化,这个范围应相应变化.实验结果见第三部分.
2.3
圆形标志检测
圆形标志表现为边缘或整体为红色的圆形.目前
许多研究都针对这类标志进行.文献[2]提出可以用矩形模版(图2a)近似检测圆形位于45。、135。、225。及315。处的拐点,但实验表明,当圆形标志处于中、远距离时,这一掩模无法准确定位所求点,并会带来大量误检.因此,我们提出一种基于邻域特征和对称特征的简单编码进行圆形标志检测.
图3椭圆特征编码
Fig.3
Cede
ofellipsefeature
根据文献Cs3的定义,分割后的椭圆边缘点可以按其邻接点的状况进行编码,如图3所示.对点P定义如下规则:
若点L与U均为背景点,则P属于LU类}若点R与L,均为背景点,则P属于RU类I若点L与D均为背景点,则P属于LD类I若点R与D均为背景点,则P属于RD类.我们根据对称性将圆形编码进一步简化为两类特征点,将中心对称的两类合并,即LU与RD为一类,记为A类点;RU与LD一类,记为B类点.这样.圆形标志实际上转化为一个由相互对称的A类点和B类点构成的区域,图4是实验中编码实例的放大图,A类点用黑色标注,B类点用灰色标注,编码较好的保留了圆形特征.这样。圆形搜索问题就转化为空间中同类对称点的搜索同题,但还有不少问题需要解决.首先,图像中
,
,一
~~
,奄寸~
:h
●-
三角形标志检测
三角形标志检测与矩形标志检测的思路类似,对
℃≯∥_也:事
(I)
泰
~
-●
l,一
、.I::
弋≯
黄色像素使用图2b所示的正三角形顶角掩模,对求得的拐点向下扫描直到满足停止条件(连续20行搜索不到黄色像素),此时求褥的量理想状况下就是正三角形
图4圆形特征编码
Fig.4
Codeofcirclefeature
厦门大学学报(自然科学版)
2007扭
图5本文算法与Escalera算法对比实验结果
(81)原图・(a2)Escalera方法拐角提取结果,(s3)Escalcra方法矩形检测结果I(以)本文方法检测结果(b1)原图{(b2)Escalera方法拐角提取结果I(b3)Escalexa方法检测结果l(b4)本文方法检测结果
Fig.5
ExperimentresultsofEscaleraAlgorithmandthispaper
可能出现具有类似邻域特征的散点或小边缘.这些散点不但会带来计算量的增加,还可能造成误检.因此必须寻找一种有效的散点去除法.如图4b所示,从A类特征点中任取点0,若D处于关键特征点(圆心角135。或315。方位)附近,那么以0为原点做坐标系,则O处于一、三象限的3×3邻域应该有同类特征点存在.在前期分割效果非常差的情况下,这一结论可能不满足,但多数情况下可以有效判断A类点是否处于圆周关键特征点附近,B类点的操作类似.利用该法能够有效去除散点和小边缘.其次,不少圆形交通标志呈现图4a右图所示结构,A类特征不仅出现在圆两端,也出现在圆中部.在扫描过程中,若沿对角线方向搜索到同类点,应检查以起始点相对当前点对称的方位是否有同类点出现,有则认为当前点处于圆中.否则处于圆周.第三交通标志的红色边缘多呈环状,编码后在圆的同侧会出现两条同类弧线(如图4b所示),必须保证沿起始点向对角线方向扫描获得的同类点是处于对称位置或圆中,而不是同侧圆环.我们将扫描实际开始位置定在起始点沿对角线方向向右向下8个像素点处,这样可以克服环形特征带来的影响,同时保证最小允许尺
度(10×10像素)以上的小目标能够正常扫描.最后,理想的搜索应该开始于圆心角135。方位,即沿图4b中z。方向.但在自上向下、从左往右的扫描中,首先搜索成功的方位往往比l。略高,大致在zz方位,因此求得的圆心偏高、半径偏小.这一误差是可以估算的,精确估算可以根据取得的扫描线长度按一定比例增加,粗略估算取3~5像素即可达到纠正效果.
圆形检测算法如下:
1)依照上文定义的规则从颜色分割的结果中提取特征点.
2)进行无效特征点排除.
3)自上向下,从左往右扫描全图:
i)若点P为未处理A类特征点。则沿P对角线方向向右向下搜索直到超过给定阈值.
若存在点Q为A类特征点:a)判断其处于圆中或圆周,确定圆心位置和半径大小.b)根据圆心及半径大小在圆周角为45。和225。方位搜索B类特征点,若其中一个方位搜索到一定量特征点,则标记搜索到的区域为圆.区域内所有点标记为已处理。
ii)否则标记P为已处理,返回1).
第5期陈维馨等:基于颜色和形状的道路交通标志检铡
・639・
图6各种条件下实验结果
(a)标志尺度较小}(b)晴天场景I(c)雨天场景I(d)标志有156左右旋转
Fig.6
Experiment
results
withdifferentconditions
将验证标准定为在456或135。方向找到第2类特征点.主要是基于增加算法对遮挡的鲁棒性这一考虑。该算法无法检测A类特征受大面积遮挡的情况,如果
实验结果表明。该算法能适应复杂场景,对天气变化也有较好鲁棒性,能较为准确地定位交通标志,为识
别工作打下良好基础.另外,该算法可以推广到比较少
见的红色三角标志和蓝色圆形标志.与已有的一些形状检测方法相比,本文采用拐角检测与几何特征结合的方法,有效地抑制了干扰拐角带来的影响,但对旋转带来的形变较敏感.此外t测试中也发现一些漏检、误检的情况。主要原因有:(1)由于光照影响在初步分割
对B类特征进行同样操作可以在一定程度上提高算
法对遮挡的鲁棒性.但必须以增加额外计算量为代价.实验结果见第三部分.
3实验结果
我们将本文算法与De
k
Escalera,A算法进行比
阶段丢失特征.(2)检验约束条件导致的漏检,一些标志尽管拐角能够被正确定位,但由于标志图案对分割效果的影响导致检索区域中有效像索过少被排除.(3)由于场景中的不确定因素(如遮挡)导致的漏检.这些都是要进一步研究的问题.
较.结果显示,在交通标志拐角特征保留完整、干扰拐角较少的情况下,两种方法效果相当.在干扰拐角较多(图5a1)及拐角特征缺失(图5b1)的情况下,本文方法更好.两种算法的时效性基本一样.
另外,我们对不同场景、天气情况做了大量实验,获得较为满意的效果.实验结果如图6所示.算法在标志尺度较小(图6a、b)和标志尺度较大(图5al、b1)的情况下均能较准确地定位交通标志,具有放缩稳定性I矩形、三角形检测算法对旋转较敏感,圆形检测算法在旋转尺度较/b(图6d)的情况下能实现准确定位.
4总结
本文结合颜色分割和形状分析,提出一种交通标志检测与识别的算法.首先利用改进后的SVF滤波器对图像进行色彩分割,在此基础上进行相应的形状检
测,对三角形与矩形采用拐角提取与几何特征分析结
・640・
厦门大学学报(自然科学版)2007年
合的方式,首先用相应的掩模在图像中进行卷积操作,对搜索到的拐角进行几何特征分析以确定是否所求目标.利用圆的对称性提出一种基于邻域特征和对称特征的圆形编码,根据编码后的对称特征进行圆形搜索,取得较好的实验效果,为日后的识别工作打下良好基础.
ofroadtrafficsigninmoving
age
scene
imageusingnew
im・
filter[c]//Proceedings
ofthe39dISICEAnnualCon-
fotepee.JapanlSICE,2000:13—18.
[4]Fang
C
Y,ChertSW,FuhC&Road-signdetectionand
Transactions
oil
tracking[J].IEEE
VehicularTedmofo-
gY,2008.52(5),1329—1341.
[5]朱双东.张鼙,陆晓峰.三角形交通标志的智能检测方法
D].中国图象图形学报,2006・11(8)・n27—1131.
参考文献:’
[1]PerezE,Javidi
detectionofTransactions—576.
B.Nonlineardistortinn-toleranrfiltersfor
signsin
background
road
on
[6]黎群辉,张航.基于改进概率神经网络的交通标志图像识
别方法口].系统工程,2006,24(4):97--101.[73
Rangaraj∞K,shahM.BrackietorEJ].Computer[8]Ho
D.Optimal
corner
noise[J].IEEE
567
detec-
Vehicular
Technole。gY,2002,51(3)l
Vision,GraphicsandImage
Processing,
1989,48t230—245.
A,MorenoLE,SalichsMA,etaLRoad
CT,ChertLH.Allighspeedalgorithmforelliptical
on
[23
DeIaEscahra
trafficsigndetectionandclassificetion口1].IEEE
Transac-
objcetdetection[J].IEEETransactions
ImageProcess-
tinm
onIndustrialEhctronics,1997,44(6)1848—859.
K.Real-timerecognition
i%.1996.8(3):547—550.
[33AsakuraT,AoyagiY。HiroseO
RoadTrafficSignDetectionUsingColorandShape
CHENWei-xin,LICui—hua。,WANGZhe-shen
(DepartmentofComputerScience,XiamenUniversity,Xiamen361005,Chi,m)
Abstract:Based
simpleonce
vector
oncolor
segmentandshapeanalysis,Bmethodofr口adtrafficsigndetectionispmposed.Themethodfirst
extract
u8ea
filter(SVF)tOcertain∞10rs,Differentshapeanalysesgeometricfeatureanalysis
011
to
ere
doneinregionswithdistinctcolorfeatures.andthen
corner
extractiontogetherwith
a
detectrectangularsigns
andtrianglesigns.Circular
8i哪are
searchedbynoWkindof
codebasedthe
symmetric
nature
ofthesesigns.Experimentsshowgoodresultsofdetecdngroadtraffic
signstindercomplexhackgroundsanddifferentweatherconditions.Themethodisgoodforfurtherprocessingsuchasroadtraffic
sign
recognition.
feature
Keywords:roadtrafficsigndetection}colorsegmentlcomerextraction#g∞metric
analysis}cirele∞dincad∞