非结构化道路的检测和跟踪_赵俊梅

５４

非结构化道路的检测和跟踪

非结构化道路的检测和跟踪

ＳｒｕｃｔｕｒｌｅｓｓＲｏａｄＤｅｔｅｃｔｉｏｎａｎｄＴｒａｃｋ

赵俊梅

张利平（中北大学信息与通信工程学院，山西太原０３００５１）

摘

要

在智能车辆的道路检测中，非结构化道路检测的研究处于初级阶段。针对非结构化道路，提出了基于区域生长和边缘检测相结合的检测算法，同时利用数学形态学进行修正，并讨论了对道路的感兴趣区域跟踪。

关键词：非结构化道路，区域生长，边缘检测，数学形态学

Ａｂｓｔｒａｃｔ

Ｉｎｌａｎｅｄｅｔｅｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｖｅｈｉｃｌｅｓ，ｔｈｅｒｅｓｅａｒｃｈｏｆｓｔｒｕｃｔｕｒｌｅｓｓｒｏａｄｉｓｉｎｂｅｇｉｎ．Ｔｈｅｐａｐｅｒｄｉｓｃｕｓｓｅｓｒｅｇｉｏｎｇｒｏｗｉｎｇａｎｄｅｄｇｅｄｅｔｅｃｔｉｏｎｆｏｒｒｏａｄ．Ａｔｔｈｅｓａｍｅ，ＭａｔｈｅｍａｔｉｃａｌＭｏｒｐｈｏｌｏｇｙｉｓｒｅｖｉｓｅｄ．Ｔｈｅｗａｙｏｆｂａｓｅｄｏｎｔｈｅｉｎｔｅｒｅｓｔｅｄｒｅｇｉｏｎｉｓｕｓｅｄｆｏｒｔｒａｃｋ．

Ｋｅｙｗｏｒｄｓ：ｓｔｒｕｃｔｕｒｌｅｓｓｒｏａｄ，ｒｅｇｉｏｎｇｒｏｗｉｎｇ，ｅｄｇｅｄｅｔｅｃｔｉｏｎ，ｍａｔｈｅｍａｔｉｃａｌｍｏｒｐｈｏｌｏｇｙ道路检测是智能车辆视觉导航研究中的核心问题之一，也是智能车辆发展水平的重要标志之一。实际的道路往往可以分为结构化道路和非结构化道路两类，车辆自动驾驶系统的关键技术之一就是道路检测。结构化道路一般是指高速公路和部分因结构化较好的公路，这类道路具有清晰的车道线和道路边界。此，针对它的道路检测问题可以简化为车道线或道路边界的简化问题，这方面的算法趋于成熟。非结构化道路一般指结构化程度较低的道路，这类道路没有车道线和清晰的道路边界，再加上受阴影和水迹地影响，道路区域和非道路区域更难以区分，所以针对非结构化道路的道路检测技术尚处于研究阶段。

本文提出了针对非结构化道路的检测算法，使用区域生长和边缘检测相结合的方法，综合两者的优缺点对道路边界进行检测，并使用基于集合的数学形态学进行修正。此算法简单，满足实时性要求。图１为非结构化道路图像的流程图。

２区域生长法

区域生长的基本思想是将具有相似性质的像素点集合起来

构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素（根据某种事先确定的生长或相似准则来判定）合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，知道再没有满足条件的像素可被包括进来。这样一个区域就长成了。

区域生长的一个关键是选择合适的生长或相似准则，大部分区域生长准则使用图像的局部性质。生长准则可根据不同原则制定，而使用不同的生长准则会影响区域生长的过程。本文采用灰度差准则。

区域生长方法将图像以像素为基本单位来进行操作，基于区域灰度差的方法主要有如下步骤：

１）对图像进行逐行扫描，找出尚没有归属的像素。

２）以该像素为中心检查它的邻域像素，即将邻域中的像素

逐个与它比较，如果灰度差小于预先设定的阈值，将他们合并。

３）以新合并的像素为中心，返回步骤（２），检查新像素的邻

图１

无标示的道路图像检测流程图

域，知道区域不能进一步扩张。

１道路图像预处理

摄像机获取的原始图像由于种种条件限制和随机干扰，例如

４）返回步骤（１），继续扫描直到不能发现没有归属的像素，

则结束整个生长过程。

采用上述方法得到的结果对区域生长起点的选择有较大依赖性。为了克服这个问题可采用下面改进方法：

视觉成像系统镜头的脏污，地面凹凸不平引起图像模糊等，不能直接使用，必须对原始图像进行预处理。文章采用中值滤波，它是一种非常实用的非线性信号处理方法，它在一定程度上可以克服线性滤波器，如最小均方滤波、平均值滤波等所带来的图像细节模糊，对滤除脉冲干扰和图像扫描噪声最为有效，并且在实际的运算过程中它并不需要图像的统计特性，为计算带来了方便。

中值滤波具体实现过程与平均值滤波有些类似，也是采用类似卷积的方式对领域进行计算，但它不是简单的加权求和，而是先把领域像素按灰度级进行排序，然后再选择该组的中间值作为模板输出结果。应当指出，二维中值滤波模板窗口的形状和尺寸对中值滤波的效果和实时性有直接的影响。通过反复对比，发现采用３ｘ３方形中值滤波模板对车道图像进行预处理既能取得较好的滤波效果，又能节省运算时间。

１）设灰度差的阈值为０，用上述方法进行区域扩张，使灰度

相同像素合并。

２）求出所有邻接区域之间的平均灰度差，并合并具有最小

灰度差的邻接区域。

３）设定终止准则，通过反复进行上述步骤（２）中的操作将区

域依次合并直到终止准则满足为止。

另外，当图像中存在缓慢变化的区域时，上述方法有可能会将不同区域逐步合并而产生错误。为了克服这个问题，可不用新像素的灰度值去与邻域像素的灰度值比较，而用新像素所在区域的平均灰度值去与各邻域像素的灰度值进行比较。对一个含

Ｎ个像素的图像区域Ｒ，其均值为：ｍ＝１

! ｆ（ｘ，ｙ）。

Ｒ

《工业控制计算机》２００８年２１卷第４期

）－ｍ＜Ｔ。对像素是否合并的比较测试表示为：ｍａｘｆ（ｘ，ｙＲ

５５

别这一实时性要求较高的应用中，Ｓｏｂｅｌ算子的实用价值较高，检测效果较好，可以满足系统的使用要求。

３数学形态学

数学形态学是在集合论的基础上发展起来的。数学形态学基

５融合区域生长法和边缘检测算法提取道路边界

本文利用区域生长法和边缘检测算法，边缘与区域信息内

于集合的观点非常重要，这也决定了它的运算必须由集合运算（并、交、补）来定义，所有的图像都必须以合理的方式转换为集合。数学形态学用具有一定结构和特征的结构元素（实际上也是一个集合）去量度图像中的形态，进而解决问题。从集合论的角度来看，数学形态学包含了从一个集合转换到另外一个集合的运算方法。数学形态学的基本运算有４个：膨胀、腐蚀、开启和闭合。

在的全局与局部、粗糙与精确的互补性，便使两种信息融合的方法非常具有吸引力。利用边缘信息的定位精确性和区域信息的适应性，以边沿信息为主，通过区域信息来补偿边沿的部分不确定性，结合景物知识的融合方法，可以同时在适应性和精确性这两个指标上获得良好的性能，这正是算法设计的主要指导思想。

经过区域生长法和边缘检测算法过程的处理，我们可以得到两组边缘信息和区域信息，本文对这两种信息进行融合，真实边界的存在信息就来源于此。这两种信息出现的情况可能有：两种边界信息位置相近，为真实的道路边界；两种边界中，只有一种是真实的道路边界；两种边界都为虚假边界。根据上述三种情况，本文提出算法来计算出真实的道路边界：对己经得到的边缘信息和区域信息，根据它们在空间上应该出现在相同或相近的位置上，来计算两组信息中相应位置上离散点之间的距离。

设Ｌａ＝｛Ｌａ１，Ｌａ２，…，Ｌａｍ｝为边缘边界，其中Ｌａｉ（ｉ＝１，２，…，ｍ）为连续的边缘边界线段，每一个线段由离散的边缘点｛（ｘｉ，ｙｉ），ｉ＝

３．１膨胀

膨胀是数学形态学中的基本运算子之一，膨胀的运算符为“，对于一个给定图像集合Ｂ，用结构元素Ｓ来膨胀，膨胀过! ”

程可以做以下描述：首先对Ｓ作关于结构元素原点的映射，并将其映像平移（ｘ，ｙ），最后所有经过平移仍与图像Ｂ相交而不为空的结构元素Ｓ的原点位置所在像素组成了膨胀后的图像。根据

＾）$（ｘ，ｙ）｜#上面描述，其数学定义为：Ｄ＝Ｂ! Ｓ＝&。≠Φ’（ｓ（ｘ，ｙ）∩Ｂ

３．２腐蚀

腐蚀是数学形态学中的另一个基本的运算子，运算符为“。对于一个给定的图像Ｂ和结构元素Ｓ，所有与Ｂ具有最(”

大相关的结构元素Ｓ的当前位置像素的集合即称之为Ｓ对Ｂ

（ｘ，ｙ）｜Ｓｘｙ) Ｂ’的腐蚀。其数学定义为：Ｅ＝Ｂ(Ｓ＝&。从数学形式上也可以这样理解腐蚀：用Ｓ来腐蚀Ｂ得到的集合Ｅ，是Ｓ完全包括在Ｂ中时Ｓ的当前位置的集合。

１，２，…，ｍ｝组成；Ｌｂ＝｛Ｌｂ１，Ｌｂ２，…，Ｌｂｎ｝为区域边界，其中Ｌｂｉ（ｉ＝

１，２，…，ｎ）为连续的区域边界线段，每一个线段由离散的边缘点

｛（ｘｊ，ｙｊ），ｊ＝１，２，…，ｎ｝组成；

因为+（ｘｉ，ｙｉ）∈Ｌａｉ，且Ｌａｉ∈Ｌａ，则可以推出（ｘｉ，ｙｉ）∈Ｌａ；同理可以得出（ｘｊ，ｙｊ）∈Ｌｂ，这样可以把两组信息中的线段当作离散的点来处理。根据公式：

ｄ（ｘｉ，ｙｉ，ｘｊ，ｙｊ）＝-（ｘ－ｘ＇）＋（ｙ－ｙ＇）＜ｄ０

＇

＇

＇＇

３．３开启和闭合

开启和闭合运算是膨胀和腐蚀的代数运算、集合操作来组成的。开启运算是先对图像进行腐蚀然后再进行膨胀，闭合运算是先对图像进行膨胀再进行腐蚀，数学定义分别为：Ｅ＝ＢｏＳ＝

（Ｂ(Ｓ）! Ｓ，Ｅ＝Ｂ・Ｓ＝（Ｂ! Ｓ）(Ｓ。开启运算通过消除边缘的突起而

＇＇

式中ｄ０为空间接近性阈值，一般１＜ｄ０＜８，若（ｘｉ，ｙｉ），（ｘｊ，ｙｊ）满足上式，则认为这两个点是真实的边界点，予于保留。

＇＇

使用图像的边界得以平滑，而闭合运算则是通过先膨胀后腐蚀的处理方法填充图像内部空隙并连接邻近的物体。

经过区域生长法分割后的道路边缘图像中，道路边缘线不一定是连续的，且有一定量的随机噪声，这不便于后续的道路区域检测，考虑把整个道路区域作为一个整体进行处理，就要确保道路边缘图像中道路边缘线的连续性。为了确保整个道路区域在一个封闭区域内，本文采用图像形态闭操作和开操作来解决这个问题，保障道路区域边缘线的封闭性。利用形态学膨胀、腐蚀、开、闭操作对图像进行滤波，其效果决定于结构元与图像形态匹配程度。结构元的尺寸过小，则噪声去除不干净，随着结构元尺寸的增大，图像边缘的构形也随之增加，计算量也会增大，所以结构元的选择比较重要。考虑到道路图像中道路边缘比较连续，本文中所用的结构元为，结构元如下式所示：

６利用感兴趣区域跟踪

在确定了道路边界的准确位置后，车辆进入稳定跟踪的阶

段。这时算法转入跟踪识别模块，跟踪识别算法只需要在感兴趣区域对道路边界进行识别。道路跟踪算法是指车辆处于稳定的行驶状态，利用前一次的道路识别结果来限定当前识别过程中图像的搜索区域，进行实时的道路检测，该算法实质也是道路检测算法。根据前一次识别出的道路边缘线，动态的调整感兴趣的区域范围，进一步提高道路识别的实时性。跟踪算法可以利用前一识别过程得到的道路边界参数来预测。这样就可以把对道路边界的识别限制在一个很小的范围内，即所谓的感兴趣区域。本文根据大量实验得出，当感兴趣区域为道路边界５到１０个像素范围内时，识别的准确性和实时性是比较好的。这样可以排除很多不必要的干扰，以右边界为例：蓝色长方形框代表感兴趣区域，白色点为识别到的道路边界点。这部分的算法如下：

#*

０１０１１１０１０

４边缘检测算法

微分算子类边缘检测是最基本的边缘检测方法，这类算法

１）根据上一帧道路图像确定道路边界线的感兴趣区域。

２）在感兴趣区域范围内识别出道路边界线的位置。根据左

右边界点求出道路中心点，拟合出道路中心线。

较为简洁，计算量较小，并且十分有效。本文利用Ｓｏｂｅｌ算子，

３）求出车辆偏离道路中心线的位置偏差和方向偏差。７

仿真结果和分析

在实际的道路中，车辆行驶的路面往往不是良好的有道路标识线的板油路面，而是粗糙的无标识线的道路。本文利用

Ｓｏｂｅｌ算子是一种一阶微分算子，可以利用快速卷积函数，简单有效，故成为边缘检测法中极为常用的算子。Ｓｏｂｅｌ算子的优点是方法简单、处理速度快，并且所得的边缘光滑、连续。Ｓｏｂｅｌ算

子不仅计算量小，算法简单，而且对各种噪声条件下的图像检测效果都比较令人满意，受噪声影响比较小，检测结果的边缘比较连续，定位也比较准确，误判点较少。在智能车辆系统的道路识

ＶＣ６．０编程对采集的非结构化道路图像进行仿真实验。本文通

过结合区域生长法和边缘检测算法优缺点，利用数学形态学修

（下转第５７页）

《工业控制计算机》２００８年２１卷第４期

５７

表２

表３

３．３高速公路监控系统报文拟定３．３．１帧类别

根据路网监控系统的实际情况，在保持原定义的类型标识主要功能不变的前提下，改变了对部分帧类别的定义。

定义充分考虑了路网各外场设备的属性及参数，拟定相应的信息元素，适用性好，而且预留了相应的帧类别定义，可由另外标准定义其应用，可扩展性强。

３．４．１帧类别６１Ｈ（路段信息），功能码０１Ｈ（路段长度）

具体报文各字节含义如下：

３．３．２源站址，目的站址

报文的源站址，目的站址对应于监控总中心，监控分中心，各监控站，唯一标识各监控站及设备。根据具体情况设置源站址和目的站址。设置范围０～２５５，其中１～２５５代表监控站号或设备号，通常监控总中心地址设为００Ｈ。注意上下行报文信息源站址目的站址需要互换。

控制字中其余报文沿用ＣＤＴ通讯规约中的定义。

３．４．２帧类别Ｂ３Ｈ（车辆检测信息），功能码０８Ｈ（平均车速）

具体报文各字节含义如下：

３．３．３功能码

对于协议所拟定的表２中的９个帧类别，分别定义相应的功能码元素集，受到篇幅的限制，在此不一一给出其具体定义，主要以路段信息、车辆检测信息、气象监测信息及设备工作状态的相关信息元素集为例，分别如表３所示。其中，帧类别６１Ｈ的信息元素集反映了所管辖路段的相关信息，如所辖范围的路段长度、道路封闭信息，车道占有率等，便于上层的监控和管理；帧类别Ｂ３Ｈ的信息元素集反映了检测到车辆的相关信息，如车流量，车速；帧类别８５Ｈ的信息元素集反映了所管辖路段的气候状态，如路段的天气状态、温度、湿度、温度、风向等；帧类别Ａ８Ｈ的信息元素集反映了可变情报板的状态信息，可变情报板的运行状态，告警信息代号，设置显示命令等。

４结束语

随着高速公路的飞速发展，已经覆盖了全国大部分地区，区

域联网化成为高速公路发展的必然趋势，因此制定一种统一的各区域间通用的通信协议已经成为高速公路发展的内在要求。为此本文提出了将电力系统中的循环式远动规约（ＣＤＴ规约）移植到高速公路监控系统作为其数据通讯协议的设想，作为一个参考和方法。

参考文献

［１］白一凡．高速公路监控系统体系结构的研究［Ｊ］．辽宁交通科技，２００３

（６）：５０－５２

［收稿日期：２００７．７．１０］

３．４高速公路监控系统报文举例

现在分别以帧类别６１Ｈ，功能码０１Ｈ（路段长度），帧类别Ｂ３Ｈ（车辆检测信息），功能码０８Ｈ（平均车速）为例，分别如表表３所示。２、

（上接第５５页）

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

正，最后使用感兴趣区域进行跟踪，最终检测到道路中心线。

从仿真实验结果可以看出，算法可以检测到道路的边界和道路中心线，进而我们可以控制车辆安全地运行。

参考文献

［１］胡小锋，赵辉．ＶｉｓｕａｌＣ＋＋／ＭＡＴＬＡＢ图像处理与识别实用案例精选

［Ｍ］．北京：人民邮电出版社，２００４

［２］王强．智能车辆视觉辅助导航中的道路检测技术研究［Ｍ］．南京：南京

航空航天大学，２００５

［３］朗锐．数字图像处理学ＶｉｓｕａｌＣ＋＋实现［Ｍ］．北京：北京希望电子出

版社，２００３

［４］刘佳．用于运梁车辅助驾驶的道路与路标识别［Ｍ］．北京：燕山大学，

２００６

［５］布洛基，布图兹，等．智能车辆［Ｍ］．北京：人民交通出版社，２００２［６］ＭｕｎｅｏＹａｍａｄａ，ＴｏｓｈｉｈｉｒｏＯｓｈｉｍａ，ＫｏｊｉＵｅｄａ，ＩｓａｏＨｏｒｉｂａａｎｄ

ＳｈｉｎＹａｍａｍｏｔｏ，Ａｓｔｕｄｙｏｆｔｈｅｒｏａｄｓｕｒｆａｃｅｃｏｎｄｉｔｉｏｎｄｅｔｅｃ－ｔｉｏｎｔｅｃｈｎｉｑｕｅｆｏｒｄｅｐｌｏｙｍｅｎｔｏｎａｖｅｈｉｃｌｅ，ＪＳＡＥＲｅｖｉｅｗ，Ｖｏｌｕｍｅ２４，Ｉｓｓｕｅ２，Ａｐｒｉｌ２００３，Ｐａｇｅｓ１８３－１８８

［７］ＹｕｉｃｈｉＫａｔｏ，ＴａｋａｓｈｉＨａｙａｓｈｉａｎｄＴａｍｏｔｓｕＫｉｔａｇａｗａ，Ｄｅｔｅｃｔｉｏｎ

ｏｆｅｘｔｒａｎｅｏｕｓａｂｎｏｒｍａｌｓｏｕｎｄｓａｆｆｅｃｔｉｎｇｒｏａｄｔｒａｆｆｉｃｎｏｉｓｅｂｙｕｓｅｏｆａｎｅｃｅｓｓａｒｙｃｏｎｄｉｔｉｏｎｍｅｔｈｏｄ，ＡｐｐｌｉｅｄＡｃｏｕｓｔｉｃｓ，Ｖｏｌ－ｕｍｅ６７，Ｉｓｓｕｅ１０，Ｏｃｔｏｂｅｒ２００６，Ｐａｇｅｓ１００９－１０２１［８］马颂德，张正友．计算机视觉［Ｍ］．北京：科学出版社，１９９８

［收稿日期：２００７．９．２７］