基于双目立体视觉的测距系统设计
毕业论文(设计)
基于双目立体视觉的车辆测距系统设计
姓
车辆工程
学 号 年 级 专 业 系 (院) 汽车学院
指导教师
摘 要
在众多车距测量系统中,双目立体视觉测量系统以其法简单快速、鲁棒性好、性能可靠等优点已成为研究和应用的热点。它可以在不借助任何额外光源的情况下,单纯地依靠自然光照来实现利用二维图像重建目标三维信息[1]。该系统通过摄相机对目标图像信息的提取,以及车载电脑图像信息校正和分析后,将相应的执行信息传给执行机构,由执行机构做出相应的减速、加速、停车等动作。进而达到有效地降低事故的发生概率,改善行车安全性、舒适性和提高交通运输系统的运行率。
本文主要论述了计算机视觉测距系统的发展历程,种类和意义,双目立体视觉系统的原理、完整结构、特点以及如摄像机的标定等重要实现步骤和应用领域。该视觉测距系统的原理如下:首先,通过系统自身左右两摄像头对对前方车辆尾部的拍摄并对所拍摄的图像中某些特征点坐标进行提取。然后,利用成像原理和各个坐标系之间的关系建立数学模型进行计算,即可得到前方车辆尾部对应点的世界坐标。在得知车身尾部某点世界坐标后,由计算可得与目标车辆距离[2]。该系统具有应用范围宽广,测量精度高,可靠性强,实现手段灵活,造价低等明显优势。
关键词:智能交通系统;双目立体视觉;车距测量;摄像机标定;特征匹配
Abstract
Compared with other types of vehicle distance measurement system,this technique has many advantages such as velocity,robustness,reliable performance,and has become the focus of research and applications. It does not need to set radiation sources, just need utilize 2D image to recreate 3D information under natural light .Binocular stereovision technique mainly do the research on how to use 2D image to rebuild 3D atmosphere information .For one thing ,the on-board computer rectify and analyze graphics information after camaras capture image information.For another,computer send executive order to the executing unit to execute a series of movements such as slowing down,acceleration or stop.It can efficiently decrease the accident rates, improve car security and comfort, and alleviate the congestion situation.
This paper mainly discusses the history,significance and some key procedures of stereo vision measurement system,including simple principle,structure,characteristics of binocular stereovision system ,camera calibration and other important steps .First of all,it captures the same scene from different location of both cameras,and then calculate the position deviation between image pixels with the help of target ’s 3D information .In that case,the system can determine distance between the target vehicle and the cameras.The distance measurement has following advantages,wide application range,wide measurement range and high measurement accuracy.
Keywords: Intelligent Transportation System; Binocular Stereovision; Parallax; Camera Calibration ;Feature Matching
目 录
1绪论 .................................................................... 3
1.1计算机视觉技术的发展过程 ............................................ 3
1.2计算机视觉技术的意义 ................................................ 3
1.3论文组织 ............................................................ 4
2车距测量方法 ............................................................ 4
2.1超声波测距 .......................................................... 4
2.2激光雷达测距 ........................................................ 5
2.3毫米波雷达测距 ...................................................... 6
2.4视觉测距 ............................................................ 6
2.4.1单目视觉 ........................................................ 6
2.4.2双目立体视觉 .................................................... 6
2.4.3三(多)目视觉 .................................................. 7
3双目立体视觉系统设计 .................................................... 7
3.1双目立体视觉系统原理 ................................................ 7
3.2双目视觉结构 ........................................................ 8
3.2.1数字图像的采集 .................................................. 9
3.2.2摄像机标定 ...................................................... 9
3.2.3图像预处理与特征提取 ........................................... 10
3.2.4图像校正 ....................................................... 10
3.2.5立体匹配 ....................................................... 10
3.2.6三维重建 ....................................................... 10
3.3常见的相机成像模型 ................................................. 11
3.3.1针孔模型 ....................................................... 11
3.3.2畸变模型 ....................................................... 13
3.4常见的摄像机标定算法 ............................................... 14
3.4.1DLT 法的原理 .................................................... 14
3.4.2TSAI 的两步法的原理 ............................................. 17
4系统关键实现步骤 ....................................................... 19
4.1摄像机的标定 ....................................................... 19
4.2车身特征点提取 ..................................................... 22
4.3车距计算 ........................................................... 25
4.3.1车距测量算法 ................................................... 25
4.3.2计算结果 ....................................................... 27
5结 论 ................................................................. 28
参 考 文 献 . ............................................................. 30
谢 辞 . .................................................................. 32
附 录 . .................................................................. 33
1绪论
1.1计算机视觉技术的发展过程
计算机视觉诞生于上20世纪50年代,近几十年该技术得到了科研工作者极大的重视,并且已经取得了很大的进步与提高。该技术从最初仅对二维图像分析发展到如今的实现了对三维复杂场景理解[3],而且该技术正在融入我们生活的很多领域,如工业检测、军用机器人、医学成像、教育与娱乐等。计算机视觉技术研究开始于统计模式识别的兴起。在当时机器视觉技术的研究主要集中于图像识别、图像分析和理解[4]。60年代,计算机视觉技术获得了大突破,Robert 开创了以理解三维信息为基础的研究的先河。首先,借助计算机对数字图像中三维结构进行提取。然后,特定的数学模型或数学工具进行计算获得目标物体的空间三位信息,进而得到识别物体的目的[5]。到70年代,计算机视觉系统的出现,以及计算机视觉理论首次较完整提出,使得视觉技术的发展取得了较大的进步。1973年英国的Marr 教授在麻省理工领导了一个专门从事机器视觉理论方面研究的的专家小组。。1977年,不同于Robert 所提出的计算机视觉理论的Marr 视觉理论被提出[6]。到80年代,在Marr 理论框架的基础上演变出了物体识别理论框架、主动视觉理论框架、视觉集成理论框架等新理论。计算机视觉技术的发展呈现一片良好的前景。
如今,机器视觉技术已走出试验室,并且已在工业生产、医学应用、军事导航和智能交通等诸多有较好的应用[7]。但是,仍然存在很多亟待解决与完善的问题。如何通过改进现有的算法和匹配策略以达到降低噪声干扰等外界因素等对系统性能影响的目的。这些问题不解决,该技术的研究与全面应用就很难有大的突破。该技术引起了学术界和科技巨头们极大的关注,众多科技巨头也纷纷将目光投向了该领域,如美国谷歌公司的Google Driverless Car计划,德国奥迪汽车的车载交通信号灯识别技术等都是最新的应用研究。而且,第十二届亚洲计算机视觉大会(ACCV )将于14年11月在新加坡举行。足以表明学术界对计算机视觉技术研究的重视。由此可见学术界对很重视计算机视觉技术的研究,相信在将来会取得更大的突破。
1.2计算机视觉技术的意义
起源于上世纪50年代的计算机视觉技术,经过几十年的研究发展,各种理论和技术愈来愈成熟和完善,而且很多技术已经实现走出试验室被真正运用到日常的生产生活中。特别是在智能汽车及交通系统领域的研究与应用,已成为各大研究机构和科技巨头们研究的热点[8]。典型的如美国谷歌公司的Google X试验项目之一Google Driverless Car ,目前已经无事故地测试了超过50万公里[9]。该项目的汽车就借助于摄像机来实现识别前方道路交通和车身周围状况的目。此外,很多传统汽车界巨头在该领域也有研究,
如沃尔沃、奥迪等,其中奥迪日前公布的车载交通信号灯识别技术,它可以根据驾驶的实际情况来判定目前汽车的安全行驶系数。如果电脑指示汽车不能赶在红灯前达到下个路口,则系统将会发出控制汽车进行刹制动信号,从而能够有效防止急刹车和闯红灯的发生,提高了行车安全性。
从汽车的诞生到汽车工业如此发达的今天,汽车安全问题一直伴随着汽车。不断上升的汽车保有量和一直居高不下的交通事故率无时无刻不在人们的耳边敲着安全行车的警钟。据数据显示,中国的汽车保有量只占全世界的1.9%,交通死亡事故却占全球的15%[10]。这说明了我国道路交通安全形势的严峻性,不得不引起重视。这说明了我国道路交通安全形势的严峻性,不得不引重视。目前,车距测量系统这一ITS (智能交通系统)中最重要组成部分已经引起了各大研究机构和科技公司极大的关注与重视。车距测量系统性能的好坏直接关系到汽车驾驶的舒适性和安全性。视觉测量是借助图像传感器来检测空间物体的三维坐标,进而获得被测物的尺寸,形状和运动状态等信息。并且凭借方法简单快速、鲁棒性好、性能可靠等优点已成为研究和应用的热点。该系统通过对目标图像信息的提取、校正和分析后,将目标物信息传给车载电脑,车载电脑通过分析做出相应的减速、加速、停车等动作,保证车辆行驶的安全性、舒适性和交通系统的运行效率。随着计算机硬件的集成度与计算能力的逐步提高使该技术已基本达到实时处理信号的要求,毫无疑问,这将有助于更好地推动ITS 健康快速地向前发展。
1.3论文组织
本文第二章简单介绍了目前常见的集中车距测量方法,包括超声波测距,激光雷达测距,毫米波雷达测距和视觉测距等。并详细介绍了视觉测距中三种被动测距——单、双、三(多)视觉测距系统。简述了各种测距系统的特点和结构。
第三章着重介绍了双目立体视觉系统设计。涉及简单的工作原理以及系统六大结构。
第四章第四章分为三部分:主要介绍摄像机的标定、车身特征点的提取与匹配[11]和车距的计算等关键实现步骤。在摄像机标定部分详细介绍了成像模型、摄像机标定算法、以及摄像机的标定结果。
第五章是对全文的总结。
2车距测量方法
如今,主要的车距测量方法有激光测距、超声波短距离测距、微波雷达测距、夜间应用的红外线测距、视觉系统测距等[12]。
2.1超声波测距
鉴于超声波具有如下优良特性:指向性强,传播距离远,能量耗散缓慢。因此,超
声波测距技术已被广泛应用于很多领域,常见的超声波测量仪有测距仪和物位测量仪等。超声波测量具有快速、方便、而且易于计算的优势,而且有利于实现实时控制。此外,在测量精确度和错误率等方面都能达到工业应用所要求的水平。所以,该测量方法也已被广泛应用于移动机器人研制领域。
超声波频率高, 穿透性强,指向性好,而且能量衰减小。超声波测距主要包括发射器、接收器和信号处理三部分[13]。超声波测距仪利用反射性原理工作。通过记录发射器从发出信号到接收器接收到反射信号的时间间隔,超声波在该间隔内传播的距离,即为距离目标车辆的距离。通过测量该方波脉冲的宽度和超声波在当时条件下的传播速度就能确定发射器与探测器之间的距离,进而达到测距的目的。超声波测距仪原理图如图1所示。
图1超声波测距系统
虽然超声波测距仪原理简单,制造简单,成本低廉。但是,并不满足高速行驶是的测距要求,主要原因有如下:一是超声波的传播速度易受外界温度、湿度等因素的干扰;二是超声波衰减正比于传播距离的平方。所以,目前国内外一半的超声波测距仪理想测量距离5米左右,因此一般只能应用于汽车自动泊车系统中。
2.2激光雷达测距
目前常用的激光测距仪的主要原理有计数原理和相位原理。计数原理是通过记录从发出脉冲到激光返回接收装置期间的脉冲个数,即可计算出距被测物的距离。但是,由于光波的速度很快,所以对计数器的灵敏度要求高,而且测量距离较短,误差也就很大。其原理如下:首先,由光源发出按某一频率变化的调制光波,而且光波强度变化与光源驱动电源电压有相同的变化规律。然后,接收端获得调制回波后将其与驱动电压信号相比较来获得相位差。根据相位差就可算出距被测物的距离。激光测距具有如下特点:效率高,结构简单,成本低廉。相比于他测距方法,激光雷达测距具有精度高,抗干扰性
强等优点。
2.3毫米波雷达测距
雷达(Radar )的工作原理是通过测定发射脉冲和目标回波之间的时间差来测量车离。雷达测距所使用的电磁波频率为3MHz-300GHz ,要远高于超声波。与超声波相比雷达使用的电磁波波长短,电磁波辐射射束幅度小,有利于降低误差和干扰。除此之外,由于雷达频移大,相对速度高,常常作为长距离传感器,与其他方式雷达测距方式相比其探测性能相对稳定;相比于超声波测距,受大气紊流、雨、雪、雾、阳光、污尘等复杂外界环境的干扰很小。
2.4视觉测距
视觉测量是借助图像传感器来检测空间物体的三维坐标,进而获得被测物的尺寸,形状和运动状态等信息[14]。视觉测量方法有很多种类。按照被测物尺寸来分,视觉测量系统分为近景测量与显微测量两类。按照测量过程中设备固定与否来分,测量系统分为固定是和移动式。按照照明方式不同,视觉测量系统分为主动式和被动式两种。主动式视觉测量是利用特殊的受控光源照射被测物,根据被测物体表面的反射特性及光学特性来获取被测物的三维信息。主动式测距系统具有很多优点,典型的有精度高,实时性强和抗干扰性强等。而被动式视觉测量系统不需借助特殊光源,在自然光条件下的二位图像来重建被测物的三维信息。由于不需要设置受控光源,所以设备结构简单,适应性强、实现手段灵活、成本低廉,因而能在视觉测量中得到相当广泛的应用。被动视觉测量系统根据系统所使用摄像机的数量可以分为单目视觉测量系统和双目视觉测量或三(多)目视觉测量系统两种。被动测距技术的主要研究内容就是被动立体视觉技术[15]。下面将主要介绍被动测距系统。
2.4.1单目视觉
单目视觉是指仅凭借一台相机拍摄的一张图片来进行距离测量。由于只需要一台相机,所以,该方法具有如下优点:结构简单,标定容易,匹配方便。因此,单目视觉是目前研究的热点。单目视觉与结构光学结合亦可以构成主动测距。单目视觉方法可以划分为聚集法和离焦法两类。聚集法是首先使相机相对于被检测点处于聚焦位置,然后再根据透镜成像公式即可求取被检测点到相机的距离。离焦法是根据标定出的焦距模型计算被检测点到相机的距离。
2.4.2双目立体视觉
作为被动测距一个重要分支的双目立体视觉测量是目前研究和应用最广泛的一种距离测量技术。它在自然光照场景下的即可利用二维图像来重建场景中目标车辆尾部某点的三维信息。而双目立体视觉的主要研究的就是使机器通过二维图像重塑三维环境信息的能力。此种测距系统具有适应性强、实现手段灵活、测量效率高、造价低等优点。
立体视觉测距系统根据模拟人体眼球视觉原理来获得物体三位信息,在非接触工业检测、文化产业、公共安全、视觉导航、地图生成、航空勘测等诸多领域都有很好的应用前景。
2.4.3三(多)目视觉
三(多)目立体视觉系统是以双目视觉为基础上的一种改进方法。该测距系统通过利用摄像机旋转来获取多副图像,通过各对应的立体图像中对应特征点的视差可得到目标物体的三维信息,从而达到测量的目的。三(多)目视觉的最大优点就是可以利用三(多)台摄像机所提供的额外的极线约束来解决局部双目匹配存在的,有候选点匹配不确定而引起的误差匹配问题,三目视觉有三种常用构型:矩形共面构型,共线构型,非线性构型。分别如图1、2、3所示。矩形共面构型的对极线和相机水平扫描线一致,共线构型的对极线与相机的水平和垂直扫描线一致。
图2矩形共面构型 图3共线构型 图4自由的非线性构型 3双目立体视觉系统设计
双目立体视觉系统通过直接模拟人眼视觉原理来实现测距目的的。首先,用两台型号、性能相同、相对位置固定的摄像机来捕获同一被测物的两幅图像。然后,通过匹配和提取出某些特征点的像点坐标后。最后,利用该成像模型的数学模型就可以计算出目标上某点的三维坐标,进而就可以求得摄像机与目标之间的距离。完整双目视觉系统分为图像摄取、摄像机标定、双目视觉系统标定、特征提取、双目图像匹配和三维重建六大部分[16]。
3.1双目立体视觉系统原理
双目立体视觉测量系统是通过模拟人体的双眼来达到测距的目的的。其双目成像示意图如图5。