增强现实技术在无人机近进着陆中的应用

2010中国制导、导航与控制学术会议 (CGNCC 2010) 2010年10月16~18日 中国 上海

增强现实技术在无人机近进着陆中的应用

王浩 蔡志浩 王英勋

（北京航空航天大学 无人驾驶飞行器设计研究所 北京 100191）

摘 要：无人机近进着陆过程是飞行事故的多发阶段，利用增强现实技术可以在无人机近进着陆的过程中给出理想的着陆曲线并叠加相应的提示信息，使操纵手可以参照理想着陆曲线控制飞机着陆，能够有效降低操纵手的心理负担，降低飞行事故率。然后结合立体视觉技术进一步提出了实现无人机自主着陆的方法。

关键词：增强现实；无人机；近进着陆；导航；立体视觉

The Application of Augmented Reality Technology in Approach and Landing

for Unmanned Aerial Vehicle

Wang hao, Cai Zhi-hao ,Wang Ying-xun

(Research Institute of Unmanned Aerial Vehicle, Beijing University of Aeronautics and Astronautics, Beijing 100191, China)

Abstract ：Flight accidents often happen in the process of approach and landing for UAV, the augmented reality technology can draw a ideal landing curve and superposition relevant operation tips during this period. The operator can control the UA V land according to the ideal landing curve. It can effective lower the operator’s psychological burden and reduce the rate of flight accident. Further, propose the method that combine with the stereoscopic vision technology to realize UAV autonomous landing.

Key words：augmented reality; UAV; approach and landing; navigation; stereoscopic vision

引 言1

增强现实（Augmented Reality ，简称AR ），也被称之为混合现实，是近年来在虚拟现实技术的基础上发展起来的一个新兴的研究方向。

它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同，使人们可以同时看到这两种信息叠加以后的效果，具有虚实结合, 实时交互, 三维注册的特点。

增强现实技术已经被广泛的应用在游戏娱乐中。事实上，增强现实技术在军事中也有巨大的应用价值。美国海军研究所已经资助了一些增强现实研究项目。国防先进技术研究计划署（DARPA ）也已经投资了HMD 项目来开发可以配有便携式信息系统的显示器。

无人驾驶飞机是无人驾驶飞行器（Unmanned Aerial Vehicle ）的一种，简称无人机。相比有人驾驶飞机，因为不需要考虑驾驶员的生理因素和一些社会道德因素，使得无人机具有一些有人驾驶飞机无法比拟的优点。也正因为如此，

无人机在军事和民用方面都发挥了重大的作用，受到世界各国的广泛重视，竞相投入大量人力、物力进行相关技术的研发。

尽管无人机的着陆时间只占整个飞行任务总时间的很少一部分，但许多飞行事故都出现在着陆阶段，稍有差错便会造成重大的飞行事故。也正因为如此，一直以来无人机的着陆控制技术一直是无人机领域的热点研究问题。

本文在对两领域的相关技术进行研究的基础上，提出了一种结合增强现实技术的无人机辅助着陆导航方法，可以协助无人机操纵手对无人机进行操纵，实现安全着陆。然后通过分析进一步提出了通过增强现实技术实现无人机自主着陆的导航方法。

1 增强现实系统工作原理

1.1 增强现实的关键技术

增强现实是一种多学科融合的技术，它牵涉到摄像机标定、计算机图像学、机器视觉等众多学科。其中显示技术和三维注册技术是开发增强现实系统的关键技术。显示技术包括：头盔显示器显示、普通显示器显示、手持式显示器显示、投影式现实等。三维注册技术是指实时、精确的计算观察者视点相对真实世界的位置和姿态，使得虚拟场景能够与真实世界无缝融合(即三维注册) 。

三维环境

基金项目：中央高校基本科研业务费专项资金（YWF-10-02-074） 作者简介：王浩(1985-), 男, 河北沧州人, 汉, 硕士研究生, 研究方向为无人机导航与控制；蔡志浩(1979-), 男，河南焦作人，汉族，博士，讲师，研究方向为无人机导航与控制，任务规划；王英勋(1964-), 男, 黑龙江鸡西人, 汉, 博导, 研究员, 总工程师, 研究方向为无人机自主控制。

注册是增强现实系统的关键性技术，也是衡量系统性能的重要标准。

注册技术一般可以分为三种，基于跟踪器的注册技术、

基于计算机视觉的注册技术和基于认知的注册技术。

由于基于计算机视觉的注册技术设备简单、实现方便、通用性强、成本低廉，近年来在AR 中应用较多。本文采用

的是基于标识的三维注册，其具有设备简单、注册精度高的优点。

1.2 增强现实的工作流程

典型增强现实系统的工作流程如下：

(1) 摄像机把真实世界的视频流传输到电脑中。 (2) 通过算法在每一帧图像中搜索黑色方框。 (3) 当搜索到黑色方框以后通过数学算法计算摄像机和黑色方框的相对位置。

(4) 然后鉴别黑框内部的符号是否与内存中的符号相一致。

(5) 如果符号一致，就会在黑色方框上面生成一个虚拟的图像。

(6) 这时通过头盔显示器或摄像头就可以看到虚拟物体在真实场景叠加以后的景象。

图2无人机降落过程示意图

2．2无人机着陆导航技术

早期的无人机基本上都是靠操纵手的遥控实现无人机的安全着陆。着陆的成功率严重依赖于操纵手的专业知识、反应能力和经验水平，稍有不慎，便会造成严重的飞行事故，故各国对无人机操纵手的挑选与培养都比较严格。无人机操纵手在无人机着陆过程中也承受着巨大的心理压力。

随着技术的发展，对无人机自主着陆的理论算法逐渐成熟，越来越多的无人机采用自主着陆的方式。具有自主着陆能力的无人机比普通的无人机更能够适应作战环境的要求，可以最大限度的减少人为因素带来的不确定

性。自主着陆使无人机降低了对地面辅助设备的要求，尤其在作战环境下，机场设施遭受毁坏或受到干扰时，更能体现出自主着陆所具有的重要意义。

目前国内外研究的用于无人机自主着陆的导航技术包括：惯性导航系统(INS)，GPS 导航、INS/GPS组合导航系统和视觉导航系统。其中，惯性导航是最早研究，最为成熟的导航技术；GPS 是近十年兴起的，应用最为广泛，技术也相对成熟的导航技术；INS/GPS组合导航是组合最为理想，研究最多的一种导航技术。

但是上述几种导航技术都它们各自的缺点:惯性导航系统是利用陀螺、加速度计等惯性元件感受运载器在运动过程中的加速度，然后通过积分计算，得到载体的位置与速度等导航参数的，它的最大缺点是误差会随着时间的推移而发散，因此惯导系统不能独立使用，而需与其他导航方法组合使用;GPS 全球定位系统是利用导航卫星来进行导航定位的，具有精度高、使用简单等优点，由于现在GPS 导航完全被美国控制，在和平时期是一种很好的自主导航方法，但如果发生战争，将完全受制于人，因此目前它并不适合单独作为一种自主导航技术应用。基于视觉的导航系统是当今自主导航的研究热点，它是通过对视觉传感器获得的图像进行各种几何参数和其他参数的测量

图1 增强现实系统工作流程

对标志物的检测效果受标志物的大小，样式的复杂程度，光照条件，摄像机与标志物的相对关系的影响。

2 无人机着陆技术

2.1无人机近进着陆过程介绍

无人机的回收方式可归纳为降落伞回收、空中回收、起落架滑轮着陆、拦截网回收、气垫着陆和垂立着陆等类型。

近年来，由于控制技术的提高以及无人机向多元化方向发展的需要，轮式起降已成为一个重要的发展方向。

无人机在完成预定任务后，一般要预留一小时左右的待机时间，在此之后完成进场与着陆过程。全部过程包括进场、下滑、拉平、飘落、和滑行五个阶段，如图2所示。

从而得到无人机导航定位参数的一种技术，它具有设备简单便宜、获得信息量大、完全自主和无源性等优点。

的偏差，甚至可以给出操纵手相应的操纵提示。一个简单的实验示例如图4、5所示。图中的圆球代表无人机所处的位置，因为实际系统中无人机按照理想曲线飞行，与曲线相对位置不断变化，实际系统中圆球是不存在的，此处是作者为了方便说明而加入的。同理，图5也是为了说明方便而加入，实际系统中是不需要这个视角的信息的。

3 基于增强现实的无人机辅助着陆技术研究

无人机的操纵是一个比较复杂的过程，对操纵手有着比较高的要求。它除了要求操纵手了解一定的空气动力学原理、大气紊流知识外，还要求熟悉该型无人机的气动特性，具备一定的操控经验和良好的心理素质。无人机返场降落时，由于离地面近，稍有不慎，便会撞地受损，从而对操作手提出了更高的要求。

据来自美国陆军医学试验室和美国陆军风险信息管理系统, 对美军当前服役的5种无人机:猎人(Hunter)、暗影(Shadow)、捕食者(Predator)、先锋(Pioneer)和全球鹰(Global Hawk) 无人机失事/故障数据的人为因素的影响进行了分析、统计, 人为因素约占整个无人机失事/故障的33%-68%,其中无人机着陆过程中, 人为因素引起的失事占47%左右。

因此研究基于增强现实的无人机辅助着陆技术具有极大的现实意义。

户外的三维注册技术是增强现实系统开发的一个难点，至今没有得到很好的解决，目前主要是运用基于跟踪器的注册技术来实现户外空间的三维注册。

由于本文只研究机场的着陆情况，机场位置是固定的，而无人机在空中的视野相对比较开阔，故可以采用基于标识的三维注册技术，其具有设备简单、注册精度高的优点。

首先在机场跑道合适的位置粉刷如图3所示的标志物。

图4 无人机着陆过程中增强现实生成的理想曲线和提示(正视图

)

图5 无人机着陆过程中增强现实生成的理想曲线和提示(侧视图)

操纵手只要按此曲线控制无人机飞行便可以实现安全着陆，可以有效的降低对操纵手的专业技术要求，减小操纵手的心理负担，提高着陆的成功率。

其中理想着陆曲线的生成与更新是本系统的难点，因为随着摄像头与标志物的距离不断变化，看到的景物范围和大小也在不断变化，因此，着陆曲线必须随之变化，这样才能有效的引导无人机着陆，作者认为按照飞行高度来不断更新理想着陆曲线是一个可行的方法。实际的着陆曲线的形状以及其上各点的速度、姿态要求应该跟据无人

图3 基于标识的三维注册标志物

机参数及机场条件计算得到。

4 基于增强现实的无人机自主着陆技术研究

要实现自主着陆，无人机必须可以依靠自身传感器得到着陆所需的导航信息。在本系统中，我们首先在无人机上平行安装两个摄像头，这样当无人机进场着陆时便可以在两个摄像头中分别显示理想着陆曲线。由于两个摄像头与标志物所处的角度不同，而理想曲线与标志物的方位是固定的，所以左右摄像头所拍摄的理想曲线的角度是不

无人机上装载有单目摄像头，在进场着陆时可以把所拍摄的视频通过无线链路传输给操纵手，这样操纵手就可以像飞行员一样获得飞机所处位置的视角。

当无人机进场时首先通过机载摄像头搜索跑道上的标志物，当搜索到标志物后通过程序计算无人机与标志物的相对位置，然后在合适的位置生成根据无人机参数及机场条件计算得到的三维理想降落曲线。并可以根据机载传感器测量的数据，得到无人机的姿态、位置信息，计算出与理想曲线

一样的，示例如图6、7所示。

参考文献:

[1] R. T. Azuma. A survey of augmented reality[J].

Presence:Teleoperators and Virtual Environments, 1997, 6(4):355–385. [2] 李一波，康绍鹏，乔志华，朱琼. 增强现实研究现状及其在遥

操作中的应用[J]. 系统仿真技术及其应用，第10卷：790-793. [3] 宁东方. 无人机自动着陆控制系统的设计与实现研究[D].西安：

西北工业大学，2006.

[4] 杨亮. 无人机着陆引导技术[J]. 测控遥感与导航定位.

2009,39(12)：29-30,36.

[5] 张广军. 机器视觉[M].北京:科学出版社，2005 .

[6] ARToolKit.[DB/OL].http://www.hitl.washington.edu/artoolkit

/documentation/userintro.htm

[7] Azuma R,et al, A Motion-Stabilized Outdoor Augmented Reality

System[A].Proc.IEEE Virtual Reality[C].Los Alamitos,Calif, IEEE CS Press,1999:252-259.

[8] Kukulakos K N,Vallino J R.Calibration-Free Augmented Reality[J].

IEEE Trans Visualization and Computer Graphics,1998,4(1):1-20. [9] 王涌天，刘越，胡晓明. 户外增强现实系统关键技术及其应用的

研

究[J].系统仿真学报2003，15

[10] 马颂德，张正友. 计算机视觉-计算理论和算法基础[M]，北京:

科学出版社，1998.

图6 右摄像头拍到的图像

图7 左摄像头拍到的图像

这样便可以根据立体视觉的算法，左右图像经过图像预处理转换为灰度图，由摄像机标定、校正、立体匹配输出视差图，通过提取特征点的视差值算出其相对摄像头位置的三维坐标。这样便可以得到无人机所处方位与理想着陆曲线的偏差，通过控制，使偏差趋于零，便可实现无人机沿理想曲线的自主着陆。

4 结论

本文结合增强现实技术和无人机着陆两个热门研究领域的相关知识，提出了基于增强现实的无人机辅助着陆操控方法的基本思想，并对其进行了理论探索和实验室环境下的简单验证。通过增强现实技术叠加虚拟信息，能够更好的指导操纵手对无人机进行操纵，降低其心理负担，减少误操作率，可以降低对操纵手的专业知识要求，具有一定的应用价值。

然后对结合立体视觉技术实现自主着陆的方法进行了简单探讨。

但由于条件所限并没有进行实际验证，更多还只是停留在理论上，很多应用中的实际限制，诸如三维注册的实时性、虚实结合的紧密型、理想曲线更新的实时性等还没有进行可行性验证，因此还比较初步，有待进一步研究。

增强现实技术在无人机近进着陆中的应用

作者：作者单位：

王浩， 蔡志浩， 王英勋

北京航空航天大学 无人驾驶飞行器设计研究所 北京 100191

本文链接：http://d.g.wanfangdata.com.cn/Conference_7365656.aspx