距离图像局部特征提取方法综述
第25卷第5期模式识别与人工智能
V01.25No.52012年10月
PR&AI
0ct
2012
距离图像局部特征提取方法综述
郭裕兰1’2
鲁敏1
谭志国1万建伟1
1(国防科技大学电子科学与工程学院长沙410073)
2(SchoolofComputerScienceandS0ftwareEn舀neering,TheUniversityofWestemAust阳1ia,Perth6009)
摘要基于距离图像的三维目标识别是计算机视觉领域的研究热点,而局部特征提取则是实现遮挡和复杂场景
下三维目标识别的关键.文中首先介绍距离图像及其表示形式,详细分析法向量、曲率和形状索引等微分几何属性.进而将局部特征检测方法分类为固定尺度和自适应尺度方法,将局部特征描述方法分类为基于深度信息、基于点云空间分布和基于几何属性分布的方法,并对各种具体算法进行阐述、分析和定性评价.最后对现有方法进行归纳总结,并指出所面临的挑战及进一步研究的方向.关键词三维目标识别,距离图像,局部特征,特征提取中图法分类号TP
242.6
SurVeyofLocalFeatureExtraction
On
Rangehnages
GUOYu—Lanl”,LUMinl,TANZhi.Gu01,WANJian一Ⅵkil
1(c0Z如ge矿Eze甜ron记&iewe口nd胁i凡卯矗增,肫fio乃oz‰如e瑙渺矿D咖瑚e‰^加觇fy,
I%口,咿^口410073)
2(&幻oZ旷co印蹴r&据脚口以|sQ舰nre
E,柳脚以昭,孤e踟溉毋矿耽s抛mAw讹fi口,n厅^6009)
ABSTRACT
Three
dimensional(3D)object
recognitionis
a
hotrese雅chtopicincoInputervision.Localfeature
extractionis
a
keystagefor3Dobjectrecognitionwiththepresenceofocclusionandclutter.Firstly,
mngeimagesandtheirrepresentationsare
described.Thedifbrentialgeometricattributes
are
introduced,
includingthesud’ace
no瑚al,
the
cun,ature
andtlleshapeindex.Then,
thelocalfeaturedetection
methods
are
classifiedinto
6xedscalemethodand
adaptive
scale
method.
And
thelocalfeature
descriptionmethods
are
classi6edintodepthValuebased,pointspatialdistributionbasedandgeometric
attributesdistributionbasedmethods.ThesemethodswithtIleirmeritsanddemerits
are
described.
Finauy,theexistingmethodsare
summ撕zed
andseveralchaUengesandfutureresearchdirections
4re
Dointedout.
Key
Words
3D
ObjectRecognition,RangeImage,LocalFeature,FeatureExtraction
女国家自然科学基金项目(No.60972114)、国家博士后科学基金项目(No.20100481511)、国家留学基金委csc奖学金项目(No.2011611067)资助
收稿日期:2011一04—07;修回日期:2011一lO一28
作者简介郭裕兰,男,1985年生,博士研究生,主要研究方向为三维目标识别、激光雷达数据处理等.E.mail:ylll蚰.guo@nudt.edu.cn.鲁敏,男,1977年生,副教授,主要研究方向为激光雷达目标识别.谭志国,男,1978年生,博士后,主要研究方向为图像处理、模式识别等.万建伟,男,19“年生,教授,博士生导师,主要研究方向为现代信号处理、计算机视觉等.
万方数据
模式识别与人工智能25卷
1
引言
近年来,随着三维(3D)成像技术如激光雷达和结构光主动成像等的快速发展,距离图像的获得变得越来越便捷.距离图像反映物体的三维空间几何形状信息,相对于二维图像而言,其不受光照、视点和尺度变化等¨屯。因素的影响,有望克服二维图像目标识别中存在的诸多瓶颈,目前已在人脸识别∞。j、人耳识别∽J、人头识别∽j、三维模型建模n0]、自主驾驶Ⅲ1以及导航与制导‘12—41等领域得到广泛关注,成为新的研究热点.
Besl[15]、Bradv㈨、Campbell㈣和Mian㈣等对
特征提取、三维建模和匹配识别等进行详细分析,并将三维目标识别系统划分为离线建库和在线识别两部分¨9【.特征提取作为三维目标识别中最关键的一个环节,在很大程度上决定着识别系统的性能.特征主要包括全局特征和局部特征两类,全局特征计算量小,便于实现,在三维模型检索中得到广泛应
用怛0|.但它对细节的鉴别力不强,要求对目标预先
分割且三维数据完整,因而应用范围受限.局部特征
对遮挡和背景干扰有很强的适应性¨7I,被广泛应用
于距离图像配准、三维建模和目标识别中,成为当前研究的热点,因而本文将只对局部特征提取方法进
行分析.
在距离图像局部特征提取领域,已取得大量的
研究成果.Campbell[17]、Mamic㈨和Mian㈨等分别
于2001年、2002年和2004年对现有的三维建模和识别算法进行较为全面的评述.近10年来,又有大量的局部特征提取算法陋“’弘冽涌现,然而尚缺乏
文献对该领域的成果进行总结梳理和分析.本文与
文献[15]“18]、[21]等对三维建模、表征和识别
整个过程进行总结分析不同,本文将重点分析局部特征提取技术,因而更具有针对性;与文献[3]、[4]、[7] ̄[9]、[27]等只对人脸、人耳或人头等特定目标的识别和特征提取问题进行分析不同,本文将研究对象扩展为三维自由形态目标∞J,因而有助于为更多领域的研究人员提供思路;与文献[17]、[18]等现有综述相比,本文大量增加了近十年的新成果,因而能更准确地反映该领域的最新研究进展.2
理论基础
2.1基本概念
二维图像通常由光学相机获得,可分为二维彩
万方数据
色图像和二维灰度图像∽J.从数学角度看,二维彩色图像(coloredImage)是一个五维矢量[M。,可;,R。,
G;,召i],i=1,2,…,Ⅳ,其中,££和移为像素坐标,尺、G
和B为对应的红绿蓝分量,Ⅳ为总的像素数.二维灰
度图像(Gray
scale
Image)是一个三维矢量[“i,秽i,
‘],其中,为光的反射强度.二维强度图像(IntensityImage)与二维灰度图像类似,只不过这里的光反射强度是由成像传感器的主动光而非自然光照射物体而获得的.
距离图像(RangeImage)也称为深度图像,可
采用伪灰度、点云或者网格表示[28|.从数学角度看,
伪灰度表示的距离图像是一个三维矢量[u。,秽。,‘],其中,r为传感器焦平面到目标成像点之间的距离.点云表示的距离图像是结合成像点的距离和角度信息而获得的,是一个三维矢量[戈j,,,;,气],其中石、),和z为成像点的空间坐标.为了更好地表示目标的表面特征,并减少点云数据冗余,使用点云数据构建多边形网格,得到网格表示的距离图像.网格表示的距离图像包含一个n×3的三维顶点坐标矩阵和一个m×3的三角面片顶点索引矩阵,其中,n为顶点数,m
为面片数.
受自遮挡的影响,一个视点下获得的距离图像
并没有包含三维目标的全部形状,因而是2.5维的¨J,若将多个视点下的2.5维距离图像经配准拼接和重构便可获得目标的三维完整模型,这即是三维建模的过程.局部特征提取作为三维模型建模和
三维目标识别的关键环节,包含特征检测和特征描
述两个部分.法向量、曲率、主曲率、平均曲率、高斯
曲率和形状索引等微分几何屙|生作为局部表面的固
有特性,构成局部特征提取的理论基础.
2.2
微分几何属性
法向量是垂直于采样点所在局部曲面的单位向量,为获得噪声下的强稳健性,法向量通常由采样点一定邻域的法向量加权得到.曲率则是曲线上切线
方向角对弧长的转动率,表明曲线偏离直线的程度。
对于三维欧几里德空间中可微曲面上的任一点0可
在任意方向上定义曲率,因而有无数多个曲率值珙
中最大和最小的曲率定义为主曲率墨和毛,对应的方向为主方向.两个主曲率的平均值定义为平均曲率日,乘积定义为高斯曲率K,均方根定义为曲度R,即
日=—},K=Kl砭,R=./—}.日:茎学,K瑙砭,肛./半.
二
V
二
日和K与一定的曲面几何类型相对应,Besl
等¨纠利用胃和K的符号将曲面量化成离散的8类,表1给出不同曲面与日、K之间的对应关系.
5期
郭裕兰等:距离图像局部特征提取方法综述
785
表1
曲面类型与曲率日、置的关系
Table1
RelationshipbetweensuIfacetypeand日andK
由于日和K之间本身具有较强的相关性,故简
单利用日和K构造的特征描述性不强,于是
Koenderink引入一种几何属性:形状索引(shape
Index)‘圳,即
s,:三哪tanf逊1.
\
S,=二二_arctanI:兰一』—.:二三I.
7r
、Kl一如,
形状索引取值范围为[一1,1].与前述日和K对
应于8种离散的曲面类型不同,形状索引对应于从cup到cap的连续曲面类型,且除平面之外的每种
曲面类型都具有唯一的形状索引值.
3局部特征检测
局部特征检测是指在距离图像上提取部分满足
某种显著性指标的特征点的过程,其目的在于采用
最少的特征点实现对目标的有效表征,从而减小运
算量,同时提高目标识别的性能∞0|.一个优秀的特
征点必须满足以下条件旧3|:1)特征点应具有较好的
可重复提取性;2)特征点上应能定义唯一的三维坐
标系以提取局部不变特征;3)特征点邻域应包含对
其进行有效描述的足量信息以减小错误匹配的概率∞1‘.本文依据特征检测的尺度将其分为固定尺度特征检测算法和自适应尺度特征检测算法两类.
3.1
固定尺度特征检测算法
固定尺度特征检测算法是最早出现的一类特征
检测算法,该方法首先确定采样点邻域的大小即尺度(有时甚至是全局),然后在该邻域内依据一定的方式检测出满足某种显著性指标的采样点作为特征
点.依据所采纳的显著性指标,可将这类方法分为随机采样法和基于曲率的方法.3.1.1随机采样法
作为最简单最直观的方法,随机采样法∞2≈4o随机选取距离图像中的部分点作为特征点.该方法计
算量小,实现简便,效率较高,但它没有考虑采样点
万方数据
之间的差异性,即点所代表的几何信息,因而不能保证提取的特征点具有较好的可重复性和描述性[2
3。.
Fhme‘32|、J0hnson‘333和shilane㈨等都采用这类算
法,在随机选取的特征点上分别计算3DSh印e
Con—
text、spin
Image和调和形状描述子以实现特征
描述.
3.1.2基于曲率的方法
心理学实验表明,人类视觉系统能依据表面曲
率进行显著点的提取并将复杂形状分解成各个部件以完成识别旧5|.受此启发,基于曲率的方法利用采样点及其邻域的曲率信息来检测特征点旧6|.这类方
法比随机采样法得到的特征点具有更好的可重复提取性、有效性和变换不变性,但曲率计算要求距离图像包含较为稠密的点,且曲率中的微分运算易受噪
声的影响.下面将对一些典型方法进行阐述.
nirion口7。381依据主曲率K,和K的极值定义特
征点,并利用检测出的特征点实现多种三维医学图
像的配准,结果表明该方法提取的特征点具有良好的刚体变换不变性,但其稳健性和一致性还有待进
一步分析∞9。.Yamany旧引采用单形角(Simplex
An-
de)来描述曲率,并以单形角大于某一阈值的点定义为特征点,并理论证明特征点的存在性、有限性和
对噪声的适应性.但由于Y砌any方法中固定阈值
的选取依赖于具体的目标曲面,因而适应性不强.chenⅢo选择形状索引极值超过均值一定倍数且经过非极大值抑制的点作为特征点.该方法有较好的
适应性.Chen算法性能的提升得益于两个方面:形
状索引比主曲率和高斯曲率能更好地描述局部曲面;采用与邻域点比较而非固定阈值的方式提取特征点有助于提高算法的适应性.
与上述方法直接利用曲率信息实现特征检测不同,Mian㈣1首先将距离图像点云三角网格化,再采用Garland的方法对网格进行精简,并将精简后的网格顶点作为特征点.G脚and网格简化方法本质上还是利用目标表面的几何曲率信息,能最大限度地保留目标细节.
由于固定尺度特征检测算法的尺度是预设的,固定不变的,因而存在一些先天的不足:1)不能同
时兼顾大尺度的粗特征和小尺度的细节特征,小尺
度特征在大尺度算法中将无法检测出来;2)不能自适应地确定特征点的尺度,而预设的尺度依赖于经
验选取,难以具有普适性.
3.2
自适应尺度特征检测算法
为克服固定尺度特征检测的不足,近年来大量
的研究投入到自适应尺度特征的检测上.该方法首
模式识别与人工智能
25卷
先在多个尺度上提取几何属性,并依据几何属性的极值检测特征点并确定特征点所在的尺度.这类方法能自动确定特征点所在的尺度,其特征点的可重复提取性和有效性明显高于固定尺度特征点汪引,更有利于识别的实现.依据自适应尺度特征的提取思路,可将这类方法分为基于尺度空间的方法和基于
邻域缩放的方法.
3.2.1基于尺度空间的算法
基于尺度空间的算法首先构造距离图像的尺度空问表示,然后在尺度空间中寻找几何属性极值以完成特征点定位和尺度估计.
Akagunduz【4卜42o通过对距离图像进行高斯平滑和下采样构建高斯金字塔,在金字塔的每层计算平均曲率H和高斯曲率K,再依据表l将局部曲面分成8种类型从而构成HKMap,最后将尺度空间HKM印中具有相同曲面类型的点构成连通区域,以每个连通区域内所有采样点的坐标和尺度加权均值作
为特征点的坐标和尺度.
‘
castellaniH列采用一系列高斯滤波器作用于距离图像得到尺度空间表示,并选择在不同尺度间沿法向方向上有最大位移的点作为特征点.与此相类
似,一钏采用不同尺度的高斯加权函数获得局部曲
面的尺度空间表示,然后计算该点在不同尺度间沿法向方向的差值,以具有局部极大或极小差值的点
作为特征点.
上述方法都是借鉴二维图像尺度空间构建的思路,直接对距离图像的坐标进行平滑运算,然而与二维图像的像素代表目标的表象信息不同,距离图像的三维坐标代表目标的几何形状信息,因而直接修改三维坐标容易破坏目标表面的几何拓扑关系.为此,部分研究人员转而研究如何构建不破坏内在几
何形状的尺度空间.
NovatnackⅢ1首先将目标三维距离图像参数化为二维法向量图,并对法向量图进行高斯平滑得到
离散尺度空间,进而采用与图像中的Ha而s角点Ⅲ1相类似的方法在法向量图中提取特征点,最后将二
维法向量图中的特征点反向映射到三维点云中得到自适应尺度特征点.该方法通过构造法向量图尺度空间避免对目标三维形状的直接修改.zouH刊则采
用Ricci流对几何表面进行变形,获得能够保留目标几何结构的内蕴几何尺度空间(Intrinsic
Geomet—
ricScale
space,IGSS),并在IGSS中提取极值点作
为特征点.该方法构建的尺度空间满足因果性和尺度不变性,同样避免尺度空间构建对三维形状的破坏.
万方数据
3.2.2基于邻域缩放的算法
基于邻域缩放的方法不直接构建尺度空间,而
是选取不同大小邻域内的采样点计算局部几何属性,并以几何属性的极值来确定特征的尺度.由于这类方法无需对三维表面进行直接修改,因而不会带来目标几何结构变化,且受噪声的影响较小H
8|.
这类方法中,Paulyl491计算邻域内采样点的协方差矩阵,得到3个特征值A,,A:和A,,进而计算
表面变化度
昵2
i了丽’
A1
变化邻域大小,以盯。在不同邻域间取极值的点作为特征点,并以极值对应的邻域大小作为该特征的尺度.Mian旧列计算邻域内采样点的主方向和主轴长度,以两个主轴长度的比值超过某一阈值且在不同邻域间取极大值的点作为特征点,以极值对应的邻域大小确定特征点尺度.HoH副计算邻域内采样点的形状索引方差,以该方差的极值确定特征点及其所
在的尺度.
4局部特征描述
局部特征描述是将检测到的特征点邻域包含的
曲面形状信息转化为高维描述向量的过程.一个有效的特征描述子必须满足以下条件:1)描述子应具有较强的鉴别力;2)描述子应具有丰富的描述性和稳健的变换不变性旧引;3)描述子应易于计算和匹配;4)描述子应对噪声和背景干扰具有较强的稳健性.依据描述向量的内容,本文将其分为3类:基于深度信息的方法、基于点云分布的方法和基于几何
属性的方法.
4.1基于深度信息的方法
由于距离图像真实反映目标的几何形状信息,因而当确定一个参考坐标后,点云的深度信息显然可用于特征描述.基于深度信息的方法首先在特征点处构造参考平面或参考坐标系,进而以邻域点到
该平面的距离或其数学变换作为特征描述向量.哒
类方法实现简单,计算量小,但其描述性有限.
此类方法中最早出现的是ChuaL501于1997年提出的Pointsignature特征.该方法首先用以特征点为
中心,半径为r的球面与三维目标表面相交,得到空:
问曲线c.然后对C进行平面拟合,进而以C中离特
征点距离最远的点作为起始点,以C上的点到该拟合平面的有向距离作为描述向量.该特征具有平移和旋转不变性.其不足之处在于:1)特征容易受噪
5期郭裕兰等:距离图像局部特征提取方法综述
787
声影响,一个较大的噪声就会使起始点发生错误;2)特征的起始点可能不唯一,因而一个特征点可能拥有多个描述向量拉引;3)对于点云数据和网格表示的距离图像,需要通过插值来获取球面和曲面的交线∞1|,因而增加计算量,且降低特征质量.
Mian旧到引入局部坐标定义,以特征点法向量和
曲面的两个主方向构成直角参考坐标系,以邻域点
在该参考坐标系下的深度值作为特征描述向量,坐标系的定义避免Pointsignature特征不唯一的问题.其不足之处在于将所有邻域点平等对待,而外围的
邻域点容易受遮挡的影响从而使得描述向量不够稳健.针对此,Masuda¨纠基于特征点的切平面上定义对数极坐标系,以邻域点到该切平面的距离作为特征描述向量.采用对数极坐标系有利于减少外围采
样点对特征描述的影响,具有一定的抗遮挡性能,实验结果表明其性能优于spinImage方法.4.2基于点云空间分布的方法
距离图像的点云可认为是物体三维外形的采
样,其分布直观表达目标的形状信息.为获得刚体变换不变性,基于点云空间分布的方法首先要在特征
点处构造参考坐标系,进而以邻域点在该坐标系下
的二维或三维空问分布作为描述向量.这类方法描
述性较强,得到较广泛的应用。
最为经典的是Johnson旧列于1999年提出的
Spin
Image特征.该方法以特征点位置为圆心,以特
征点法向量为轴构建圆柱参考坐标系,以邻域点在该圆柱坐标系下的分布密度作为描述特征.该方法可理解为将一个图像绕法向量旋转360。,以图像中每个像素栅格所遇到的点云数作为其灰度值.SpinImage对遮挡和背景干扰具有很强的稳健性,在距离图像配准和三维目标识别中得到广泛应用.其不足之处在于不具有尺度不变性,需要较大的存储空
间和要求点云均匀分布.针对这些问题,也出现大量的改进算法,如Ass瞰gb到通过将SpinImage进行扇
区划分并转化为一维向量以减少数据量,Dinh"41则
通过改变spinImage的单元大小和支持域长度获得
多分辨率spinImage以实现由粗到精的匹配识别.
由于SpinImage是二维描述向量,从三维空间到二维图像的信息损失导致spinImage的描述性不强.于是,Frome【321将特征点邻域划分为三维球形栅格,统计栅格内的点云数得到3DSh印eContexts特征.实验结果表明该特征在噪声和背景干扰下的识别性能
均高于spinImage方法,其不足之处在于只定义z轴方向,因而特征匹配时需要将场景特征描述向量绕z
轴旋转并计算与模型描述特征向量的相关度,计算量万方数据
较大.而zhong∞纠采用主成分分析法得到的特征矢量
构建直角参考坐标系,并采用与3DSh印econtexts类
似的方法获得特征向量IⅡtrinsicSh印eSigIlatures
(Iss),避免只定义z轴带来的方位模糊.
上述方法均采用点云数目作为特征统计量,容易受噪声和点云分布不均匀性的影响,导致特征稳
健性不强.于是,Mian㈤o首先对点云进行三角网格
化,然后在特征点处构建直角参考坐标系,并将特征
点邻域划分为三维方形栅格,统计栅格内的三角网格面积得到三阶Tensor特征.实验表明,Tensor比
Point
signature和spinImage等有更强的稳健性和
更好的鉴别力.该算法的优势在于采用网格表面积作为描述向量比采用点云数更加稳健,其不足之处
在于需要尝试大量满足几何约束的邻域点对来构造参考坐标系.
4.3基于几何属性分布的方法
目标表面采样点的法向量、曲率、形状索引等几何属性是局部表面的固有特性,不同局部表面具有不同的几何属性分布.基于几何属性分布的方法以特征点邻域内采样点的几何属性分布(如一维/二维直方图统计等)作为特征描述向量.这类方法对
局部表面的描述性较强,应用较广,但法向量和曲率
等的计算涉及微分操作,因而对噪声较为敏感.
其中的一类方法只采用一种几何属性的分布来
构建描述向量.最早出现的是SteinL5钊1992年提出
的splash特征,该方法首先得到与特征点距离为r的邻域点,进而以这些邻域点的法向量分布作为特征描述向量.IJiⅢ1则将邻域点的法向量投影到特征点的切平面上,并进行离散余弦变换和离散傅里叶变换以得到No咖aJ
B船edSigIIature(NBS)特征,实
验结果表明其性能优于后文的kal
FeatureHisto—
graIn方法.Dorai【571提出的shapespectmm以邻域点
的形状索引值作为直方图的维向量,以落人该形状索引值范围内的目标表面积作为直方图对应单元的数值.该特征能较好地表征局部表面的曲面类型分布,在噪声下具有较好的性能.
为比较法向量、形状索引和深度(Depth)的描述性能,Hetzel”驯分别以这3种几何属性单独构造一维直方图,以及两两组合或三者组合构造一维直
方图得到特征描述向量,并对比分析各自的目标识别性能.结果表明:1)法向量直方图及形状索引直方图比深度直方图有更好的识别性能;2)将法向量
与形状索引或深度组合构造直方图能获得比单个属
性直方图更好的识别性能;3)三者组合构造的直方
图有最佳的识别性能.
788
模式识别与人工智能25卷
受此启发,部分研究人员转而将多个几何属性此外,也有部分算法是在对距离图像进行变换进行组合来构造直方图统计.Yamany∞引以特征点与的基础上再提取特征,如Bayramoglu旧叫提出的SI.
邻域点的距离以及特征点法向量与特征点到邻域点
SI订特征首先计算距离图像每一个点的形状索引
向量的夹角作为特征向量的两维得到二维直方图特
以得到形状索引图像,然后采用sIFr方法旧川完成征Su血ce
Point
Signature(SPS),SPS特征中包含法
特征检测和描述,即以形状索引图像的梯度方向直向量的变化即曲率的信息.实验结果表明其比
方图作为描述向量.该方法认为形状索引图像反映splash、Point
Signature和spinImage有更强的鉴别
局部曲面的形状信息,包含比距离图像更多的信息,力.相类似的,chenⅢo则以邻域点的形状索引值以更有利于特征提取.实验结果表明该方法对于背景及特征点法向量与邻域点法向量的夹角作为特征向干扰和遮挡具有稳健性,性能优于SI.No瑚a1.Hist和
量的两维得到二维直方图特征SI-No瑚al—Hist.2.5T)ST胛.
L0旧纠在采用与尺度不变特征变换(ScaleInv枷ant
Feature
Tmnsf0Hn,sIFr)旧川类似的方法完成特征检
5算法总结及面临的挑战
测后,以邻域点的形状索引和梯度方向构建一维直
方图作为描述向量得到2.5D
Sl丌.由于该特征不
5.1现有算法总结
仅包含距离图像的内在属性(如形状索引对应的表上文对局部特征提取中的特征检测和特征描述面拓扑类型),且包含空间分布信息(如梯度方向),进行分类、归纳和阐述,在此以算法提出的年份为序
因而具有较高的鉴别力,其不足在于需要对距离图
对现有算法进行总结,得到表2.
像进行较为复杂的预处理.
表2典型的局部特征提取算法
Table2
聊ical
localfeatureextractionmethods
序号算法名称作者,年份,文献特征检测特征描述算法性能
万方数据
5期
郭裕兰等:距离图像局部特征提取方法综述
789
由表2及上文分析,总结如下.
1)特征提取技术的发展.在经过20世纪90年
代的摸索后,近十年来得到大量的研究和发展,并取得许多可喜的成果.这主要得益于计算机视觉领域对三维目标识别特有优势的逐渐认识,以及近年来三维成像传感器的飞速发展和计算机处理能力的迅
速提高.
2)特征检测.早期的特征提取算法基本没有包含特征检测的步骤,后来采用随机采样法以减少特征点的数量,但随机采样得到的特征点没有考虑目
标表面的形状信息,不具有可重复提取性,因而特征匹配的质量不高.于是研究人员利用曲率信息提取
固定尺度的特征点,从而获得较好的可重复提取性.
但固定尺度特征检测不能自动确定特征所在的尺度,不能应用于尺度缩放目标之问的匹配,因而近年
来大量研究投入到自适应尺度特征的检测中.
3)特征描述.采用深度信息构建特征描述向量是最直观的思路,但深度信息表征能力有限.点云的空间分布良好地反映目标三维外形,为了获得刚体变换不变性,需要确定一个参考坐标系以描述邻域点云的空间分布,不同的坐标系在很大程度上影响
着特征的描述性和匹配效率.几何属性是目标表面
的曲面类型和几何特性的反映,采用不同的几何属性或组合多种几何属性获得特征描述是一个主要的研究思路.
4)性能评价.目前的特征提取算法测试结果大都是在不同数据集、不同的测试环境下获得的,缺乏算法之间的定量比较、分析和评价.大部分算法都是
选取spinImage特征进行对比实验,因而从这个意
义上来说SpinImage已成为一种事实上的标准算
法.后续的研究中有必要在统一的条件下对典型局
部特征提取算法的可重复性、描述性、稳健性和算法复杂度等进行系统的测试评估.主要工作包括:对比实验数据库的构建和选择,评价指标体系的建立,系统完整的对比实验以及实验结果分析等.
5.2面临的挑战
尽管近年来在距离图像局部特征提取方面取得许多令人鼓舞的结果,但是其仍然面临着许多挑战,这些挑战也进一步指明未来需要继续努力的方向.
1)特征的排序与筛选.距离图像上提取的大量
局部特征中包含部分稳健性和鉴别力不强的特征
点,这些特征点的存在会增加识别中错误匹配的概率,并消耗大量的时间,因而有必要对特征进行排序和筛选.现有算法主要利用某特征与其它目标特征
的差异性来实现特征选择,如zhal5钊依据差异性所
万方数据
定义的显著性系数,Shan㈣1依据特征匹配的频数,Johnson∞“、shilane¨41和Funkhouserp叫等依据特征
相似度来选择特征点.这些方法能选择出鉴别力强的特征点,但往往计算量较大,因而如何获得高效的特征点选择算法还有待研究.
2)特征描述性与计算效率的矛盾.Mian的分
析∞1表明,三维描述向量的鉴别力和描述性明显优于二维和一维描述向量,但维数的增加同时也带来
计算量和存储量的巨大负担.提取描述性强同时又能满足计算量限制的特征是一个值得研究的方向.3)低分辨率数据的特征提取问题.现有算法大都在较高分辨率的数据上提取,当数据分辨率低时(如激光雷达在远距时得到的距离图像),计算点的法向量和曲率等将存在较大困难,此时现有算法将
面临严峻挑战.
4)融合形状信息和颜色信息的特征提取.现有的局部特征都只利用几何形状信息,这给识别带来
一些困难,如一个同样大小和形状的足球和地球模
型,仅利用几何信息是无法区分的.而实际上三维成像传感器通常都能同时获得距离图像和强度/灰度图像,综合利用几何形状信息和颜色信息构造特征向量将有助于进一步提高识别系统的性能旧].6
结束语
局部特征提取作为三维目标识别中一个最为关键的环节,是一个具有重要意义和富有挑战性的问题,近年来吸引越来越多的研究人员的关注.本文首先对微分几何属性进行详细阐述,进而对局部特征检测和描述算法进行分类,并详细分析各种算法的基本原理及其优缺点,梳理现有算法的研究脉络,最后在总结现有算法的基础上讨论局部特征提取技术所面临的挑战,并指出值得进一步研究的方向.
参考文献
[1]Gordon
G.FaceRecognitionBased0n
Deptll柚d
Cur哪ure
Features//Proc
of
theIEEE
Computer
SocietyConference
on
Co皿【Puter
VisionalldPattem
Recognition.Ch枷pai弘,USA,1992:108一110
[2]MedioniG,waupotitsch
R.Face
Reco印ition蚰dModelingin3D
//Proc0fthe1EEE
IntemationalWorksh叩onAnalysisaIldM0del・
IngofFacesandGestures.Nice,Franee,2003:232—233
[3]Bowyer
K
w,changK,nyllnP.Asurveyof
Approaches蛐d
Challengesin3D帅dMulti-M0dal3D+2DFaceRecognition.Com—
puterVisionandImageunderstanding,2006,101(1):1—15
[4]scheenstra
A,Ruifrok
A,Veltk锄p
R.Asurvey0f3DFaceRecog-
nitionMethods//Procofthe5thIntemationalCoIlference
on
Audio—
790
模式识别与人工智能
25卷
and
Video-B鹊ed
Biometric
Person
Authentication.
Hilton
Rye
T0wn,USA,2005:89l一899
[5]MianAs,BennaIIlounM,0wensR.An
E位cientMultimodal2D.
3DHyb—dApproachto
AutomaticFaceRecq旨nition.IEEEn.anson
P毗哪Analysis
aIldMachine
InteUigence,2007,29(11):1927—
1943
[6]MianAs.RepresentationsandMatching
Techniques
for3D
Free一
蠡姗0bject
andFaceRecogllition。Ph.DDissertation.Penh,Aus—
tralia:Unive玛ityofWestemAust珀lia,2006
[7]Abate
AF,N印piM,RiccioD,甜of.2DaIld3DFaceRecogni—
tion:
A
survey.
Pattem
Recognition
Letters,
2007,
28(14):1885—1906
[8]chenH,Bh叭lB.HumanEarRecognitionin3D.IEEETrans
on
PattemAnalysisandMachineInteUigence,2007,29(4):718~737
[9]GaoB,zhaIlgS.Asurveyof3DHeadModelRetrieval//Procof
the2ndIntemationalConferenceon
ImelligentComputationTechnol—ogyand
Automation.Ch粕gsha,Chin8I2009:515—519
[10]MianAs,BennamounM,0wens
R.
Automaticcon.espondence
for3DModeling:AnExtensiveReview.IntemationalJ叫malof
sh印eModeling,2005,11(2):253—291[11]Iju
Daxue,AResearch
on
LADAR・VisionFusionandItsApplica-
tioninCross-C0untryAutonomousNavigationVehicle,
Ph.DDis-
sertation.Changsha,China:NationalUniversityofDefense7rech—
n0109)r,2009(inChinese)
(刘大学.用于越野自主导航车的激光雷达与视觉融合方法研究.博士学位论文.长沙:国防科学技术大学,2009)[12]Guo
Yulan,LuMin,7raIlzhigIlo,e£口z.ANovelMethodforL丑dar
T8rgetOr;entationEstim砒ion.Chinese
JoumalofLasers,2011,38(4):l一0414002—7(inChinese)
(郭裕兰,鲁敏,谭志国,等.一种新的激光雷达目标姿态估计算法.中国激光,20ll,38(4):1~0414002—7)[13]G埔nwall
c,GustafssonF,MillnerL
M.Gmund仉Ⅱ寥tRecognitionusing
RectaIl掣e
Estimation.
IEEE
Thns
on
ImagePmcessing,
2006,15(11):3401—3409[14]VasileAN,MarinoRM.Pose—IndependentAutoma6cTa曙et
DetectionaIldRecognitionUsing3DI舶erRadar
Im89ery.Lincoln
Labo豫tory
Joumal,2005,15(1):6l_78
[15]Besl
PJ,JainRc.Three—Dinlensional
0bjectRecognition.com—
puter
suⅣey,1985,17(1):75—145
[16]Brady
JP,NaIldhakumarN,AggarwalJK.RecentProgressintlle
Reco印monofObjects硒mRa“geData,ImageVisi彻computing,1989,7(4):295—307
[17]campbellRJ,nynnPJ.ASurveyofFree・Fonnobject
Represe卅
tationandRecogIlitionTechniques.ComputerVision{iIldImage
unde哺anding,2001,81(2):166—210
[18]MiaJl
A
s,Bennam叫nM,OwensR.Automated3DModel—BasedFree—Fonn0bject
Recognition.
sensor
Review,2004,24(2):
206—215
[19]wei
Yongchao,suxianyu.3D
Object
RecogIIitionBased
on
Vec—tor
Andc.ActaPhotonica
sinica,2009,38(7):1862一1866(in
Chinesel
(魏永超,苏显渝.基于矢量夹角的二维物体识别.光子学报,
2009,38(7):1862—1866)
万方数据
[20]0sada
R,FunkhouserT,ChazelleB,et口f.ShapeDistributions.
AcM
T啪s
0n
Gmphics,2002,21(4):807—832
[21]M锄icG,Benn锄oun
M.RepresentationandReeognition0f3D
n℃e—FOHnObjects.Di毋t8lsignal
Pr。cessing,2002,12(1):47—
76
[22]Mi朋A
S,BennamounM,0wensR.3DModelBasedOb{ectRec—
o驴itionandSegmentationinClutteredScenes.mEETmns
on
Pal—
tern
A蒯ysis
andMachine
Intelligence,2006,28(10):1584—
1601
[23]MianA
s,Benn踟oun
M,Owens
R.
0ntheRepeatabilllyand
Quality0fKeypointsforIJ0calFeature—Based3D0bjectRetrieval
fmmClutteredScenes.
IntemationalJoumalof
C咖puter
Vision,
2010,89(2):348—36l[24]chen
H,BhanuB.3DFree—Fo珊ObjectRecognitioninRa“geIm—
ages
UsingIJ0cal
SurfacePatches.Pattem
Recognition
ktters,
2007,28(10):1252—1262
[25]Lo
T
w,siebenJP.LocalFeatureExtraction肌dMatching
on
RaIlgeImages:2.5D
Sl盯.
ComputerVisionandImageUnder-
staIlding,2009,113(12):1235一1250[26]Baymmo醇u
N,AlatanA.shapeIndex
sIFT:R粕geImageRecog-
nitionUsingL0calFeatures//Procofthe20thIntemationalCon.ference
on
Pattem
Reco印ition.Ist肌bul,11urkey,2010:352—355
[27]waIlg
Yuemi“g,Pan
Gang,wuzhaohui.ASurveyof3DFace
Recognition.
Joumal
of
Computer-Aided
Design
&
Computer
cf印hics,2008,20(7):819—829(inchinese)
(王跃明,潘纲,吴朝晖.三维人脸识别研究综述.计算机辅助设计与图形学学报,2008,20(7):819—829)[28]Ij
shifei,Research
on
ThreeDimensions0bjectReco印ition
fmm
RaJlge
Images.
Ph.D
Dissertatjon.
Changsha,China:
№tional
universityofDefenseTechnology,2010(inchinese)
(李世飞.基于深度图像的三维目标识别技术研究.博士学位论文.长沙:国防科学技术大学,2010)[29]Koenddnk
j,
D00mA.
Su由ce
shapealldCuHafureScales.
ImageandVision
Computing,1992,10(8):557~565
[30]Funkhouser
T,shilaIIe
P.P缸ial
Matehingof3Dshapes
wich蹦.
ority—DriVenSearch//Procofthe4thEurogmphicsSymposiumo“
Geometry
Pmcessing.cagli蒯,Italy,2006:13l—142
[31]
【oweD.
DistinctiveImage
Features舶m
scale
Inv商aIlt
Key
P。jnts.Inlema£ionalJ加玎lalofcomputerVision,2004,60(2):
91一llO
[32]Frome
A,Huber
D,Kollur主R,doz.RecoI弘izi“gObjec珍in
RangeDataUsingRe昏onalPoimDescriptors//Pfoc0ft}毛8th
EumpeaIlConferenceon
ConlputerVision.Prague,Czech,2004:
224—237
[33]JohnsonAE,HebertM.usingspinIm。gesforEmcient
o妨ect
RecognitioninCluttered3Dscenes.IEEETranson
Pattem
An鱼ly.
sisaIldMachine
Intelligence,1999,21(5):433—449
[34]shilane
P,FunkhouserT.selectingDistinctive3DshapeDescrib-
torsfbr
Simil“tyRe试eval//Proc
oftheIEEEIntemationalCon.
ference
on
ShapeModelingaIld
Applications.Matsushima,Japan;
2006:18—25
[35]HoffnlaJlD,singh
M.salienceofVisual
Pans.co弘‰n,1997,
63(1):29—78
5期
郭裕兰等:距离图像局部特征提取方法综述
791
[36]Frint。叩s,NuchterA,su珊ann
H,既口z.saliency—Based
0bject
Reco印itionin3D
Data//Pmcoftlle
IEEE/RSJIntemational
C。nference
on
InteⅡigenfRobots
a芏ld
Sys溆ns.
Sendal,japan,
2004:2167—2172
[37]7IhirionJ
P.
Extremal
Points:Denni吐onandAppljcation
to3D
I”age
Registration//Proc0ftheIEEEComputerSociety
Co也r-
enceon
ComputerVisionandPattemReeognition,
Seatde,USA,
1994:587—592
[38]Thirion
JP.NewFeaturePointsBasedon
GeometricInvariantsfor
3DImage
Re西stration.】ntemationalJ0umaIofComputerVision,
1996,18(2):121—137
[39]YamaIlysM,Bialy
A,F啪gA.su血ce
Point
signature(SPS):A
NewRepresentationschemefor0bjectRe磬strationand
Reco印ilion
//ProcoftheSPIEConference
on
IntelligenceRobotsandComput-er
Vision.Boston,USA,1999:1—7
[40]MianA
s,Benn硼oun
M,OwensR.
ANovelRepresentationand
Featu凭MatchingAIgo—thmforAutomaticPa蜥iseRe舀s眦ion
0f
RaIlgeImages.Intemational
JoumalofComputerVision,2006,66
(1):19—40
[41]Aka|眵unduz
E,ulusoyI.3D0bjectRepresentationusingTraIls—f0彻卸d
ScaleInva—ant3D
Feat_Ilres//Pmc甜the11thIEEE
IntemationalConference
on
Computer
Vision.mode
Jane的。B陆
zil。2007:1—8
[42]AkagunduzE,uIusoy
I.3DFaceDetectionusingTr锄sfonn
IIlv驴
iant
Features.Elec咖nicIJetters,2010,46(13):905—907
[43]castellaniu,cristani
M,F肌toniS,e£nz.SparsePointsMatching
byCombining3DMeshSaliencywithStatisticalDescriptors.Com—
puter
GmphicsFomm,2008,27(2):643—652[44]LiX,GuskovI.Multi—scaleFeaturesforApproximateAlignment0f
Point—B船edsuIfaces//Proc
ofthe3IdEurographics
symposium
on
ceome‘ry
ProcessiIlg.Vienna,Au“a,2005:217—226
[45]NoVatnackJ,Nishino
K,shokoufandehA.Extracti“g3D
sh印e
FeaturesinDi8creteScaleSpace//Pmcofthe3rdImemationalSymposium
0n
3DD8ta
Processing,Visu“zationandTransmis—
sion.ChapelHill,USA,2006:946—953
[46]Hanisc,stephensM.AcombinedcomerandEdgeDetector//
f’rocofthe4thAlveyVisionCorlference.Manchester,UK,1988:147一15l
[47]zouG,HuaJ,Laiz,耽耐.IntrinsicGeometricscalespacebySh8pe
Di怕8ion.
IEEETmns
on
visualizationand
Computer
G“Phics,2009,15(6):1193—120l
[48]Ho
HT,GibbinsD.Multi—scaleFeatureExtractionfor3Dsurface
Re舀strationUsingIJ0calSh印eVaTiation//Pmc0fthe23rdInter-
Ilational
Conference
on
I删ge
andVision
Computing.
Christ—
万方数据
church,NewZeal¨d,2008:1—6
[49]PaulyM,Kei8erP,GrossM.
Multi.scaleFeatureExtraction
on
fhnt—S锄pied
Surface.ComputerGraphics
F(1mm,2003,22(3):
281—289
[50]chuacs,RayJ.P缸ntsignatures:ANewRepresentationfor3D0bject
Recognition.
Intemational
Journal0f
ComputerVision,
1997,25(1):63—85
[51]salviJ,Mafabosch
C,FofiD.AReviewofRecent
RangeImage
Re舀strationMethodswithAccumcyEValuation.
ImageaJldVision
Co”pu【ing,2007,25(5):578—596[52]Masuda
T.MultipleRangeImage
RegistmtionbyMatchingL0cal
Log—PolarRangeImages//Pmc0fthe7tllAsianConferenceon
CompuIerVjsion.Hyderabad,India,2006:948—957
[53]Assf甜gJ,D7AmicoG,BimboAD,甜oz.3Dcontent—Based
RetrievalwithSpinImages//ProcoftlleIEEEhltemationalCon—
fbrence
on
MultimediaandExpo.Taipei,China,2004:771—774
[54]Dinh
H
Q,Kropac
s.Multi—ResoIutionspin・Images//Procof七Ile
IEEEComputer
Soc的Co山rence
on
ComputerVisionaJld
Pattem
RecogIlition.NewYork,USA,2006:863—870
[55]zhong
Y.IntrinsicShapesigllatures:AshapeDesc『iptor£or3DObject
Recognition//Procoftlle12th
IEEE
Intemationalconfer-
ence
on
ComputerVision.Kyoto,Japan,2009:689—696
[56]s£ein
F,MedioniG.stnlcturalInde)【i“g:Emcient3D
objectRec—
o伊ition.
IEEE
Tr柚soⅡPatIemAnalysis粕dMachineIntelli—
gence,1992,14(2):125一145[57]Dorai
c,JainAK.cOsMOS:A
Rep嘲entati∞Scheme
for3D
Free-F0硼O坛ecls。IEEE
1‰s
0n
P且ttem
Analysis鞠d地枷ng
Intell逗ence,1997,19(10):1115—1130
[58]Hetzel
G,LeibeB,LeviP,酣以.3D0bjectReco弘ition
f南m
RangeImagesUsing
I脱a1
FeatureHistoFaIIl8//ProcoftlleIEEE
C呦puterSociety
Conference
on
ComputerVisionandPattemRec・
ogIIition.Kauai,USA,2001:394—399
[59]zhaHB,Nagata
T,Kum锄amK.Dete珊ining
salient
Feat啪
Pointsof3DC““ed
Su如ces
fromRa玎geImages//PD。eof±he
IntematinnaICnnferenceon
Tndustrial
Electmnics.
Control
and
Instmmentation.Kobe,Japan,1991:1318—1323
[60]shanY,MateiB。sawhneyHs,眦以.LinearM0delHashingand
BatchRANSACforRapidandAccurate
0bject
Recognition//
PmcoftheIEEEComputerSocietyCorIferenceonCo呷uterVision
and
PaftemRecognition.Washington,USA,20014:12l一128
[61]JohnsonA,Su出ce
Landm8rk
selectio玎积dM越chinginN8tural
TeⅡ萄n//Pmc0ftheIEEEComputersocietyConferenceon
Com—
puterVisionaIldPattemReco印ition.HiltonHeadIsI锄d,USA,
2000:413—420