RSTC不变矩图像特征点匹配新方法
华南理工大学学报(自然科学版)
第36卷第8期2008年8月
Journal of Sou th C hina U n iversity of Technology
(N atu ral Science Edition ) V ol . 36 N o . 8A ugust 2008
文章编号:10002565X (2008) 0820037204
RST C 不变矩图像特征点匹配新方法
邵泽明 朱剑英
3
(南京航空航天大学江苏省精密与微细制造技术重点实验室, 江苏南京210016)
摘 要:针对图像特征点的匹配中单纯依靠灰度度量会出现多峰值以及匹配不可靠、不
准确的问题, 提出了一种新的基于RSTC 不变矩的匹配方法. S US AN 算法找到角点, 然后构造一种新的RSTC 不变矩来描述角点特征, 并用作为匹配相似度的度量, 再结合RANS AC . 对实际图像的实验表明, , 条, 并且精度比灰度匹配方法提高了6%关键词:图像匹配; US ; 不变矩; 鲁棒估计; 外极线中图分类号:1A
, 在摄像机
自标定、三维重建、图像理解、双目测距等问题中有重要的应用. 角点是图像局部灰度变化剧烈的点, 数量虽然少, 但是包含着图像的重要信息, 它是图像的重要特征. 很多学者研究了特征的提取方法, 开发出
[1][2]
了Harris 、S US AN 等角点检测算法, 并利用角点局部区域的灰度进行图像特征的匹配.
在图像成像过程中, 由于光照、阴影、噪声、视角变化等因素的影响, 导致采集的图像对之间存在平移、旋转、尺度以及对比度的变化, 再加上自然景物的复杂性、图像中的重复特征等因素的影响, 导致匹配比较困难. 而灰度度量是一个比较弱的约束, 特征点周围灰度变化剧烈, 细节信息比较丰富的地方, 出现歧义的可能性比较小, 匹配的准确率比较高; 特征点周围灰度变化不是很明显, 细节信息不是很丰富的地方, 出现歧义的可能性比较大, 误匹配的可能性
[3]
增加. 只靠灰度约束会造成很多误匹配, 会导致匹配对不准确、不可靠, 在图像上表现为匹配对之间的比较长的线条.
针对这种问题, 本研究提出了一种新的匹配方法, 利用新构造的RST C (旋转、尺度、平移、对比度) 不变矩作为匹配相似度的度量, 结合随机采样一致(RANS AC ) 鲁棒估计和外极线约束较好地解决了该问题, 实验结果证明了该方法的有效性.
收稿日期:2007207217
3基金项目:国家自然科学基金资助项目(50275078)
1 不变矩
不变矩是图像处理的重要技术. 在图像处理领
[4]
域, Hu 首先于1962年提出了对连续函数矩的定义, 开创了不变矩研究的先河, 很多学者对其进行了改进, 并应用到图像识别以及图像匹配等方面. Hu 根据二阶和三阶中心矩的组合, 给出了7个具有旋
[4]
转、尺度和平移不变(RST 不变) 的不变矩表达式(称之为Hu 矩) . Wong [5]进行了扩展, 给出了离散情况下各阶矩的计算方法. 值得注意的是, 在离散情况下, Hu 矩只对平移和旋转具有不变性, 对尺度变
[6]
化不具有不变性.
2 RSTC 不变矩
Maitra 证明了Hu 矩在连续状态下确实是RST 不变矩, 并在Hu 矩的基础上定义了连续状态下的6个不变量, 不仅具有平移、旋转和尺度不变性, 而且在对比度变化时也是不变的, 具有RST C 不变性, 但在离散情况下, 这6个不变量不具有RST C 不变性. 此外, 这6个不变量中包含了与面积有关的
[7]
μ00, 而μ00容易影响区分度, 导致误判断, 应该将其消去, 使不变矩公式与面积或结构的缩放无关, 而仅
[8]
与几何形状有关. 因此,
本研究构造了一种新的
作者简介:邵泽明(19752) , 男, 博士生, 主要从事图像处理、机器视觉研究. E 2mail:nj_szm @s ohu . com
38华南理工大学学报(自然科学版) 第36卷
RST C 不变矩, 以利于角点特征的区分与判断.
由于平移、旋转的不变性已经得到了证明, 仅考虑尺度、对比度因子的影响, 设尺度因子为ρ, 对比度因子为k, 变换前的位置为(i, j ) , 灰度为f (i,
) , 灰度为f ′(i ′) , 则有下j ) , 变换后位置为(i ′, j ′, j ′
列关系
:
i j [6]
由于这6个不变量变化范围比较大, 为了便于
[9211]
比较, 采用取对数的方法进行数据压缩, 所以新的RST C 不变矩为
ψi =lg ψi , i =1, 2, …, 6.
3 角点的RSTC 不变矩描述与匹配
左右图像的每个角点取7×7圆形区域, 对这一区域的每个点, 用上述RSTC 不变矩表示, 形成一个如图1所示的由6个RSTC 不变矩分量组成的3维结构, 图中的大点表示角点位置, 小点代表省略的其它不变矩分量. 角点对的度量采用不变矩的归一化积
h
相关算法, 左右图像每一维不变量的归一化积R 12为:
u +3
v+3
=ρ>0; ,
(i ′) =kf (i, j ) , k >0. f ′, j ′
设变换前中心矩为μ′pq , 变换后中心矩为μp q , 重) , 则心坐标分别为(i ′, j ′
p q
μp ) (j ′) f ′(i ′) =′-i ′-j ′, j ′q =∑∑(i ′
ρ(i - ρμ ∑∑k i ) (j - j ) f (i, j ) =k pq .
p+q
p
q
p+q
当p =q =0时, 变换后0阶矩μ0′0为μ0μ′0=k 00.
变换前归一化中心矩为ηpq , ηp ′q , 则
p +q
μp ρμ′k
q pq =(q +2) ηp ′=q r r
μ0′0)
ρ
k
p +q
R u 3
j+3
h i =u-j =ψ(∑∑
1
2
ψ, h ) 2(i, j
u +3
j+3
2
.
-32ψ1j , )
i =u -3j =v-3
∑2
ψ∑2(i, j , h )
2
r k μ00
[7]
2
η2
M =ρ/k
M
2
ηpq .
其中:R 的下标1, 2表示左右图像; h 为不变量ψ的
维数; ψ1(i, j , h ) 为左图像(i, j ) 处的第h 维不变量; ψ2(i, j , h ) 为右图像(i, j ) 处的第h 维不变量.
取所有的平均值作为总的判别度量R 12:
R 12
代入归一化Hu 矩公式, 得到:
233
φ1′=M φ′=M φ′=M φ′=M φ1, φ22, φ33, φ44,
646
φ5′=M φ′=M φ6, φ7′=M φ7. 5, φ6
φ
7φ7分别表示变换后和变换前的式中:φ1′～′, φ1～
Hu 矩不变量.
可以看出, 尺度、对比度变换后的不变矩与尺度、比例因子以及阶数有关, 不再保持不变性特征. 为了得到不变的特性, 需要把以上各式重新组合, 消去尺度、对比度因子的影响, 得到6个不变量组成的RST C 不变矩:
ψ1ψ42φ3φ4
, ψ2, ψ3=, φφφ312φ1
=6
6
∑
k =1
R 12, k =1, 2, …, 6.
k
同理计算R 21, 采用双向匹配减少错误匹配.
图1 RST C 不变量立体结构的角点描述符Fig . 1 RSTC invariants s patial structure for corner descri p t or
4 实验及结果
本研究通过实际图像的实验对RST C 不变矩描述的特征点匹配算法进行了验证, 首先对Corridor (走廊) 场景图像对进行了测试. 先用改进的S US AN
[12]
算法检测角点, 去除四周边缘处的角点, 左图像有742个, 右图像有707个, 如图2所示. 经RST C 不变矩描述、匹配后, 检测出的匹配对有19对, 如图3所示. 由图3可知这些匹配对在图像上比较分散, 位置关系比较一致, 可靠性比较高, 经RANS AC 鲁
[13][14]
棒估计, 以及8点算法计算出基本矩阵, 最后根据外极线约束、位置约束以及相关性约束进行引导匹配, 匹配对有87个, 如图4所示. 由图4可以看出, 匹配对之间的位置关系比较一致, 也没有出现比较大的长线条(长线条由野值匹配对所致) , 整体匹
5φ6φ7
, ψ5, ψ6=. φφφ544φ1
归一化的Hu 矩在离散条件下具有平移、旋转
[6]
的不变性, 所以由它们组成的上述6个不变量仍然具有平移、旋转的不变性, 需要证明尺度、对比度变化的不变性.
ψ6变化后的不变量为ψ1′～′, 则
2
′φψ1′==ψ1
φ1φ1′M φ1
ψ6ψ6, 可见, 这6同理可证ψ2′～′分别等于ψ2～
个不变量具有尺度、对比度变化的不变性, 综上所述, 这6个不变量在离散状态下具有平移、旋转、尺度、对比度变化的不变性.
第8期邵泽明等:RSTC 不变矩图像特征点匹配新方法
[15]
39
配比较准确、可靠. 根据基本矩阵F 计算出来的外极线图像如图5所示(只显示了一部分) , 残余误差
[15]
为012593, 与由灰度匹配计算的残余误差013相比, 精度提高了1317%, 本研究所提出的算法计算出来的基本矩阵为
-7-5
2
. 1884×104. 8923×10-0. 008-5-7
F =-4. 8861×101. 0262×10
0. 0128
0. 0087-0. 01290. 0215
误差0133相比, 精度提高了611%, 本研究所提
出的算法计算出来的基本矩阵为
-6-5
-1. 5017×109. 6145×10-0. 022-5-5
F =
-9
. 5186×101. 2360×10-0. 0830. 02140. 0774
1
图5 f or Corridor i m ages
图2 走廊图像改进的S US AN Fig . 2 Corner detecti on results of i m p r m
f or Corridor i m ages
图6 F 灰度和本研究所提出的算法的Keble 图像匹配结果Fig . 6 M atching results of F gray and p r oposed algorith m in
this study for Keble i m ages
图3 走廊图像RSTC 匹配对
Fig . 3 Matching pairs of RST C f or Corridor i m ages
图7 Keble 图像匹配对的外极线
Fig . 7 Ep i polar lines of matching pairs f or Keble i m ages
5 结语
图4 走廊图像外极线约束引导匹配结果
Fig . 4 Guided matching results with the constraint of ep i polar
line for Corridor i m ages
其次对Keble 图像进行了测试, Keble 图像亮度较暗, 重复性、相似性的图案较多, 给正确匹配带来了难度, 单纯依靠灰度匹配容易出现误匹配, 如图6(a )
[15]
所示. 图6(a ) 中出现比较大的长线条, 是野值匹配对所导致的. 本研究所提出的算法计算结果如图6(b ) 所示, 匹配对有33对, 图中没有较大的长线条, 匹配较准确、可靠, 图7为计算出来的外极线图像, 残余误差为013098, 与图6(a ) 计算出来的残余
本研究提出一种新的匹配方法, 用以解决灰度度量误匹配较多的问题. 该方法构造一种新的RST C 不变矩描述S US AN 角点特征, 并用RST C 不变特征量作为匹配相似度的度量, 再结合RANS AC 鲁棒估计以及外极线约束进行引导匹配, 获得了较好的匹配结果.
实验结果表明, 该方法实现了较准确的图像特征点匹配, 消除了野值匹配对所导致的长线条, 较好地解决了图像特征点匹配不准确的问题. 参考文献:
[1] Harris C, StephensM. A combined corner and edge detec 2
t or [C ]∥Pr oceedings of the f ourth A lvey visi on confe 2
40华南理工大学学报(自然科学版) 第36
卷
rence . M anchester:[s . n . ], 1988:1472151.
[2] S m ith SM , B rady J M. S US AN 2a ne w app r oach t o l ow le 2
vel i m age p r ocessing [J ].I nternati onal Journal of Com 2puter V isi on, 1997, 23(1) :45278. [3] 王彪, 何亦征, 王金岩, 等. 基于蜂王进化遗传算法的
特征匹配方法[J ].中国图象图形学报, 2005, 10(8) :100521011.
W ang B iao, He Yi 2zheng, W ang J in 2yan, et al . Feature matching based on queen 2bee evoluti on [J ].Journal of I m age and Graphics, 2005, 10(8) :100521011. [4] Hu M K . V isual pattern recogniti on by moment invariants
[J ].I EEE Transacti ons on I nf or mati on Theory, 1962, 8(2) :1792187. [5] Wong R Y . Scene matching with invariant moments [J ].
Computer Graphics and I m age Pr ocessing, 1978, 8(1) :16224. [6] 丁明跃, 常金玲, 彭嘉雄. 不变矩算法研究[J ].数据采
集与处理, 1992, 7(1) :129.
D ing M ing 2yue, Chang J in 2ling, Peng J ia 2xi ong . on moment invariants algorith m [J ].Ac 2quisiti on &Pr ocessing, (1:[7] Maitra S . ].Pr I 67
(4) :6972[8] 李惠光, 姚磊, 等. 基于改进的阶次规正不变
矩小目标识别新方法[J ].计算机仿真, 2006, 23(1) :1682171.
L i Hui 2guang, Yao Lei, L i Guo 2you, et al . A ne w recogni 2ti on method of s mall target based on i m p r oved order 2mor malized moment invariants [J ].Computer Si m ulati on, 2006, 23(1) :1682171. [9] 李鹏, 朱宏辉. 一种改进的不变矩方法在图像目标识
别中的应用[J ].交通与计算机, 2004, 22(2) :88290.
L i Peng, Zhu Hong 2hui . App licati on of a modified algo 2
rith m of moment invariants in i m age recogniti on [J ].Computer and Communicati ons, 2004, 22(2) :88290. [10] 杜亚娟, 潘泉, 张洪才. 一种新的不变矩特征在图像
识别中的应用[J ].系统工程与电子技术, 1999, 21(10) :71285.
Du Ya 2juan, Pan Quan, Zhang Hong 2cai . App licati on of a new moment invariant features on i m age recogniti on [J ].System s Engineering and Electr onics, 1999, 21(10) :71285.
[11] 王连亮, 陈怀新. 图像识别的RSTC 不变矩[J ].数据
采集与处理, 2006, 21(2) :2252229.
W ang L ian 2liang, Chen Huai 2xin . Moment invariants of RST C f or i m age recogniti on [J ].Journal of Data Acqui 2siti on &Pr ocessing, 2006, ) :2252229.
[12] , 朱剑英, S US AN 算法的分层快
:自然科学版, (7) :. 2Zhu J ian 2ying, W ang Hua 2m ing . H ierar 2fast corner detecti on based on S US AN algorith m [J ].Journal of South China University of Technol ogy:Natural Science Editi on, 2006, 34(7) :65268.
[13] FischlerM A, Bolles R C . Random sa mp le consensus:a
paradig m f or model fitting with app licati ons t o i m age analysis and aut o mated cart ography [J ].Co mmunicati ons of AC M , 1981, 24(6) :3812395.
[14] Longuet 2H iggins H C . A computer algorith m f or recon 2
structing a scene fr om t w o p r ojecti ons [J ].Nature, 1981, 293(10) :1332135.
[15] Hartley R, Zisser man A. M ulti p le vie w geometry in com 2
puter visi on [M ].Ca mbridge:Cambridge University Press, 2004:2882292.
New Matchi n g M ethod of I mage Features Based on
M o ment I nvari a nts of RSTC
S hao Ze 2m ing Zhu J ian 2y ing
(J iangsu Key Laborat ory of Precisi on and M icr o 2M anufacturing Technol ogy, Nanjing University of
Aer onautics and A str onautics, Nanjing 210016, J iangsu, China )
Abstract:I n the matching of i m age features, a great deal of peaks may occur and unreliable and inaccurate mat 2
ching results are obtained due t o the gray measure . I n order t o s olve these p r oble m s, a ne w matching method of i m 2age features is p r oposed based on the moment invariants of r otati on, scale, translati on and contrast (RST C ) . I n the ne w matching method, an i m p r oved S US AN algorithm is e mp l oyed t o detect the corners . Then, a ne w moment in 2variant of RSTC is constructed t o describe the corner features and t o measure the si m ilarity of corner matching . Mo 2reover, a guided matching with RANS AC r obust esti m ati on and ep i polar line constraint is perf or med . Ex peri m ental results of actual i m ages show that the p r oposed method eli m inates the l ong lines caused by wr ong feature matching and is of excellent matching effectiveness, and that it i m p r oves the matching p recisi on by more than 6%as com 2pared with the gray matching method .
Key words:i m age matching; feature extracti on; S US AN alg orith m; corner detecti on; moment invariant; r obust esti m ati on; ep i polar line