基于SURF的彩色图像配准

〈图像处理与仿真〉

基于SURF 的彩色图像配准

石雅笋，刘晓云，陈 奋

（电子科技大学 自动化工程学院，四川 成都 611731）

摘要：提出了一种基于SURF （Speeded Up Robust Feature）的彩色图像配准算法。该算法利用图像彩

色信息计算得到的颜色不变量来提取图像的特征点；提取到特征点后，结合图像的灰度信息为特征点生成特征描述子；最后采用欧氏距离进行相似性度量，提取两幅图像间匹配的特征点对。实验结果表明，该算法在保持算法的快速性和准确性的同时，获得的配准点对比SURF 要多。所以该算法可以有效地避免像原始SURF 算法那样因为配准点少而造成的配准失效，从而提高了算法的稳定性。 关键字：SURF ；图像配准；颜色不变量

中图分类号：TP391 文献标识码：A 文章编号：1001-8891(2010)07-0415-05

Color Image Registration Technique Based on SURF

SHI Ya-sun，LIU Xiao-yun，CHEN Fen

(School of Automation, University of Electronic Science and Technology of China, Chendu 611731, China)

Abstract ：This paper proposes an automatic color image registration algorithm based on SURF(Speeded Up Robust Feature). Firstly, a color invariant is calculated from the image’s color information to extract feature points from images by the algorithm. Secondly, after the feature points located in, the algorithm uses an image’s gray level information to build a feature descriptor. Finally, match points are extracted from a pair of images by similarity measurement criterion of Euclidean distance. The experimental results show that the algorithm can extract more match points than SURF while retaining fast computational speed and high accuracy. So it can effectively avoid registering failure due to lack of match points of the original SURF algorithm and improve stability of the algorithm.

Key words：SURF ，image registration，color invariant

的色彩信息。也有些研究者提出了一些对彩色图像的

引言

配准算法。文献[8]提出了将RGB 分量的强度归一化后再用SIFT （Scale Invariant feature Transform）算法图像配准[1,2]是图像处理与应用的一个基础性问

来处理彩色图像。此算法虽然具有部分几何不变性，题。配准的好坏会直接影响到很多图像处理的后续操

但描述色彩不变特征时仍有局限性。文献[9]提出了一作，如图像融合[3]，图像拼接[4]，图像镶嵌[5]等问题。

种基于SIFT 的颜色不变特征的算法, 此算法虽然对色图像配准一般可以分为基于灰度的图像配准和

彩不变特征具有很好的描述，但算法耗时较长，很难基于特征的图像配准[6]。基于灰度的图像配准一般要

实现配准的实时性。 求图像同质同源且计算量大；而基于特征的图像配准

SURF [10]是在SIFT 配准算法的基础上提出的一具有很好的鲁棒性，计算量小，速度快，成为配准研

究的主流方向。配准的发展方向为进一步追求实时种基于快速鲁棒特征的配准算法。SURF 算法对彩色性，高精度和可靠性[7]。基于特征的配准算法对于彩图像的配准是将彩色图像转化为灰度图像，然后进行

配准，丢失了图像的颜色信息。本文通过引入颜色不色图像的配准大部分是将彩色图像变换成灰度图像，

变量，将图像的彩色信息变换为颜色不变量信息，结

仅利用图像的亮度信息进行配准，没有充分利用图像

415

合SURF 算法的快速性进行图像间的配准。配准很好的利用到图像的颜色信息，克服了原始SURF 算法特征点少的不足。实验结果表明，本文算法保持了算法的实时性，增强了算法的稳定性。

⎡L xx (x , σ)L xy (x , σ)⎤

H (x , σ)=⎢⎥ (5)

L x , L x , σσ()()yy ⎣xy ⎦

式中：L xx 是高斯滤波二阶导

1 颜色不变量模型

颜色不变量模型是由Geusebroek 等在文献[11]

中提出的，该模型是基于Kubelka-Munk 描述物体的光谱辐射特性理论。Kubelka-Munk 理论定义光谱反射为：

G G G 2G G ⎤E (λ, x )=e (λ, x )⎡1ρx R λ, x ρx −+()()()⎦()f ∞f ⎢⎥ (1) ⎣

G G

λ为波长；x 为图像的二维位置坐标；e (λ, x )为式中：

G G

光谱强度；ρf (x )为Fresnel 反射系数；R ∞(λ, x )为材

同输入图像H inv

∂x 2

卷积的结果，其中高斯函数定义为

∂2g (σ)

g (σ)=

−(x 2+y 2)/2σ21e ，L xy 、L yy 的计算同L xx 类似。2

2πσ

为了计算方便，此处计算采用箱式滤波模板同输入图像的卷积D xx 、D yy 、D xy 来代替L xx 、L yy 、L xy 。把9×9的箱式滤波器近似为σ＝1.2的二阶高斯导数，D xx D xy 与L xx L xy 之间有以下关系：

ω=

L xy (1.2)L xx (1.2)

F F

D xx (9)D xy (9)

F F

≈0.9 (6)

料反射率。而在实际情况中，光谱强度一般与波长无

G G

关，只与位置有关，我们可以用i (x )来代替e (λ, x )，于是公式(1)变为：

G G G 2G G ⎤E (λ, x )=i (x )⎡1ρx R λ, x ρx (2) −+()()()⎥()f ∞f ⎢⎣⎦对(2)式分别求一阶导数和二阶导数，然后相除得到： H inv

G G 2

E λ∂R ∞(λ, x )∂R ∞(λ, x )G ==/=λ, f R x ())(3) (∞

∂λ∂λ2E λλ

式中：H inv 就是颜色不变量，它与观测位置、光照方

向、强度、Fresnel 反射系数均无关。

当λ0＝520 nm ，σλ＝55 nm 时，可得到符合人眼视觉系统和CIE-1964-XYZ 基准的近似形式，通过两次线性变换可以得到(E , E λ, E λλ) 与RGB 彩色图像的关系式：

式中：||⋅||F 为Frobenius 范数。ω为权重系数，实际应用中取0.9。则Hessian 矩阵的行列式可以表示为：

det(H essian ) ＝D xx D yy －(0.9D xy ) 2 (7) 对Hessian 矩阵检测到的极值点，设定一个阈值，当极值点大于这个阈值时，对该极值点在3×3×3的立体邻域内进行非极大值抑制（Non-maximum

，只有比近邻的26个响应值都大的点才suppression ）

被选为特征点，继而在尺度空间进行插值，得到稳定的特征点位置和所在尺度值。当Hessian 矩阵检测到的极值点小于设定的阈值时，排除该点，这样加快了极值点检测的速度。由于计算得到的颜色不变量H inv 对比度很大，对于特征点的提取有很大的优势。通过大量的实验表明，本文算法阈值选取为9600可以检测到比较均衡的极值点。

3

描述子的生成

SURF

描述子是利用极值点周围的灰度信息来生成的。图1左边为一幅彩色航空遥感影像的灰度图，右边为彩色航空遥感影像经过公式(3)和公式(4)计算得到的颜色不变量图。

⎛E ⎞⎛0.060.630.27⎞⎛R ⎞⎜⎟⎜⎟⎜⎟E 0.30.040.35=−λ⎜⎟⎜⎟⎜G ⎟ (4) ⎜⎟⎜⎟⎜⎟⎝E λλ⎠⎝0.34−0.60.17⎠⎝B ⎠

对RGB 图像，可以通过公式(3)和(4)来计算得到颜色不变量H inv 。

2 特征点的检测

对参考图像和待配准图像，计算得到颜色不变量H inv 作为输入信息，建立积分图像。采用箱式滤波器来近似代替高斯核函数，选取不同大小的箱式滤波器建立图像的尺度空间。

图像的尺度空间建立后，使用快速Hessian 矩阵检测每一层图像上的极值点。对空间内的任意一点(x , y ) ，尺度为σ，Hessian 矩阵定义为： 416

图1 灰度图与颜色不变量图的比较 Fig.1 Gray image and Color invariant image

从图1可以看出基于颜色不变量图像的对比度比较突出，对于检测极值点有很大的优势，而对于极值

2010年7月 石雅笋等：基于SURF 的彩色图像配准 July 2010

点周围的描述信息，灰度图像可以生成更丰富的描述信息。本文采取将检测到的极值点定位到由原图变换成的灰度图像中，利用灰度图的信息生成特征描述子。为了保证旋转不变性，首先以特征点为中心，计算半径为6s （s 为特征点所在的尺度值）邻域内的点在x 、y 方向的哈尔小波响应，并给这些响应值按距离赋于不同高斯权重系数；然后对加权后的哈尔小波响应用直方图进行统计，将圆形区域划分为72组，每5°一组，分别将60°范围内的响应加起来形成一个新的矢量，遍历整个圆形区域，选择最长矢量的方向为特征点的主方向。

选定特征点主方向后，以特征点为中心，将坐标轴旋转到主方向。按照主方向选取20s ×20s 的正方形区域，将该窗口区域划分成4×4共16个子区域。在每一个子区域内，计算每个像素点在哈尔小波x 方向和y 方向的响应。并以特征点为中心对哈尔小波在x 方向和y 方向上的响应分别进行加权记为d x 、d y ，对每一个子区域内的哈尔小波在x 方向和y 方向的响应分别进行求和，记为∑d x 、∑d y 。再分别对每个子区域内的d x 、d y 的绝对值进行求和分别记为∑|d x |、∑|d y |。这样，对于每个子区域就形成了一个V sub ＝(∑d x , ∑d y ,

对每一特征点的16个子区域∑|d x |, ∑|d y |) 的四维向量。

就形成了64维的描述向量，再进行向量的归一化，形成特征点的描述子。

2.80GHz ,1024MB内存，操作系统为Windows XP。 5.1 检测到的特征点比较

SURF 算法的不足就是检测到的特征点较少，本文基于颜色不变量的SURF 算法正好弥补了SURF 算法此处的不足。图2左边为SURF 检测的特征点图，右边为本文基于颜色不变量检测的特征点图。由于颜色不变量H inv 对比度鲜明。本文算法在特征点检测所采用的阈值为9600，SURF 算法采用的阈值为1200，本文算法虽然阈值设的很大，但检测到的特征点比原始算法还要多很多，可见基于颜色不变量的特征点检测效果要好于原始SURF 算法的检测效果。

图2 SURF算法与本文算法检到的特征点的对比 Fig.2 Comparison the feature points detected by SURF

algorithm and our algorithm

4 图像的配准

两个特征向量的相似性度量采用欧式距离进行计算：

2⎤⎡k =n

Dis ij =⎢∑(X ik −X jk )⎥ (8)

⎣k =0⎦

式中：X ik 表示第一幅图像中第i 个特征点对应特征向量的第k 个元素，X jk 是第二幅图像中第j 个特征点对应特征向量的第k 个元素。n 为特征向量的维数。

对于第一幅图像的特征点对应的特征向量，计算它与第二幅图像所有特征点对应的特征向量集合中每一个特征向量的欧氏距离，得到距离集合，然后对距离集合进行从小到大的排序。设定一个阈值，当最小欧氏距离和次最小欧氏距离的比值小于设定的阈值时，认为这两个特征点是匹配的。阈值选取越小，匹配对数目越少，但更稳定。

1/2

5.2 轮廓不鲜明的图像间配准比较

SURF 算法对于边缘突出，轮廓鲜明的图像可以检测到较多的特征点，否则得到的特征点较少，这样容易出现误配或者是找不到配准点的情况。而本文所提算法是获取到彩色图像的颜色不变量后再进行特征提取，对于轮廓不鲜明但存在颜色变化的图像配准效果要好于SURF 算法。实验选取640×480的自然场景图像为原图，在图像上截取一块轮廓不鲜明但存在颜色变化的区域，大小为283×177。分别采用SURF 和本文基于颜色不变量的SURF 算法进行配准。效果如图3和图4所示。

图3 SURF配准 Fig.3 SURF

registration

5 实验结果及分析

本文实验数据选取的图像为一幅航空遥感图像、

一幅自然场景图像、两幅不同视角拍摄图像。采用VS2005编程。电脑配置为Pentium(R)D CPU

图4 本文颜色不变量SURF 配准

Fig.4 This paper color invariant SURF registration

417

2010年7月 Infrared Technology July 2010

由图3和图4的结果可见，对于轮廓不鲜明但存在色彩变化的图像之间采用基于颜色不变量的SURF 算法得到的配准对的效果要好于SURF 算法。 5.3 不同拍摄角度的图像间配准比较

选取两幅不同拍摄角度的图像，图像大小都为450×600。图5左边为采用SURF 算法的配准效果图，右边为本文算法的配准效果图。

图5 SURF算法配准效果与本文算法配准效果比较 Fig.5 Comparison the effect of SURF registration and our

registration

SURF 算法共有17对配准对，误配对数为2对，配准正确率为88%，配准时间为1210 ms 。本文算法共98对配准对，误配对数为11对，配准正确率为89%。配准时间为2015 ms 。本文算法在牺牲少量的时间的基础上增加了配准点对数。保证了算法的实时性，提高了算法的稳定性。 5.4 综合比较

为了验证基于颜色不变量的SURF 算法的鲁棒性和配准效果，选取1024×840的航空遥感影像为原图，从原图上截取一块大小为274×325的区域。对区域进行缩放、旋转、缩放加旋转，分别采用SIFT 、SURF 、本文算法进行配准。配准结果如图6所示。表1为配准算法对应的实验数据，增加了待配区域放大2倍后与原图配准的实验数据。

由表1可知三种算法配准正确率相差不大，都有很高的正确率。但当待配区域缩小二倍时，SURF 算

(a) 待配区域不变与原图的配准

(b) 待配区域缩小二倍与原图的配准

(c) 待配区域旋转－15°与原图的配准

(d) 待配区域缩小二倍加旋转－15°与原图的配准

图6 从左到右分别为SIFT 、SURF 、本文基于颜色不变量的SURF 配准

Fig.6 From left to right are SIFT algorithm SURF algorithm and our color invariant SURF algorithm

418

2010年7月 石雅笋等：基于SURF 的彩色图像配准 July 2010

表1 SIFT、SURF 、本文基于颜色不变量SURF 配准数据比较

Table 1 Experimental data of SIFT、SURF 、our color invariant SURF algorithm

算法

原始SIFT 区域不变 原始SURF 区域不变 本文算法区域不变 SIFT 区域缩小二倍 SURF 区域缩小二倍 本文算法区域缩小二倍 SIFT 区域放大二倍 SURF 区域放大二倍 本文算法区域放大二倍 SIFT 区域旋转－15° SURF 区域旋转－15° 本文算法区域旋转－15° SIFT 区域缩小加旋转－15° SURF 区域缩小加旋转－15°

待配图特征点数

原图特征点数

配准对

配准耗时/ms 正确率

689 8293 633 11871.15 100% 65 1570 35 1358.64 100% 313 3910 222 1951.91 100% 115 8293 54 12152.18 100% 5 1570 2 1402.13 失效

39 3910 8 1490.85 100% 2638 8293 411 17464.47 97% 282 1570 27 1693.95 100% 1608 3910 132 3917.11 95% 812 8293 398 12219.28 96% 189 1570 24 1463.69 100% 413 3910 93 2059.76 99% 132 8293 41 10366.69 83% 32 1570 1 1324.49 失效

4 1487.59 100% 本文算法区域缩小加旋转－15° 65 3910

法只能找到2对配准点；当区域缩小二倍加旋转-15

度时，SURF 只能找到1对配准点。低于3对配准点的匹配被认为是无效的。而本文基于颜色不变量的配准一般没有出现这样的现象。由表1可以看出本文算法相对SURF 算法可以检测到更多的特征点，并能找到更多的配准对数。算法的稳定性对于一个算法来说是至关重要的。本文算法在牺牲少量时间的基础上大大提高的了SURF 算法的稳定性，且保证了算法的实时性。本文算法相对于SIFT 算法，虽然配准对数要少于SIFT 算法，但配准时间远远快于SIFT 算法。本文算法对于实时性要求较高的场合有更好的应用价值。

[2] Tuytelaars T. and Van Gool L., Matching Widely Separated Views Based

on Affine Invariant Regions[J]. Computer Vision, 2004, 59(1): 61-85. [3] 贾永红, 李德仁, 孙家柄. 多元遥感影像数据融合[J]. 遥感技术与应

用, 2000, 15(2): 41-44.

[4] Brown M. and Lowe D.. Recognising Panoramas[J]. Computer Vision,

2003: 1470-1478.

[5] 刘坡, 匡纲要. 遥感图像的图像镶嵌方法[J]. 人工智能及识别技术,

2006: 197-198.

[6] Brown L. G.. A Survey of Image Registration Techniques[J]. ACM

Computing Surveys, 1992, 24(4): 325-376.

[7] 赵芹, 周涛, 舒勤. 基于特征点的图像配准技术探讨[J]. 红外技术,

2006, 28(6): 331-333.

[8] Brown M., Lowe D. G.. Invariant features from scale invariant

keypoints[J]. The International journal of Computer Vision, 2004, 60(2): 91-110.

[9] Alaa E.Abdel-Hakim, Aly A.Farag. CSIFT: A SIFT Descriptor with Color

Invariant Characteristics[C]//Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006: 1978-1983.

[10] Herbert Bay, Tinne Tuvtellars, Luc Van Gool., SURF: Speeded Up

Robust Feature[C]//European Conference On Computer Vision, 2006: 404-417.

[11] Geusebroek J. M. , R.van den Boomgaard, Smeulders A.W.M., et al.

Color Invariance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2001, 23(12): 1338-1.

6 结论

基于颜色不变量的SURF 配准算法充分利用了图像的颜色信息，弥补了SURF 算法特征点少的不足。提高了算法的稳定性。通过实验表明，该算法对彩色图像的配准速度快，对旋转、缩放都有很好的配准效果。对于红外图像的配准也能达到很好的配准效果。为彩色图像和红外图像的配准提供了一种新的方法。对于多波段的彩色遥感图像的配准问题和可见光与红外图像的配准问题是下一步研究的方向。

参考文献：

[1] Schaffalitzky F. and Zisserman A.. Multi View Matching for Unordered

Image Sets[J]. Computer vision, 2002: 414-431

419