遥感图像融合方法综述

2010年第15期SCIENCE &TECHNOLOGY INFORMATION

○IT 论坛○科技信息

遥感图像融合方法综述

（1．同济大学软件学院

中国

上海

宁1李园园2

201804；2．烟台南山学院软件工程学院

徐

山东

龙口

265713）

【摘要】多光谱图像和全色图像融合是图像融合中的一个重要技术，目的是获得同时具有高的空间分辨和高的光谱分辨的融合图像，以便于进一步的应用。介绍了各种遥感图像融合方法，包括基本的融合方法和各种空间细节注入模型，以及小波变换与传统的方法相结合的融合方法，分析了各种方法的优缺点。

【关键词】遥感图像融合；光谱扭曲；小波变换；ARSIS 概念

A Review of Remote Image Fusion

XU Ning 1LI Yuan-yuan 2

（1．Software College of Tongji University ，Shanghai ，201804China ；

2．Software Engineering College of Yantai Nanshan University ，Longkou Shandong ，265713China ）

【Abstract 】The fusion of multispectral image and panchromatic image is an important technique in the domain of image fusion. The desired result is to obtain an image with the spatial resolution and quality of the panchromatic image and the spectral resolution and quality of the multispectral image in order to the next application. An introduction to an overview of image fusion methods are given, which include basic fusion methods and different models for injecting spatial detail information, as well as schemes that combine standard methods with wavelet transforms. Then, the advantages and disadvantages of the methods are given.

【Key words 】Remote image fusion; S pectral distortion; W avelet transform; ARSIS concept

0引言

遥感图像融合就是将不同类型传感器获取的同一地区的图像数据进行空间配准, 然后采用一定方法将各图像的优点或互补性有机结合起来产生新图像的技术。到目前为止，已经提出了许多的方法进行图像融合[1-7]。尤其是对多光谱图像和全色图像融合。标准的图像融合方案比如：IHS ，PCA 和Brovey 变换通常会导致比较严重的光谱扭曲．而小波分析技术的出现解决了光谱扭曲的问题，在图像融合的各个领域得到了广泛的应用。

小波变换的方法具有较好的融合效果，但是小波变换抽样算法容易产生块效应，影响融合效果[8]。早期的小波融合方案主要有两种：取代法和添加法。后来，提出了混合融合方案，将小波变换提取出的全色图像的细节信息通过标准方法将加入到多光谱图像中去。有代表性的是Gonzalez-Audicana 提出的基于小波变换的IHS 和PCA 融合[9]。之后，Nunez 等人提出了基于非抽样àtrous 小波变换的多光谱图像融合方法[7]。Ranchin 和Wald 设计了一种基于ARSIS 概念的方法[10]。最近提出的曲波变换在表达边缘信息上优于小波变换[11-13]，因此，更适于提取图像的空间细节信息。这些融合方案与标准方案或者标准的小波融合方案相比都达到了好的效果．但是，它的计算复杂度相对较高．

本文分别对目前比较流行的基于抽样的Mallat 算法、无抽样的àtrous 小波变换法和curvelet 变换的融合方法进行了综述。

1）将PAN 图与MS 图的每个波段进行匹配；

2）对MS 图每个波段和匹配后的PAN 图进行小波变换。

3）将变换后的PAN 图的细节信息添加到MS 图像中，如果进行多层分解，将每个分辨水平添加细节图像。

4）对添加后的MS 图像执行小波逆变换。

如果采用非抽样的àtrous 小波变换，将小波平面直接添加到MS 图像中，并且不需要任何的逆变换, 融合过程将大大简化. 1.2ARSIS 概念模型

ARSIS 概念的设计是用来提高融合图像的空间分辨和光谱质量。它是基于丢失的信息只与MS 图和PAN 图的高频部分有关[19,20]。通常情况下，ARSIS 概念中存在两个模型[21]。一个是多尺度模型。例如，与多尺度分析相关的小波变换、curvelet 变换等。另一个是IBSM 或HRIBSM 模型，它处理的是不同光谱波段的空间结构变换。它模拟了PAN 图和MS 图的细节或近似信息的关系。比较常用的有三种模型：光谱扭曲最小化模型（SDM ）、上下文模型（CBD ）、RWM 模型[22]。

基于ARSIS 概念的融合方法的一般步骤如下：

（1）使用任意一种多尺度模型来提取PAN 图和MS 图的空间细节信息；

（2）使用IBSM 或HRIBSM 模型将丢失的信息添加到MS 图中；（3）得到融合图像。

下面以àtrous 小波变换（ATWT ）做为多尺度模型为例，分别对三种模型进行介绍。A 表示已经与MS 图l 波段配准的PAN 图，B l 表示MS 图的l 波段。C l 表示融合后的图像. 1．2．1光谱扭曲最小化注入模型（SDM ）

SDM 模型是空间和光谱都变换的模型。可以用下式表示：·C l ＝B l ＋坠sl w 0p

坠sl ＝B l ／A 2p ，l ＝1，…，L

其中，w 0p 是PAN 图经过àtrous 小波分解后得到的高频细节图像。A 2p 表示PAN 图经过àtrous 小波分解后得到的近似图像。1．2．2上下文注入模型（CBD ）

上下文模型是HRIBSM ，它可以定义如下：

l

w 0l ＝坠c ·w 0p ，l ＝1，…，L

坠c l 是根据MS 图的l 波段B l 和与它具有相同分辨率的PAN 图的近似图像A 2p 计算出来的：

当ρ（i ，j ）≥θl 时，坠c l ＝min｛δB ／δA ，C ｝

l

p 2

1融合规则

小波变换为基础的融合方法是高通滤波的扩充，都是利用了空间细节包含在高频中的思想。在小波为基础的融合方案中，使用小波变换提取全色图像的细节信息注入到多光谱图像中。这种方法可以降低光谱信息的扭曲。但是，由于使用的小波变换的类型不同和注入细节信息的方法各异，可能导致不同的融合结果[8]。目前存在的注入信息的方法有许多种，比较简单的有取代模型，添加模型，复杂的有混合模型和ARSIS 概念模型等。假设图像都是经过匹配，且MS 图与PAN 图的空间分辨比值为1：2. 1.1基本小波融合方案1．1．1取代法

取代法[8]类似于IHS 变换和PCA 变换，是将一幅图像的空间细节信息取代另一幅图像的空间细节信息。主要的步骤是：

1）使用上面任意一种小波变换对PAN 图和MS 图进行变换；

2）用变换后的PAN 图的水平、垂直、对角线三个方向的高频图像取代MS 图的对应的高频图像；

3）在取代后的图像上实行小波逆变换得到融合图像。1．1．2添加的小波融合方案

添加方法的主要步骤是：

当ρ（i ，j ）＜θl 时，坠c l ＝0

其中，ρ（i ，j ）是B l 与A 2p 图像之间的以（i ，j ）为中心像素的N×N正方形滑动窗口的相关系数。δB l 和δA p 表示图像的标准差。

2

CBD 模型是由阈值θl 唯一确定的，0＜θl ≤1，l ＝1，…，L 且在不同的波段一般具有不同的值。阈值的确定与PAN 图的光谱内容有关，通常θl ＝1－ρlp ，其中，ρlp 是MS 图的l 波段和PAN 图的全局相关系数。为了避

34

科技信息○IT 论坛○

SCIENCE &TECHNOLOGY INFORMATION 2010年第15期

免造成数据不稳定或局部区域性丢失，一般情况下，取7≤N ≤11，2≤c ≤3。

1．2．3RWT 模型

RWT 模型[19]建立了MS 图l 波段和PAN 图之间的局部关系。我们假设下面的线性关系成立，其中w 2l 表示构造高分辨的多光谱图像必需的细节：

l

w 0l ＝坠R ·w 0p ＋βR L （IBSM ）

l

w 2l ＝坠R ·w 2l ＋βR L （HRIBSM ）

增益坠R l 和位移βR l 是分辨率为l 的N×N滑动窗口的第一个惯量

轴的参数。

下面用m CB 和m CA 分别表示MS 图的l 波段和PAN 图细节系数的均值。δCB 和δCA 表示细节系数的标准差。w 2l 和w 2p 的协方差和局部相关系数分别用cov 和ρ表示。为了避免噪声，只考虑最有效的变换。在求标准差、协方差、和相关系数时只计算绝对值大于均值的系数。ρ只计算δCB δCA ＞10－5且cov ＞10－2的系数。sign 表示w 2l 、w 2p 乘积的符号。

定义了两个有效的阈值，θ1和θ2，并且θ1>θ2。我们定义坠0=sign , δCB /δCA ，和β0＝m CB －坠0m CA 。下面分三种情况进行讨论：

图像的细节特征。2.2ARSIS 方案

ARSIS 概念是用来提高多光谱图像空间分辨率的一个框架。它已经被应用到绘制城市地图、城市空气质量检测和农业方面。ARSIS 概念是一个开放的框架，因此可以根据不同的应用开发新的实现方法。由于目前还没有统一的标准对融合结果进行评价，因此，无法确定哪种融合方案能获得最佳的融合效果。最常用的衡量光谱质量的标准是计算MS 图和PAN 图对应波段的相关系数。因此，下面我们选取相关系数作为衡量的标准进行评价。

Andrea Garzelli 对基于àtrous 小波变换的PAN 图+MS图的融合进行了实验[22]，分别采用了三种注入模型（SDM.CBD 和RWM ），并将结果与传统的IHS 变换方法和高通滤波方法（HPF ）进行了比较。实验采用的是空间分辨为11.2m 的MS 图和2.8m 的PAN 图。其相关系数的值如表1所示：

表1各种不同方法的相关系数值

波段

IHS 0.3430.7420.8440.940

HPF 0.6080.8190.8900.938

SDM 0.6260.7980.9270.942

RWM 0.8090.8460.8590.919

CBD 0.8910.9050.9190.934

1）

ρ＜θ2

如果δCA ＜10－5或者ρ＝0，坠0＝0那么坠R l ＝坠0，βR l ＝β02）ρ≥θ1

如果cov ≤10－2，那么坠R l ＝坠0，βR l ＝β0否则坠＝

l R

X1

相关系数

X2X3X4

（δCB 2－δCA 2）＋（δCB 2－δCA 2）＋4cov

，

βr l ＝m CB －坠R l m CA

3）θ1≤ρ＜θ2

如果cov ≤10－2，那么坠R l ＝坠0，βR l ＝β0

2222

否则坠R l ＝坠0＋（（δCB －δCA ）＋（δCB －δCA ）＋4cov－坠0）

ρ－θ

，2

2

1

2

由上表可以看出CBD 方法在光谱保持方面效果最好，IH S 变换

的融合方法光谱效果最差。而采用注入模型的方法优于传统的方法和高通滤波的方法

Myungjin Choi 以RWM 为例对基于Curvlet 变换和基于àtrous 小波变换（ATWT ）方法进行了比较[26]。其比较结果如表2所示：

表2各种方法融合性能比较

Method

偏差

标准差

相关系数

βr l ＝m CB －坠R l m CA 1.3混合模型

目前在标准方法（IHS 和PCA 变换法）与小波变换相结合的方面做了大量的研究，尤其是IHS 变换和小波变换（包括mallat 算法和àtrous 变换）相结合[8]。因为IHS 变换方法空间性能较好，而小波方法的光谱信息保持好。它们结合的一般步骤如下：

1. 3．1将MS 图进行IHS 或PCA 变换，得到I 或PC1成分；1．3．2PAN 图与I 或PC1成分进行柱状图匹配；

1．3．3对PAN 图与I 或PC1成分应用上述任一种小波变换得到近似和细节图像；

1．3．4应用上述的模型进行融合；

1．3．5执行逆小波变换来获得融合的I 成分。

1．3．6进行逆IHS 或PCA 变换得到融合后的多光谱图像。

步骤4中应用的模型可以是上面讨论的任何的模型。也就是说，I 的近似图像可以直接取代PAN 的近似图像，I 的细节图像可以用PAN 图像的细节图像进行添加，也可以应用ARSIS 模型，或者其他的变形。下图中表示在HIS 变换和小波变换中应用混合方法。

-3.21

IHS

-3.53-3.43-1.71

Wavelets

-1.88-1.86-1.70

Curvlets

-1.85-1.80

13.7217.1514.4416.9611.2112.8712.8610.729.72

0.950.950.950.930.970.960.950.970.97

2分析与比较

小波变换是目前最为流行的多分辨分析工具，具有良好的空域和频域的局域性[23]。大量的研究证明，用小波变换对多光谱图像和全色图像进行融合有许多的优点。早期的研究主要是对小波方法和传统方法的融合效果进行比较，展示了小波方法的优越性。后来又提出了许多小波与传统方法相结合的融合策略[6,24-25]以及多种细节注入模型来改进融合的效果。2.1基本方案

小波取代法的主要优点是计算复杂度小，与传统的融合方法相比光谱性能较好。但是会丢失MS 图中的一些空间信息及一些小的对象的光谱信息。而添加法在光谱性能上有所改进，但空间质量又会相应的降低。

Mallat 算法将图像分解成一个低频分量和一系列的高频分量，在分解过程中存在抽取和插值，这样大大增加了计算的负担，同时使得它不具有平移不变性，因此融合结果容易出现相位失真。而àtrous 小波变换不需要抽样和插值，并具有二维等方向性，因此更有利于捕捉

从表2中可以看出，Curvlet 变换的偏差和标准差都略低于其它的融合方法，而相关系数高于其它两种方法。这说明以Curvlet 变换为基础的融合方法能很好的保持原始的MS 图像的光谱信息。

由于ARSIS 概念是一个开放的框架，因此具有很好的开发前景，可以在两个方面对其进行改进。一方面是改进多尺度分析模型（MSM ）。目前已经有许多种多尺度分析工具在时频域模拟高频信息。它们都具有不同的属性，并且其中的一些更适合进行图像融合（如CT 和ATWT ）。可以针对特定的应用提出新的多分辨模型。

另一方面是改进IBSM 和HRIBSM 模型。ARSIS 概念的核心是模拟MS 图和PAN 图的高频信息。目前的模型都比较简单明了，并且具有较好的融合效果，但是还可以对其进行改进以达到更好的融合效果。比如：引入光谱的物理性质等。2.3混合模型

MS 图经过IHS 和PCA 变换得到I 成分和PC 1成分，当PAN 图与I 成分和PC 1成分具有高的相关性时，标准的IHS 和PCA 变换可以获得较好的融合效果。达到这种高的相关性必须满足两个条件, 一是PAN 图波段的宽度必须能覆盖整个MS 图的所有波段的宽度；二是PAN 图和MS 图是在同一时间获得的。若不能满足这两个条件，IHS 和PCA 变换将无法获得好的融合效果。

混合模型的融合效果表明，它不仅比传统的方法和小波变换融合效果好，并且不受上述两个条件的影响。所有的混合模型都要经过预

35

2010年第15期SCIENCE &TECHNOLOGY INFORMATION

○IT 论坛○科技信息

处理，但是这样并不会增加时间复杂度和对内存空间的需求，这是因为在标准小波方案，对MS 图的每个波段都要产生一个与之相匹配的PAN 图，而混合方案中只需要一个与I 或PC1分量相匹配的PAN 图即可。

Maria Gonzalez-Audicana 提出了一种改进的基于小波分解的IHS 和PCA 融合方法[9]，它分别采用Mallat 算法和àtrous 小波变换与IHS 或PCA 相结合，并且与IHS 和PCA 融合方法和基本的小波融合方法进行了比较，其相关系数表3所示：

表3各种方法的相关系数值

波段

IHS PCA Mallat àtrous

0.9820.9870.8750.951

与IHS

Mallat 0.9770.9840.8840.947

与IHS

àtrous 0.9800.9850.9080.951

与PCA

Mallat 0.9780.9830.9200.950

与IHS

àtrous 0.9820.9870.9320.955

X10.9650.9640.977

相

关X20.9820.9670.983系

数X30.7900.9190.849

X40.9390.9350.941

由表3可以看出，Mallat 算法和àtrous 小波变换与IHS 或PCA 相结合的方法在光谱保持方面明显的优于传统的方法和简单的小波变换方法，尤其是在波段3和波段4。

3结论

本文综述了目前比较流行的提取细节信息并将细节信息注入到MS 图中的方法. 从简单的取代、添加法到比较复杂的细节注入模型。基本方案简便易于实现，但融合效果不够理想，复杂的模型又会带来计算复杂度的提高。混合模型能较大的提高融合效果，但是也存在一定的缺陷，比如IH S 变换只能同时应用在MS 图的三个波段。基于Curvelet 变换的算法也存在计算量大的问题。因此，应该在尽量减少计算量的条件下，对目前的算法进行改进。科

【参考文献】

［1］Aiazzi, B., Alparone, L., Baronti, S., Garzelli, A.. Context driven fusion of high

spatial and spectral resolution images based on oversampled multiresolution analysis [J].IEEE Transactions on Geoscience and Remote Sensing, 2002，40(10)：2300-2312.

［2］Garguet -Duport, B., Girel, J., Chassery, J., Pautou, G.. The use of multiresolution analysis and wavelets transform for merging SPOT panchromatic and multispectral image data [J].Photogrammetric Engineering &Remote Sensing, 1996，62(9)：1057-1066.

［3］Li, S., Kwok, J.T., Wang, Y.. Using the discrete wavelet frame transform to merge Landsat TM and SPOT panchromatic images. Information Fusion, 2002，3(1)：17-23.

［4］Ming, L., Shunjun, W., 2003. A new image fusion algorithm based on wavelet transform. Proc. 5th International Conference on Computational Intelligence and Multimedia Applications, Xi'an, China, 27–30September 2003：154-159.

［5］Gonzalez -Audicana,M., Otazu, X., Fors, O., Seco, A., 2005. Comparison between Mallat's and the ‘àtrous ’discrete wavelet transform based algorithms for the fusion of multispectral and panchromatic images [J].International Journal of Remote Sensing 26(3)：595-614.

［6］Zhang, Y., Hong, G., 2005. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images[J].Information Fusion 6(3)：225-234.

［7］Nunez, J., Otazu, X., Fors, O., Prades, A., Pala, V., Arbiol, R., 1999. Multiresolution -based image fusion with additive wavelet decomposition. IEEE Transactions on Geoscience and Remote Sensing 37(3)：1204-1211.

techniques -An introduction review and comparison [J].ISPRS Journal of Photogrammetry &Remote Sensing, 62(2007)：249-263.

［9］Gonzalez-Audicana, M., Saleta, J.L., Catalan, R.G., Garcia, R., 2004. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition. IEEE Transactions onGeoscience and Remote Sensing 42(6)：1291-1299.

［10］Ranchin, T., Wald, L., 2000. Fusion of high spatial and spectral resolution images:the ARSIS concept and its implementation. Photogrammetric Engineering &Remote Sensing 66(1)：49-61.

［11］J.L. Starck, E.J. Cande`s,D.L. Donoho, The curvelet transform for image denoising, IEEE Transactions on Image Processing 11(6)(2002)：670-684.

［12］J.L. Starck, F. Murtagh, E.J. Cande`s,D.L. Donoho, Gray and color image contrast enhancement by the curvelet transform, IEEE Transactions on Image Processing 12(6)(2003)：706-717.

［13］M.N. Do, M. Vetterli, The finite ridgelet transform for image representation, IEEE Transactions on Image Processing 12(1)(2003)：16-28.

［14］Graps, A., 1995. An introduction to wavelets. IEEE Computational Science and Engineering 2(2)：50-61.

［15］Walnut, D.F., 2002. An Introduction toWavelet Analysis. Applied and Numerical Harmonic Analysis. Birkhauser, Boston.

［16］Pajares, G., de la Cruz, J.M., 2004. A wavelet -based image fusion tutorial. Pattern Recognition 37(9)：1855-1872.

［17］Cande`s,E.J., Donoho, D.L., 2000. Curvelets –A surprisingly effective nonadaptive representation for objects with edges. In:Rabut, C., Cohen, A., Schumaker, L.L. (Eds.),Curves and Surfaces. Vanderbilt University Press, Nashville, TN ：105-120.

［18］Choi, M., Kim, R.Y., Kim, M.G., 2004. The curvelet transform for image fusion. In:20th Congress of the Internat. Society for Photogrammetry and Remote Sens., B8：59-64.

［19］T. Ranchin, B. Aiazzi, L. Alparone, S. Baronti, and L. Wald, “Image fusion —The ARSIS concept and some successful implementation schemes, ”ISPRS J. Photogramm. Remote Sens., vol. 58：4－18, 2003.

［20］T. Ranchin and L. Wald, “Fusion of high spatial and spectral resolution images:The ARSIS concept and its implementation, ”Photogramm. Eng. Remote Sens., vol. 66：49-61, 2000.

［21］Myungjin Choi, Rae Young Kim, Myeong-Ryong Nam, Fusion of Multispectral and Panchromatic Satellite Images Using the Curvelet Transform, APRIL 20052(2):136-140

［22］Garzelli, A., Nencini, F., 2005. Interband structure modeling for pansharpening of very high-resolution multispectral images. Information Fusion 6(3)：213-224.

［23］Mallat, S.G., 1999. A Wavelet Tour of Signal Processing, second ed. Academic Press, San Diego.

［24］Gonzalez-Audicana, M., Saleta, J.L., Catalan, R.G., Garcia, R., 2004. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition. IEEE Transactions onGeoscience and Remote Sensing 42(6)：1291－1299.

［25］Y. Chibani, A. Houacine, The joint use of IHS transform and redundant wavelet decomposition for fusing multispectral and panchromatic images, International Journal of Remote Sensing 23(18)(2002)：3821－3833.

［26］Filippo Nencini a, Andrea Garzelli a, Stefano Baronti, Remote sensing image fusion using the curvelet transform, Information Fusion 8(2007)：143－156．

作者简介：徐宁（1980—），男，山东人，硕士研究生，主要研究方向为软件工程、信息处理。

［8］Kriste Amolins, ●Yun Zhang, Peter Dare. Wavelet based image fusion

［责任编辑：张慧］

（上接第79页）［4］薄保中, 苏艳民. 三电平逆变器的分析与控制[J].电气传

动, 2003，(2):14-17.

［5］宋文祥, 陈国呈, 束满堂, 丁肖宇. 中点箝位式三电平逆变器空间矢量调制及其中点控制研究[J].中国电机工程学报, 2006, 26（5）:105-109.

［6］吴学智, 刘亚东, 黄立培. 三电平电压型逆变器空间矢量调制算法的研究[J].电工电能新技术, 2002, 21（4）:16-20.

［7］张德宽. 一种实用中点箝位(NPC)逆变器的空间矢量方法[J].电气传动，2003(2):4-7，17.

作者简介：肖永涛（1974—），男，汉族，湖南涟源人，讲师，湖南省娄底市湖南人文科技学院通信与控制工程系，硕士研究生, 研究方向为电机控制与计算机检测。

朱理(1975—) ，女，汉族，湖南湘潭人，讲师，湖南信息职业技术学院机电工程系，硕士研究生, 研究方向为为电气传动及计算机控制。

［责任编辑：张慧］

36