一种自适应的图像双边滤波方法
第31卷 第7期 光电工程 V ol.31, No.7 2004年7月 Opto-Electronic Engineering July, 2004 文章编号:1003-501X (2004) 07-0065-04
一种自适应的图像双边滤波方法
靳 明,宋建中
( 中国科学院长春光学精密机械与物理研究所图像处理室,吉林 长春 130033 )
摘要:提出一种利用双边滤波的图像平滑滤波方法,即在滤除图像中高频噪声的同时,按照图像亮度变化保持图像中处于高频部分的边缘信息的自适应滤波过程。该滤波方法将传统的Gauss 滤波器的权系数优化成Gauss 函数和图像的亮度信息乘积的形式,优化后的权系数再与图像作卷积运算。这样,滤波时就可以考虑到图像的亮度信息,在滤除图像噪声的同时尽量保持了图像的边缘。由于双边滤波的方法可以使滤波器的权系数随着图像的亮度变化而改变,所以在滤波过程中能达到自适应滤波的目的。
关键字:图像平滑;高斯滤波;双边滤波;边缘增强
中图分类号:TN911.73 文献标识码:A
An adaptive bilateral filtering method for image processing
JIN Ming , SONG Jian-zhong
( Image Processing Laboratory, Changchun Institute of Optics, Fine Mechanics and Physics,
Chinese Academy of Sciences, Changchun 130033, China )
Abstract: A bilateral filtering method for image processing, i.e. an adaptive filtering process that filters high-frequency noise of image and simultaneously maintains the high-frequency edge information of image based on image brightness variations is proposed. The filtering method optimizes the weight coefficient of Gaussian filter into the product form of Gaussian function and image brightness information. The optimized weight coefficient will be applied to convolution of image. In this way, image brightness will be taken into account and the image edge should be simultaneously maintained as possible during filtering image noise. Since bilateral filtering method can make the weight coefficient of filter vary with image brightness, so the adaptive filtering effect can be attained during the filtering process.
Key words: Image smoothing ; Gaussian filtering ; Bilateral filtering ; Edge enhancement
引 言
在图像处理领域中,滤波是图像增强的一项非常重要的手段,其基本原理就是将图像中的每个点与其相邻的几个像素点的像素值作邻域运算,即进行加权平均卷积运算。很显然,当图像中存在明显的边缘信息时,通常的邻域运算必然会导致图像中边缘点的像素值发生变化,使图像的边缘变得模糊不清。为了改善这一现象,提出了双边滤波的方法,双边滤波器模板的卷积权值的选取不仅取决于普通低通滤波的像素邻域位置关系,同时还由相邻像素的亮度信息所决定。用模板对图像的边缘进行平滑处理,在有效去除噪声的同时,还能很大程度地保持并加强边缘信息。
1 双边滤波方法介绍
双边滤波方法(Bilateral filtering)是基于Gauss 滤波方法提出的,主要是针对Gauss 滤波中将Gauss 权系数直接与图像信息作卷积运算进行图像滤波的原理,将滤波权系数优化成Gauss 函数和图像亮度信息的乘
66 光电工程 第31卷 第7期 积,优化后的权系数再与图像信息作卷积运算,这样就能在滤波的同时考虑到图像信息中的图像边缘信息,使图像在正常Gauss 滤波后很模糊的边缘信息得以保持清晰,并且图像边缘更加平滑。此方法对于彩色和灰度图像的滤波均适用,具有很强的实用性。
2 双边滤波的理论基础
双边滤波(Bilateral filtering)的概念最初是由Tomasi 和Manduchi 提出的,在处理相邻各像素值的灰度值或彩色信息时,不仅考虑到了几何上的邻近关系,也考虑到了亮度上的相似性,通过对二者的非线性组合,自适应滤波后得到平滑图像。这样处理过的图像在滤除噪声的同时还能够很好地保持图像的边缘信息。
对于普通的空域滤波方法,可用如下公式表示:
ˆ[k ]=I
i =−N N N ∑W [k , i ]Y [k −i ]/∑W [k , i ] (1) i =−N
式中 Y 为原图像,Î [k ]为平滑滤波后的输出图像,W [k , i ]为滤波器的权系数。
对于最常见的Gauss 滤波,自适应滤波时卷积模板应满足下式:
W [k , i ]=exp[−|d ([k ],[k −i ]) |2/2σ2] (2)
对于单纯的空域滤波,滤波器权系数可由公式(3)得出:
22W d [k , i ]=exp[−|d ([k ],[k −i ]) |2/2σd ]=exp(−i 2/2σd ) (3)
我们知道,单纯的空域滤波方法在处理彩色图像时,都是对图像的R , G , B信息分别进行处理,尤其是在图像的边缘部分,会导致彩色图像的颜色失调,滤波效果不好。而如果在此滤波权系数的基础上加进图像的亮度信息作为Gauss 滤波权系数的一部分,就可以直接对彩色图像进行去噪滤波处理,也不会出现彩色图像颜色失调的问题。
带有亮度信息的图像可由下式表示:
ˆ[k ]≡(Y [k ]/σ, k /σ) (4) Y r d
式中 σ d 表示在空域滤波时的高斯函数的标准差,σ r 表示在窗口中图像的亮度通过高斯函数进行滤波时的亮度标准差。由公式(2),当σ =1时,W [k , i ]表示为
ˆ[k ]−Y ˆ[k −i ])/2]=exp[−|(Y [k ]/σ, k /σ) −(Y [k −i ]/σ, (k −i ) /σ) |2/2]W [k , i ]=exp[−d (Y r d r d
=exp[−|(Y [k ]−Y [k −i ])/σr , (k −k +i ) /σd |2/2]=exp{−[(Y [k ]−Y [k −i ]) 2/σr 2+i 2/σd 2]/2} (5)
=exp[−(Y [k ]−Y [k −i ]) 2/2σr 2]exp{−i 2/2σd 2}
令 W r [k , i ]=exp[−(Y [k ]−Y [k −i ]) 2/2σr 2] (6)
则由公式(5)和(6)可以得到: W [k , i ]=W d [k , i ]⋅W r [k , i ] (7)
对于RGB 彩色图像,图像的亮度信息可用下式表示:
|Y [k ]−Y [k −i ]|=(∆R ) 2+(∆G ) 2+(∆B ) 2 (8)
从公式(7)可以看出,双边滤波器的权系数是由Gauss 权系数和图像的亮度信息所构成的,它的卷积模板不再只是由空域滤波时的σ d 单独决定,而是由σ d 和亮度标准差σ r 共同决定。σ d 的大小决定窗口中高斯函数波包中包含的像素个数,σ d 变大时,由于结合的像素值变多,导致图像变得越模糊;而σ r 则可以对σ d 的变化做出补偿,例如,当σ d 变大时,结合的像素会变多,图像本应变模糊,但由于σ r 的限制,那些亮度差值大于σ r 的像素间将不进行亮度间的结合运算,所以极大程度上保证了图像中处于高频边缘处的亮度信息得以保留,而且不会和其相邻的非边缘亮度信息作运算,同时还去除了高频的噪声。这样就可以不用像普通空域滤波那样将彩色图像的R , G , B信息单独处理然后合并,也不会出现边缘信息丢失或失真的现象。与其它自适应算法 (如各向异性扩散等) 相比较,其优点是不需要进行繁杂的迭代运算,尤其是当窗口较大时,可以在保证图像滤波效果很好的同时,极大降低滤波过程的计算时间和计算量。
3 实验结果
实验一,双边滤波的滤波过程 (Matlab仿真结果) 。
年7月 靳 明 等:一种自适应的图像双边滤波方法 67
图1 掺杂了Gaussian 噪声
的输入图像
Fig.1 Input image with Gaussian noise
图2 由W d [k , i ]·W r [k , i ] 构成 的滤波权系数 Fig.2 The filtering weight coefficient
with W d [k , i ]⋅W r [k , i ]
图3 经过滤波后输出 的平滑图像 Fig.3
Output smooth image after filtering
从实验一的Matlab 仿真图像可以看出:双边滤波的权系数 (如图2) 是随着原始图像边缘信息的变化而发生变化的 (如图1) ,这样滤波后的图像 (如图3) 就在滤除图像噪声的同时尽量保持了图像的边缘信息。
实验二,灰度图像的滤波效果比较 (见图4 ~ 图7) 。
实验三,彩色图像的滤波效果比较 (见图8 ~ 图11) 。
通过实验二和实验三中对灰度图像和彩色图像分别处理后的比较,我们可以发现:在相同大小的窗口下滤波后,双边滤波后的图像比普通Gauss 滤波的图像去除噪声的效果更为显著;应用双边滤波方法处理
图4 原始8bit, 256色
灰度图像
Fig.4 Original 8-bit, 256 grey
level image
图5 原始图像中加入方差 为0.05的高斯噪声 Fig.5 Original image added a Gaussian
noise image with 0.05 variance
图6 窗口为4×4, σ d = 5, σ r = 5的双边滤波 Fig.6 Bilateral filtering with a window
of 4×4, σ d =5, σ r =5
图7 窗口为4×4, σ d = 5
的Gauss 滤波
Fig.7 Gaussian filtering with a window
of 4×4, σ d = 5
图8 原始24bit 真彩色图像 Fig.8 Original 24-bit true color image
图9 原始图像中加入方差 为0.05的高斯噪声 Fig.9 Original image added a Gaussian
noise image with 0.05 variance
图10 窗口为4×4, σ d = 5, σ r = 5的双边滤波
Fig.10 Bilateral filtering with a window of 4×4, σ d = 5, σ r = 5
图11 窗口为4×4, σ d = 5的Gauss 滤波
Fig.11 Gaussian filtering with a window of 4×4, σ d = 5
滤波后的图像与原图像相比较,图像边缘部分信息保留更加完整,并且得到了加强 (在彩色图像中更为明显) ,符合双边滤波算法可以增强图像边缘的结论,有利于后续的图像处理工作。
4 结 论
通过对双边滤波算法的原理和实验结果的介绍和比较,我们可以发现,无论处理灰度图像还是彩色图像,结合图像亮度信息作为滤波权系数的双边滤波方法都可以使得滤波后的图像中的边缘信息得到相应的加强,同时在对噪声的去除方面有明显的改进。在达到对图像进行平滑去噪的目的同时,还可以很大程度上保持图像的边缘信息。该方法是基于Gauss 滤波方法优化的自适应滤波方法,具有很强的实用性。 参考文献:
[1] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[A]. Proceedings of the sixth international conference
on computer vision [C]. Washington D C: IEEE Computer Society, 1998. 839-846.
[2] BARASH D. Bilateral filtering and anisotropic diffusion: towards a unified viewpoint [EB/OL]. http: // www.hpl.hp.com/
techreports/2000/HPL-2000-18R1.pdf. 2000-08-14.
[3] ELAD M. On the origin of the bilateral filter and ways to improve it [J]. IEEE Transactions on Image Processing, 2002,
11(10): 1141-1151.
[4] BARASH D. A fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equation
[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002, 24(6): 844-847.
( 下转第72页 )
ggggggggggggggggggggggggggggggggggggggggggggg ( 上接第60页 )
然而,由于其原理性的限制,使得在垂直于光栅条纹方向上的测量精度不高。从原理出发,解决精度的方法应该尽量减小光栅条纹的宽度,即增加光栅的空间频率;但这提高了对制作光栅的要求,而且光栅的空间频率也不能太高,否则会造成条纹模糊。采用移物法来提高采样精度,可以在采用普通光栅常数、保持测量系统参数不变的情况下,达到提高采样精度的目的。该方法操作简单,可以根据实际需要来决定要到达的测量精度,但该方法也存在缺点:要达到一定的精度,就要对多张图片进行处理、合成,这在一定程度上影响了三维信息的获取速度。
参考文献:
[1] 刘维一,王肇圻,母国光,等.彩色编码投影光栅三维轮廓术中分色问题的研究[J]. 光学学报, 2001, 21(4): 454-458.
LIU Wei -yi, WANG Zhao-qi, MU Guo-guang, et al. Color distinction and its application in color-coded grating profilometry
[J]. Acta Optical Sinica, 2001, 21(4): 454-458.
[2] 刘维一,王肇圻,母国光,等.彩色数字编码投影光栅三维轮廓术的研究[J]. 光学学报, 2001, 21(6): 687-690.
LIU Wei-yi, WANG Zhao-qi, MU Guo-guang, et al. Three-dimensional surface profilometry using color-coded projection grating [J]. Acta Optical Sinica, 2001, 21(6): 687-690.
[3] 许庆红,钟约先,由志福.光栅投影轮廓测量的系统标定技术[J]. 光学技术, 2000, 26(2): 126-133.
XU Qing-hong, ZHONG Yue-xian, YOU Zhi-fu. System calibration technique of profilometry by projected grating[J]. Optical Technique, 2000, 26(2): 126-133.
[4] 周建勤,韩良恺.简化的三维体轮廓测量术[J]. 大学物理, 1996, 15(5): 35-36.
ZHOU Jian-qin, HAN Liang-kai. Simplified profilometry of 3-D object [J]. College Physics, 1996, 15(5): 35-36.
[5] 陈文静,苏显渝.提高Fourier 变换轮廓术测量精度的新方法[J]. 光电工程, 2002, 29(1): 19-22.
CHEN Wen -jing, SU Xian -yu. A new method for improving measuring accuracy of Fourier transform profilometry [J]. Opto -Electronic Engineering, 2002, 29(1): 19-22.
(a) (b) (c)
(d)
(a) Carphone原图; (b) 帧差图象; (c) 帧差图象二值化; (d) 形态学处理结果(N f =15)
(a) Carphone original image ; (b) Frame difference image ; (c) Frame difference image binarization ;
(d) Result processed with morphology (N f =15)
图3 Carphone实验结果
Fig. 3 Carphone experiment results
6 结 论
利用累积帧差信息来进行视频对象分割不需要太多的先验知识。对于视频序列,不论对象位于图像帧中的何位置,只要对象具有较缓慢的运动,在背景相对简单的视频序列中利用该算法就能够快速、高效地检测出对象位置,比较适合应用于新闻播报、视频会议等的视频分割中。
为了结果的精确性和算法的更通用性,还需要做一些改进工作,如预处理、模型建立、判定准则、后处理技术等。另外,该视频对象分割算法是针对低比特率环境下运动较为缓慢,背景相对简单的视频序列而设计的,而对于其它更为复杂的情况,需要更进一步的研究。
参考文献:
[1] ISO/IEC JTC1/SC29/WG11 Document N3908. MPEG-4 Video Verification Model: version 18.0 [S]. Pisa: MPEG Video Group,
2001.
[2] ZHONG Di, CHANG Shih-fu. AMOS: An Active System For MPEG-4 Video Object Segmentation [A]. Proceedings of the
IEEE International Conference on Image Processing ICIP’98 [C]. Chicago: IEEE, 1998. 647-651.
[3] ZHONG Di, CHANG Shih-fu. An Integrated Approach for Content-Based Video Object Segmentation and Retrieval [J]. IEEE
Transactions on Circuit and Systems for Video Technology, 1999, 9(8): 1259–1268.
[4] 马小虎, 张明敏, 严华明. 多媒体数据压缩标准及实现[M]. 北京:清华大学出版社, 1996.
MA Xiao-Hu, ZHANG Ming-Min, YAN Hua-Ming. Multimedia Data Compression Standard and Its Realization[M].
Beijing: Tsinghua University Publishing House, 1996.
[5] MEIER T , NGAN K N. Automatic segmentation of moving objects for video object plane generation [J]. IEEE Trans. on
Circuits and System for Video Technology, 1998, 8(5): 525-538.
ggggggggggggggggggggggggggggggggggggggggggggg ( 上接第68页 )
[5] SAINT MARC P, CHEN J S, MEDIONI G. Adaptive smoothing: a general tool for early vision [J]. IEEE Trans. Pattern
Analysis and Machine Intelligence, 1991, 13(6): 514-529.
[6] PERONA P, MACLIK J. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Trans. Pattern Analysis and
Machine Intelligence, 1990, 12(7): 629-639.
[7] BLACK M J, SAPIRO G , MARIMONT D, et al. Robust Anisotropic Diffusion [J]. IEEE Transactions on Image Processing ,
1998, 7(3): 421-432.