边缘融合（共7篇）
边缘融合 篇1
0 引言
多源图像数据融合是信息融合的重要分支,在遥感图像处理等方面有广阔的应用前景。多光谱图像(Multi-Spectral,MS)和全色(Panchromatic,PAN)高分辨图像融合是多传感器图像融合中的一种,高分辨率的全色图像反映了空间结构信息,能够充分描述地物的细节等特征,但频谱分辨率较低,不能较好地描述地物的光谱信息。低空间分辨率的多光谱图像光谱信息丰富,对地物的识别与解释起到重要作用。在遥感应用中,具有丰富光谱信息的多光谱MS图像与具有高空间分辨率的全色波段PAN图像的融合就是利用它们各自的互补信息获得具有高空间分辨率的MS图像,使融合后的图像能够尽可能地保持原始多光谱图像的频谱信息,提高空间分辨率,融合后的MS图像不仅应具有较高的几何信息内容,同时还应保持良好的光谱信息质量。
Candes[1]等人提出了一种适合分析具有曲线或超平面奇异性高维信号的曲波(Curvelet)变换。曲波变换不但和小波一样具有局部时频分析能力,还具有比小波变换更强的方向选择和辨识能力,而且对图像边缘的表达更优于小波,是一种更适合于图像处理的多尺度几何分析(MGA)方法。曲波较小波具有更好的稀疏表达能力,它能将图像的边缘,如曲线、直线特征用较少的大的曲波变换系数表示,克服了小波变换中传播重要特征到多个尺度上的缺点,变换后能量更加集中,更利于跟踪和分析图像的重要特征。将Curvelet运用到图像去噪[2]、增强[3]、融合[4,5,6,7,8]等方面,均得到了较好的效果。
1 基于边缘信息的曲波域图像融合
1.1 HSI变换
在RGB空间中,光谱信息与三个坐标R,G,B的耦合性较强,R,G,B中任一分量的改变都会改变光谱信息,在图像处理过程中处理起来困难。为了将高分辨率影像的结构信息叠加到低分辨率多光谱影像中,经典的方法是采用HSI变换法。在HSI空间中,光谱信息主要体现在色调和饱和度H,S上,亮度I主要反映地物辐射总的能量及其空间分布,即表现为几何特征。从视觉特点上分析,亮度I的改变对光谱信息影响较小,便于处理。对于高空间分辨率影像和多光谱影像的融合,希望在保留光谱信息的前提下添加高空间分辨率影像的细节信息,因此更适于在HSI空间进行处理[9]。
1.2 基于边缘信息的曲波域图像融合
单一的HSI变换融合方法往往会带来极大的光谱失真,将HSI变换和curvelet变换结合,利用HSI融合增强空间细节表现能力以及Curvelet融合保留MS图像的光谱特性和PAN图像的纹理信息优点,使融合图像在保持光谱信息、提高空间分辨率和增强细节纹理信息三个方面的综合性能达到较好的平衡。
本文提出了一种结合边缘信息的曲波域遥感图像融合方法,利用曲波对图像几何特征更优的表达能力有效地提取原始图像的特征,为融合图像提供更多的信息,针对全色图像和多光谱图像进行了融合实验。首先对多光谱图像MS进行HSI变换,得到亮度分量I,对全色图像和I分量进行曲波变换得到粗尺度系数、细节尺度系数以及最小尺度系数,利用边缘信息对粗尺度系数进行处理,采用函数对细节尺度系数中的弱边缘进行增强;最小尺度系数采用简单的选择;曲波逆变换后得到新的亮度分量Inew,用Inew替代原亮度分量I进行逆HSI变换得到最终融合结果。
具体融合步骤:
1)对MS图像进行RGB到HSI颜色空间的转换,得到亮度分量I,色度H和饱和度S;
2)对I和全色图像(PAN)进行曲波变换,分别得到粗尺度系数CI,CPAN,细节尺度系数DI,DPAN以及最小尺度系数FI和FPAN;针对多光谱和全色的成像特点,本文采用分层的融合方法,对曲波分解的粗尺度系数和细节尺度系数分别采用不同的融合规则。
3)粗尺度系数融合如下:
a)曲波系数的选择取决于该级曲波分解的幅值。对PAN图像的曲波变换系数进行叠加,即
计算叠加系数的归一化直方图1。可以看出,归一化的直方图呈现出一个明显的脉冲状且峰值左右基本对称,这样,在峰值附近区域对应于区间[u-c×σ,u+c×σ],由于曲波系数的绝对值较小,边缘信息比较弱,此区间为目标平滑区;在峰值两边对应于区间cu×-],0[σ和cu×+]1,[σ,由于曲波系数的绝对值较大,反映了较强的边缘信息,这两个区间为目标边缘区。从直方图分布上可以看出,边缘在图中所占的比例比较小,平滑区所占的比例较大。其中,u为均值,σ为方差,c为区间调节因子。实验中取c=2时,融合图像基本在保持多光谱大部分光谱信息的同时将PAN图像的大部分较强边缘保留了下来。
b)令GPAN(i,j)为PAN R图像在(i,j)处的灰度值,GMS(i,j)为多光谱图像对应的灰度图像在(i,j)处的灰度值。令Y为边缘有效因子,定义为
c)融合后的粗尺度系数按照如下规则选取:
4)细节尺度融合规则(弱边缘增强)
边缘是图像非常显著的一个特征,全色图像有很多弱小边缘,在融合时,应该尽可能多地保留图像的有用特征。目前的多尺度变换融合方法无论是基于像素的融合还是基于区域的融合,只涉及到反映图像中的强边缘的值,并没有考虑图像中那些弱的边缘值。受文献[10]的启发,本文使用同一函数来对图像的Curvelet系数进行修改,使图像中的那些弱边缘放大,强化图像中的弱边缘,从而改善融合图像空间分辨率。经处理后所得的图像边缘平滑,纹理更为清晰。
式中:各参数值的含义为σ是图像的噪声方差,采用文献[11]中的估计方法对源图像的噪声方差进行估计。p决定了非线性的程度,如果s>0则在增强弱边缘的同时削弱强的边缘。k是标准化参数,k≥3保证噪声不被放大,m是Curvelet系数的调整因子,其值由Curvelet变换各子带中明显像素值决定,随子带变化而变化,一般取Curvelet最大系数值的一半。在实验过程中发现,参数p、s、k的取值分别为p=0.5、s=0、k=3时效果最佳,参数m,σ在融合过程中得到。因此,yk(x,σ)主要的作用为:1)抑制噪声;2)增强弱边缘。
5)最小尺度融合规则:取全色图像的最小尺度系数,Fnew=FPAN;
6)对于Cnew、Dnew和Fnew进行曲波逆变换,得到Inew;
7)用Inew代替I分量,同H、S分量一起进行HSI逆变换得到融合图像。
2 实验结果分析与评价
实验数据采用北京附近的SPOT全色影像和同一地区的Landsat TM影像进行实验,如图2(a)和图2(b)所示,在保持MS图像多光谱信息的基础上加入高分辨率PAN图像中的重要目标信息进行融合。为方便对比,同时也对曲波域其他融合算法进行了实验,分解3层。图2(c)为文献[4]中的方法,对粗尺度和细节尺度均取大(Curvelet(CmaxDmax));图2(d)为文献[5]中的方法,粗尺度取平均,细节尺度取大(Curvelet(CmeanDmax))。图2(e)为文献[6]中的方法,粗尺度取MS,细节尺度取PAN(Curvelet(Cms Dpan));文献[4-6]方法均为直接在曲波域对系数直接处理得到融合结果;图2(f)、图2(g)为文献[7]和文献[8]结合HSI变换对亮度分量调制(Intensity Modulation,IM)的曲波域融合方法,为与本文算法区别,记为粗尺度亮度调制方法1(IM1),亮度调制方法2(IM2),本文算法记为亮度调制方法3(IM3)。本文算法HSIIM3Dedge如图2(h),实验结果如图2(c)∼图2(h)所示。
对比分析融合前的MS图像、全色图像以及融合图像可以看出,融合后的图像信息量都有所增加,集中了图像的信息优势,使得融合后的图像既保持了MS图像的多光谱信息,又不同程度地加入了全色图像中的细节信息,目视效果上不仅具有光谱特性,而且加入了全色图像中的细节信息。
从目视效果来看,直接进行系数处理的融合方法(图2(c)、图2(d)和图2(e))中,直接系数值取最大(图2(c))和平均(图2(d))的方法产生了较大的光谱扭曲,尤其是蓝色波段扭曲最为严重。丢失了原多光谱图像的大量信息;图2(e)的光谱扭曲较少。说明曲波粗尺度直接取大的方法和曲波粗尺度采用平均的方法(Curvelet(CmeanDmax),图2(d))不适合光谱差异较大的图像融合;结合HSI变换的三种方法都较好地保持了光谱信息。其中,对比原多光谱图像右半部分蓝色可以看出,HSICmeanDmax方法(图2(f))和HSICIM1Dmax方法(图2(g))的融合结果在该部分颜色偏浅,出现了一定程度的光谱扭曲;目视光谱保持较好的算法(图2(e))和本文算法,在使目标清晰可见的基础上较好地保持了原多光谱图像的光谱特征,融合图像的纹理更清晰。
对于遥感图像融合效果的评价应综合考虑空间细节信息的增强与光谱信息保持。一般利用两类统计参数进行分析与评价[12]:一类反映空间细节信息,如标准差、信息熵和清晰度;另一类反映光谱信息,如扭曲程度、偏差指数与相关系数。本文采用熵、平均梯度、空间频率、扭曲程度来进行融合结果的客观评价。
1)熵(Entropy)是衡量图像信息丰富程度的一个重要指标,融合图像的熵值的大小表示图像所包含的平均信息量的多少。信息熵越大,图像所含的信息越丰富,融合质量越好。
2)平均梯度(Grad)反映了图像中的微小细节反差表达能力和纹理变化特征,同时也反映了图像的清晰度。平均梯度越大表明清晰度越好。
3)空间频率(Space Frequency)
图像的行频率和列频率分别为
则图像的空间频率为
空间频率反映了一幅图像空间域的总体活跃程度。
4)扭曲程度(Degree of Distortion)
光谱扭曲度能够客观地反映融合图像相对于MS图像的光谱信息丢失情况,其值越小说明融合图像越多保留了MS图像中的光谱信息,产生的光谱畸变越小。光谱扭曲度反映了融合图像的失真程度,定义为
其中IF(i,j),I(i,j)为融合后和原图像上(i,j)点的灰度值。扭曲程度越小表明图像的失真程度越小。
综上,融合结果的熵、平均梯度、空间频率这三个指标参数值越大越好,扭曲程度则越小越好。
表1中列出了实验中各融合算法的原始图像与各融合图像的熵、梯度、空间频率和扭曲度评价参数值,各参数所表示的含义如前所示。可以得出以下结论:
1)直接系数处理的融合方法与结合HSI变换融合方法的熵、梯度和空间频率相比:结合HSI变换的融合图像的熵、梯度和空间频率值都有提高,图像清晰度增强,说明Curvelet域结合HSI变换的融合方法在空间信息保持上优于直接系数处理的融合方法;
2)直接系数处理的融合方法与结合HSI变换融合方法的扭曲度相比:结合HSI变换的三种方法的扭曲度大大降低,说明Curvelet域结合HSI变换的融合方法在光谱保持能力上远远优于直接系数处理的融合方法。
3)本文提出的结合边缘信息和全色图像特征信息的曲波域融合方法得到的融合图像的熵、梯度和空间频率值都最大,说明融合图像损失的相关信息最少;得到的光谱扭曲度值最小扭曲度低,光谱相似性程度最高,说明本文方法在光谱信息保持以及空间细节保持能力上都优于其他曲波域融合方法。
3 结论
全色图像与MS图像由于成像方式以及接受波谱段不同,对地物的特征描述存在很大的差异,将全色与MS图像融合,可以更好地利用互补信息,使得融合图像在保持MS图像光谱特征的基础上增加了全色图像的目标信息和细节特征信息,增强了融合图像的目标识别能力。曲波变换作为一种新的图像多尺度几何分析的有力工具,在图像的融合应用上显示出了良好的特征提取和跟踪能力。本文提出了一种结合边缘信息和全色图像特征的遥感图像融合方法,定义了边缘有效因子对全色图像进行了分区,利用边缘信息和系数统计信息对MS图像I分量和全色图像曲波变换的粗尺度系数、细节尺度系数和最小尺度系数分别进行处理,重构得到了融合图像。实验结果表明,结合边缘信息和全色图像特征的遥感图像融合方法用于全色图像和MS图像的融合是有效的,融合结果在保持光谱信息的同时提高了空间分辨率。
参考文献
[1]Candes E J,Demanet L,Donoho D L,et al.Fast Discrete Curcelet Transforms,Applied and Compurational Mathematics[M].California:California Institute of Technology,2005.
[2]Starck J L,Emmanuel J,Candes,et al.The Curvelet Transform for Image Denoising[J].IEEE Transactions on Image Processing(S1057-7149),2002,11(6):670-684.
[3]李林.基于Curvelet变换的全色图像增强[J].仪器仪表学报,2006,27(6):2134-2135.LI Lin.PAN image enhancement algorithm based on curvelet transform[J].Chinese Journal of Scientific Instrument,2006,27(6):2134-2135.
[4]李晖晖,郭雷,刘坤.基于曲波变换的遥感图像融合研究[J].光电子激光,2008,19(3):400-403.LI Hui-hui,GUO Lei,LIU Kun.Remote sensing image fusion based on curvelet transform[J].Journal of Optoelectronics Laser,2008,19(3):400-403.
[5]张强,郭宝龙.一种基于Curvelet变换的多传感器图像融合算法[J].光电子激光,2006,17(9):1123-1127.ZHANG Qiang,GUO Bao-long.Fusion of multisensor images based on curvelet transform[J].Journal of Optoelectronics Laser,2006,17(9):1123-1127.
[6]张强,郭宝龙.应用第二代Curvelet变换的遥感图像融合[J].光学精密工程,2007,15(7):1130-1136.ZHANG Qiang,GUO Bao-long.Fusion of remote sensing images based on the second generation Curvelet transform[J].Optics and Precision Engineering,2007,15(7):1130-1136.
[7]许星,李映,孙瑾秋,等.基于Curvelet变换的SAR与TM图像融合研究[J].西北工业大学学报,2008,26(3):395-398.XU Xing,LI Ying,SUN Jin-qiu,et al.An Algorithm for Image Fusion Based on Curvelet Transform[J].Journal of Northwestern Polytechnical University,2008,26(3):395-398.
[8]蒋年德,王耀南,毛建旭.基于2代Curvelet改进IHS变换的遥感图像融合[J].中国图象图形学报,2008,13(12):2376-2382.JIANG Nian-de,WANG Yao-nan,MAO Jian-xu.Using the Second Generation Curvelet to Improve IHS Transform Merge Remote Sensing Images[J].Journal of Image and Graphics,2008,13(12):2376-2382.
[9]杨旭红,敬忠良,李建勋.基于局部统计特性和IHS变换的遥感影像融合[J].系统工程与电子技术,2005,27(4):627-631.YANG Xu-hong,JING Zhong-liang,LI Jian-xun.New fusion approach using local statistical characteristics and colorspace transform for remote-sensing images[J].Systems Engineering and Electronics,2005,27(4):627-631.
[10]Jean-Luc Starck,Fionn Murtagh,Emmanuel J Candes,et al.Gray and Color Image Contrast Enhancement by the Curvelet Transform[J].IEEE Transactions on Image Processing(S1057-7149),2003,12(6):706-717.
[11]肖磊,隆刚,陈学佺.基于Curvelet变换抑制SAR图像斑点噪声的方法[J].计算机工程,2006,32(9):196-198.XIAO Lei,LONG Gang,CHEN Xue-quan.Denoising Method of SAR Image Based on Curvelet Transform[J].Computer Engineering,2006,32(9):196-198.
[12]李郁峰,冯晓云,范勇,等.多传感器图像互调制快速融合[J].光电工程,2011,38(8):117-123.LI Yu-feng,FENG Xiao-yun,FAN Yong,et al.A Fast Multi-sensor Image Mutual Modulation Fusion Algorithm[J].Opto-Electronic Engineering,2011,38(8):117-123.
边缘融合 篇2
图像融合实际上是将两幅或两幅以上的源图像或其特征按照一定规则合并形成一幅新图像的过程。新图像比任一幅源图像包含的信息丰富, 对目标的表征更为精确, 可提高目标检测和目标识别的可靠性, 有利于人眼识别和机器视觉。图像融合在军事、医学、机器视觉和遥感等领域均得到了广泛应用。
根据信息表征层次的不同, 图像融合可分为:像素级图像融合[1]、特征级图像融合[2]、决策级图像融合。尽管不同融合方法选取融合参数的准则不同, 但大都依赖经验确定或根据图像内容自适应改变融合参数, 因而很难达到最优融合效果。如果在图像融合时, 合理调整融合参数使其达到极值点, 而不是人为设置融合参数, 那么就有可能得到较优甚至最优融合结果。选择合适的搜索算法使其达到极值点是很重要的。文献[3]初步研究了图像融合的优化问题, 提出了一种简单的空域图像融合参数优化的单目标粒子群算法, 目标是融合图像与原始图像的差异最小化。本文提出了一种基于粒子群优化的图像融合算法, 该算法的优化目标是边缘相关性最大化。选择边缘相关性作为优化目标的原因是, 边缘信息和视觉密切相关, 融合图像边缘和源图像边缘的相关程度即源图像边缘信息在融合图像中的保留程度, 这样可有效评价融合图像的质量, 且和视觉评价较符合。该优化算法可使得源图像边缘信息最大量地保留在融合图像中, 从而获得较好甚至最好的融合图像质量。
1 多尺度边缘检测及重构
文献[4]提出了一种多尺度边缘检测方法, 该方法将多尺度边缘和小波变换联系了起来, 即多尺度边缘点等效于离散二进小波变换的局部极大模值点。文献[4]还用实验表明由一幅图像的多尺度边缘可重构出该图像的近似图像, 近似图像和源图像相比, 视觉上没有失真。下面对多尺度边缘检测及其重构方法进行简要介绍。
1.1 多尺度边缘检测
对图像进行多尺度边缘检测前首先进行小波变换。这里使用一种特殊的小波, 即B样条小波, 该小波变换没有下采样过程, 具有位移不变性, 可精确定位图像特征。本文用v= (x, y) 表示像素位置。
样条小波ψ1 (v) 和ψ2 (v) 是二维光滑函数θ (v) 的偏导数, 设图像I (v) ∈L2 (R2) , 则其在尺度s上的二维小波变换为:
图像I (v) 的梯度为:
梯度的幅值为:
梯度的相位为:
本文采用二进小波变换, 即:
若图像I (v) 的大小为N ×N , 则:
图像I中某一点v0, 如果它梯度的幅值ModsI (v0) 在其梯度方向PhasesI (v0) 上是局部极大值, 则该点就是图像I在尺度s上的多尺度边缘点。
1.2 源图像的近似图像重构
图像多尺度边缘点就是图像小波变换模极大值点, 由图像多尺度边缘点重构出源图像近似图像的过程, 就是找出一个图像, 使其小波变换极大模值点的位置、模值和相位都与源图像相同。
设图像I (v) 的二进小波变换为 (W21jI (v) , W22jI (v) ) , 模极大值点的位置为unj= (xn, yn) n∈R, 模值和相位为 (Mod2jI (unj) , Phase2jI (unj) ) 。根据模极大值点的模值和相位可以计算出该点小波系数 (W21jI (unj) , W22jI (unj) ) , 反之亦可。假设J (v) 是由I (v) 的模极大值点重构得到的I (v) 近似图像, 文献[4]证明了J (v) 只要满足以下两个条件即可, 并详细说明了如何求出满足这两个条件的J (v) :
(1) 对于每一个尺度2j上的任一个极大模值点, 必须满足:
(2) 在每一个尺度2j上, J (v) 的极大模值点必须在位置unj处。
2 粒子群优化算法
粒子群优化算法源于对鸟群捕食行为的研究, 是一种进化计算技术, 由Eberhart和Kennedy于1995年首先提出[5]。设想这样一个场景:一群鸟在随机搜索食物, 在这个区域里只有一块食物, 所有鸟都不知道食物在哪里, 但它们知道当前位置离食物还有多远, 那么找到食物最简单有效的方法就是搜寻目前离食物最近的鸟的周围区域。PSO就是从这种模型中得到启示并用于解决优化问题, PSO中, 每个优化问题的解都是搜索空间中的一只鸟, 称之为“粒子”, 所有粒子都有一个由被优化目标函数决定的适应值, 每个粒子还有一个速度决定它们飞翔的方向和距离, 然后粒子们就追随当前的最优粒子在解空间中搜索。
粒子群优化算法分为初始化和循环迭代两个部分。
初始化步骤如下:①初始化种群粒子pop[i];②初始化每个粒子的速度vel[i];③初始化每个粒子的个体最优解, popbest[i]=pop[i];④计算种群中每个粒子的目标函数值function[i];⑤初始化全局最优解gbest。
初始化后, 进行循环迭代便可得到最优解, 循环迭代主要分为以下3步:
(1) 更新每个粒子的速度。
其中:vel是粒子速度, pop是粒子当前位置, popbest是个体最优解, gbest是全局最优解, W是惯性权值, rand1和rand2是介于0和1之间的随机数, c1、c2是学习因子。
(2) 更新每个粒子的位置。
(3) 保持粒子在搜索空间中, 如果粒子速度超过了边界值vmax, 则被限定为vmax。
3 融合算法
融合算法由3部分组成:融合近似分量;融合多尺度边缘;由融合图像的近似分量和多尺度边缘重构出融合图像。假设A和B是已经配准的两幅源图像, F是融合后的图像。
3.1 近似分量融合
对源图像做J层小波分解, 第J层近似分量中每个像素值均等于源图像所有像素的均值, 不会对融合图像细节产生影响, 只会影响融合图像亮度。因此, 本文采用取平均方法对源图像的近似分量进行融合, 得到融合图像F的近似分量为:
3.2 多尺度边缘融合
对两幅源图像的多尺度边缘进行融合, 实际上是对对应边缘点的小波系数进行加权求和的过程, 即:
此处α (v) , β (v) 是权值, 均在0和1之间变化。使用粒子群优化算法对其进行优化搜索可取得最优权值α (v) , β (v) , 从而得到融合图像的多尺度边缘。粒子群优化的目标函数是边缘相关性。边缘相关性一般被用作融合图像质量的评价方法, 由Xydeas等[6]首先提出, 这种评价准则的定义从与人眼密切相关的边缘信息出发, 因而其对融合质量的评价和视觉上的评价一致。本文优化目标基于该评价准则思想, 与以往先融合再评价的融合算法思路不同, 下面给出边缘相关性的具体求法。
设和分别为图像A和融合图像F的相对强度和相对方向, 计算方法如式 (13) 和式 (14) 所示;PreAFMod和PreAFphase分别为边缘强度和方向的保留值, 计算方法如式 (15) 和式 (16) 所示;为图像A在尺度2j上的边缘信息在融合图像中的保留值, 计算方法如式 (17) 所示。
在0和1之间取值, 当时, 表示在尺度2j上, 源图像A像素点v处的信息丝毫没有保留在融合图像F中;相反, 当时, 表示在尺度2j上, 源图像A在像素点v的信息毫无损失地保留在融合图像中。
假设为图像B在尺度2j上的边缘信息在融合图像中的保留值, 对A, B两幅源图像边缘信息的保留值进行加权, 可得到边缘相关性为:
3.3 融合图像重构
根据“1.2”所述方法, 由融合图像的近似分量和多尺度边缘重构出融合图像。
4 仿真实验
粒子群优化算法的参数设置如下:粒子数N=30;最大迭代次数Niterative=50;惯性权重W =0.4;学习因子c1=2, c2=2。
第一组实验结果对比如图1所示, 图1 (a) 和图1 (b) 是两幅多聚焦图像, 大小均为512×512像素。图1 (a) 、图1 (b) 分别聚焦于图像的左右两边区域, 在图1 (a) 中, 左侧饮料盒及其上英文字母都非常清晰, 图1 (b) 中右侧放大器非常清晰, 两幅图像具有互补信息。图1 (c) 是本文算法融合结果, 在图1 (c) 中, 左侧饮料盒上字母、右侧放大器表面字母及其它细节信息都非常清晰, 说明该算法很好地包含了源图像信息。
第二组实验结果对比如图2所示, 图2 (a) 和图2 (b) 分别是同一场景的SAR图像和可见光图像, 图像场景为某桥梁, 图像大小为256×256像素。由图2可知, 两幅图像对场景的描述有很大差别, 在图2 (a) 中, SAR图像对桥梁目标 (如图中椭圆区域所示) 反应比较敏感, 而对其它景物描述则表现不足;在图2 (b) 中, 可见光图像对桥梁和其它景物都描述清晰, 但对桥梁并没有表现出很强的对比度。图2 (c) 是用本文算法得到的融合图像, 该图像完整描述了桥梁场景纹理, 同时突出了桥梁目标的重要性。
5 结语
本文提出了一种基于粒子群优化的图像融合算法, 该算法的优化目标是边缘相关性最大化, 该目标要求将源图像边缘信息尽可能地保留在融合图像中。尽管该算法仅利用图像的多尺度边缘进行融合, 仍然获得了很好的融合图像质量。
参考文献
[1]LI MING, WU YAN, WU SHUNJUN.A new pixel level multi-focus image fusion algorithm based on evolutionary srategy[C].8th International Conference on Control, Automation, Robotics and Vision, 2004:810-814.
[2]蒋晓瑜, 高稚允.小波变换在特征级多重图像融合与目标分类中的应用[J].红外技术, 2004, 26 (1) :1-4.
[3]覃征等.数字图像融合[M].西安:西安交通大学出版社, 2004.
[4]STEPHANE MALLAT.Sifen Zhong.Characterization on of signals from multiscale edges[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1992, 14 (7) :710-732.
[5]J KENNEDY, R C EBERHART.Particle swarm optimization[C].Proceedings of IEEE International Conference on Neural Networks, 1995:1942-1948.
边缘融合 篇3
图像融合技术在军事、遥感、医疗、计算机视觉和机器人技术等领域有着广泛的应用,有关图像融合的算法被广泛研究[1,2,3,4,5,6,7,8]。本文针对左聚焦彩色图像和右聚焦彩色图像的融合问题,设计了一种基于边缘检测的彩色图像融合算法。本算法在亮度信息图像Canny边缘检测的基础上,依据是否为图像边缘采用不同的方法进行融合。实验结果表明本文的彩色图像融合算法正确有效。
1 Canny边缘检测
Canny边缘检测属于最优边缘检测[9],其具有误判率低、定位精度高、虚假边缘少的特点。Canny边缘检测的方法主要由以下几个步骤完成:
①采用式(1)的高斯函数滤波器平滑图像。
②采用高斯函数的一阶导数来计算梯度的幅值和方向,若某一方向为n,则高斯函数的一阶方向导数为式(2)。
其中,
是方向矢量,ᐁG(x,y)是梯度矢量。
③将图像f(x,y)与高斯函数一阶导数G(x,y)n进行卷积,使得卷积值最大的方向为边缘梯度方向且正交于边缘方向,此方向为式(3)。
由此可见,Canny边缘检测方法是建立在ᐁG(x,y)*f(x,y)基础之上,从而得到边缘强度和方向,通过双阈值方法来检测和连接边缘,以最大程度减少虚假边缘。
2 图像融合方法
本文图像融合先将彩色图像转换为NTSC图像,再利用Canny方法检测出亮度信息图像的最优边缘,然后对饱和度图像、亮度图像和色调图像分别进行灰度融合,最后将灰度图像转换为彩色图像。图像融合的具体方法如下:
①将RGB彩色图像转换为NTSC图像。NTSC图像由亮度Y、色调I和饱和度Q三部分组成,亮度描述灰度信息,其他两个描述彩色信息,其优点是灰度信息和彩色信息分离。采用式(4)将RGB彩色图像转换为NTSC图像。
②将NTSC图像中的亮度信息Y,按照Canny边缘检测方法进行检测,得到边缘结果矩阵。矩阵中值为1代表边缘信息,值为0代表非边缘信息,且边缘结果矩阵的尺寸大小与亮度Y相同。
③对亮度信息的边缘结果矩阵进行修改,修改的方法是增加边缘信息。若矩阵中的某个点的值为1,则与这个点相邻的其余8个点的值也修改为1,以便更加突出边缘信息。
④根据亮度信息和边缘检测结果(修改之后),计算融合图像的亮度信息。其中,YF代表融合之后图像的亮度信息,YA和YB分别代表A和B两幅图像的亮度信息,CA和CB分别代表A和B两幅亮度信息图像经Canny边缘检测而后进行修改的结果矩阵。
如果CA和CB的值相等为1,则融合图像的亮度信息采用式(5)进行计算。
YF=0.5×YA+0.5×YB (5)
如果CA的值大于CB的值即CA的值为1而CB的值为0,则融合图像的亮度信息采用式(6)进行计算。
YF=YA (6)
如果CA的值小于CB的值即CA的值为0而CB的值为1,则融合图像的亮度信息采用式(7)进行计算。
YF=YB (7)
其他情况采用加权平均的方法进行融合,权值的确定通过计算两幅亮度图像的相关系数来确定,相关系数采用式(8)的方法进行计算,则融合图像的亮度信息采用式(9)进行计算。
其中,
⑤融合图像的色调和饱和度信息采用式(10)和式(11)进行计算。
IF=0.5×IA+0.5×IB (10)
QF=0.5×QB+0.5×QB (11)
其中,IA和IB分别代表A和B两幅图像的色调信息,QA和QB分别代表A和B两幅图像的饱和度信息,IF和QF分别代表融合之后图像的色调信息和饱和度信息。
⑥将NTSC空间融合图像的亮度、色调和饱和度三部分信息再次转换为RGB图像,即可得到最终的融合图像。NTSC空间转换为RGB采用式(12)进行计算。
3 实验结果
本文以Windows XP的操作系统为实验环境,彩色图像融合方法采用Matlab 7.0实现。图像融合实验针对多聚焦的彩色图像进行融合,图像大小为768×576像素。图像融合实验结果见图1所示,图1(a)和图1(b)分别是左聚焦的彩色图像和右聚焦的彩色图像,图1(c)和图1(d)分别是左聚焦和右聚焦亮度信息图像经Canny边缘检测的结果图像,图1(e)是左聚焦和右聚焦的亮度信息图像采用本文方法进行融合之后的灰度图像,图1(f)是采用本文方法进行最终融合之后的彩色图像。通过实验结果可知,图1(f)表达的图像信息更加全面,图1(f)基本上能够将左聚焦的彩色图像和右聚焦的彩色图像融合成一幅信息量饱满并且左右都清晰的单一聚焦彩色图像。
为了进一步表明本文彩色图像融合算法的正确性和通用性,采用信息熵[6]的客观指标进行评价。左聚焦彩色图像的熵为17.8369,右聚焦彩色图像的熵为17.9039,本文算法彩色融合图像的熵为18.2848。由此可见,本文的彩色融合算法能够将信息熵提高2.13%～2.51%。信息熵客观评价结果和图1是一致的,说明本文设计的彩色图像融合算法是正确有效。
4 结束语
本文在最优边缘检测的基础上,设计了一种彩色图像融合算法,根据亮度图像的Canny边缘检测将同一目标的左聚焦彩色图像和右聚焦彩色图像进行融合以获取单一聚焦的彩色融合图像。实验结果和信息熵客观评价结论表明,本文的彩色图像融合算法在信息熵方面上有较为明显的改善,包含的信息量更加丰富饱满。
参考文献
[1] Piella G.Image fusion for enhanced visualization:a variational approach[J].International Journal of Computer Vision,2009,83(1):1-11.
[2] Sun Wei,Xiang Zheng,Xu Siyu.A Color Multi-Focus Image Fusion Algorithm with Nonsubsampled Contourlet Transform in Space Domain[C].2010 2nd International Asia Conference on Informatics in Control,Automation and Robotics,Wuhan,China,2010:32-35.
[3] Fengmei Sun,Shutao Li,Bin Yang. A New Color Image Fusion Method for Visible and Infrared Images[C].IEEE International Conference on Robotics and Biomimetics,Sanya,China,2007:2043-2048.
[4] Bin Yang,Fengmei Sun,Shutao Li. Region-Based Color Fusion Method for Visible and IR Image Sequences[C].Chinese Conference on Pattern Recognition,Beijing,China,2008:132-137.
[5] Looney D,Mandic D P.Multiscale image fusion using complex extensions of EMD[J].IEEE Transaction on Signal Process,2009,57(4):1626-1630.
[6] 王建,刘肖,王国珲.基于区域能量的多聚焦图像融合算法[J].陕西理工学院学报:自然科学版,2012,28(5):39-43.
[7] WANG Y J,LI D Q,XU X H.Color multi-focus Image fusion method based on dual-tree complex wavelet transform[J].Computer Engineering and Applications,2007,43(28):12-15.
[8] 王建,刘肖,王国珲.基于梯度变换的多传感器图像融合算法[J].重庆理工大学学报:自然科学,2012,26(10):62-65.
边缘融合 篇4
1 边缘融合技术的由来
边缘融合技术就是将一组投影机投射出的画面进行边缘重叠, 并通过融合技术显示出一个没有缝隙, 更加明亮、超大、高分辨率的整幅画面, 画面的效果就好象是一台投影机投射的画质。
当多台投影机组合投射一幅画面时, 会有一部分影像灯光重叠, 边缘融合的最主要功能就是把多台投影机重叠部分图像亮度逐渐调低, 使整幅画面的亮度一致。
边缘融合投影技术经历了三个发展阶段:硬边拼接、重叠拼接和边缘融合拼接。
(1) 硬边拼接 (又称简单拼接) :即两台投影仪的边沿对齐, 无重叠部分。显示效果上表现为整幅画面被一道缝分割开。如果投影仪边缘未做亮度增强处理, 该接缝显示为黑色, 如果投影仪边缘做了亮度增强处理, 该接缝显示为白色。如图1所示。
(2) 简单重叠:即多台投影仪的画面有部分重叠, 但没有做融合处理, 因此重叠部分的亮度为整幅其余部分的2倍, 在显示效果上表现为重叠部分为一亮条。如图2所示。
(3) 边缘融合:与简单重叠方法相比, 左投影仪的右边重叠部分的亮度线性衰减, 右投影仪的左边重叠部分的亮度线性增加。在显示效果上表现为整幅画面亮度完全一致。如图3所示。
2 边缘融合技术特点
边缘融合的应用来源于模拟仿真系统, 是适应人们追求亮丽的超大画面、纯真的色彩、高分辨率的显示效果的需求而产生的, 它在增大画面, 提高亮度、分辨率等方面有着十分明显的优势。
2.1 增加图像尺寸与画面的完整性
多台投影机拼接投射出来的画面一定比单台投影机投射出来的画面尺寸更大, 鲜艳靓丽的画面能带来不同凡响的视觉冲击。另外, 采用无缝边缘融合技术拼接而成的画面, 在很大程度上保证了画面的完美性和色彩的一致性。
2.2 增加分辨率
每台投影机投射整幅图像的一部分, 这样展现出的图像分辨率被提高了。比如, 一台投影机的物理分辨率是1400×1050, 三台投影机融合25%后, 图像的分辨率就变成了3500×1050。
2.3 超高分辨率
利用带有多通道高分辨率输出的图像处理器, 可以产生每通道为1600×1200像素的三个或更多通道的合成图像。如果融合25%的像素, 可以通过减去多余的交叠像素产生4000×1200分辨率图像。目前, 国内外市场上还没有可在如此高的分辨率下操作的独立显示器。其解决办法为使用投影机矩阵, 每个投影机都以其最大分辨率运行, 合成后的分辨率是减去交叠区域像素后的总和。
2.4 缩短投影距离
随着无缝拼接的出现, 投影距离的缩短变成必然。比如, 原来200英寸 (4000×3000mm) 的屏幕, 如果要求没有物理和光学拼缝, 将只能采用一台投影机, 投影距离=镜头焦距×屏幕宽度, 采用广角镜头1.2:1, 投影距离也要是4.8m。现在采用了融边技术, 同样画面没有各种缝痕, 距离只需要2.4m。
2.5 特殊形状的屏幕上投射成像
比如, 在圆柱或球形的屏幕上投射画面, 单台投影机就需要较远投影距离才可以覆盖整个屏幕, 而多台投影机的组合不仅可以使投射画面变大、投影距离缩短, 而且可使弧弦距缩短到尽量小, 对图像分辨率、明亮度和聚集效果来说是一个更好的选择。
2.6 增加画面层次感
由于采用了边缘融合技术, 画面的分辨率、亮度得到增强, 同时配合高质量的投影屏幕, 就可使得整个显示系统的画面层次感和表现力明显增强。
3 边缘融合投影系统的实现方式
进行边缘融合无缝拼接的目的, 一是增加投影屏幕尺寸使其达到数倍于单屏投影的最大尺寸;二是在这个尺寸上面显示更多、更精细的内容, 并在这两个目的实现的基础上, 将因拼接而产生的接缝 (黑缝或重叠亮线) 消除。
(1) 实现边缘融合无缝拼接需要两个步骤:第一步, 边缘叠加 (edge overlapping) ;第二步, 边缘叠加部分的消隐 (edge feathering) 。
边缘融合技术就是将一组投影机投射出的画面进行边缘重叠, 并通过融合技术显示出一个没有缝隙, 更加明亮、超大、高分辨率的整幅画面, 画面的效果就是一台投影机投射的画质。当两台或多台投影机组合投射一幅画面时, 会有一部分影像重叠, 边缘融合的最主要功能就是把两台投影机重叠部分的影像亮度逐渐调低, 使整幅画面的亮度一致。多台投影机拼接投射出来的画面一定比单台投影机投射出来的画面尺寸更大;鲜艳靓丽的画面, 能带给人们不同凡响的视觉冲击, 采用无缝边缘融合技术拼接而成的画面, 在很大程度上保证了画面的完美性和色彩的一致性, 如图4所示。
(2) 在实际应用中的三种方式, 如图5、图6、图7所示。
一般设计边缘融合的步骤为先确定大概尺寸, 确定投影机的数量, 选择投影机 (确定投影机亮度、分辨率、镜头) , 选择屏幕 (考虑屏幕增益、均匀度、平整度) , 选择融合处理器, 预设软边融合的区域值, 安装及校准屏幕和投影机, 调试系统及测试。
(3) 实际案例现场图, 如图8、图9所示。
4 FreeWindowTM边缘融合控制处理器的功能
(1) FreeWindowTM多视窗无缝融合控制处理器的功能
通常的多视窗显示系统均常用有缝拼接的投影单元组成, 而常用的无边缘融合系统又无法支持多路信号的输入。FreeWindowTM多视窗无缝显示系统完美地集成了上述两大功能, 为需要无缝显示多路视窗的用户提供了一种全新的显示手段。
FreeWindowTM内置边缘融合和几何校正控制系统, 可以将多路视频、RGB或者来自网络图像的信号组成一个连续的无缝拼接的画面。在这个连续的多通道画面中, 每路输入信号都以独立的窗口形式出现, 用户可以自由定义每个窗口的大小、尺寸、位置, 以及相互间的叠合和透明关系。
Free WindowTM不仅能够输入多路视频、RGB或DVI信号, 还可以通过网络输入多路计算机桌面信号, 这样远程的信号也就能被方便地显示在大屏幕上, 这进一步扩展了系统的应用能力。
(2) FreeWindowTM S2多视窗无缝拼接系统主要功能
(1) 内置边缘融合及几何校正
内置边缘融合和几何校正控制系统, 可以将多路视频、RGB或者来自网络图像信号, 组成一个连续的无缝的拼接画面, 带来完美的视觉效果。
(2) SameFrameTM多通道精确同步技术
多通道无缝拼接不仅仅需要融合和几何校正, 还需要让多通道的内容同步, 这样才不会出现画面撕裂现象。SameFrame技术使得FreeWindow系列多通道显示精准的同步视觉效果。
(3) 边缘处理和信号播放同步处理
由于自带边缘融合和几何纠正处理模块, 无需另外采购边缘融合几何纠正器, 安装简单, 节省成本。而且, 由于两个环节同步处理, 信号播放无延迟。
(4) 支持多画面显示
支持强大的多画面图像处理与显示能力, 支持多达4路视频信号、2路RGB信号和背景图像显示。所有信号可以按照窗口方式任意大小、任意位置显示。可自由移动、任意缩放、任意叠加显示。显示模式可以保存, 随时调取。
(5) 支持拼接的跨屏、快速拖动、叠加显示、多种显示
支持各种信号跨屏显示、快速拖动、叠加显示、融合区显示正常, 没有拖尾和延迟的现象产生。支持背景图像选择, 也可以将采集信号全屏作为背景, 支持边框色彩和宽度的调节, 可以任意控制窗口的隐藏显示。
5 采用多视窗无缝显示系统实际案例现场图
以深圳市规划局城市交通仿真实验室边缘融合技术的大屏幕系统为例。该工程位于深圳市福田区红荔西路8009号规划大厦2楼东侧, 是深圳市交通仿真实验室建设的重要组成部分。交通仿真大屏幕有效显示面积:长×高=9m×2.25m。
交通仿真大屏幕显示系统采用4x1正投无缝屏幕结合融合拼接处理, 有效消除任何物理缝和光学接缝, 使画面成为一个真正的整体。除了背景图像之外, 还可同时在整个显示墙区域上显示不少于12个不同的信号源窗口, 可将其中的一路信号以背景方式覆盖到整个显示墙上, 其余的信号以窗口方式叠加在上面, 可按照用户的意愿任意改变窗口的位置 (叠加、跨屏等) 。
交通仿真投影机采用高亮度三片式DLP投影机、色彩阶度匹配处理, 以满足多屏拼接系统色彩和亮度均匀一致性的需要。投影机亮度输出可达到6000ANSI流明, 对比度1600:1, 分辨率1400×1050。投影机具有TCR真彩还原技术, 色彩鲜艳、真实再现的清晰投影。投影机具有密封的DLP引擎, 具有多种变焦镜头可选, 满足现场安装环境;投影机具有智能双灯技术, 保证了稳定性;投影机具有多路信号输入, 具有信号无缝切换功能, 可以同时输入、显示3路以上视频/VGA信号, 投影机的镜头根据现场的平面布置计算选择;噪音级小于43dB, 最大功耗700W。软边拼接控制器支持多输入、多输出显示, 能提供灵活的数字/模拟输入和输出选项、强大的软件功能, 可在一个宽屏的、多通道之间边缘融合的投影设置中以窗口方式显示一系列输入信号源窗口, 并且还能够提供多种显示效果。
工程完工后效果, 如图10所示。
边缘融合 篇5
边缘是图像的基本特征之一, 也是图像分割所依赖的一个重要依据。因此, 边缘提取与检测在图像处理中占有很重要的地位。传统的边缘检测方法基于空间运算, 借助空域微分算子进行, 通过将算子模板与图像进行卷积合成, 根据模板的大小和元素值的不同有不同的微分算子, 如Robert算子、Sobel算子、Prewitt算子、LOG算子、Canny算子等[1]。这些算子虽然易于实现, 具有较好的实时性, 但由于边缘检测问题固有的复杂性, 使这些方法往往在抗噪性能和边缘定位方面得不到满意的效果, 这主要是因为边缘和噪声都是高频信号, 很难在噪声和边缘中做出取舍[2]。
数据融合技术是在采集多源信息的基础上, 通过协同利用原始的多源信息, 获得同一事物或目标的更客观、更本质认识的综合处理技术[3,4]。与单一、孤立的原始多源信息相比, 经过融合技术处理的信息更简洁、更少冗余, 因此更有效、更有用途。
目前, 在像素级图像的融合方法中, 多分辨率融合具有良好的效果。小波分解具有非冗余性, 图像经小波分解后数据总量不会变大, 再利用小波分解的空间频率和方向性, 就可以针对人眼的视觉频率特性和方向特征获得视觉效果良好的融合图像。由于用于正交小波变换的正交滤波器不具备线性相位特性[5], 其产生的相位失真将会引起图像中边缘的失真。为此, 提出一种基于双正交小波变换的多分辨率图像融合新方法, 以达到突出图像边缘和局域细节信息的目的。
1 图像的小波边缘检测
小波变换把图像信号分解成呈现在不同尺度上的多个分量[6], 小波变换的局部极大值点刻画出了图像信号突变点的位置 (图像边缘位置) 。通过选择适当的小波函数, 可以使小波分解的细节分量真实地反映出图像的局部灰度突变点。
1.1 小波多尺度边缘检测的方法
在图像的边缘检测中, 小波函数的选取直接关系到检测结果。Mallat等人首次提出小波用于边缘检测的图像分割方法, 并证明了小波变换用于边缘检测类似于Canny边缘检测方法, 若小波变换的基函数是高斯函数的偏导数, 则二者等效。小波母函数种类很多, 也可以自己构造, 但用于边缘检测的小波应当是有限紧支撑、对称和一阶消失矩的, 而且需要选择能够适合判定边缘检测算子有效的3个准则中最优边缘检测的小波。由于B样条小波的基底是有限紧支撑的, 并且收敛于Canny算子的m阶基数, 所以B样条小波边界检测算子在边界检测综合性能指标上是较佳的, 故最终选择B样条小波来作图像边缘检测[7]。
当m取有限值时, 中心B样条函数及其导数对高斯函数及其导数有极高的逼近精确度。设二维图像信号为f (x, y) , θ (x, y) 是二维平滑函数, 满足:
undefined
对平滑函数θ (x, y) 分别求x方向和y方向的偏导数, 有:
undefined
则φ1 (x, y) 和φ2 (x, y) 可看作二维小波函数。对于任意函数f (x, y) ∈L2 (R) , 由两个小波φ1 (x, y) 和φ2 (x, y) 定义的小波变换具有两个分量:
undefined
梯度矢量为:
undefined
式中:S为尺度系数;Wundefinedf (x, y) 和Wundefinedf (x, y) 分别表征图像中沿x, y方向的偏导数。小波变换在尺度2j的模和幅角分别为:
小波变换的模M2jf (x, y) 正比于梯度向量undefined的模, 小波变换的幅角A2jf (x, y) 是梯度向量undefined与水平方向的夹角, 这正是图像边缘的方向。因此, 要检测边缘, 只需寻找梯度向量undefined的模的局部最大值点。在每一个尺度2j, 小波变换的模的最大值都定义为模M2jf (x, y) 在沿着梯度方向的局部最大值点。
1.2 小波边缘检测方法的具体实现
多尺度局部模的极大值边缘检测就是沿梯度方向, 在阈值的约束下检测出各尺度下小波变换模的极大值点[7,8]。在小尺度时, 图像的边缘细节信息较为丰富, 边缘定位精确度较高, 但易受到噪声的干扰;在大尺度时, 图像的边缘稳定, 抗噪性好, 但定位精确度差, 所以将它们的优点结合起来, 通过在不同尺度上进行综合得到最终边缘图像。具体步骤如下:
(1) 对边缘区进行4阶B样条平滑, 根据式 (5) 和式 (6) 求出M2jf (x, y) 和A2jf (x, y) ;
(2) 采用非极大值抑制法将梯度相角按照邻接位置划分成8个方向即3×3的矩阵模板, 将模图像分别沿各自的相角方向求得模的局部极大值点, 生成可能的边缘图像, 图像中其他像素均标记为零。
(3) 对各尺度的边缘图像设置阈值, 大于阈值的边缘点保留, 小于阈值的边缘点置零。
2 基于双正交小波的数据融合算法
小波变换相当于滤波, 它将一幅图像分解滤波成多个低通、带通成分。小波基的选择就是用设计滤波器组的方法, 设计出满足所有条件, 并符合小波基准则的滤波器组。将该组滤波器作为小波基, 按照小波基的选择标准, 决定选取Daubechies小波系中的db4小波[9]。
首先, 对原始图像分别采用Daubechies小波变换、利用Sobel算子检测横向边缘, 利用Sobel算子检测纵向边缘以及利用LOG算子进行边缘检测, 然后将所得的四幅边缘图像对应点的像素值加权平均, 把四幅图像融合为一幅新的图像, 最后再进行灰度阈值处理[10], 去除不需要的多余信息, 得到最终的边缘图像。该方法示意图如图1所示。
3 仿真结果
对多幅图像进行了计算机仿真处理, 均取得了很好的效果。图2是对Lena图像的实验结果。其中:图2 (b) 为Sobel算子检测的横向边缘检测结果;图2 (c) 为Sobel算子检测的纵向边缘检测结果;图2 (d) 为LOG算子边缘检测结果;图2 (e) 是一级小波变换后提取有用高频信息得到的边缘图像;图2 (f) 是经过二级小波变换后提取其高频信息作为图像边缘信息, 对低频非边缘信息作置换处理, 经小波变换后的边缘图像;图2 (g) 是用上述融合算法得到的边缘图像。
从图2可以看出, 采用Sobel算子检测到的图像包含的信息比较少, 丢失了一些有用的细节信息, 如原图人物头发中的信息就缺失了很多;采用Log算子检测到的边缘信息较Sobel算子完备一些, 但有些信息是多余的, 从视觉上看效果不太令人满意;单独采用4阶小波检测的边缘中, 头发部分的信息比其他两种好一些, 但是比较这几幅图像来看, 小波变换得到的边缘图像连续性不太好。本文提出的方案所得结果是比较好的, 弥补了三种方法的不足, 又保持了它们的优点, 是一种比较有效的方法。可以看到, 采用本文所提方案得到的边缘图像有很好的清晰度和连续性, 边缘信息比较完备, 具有良好的视觉效果。
参考文献
[1]余成波.数字图像处理及Matlab实现[M].重庆:重庆大学出版社, 2003.
[2]董长虹, 余啸海.Matlab小波分析工具箱原理与应用[M].北京:国防工业出版社, 2004.
[3]刘贵喜, 赵曙光, 陈文锦.双正交小波变换多分辨率图像融合方法[J].光电工程, 2004, 31 (4) :50-53.
[4]夏庆观, 陈桂, 盛党红.基于小波变换的多源图像数据融合与边缘检测方法[J].微计算机信息, 2005, 21 (30) :105-106.
[5]Averbuch A Z, Zheludev V A.Lifting Scheme for Biortho-gaonal Multi wavelets Originated from Hermite Splines[J].IEEE Trans.on Signal Processing, 2002, 50 (3) , 487-500.
[6]王涛.模糊多尺度边缘检测算法的研究[J].微计算机信息, 2006, 22 (33) :304-306.
[7]连静, 王珂.样条小波自适应阈值多尺度边缘检测算法[J].系统仿真学报, 2006, 18 (6) :1 473-1 478.
[8]施成湘.扩展的多尺度模糊边缘检测[J].计算机工程与应用, 2006 (7) :65-68.
[9]飞思科技产品研发中心.Matlab 6.5辅助小波分析与应用[M].北京:电子工业出版社, 2003.
边缘融合 篇6
运动目标检测和识别是机器视觉研究应用及智能视频监控中的关键技术,一直是备受关注的研究热点。目前的检测方法主要有:光流场法[1,2]、减背景法、三帧差分法[3]等。光流场法优点是能够检测独立运动的对象,并且可用于摄像机运动的情况,但是光流场法计算复杂、耗时长,很难实现实时检测;减背景法对于背景图像固定不变的条件下目标提取效果很好,但受光照和阴影影响较大;三帧差分法利用相邻三幅图像分别进行差分运算,并将两次差分的结果进行与运算,可以满足较复杂场景下运动目标的检测,但是存在两帧目标重叠部分不易检测、出现虚假目标等问题,当背景存在相对运动时,三帧差分就无法将运动目标和背景区分开来。
图像边缘信息不容易受到噪声和亮度信息突变的影响[4]。本文首先采用灰度投影算法检测出背景运动矢量,并通过帧间运动矢量补偿将连续三帧图像的相同背景稳定在同一幅图像的相同位上,其次对连续的三帧图像进行边缘信息[5]提取,并对三帧连续的边缘图像进行差分法运算,最后结合数学形态学的闭运算和填充运算分割出运动目标。
1 全局运动矢量估计
1.1 灰度投影算法
全局视频序列实质上就是图像灰度发生变化的图像序列,灰度投影算法能够充分利用图像灰度总体分布的变化规律,准确而快速地估计出图像的运动矢量。
1.1.1 行、列灰度投影
行、列灰度投影就是将一幅图像的二维灰度信息Gk(i,j)映射成行X,Y方向上独立的一维投影序列。为了消除由于光照不同造成的相关误差,需要对投影矢量做均值归一化处理:首先求取图像灰度值的均值E,在计算独立的一维投影序列时用各像素值分别减去灰度均值E。计算公式如下:
式(1)和式(2)是归一化后的行、列灰度投影公式,其中Gk(i),Gk(j)分别为第k帧图像的第i行和第j列的灰度投影值,Gk(i,j)是第k帧图像上(i,j)位置处的像素灰度值。
1.1.2 位移相关检测
将参考帧r图像与第k帧图像的行、列灰度投影曲线做互相关计算,根据两条相关曲线的谷值即可确定当前帧图像相对于参考帧图像的行列位移矢量值。相关运算公式如下:
式(3)中Gk(j)、Gr(j)分别为第k帧与参考帧r的第j列的灰度投影值,L为列的长度,m为位移矢量相对于参考帧在一侧的搜索宽度。设Wmin为C(W)最小时的W值,则第k帧图像相对于参考帧图像在垂直方向的位移矢量可由式(4)计算得到。同理得到了水平方向和垂直方向的位移矢量后,就可以把当前图像向位移矢量的相反方向移动相应大小的像素距离,或者将前一帧图像沿着位移矢量移动相应大小,从而成功补偿了图像序列背景的运动矢量。根据式(1)∼(4)得到当前帧与参考帧灰度投影曲线及相关曲线如图1所示。
利用投影式(1)、(2)分别得到当前帧和参考帧的行、列投影曲线,如图1(a)至(d)所示。利用式(3)得到参考帧与当前帧的行相关曲线、列相关曲线如图1(g)、(h)所示。文中行搜索宽度为取21,列搜索宽度取63,垂直方向上的位移矢量由式(4)知δc=0,表示当前帧背景相对于参考帧背景在垂直方向位移矢量为0像素。同理水平方向位移矢量为δr=-3,表示当前帧相对于参考帧的位移矢量为-3像素。
1.2 改进的三步搜索算法检测运动矢量
1.2.1 投影区域的选择
投影区域选择很重要,因为全局运动序列中不仅有运动目标造成的背景显露和遮拦,而且摄像机本身的运动使得背景产生了相对运动,出现了退出视场的部分和进入视场的部分,因此投影区域包含有目标的运动和背景的相对运动。由于灰度投影算法[6]是直接利用图像灰度来确定帧间运动矢量的,因此该算法所估计的运动矢量实际上是运动矢量的合成。为了提高帧间背景运动矢量检测的准确度,必须检测出目标的运动,才能分离出图像序列帧间背景的运动矢量。最好的办法就是将图像分为几个区域块,如图2所示,对各子区域分别利用改进的三步搜索算法求出其局部运动矢量,根据局部运动矢量可以排除图像序列中的运动目标的干扰,图2中矢量V4可能是由于目标的运动产生的运动矢量,因为它与其他区域的运动矢量不同。本文采集的图像分辨率为352×288,为了克服退出视场的部分和进入视场的部分对灰度投影计算的影响,将宽和高分别去掉32像素后得到中间区域分辨率为320×256的图像,并将图像分为四个投影区域块如图2所示。
1.2.2 ITSS算法特性分析以及算法实例
现有算法中,TSS(三步搜索算法)算法采用了一种循环迭代的搜索策略来搜索MBD(Minimum Block Difference)点,即最小误差点。该算法以搜索窗宽度的一半作为初始搜索步长,每次循环确定新MBD点并将搜索步长减半直至步长等于1,得到最终的MBD点。本文采用改进的三步搜索算法(ITSS)[7]设计了大小菱形搜索模板,采取自适应搜索策略,操作步骤如下:
步骤1,搜索17个点,包括9×9格上的9个点和中心周围大菱形模板上的8个点,如果MBD点为搜索窗中心,算法结束;如果MBD点在大菱形模板上,转步骤2,否则转步骤3。
步骤2,以步骤1的MBD点为中心,重复使用小菱形模板进行搜索,直到MBD点位于搜索窗中心。
步骤3,将搜索步长减半并确定新的MBD点,直至步长等于1,算法结束。ITSS与NTSS相比,虽然增加了搜索位置,但是其自适应选择搜索模板的特性决定了其比TSS平均搜索点数更少,而且克服了搜索时容易陷入局部最小的缺陷。
如图3是用ITSS算法搜索运动矢量A(-2,-2),首先执行步骤1,搜索17个点,得到MBD点后,将模板从大菱形模板改成小菱形模板,然后再搜索第一个小菱形模板周围的4个点,图中圆圈所示。得到MBD后,再用小菱形模板搜索2个位置如图中三角形所示,即可得到运动矢量A(-2,-2)。搜索过程用ITSS算法有3步,用了1次大菱形模板和2次小菱形模板共搜索23个点,检测的新点数分别是17,4,2。而用全搜索算法(FS)需要搜索169个点,用TSS算法需要搜索3次,共搜索25个点,因此ITSS在速度上有明显提高,而且保证了搜索精度。利用该算法对图3各个区域进行搜索,检测到各子区域的局部运动矢量,排除运动目标矢量,然后取局部矢量中出现频率最高的作为全局运动矢量。
2 运动对象分割
2.1 三帧差分法思想
设fk-1,fk,fk+1是图像序列中的连续三帧图像,利用常规二帧差分法可得到差图像d1,d2。二次差分则是对差图像d1,d2进行“AND”运算,即:d=d1⊗d2。三帧差分法能精确地检测出运动目标的位置和形状轮廓信息。计算公式如下:
由于差图像d是由d1,d2通过“AND”运算产生的,因此在d中存在着一些孤立的噪声像素,为了剔除噪声的干扰,可利用高斯滤波去除噪声的干扰。
2.2 动背景条件下运动矢量的补偿
针对动背景条件下的连续三帧图像,利用ITSS算法估计出第k帧相对于k-1帧背景的位移矢量,第k+1帧相对于第k帧背景的位移矢量。根据位移矢量将原始图像k-1帧补偿到第k帧,将k+1帧也补偿到第k帧,这样就将相邻三帧图像的相同背景稳定在同一幅图像的相同位上,即三帧图像背景部分位置不变。相邻三帧图像进行背景补偿后,背景的差异减小,从而能够沿用静止背景下帧差分图像分割算法。
2.3 基于背景补偿的帧差分与边缘信息融合的目标检测算法流程
算法流程如图4所示。首先对背景补偿后的连续三帧图像进行边缘信息提取得到连续的三帧边缘图像,然后对三帧连续的边缘图像进行三帧差分运算,提取的运动信息,并进行二值化和形态学处理得到运动目标图像。
2.4 边缘检测算子确定
边缘检测的基本算法有很多,有梯度算子、方向算子、拉普拉斯算子和坎尼(Canny)算子等。几种常用的边缘检测方法有属于梯度算子的Roberts算子、Sobel算子和Prewitt算子、高斯偏导滤波器(LOG)以及Canny边缘检测器等。
Sobel[8]算子是边缘提取中最常用的算子之一,它结合了高斯平滑和微分,其边缘提取的结果对噪声有一定的鲁棒性。在Sobel算子中,邻域的像素对当前像素产生的影响不是等价的,所以距离不同的像素具有不同权值,对算子结果产生的影响也不同。与Roberts算子和Prewitt算子相比,Sobel算子边缘提取效果更好。因此,选取Sobel算子作为边缘算子,Sobel算子是一阶微分算子,它利用像素邻近区域的梯度值来计算1个像素的梯度,然后根据一定的阈值来取舍。它由下式给出:
Sobel算子是3×3算子模板,2个卷积核dx、dy形成Sobel算子。一个核对垂直边缘响应最大,而另一个核对水平边缘响应最大,2个卷积的最大值作为该点的输出值,运算结果就是1幅边缘幅度图象。
2.5 二值化阈值确定
Otsu方法是经典的非参数、无监督自适应阈值选取方法。Otsu法利用灰度直方图的0阶和1阶矩,是图像分割的重要方法[9]。它以目标与背景之间的方差最大而动态的确定图像分割门限值,不需要其他先验知识,因而应用范围很广,至今仍是最常用的图像分割方法之一。设原始灰度图像灰度级为L,灰度值为i的像素数目为ni,则图像的全部像素数目为
图像中像素的灰度值为i的概率pi为
按阈值t将所有像素划分两类:C0=(01,,L,t)和C1=(t+1,t+2,L,t+L)。C0和C1类的出现概率w0和w1及灰度值均值μ0,1μ分别由下列各式给出:
C0和C1类的方差可由下式求得:
定义类内方差σw,类间方差σB,总体方差σT为
从0到L-1之间找到使σB2/σT2最大的t值即为最佳二值化阈值。
2.6 形态学处理
由于噪声的存在,二值化后得到的图像往往会出现许多孤立的小区域、小间隙,这给目标的检测带来了干扰。此用采用图像形态学方法去除二值图像中孤立的小区域,同时将小间隙填充。图像形态学中的腐蚀运算是消除边界点,使边界向内部收缩的过程。膨胀运算是将与物体接触的所有背景点合并到该物体中,使边界向外扩张的过程。对二值图像进行形态学处理时,首先用腐蚀运算将孤立的小区域去除,然后用膨胀运算将小间隙填充。这样一方面可以消除噪声,一方面可以平滑图像,从而将运动目标完整的检测出来。
3 实验分析
为了验证本文算法的正确性、有效性。硬件如下:笔记本配置为CPU(AMD)主频2.0 GHz,内存为2.0 GB,ATI RADEON X550显卡,显存容量256 MB(DDRII);软件:Matlab 7.0版本,实验用视频序列分辨率为320×256,每秒钟25帧。利用Matlab仿真结果如下:首先对标准视频序列Coastguard中连续三帧原始像图5(a)∼(c)采用文中提出的改进的三步搜索算法进行运动估计,其中行、列搜索宽度设为21像素和63像素。搜索得到第二帧相对于第一帧的背景运动矢量为(-3,0);第三帧相对于第二帧运动矢量为(-3,0),这里假设坐标系X轴向右为正,Y轴向下为正。其次将第一帧图像的背景,第三帧图像的背景配准到第二帧,至此就实现了将连续三帧图像的背景稳定在同一幅图像(第二帧)的相同位置上,图5(d)∼(f)、图6(d)∼(f)为背景补偿后的连续三帧图像。图5、6(g)为经典的三帧差分法对动背景下连续三帧图像三帧差分,可以看出,运动目标几乎被背景淹没,很难提取出运动目标。图5、6(h)是采用本文算法针对背景补偿后的三帧图像进行的帧差分,保留了运动目标的大部分边缘信息,图5、6(i)是对图(h)进行形态学运算包括闭运算、填充运算和中值滤波得到的运动目标的二值掩膜,图5、6(j)是对二值掩膜图像5、6(i)进行canny边缘检测图像,图5、6(k)是利用图5、6(i)和连续三帧图像中间帧灰度图像相与后提取的运动目标区域。本算法运行时间如下:运动矢量的估计、补偿、边缘信息的检测及帧差分和目标提取计算时间为35 ms,加上帧差分法有一帧延迟时间40 ms,合计时间为75 ms,基本上达到了实时的要求。
实验证明本文提出的目标检测算法能有效克服背景运动的影响,克服了光线变化对目标检测的影响,提高了检测鲁棒性,达到了实时性要求。其次针对“飞机跟踪视频”给出了实验结果效果如图6所示,能够较准确的检测出运动目标,验证了此算法的泛化性和有效性。
4 总结
本文结合改进的灰度投影法和连续三帧图像的边缘信息提出了一种基于背景补偿的帧差分与边缘信息融合的目标检测算法。首先对连续三帧图像进行背景运动矢量的检测,然后进行背景运动矢量的补偿,使三帧图像的背景稳定在同一幅背景上,根据边缘检测算法提取三帧连续图像的边缘信息,并对三帧连续的边缘图像进行三帧差分运算,最后通过二值化处理和形态学处理完成对目标的提取。实验结果表明该方法能对动背景下的移动目标进行准确检测,同时克服了图像之间存在亮度突变的情况,具有实时性和泛化性及很好的鲁棒性。
参考文献
[1]Lipton A J,Fujiyoshi H,Patil R S.Moving target classification and tracking from real-time video[C]//Proceedings,Fourth IEEE Workshop on Applications of Computer,Princeton,N J,May21,1998:8-14.
[2]Valera M,Velastin S A.Intelligent Distributed Surveillance Systems:A Review[J].IEE Proceedings Vision,Image and Signal Processing(S1751-9632),2005,152(2):192-204.
[3]王建平,刘伟,王金玲.一种视频运动目标的检测与识别方法[J].计算机技术与自动化,2007,26(3):78-80.WANG Jian-ping,LIU Wei,WANG Jin-ling.A Moving Object Detection and Recognition Method in Video Sequences[J].Computing Technology and Automation,2007,26(3):78-80.
[4]TONG Nian-nian,DUAN Xiao-hui.Research on detection algorithm for vehicle monitoring system[C]//The First Chinese Conference on Intelligent Surveillance,Beijing,April24,2002:612-616.
[5]李劲菊,朱青,王耀南.一种复杂背景下运动目标检测与跟踪方法[J].仪器仪表学报,2010,31(10):2242-2247.LI Jin-ju,ZHU Qing,WANG Yao-nan.Detecting and tracking method of moving target in complex environment[J].Chinese Journal of Scientific Instrument,2010,31(10):2242-2247.
[6]孙辉,李志强,孙丽娜,等.一种空域和频域相结合的运动图像亚像素配准技术[J].中国光学,2011,4(2):154-160.SUN Hui,LI Zhi-qiang,SUN Li-na,et al.Sub-pixel registration of special and frequency domains for video sequences[J].Chinese Journal of Optics,2011,4(2):154-160.
[7]王建平,栾庆磊,何勇.无特定背景条件下运动目标的分割算法研究[J].计算机应用与软件,2010,27(3):255-259.WANG Jian-ping,LUAN Qing-lei,HE Yong.Resarch on moving objects segmentation algorithm with no special background condition[J].Computer Applications and Software,2010,27(3):255-259.
[8]左颢睿,张启衡,徐勇,等.基于GPU的快速Sobel边缘检测算法[J].光电工程,2009,36(1):8-12.ZUO Hao-rui,ZHANG Qi-heng,XU Yong,et al.Fast sobel edge detection algorithm based on GPU[J].Opto-Electronic Engineering,2009,36(1):8-12.
边缘融合 篇7
1 边缘融合技术概述
边缘融合是指对一组投影机投射出的画面进行边缘重叠，并运用融合技术实现没有缝隙、更加明亮、超大、高分辨率的整幅画面的显示效果，令画面看上去就像是一台投影机投射出的画面，如图1所示。
边缘融合技术的应用通常有三种组合方式。
(1)宽视角的排列，即多台投影机水平排列组合打出更宽幅的画面。这种方式被广泛地应用于大型会议中心、演艺中心、展览馆等场所和军事项目之中。
(2)多台投影机垂直堆积产生纵向的显示画面。这种特殊的排列方式已逐渐为人们所欣赏，现在广泛应用于广告行业和一些有特殊要求的现场演示会。
(3)多台投影机堆积出更高、更宽幅的超大画面。这种方式通常被应用于监控中心和指挥中心。
边缘融合技术的应用在我们的生活中并不鲜见，举世瞩目的2008年北京奥运开幕式中就应用了这一技术：“鸟巢”的高14m、长500m的“碗边投影”，就是使用21组投影机，采用投影叠加技术，用1×3投影，实现了边缘融合的效果;“同一个地球”投影，则是使用安装于两层平台上，每两台为一组，共四组八台的20000ANSI流明工程投影机，运用融合度为12.5%的球形建模，在重达16t、直径18m的“地球”上融合而成。
2 高清边缘融合的设计步骤
高清边缘融合的设计步骤如下：
◆确定投影幕大概尺寸;
◆确定投影机的数量;
◆选择投影机(确定投影机亮度、分辨率及所用镜头);
◆选择屏幕(考虑屏幕增益、均匀度、平整度);
◆选择融合处理器;
◆预设软边融合的区域值;
◆安装及校准屏幕和投影机;
◆调试系统及测试。
视频设备连接如图2所示。
3 协和报告厅投影系统主要设备
(1）投影幕
投影幕要能够满足支持数字电影放映的需求。协和报告厅主席台墙面尺寸为15×6m，根据显示区域大小以及数字电影放映机投放尺寸，确定投影幕选用9.6×5.6m的哈克尼斯电影银幕，三屏融合尺寸为9.6×2.8m。
(2）投影机
大屏幕显示设备采用PD F32全高清1080p投影机(亮度为7000ANSI流明，对比度为7500:1，投影宽高比例为16:9)。此投影机单台可投放约4.9×2.8m的图像，按照融合带面积占屏幕面积的25%计算，使用三台可满足需求。
(3）边缘融合处理器
选用PROWINDOWS系列边缘融合处理器。该设备是基于工业级的嵌入式XPE系统的投影多屏拼接带边缘融合处理器，采用现今国内外领先的边缘融合技术，可使拼接大屏幕系统成为一个具有超高分辨率的单一逻辑屏，并能输出分辨率高达1920×1200的，1080p、60Hz的视频。
(1) 多个通道输入
支持三路RGB、三路高清分量视频、四路标清复合视屏输入，还可支持网络流媒体输入、动静态图文输入、网络信号输入。
(2) 多通道输出
支持三路DVI输出，分辨率高达1080p。
(3) 高级效果控制
支持根据像素精度定义视窗的位置和大小，由此来显示窗口的输入;支持在任一视窗内对图像进行所需的缩放;支持所叠加的窗口以动态方式存在，支持用户自由决定窗口放置的前后次序;支持产生奇特形状的重叠、镜像、阴影三维立体、淡入淡出、飞进飞出等效果。
(4) 高清矩阵
选用Extron CrossPoint®450 Plus系列超宽带RGBHV矩阵切换器。该系列的矩阵切换器都可在一路输入驱动所有输出时提供最低450MHz (-3dB) 的RGB视频带宽, 凭借高带宽保证输入、输出满载时, 信号可长距离无损传输。
4 三通道高清边缘融合技术的优点
(1)实现更大的图像尺寸、更高的画面完整性
单靠一台PD F32只能打出一个16:9的画面;借助边缘融合技术，可将三台投影机的三个投影图像处理成一个完成图像，在9.6×5.8m的大银幕上打出9.6×2.8m的超大图像，满足报告厅对大尺寸、完整性画面的需求。
(2)缩短投影机投射距离、提高图像亮度
以200寸 (4000×3000mm) 的屏幕为例, 如果为了保证没有物理和光学拼缝而采用一台投影机进行投射, 根据投影距离等于镜头焦距与屏幕宽度之积的原理, 即使采用1.2:1的广角镜头, 投影距离也将达到4.8m。而采用边缘融合技术后, 用三台投影机投射同样大小的画面, 投射距离仅2.4m——投影距离缩短将减少投影机亮度的损失。
此外，在不提高投影机亮度、屏幕尺寸固定的情况下，采用融合技术，以三台投影机投射出的图像，其亮度明显高于使用一台投影机投射出的图像。
(3)实现超高分辨率
以协和报告厅为例，使用三通道高分辨率输出的图像处理器和计算机，进行每通道1920×1080像素的三个通道的图像合成，按照融合25%的像素计算，可以通过减去多余的交叠像素，实现4800×1080的高分辨率。
(4)支持多画面、多窗口显示图像
在边缘融合处理器强大功能的支持下，可在大屏幕上处理显示网络图形信号、视频信号、RGB信号、高清动/静态图文信号，可以在整个大屏上进行窗口漫游，且保证信号的显示完全实时，支持PAL、NTSC、SECAM制式的视频信号;支持多画面、多窗口显示，支持标准比例、非标准比例图像，可使一个大屏幕变为多个实时显示画面。
(5)增加画面层次感