竞争图像融合算法

竞争图像融合算法（精选7篇）

竞争图像融合算法 篇1

近年来, 随着传感器技术和计算机计算能力的提高, 多传感器图像融合技术的应用越来越广泛。图像融合是将2个或2个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合, 以生成新的有关此场景解释的信息处理过程。

图像融合规则是图像融合的核心, 规则的好坏直接影响图像融合质量。目前常用的融合规则包括基于像素的图像融合规则和基于窗口的图像融合规则。基于像素的融合规则仅是以单个像素作为融合对象, 它并未考虑图像相邻像素间的相关性, 融合性能不佳。基于窗口的融合规则由于考虑相邻像素的相关性, 因此减少了系数的错误选取, 融合效果得到提高。

但是图形的局部特征往往不是由单个像素或者局部窗口内的像素的图像变换系数所能表示的, 它是由某一局部区域的多个像素的图像变换系数来表示和体现的[1]。通常图像中某一局部区域内的各像素间具有较强的相关性。基于此, Zhang Z.、Piella G.[2]等人提出了基于区域的融合规则。

1 基于区域的图像融合方法

基于区域的多传感器图像融合算法结构如图1所示。图像融合处理前先对2幅待融合图像IA和IB分别进行图像分割以得到各图像的区域表示RA和RB (区域表示中不同标记表示不同区域) , 通过对两图像的区域表示RA和RB进行叠加获得2图像的共同区域表示R。对区域表示进行叠加时, 2个区域表示中重合的区域或交叉的区域作为共同区域表示中的一个区域。对2个区域表示进行叠加的示例如图2所示, 图2a的区域表示中包含2个区域, 图2b的区域表示中也包含2个区域, 通过对这2个区域表示叠加产生4个交叉区域, 从而得到图2c的共同区域表示。对输入图像进行融合处理时, 先采用方向金字塔框架变换[3]或方向可调的不可分离小波框架变换对2幅待融合图像分别进行多尺度分解, 并根据2幅图像的共用区域表示R计算2幅图像区域相似度MAB, 根据2幅图像的各自区域表示计算融合量测指标。融合决策是根据MAB进行制定:对于2图像中相似区域的融合采用系数加权平均的方法, 而对于两图像中非相似区域的融合采用系数选取的方法, 加权平均时的权值以及系数选取时的优先性由各系数的融合量测指标的大小决定[4]。

2幅待融合图像IA和IB经多尺度分解后, 令表示两图像fNA (x, y) 和fNB (x, y) 经分解后的最低频子带系数, N为多尺度分解的层数, (x, y) 表示系数坐标;令giA (x, y) 和giB (x, y) 表示两图像经分解后的各高频子带系数, i=1, 2, ⋯, NH (NH为图像经分解后的高频子带的个数) 。令giF (x, y) (i=1, 2, ⋯, NH) 、fNF (x, y) 表示经融合处理后的图像变换系数。

1.1 低频系数融合处理

对于低频图像fNA和fNB的融合处理一般采用按区域进行加权平均或直接选取的方法。

根据区域表示RA和RB计算两待融合图像经多尺度分解后的低频系数的融合量测指标, 该指标由两部分组成:区域的标准差σ和区域的突变度τ。首先根据区域突变度找出2幅图像中灰度突变程度比较大的区域:如果τA (rA) >τT (τT为阈值, 一般取0.8左右) , 则对于rA区域, 融合后的低频图像取IA的低频图像;如果τB (rB) >τT, 则对于rB区域, 融合后的低频图像取IB的低频图像。对于突变度变化不大的区域, 则对于任意区域r∈R, 如果相似性测度MAB (r) <α, 则对低频系数的融合处理采用系数选取的方法

式中, σA (r) =σA (r A) , 其中r A为RA中包含r的区域;σB (r) =σB (r B) , 其中r B为RB中包含r的区域。

如果对于任意区域r∈R有MAB (r) α, 则采用加权平均的融合策略

式中, 和为权系数, 有

1.2 高频系数融合处理

区域边界上的高频系数融合处理:图像经多尺度分解后的高频子带系数包含了图像中诸如边缘、区域轮廓等的细节信息。图像分割后的各区域边界往往对应于图像中的边缘以及区域轮廓。所以在融合处理时, 对于公共区域边界上的高频系数选取较大的高频系数, 非公共区域边界上保留各自的高频系数;对于非区域边界上的高频系数则根据相似性测度进行加权平均或系数选取, 相似性测度高的进行加权平均, 相似性测度低的做系数选取。

对组合后的图像变换系数进行图像逆变换即可得到融合后的图像IF。

2 区域分裂合并算法

在区域融合算法中, 对待融合图像的区域分割对图像融合的结果起到关键性的作用。对于图像的分割, Frank N.等人提出了基于区域生长与区域合并的方法。在这类方法中, 常需要根据图像的统计特性设定图像区域属性的一致性测度, 其中常用的测度多基于灰度统计特征, 例如同质区域中的方差 (variance within homogeneous regions, VWHR) 。算法根据VWHR的数值确定分裂和合并各个区域。

一般有代表性的, 采用图像四叉树表达方法对图像做简单分裂合并[4]。设R代表整个矩形图像区域 (见图3) , P代表逻辑谓词。从最高层开始, 把R连续地分裂成越来越小的1/4的矩形子区域Ri, 并且始终使P (Ri) =TRUE。换句话说, 如果P (R) =TRUE, 那么就将图像分成四等分。如果P (Ri) =FALSE, 就将Ri分成四等分。如此类推, 直到没有P (Ri) =FALSE。同时, 在每次分裂后允许其后继续分裂或合并。这里合并只合并那些相邻且合并后组成的新区域满足逻辑谓词P的区域。换句话说, 如果能满足条件P (Ri⋃Rj) =TRUE, 则将Ri和Rj合并起来。

利用图像四叉树表达方法可将图像以金字塔数据结构形式组织起来。理论和实验都表明, 在分割时, 从金字塔结构的中间层开始可节约计算时间, 具体计算步骤为:

(1) 初始化:从中间某层k开始, 方块的边长是n=N/2k, 求出块内最大灰度Mk和最小灰度mk。

(2) 分裂:设e为预定的允许误差值, 如果Mk-mk>2e, 则将节点分裂为4个小方块, 并计算各小方块的Mki和mki, i=1、2、3、4, 分裂最多进行到像素级。

(3) 合并:反过来, 如果4个下层节点bki, i=1、2、3、4, 有公共父节点, 且max (Mk1, Mk2, Mk3, Mk4) -min (mk1, mk2, mk3, mk4) <2e, 则将它们合并成一个新节点, 合并最多进行到图像级。

(4) 组合:在非共父节点的相接节点间进行合并。具体是先建立一个堆栈S, 初始为空;再建立一个辅助的邻接矩阵A, 开始时其元素aij=a (xk, yk) =k。然后依次检查每个像素, 如果像素fij属于节点bk所代表的方块, 对应的矩阵元素aij保持原值。组合以标记方法实现, 对结点bk的标记策略为: (1) 未标记过和未扫描到的, 用标记Fk>0表示; (2) 标记过但未扫描到, 用标记Fk<0表示, 并将结点bk放入S; (3) 既标记过也扫描到, 用标记Fk>0表示, 但结点bk不放入S中。用标记法将已标记过的结点顺序放入区域表中, 并给区域表加上一个终结标记。根据以下算法进行组合 (u和v为暂存器) :令S为空, 若Fk>0, 则压bk到S中, u←Mk, v←Mk;如果S非空, 则从S中弹出bk, 将bk装入R, 再对所有的bk∈A判断Mk-mk, 如果结果小于2e, 将bk装入S, 循环以上步骤, 最后将零装入R, 结束。

3 试验结果及评价

试验中, 运用Matlab7.4实现图像的融合。如图4、图5所示。。在融合的过程中, 采用方向可调的不可分离小波框架变换对2幅待融合图像分别进行多尺度分解, 分解为3层。

表1是对上述图像的客观数据统计, 采用基于Region的图像融合算法融合后的图像, 其熵、空间频率、平均梯度相对源图像都有提高。从视觉上也可以看出采用基于区域的方法融合后的图像融合了2幅图像的细节信息, 取得了很好的效果。这表明采用基于区域的图像融合算法能较好地综合源图像信息。

4 结束语

针对双波段红外图像的特点, 采用基于区域的图像融合算法得到的实验数据和图像都表明, 该融合算法能有效地保留图像信息。不过分裂合并算法的关键是如何对区域进行初始化划分和分裂合并准则的设计。该算法对复杂图像的分割效果较好, 但算法复杂, 计算量较大, 分裂还可能破坏区域的边界。

参考文献

[1]Piella G.A general framework for multiresolution image fusion:from pixels to regions[J].Information Fusion, 2003, 4 (4) :259-180.

[2]Zhang Z, Blum RS.A categorization of Multiscale-de-composition-based image fusion schemes with a perfor-mance study for a digital camera application[J].Proceed-ings of the IEEE, 1999, 87 (8) :1315-1326.

[3]陈浩, 王延杰.基于拉普拉斯金字塔变换的图像融合算法研究[J].激光与红外, 2009 (4) :439-442.

[4]章毓晋.图像分割[M].北京:科学出版社, 2001:67-74.

[5]张雷, 高桦, 杨风暴.双波段红外图像辐射特性分析及在图像融合中的应用[J].光电技术应用, 2006, 21 (5) :54-57.

[6]敬忠良, 肖刚, 李振华.图像融合——理论与应用[M].北京:高等教育出版社, 2007:47-83.

基于引导滤波的遥感图像融合算法 篇2

关键词：遥感图像,图像融合,引导滤波

图像融合是将对同一目标拍摄的两幅或多幅图像合成为一幅图像的过程,得到的融合图像同时具有源图像的优点,能提供更加丰富可靠的信息,方便人们有效的分析数据或者观察目标[1]。图像融合分为3个处理层次,分别是像素级融合、特征级融合和决策级融合。像素级融合是对源图像中的目标和背景等信息直接进行处理,其能最大程度地保持图像细微的信息,因此研究较为广泛[2]。

遥感图像是用于描述地表信息的重要数据源,但受到传感器的限制,得到的遥感图像难以同时具有高光谱分辨率和高空间分辨率。全色成像的频带宽、频率分辨率低,具有较高的空间分辨率,得到的全色图像较清晰。多光谱成像的频率窄、频率分辨率高,但空间分辨率较低,得到的多光谱图像较模糊[3]。将全色图像和多光谱图像进行融合,利用它们的互补信息,可提供一个同时具有高空间分辨率和光谱分辨率的融合图像,从而满足更深层次应用的需要[4]。

1 引导滤波器基本理论

1.1 引导滤波器定义

常见的空间滤波器有高斯滤波器等,属于线性移不变滤波器,其共同点是核空间不变性,且与输入图像的内容无关。但多数情况下,需要把图像包含的信息在滤波过程中体现出来,因此提出引导滤波器[5]。引导滤波器,就是滤波器核权重,是由引导图像信息确定的滤波器。引导图像和输入图像可以为同一幅图像,也可以为不同的图像。引导滤波器(Guided Filtering)的概念在2010年由Kai Ming He[6]等人提出。引导滤波器具有边缘保留平滑特性,在图像增强[7]、图像去雾[8]、图像融合[9]等方面取得了良好的效果。

引导滤波的输出图像O和引导图像G是基于局部线性模型的,即在以k为中心的窗ωk内,在像素点i处,输出值Oi是Gi的线性变换,即

其中,ωk是(2r+1)×(2r+1)大小的窗;ak和bk是窗ωk内的常数系数。为估计常数系数ak和bk,可以通过最小化输出图像O与输入图像P的平方差来计算

其中,ε是调节滤波器滤波效果的重要参数;pi是输入图像p在像素点i处的像素值。用μk和σ2k表示引导图像G在窗中的均值和方差;表示输入图像p在窗中的均值。通过最小二乘法,可以得到式(2)的解

在计算每个窗口的线性系数时,可以发现一个像素会被多个窗口包含,也就是说每个像素都由多个线性函数所描述。一个简单的方法就是平均像素i处所有可能的输出像素值Oi。因此,按以下公式计算滤波器输出

其中,

1.2 引导滤波器的参数分析

引导滤波器的窗口半径r和调整参数ε对滤波器的输出结果都会产生一定的影响。半径r控制滤波器滤波窗口的大小,决定了空间滤波的能力。r取值越大,滤波器在空间滤波时的窗就越大,图像会更加平滑。ε决定了滤波器的滤波效果。

当G=p时,即引导滤波器的引导图像和输入图像为同一幅图像时,如果ε=0,则根据ak=σk2/(σk2+ε),bk=(1-ak)μk,显然可以得到ak=1,bk=0,此时滤波器输出O=G,没有滤波效果。若ε>0,考虑两种情况:

(1)在高方差区域,即引导图像G在窗ωk内像素强度变化大,此时有σk2>ε,因此可得ak≈1,bk≈0。此时空间滤波效果很弱,有助于保持图像边缘;

(2)在平坦区域,即引导图像G在窗ωk内像素强度变化小,几乎为常数,此时有σk2≤ε,因此可以得到ak≈0,bk≈μk。此时引导滤波器相当于加权均值滤波器。

ε的大小就是判断高方差区域或者平坦区域的标准。在窗口内若方差σk2≤ε,就会被平滑,如果≥ε就会被保留。在窗口大小不变的情况下,ε越小,边缘保持特性越明显;ε越大,滤波效果越明显。

2 基于引导滤波器的图像融合算法

本文提出了一种基于引导滤波的遥感图像融合算法,算法对小波分解得到的小波系数和近似系数进行加权融合,得到的融合图像,较好地保留了图像的边缘和细节信息。

具体的融合算法步骤如下:(1)输入严格配准和预处理后的多光谱图像和全色图像;(2)对多光谱图像应用IHS变换进行处理,得到色调H、饱和度S和亮度I;(3)对多光谱图像的亮度I和全色图像应用一层小波变换。亮度I被分解为低频系数A1和3个小波系数H1、V1、D1。全色图像被分解为低频系数A2和3个小波系数H2、V2、D2;(4)使用基于引导滤波的加权融合算法来分别融合近似和小波系数。由于两个低频系数A1和A2维持了源图像的总体形状,因此对两幅低频图像基于每个像素点进行比较,得到权值图W1和W2

但这样直接比较得到的权值图通常含有噪声,并且边缘没有对齐。考虑到引导滤波的作用是保持图像边缘的同时滤除图像的噪声,因此对权值图W1和W2应用引导滤波器滤波,两个低频系数A1和A2分别作为引导图像。通过滤波得到新的权值图M1和M2

应用得到的权值图M1和M2,通过加权融合算法来融合两个低频系数A1和A2得到融合后低频系数A。并通过加权融合算法来分别融合3组对应的小波系数H1和H2,V1和V2,D1和D2得到融合后小波系数H、V和D

(5)针对融合后的低频和小波系数A、H、V、D应用小波反变换得到融合后的亮度Inew;(6)对多光谱图像的H分量、S分量和融合后的亮度分量Inew应用IHS反变换得到融合图像。

3 实验结果与分析

利用遥感图像对基于引导滤波的加权融合算法进行仿真实验,并对仿真结果进行分析。采用的遥感图像如图1所示,其中多光谱图像与全色图像是经过严格配准的。

基于引导滤波的融合规则进行融合时,引导滤波器的参数设置为r=7,ε=10-2。选用另外两种融合算法做对比实验,一种为直接取大融合算法,另一种为直觉模糊推理的图像融合算法[10]。为方便起见,分别称这3种算法为引导滤波算法、直接取大算法和直觉模糊推理算法。图2所示是3种融合算法的融合结果。观察图2中的3幅融合图像可以看出,3种算法都取得了不错的融合效果。但本文算法所得图像对比度更强,观察图3中3幅图像的右下角可以看出,本文所提算法能够更好的保持图像边缘信息。

为客观评价融合图像的质量,采用标准差、平均梯度、信息熵、光谱相关系数和空间频率这5种指标来评价遥感图像的融合结果,评价结果如表1所示。

在表1中,将本文算法所得结果与直接取大算法进行对比,本文算法在标准差、平均梯度和空间频率上明显更好,而其他两个参数相差不大。将本文算法所得结果与直觉模糊推理算法的进行对比,本文算法在标准差、平均梯度、光谱相关系数和空间频率上明显更好。所提融合算法在使大多数参数表现最好的同时能够尽可能地保持其他参数的特性,是一种综合性能最高的融合算法。该算法能够得到更好的融合效果,融合结果优于直接取大融合算法和直觉模糊推理融合算法。

4 结束语

本文提出了一种基于引导滤波的遥感图像融合算法,引导滤波器可在滤除图像噪声的同时保持图像边缘。使用文中算法对遥感图像进行仿真实验,实验结果表明,本文提出的融合算法,优于已有的直接取大融合算法和直觉模糊推理融合算法。

参考文献

[1]那彦,焦李成.基于多分辨分析理论的图像融合方法[M].西安:西安电子科技大学出版社,2007.

[2]魏世超.图像融合方法研究[D].镇江:江苏科技大学,2012.

[3]王金玲,贺小军,宋克非.采用区域互信息的多光谱与全色图像融合算法[J].红外与激光工程,2014,8(8):2757-2764.

[4]翟军涛,那彦,孟捷,等.基于非采样Contourlet变换的多光谱和全色图像自适应融合算法[J].系统工程与电子技术,2009,31(4):764-767.

[5]王峰.图像引导滤波器在单幅图像复原中的应用[D].合肥:合肥工业大学,2012.

[6]He Kaiming,Sun Jian,Tang Xiaoou.Guided image filtering[J].Pattern Analysis and Machine Intelligence,2012,35(6):1397-1409.

[7]肖创柏,赵宏宇,禹晶.基于引导滤波的Retinex快速夜间彩色图像增强技术[J].北京工业大学学报,2013,12(12):1868-1873.

[8]唐鉴波,江铁,王田.基于引导滤波的单幅图像去雾算法研究[J].科学技术与工程,2013,13(11):3021-3025.

[9]Li Shutao,Kang Xudong,Hu Jianwen.Image fusion with guided filtering[J].IEEE Transactions on Image Processing,2013,22(7):2864-2875.

竞争图像融合算法 篇3

关键词：块分类,稀疏表示,图像融合

图像融合是将同一场景来源不同的多幅源图像的互补信息综合起来, 以获得该场景更加准确、全面和细致描述的一种图像处理技术。它在计算机视觉、医学以及航空航天等领域中都有广泛的应用。图像融合算法主要有基于空域的 (加权平均、主元分析等) 和基于变换域的 (小波变换、Contourlet变换[1]等) 。这些融合算法的优点是速度快, 但是容易丢失图像的边缘等细节信息, 从而影响融合图像的清晰度。

稀疏表示 (Sparse representation, SR) 算法作为一种有效的表示模型, 克服了以上问题得到较理想的融合效果, 成为近年来的研究热门。Yang B[2]提出一种基于过完备字典稀疏表示的图像融合算法, 利用DCT字典建立稀疏分解模型, 但DCT字典的适应性不强, 运算复杂度高;陈垚佳[3]提出从待融合图像中随机抽取训练样本集, 采用K-SVD法对样本集训练得到过完备字典, 相比DCT字典能够更接近待融合图像特征, 但是待融合图像本身存在信息缺失的问题, 容易导致字典出现信息缺损;余南南[4]利用K-SVD法对图像库构成的样本集进行训练得到K-SVD字典, 能更好表示图像特征, 适应性强, 并根据稀疏系数非零性分离相似特征和相异特征分别进行融合, 以提高融合图像中相异特征的清晰度。虽然这些算法在字典训练上都有所改进, 但是单一字典容易忽略图像的局部特征, 不能有效表示图像块结构特性的差异。

针对这一问题, 提出了一种基于块分类稀疏表示的图像融合算法。它将图像的子块划分为平滑、边缘和纹理3种结构。对于具有明显边缘和纹理的图像块, 分别训练各自的字典进行稀疏表示, 以获取更加精确的稀疏系数。平滑块直接利用算术平均法进行融合, 减少了运算复杂度;边缘和纹理结构通过分类稀疏表示的方法进行融合, 并对边缘结构稀疏表示中的残余量进一步采用小波变换进行融合, 保证了信息的完整性。实验结果证明, 本文算法在融合图像的主观评价和客观评价指标上均有显著改进, 并且算法速度也有提高。

1 基于稀疏表示的图像融合算法

稀疏表示的理论描述如下, 假设D=[d1, d2, …, dN]∈RK×N为一个过完备集, 对于给定的观测信号x, 可通过字典中原子的线性组合来表示, 即对任意的x∈Γ, 存在s∈RN, 使得x=Ds。稀疏表示的一般描述为求解式 (1)

式中:ε为误差值。基于稀疏表示的图像融合算法, 其本质为待融合图像基于过完备字典对每一个像素域进行稀疏表示再融合、重构的方法[5,6,7]。其框架如图1所示, 方法步骤如下:

1) 将严格配准的待融合图像归一化, 再进行滑动 (sliding) 分块处理, 并把每个图像子块像素拉直成一维列向量v, 得到列向量矩阵V。

2) 将每个子块列向量v在冗余字典D上利用OMP进行稀疏编码, 获得稀疏系数a。

3) 把对应的稀疏系数a按照一定规则融合得到重构系数A, 再结合系数A与冗余字典D重构出融合结果图像。

基于稀疏表示的图像融合相比传统算法融合效果好, 但单一字典的稀疏表示往往忽略了图像的局部特征。针对这一问题, 提出了一种基于块分类稀疏表示的图像融合算法, 它将图像的子块划分为平滑、边缘和纹理结构三类, 对边缘和纹理结构分别训练相应字典进行稀疏表示。

2 基于块分类稀疏表示的图像融合算法

2.1 块分类

根据待融合图像的局部结构特性, 对分块得到的图像子块进行分类。图像f可分为平滑结构fs、边缘结构fe和纹理结构ft。分类方式如下:

1) 平滑结构。根据图像块之间包含的图像信息量不同, 图像子块可分为平滑结构和细节模型。检测图像的信息量高低, 常用的测量函数有方差 (Variance) 、梯度 (Gradient) 、空间频率 (SF) 以及改进拉普拉斯能量和等。文献[8]指出, 在同等条件下, 方差计算速度快且有较好效果, 够有效区分平滑结构和细节结构。方差d计算公式为

式中:xi为像素值;为图像块所有像素值的平均值;M为像素点数。方差越大, 代表图像块的边缘和纹理信息越丰富。根据方差公式计算每个子块的方差d, 设定阈值μ1。若待融合图像对应位置子块的方差值都小于等于μ1, 属于平滑结构fs;否则子块属于细节结构fd。如式 (3) 所示

式中:dA和dB分别为待融合图像A和B对应位置子块的方差值。

2) 边缘结构和纹理结构。经过以上划分, 图像块分为平滑结构和细节结构。本文利用图像子块梯度场的指向性将细节结构分为边缘结构和纹理结构。通过对图像块梯度场奇异值分解 (SVD) , 估计图像块的局部方向性, 其中指向一致性强的作为边缘结构, 指向性弱的作为纹理结构。

设图像块f中像素点xi的梯度为gi=[gih, giv]T, 其梯度矩阵为G=[g1, g2, …, gM]T。根据文献[9]在f中所有像素点梯度gi的平均值与图像块的轴向正交, 轴向估计问题可由求解向量v表示为

图像块梯度场主方向v是G最小奇异值所对应的奇异分量。对G奇异值分解

式中:V是2×2的正交矩阵, 第一列v1代表图像块梯度场的主方向;矩阵Δ大小为M×2。可得G的奇异值为s1和s2, s1代表梯度场主方向上的能量, s2代表与梯度场主方向正交方向上的能量。

设定参数c判定边缘, 则c为

根据上式计算细节结构中每个图像块的c, 设定阈值, μ2若待融合图像对应位置子块的c值都小于等于μ2, 则为纹理结构ft;否则子块为边缘结构fe。

式中:cA和cB分别为待融合图像A和B对应位置子块的c值。

2.2 基于块分类的字典训练

基于块分类稀疏表示的图像融合选择K-SVD法训练字典, 训练可离线操作。字典训练过程为先将待训练样本进行分类, 然后对边缘结构和纹理结构块分别进行训练。

首先, 从标准图像库中随机选取N个n×n大小的待训练图像块, 根据图像块的方差d和选取的阈值μ1区分出平滑结构块和细节结构块。

其次, 利用式 (4) ~ (7) 将细节结构块区分为边缘结构和纹理结构。其边缘结构块构成训练样本集Xe, 纹理结构块构成训练样本集Xt。

最后, 利用K-SVD算法对样本集Xe和Xt分别训练出边缘结构fe和纹理结构ft对应的冗余字典。设定稀疏度为T, 冗余字典中原子数为R, 稀疏系数为θ={θi}, 通过迭代解决如下优化问题

对DCT字典通过以上方法训练, 可得到自适应边缘、纹理冗余字典。相对于单一字典该方法改进了原字典的结构, 能够获得更有效反映图像局部结构特性的冗余字典。

2.3 图像融合

平滑结构fs包含的信息量少, 像素值变化平缓, 用算术加权平均法进行融合就能有较好的效果, 且算法简单, 可减少运算复杂度。权系数选取ω1=ω2=0.5。

边缘结构fe和纹理结构ft利用各自训练的冗余字典进行稀疏表示的图像融合。结构块利用OMP算法获得相对应的系数αA和αB。融合规则为选取稀疏度较低的系数a, 当稀疏度一致时, 则用l1范数进行系数选取。如式 (9) 所示

在稀疏编码中, OMP求解式 (1) 是一种循环逼近的算法, 残余量衰减到一定程度就会很难搜索到与残余量相匹配的原子, 因此衰减后的残余量会引起部分源图像信息的丢失, 从而影响融合效果。本文算法对边缘结构稀疏表示的OMP残余量进行了小波变换融合, 再将融合的残余量加到融合图像中。残余量r为

可得到残余矩阵RA和RB。先对残余矩阵进行小波分解, 再采取高频系数绝对值取大和低频系数算术平均的融合规则, 最后通过逆小波变换得到融合的残余量R。

基于块分类稀疏表示的图像融合算法步骤流程如图2所示。

步骤1, 分块。对源图像A, B进行n×n大小的滑动分块, 分别得到 (N+n-1) × (M+n-1) 个图像子块。

步骤2, 块分类。利用对应子块的方差d区分平滑结构块和细节结构块, d都小于等于阈值μ1的子块属于平滑结构, 否则为细节结构;计算出各细节结构块的c值, 若都小于等于阈值μ2, 属于纹理结构, 反之属于边缘结构。

步骤3, 融合。平滑结构采用算术加权融合算法;边缘结构和纹理结构分别训练出各自的K-SVD字典, 采用稀疏表示算法进行融合, 融合规则为系数稀疏度和l1范数组合取大的原则, 并且将边缘结构稀疏表示的残余量进行小波变换融合后, 再加到边缘融合图像中。

步骤4, 重构。3种模型的融合图像相结合, 再除以每个位置像素值叠加的次数, 最终获得融合结果图像F。

3 实验结果及分析

本文实验采用的4组图像如图3所示, 分别取大小为256×256的多聚焦图像、医学图像和红外图像。待融合图像图3a、图3e和图3b、图3f表示左清晰和右清晰的多聚焦图像;图3c、图3g表示可见光图像和红外图像;图3d、图3h表示不同模态的CT和MRI医学图像。实验将本文算法分别与小波变换法 (DWT) 、Contourlet变换法、稀疏表示法 (SR) 进行对比。实验用MATLAB R2012a编程, 在2 Gbyte内存的Windows7系统上实现。

本文算法需对源图像进行块分类。文献[4]指出随着图像分块的增大, 融合图像的全局误差会减少, 因此4×4和6×6分块会影响图像全局信息使得融合指标降低。而16×16分块过大不仅字典维数变大运算复杂量变大, 且不利于子块局部特征的分割, 融合效果不佳。8×8分块相对保存更多的图像信息, 融合效果更好。综上所述, 本文算法选择8×8分块。

在实验中, 本文算法取μ1=13, μ2=0.75。SR采取8×8分块, 选择K-SVD字典, 融合规则为系数稀疏度和l1范数组合取大原则。Contourlet变换法采用5层分解, 融合规则为低频系数采用算术平均, 高频系数采用绝对值取大。DWT的融合规则为低频系数选用加权平均, 高频系数选用绝对值取大进行融合。实验结果如图4所示。

从主观上评价融合结果图像, 图4a和图4b中明显其字母和数字都比较模糊, 说明DWT的多聚焦融合图像会缺失图像信息;图4c对比度低, 很难分辨红外图像中有效信息;图4d的医学融合图像也出现了对比度低和不清晰的现象。图4e和图4f在字母和闹钟的边缘出现了严重的虚影现象, 这些虚影是Contourlet变换法在分解图像中进行下采样引起的;SR和本文方法的融合图像在清晰度和对比度上都明显优于前两种方法。为了更好评价两者, 对SR和本文方法的融合图像中矩形框的内容进行放大, 如图5所示。

从局部放大图可以看出图5e和图5f中字母和数字比图5a和图5b更加清晰。在图5c中左上角的轮胎明显没有图5g清晰, 并且在融合图4k中图像下部分有出现“雾气”现象, 融合效果不佳。图5h相对5d有更良好的内脏纹理信息。由此说明本文方法相对SR保存了更多图像信息, 融合效果更好。

实验结果分析采用主观评价和客观评价, 客观评价包括了相关系数 (MI) 、空间频率 (SF) 、平均梯度 (AG) [10]的指标。其中MI越大, 说明结果图与源图像相关性越大, 而SF和AG指标值越高, 说明图像越清晰, 包含的图像信息越多。

表1给出了4组融合结果图像的客观指标。从表1的Pepsi实验数据中, SR和本文算法的指标均明显超越了DWT和CT, 融合的质量有改善, 本文算法比SR的性能指标又有显著提高。在Clock实验数据中, 可以看出CT的融合效果最差, DWT和SR的性能指标稍好, 本文算法的性能相比于传统方法有明显改进。而Gun和Med的实验数据中, SR和本文方法的指标具有压倒性的优势, 本文算法相对SR性能指标有所提高。由此可见, 本文算法的融合效果很理想。

表2给出了传统稀疏算法和本文算法在同样实验环境下分别对图2中4组图像进行融合的执行时间比较。实验中本文算法和SR都采取8×8的滑动分块方式, 选择K-SVD字典和OMP进行稀疏编码, 并选用相同的融合规则。Pepsi实验中, 稀疏算法运行时间为1 260 s, 本文算法运行时间为928 s。在2个多聚焦图像实验中, 本文算法相对传统稀疏算法均缩短了近1/4的时间;Clock实验中, 稀疏算法耗费了1 288 s, 本文算法耗费985 s。在红外图像Gun实验中, 稀疏算法运行1 041 s, 本文算法的时间缩短了近3/5。在医学图像Med实验中, 稀疏算法耗费716 s, 本文算法缩短了近1/4的时间。由此可见, 本文算法确实有效地加快了融合速度。

s

4 结束语

本文提出了一种基于块分类稀疏表示的图像融合算法, 根据图像局部特性将其分为平滑结构和细节结构, 并将细节再划分为方向一致性强的边缘结构和方向不规则的纹理结构。其平滑结构采用算术平均融合算法, 边缘和纹理结构采用多字典的稀疏表示融合算法, 并对边缘结构稀疏表示中的残余量采用小波变换融合算法。实验结果表明, 该算法的融合效果有显著改善, 并且算法速度也有提高, 使得图像融合技术能够在军事、工业、交通等领域中得到更好的实际应用。

参考文献

[1]WANG W, CHANG F, JI T.Fusion of multi-focus images based on the 2-generation curvelet transform[J].International Journal of Digital Content Technology and Its Applications, 2011, 5 (1) :33-42.

[2]BIN Yang, LI Shutao.Multifocus image fusion and restoration with sparse representation[J].IEEE Trans.Instrumentation and Measurement, 2010, 59 (4) :884-892.

[3]陈垚佳, 张永平, 田建艳.基于分块过完备稀疏表示的多聚焦图像融合[J].电视技术, 2012, 36 (13) :48-51.

[4]余南南, 邱天爽.稀疏表示的自适应遥感图像融合算法[J].信号处理, 2013, 29 (6) :663-667.

[5]BIN Yang, LI Shutao.Pixel-level image fusion with simulta-neous orthogonal matching pursuit[J].Information Fusion, 2012, 13 (1) :10-19.

[6]LI Shutao, YIN Haitao, FANG Leyuan.Remote sensing image fusion via sparse representations over learned dictionaries[J].IEEE Trans.Geoscience and Remote Sensing, 2013, 51 (9) :4779-4789.

[7]JIANG C, ZHANG H, SHEN H, et al.Two-step sparse coding for the pan-sharpening of remote sensing images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7 (5) :1792-1805.

[8]练秋生, 张伟.基于图像块分类稀疏表示的超分辨率重构算法[J].电子学报, 2012, 40 (5) :920-925.

[9]翟雪含, 朱卫平, 康彬.结合KSVD和分类稀疏表示的图像压缩感知[J].计算机工程与应用, 2015 (6) :193-198.

竞争图像融合算法 篇4

图像融合实际上是将两幅或两幅以上的源图像或其特征按照一定规则合并形成一幅新图像的过程。新图像比任一幅源图像包含的信息丰富, 对目标的表征更为精确, 可提高目标检测和目标识别的可靠性, 有利于人眼识别和机器视觉。图像融合在军事、医学、机器视觉和遥感等领域均得到了广泛应用。

根据信息表征层次的不同, 图像融合可分为:像素级图像融合[1]、特征级图像融合[2]、决策级图像融合。尽管不同融合方法选取融合参数的准则不同, 但大都依赖经验确定或根据图像内容自适应改变融合参数, 因而很难达到最优融合效果。如果在图像融合时, 合理调整融合参数使其达到极值点, 而不是人为设置融合参数, 那么就有可能得到较优甚至最优融合结果。选择合适的搜索算法使其达到极值点是很重要的。文献[3]初步研究了图像融合的优化问题, 提出了一种简单的空域图像融合参数优化的单目标粒子群算法, 目标是融合图像与原始图像的差异最小化。本文提出了一种基于粒子群优化的图像融合算法, 该算法的优化目标是边缘相关性最大化。选择边缘相关性作为优化目标的原因是, 边缘信息和视觉密切相关, 融合图像边缘和源图像边缘的相关程度即源图像边缘信息在融合图像中的保留程度, 这样可有效评价融合图像的质量, 且和视觉评价较符合。该优化算法可使得源图像边缘信息最大量地保留在融合图像中, 从而获得较好甚至最好的融合图像质量。

1 多尺度边缘检测及重构

文献[4]提出了一种多尺度边缘检测方法, 该方法将多尺度边缘和小波变换联系了起来, 即多尺度边缘点等效于离散二进小波变换的局部极大模值点。文献[4]还用实验表明由一幅图像的多尺度边缘可重构出该图像的近似图像, 近似图像和源图像相比, 视觉上没有失真。下面对多尺度边缘检测及其重构方法进行简要介绍。

1.1 多尺度边缘检测

对图像进行多尺度边缘检测前首先进行小波变换。这里使用一种特殊的小波, 即B样条小波, 该小波变换没有下采样过程, 具有位移不变性, 可精确定位图像特征。本文用v= (x, y) 表示像素位置。

样条小波ψ1 (v) 和ψ2 (v) 是二维光滑函数θ (v) 的偏导数, 设图像I (v) ∈L2 (R2) , 则其在尺度s上的二维小波变换为:

图像I (v) 的梯度为:

梯度的幅值为:

梯度的相位为:

本文采用二进小波变换, 即:

若图像I (v) 的大小为N ×N , 则:

图像I中某一点v0, 如果它梯度的幅值ModsI (v0) 在其梯度方向PhasesI (v0) 上是局部极大值, 则该点就是图像I在尺度s上的多尺度边缘点。

1.2 源图像的近似图像重构

图像多尺度边缘点就是图像小波变换模极大值点, 由图像多尺度边缘点重构出源图像近似图像的过程, 就是找出一个图像, 使其小波变换极大模值点的位置、模值和相位都与源图像相同。

设图像I (v) 的二进小波变换为 (W21jI (v) , W22jI (v) ) , 模极大值点的位置为unj= (xn, yn) n∈R, 模值和相位为 (Mod2jI (unj) , Phase2jI (unj) ) 。根据模极大值点的模值和相位可以计算出该点小波系数 (W21jI (unj) , W22jI (unj) ) , 反之亦可。假设J (v) 是由I (v) 的模极大值点重构得到的I (v) 近似图像, 文献[4]证明了J (v) 只要满足以下两个条件即可, 并详细说明了如何求出满足这两个条件的J (v) :

(1) 对于每一个尺度2j上的任一个极大模值点, 必须满足:

(2) 在每一个尺度2j上, J (v) 的极大模值点必须在位置unj处。

2 粒子群优化算法

粒子群优化算法源于对鸟群捕食行为的研究, 是一种进化计算技术, 由Eberhart和Kennedy于1995年首先提出[5]。设想这样一个场景:一群鸟在随机搜索食物, 在这个区域里只有一块食物, 所有鸟都不知道食物在哪里, 但它们知道当前位置离食物还有多远, 那么找到食物最简单有效的方法就是搜寻目前离食物最近的鸟的周围区域。PSO就是从这种模型中得到启示并用于解决优化问题, PSO中, 每个优化问题的解都是搜索空间中的一只鸟, 称之为“粒子”, 所有粒子都有一个由被优化目标函数决定的适应值, 每个粒子还有一个速度决定它们飞翔的方向和距离, 然后粒子们就追随当前的最优粒子在解空间中搜索。

粒子群优化算法分为初始化和循环迭代两个部分。

初始化步骤如下:①初始化种群粒子pop[i];②初始化每个粒子的速度vel[i];③初始化每个粒子的个体最优解, popbest[i]=pop[i];④计算种群中每个粒子的目标函数值function[i];⑤初始化全局最优解gbest。

初始化后, 进行循环迭代便可得到最优解, 循环迭代主要分为以下3步:

(1) 更新每个粒子的速度。

其中:vel是粒子速度, pop是粒子当前位置, popbest是个体最优解, gbest是全局最优解, W是惯性权值, rand1和rand2是介于0和1之间的随机数, c1、c2是学习因子。

(2) 更新每个粒子的位置。

(3) 保持粒子在搜索空间中, 如果粒子速度超过了边界值vmax, 则被限定为vmax。

3 融合算法

融合算法由3部分组成:融合近似分量;融合多尺度边缘;由融合图像的近似分量和多尺度边缘重构出融合图像。假设A和B是已经配准的两幅源图像, F是融合后的图像。

3.1 近似分量融合

对源图像做J层小波分解, 第J层近似分量中每个像素值均等于源图像所有像素的均值, 不会对融合图像细节产生影响, 只会影响融合图像亮度。因此, 本文采用取平均方法对源图像的近似分量进行融合, 得到融合图像F的近似分量为:

3.2 多尺度边缘融合

对两幅源图像的多尺度边缘进行融合, 实际上是对对应边缘点的小波系数进行加权求和的过程, 即:

此处α (v) , β (v) 是权值, 均在0和1之间变化。使用粒子群优化算法对其进行优化搜索可取得最优权值α (v) , β (v) , 从而得到融合图像的多尺度边缘。粒子群优化的目标函数是边缘相关性。边缘相关性一般被用作融合图像质量的评价方法, 由Xydeas等[6]首先提出, 这种评价准则的定义从与人眼密切相关的边缘信息出发, 因而其对融合质量的评价和视觉上的评价一致。本文优化目标基于该评价准则思想, 与以往先融合再评价的融合算法思路不同, 下面给出边缘相关性的具体求法。

设和分别为图像A和融合图像F的相对强度和相对方向, 计算方法如式 (13) 和式 (14) 所示;PreAFMod和PreAFphase分别为边缘强度和方向的保留值, 计算方法如式 (15) 和式 (16) 所示;为图像A在尺度2j上的边缘信息在融合图像中的保留值, 计算方法如式 (17) 所示。

在0和1之间取值, 当时, 表示在尺度2j上, 源图像A像素点v处的信息丝毫没有保留在融合图像F中;相反, 当时, 表示在尺度2j上, 源图像A在像素点v的信息毫无损失地保留在融合图像中。

假设为图像B在尺度2j上的边缘信息在融合图像中的保留值, 对A, B两幅源图像边缘信息的保留值进行加权, 可得到边缘相关性为:

3.3 融合图像重构

根据“1.2”所述方法, 由融合图像的近似分量和多尺度边缘重构出融合图像。

4 仿真实验

粒子群优化算法的参数设置如下:粒子数N=30;最大迭代次数Niterative=50;惯性权重W =0.4;学习因子c1=2, c2=2。

第一组实验结果对比如图1所示, 图1 (a) 和图1 (b) 是两幅多聚焦图像, 大小均为512×512像素。图1 (a) 、图1 (b) 分别聚焦于图像的左右两边区域, 在图1 (a) 中, 左侧饮料盒及其上英文字母都非常清晰, 图1 (b) 中右侧放大器非常清晰, 两幅图像具有互补信息。图1 (c) 是本文算法融合结果, 在图1 (c) 中, 左侧饮料盒上字母、右侧放大器表面字母及其它细节信息都非常清晰, 说明该算法很好地包含了源图像信息。

第二组实验结果对比如图2所示, 图2 (a) 和图2 (b) 分别是同一场景的SAR图像和可见光图像, 图像场景为某桥梁, 图像大小为256×256像素。由图2可知, 两幅图像对场景的描述有很大差别, 在图2 (a) 中, SAR图像对桥梁目标 (如图中椭圆区域所示) 反应比较敏感, 而对其它景物描述则表现不足;在图2 (b) 中, 可见光图像对桥梁和其它景物都描述清晰, 但对桥梁并没有表现出很强的对比度。图2 (c) 是用本文算法得到的融合图像, 该图像完整描述了桥梁场景纹理, 同时突出了桥梁目标的重要性。

5 结语

本文提出了一种基于粒子群优化的图像融合算法, 该算法的优化目标是边缘相关性最大化, 该目标要求将源图像边缘信息尽可能地保留在融合图像中。尽管该算法仅利用图像的多尺度边缘进行融合, 仍然获得了很好的融合图像质量。

参考文献

[1]LI MING, WU YAN, WU SHUNJUN.A new pixel level multi-focus image fusion algorithm based on evolutionary srategy[C].8th International Conference on Control, Automation, Robotics and Vision, 2004:810-814.

[2]蒋晓瑜, 高稚允.小波变换在特征级多重图像融合与目标分类中的应用[J].红外技术, 2004, 26 (1) :1-4.

[3]覃征等.数字图像融合[M].西安:西安交通大学出版社, 2004.

[4]STEPHANE MALLAT.Sifen Zhong.Characterization on of signals from multiscale edges[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1992, 14 (7) :710-732.

[5]J KENNEDY, R C EBERHART.Particle swarm optimization[C].Proceedings of IEEE International Conference on Neural Networks, 1995:1942-1948.

竞争图像融合算法 篇5

关键词：图像融合,小波分解,局部能量,相位信息

1 引言

图像融合是指综合来自多个传感器的图像数据,充分利用彼此间的互补信息,获得对同一场景或目标更为精确和全面的描述。图像融合能够有效地提高图像信息的利用率和系统对目标探测识别的可靠性,广泛应用于军事、医学、遥感、机器视觉、目标识别等领域[1]。

小波变换具有对信号进行多分辨率分析特性,基于小波变换的图像融合方法可以获得与人的视觉特性接近的融合效果。因此,近年来基于小波变换的融合算法成为人们研究的热点。在图像融合算法中,融合规则的选取是至关重要的,它直接影响融合后图像的质量。基于小波变换的图像融合规则很多,如:小波系数绝对值最大准则、基于局部方差的准则[2]、基于局部梯度的准则[3]、基于局部能量的准则[4,5]等。其中,基于局部能量准则是一种非常有效的融合方法,它以局域窗口的能量作为活性水平测度,由于局部能量可以反映图像信号变化的绝对强度,而信号变化强度大的点正反映了图像的显著特征[6]。因此,可通过区域能量的大小作为融合规则,选择对应图像分解后的区域能量较大的小波系数作为融合图像的小波系数。但是,局部能量准则是对局部窗口内的小波系数作整体考虑,存在对窗口内每个像素所包含的独立信息考虑不足的缺点,使融合效果难以进一步提高。本文在分析传统的局部能量准则基础上进行改进,提出了一种新的融合规则,实验证明,新的融合规则可使融合效果进一步得到提高。

2 基于局部能量的小波图像融合算法

2.1 基于小波变换的图像融合算法

对二维图像进行N层的小波分解,可获得3N+1个不同子频带,其中包含3N个高频子带和1个低频子带。除了低频子带的数据为正值外,其他高频子带的数据均在零值左右分布。在高频子带中绝对值较大的系数对应于灰度突变之处,即对应于原始图像中的显著特征(如边缘、线、区域边界等)。基于小波变换的图像融合方法是先对多幅源图像进行小波分解,然后对不同子频带的小波系数分别进行融合处理,再进行小波逆变换,即可得到融合后的图像。算法框图如图1所示。

2.2 基于局部能量的融合规则

在基于小波变换的图像融合过程中,图像的低频子带集中了图像的主要能量,反映图像的近似和平均特性,所以对低频子带一般采用加权平均算子进行融合。而高频子带反映原图像的亮度突变特性,即原图像的边缘、区域边界特性,所以高频子带的融合结果影响图像的细节信息,是融合的关键。高频子带系数的融合规则主要有两类,一类是以单个像素为考察对象,例如绝对值最大规则,比较各个方向高频子带中小波系数的绝对值大小,具有较大绝对值的小波系数对应于较强烈的亮度变化.另一类是以一个局域窗口为考察对象,计算局域内的统计特征。因为图像的像素之间存在很大的相关性,所以在一个区域内考察图像比以单个像素为考察对象更能反应图像的特征和趋势.在一个局域窗口内,统计特征越明显,说明图像灰度级变化越大,细节越丰富。一个局域窗口的统计特征有多个,如方差、梯度、能量等,因而基于局域窗口的融合规则依据所采用的统计特征不同又有多种形式。本节主要介绍基于局部能量特征的融合规则。

待融合源图像A、B在以(x,y)中心点的窗口(设窗口大小为3×3)能量Ejk,A(x,y)及Ejk,B(x,y)定义为

式中:j为小波分解尺度;k=H,V,D分别表示水平、垂直和对角方向;),(,yx DkAj、),(,yx DkBj分别表示源图像A、B在(x，y)点的小波系数值。

基于局部能量的融合规则有二种基本形式,一是选择方式,二是加权平均方式。选择方式融合规则:

式中Djk,F表示融合图像F的小波系数值。加权平均融合规则如下:

基于局部能量融合规则以局部能量作为融合特征,充分考虑了窗口内各像素之间的相关性,融合效果优于基于像素的绝对值最大规则。但是,该规则是对局部窗口内的小波系数作整体考虑,而对窗口内每个像素所包含的独立信息考虑不足。此外,能量特征是一种幅度特征,窗口能量仅由窗口内像素的绝对值决定,每个像素所包含的正负极性符号信息都被丢失。为了进一步提高融合效果,需对该融合规则进行改进。

3 改进的融合规则

为克服上述传统的基于局部能量融合规则存在的缺限,进一步提高融合效果,本文提出了一种新的融合规则,新规则主要是考虑局域窗口中心像素所包含的独立信息,增加融合决策过程的信息量。

局域窗口的中心像素是十分重要的像素,它所包含的信息也十分重要。在小波域,一个窗口中心像素包含的信息量有二个:小波系数的绝对值(幅度信息)和正负号(相位信息)。由于能量特征是一种幅度特征,增加中心像素幅度信息可提高融合效果。增加中心像素幅度信息的简便方法是在计算窗口能量时进行加权处理,增加中心像素所占能量的比重。局域窗口的加权能量Ej~k,A(x,y)和Ej~k,B(x,y)可表示为

实验证明,在式(3)、(4)的融合规则中,以Ej~k,A(x,y)和Ej~k,B(x,y)取代Ejk,A(x,y)和Ejk,B(x,y),可提高融融合效果。

在传统的基于局部能量融合规则中,窗口中心像素的正负极性符号信息被忽视,本文对该信息加以分析和利用,提出改进的融合规则。

分析式(3)和式(4)可知,当二个待融合的小波系数Djk,A(x,y)与Djk,B(x,y)的正负极性符号相同时,无论采用式(3)的选择规则,还是采用式(4)的加权平均规则,融合图像的小波系数Djk,F(x,y)符号都与二个待融合的小波系数符号相同。若采用式(3)选择规则,取局部能量较大的小波系数作为融合图像的小波系数,则可增强融合图像的信息。若采用式(4)加权平均规则,由于0≤Aw≤1,0≤Bw≤1,wA+wB=1,则Djk,F(x,y)值介于Djk,A(x,y)与Djk,B(x,y)之间,使融合图像的信息得不到足够的增强。因此,当Djk,A(x,y)与Djk,B(x,y)正负极性符号相同时,式(3)选择规则优于式(4)加权平均规则。

当Djk,A(x,y)与Djk,B(x,y)正负极性符号相反时,融合图像的小波系数Djk,F(x,y)正负极性符号很难确定,此时,为了减小风险,避免融合图像的小波系数出现正负极性符号错误,应采用式(4)加权平均规则。

在融合过程中,Djk,A与Djk,B在某些点上极性相同,而在另外一些点上极性相反,因此,采用单一选择或加权平均融合规则都不合适。根据上述分析,本文提出如下改进的融合规则:

若Djk,A(x,y)与Djk,B(x,y)符号相同(同为正号或同为负号),或其中有一个系数为零值,则

若Djk,A(x,y)与Djk,B(x,y)符号相反,则

改进规则以窗口中心像素的小波系数正负号相位信息为指导,将选择和加权平均二种融合规则相结合。它优于传统的选择或加权平均融合规则。

4 实验结果与分析

为验证本文改进规则的有效性,采用二组多聚焦图像,将改进规则与传统的选择和加权平均规则及文献[7]方法进行融合对比实验。在文献[7]中,Burt等人提出了基于区域特性选择与加权平均算子相结合的融合方法,该方法定义了对应分辨率上局部区域的能量匹配度,并设定匹配度阈值。若匹配度小于阈值则选取能量大的点作为融合图像的对应点,否则采用加权平均算子确定融合图像的对应点。本文实验中采用Daubechies-4小波对图像进行分解与重构,小波分解层为3层,各种融合方法的局部能量按式(5)∼(7)的加权方法计算。为了对融合结果进行量化测量,选取了一幅清晰的图像作为参考图像,采用融合图像和参考图像的均方误差MSE及融合图像的峰值信噪比PSNR作为评价融合结果优劣的客观标准。

式中:F和G分别表示融合后图像和标准参考图像,M和N分别表示图像的行数和列数。均方误差越小,说明融合图像与标准参考图像越接近。峰值信噪比越高,说明融合图像质量越好。

图2给出了一组多聚焦图像(标准参考图像为Cameraman,256×256)的融合实验结果。采用高斯滤波模糊化来模拟受损图像,图2(a)是对图像的左半部分模糊化;图2(b)是对图像的右半部分模糊化。目的就是通过融合得到清晰的、含有更多信息量的图像。图2(c)∼(f)分别为四种方法的融合结果。图3给出了另一组多聚焦图像(标准参考图像为Peppers,128×128)的融合实验结果,表1给出了各种融合算法的性能评价指标数据。

由表1可知,本文改进规则的融合效果优于传统的选择和加权平均规则及文献[7]方法,融合图像和参考图像的均方误差最小,融合图像的峰值信噪比最大。由图2和图3可知,改进规则融合图像的视觉效果也优于其它三种方法。实验证明了改进规则的有效性。

结束语

基于小波局部能量的融合规则对窗口内像素所包含的独立信息考虑不足,所有像素所包含的正负符号信息被丢失。窗口中心像素是十分重要的像素,本文充分利用中心像素所包含的幅度和相位信息,增加融合决策过程中的信息量。以窗口中心像素的小波系数正负号相位为指导,提出了一种基于局部能量的选择和加权平均相结合的新融合规则。实验结果表明,新规则的融合效果优于传统的选择和加权平均融合规则及文献[7]方法。此外,新规则计算简单,使用方便,通用性强,是一种有效、实用的图像融合规则。

参考文献

[1]David L H.An Introduction to Multi-sensor Fusion[J].Proc.of the IEEE,1997,85(1):6-23.

[2]赵天昀.基于方差的图像融合[J].河南理工大学学报:自然科学版,2007,26(3):302-306.ZHAO Tian-yun.Image fusion method base on variance[J].Journal of Henan Polytechnic University,2007,26(3):302-306.

[3]曾基兵,陈怀新,王卫星.基于改进局部梯度的小波图像融合方法[J].电视技术,2007,31(8):18-20.ZENG Ji-bing,CHEN Huai-xin,WANG Wei-xing.New Image Fusion Method based-on Improved Local Gradient Processing of Wavelet Coefficient[J].TV Engineering,2007,31(8):18-20.

[4]侯建华,熊承义,喻胜辉.基于小波局部能量特征的多分辨率图像融合[J].中南民族大学学报,2006,25(2):47-50.HOU Jian-hua,XIONG Cheng-yi,YU Sheng-hui.Multi-Resolution Image Fusion Based on Feature of Local Wavelet Energy[J].Journal of South-Central University for Nationalities,2006,25(2):47-50.

[5]苗启广,王宝树.基于小波变换与局部能量的多聚焦图像融合[J].计算机科学,2005,32(2):229-232.MIAO Qi-guang,WANG Bao-shu.Multi-Focus Image Fusion Based on W avelet Transform and Local Energy[J].Computer Science,2005,32(2):229-232.

[6]周锐锐,陈振华,毕笃彦.一种基于局部能量的图像融合方法[J].中国体视学与图像分析,2006,11(3):226-229.ZHOU Rui-rui,CHEN Zhen-hua,BI Du-yan.An adaptive image fusion algorithm based on local energy[J].Chines Journal of Stereology and Image Analysis,2006,11(3):226-229.

竞争图像融合算法 篇6

关键词：图像检索,感兴趣区域,特征融合

近年来随着多媒体技术和网络技术的飞速发展, 基于内容的图像检索 (content-based image retri-eval, CBIR) 已成为一个非常活跃的研究领域, 它利用图像自身包含的丰富视觉信息来进行检索, 主要是直接从图像中获得的客观的视觉内容特征, 如颜色、纹理、形状等来判断图像之间的相似性, 这种方法成了现有图像检索技术研究的主流。其主旨在从数据库中根据视觉内容检索相关图像, 当用户提交一个查询图像, 检索系统将根据相似度自动显示检索结果。基于内容的图像检索主要是利用图像本身包含的客观视觉特征, 且图像的相似性不需要人来解释, 因此在需要自动化的场合取得了大量的应用, 现已有不少的研究者提出了很多涉及图像内容的方法及算法实现。如闫庆红等研究了一种新的基于视觉特征的数字图书馆图像检索算法等[1,2]。但是国内的研究以理论研究和算法改进为主, 而国外除了理论研究外, 已开始有一些实用的和初步商业化的图像检索系统出现[3]。

然而现有的大部分综合特征的图像检索算法都是侧重于图像的全局信息, 其优点是计算简单、对平移和旋转不敏感, 不足之处是不能充分反映出图像内容的空间分布信息, 不能够在空间布局层次比较图像的相似性, 检索效果不是很理想。为了提高检索效率和检索精度, 本文提出了一种改进方法, 提取图像感兴趣区域的综合特征, 解决了图像内容的空间分布信息问题, 提高了检索效率和检索速度。

1 感兴趣区域

兴趣点是图像中灰度值在X方向和Y方向都有很大变化的一类特征点, 感兴趣区域是图像中最能引起用户兴趣、最能表现图像内容的区域, 它通常蕴含丰富的颜色、纹理、空间位置关系等细节信息。感兴趣点的提取方法有基于小波分析的方法[4]、利用彩色Harris角点检测算法[5]、尺度不变特征变换法[6]等。

2 感兴趣区域特征融合的检索

2.1 特征提取

2.1.1 颜色特征的提取

颜色特征是图像最基本的和直观的特征。提取及表示方法有:颜色直方图、直方图相交方法、颜色矩方法、基于参考颜色表 (RCT) 的方法、颜色对表示方法等。常用的颜色模型有RGB、CMYK[7]、HSV[8]、CIE Lab[9]颜色模型。

为了使算法对于颜色距离的定义符合人的视觉特征, 本文的颜色模型采用HSV模型, 其中分量H, S, V分别代表彩色信号的色调、饱和度、亮度。在检索图像时, 为了提高检索效率, 需对HSV空间进行量化[10], 具体算法如下:

将HSV模型定义为C= (h, s, v) , h∈[0, 360°], s, v∈[0, 1], 用L表示颜色量化:

其中,

g (h, s, v) 均匀划分其余的HSV空间。将h以非等量间隔分为8份, s, v以等量间隔分为3份, 这样, 颜色的维数为166 (18×3×3+4 (灰度) ) 维。为了降低颜色直方图的维数, 将颜色的3个分量压缩成一维矢量, 得L=HQs Qv+SQV+V, Qs, Qv分别为S, V的量化级数, 取Qv=Qs=3, 得L=9H+3S+V, L∈[0, 1, …, 72], 根据量化后的HSV, 计算图像的颜色直方图, 这样提取的直方图维数就大大降低了。

2.1.2 纹理特征的提取

纹理的本质是刻画像素的领域灰度空间分布规律, 具有旋转不变性, 且有较强的抗噪声能力。纹理特征的提取方法主要有统计法、频谱法、结构法、模型法。吴飞等对Brodatz纹理库的实验表明[11]:在共生矩阵等多种纹理特征中, Gabor基小波变换的检索性能最佳。其原因可以归结为以下两点:①Gabor变换是由傅立叶变换来完成, 是一种连续的方法, 而小波变换是由离散的方法完成。②从心理学的角度, 人类辨别同类纹理是同时依赖于空间属性和频域属性的, 这就要求同时对空间和频域进行有效描述。然而被证明对两者最佳描述的是Gabor基小波变换。其算法步骤如下:

(1) 二维Gabor函数f (x, y) = (1/2πσxσy) exp[-0.5 (x2/σx2+y2/σy2) +2πj Wx], W是高斯函数的复调制频率, 其傅立叶变换公式为G (u, v) =exp{-0.5[ (u-W) 2/σx2+v2/σy2]}, 其中σx=1/2πσx, σy=1/2πσy。

(2) 以f (x, y) 为母小波, 对f (x, y) 进行适当尺度变换和选择变换, 得到Gabor小波fmn (x, y) =a-mf (x2, y2) a>1, m, n∈Z, 其中x’=a-m (xcosθ+ysinθ) , y’=a-m (-xsinθ+ycosθ) , θ=nπ/k, k表示总的方向数目 (n∈[0, K]) , 通过改变m和n值, 可得到一组方向和尺度都不同的滤波器。

(3) 计算滤波器参数。由于Gabor小波的非正交性意味着滤波后的图像有冗余信息, 为了减少冗余, 设Ph、Pl分别代表高频率、低频率的中心频率, s代表尺度。Gabor小波参数的计算如下:

(4) 给定一幅图像Q (x, y) , 它的Gabor小波变换定义为:

(5) 假设局部纹理区域具有空间一致性, 则变换系数的均值μmn和方差σmn可代表该区域用作分类及检索的目的。

用μmn和σmn作为分量, 可以构成纹理特征向量, 即:

2.1.3 形状特征的提取

形状特征是人类视觉系统进行物体识别的关键信息之一, 它不随图像颜色的变化而变化, 是物体稳定的特征。基于形状特征的图像检索方法有Hu矩、傅立叶变换等, 利用Hu矩提取图像的形状特征, 能够得到一种既表现了图像的边界特性又不失图像的整个区域性的检索方法。具体算法如下:

对于一幅大小为M×N的二维图像{f (i, j) |i=0, 1, …, M;j=0, 1, …, N}, 其 (m+n) 阶矩阵为:

其中, f (i, j) 为Canny算子提取的边缘图各像素点的值, 取值为0或1。其零阶矩阵的为:

根据零阶矩阵和一阶矩阵可得图像的质心计算式: (i0, j0) = (M10/M00, M01/M00) 。则该图像的 (m+n) 阶中心矩阵为:

然后对中心矩阵进行区域面积归一化, 并计算图像的7个面积归一化中心矩{m11, m02, m20, m21, m12, m03, m30}, 则Hu不变矩为关于这7个矩的函数, 且满足形状对旋转、平移和尺度的不变性, 计算式如下:

2.2 特征匹配

在采用基于内容的图像检索相似匹配技术时, 由于不同特征向量的物理意义不同, 在利用综合特征检索图像时, 图像间相似距离的可比性很差, 这就需要对不同特征距离进行归一化。归一化的方法主要有极值归一化、标准归一化和高斯归一化等, 这些方法各有其特点[12], 本文研究采用高斯归一化结合外部归一化方法对特征向量进行归一化。

特征向量的外部归一化特征向量的外部归一化实际上是对图像库内所有图像对的相似距离进行归一化, 算法如下:

算法1:特征向量的外部归一化算法

①计算图像库中每两个图像M, N所对应用特征向量FM, FN间的相似距离:

②通过计算相似距离得到的I (I-1) /2个距离值的均值aD和标准差σD;

③对查询图像P, 计算其与图像库中每个图像的相似距离, 记为D1P, D2P, …, DIP;

④对D1 P, D 2 P, …, DI P进行高斯归一化, 并作变换DMP (N) = ( (DMP-IP) / (3-P) +1) /2, 则DMP (N) 的值有99%落在[0, 1]区间。

颜色、形状及纹理特征经过上述归一化处理后, 保证在检索时各个特征在相似距离计算中地位相同。然后利用欧式距离公式

计算出图像间的相似距离, 其中xk、yk表示待计算的两幅图像。

2.3 感兴趣区域特征融合检索算法的设计

Step1:结合文献[13]中的算法, 利用Gabor滤波器选出一定数目的兴趣点 (POIs) 。

Step2:根据每个POI选定围绕它的感兴趣区域 (ROIs) 。

Step3:分别提取每个ROI的颜色、纹理、形状特征信息。

Step4:利用算法1将上述三个特征向量进行归一化。

Step5:根据归一化后的结果进行相似性匹配并提供检索结果。

3 实验结果分析

衡量检索性能好坏的重要指标是检索结果中符合用户查询期望的图像的比例, 可用Tan Kina-lee提出的标准查准率P和查全率R[14]进行评价。其定义如下:

其中N为检索系统返回的数据库子图数目, L是检索结果中与查询图像相关的图像数目, ri是第i幅图像的排序。

本文采用Core图像库中的一部分图像构成图像检索数据库, 包括汽车、树木、山川、海滩、食物、建筑、鱼类、骏马等多种类型, 每种类型取100幅图像, 合计共800幅图像, 计算每次查询得到相应的查准率和查全率。首先测试单个特征对各种图像的检索能力, 各特征检索能力如下表:

图1、图2为采用不同特征查询800幅图像的查准率和查全率的比较

通过上述实验结果表明基于感兴趣区域综合特征的查准率和查全率均高于基于单一特征的。

4 结论

竞争图像融合算法 篇7

近些年来，多传感器图像融合理论研究日渐深入，应用领域也日益广泛，在医学[1]、机器视觉、环境保护和遥感[2]等领域都取得了比较广泛的关注和应用。图像融合是指将配准后的图像采用一定的方法融合在一起的技术，由于待融合的多幅图像之间具有信息的冗余性和互补性，所以融合过程需要在降低冗余信息影响的同时尽量提取互补信息。

早期的图像融合尝试均是在空间域上实现的，运用的主要算法有加权平均法、主成分分析法、Brovery变换融合算法。随后，陈武、曹喆等人将小波变换应用到图像融合领域，提出基于小波系数方向的子带系数选择策略[3,4]。小波分析兼具多分辨率和时频局部化特性，成为图像融合的重要技术手段。多尺度分析工具[5,6]不断的发展，本文将真正意义上的二维信号分析工具Curvele引入图像融合，根据图像的特点，提出一种基于区域自适应特性的Curvelet域融合算法，对Curvelet分解后的低频和高频子带进行融合操作，在低、高频子带采用不同的融合规则。实验表明，本文算法优于传统的图像融合算法。

1 Curvelet变换

1999年，Candes和Donoho等人在Ridgelet变换的基础上提出了连续曲波（Curvelet一代）变换，然而其变换过程数学实现较为复杂。于是Candes等人在2002年提出第二代Curvelet变换，并于2005年提出两种基于第二代Curvelet变换理论的快速离散实现方法[7]。二代Curvelet较第一代变换更加简单，冗余度更低，运算更为迅速，实现也更加方便。与传统小波变换相比，Curvelet变换更适于刻画图像的几何特征，如曲线、直线等，采用“楔形基”来逼近C2（二阶连续可微）的奇异点，充分考虑奇异点的几何形状，并具有任意角度的方向性（各向异性），更适合对图像的处理与应用，此外，Curvelet变换对图像的几何特征（曲线、直线）具有更好的系数表达能力，采用少数较大的Curvelet变换系数进行表示，克服了小波变换传播重要特征到多个尺度上的缺陷，变换后能量更加集中，更利于跟踪和分析图像中的重要特征[8]。

Curvelet变换有两种不同的实现算法，这两种方法的主要区别在于不同尺度和方向下空间网格的选择方法不同。下面简单介绍两种方法[9]:

(1)USFFT算法

对f[t1,t2]∈L2(R2)做二维FFT变换得到Fourier采样序列F[n1,n2]，其中

针对频域中不同尺度和方向参数(j,l)，对F[n1,n2]进行插值得到F[n1,n2-n1tanθ1]，其中(n1,n2)∈Pj;

将F[n1,n2-n1tanθ1]与拟合窗口相乘之后得到如下结果，即

对序列Fj,l[n1,n2]做二维FFT逆变换，得到Curvelet系数CD(j,l,k)。

(2)Wrapping算法

对f[t1,t2]∈L2(R2)做二维FFT变换得到Fourier采样序列F[n1,n2]，其中

针对频域中不同尺度和方向参数(j,l)，用拟合窗乘以F[n1,n2-n1tanθ1];

围绕原点Wrap局部化F,

对序列Fj,l[n1,n2]做二维FFT逆变换，得到Curvelet系数CD(j,l,k)。

对比以上两种方法，都是先通过FFT变换到频域，再在频域中进行局部化，然后对局部化后的结果做二维FFT逆变换得到离散Curvelet变换系数。

2 基于区域特性的Curvelet图像融合算法

2.1 图像融合流程

基于Curvelet变换的图像融合的实现流程如图1所示。算法的实现步骤表述如下：

(1)Curvelet分解。将配准好的源图像A和B进行Curvelet变换，得到相应的Curvelet系数集合。分解尺度和方向为默认值。分解后得到的矩阵C为一个胞矩阵，其中C{j}{l}就表示是一个二维矩阵，代表尺度j、方向l上的所有系数，高尺度对应高频系数。

(2）图像融合。对于分解后的低频子带和所有高频子带，使用基于区域特性的融合规则进行判别和融合处理，得到各尺度上融合后的Curvelet系数。

(3)Curvelet重构。重构是分解的逆过程，对融合后的Curvelet系数进行Curvelet逆变换，得到重构的融合图像，该图像包含原有多幅图像中的信息。

2.2 融合规则研究

融合规则是图像融合算法的核心，其对最终的融合效果有着决定性作用。分解后的低频和高频子带具有不同的物理信息，低频子带表征图像的近似部分，而高频子带表征图像的细节部分。通常对于多分辨率融合，在高频和低频上采用不同的融合规则。总的来说，现有的融合规则可分为两大类：基于像素的融合规则和基于区域的融合规则。

2.2.1 融合规则分类

(1）基于像素的融合规则

Burt最早提出基于像素选取的融合规则，基于像素点绝对值最大来选取最终的融合像素值。Petrovic等人提出考虑分解层内各子带图像相关性的像素选取融合规则。近几年，融合规则层出不穷，陈武等人针对小波处理图像边缘的不足，根据人类视觉系统对局部对比度敏感的特性，采用了基于区域对比度的像素选取融合规则。基于像素的融合规则具有实现简单、融合速度快的优点，但其仅仅以单个像素作为融合对象，并未考虑图像像素间的相关性，因此融合效果较差，适用场合也非常有限。

(2）基于区域的融合规则

考虑到图像像素之间的相关性，Burt等人提出基于区域特性选择的加权平均融合规则，将系数值的融合选择与其所在的局部区域联系起来。Qingping Li等人则利用区域频率划分区域进行融合实验[10]。Curvelet提出后，玄立超等人提出了基于Curvelet变换的区域能量高频融合策略[11]。基于区域的融合规则就是将某位置邻域的能量、梯度、方差等特征作为一种测度来指导该位置处的系数选取，邻域大小可以是3×3、5×5等。由于基于窗口区域的融合规则考虑了图像相邻像素间的相关性，因此减少了融合像素的错误选取，从而提高了融合效果。

结合现有融合规则的优点和不足，本文提出以下融合规则对高、低频分别处理。对低频采用基于区域方差显著性的加权融合规则，充分考虑到邻域像素间的关联性，并有效保留细节和边缘。高频采用区域能量匹配融合规则，抑制噪声的同时能更好反映图像区域特征。

2.2.2 低频子带融合规则

低频子带是包含了原图像的主体信息，决定了图像的大致轮廓。这里采取基于区域方差显著性的加权融合规则对低频系数进行处理，并将匹配度与自适应阈值比较来确定融合策略。实现过程如下：

(1）计算区域方差显著性

式中：G(X,p)为以点p为中心的局部区域Q的区域方差显著性；w(q)为权值，权值通过行和列的高斯分布加权相加得到；C(X,q)为区域Q形成的矩阵；为图像X的低频系数矩阵内区域Q的平均值。

计算区域方差匹配度：

式中：M(p)表示图像A和B低频系数在p点的局部区域方差匹配度，数值在0～1之间变化，其值越小表明两幅图像低频系数在p点的相关程度越低。

融合策略的确定。设T为匹配度阈值，不同于传统的经验选取[8,9]，此处T为自适应阈值，其定义为：

式中：G(A,p)和G(B,p)分别为源图像A,B区域方差显著性。当M(p)<T时，采用选择融合策略：

当时，采用加权平均融合策略：

其中，

式中：C(A,p),C(B,p)分别为图像A,B的低频系数在p点的值。

该策略是基于邻域像素间的关联性，并且是基于区域方差，可以有效地保留细节和边缘，因此采用该策略得到的融合图像将比较清晰，细节比较丰富。

2.2.3 高频子带融合规则

不同尺度及方向下的高频系数矩阵，其中包含了图像的细节特征，由于人眼对于单个像素的灰度取值并不敏感，图像清晰度是由区域内像素共同体现的。因此传统的基于绝对值取大的高频融合规则是比较片面，忽略了像素之间的关联性，并且忽略了图像之间的相关性。所以这里引入基于局部能量匹配的融合规则，可以有效抑制噪声，并且能更好地反映图像的区域特征。实现过程如下：

(1）计算区域能量显著性

式中，Ej,l(m,n)表示尺度j和方向l下高频系数的局部区域能量；Q为以点P(m,n)为中心选取的局部区域。

(2）计算区域能量匹配度。Mj,l(m,n)的取值为0～1，取值越小表明相关程度越低。

(3）融合策略的选取

设T1为能量匹配度阈值，一般取0.5～1，这里根据经验取0.85。当Mj,l(k1,k2)<T时，采用选择融合策略：

当时，采用加权融合策略：

其中，

该策略基于区域空间能量，可以有效保留图像的边缘信息，能得到细节比较出众的融合图像。

3 图像融合效果评价指标

对于不同融合目的的图像，需要采用不同的评价标准，从而对融合结果进行客观正确的评价[12]。例如，提高信息量时，对于融合图像的信息量是否增加，可以根据互信息、交叉熵、熵和标准差等指标来评价；提高图像清晰度时，往往是要求在保持原有信息不丢失的情况下，增强图像的细节信息和纹理特征，评价这种目的的融合时可选用平均梯度、空间频率等指标来评价。需要注意的是，客观评价法离不开主观评价，因此应该将两者结合起来进行综合评价。主观评价主要是由人眼来观察区分结果的好坏，但人眼分辨力有限，所以需要引入客观评价指标。用来评价融合结果的客观指标[13]如下：

(1）信息熵

信息熵可以从概率分布的角度来衡量图像的丰富程度，图像信息熵越大，表明图像所包含的信息量越大。熵值的大小可以反映图像对细节的表达能力。其定义如下：

式中：H代表信息熵；p(l)表示图像中像素灰度级为l的出现概率，即所有灰度为l的像素点数N1与图像中所有像素点数N之比。

(2）交叉熵

交叉熵用来反映两幅图像的信息差异。通过对融合图像和源图像交叉熵的计算，就可以得到两幅图像所包含信息量的差异。一般来说，交叉熵越小，表明融合图像从源图像中提取的信息越多，信息差异越小。其定义如下：

式中PA(l)和PF(l)分别为源图像A和融合图像F的灰度级概率分布。通常把两幅源图像分别和融合图像的交叉熵的的均方根定义为均方根交叉熵RCE。即：

通过RCE可以表示融合图像F和图像A、B之间的联合差异。一般情况下均方根交叉熵越小，融合图像继承的信息量越多，信息差异越小，融合效果也就越好。

(4）相关系数

图像的相关系数反应了两幅图像的相关度。相关系数越大，其融合效果越好。

其定义如下：

式中：Iai,j,Ibi,j为两幅图像在(i,j)点的灰度值；eIa和eIb为两幅图像的均值。把两幅源图像分别和融合图像的相关系数的均方根定义为均方根相关系数RC，即：

一般来说，均方根相关系数越大，融合图像从源图像中获得的信息量越多，融合效果也就越好。

(5）空间频率

空间频率可以反映出融合图像的细节表达能力，所以通常作为度量图像清晰度的指标。空间频率定义为：

式中：RF和CF分别为行频和列频，f(i,j)为(i,j)处的灰度值。

一般来讲，空间频率越大，图像的层次越多，融合图像就越清晰。

4 实验结果对比分析

选用两组不同领域图像作为源图像进行融合实验，第一组是医学图像，大小为256×256；第二组是多聚焦图像，大小为256×256。第三组是多波段图像，大小为512×512。实验中高、低频子块大小定义为3*3，分别采用基于低频加权平均、高频绝对值最大的离散小波变换（方法1）、基于低频加权平均和高频区域频率的离散小波变换（方法2）、基于文献[11]的Curvelet变换（方法3）、基于本文算法实现。

4.1 医学图像融合结果分析

医学图像融合结果分析如图2，表1所示。

图2和表1分析如下：

(1）基于小波变换的融合算法，基于二代Curvelet变换的融合算法的比较：

主观上看，基于小波变换的融合图像（c)(d）明显在边缘的处理上不够清晰，会发现有方块效应，使得融合图像没有任何意义；而基于二代Curvelet变换的融合图像（e)(f）就很好的保留了图像的边缘信息，融合图像更加自然。

(2）传统的融合算法和本文融合方法的比较：

表1中，医学图像融合是为了获得更多信息，将图3(f）与（c）、（d）、（e）对比来看，（f）均方根交叉熵更小，即本文融合算法融合结果从源图像继承了更多信息。整体来看，本文算法融合结果也比其他融合结果更加清晰。综上所述，医学图像的融合实验中，基于Curvelet变换的本文算法优于传统Curvelet、小波变换的融合算法。

4.2 多聚焦图像融合结果分析

多聚焦图像融合结果分析如图3，表2所示。

图3和表2分析如下：

(1）基于小波变换的融合算法，基于二代Curvelet变换的融合算法的比较：

主观来看，基于小波变换的融合图像（c）、（d）在小钟表的边缘有虚影，使得融合图像比较模糊，边缘处理不够细致。而基于Curvelet变换的图像就没有这一缺点。

(2）融合方法之间的对比：

表2中，基于Curvelet变换的融合图像包含有更丰富的信息，并且与源图像相关性更高。对比交叉熵和相关系数可以看出，本文融合算法比文献[11]融合算法从源图像中继承更多的信息的同时保留了更高的相关性。

综上所述，多聚焦图像融合实验中，本文对于高、低频的融合规则比传统融合规则可获得更好的融合效果。

4.3 多波段遥感图像融合结果分析

多波段遥感图像融合结果分析如图4，表3所示。

图4和表3分析如下：

(1）基于小波变换的融合算法，基于二代Curvelet变换的融合算法的比较：主观来看，基于Curvelet变化的融合图像（f)(g）相对基于小波变换的融合图像（d）、（f）来说，图像对比度更大，边缘细节更清晰。

(2）融合方法之间的比较：表3中，从信息熵、交叉熵、相关性来看，本文融合方法都优于传统融合算法，从源图像中继承了更多的信息，但图像频率略有降低。

综上所述，多波段遥感图像的融合实验中，基于Curvelet变换的融合算法优于小波变换融合算法，本文算法中的高、低频系数基于区域系数相关性法也比传统的模值取大取平均方法更适用于多波段图像的融合。

总体来说，基于二代Curvelet变换的本文融合算法在不同领域的图像融合中效果比较理想。

5 结语

本文分析了传统小波变换在边缘处理上的不足，使用了多分辨率分析中具有多尺度多方向性的二代Curvelet变换，同时提出针对高、低频系数的融合规则，并对不同领域的图像做了大量的融合实验。实验结果表明，本文融合算法能较好的保持图像目标信息，同时边缘也比较清晰。但是，该算法也存在不足，Curvelet变化在图像的细节特征方面有天然的弱势；故结合多种小波[1]、基于区域分割[14]或借助其他技术[15]使得融合图像在保留目标信息的同时具有更好的细节特征和边缘轮廓是未来图像融合的研究重点。

摘要：为克服小波变换在二维或更高维度空间分析中的缺陷,提高图像融合质量,提出基于二代Curvelet变换的图像融合改进算法。引入可以有效分析图像中的曲线奇异性,能更加合理处理图像边缘信息的Curvelet变换对图像进行分解,对图像分解后的低频部分采用自适应阈值的区域方差高斯加权融合方法,增加图像像素之间的关联,并有效保留细节和边缘。对高频部分采用区域能量融合方法来降低噪声,增强图像的细节。采用该算法对多组不同图像进行融合实验,并用信息熵、交叉熵、相关系数、空间频率等对融合图像进行客观评价。实验结果表明,该算法优于传统的融合规则和算法,能在保持更好清晰度的同时获得更丰富的图像内容。