图像信息融合

图像信息融合（精选8篇）

图像信息融合 篇1

随着多媒体技术和计算机网络的飞速发展，全世界的数字图像的容量正以惊人的速度增长。为了帮助用户快速准确地找到感兴趣的图像，基于内容的图像检索(Content Based Image Retrieval, CBIR)技术成为人们研究的焦点。CBIR技术是从图像所包含的内容出发，在图像数据库中检索出与给定例子相似图像的技术。

1 相关工作及改进思路

本文提出了一种利用融合空间信息的彩色图像检索方法，先定义一个变量颜色粗糙度，它反映了图像中颜色在空间分布上的变化剧烈程度。当颜色变化比较剧烈时，选择较大维数的进行颜色量化，而当图像颜色在空间分布上变化较平缓时，选择维数较小进行颜色量化。算法根据粗糙度的不同采用分层处理的方法来进行图像匹配，当两幅图像的粗糙度在同一个变化范围内，由于生成的是相同维数的特征向量可直接采用欧式距离方法计算相似度，而对不同维数的向量采用一种改进的二次距离来计算。由于考虑了颜色在空间上的分布的变化程度，相对颜色直方图方法提高了检索精度，而相对颜色相关图法等来说速度有较大地提高，而且特别适合于检索空间关系不是非常相似的局部扭曲图像。

2 图像特征提取预处理

图像的颜色有多种表示方式，其中HSV空间是直方图最常用的，选择HSV颜色空间是因为它更接近于人们对颜色的主观认识。但是，由于人类色觉不能区分2nm范围内的色彩，所以当颜色变化较平缓、不明显时，人们较难区分时，传统的颜色量化方法，将色彩空间里的颜色按照统一的标准量化，这很难适应不同的检索要求。

为了克服上述缺点，我们希望能用一个量，来衡量整幅图像颜色在空间分布上的变化程度，当颜色变化较明显时，我们希望采用较小的颜色量化间隔，那么我们就能更好地区分不同的图像，而当图像变化较平缓时，我们希望减小量化维数，提高检索效率。所以，在这里引入一个颜色粗糙度的定义。

颜色粗糙度的定义：将图像平均分为M个个小块，在本文中我们将它分成(10*20块)，假定每一个小块包含n个像素。每个小块图像的颜色均值为：Hm, m=0, 1，…，M-1。每个小块图像的颜色粗糙度为Sm, m=0, 1，…，M-1。它反映了当前小块中颜色变化的剧烈程度。而整幅图像的平均粗糙程度Savg来确定当前整幅图像颜色的变化程度。通过实验发现在HSV颜色空间中，求颜色的欧式距离时，为了简化运算提高处理速度，可以仅考虑色度(H分量)，颜色粗糙度公式分别如下：其中hi表示小块图像内第i个像素的色度。

这样我们就可以通过图像的平均粗糙程度Savg来量化颜色空间，当Savg∈(0, 0.5]时，采用32维向量量化HSV颜色空间，当Savg∈ (1, 1.8]，采用72维的向量量化HSV颜色空间，当，采用72维的向量量化HSV颜色空间，当Savg∈其它时，采用256维向量。

3 不同维数特征向量的构造

按人对颜色感知HSV空间进行32维，72维，166维，256维四种不同维数的非均匀量化。具体量化方法如下：

3.1 32维颜色特征向量的构造方法

1)对于亮度V<0.25的颜色认为是黑色。q32=0。

2)对于饱和度S<0.2的颜色按其亮度V[0.25, 1.0]，均匀量化成三种灰度。分别为:深灰，浅灰和白色q32=1, 2, 3。

3)其它颜色认为是彩色，对色度H[0, 360]量化为7个区间(330, 20)， (20, 45)， (45, 75)， (75, 165)， (165, 200)， (200, 270)， (270, 330), h的取值分别为0, 1, 2, 3, 4, 5, 6代表红，橙，黄，绿，青，蓝，紫;对于饱和度S量化为：淡色(0.1, 0.45)和深色(0.45, 1.0)分别取值为s=0, 1;对于亮度V量化为暗色(0.2, 0.5)和明色(0.5, 1.0)分别取值为v=0, 1。将这些颜色量化为28种彩色。q32=4+4*h+2*s+v。

3.2 72维颜色特征向量的构造方法

1)对色度H[0, 360]非均匀量化为8个区间：(315, 20), (20, 45) , (45, 75) , (75, 155) , (155, 190) , (190, 270) , (270, 295) , (290, 315) , h分别取值为:0, 1, 2, 3, 4, 5, 6, 7

2)对于饱和度S量化为3个V：间：(0, 0.2)， (0.2, 0.7)， (0.7, 1), s分别取值为0, 1, 2

3)对于亮度V量化为3个区间：(0, 0.2)， (0.2, 0.7)， (0.7, 1), v分别取值为0, 1, 2

4)颜色代号为：q72=9h+3s+v

3.3 166维特征向量的构造方法

对HSV空间进行非均匀量化得到166种代表颜色，具体颜色量化和编码如下：

1)对于亮度V<0.25的颜色均归入黑色，其编码为q166=0。

2)对于饱和度S<0.20且V>=0.25的颜色按亮度v值均匀量化成三个值，分别为深灰、浅灰、白色，其对应的编码分别为：q166=1, 2, 3。

3)其它的颜色(S>=0.20且V>=0.25)则认为是彩色，将色度H∈[0, 360]均匀量化成18个值，对应取值h=0, 1，…，17;饱和度S∈[0.20, 1.0]均匀量化成3个值，对应取值s=0, 1, 2，亮度V∈[0.25, 1]均匀量化成3个值，对应取值v=0, 1, 2，这样共得到162种彩色，其编码分别为：q166=9*h+3*s+v+4。

这样HSV颜色空间中的全部颜色都被量化到了[0, 165]中，图像中的每个像素颜色的值q166都可用这个区间中的数字编码表示。

3.4 256维特征向量的构造方法

1)对色度区间H[0, 360]量化为16个区间：(345, 15)， (15, 25)， (25, 55)， (55, 80)， (80, 108)， (108, 140)， (140, 165)， (165, 190)， (190, 220)， (220, 255)， (255, 275)， (275, 290)， (290316同)，(316, 330)， (330, 345), h分别取值为0, 1, 2, 3，…，15。

2)对于饱和度S量化为4个区间：(0, 0.15)， (0.15, 0.4)， (0.4.0.75)， (0.75, 1), s分别取值为0, 1, 2, 3。

3)对于亮度V量化为4个区间：(0, 0.15)， (0.15, 0.4)， (0.4, 0.75)， (0.75, 1), v分别取值为0, 1, 2, 3。

4)颜色代号为：q256=16h+4s+v。

4 特征向量的相似性度量方法

相似性度量是为了比较特征向量之间的匹配程度，是图像检索必不可少的工具。由于在特征向量的提取过程中，所以生成的特征向量的维数可能有所不同，在进行相似性度量时会出现两种情况：

4.1 相同维数特征向量相似性度量

目前相同维特征向量的相似性度量方法有很多种。比较常用的有直方图相交法、欧氏距离法等。本文采用欧式距离，进行相同维数特征向量相似性度量。欧氏距离法：

Q-查询图像，D-数据库图像，L为将HSV颜色空间量化成L种颜色，HQ (i) 表示查询图像中第i种颜色像素点占全部像素点的百分比。

4.2 不同维数特征向量相似性度量

由于每幅图像经特征提取后的特征维数可能不同，给相似性度量带来了困难.可采用扩展的直方图二次型加权求距离的方法，解决了不同维数时颜色特征的相似性计算设两图像D, Q，假定两幅图像特征向量分别有a维和b维，当a≠b时，将两个特征向量各自分别扩展，使它们的维数相同.经过推导，可以得到相应的二次型公式：

其中，Pq是查询图像向量，Pd是数据库中图像的向量。S矩阵是间相似性度量矩阵，每个特征向量元素Sij是一个向量的第i个颜色区间Ci和第二个向量的第j个颜色区间Cj之间的相似性，定义为：

其中min (Ci, Cj) 为两个区间中较小的一个;max (Ci, Cj) 为两个区间中较大的一个;Ci∪Cj为两个区间的并运算，得到运算结果包含两个区间;Ci∩Cj为两个区间的交集，得到运算结果包含两个区间的公共部分;||||为区间的长度;Ci=Cj是指两个区间相同;Ci∈Cj表示区间Ci是Cj区间的子集。

5 融合空间信息的图像检索算法

步1：将图像中每个像素点进行从RGB颜色空间到HSV颜色空间的转换.;步2：计算查询图像Q的平均颜色粗糙程度计算Savg Q=|Savg Q-Savg D|，Savg D|为数据库图像D的颜色粗糙程度比较。当Savg>a时则判定两幅图像差距过大，不进行相似性比较，直接与下一幅数据库图像比较;否则转步3。(其中a为差距阀值);步3：将查询图像Q用与数据库中特征向量维数相同的图像D利用公式(4)进行相似性度量，计算两者之间的相似性距离distQD，当时distQD≤β则认为两幅图像相似，标记这幅图像，否则，直接与下一幅数据库图像进行比较;步4：搜索完数据库中全部图像，当所搜索到的图像达到用户要求的图像数目时，算法终止。否则，我们对图像库进行二次搜索，这次只比较与查询图像特征向量维数不同的情况，由于两幅图像的量化维数不同，用公式(5)进行相似性度量，找出与所查询图像距离最近的图像，原来的查询结果加上这次查询结果为最终的结果。

6 实验结果

图像检索系统有两个主要的评价指标，即查准率(Precision)和查全率(Recall)。查准率和查全率越高，说明该算法的检索效果越好。

公式中各变量参见表1:

为了检验上述算法的准确性和效率，笔者进行了基于内容的图像检索实验。使用的宾夕法尼亚州大学图像数据库(http：//wang.ist.ps u.e du/docs/re late d/)中的内容包括1000张图片，从中选择蝴蝶、马、鸟类、树林、风景等，随机取图片共300张图片。分别采用三种方法进行查询以便比较性能：

1)采用HSV颜色空间直方图方法，其度量距离为欧式距离(简称HSV)。2)采用本文提出融合空间信息的图像检索算法(简称HSVH)。3)采用颜色相关图法来检索(简称COR)。

图1、图2、图3是分别用HSV、HSVH方法检索相同的蝴蝶时返回给用户的前20幅图像的检索结果。左上角的第一幅图像即是查询图像。在确定的样图下，对库中的每一图像，人工找出库中与样图颜色相类似的图像.图4是分别采用HSV、HSVH、COR方法检索，并得到相应的查全率/查准率曲线，我们将查全率/查准率全部乘以100，量化到0～100的范围。

7 结束语

从实验结果可以看出，采用这三种方法时，相同图像检索的结果不一致，用HSVH和COR方法检索性能优于用HSV方法。前两种方法由于考虑了颜色的空间分布比传统颜色直方图HSV方法明显地提高了检索精度。而本文提出的HSVH方法与COR方法相比，检索精度相关无几。而在检索速度上，COR方法检索时间复杂性(O (m2d))较高，HSVH方法考虑了颜色在空间上的分布情况，采用分层检索方法预先筛掉了一些与查询图像颜色粗糙度相差较大的图像，较大地提高了图像检索的速度，速度接近于HSV方法，特别是当图像数据库中图像的数量增大时，该算法的效率提高得更加明显。

摘要：彩色图像检索方法基于HSV颜色模型提取示例图像的颜色特征与图像库中图像的颜色特征时, 提取不同维数的特征向量。在图像相似性度量的时候使用不同的计算公式。实验结果证明, 这种颜色直方图算法速度快且与人类的视觉有着良好的一致性。

关键词：基于内容的图像检索,特征向量,颜色量化,颜色粗糙度,相似性度量

参考文献

[1]刘忠伟, 章毓晋.用颜色和纹理特征的图像检索[J].通信学报, 1999.

[2]黄朝兵, 余胜生, 周敬利, 鲁宏伟.基于多邻域统计矩直方图的彩色图像检索[J].小型微型计算机系统, 2005.

医学影像图像融合技术的新进展 篇2

医学影像学是临床诊断信息的重要来源之一。根据医学图像所提供的信息内涵，可将医学影像分为两大类：解剖结构图像（CT，MRI，B超等）和功能图像（SPECT，PET等）。这两类图像各有其优缺点：功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的；解剖图像以高分辨率提供了脏器的解剖形态信息（功能图像无法提供脏器或病灶的解剖细节），但无法反映脏器的功能情况。

目前这两类成像设备的研究都已取得了很大的进步，一方面，双方都在逐步弥补自身弱点，如MR的功能成像开发以拓展其功能，SPECT，PET新型晶体开发以增强自身的空间分辨率；另一方面，双方均在不断地增强自身强项，如MR开发不同新型成像序列，CT的螺旋层数不断增加，PET的晶体数目越来越多。这使得各自图像的空间分辨率和图像质量有很大的提高，但由于成像原理不同所造成的图像信息局限性，使得单独使用某一类图像的效果并不理想，且进展缓慢，往往事倍功半。由于上述原因，医学图像融合技术应运而生。

一、图像融合（imagefusion）技术的内涵

图像融合是指将多源信道所采集到的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成同一图像以供观察或进一步处理。简单来说，医学图像融合就是将解剖结构成像与功能成像两种医学成像的优点结合起来，为临床提供更多、更准确的信息，其最终结果是1+1>2。

20世纪90年代以来，医学图像融合技术随着计算机技术、通讯技术、传感器技术、材料技术等的飞速发展而获得重大发展，经历了异机图像融合和同机图像融合两个阶段。

二、异机图像融合

1、异机图像融合的研究内容。在同机融合显像设备没有出现以前，图像融合的研究仅限于异机图像融合。最初其研究内容仅限于相同或不同成像模式（imagingmodality）所得图像经过必要的几何变换，空间分辨率统一和位置匹配后，进行叠加获得互补信息，增加信息量。而现在，异机图像融合的研究范围包括：图像对位、融合图像的显示和分析，利用从对应解剖结构图像（MRI，CT）获取的先验信息对发射型数据（SPECT，PET）做有效的衰减校正、数据重建等。

2、异机图像融合的基本方法按图像融合对象的来源可分为同类图像融合（innermodality，如SPECTSPECT，CTCT等等）和异类图像融合（intermodality，如SPECTCT，PETMRI，MRICT，MRB超等）。按图像融合的分析方法可分为同一患者的图像融合、不同患者间的图像融合和患者图像与模板图像融合。按图像融合对象的获取时间可分为短期图像融合（如跟踪肿瘤的发展情况时在1～3mo内做的图像进行融合）和长期图像融合（如进行治疗效果评估时进行的治疗后2～3a的图像与治疗后当时的图像进行融合）。临床工作人员根据自己的研究目的不断设计出更多的融合方式。

3、异机图像融合的主要技术。图像融合的步骤大致为：特征提取，设计误差评估方法，对图像数据进行处理使误差最小，将变换后的图像数据进行对位和综合显示，分析综合数据.其中对位技术是图像融合的关键和难点。

（1）特征提取。特征提取可分为内部特征提取和外部特征提取。内部特征主要是人体解剖结构特征，如颅骨、脊柱、胸骨、肋骨、关节；膈下软组织，如脾、肝、肾等等。外部特征是为进行融合处理而特制在两幅图像上均可见的体表标记物。据文献报道使用的外标志物有进行脑图像融合的头罩、牙环，胸部、腹部图像融合采用的背带，四肢图像融合采用的支架，甚至颅骨嵌入螺钉等等。采用内部特征的优点是不需要对患者做预处理，可进行多次融合方法分析，缺点是难以实现融合自动化处理，需要人工干预，融合的精确性往往与经验有关。外部特征的优点是特征明确，易于进行计算机自动处理，缺点是预处理复杂，并且由于体位而引起的脏器与体表标记之间的位移误差难以避免。

（2）误差评估方法。常用的有基于相似度的误差评估方法（以相似度最大为最优）和基于距离的误差评估方法（以距离最小为最优）。

（3）图像处理。图像预处理：对于有条件的图像进行重新断层分层（reslice）以确保图像在空间分辨率和空间方位上的大体接近。几何变换：主要包括尺度变换、平移、旋转等。

（4）异机图像融合的现状。目前对于刚性组织的对位已基本解决，如脑部异机图像融合，而对于非刚性组织（如腹部）的对位有待进一步研究。因此在图像对位技术上目前尚未找到一种确保完全、通用、有效的方法。

图像信息融合 篇3

传统的图像梯度[1,2,3,4]仅仅基于亮度信息。但是,人眼对色度的分辨能力远远大于对亮度的分辨能力。当图像中存在两个颜色不同、亮度相近的相邻区域时,属于光照均匀分布但物体表面的材料性质有所不同的情形,利用传统的梯度提取方法则将无法找到相邻区域的边界。因此需要在描述梯度的同时考虑色度信息与亮度信息的视觉影响。

目前,已有多种算法在如何利用色度信息上进行了不同尝试。Koschan将图像RGB三通道颜色作为一个三元向量,利用向量的相关系数来表示图像梯度[5]。Wesolkowski和Jernigan不仅考虑了相关系数,还利用像素在RGB空间的欧氏距离表示梯度[6]。Weijer提出光度准不变量特征( Photometric Quasi - Invariants) ,以此来克服阴影的影响,更鲁棒地表示梯度[7]。黄伟等人用四元数来表示颜色,通过四元数的乘积分量来表示梯度[8]。但无论是向量相关系数、光度类不变量,还是四元数乘积分量,其梯度数值均无法与人类视觉感知的梯度强弱建立线性对应关系,因此此类色度梯度描述很难与亮度梯度描述进行结合。

本文在基于亮度梯度提取的基础上,采用了CIE -L*a*b*颜色空间对色度进行表示。在CIE - L*a*b*颜色空间中,不同颜色之间可用欧氏距离对颜色差异进行线性描述[9],因此利用此色度欧氏距离,色度梯度信息与亮度梯度信息可以融合在一个统一的梯度提取框架之下。由于亮度的欧氏距离很好地反映了人眼对光度差异的感知,而在CIE - L*a*b*颜色空间中的颜色欧氏距离与人眼的颜色差异感知相互吻合[9],因此本文方法能更好地基于人眼视觉特性对梯度进行描述。经实验验证,本文方法在不同亮度差异、色度差异下均能有效地提取出与人眼感知相一致的梯度结果。

1 基于亮度与色度的图像梯度提取

在本节中首先给出图像梯度的定义,而后分析了如何在亮度空间及色度空间获取图像梯度,最后把亮度梯度与色度梯度融合在统一的梯度表示框架之下。

1. 1 图像梯度定义

图像梯度是用来描述图像像素之间变化剧烈程度的有效特征。这种变化既包括亮度差异也包括色度差异,它对应于图像的一阶导数。当把图像看成二维离散函数I( x,y) 时,图像梯度就是对这个二维离散函数进行求导

式中: ( x,y) 是图像像素的二维坐标; dx与dy代表沿图像水平、垂直两个方向的单位向量。对于数字图像, 与 可通过一阶差分代替一阶微分,即

1. 2 基于亮度的图像梯度提取

在描述图像亮度时,采用YUV颜色空间。YUV颜色空间发明于彩色电视与黑白电视的过渡时期。黑白电视只利用亮度分量Y ( Luminance) 来表现画面,其亮度差异很好地符合人眼对亮度强弱的视觉感知。

给定一幅RGB彩色图像传统,其亮度Y分量按式( 3) 计算获得

对应的基于亮度的图像梯度为

亮度梯度的模值为

2. 3 基于色度的图像梯度提取

在描述图像色度时,采用CIE - L*a*b*颜色空间。CIE L*a*b*颜色空间是在CIE XYZ颜色空间基础上的改进模型,它利用Mac Adam椭圆描述的颜色差异程度,并建立线性化的颜色差异的感知模型[9]。RGB空间到CIE - L*a*b*空间的变换过程如下

式中: ( X0,Y0,Z0) 是白色参考点在CIE - XYZ颜色空间的数值。利用此白色参考点,可实现CIE - L*a*b*颜色空间的正则化。

L*,a*和b*三者的非线性关系意图模仿人眼对颜色的非线性响应,以此使得在CIE - L*a*b*模型中均匀的数值变化对应于在人类感知中颜色的均匀变化。所以在CIE - L*a*b*颜色空间中任何两个颜色的相对感知差别,可以通过计算两个颜色的( L*,a*,b*) 欧氏距离进行描述。

把像素的颜色用L*,a*和b*三元向量进行表示,则基于色度的图像梯度为

色度梯度的模值为

式中: ΔEx*与 ΔEy*为CIE - L*a*b*颜色空间的颜色欧氏距离,即

1. 4 亮度梯度与色度梯度融合

由于亮度梯度与色度梯度的数值范围并不相同,因此需要在融合过程中先将亮度梯度与色度梯度各自归一化

式中: max | ΔY | 与max | ΔC | 分别是图像中数值最大的亮度梯度与色度梯度。

由于亮度梯度域色度梯度同时满足线性变换,因此融合两者信息的梯度表示为

2 实验比较

将本文提出的基于亮度信息与色度信息融合的梯度,与单独的亮度梯度和色度梯度在多张图像上进行了比较。所测试的图片中既包括合成图像也包括自然图像。合成图像选择常用的彩色棋盘格图像。其中包含了三原色( 红色、绿色、蓝色) 、三原色互补色( 黄色、品红、青色) 以及黑色和白色8 种代表性颜色,按照不同的排列不同颜色彼此相邻。自然图像来源于公开的图像质量评价数据集[10]。

3 种梯度的结果图像如图1 所示。其中,图1a为原始RGB颜色空间图像以及利用本文方法梯度提取的结果; 图1b为亮度图像和亮度梯度的结果; 图1c为色度图像以及色度梯度的结果。需说明的是,为显示CIE -L*a*b*的色度图像,L*a*b*分量被对应到RGB分量中进行显示。因为a*、b*分量包含负值,因此在显示时,将CIE - L*a*b*颜色各分量统一在[0,255]内进行显示。

无论是亮度信息还是色度信息仅包含了人眼视觉系统的部分感知信息。因此其检测出的边缘并不全部是人眼感受到的边缘。其中,亮度边缘反映光照的分布特性和物体表面反射系数的分布,色度边缘则反映不同物体的位置分布以及同一物体材质的不同分布。

某些具有色度差异的物体,其对应的亮度可以十分接近。这时需要通过检测拍摄图像的色度梯度来分析场景中物体的分布与物体的结构。在图1 中,第1 幅原始图像白色黄色相邻区域、第2 幅原始图像中维尼熊的蓝色上衣与红色鞋子的边缘区域、第3 幅原始图像中红色鹦鹉的轮廓及翅膀红蓝羽毛的边缘、第4 幅原始图像中品红色帽子区域。在这种情况下,仅用亮度信息得到的梯度数值很小,与人眼视觉感受的边缘结构不一致。

另一方面,仅考虑色度信息无法反映场景中的光照特性和物体的表面反射特性。可以看到在第1 幅图中,某些颜色( 三原色之间、三原色互补色之间) 会有较强的色度梯度反映,其他颜色之间则色度梯度幅值并不强烈。在自然图像中,亮度差异明显的区域在色度分量中差异并不明显,如第2 幅图的球网区域、第4 幅图的蓝天白云区域。在这种情况下,仅利用色度信息无法提取完整的梯度信息。而本文提出的融合亮度与色度信息的梯度表示可以很好地将两个分量信息结合起来,产生更符合人眼感受的梯度结果。

3 总结

融合先验信息的脑功能图像分割 篇4

关键词：半监督聚类,脑区分割,功能磁共振图像,功能连接

目前, 关于脑功能图像分割的研究主要存在以下几个问题: (1) 功能磁共振图像 (f MRI) 信号信噪比较低, 需寻求一种更鲁棒的算法可以最大程度上消除噪声对分割结果的影响; (2) 被广泛用于脑区分割的标准割算法[1,2]对于构建功能相似度矩阵较为敏感, 需选择一种更合适的相似性度量得到更可靠的分割结果; (3) 由于脑功能子区的定义并没有“金标准”, 所以对于采用算法得到的脑区分割结果如何去验证其合理性还有待研究。

由于f MRI信号的信噪比较差, 目前基于静息态f MRI的脑区分割算法都存在一些问题, 特别是广泛用于脑区分割的谱聚类算法, 非常依赖于相似度矩阵的定义, 直接根据功能连接或功能连接模式进行聚类, 会使得噪声对其影响更为明显, 分割结果会存在离散点。为得到连续的分割结果, 研究者采用了加空间约束的相似性矩阵[3], 而基于空间约束的相似性矩阵进行脑区分割是存在问题的。这是由于f MRI的信噪比较低, 从而降低了原始数据的可分性, 而加入过强的空间限制后便会破坏其内在的连接模式。

考虑到这些算法的不稳定性以及对噪声的敏感性, 文中提出了一种融合先验信息的半监督聚类算法, 利用脑区已经存在的细胞构筑、结构或功能等信息来确定部分可靠的分类初始点, 然后采用半监督聚类算法对脑区进行功能子区划分, 这样在先验信息的指导下抑制噪声对分割结果的影响, 从而得到更可靠的功能子区边界, 获得更稳定的分割结果。

1 基于图论的半监督聚类算法

半监督学习是近年来模式识别和机器学习领域研究的重点课题, 是介于监督学习与无监督学习之间的一种学习技术, 它主要考虑如何利用少量的标记样本和大量的未标记样本进行学习和分类的问题[4,5,6]。半监督学习中有两个常用的基本假设, 即聚类假设和流形假设。聚类假设是指处于同类中的样本有较大的可能拥有相同的标号。流形假设是指处于一个很小的局部邻域内的样本通常具有相似的性质, 因而其标号也应该相似。

在基于图论的图像分割方法中, 功能磁共振图像被视作带权的无向图G= (V, E, W) , 其中V代表节点的集合;在功能磁共振图像中则表示为体素集X;E代表连接两两节点的边集;而wij代表了两个体素xi和xj之间的权重值, 在功能磁共振图像中权重可根据体素之间时间序列的相关性来计算。假设n是脑图像中体素的数目, 那么节点xi的度di=∑jn=1wij, 以所由节点的度值为对角线元素构成的对角矩阵即为度矩阵, 用D表示。Laplacian矩阵分为非规范Laplacian矩阵和规范Laplacian矩阵, 非规范Laplacian矩阵表示为Δ=D-W, 规范Laplacian矩阵表示为L=D-1/2ΔD-1/2=I-D-1/2WD-1/2。

设数据样本集合为X= (X1, Xu) , 它包含两部分, 一部分是有标记的数据集X1={x1, …, xl}, 其中的样本点xi的类别标记为yi;另一部分是未标记的数据集Xu={xl+1, …, xn}, 其中样本点的类别未被标记。令标号矩阵Y∈Bn×c, 当xi的类别标记为yi=j时Yij=1, 否则Yij=0, 此时满足∑jYij=1。目前已有很多基于图论的半监督学习算法, 本文主要是基于文献[7]中介绍的GTAM (Graph Transduction via Alternating Minimization) 算法进行聚类。

根据半监督学习假设, 聚类问题可以通过GTAM算法转化为最小化以下代价函数

该代价函数的矩阵形式可写为

其中, F是连续分类函数, V是标号正则项矩阵, 系数μ是全局平滑项和与局部拟合惩罚项的平衡因子。定义矩阵V=diag (v)

其中, ⊙表示Hadamard乘积, 列向量1=[1, …, 1]T。这种直推式的方法在连续化的F空间和二值化的Y空间中对代价函数进行优化, 设, 可得到最优的分类函数F, 然后通过贪心优化对标号矩阵Y进行迭代更新。

代价函数Q (F, Y) 的第一项是全局平滑项, 它保证相似度高的体素具有相似的标号;第二项是局部拟合惩罚项, 它保证已标记体素在分割后得到的结果与初始标号信息一致。另外, 由于f MRI图像的低信噪比特征, 对其进行聚类时分割结果中往往会有离散点的存在, 为获得连续的分割结果, 加入了空间连续项, 它可以保证空间相邻的体素具有相似的标号[8]。

2 半监督聚类算法用于脑功能图像分割

2.1 静息态f MRI图像预处理

本文采用脑功能数据处理脚本对20个被试者的f MRI数据进行了预处理。由于被试者在扫描过程中头部的运动会使不同时相扫描之间同一体素的空间位置对应关系遭到破坏, 因此需要进行头动校正, 使同一被试者在不同采样时间点上的图像对齐。由于被试者的大脑存在明显差异, 为便于比较, 需要将每个被试的脑图像放入统一的MNI标准空间进行统计分析。为提高图像的信噪比, 并使其更符合高斯分布, 采用6 mm×6 mm×6 mm半高全宽的高斯核对其进行空间平滑。对经过空间平滑后的图像进行去线性漂移, 采用0.005~0.1 Hz频段对图像进行低频滤波, 去除呼吸、心跳等高频信号的干扰, 最后去除协变量对低频同步振荡信号的影响。

2.2 相似性度量

基于Broca区模板, 从f MRI图像中提取感兴趣区域 (ROI) 中各体素的时间序列, 该时间序列表征了静息态条件下信号强度随时间点的变化过程, 可以看作是各体素的特征向量, 然后对该区域中各体素的时间序列和ROI内其余体素的时间序列作相关分析, 得到两两体素的功能相似性度量:

其中, I (i, t) 和I (j, t) 分别是体素xi和体素xj的f MRI信号时间序列;为均值;SI (i) 和SI (j) 为方差;T是时间序列中的时间点数。该相似性矩阵W内每一元素的值代表两两体素之间的相关强度, 其值越大, 表明这两个体素的功能越相似。

2.3 脑功能图像分割

将文中算法用于脑功能区的划分时, 首先计算各体素之间的相似性度量, 根据这种度量将所有体素映射为一加权无向图, 其中图上的节点表示为有标记和无标记的体素, 边上的权值反映了体素间的相似程度。然后, 根据已有的细胞构筑模板选定各子区内较为可靠的一些体素作为初始标记点。最后, 采用文中的算法实现脑功能子区的划分, 这样不但利用少量包含类别监督信息的已标记体素进行学习, 还可以利用大量拥有功能连接信息的无标记体素进行学习, 最终确定出无标记体素的类别号。为验证算法的可靠性和有效性, 不仅将分割结果与现有细胞构筑模板进行比较, 而且通过与标准割算法的定量比较, 体现出文中算法在个体一致性上的优势。

由此, 基于功能连接相似性的脑图像分割算法流程框图, 如图1所示。

3 实验结果及分析

结合前人对Broca区的研究[9], 为每一个子区标记至少一个体素, 基于功能连接相似性, 采用文中算法对20个被试者f MRI图像中右侧大脑的BA44/45区进行功能子区的划分, 为验证该算法用于脑区分割的可靠性和有效性, 通过Dice系数去比较文中算法分割结果与公认的细胞构筑模板的重叠率。另外, 为验证文中算法在脑区分割中比一般无监督的聚类算法更具有优势性, 对文中算法得到的结果与采用标准割算法得到的结果进行了比较。

图2显示了采用文中方法得到的分割结果, 其中图2 (a) 显示了随机选择的一个被试在Broca区上的分割结果, 图2 (b) 显示了所有人的分割结果的最大概率图, 从结果可以看出, 采用文中算法Broca区被成功地分割为前后两部分, 与现有细胞构筑模板和前人的研究一致, 并且分割结果也是连续的, 不存在离散点。图3显示了文中算法和标准割算法在个体一致性上的比较效果, 参考图例中越向图例下方代表越多个体的该区域被分为BA45, 越向图例上方代表越多个体的该区域被分为BA44。结果可以看出文中算法比标准割算法得到的结果在个体间的一致性更好。

图4定量地显示了文中算法和标准割算法得到的分割结果与已有的细胞构筑结果的重叠率, 文中算法得到结果的Dice系数平均值明显高于标准割算法得到的结果, 且波动较小, 经过配对T检验得到显著性差异指标p<0.003, 由此可知文中算法显著优于标准割算法。图5定量显示了两种算法得到的分割结果的个体一致性的比较, 并且经检验显著性差异指标p<3.43×10-9, 所以文中算法在个体间的一致性上也明显优于标准割算法。

4 结束语

本文提出了一种融合先验信息的半监督聚类算法, 该算法与其他广泛使用于医学图像分割中的无监督聚类算法相比, 具有较强的鲁棒性。首先利用现有公认的细胞构筑、结构或功能信息对一些脑区确定部分可靠的初始标记点, 然后采用该算法对脑区进行功能子区的划分, 这样在先验信息的指导下抑制噪声对分割结果的影响, 从而得到更可靠的功能子区边界, 获得更稳定的分割结果。实验表明, 该算法有效地抑制了噪声对分割结果的影响, 并能够获得更高的个体间一致性。

参考文献

[1]SHEN X, PAPADEMETRIS X, CONSTABLE R.Graph-theory based parcellation of functional subunits in the brain from resting-state fMRI data[J].Neuroimage, 2010, 50 (3) :1027-35.

[2]SHI J, MALIK J.Normalized cuts and image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (8) :888-905.

[3]CRADDOCK RC, JAMES G A, HOLTZHEIMER P E, et al.A whole brain fMRI atlas generated via spatially constrained spectral clustering[J].Human Brain Mapping, 2011, 32 (1) :531-537.

[4]Zhu Xiaojin.Semi-supervised learning literature survey[D].USA WS:University of Wisconsin Madison, 2008.

[5]CHAPELLE O, SCHLKOPF B, ZIEN A.Semi-supervised learning[M].MA:MIT Press Cambridge, 2006.

[6]ZHOU D, BOUSQUET O, LAL T N, et al.Learning with local and global consistency[C].Advances in Neural Information Processing Systems 16:Proceedings of the 2003 Conference.Cambridge:MIT Press, 2004 (16) :321-328.

[7]WANG J, JEBARA T, CHANG S F.Graph transduction via alternating minimiza-tion[C].In:ICML 2008:Proceedings of the 25th international conference on Machine, 2008.

[8]SONG D, CHENG H, FAN Y.Prior information guided brain parcellation based on resting state fMRI data[C].Beijing China:18th Annual Meeting of the Organization for Human Brain Mapping, 2012.

图像信息融合 篇5

图像分割的目的是获取目标或目标的不同部分在图像中对应的像素集合描述,它们是对图像中目标进行描述的基础。显然,为了提高所提取区域和景物线索的相似性,可以采用多种图像特征,扩大对各种区域图像特性的描述范围和准确性,这样可以提高区域分割结果和景物之间的对应程度。

大多数彩色图像分割算法仅仅采用颜色特征用于分割[1,2,3],很容易对高纹理区域产生过分割,而一些彩色纹理分割的算法又没有充分利用颜色所携带的丰富信息。因此有效的融合颜色和纹理特性是获得稳健彩色图像分割的重要途径[4,5,6,7,8]。本文提出一种新的基于MRF模型的彩色图像融合分割算法,在Bayes分析框架中加入了图像特征的置信因子进行融合,通过引入置信因子有效融合了颜色和纹理两方面信息。最后的彩色图像实验结果证明了本文提出算法的有效性。

1 特征提取

在自然场景彩色图像分割中,最常用的特征是颜色和纹理。本文采用的颜色特征是HSV彩色空间。一般说来,彩色图像RGB三个颜色分量和人类的视觉没有很好的线性对应关系。同一种颜色,由于深浅、亮度略有不同,RGB分量都会发生剧烈的变化。通常人们对颜色的认识基于颜色的三个特征:色调H,饱和度S和亮度V。HSV模型通常用于选取颜色,它是面向用户的一种复合主观感觉的色彩模型,比RGB模型更接近人们对颜色的感知[6]。

自然图像中,各个区域间的差别不仅表现在颜色上,还往往表现在纹理上,为了有效地区分它们,必须加入纹理特征。高斯马尔可夫随机场(GMRF)模型是常用描述纹理数据分布的模型,在GMRF模型中,每个像素值是其邻域像素值的线性组合加上一个噪声项[7],即

式中,Ds为像元s指定的领域,εs为零均值Gauss噪声,且满足

既然是高斯分布,假设只考虑同构且各向同性的二阶邻域系统,

于是式(3)可以写成

两边乘vs并取期望:

用数值平均代替期望值,得到关于γ的估计公式:

式中,Dw为计算模型参数的所用窗口的有效部分。均值和方差的估计式为

由此,该区域的纹理特征矢量定义为{r1,r2,r3,r4,σ2}。

2 彩色图像融合分割模型

2.1 融合模型

图像分割问题可以看为是一个标记问题,即在分割图像中的每个像点处作一个类别标记以表明该像点所属的区域。假设图像的像点集为S={s=(i,j):1≤i≤M,1≤j≤N},要估计分割标记场x中像点xs取自一个有限集合Ω={1,…,K},实际观测图像所对应的特征矢量y={ys1,…,ysL:s∈S},L为特征数目。

根据基于意见一致理论[8]的融合模型为

式中,0≤αl≤1,,αl表示不同特征的融合系数。由Bayes理论可进一步得到

特征l的观测模型为

为了引入分割图像上下文约束信息,对于先验概率p(x),假设它服从离散马尔可夫随机场[5](MRF)分布,并根据MRF和Gibbs分布的一致性,通过势函数确定的p(x)为

式中,为能量函数,VC(x)为基团C的势函数,Z为归一化常数。考虑到计算效率,采用了同构且各向同性的二阶MLL(Multilevel logic)分布,并且其对应的基团只考虑双点基团[4]

依据MAP的原则

假设特征l的分布模型服从高斯分布(均值、协方差),以此得到目标函数J

2.2 融合系数

由于自然图像多种多样,有的颜色特征突出,有的纹理特征突出,仅用彩色或纹理都很难取得较好的效果,只有根据不同类特征在分类中所起的作用自适应地改变权值,才有可能使算法适应图像成像内容和成像条件的变化。

确定颜色、纹理特征所起的不同作用,就是确定αcolor和αtexture。若图像颜色起伏变换面积较大,适宜于用颜色特征分割,当起伏面积小,且比较剧烈时,就需要加入纹理特征。经过测量多幅纹理、灰度像以及纹理灰度混合图像的付立叶功率谱的能量分布发现,如果图像中存在较强的纹理,那么能量分布的中高谱段能量所占有百分比较大,通过统计能量分布的百分比,可以反映纹理特征和颜色特征的不同作用。为克服整幅图像的付立叶功率谱计算费时的缺点,采用扫描线频谱分析法[7]。注意到,若扫描线穿过图像的纹理区,那么该扫描线上的灰度变化起伏就会比较剧烈,表现为中高频分量聚集了较多的能量,占总能量的百分比高。通过分析不同频段能量所占的比例,就可以确定是否有强的纹理特征存在。统计多根水平、垂直扫描线的能量分布比例,就可大致估计整幅图像中纹理特征所占的权重。

3 分割算法

一旦选择了目标函数,图像分割问题成为离散优化问题中有明确定义的一个问题:找到一种标记,使目标函数J(x,k)取极小值。我们采用了模拟退火算法(Simulated Annealing Algorithm)给定过分割图像的类别标记,模拟退火本质上是对求解空间的部分随机搜索[2,3,4],计算Metropolics准则,以一定概率来确定接受选解的可能性的大小,除了接受优化解以外,还在一定范围内接受恶化解,这就使得模拟退火算法可以从局部最优的“陷阱”中跳出,有可能得到全局最优解。

综上所述,本文提出的彩色图像分割算法可以总结为如下4个步骤:

步骤1:提取图像的颜色和纹理特征。

步骤2:依据扫描线分析法,确定颜色、纹理特征的融合系数αcolor和αtexture。

步骤3:依据SA算法对式(8)迭代求解,得到初始过分割图像。

(1)设置初始温度为T(1);

(2)随机选择初始分割标记场x(1),并计算目标函数J(1);

(3)随机产生一个新的分割标记x(i+1),计算目标函数J(i+1),并计算ΔJ=J(i+1)-J(i),若ΔJ>0,则接受新的分割标记x(i+1),否则以概率eΔJ/T(p)接受新的分割标记x(i+1);

(4)重复(3)直到i>Imax;

(5)使用退火方案为:

(6)重复(3)-(5)直到p>Pmax。

步骤4:连通分析标号图像,输出赋予特征的图像区域描述。

4 实验结果

实验中参数取值为γ=0.2,β=1.0,Pmax=300,Imax=20,C=4.0,纹理分析窗口取Dw取为7×7。关于图像分割实验评价的问题,一般来说仍然是一个困难的问题。在彩色图像分割领域,由于自然图像的多样性,至今没有一个公认的客观评价标准,因此这里暂时只能采用人工判断的主观评价方法。图1和图2是采用本文提出算法得到的分割结果。实验表明,对于自然图像,本文分割算法能得到主观感觉上比较好的分割结果。

5 结束语

本文提出了一种新的基于MRF模型的彩色图像融合分割算法,在Bayes分析框架中加入了图像特征的置信因子进行融合,通过引入置信因子有效融合了颜色和纹理两方面信息。最后的彩色图像实验结果证明了本文提出算法的有效性。

摘要：提出了一种新的基于马尔可夫随机场(Markov random field,MRF)模型的彩色图像融合分割算法,在Bayes分析框架中加入了图像特征的置信因子进行融合。该算法有效融合了颜色和纹理两方面信息。最后的彩色图像实验结果证明了提出算法的有效性。

关键词：彩色图像分割,MRF模型,图像融合

参考文献

[1]Tremeau A,Borel N.A region growing and merging algo-rithm to color segmentation[J].Pattern recognition,1997,30(7):1191-1203.

[2]Mehmet C.A color clustering technique for image segmen-tation[J].Graphics and image proc,1990(52):145-170.

[3]Besag J.On the statistical analysis of dirty pictures[J].Journal of the royal statistical society,series B,1986(48):259-302.

[4]Geman S,Geman D.Stochastic relaxation,gibbs distribu-tions,and the Bayesian restoration of images[J].IEEEtrans patt,1984,(6):721-741.

[5]Dubes R C,Jain A K,Chen C C.MRF model-based algo-rithms for image segmentation[C]//Proceedings of inter-national conference pattern recognition.1990(6):808-814.

[6]Zhang Y J,Yao Y R,He Y.Color image segmentationbased on HIS model[J].High technology letters,1998,4(1):28-31.

[7]Speis A,Healey G.An analytical and experimental studyof performance of Markov random fields applied to texturesimages using small samples[J].IEEE trans on imageproc,1996,5(3):447-458.

[8]樊昀,王润生.面向内容检索的彩色图像分割[J].计算机研究与发展,2002,39(3):376-381.

数字图像融合综述 篇6

二十世纪九十年代以来,图像融合技术的研究呈不断上升的趋势,应用领域也遍及遥感图像处理,可见光图像处理,红外图像处理,医学图像处理等。尤其是近几年来,多传感器图像融合技术已成为机器人,智能制造,智能交通,医疗诊断,遥感,保安,军事应用等领域的研究热点问题。

1 数字图像融合的主要研究内容

数字图像融合是将两个或者两个以上的传感器在同一时间(或不同时间)获取的关于某个具体场景的图像或者图像序列信息加以综合,以生成一个新的有关此场景的解释,而这个解释是从单一传感器获取的信息中无法得到的。图像融合的目的是减少不确定性,其作用包括:(1)图像增强。通过综合来自多传感器(或者单一传感器在不同时间)的图像,获得比原始图像清晰度更高的新图像。(2)特征提取。通过融合来自多传感器的图像更好地提取图像的特征,如线段,边缘等。(3)去噪。(4)目标识别与跟踪。(5)三维重构。

2 图像融合研究的发展现状和研究热点

多传感器图像融合是一个正在兴起的,并有着广泛应用前景的研究领域。当前图像融合在特征级的研究重点在于提高融合图像的空间分辨率的同时,尽量保持原图像的光谱特征,从而保证后续分析理解的有效性。另外,图像序列以及视频信息的融合问题也是非常有意义的研究课题。

3 几类典型的数字图像融合理论与方法

3.1 主成分分析法

主成分分析法的几何意义是把原始特征空间的特征轴旋转到平行于混合集群结构轴的方向去,得到新的特征轴。实际操作是将原来的各个因素指标重新组合,组合后的新指标是互不相关的。在由这些新指标组成的新特征轴中,只用前几个分量图像就能完全表征原始集群的有效信息,图像中彼此相关的数据被压缩,而特征得到了突出。

3.2 演化计算法

演化计算是模拟自然界生物演化过程产生的随机优化策略与技术。它具有稳健性,通用性等优点和自组织,自适应,自学习等职能特征,下面是几种常用的演化计算方法:

3.2.1 遗传算法GA(genetic algorithm)

遗传算法的基本思想是基于达尔文进化论和孟德尔遗传学说的。所以在算法中要用到进化和遗传学的概念,比如串(在算法中为二进制串,对应于遗传学中的染色体);群体(个体的集合,串是群体的元素);基因(串中的元素,如有一个串S=1001,其中1,0,0,1这四个元素分别成为基因);基因位置;串结构空间;参数空间;非线性;适应度等。遗传算法的原理可以简要给出如下:Choose an initial population;Determine the fitness of each individual;Perform selection.Repeat:Perform crossover;Perform mutation;Determine the fitness of each individual;Perform selection;Until some stopping criterion applies.

这儿所指的某种结束准则一般是指个体的适应度达到给定的阈值,或者个体的适应度的变化率为零。

3.2.2粒子群算法(PSO)

粒子群优化算法是一种进化计算技术,源于对鸟群捕食的行为研究。设想有这样一个场景:一群鸟在随机搜索食物,在这个区域里只有一块食物,所有的鸟都不知道食物在哪里,但是他们知道当前的位置离食物还有多远,那么找到食物的最优策略是什么呢?最简单有效的方法就是搜寻目前离食物最近的鸟的周围区域。PSO算法从这种模型中得到启示并用于解决优化问题。PSO中,每个优化问题的解都是搜索空间中的一只鸟,我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值,每个粒子还有一个速度决定他们飞翔的方向和距离,然后粒子们就追随当前的最优粒子在解空间中搜索。PSO初始化为一群随机粒子(随机解),然后通过迭代找到最优解。

3.2.3 蚁群算法

蚁群算法(ant colony optimization,ACO),又称蚂蚁算法,是一种用来在图中寻找优化路径的机率型技术。它由Marco Dorigo于1992年在他的博士论文中引入,其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种求解组合最优化问题的新型通用启发式方法,该方法具有正反馈、分布式计算和富于建设性的贪婪启发式搜索的特点。

3.3 神经网络法

神经网络法是在现代神经生物学和认知科学对人类信息处理研究成果的基础上提出的,它有大规模并行处理、连续时间动力学和网络全局作用等特点,将存储体和操作合二为一。现实世界中图像噪声总是不可避免地存在,甚至有时信息会有缺失,在这种情况下,神经网络融合法也能以合理的方式进行推理。

3.4 小波变换法

自从1989年Mallat提出了二维小波分解方法后,小波变换在图像处理中迅速得到了广泛的应用。在图像融合领域,小波变换方法也是一种重要的方法。对于图像融合,在频率域进行比在时间域进行更为有效,融合算法的设计必须把融合的技术目的和图像的频率域表现结合起来考虑。

3.5 模糊图像融合

所谓模糊性是指客观事物在形态及类属方面的不分明性,其根源是在类似事物间存在一系列过渡状态,它们互相渗透,互相贯通,使得彼此之间没有明显的分界线。图像融合模糊算法的基本原理是利用模糊隶属度函数量化不同目标类型和相应像素值之间的关系。

4 结束语

图像融合是一个众多学科感兴趣的十分活跃的研究领域。图像融合也还有许多问题急需解决。首先,图像融合技术缺乏理论指导。虽然关于图像融合技术的公开报道很多,但每篇文章都是针对一个具体的应用问题,对图像融合技术还没有一个统一的理论框架。所以,建立图像融合的理论框架是目前的一个发展方向。再者由于图像的特殊性,在设计图像融合算法时一定要考虑到计算速度和所需的存储量,如何得到实时、可靠、稳定、实用的融合算法和硬件电路是目前研究的一个热点。另外,建立客观的图像融合技术评价标准也是急需解决的问题。

参考文献

[1]覃征等.数字图像融合[M].西安交通大学出版社,2004.

[2]吴秀清,周蓉.一种多分辨图像数据融合方法及实现[M].小型微型计算机系统,2002,21(8):833-835.

图像信息融合 篇7

1 几种常用的边缘检测算子

物体的边缘是以图像的局部特征不连续的形式出现的, 也就是指图像局部亮度变化最显著的部分, 例如灰度值的突变、颜色的突变、纹理结构的突变等等, 同时物体边缘也是不同区域的分界处。对于单色图像, 通常认为边缘是灰度陡然变化部分, Herskovits指出了边缘的几种典型情况, 例如阶跃形、屋顶形、边缘-效应形、斜坡-阶跃形等。

由于边缘是图像灰度变化最剧烈的地方, 传统的边缘检测就是利用了这一点, 对图像的各个像素点进行微分或求二阶微分来确定边缘像素点。一阶微分图像的峰值处对应着图像的边缘点, 二阶微分图像的过零点处对应着图像的边缘点。根据数字图像的特点, 处理图像过程采用差分来代替倒数运算。我们定义的梯度算子为:

式子中表示图像的灰度值, 图像边缘提取的常用梯度算子有sobel算子, robert算子, prewitt算子, laplacian算子, canny算子等。

2 像素级图像融合

从以上各个算子提取的边缘图来看, 每个算子提取的图像都有其优缺点, Sobel算子检测对角方向的边缘较好;Prewitt对方向敏感, 边缘较宽, 而且间断点多, 但检测垂直方向的边缘较好;LOG算子检测方法对具有高斯噪声的图像处理效果较好;Canny方法不容易受噪声干扰, 能够检测到真正的弱边缘。怎样结合各种算子的优点, 使得检测出来的边缘更加清晰, 显示的更加明显, 基于这一思想, 本文采用了像素级图像融合的方法, 将不同算子检测出来的汽车边缘图像融合, 获得一副结合不同算子优点的边缘图像。像素级融合原理又称数据级融合, 它是直接在采集到的原始数据层上进行的融合, 在各种传感器的原始则报未经预处理之前就进行数据的综合和分析。

在融合的3个级别中, 像素级图像融合作为各级图像融合的基础, 它能尽可能多地保留场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 这样有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能。目前常用的图像融合技术有:加权平均法、逻辑滤波法、彩色空间法、多分辨塔式算法、小波变换法、卡尔曼滤波算法、模拟退火法和假彩色法。

3 一种基于像素级融合的边缘检测方法

3.1 加权平均法

假设参加融合的两个源图像分别为A, B, 图像大小为N1×N2, 经融合后得到的融合图像为F, 那么对A, B两个源图像的灰度加权平均融合过程可表示为:

式中:ω1+ω2=1。ω1, ω2在不同类的图像融合当中, 通过仿真确定它们的值。当两幅图像很相似时, 合成图像就采用两幅图的平均值, 也就是权值分别为0.5和0.5;当两幅图像差异很大时, 就选择最显著的那一幅图像, 此时的权值为0和1, 上面的权值选择方法基本上都是基于人眼的视觉特征, 而没有考虑到实际应用中的目标特征。Lallier利用军事应用中的目标特征提出了一种自适应的权值选择方法, 所产生的融合算法计算量较少, 适于实时处理, 而且稳定性非常好。

3.2 逻辑滤波方法

另一种将2个像素数据合成为1个像素的直观方法就是对它们进行逻辑运算, 例如:当2个像素的值都大于某一阈值时, “与”滤波器输出为“1” (为“真”) 。图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。“或”逻辑操作可以十分可靠地分割一幅图像。

4 实验结果及分析

比较这四幅边缘图, Sobel算子与Robert算子获得的边缘图比较相似, Canny算子与Laplacian算子获得的边缘图比较相似, 分别对它们进行加权平均, 权值设为0.5:

得到两幅图像 (e) , (f) , 再将这两幅图像进行逻辑滤波, 这里选择的是“或”滤波器, 设定一个阈值, 计算阈值采用的方法是:分别对 (e) , (f) 两幅图像进行全局阈值处理, 采用最大类间方差法, 该方法是在判决分析最小二乘法原理的基础上推导得出的, 算法比较简单, 分别得到两个阈值T1, T2, 经过实验比较, 采用小的阈值为逻辑滤波最后的阈值。最后得到一幅融合后的图像 (h) 。

下面就是采用以上这种方法, 用Matlab获得边缘图像, 用C语言编程获得融合图像:

(h) 图是最终得到的融合图像, 该图融合了不同的边缘算子的优点, 增强了汽车边缘, 并且可使轮廓的间断的地方连接起来, 使得汽车轮廓更加清晰, 明显, 这给提取汽车外形尺寸带来了很大的方便, 最终用于车型识别系统。

参考文献

[1]覃征, 鲍复民等.数字图像融合[M].西安交通大学出版社, 2004.

[2]夏良正.数字图像处理[M].东南大学出版社, 2003.

图像信息融合 篇8

图像融合规则是图像融合的核心, 规则的好坏直接影响图像融合质量。目前常用的融合规则包括基于像素的图像融合规则和基于窗口的图像融合规则。基于像素的融合规则仅是以单个像素作为融合对象, 它并未考虑图像相邻像素间的相关性, 融合性能不佳。基于窗口的融合规则由于考虑相邻像素的相关性, 因此减少了系数的错误选取, 融合效果得到提高。

但是图形的局部特征往往不是由单个像素或者局部窗口内的像素的图像变换系数所能表示的, 它是由某一局部区域的多个像素的图像变换系数来表示和体现的[1]。通常图像中某一局部区域内的各像素间具有较强的相关性。基于此, Zhang Z.、Piella G.[2]等人提出了基于区域的融合规则。

1 基于区域的图像融合方法

基于区域的多传感器图像融合算法结构如图1所示。图像融合处理前先对2幅待融合图像IA和IB分别进行图像分割以得到各图像的区域表示RA和RB (区域表示中不同标记表示不同区域) , 通过对两图像的区域表示RA和RB进行叠加获得2图像的共同区域表示R。对区域表示进行叠加时, 2个区域表示中重合的区域或交叉的区域作为共同区域表示中的一个区域。对2个区域表示进行叠加的示例如图2所示, 图2a的区域表示中包含2个区域, 图2b的区域表示中也包含2个区域, 通过对这2个区域表示叠加产生4个交叉区域, 从而得到图2c的共同区域表示。对输入图像进行融合处理时, 先采用方向金字塔框架变换[3]或方向可调的不可分离小波框架变换对2幅待融合图像分别进行多尺度分解, 并根据2幅图像的共用区域表示R计算2幅图像区域相似度MAB, 根据2幅图像的各自区域表示计算融合量测指标。融合决策是根据MAB进行制定:对于2图像中相似区域的融合采用系数加权平均的方法, 而对于两图像中非相似区域的融合采用系数选取的方法, 加权平均时的权值以及系数选取时的优先性由各系数的融合量测指标的大小决定[4]。

2幅待融合图像IA和IB经多尺度分解后, 令表示两图像fNA (x, y) 和fNB (x, y) 经分解后的最低频子带系数, N为多尺度分解的层数, (x, y) 表示系数坐标;令giA (x, y) 和giB (x, y) 表示两图像经分解后的各高频子带系数, i=1, 2, ⋯, NH (NH为图像经分解后的高频子带的个数) 。令giF (x, y) (i=1, 2, ⋯, NH) 、fNF (x, y) 表示经融合处理后的图像变换系数。

1.1 低频系数融合处理

对于低频图像fNA和fNB的融合处理一般采用按区域进行加权平均或直接选取的方法。

根据区域表示RA和RB计算两待融合图像经多尺度分解后的低频系数的融合量测指标, 该指标由两部分组成:区域的标准差σ和区域的突变度τ。首先根据区域突变度找出2幅图像中灰度突变程度比较大的区域:如果τA (rA) >τT (τT为阈值, 一般取0.8左右) , 则对于rA区域, 融合后的低频图像取IA的低频图像;如果τB (rB) >τT, 则对于rB区域, 融合后的低频图像取IB的低频图像。对于突变度变化不大的区域, 则对于任意区域r∈R, 如果相似性测度MAB (r) <α, 则对低频系数的融合处理采用系数选取的方法

式中, σA (r) =σA (r A) , 其中r A为RA中包含r的区域;σB (r) =σB (r B) , 其中r B为RB中包含r的区域。

如果对于任意区域r∈R有MAB (r) α, 则采用加权平均的融合策略

式中, 和为权系数, 有

1.2 高频系数融合处理

区域边界上的高频系数融合处理:图像经多尺度分解后的高频子带系数包含了图像中诸如边缘、区域轮廓等的细节信息。图像分割后的各区域边界往往对应于图像中的边缘以及区域轮廓。所以在融合处理时, 对于公共区域边界上的高频系数选取较大的高频系数, 非公共区域边界上保留各自的高频系数;对于非区域边界上的高频系数则根据相似性测度进行加权平均或系数选取, 相似性测度高的进行加权平均, 相似性测度低的做系数选取。

对组合后的图像变换系数进行图像逆变换即可得到融合后的图像IF。

2 区域分裂合并算法

在区域融合算法中, 对待融合图像的区域分割对图像融合的结果起到关键性的作用。对于图像的分割, Frank N.等人提出了基于区域生长与区域合并的方法。在这类方法中, 常需要根据图像的统计特性设定图像区域属性的一致性测度, 其中常用的测度多基于灰度统计特征, 例如同质区域中的方差 (variance within homogeneous regions, VWHR) 。算法根据VWHR的数值确定分裂和合并各个区域。

一般有代表性的, 采用图像四叉树表达方法对图像做简单分裂合并[4]。设R代表整个矩形图像区域 (见图3) , P代表逻辑谓词。从最高层开始, 把R连续地分裂成越来越小的1/4的矩形子区域Ri, 并且始终使P (Ri) =TRUE。换句话说, 如果P (R) =TRUE, 那么就将图像分成四等分。如果P (Ri) =FALSE, 就将Ri分成四等分。如此类推, 直到没有P (Ri) =FALSE。同时, 在每次分裂后允许其后继续分裂或合并。这里合并只合并那些相邻且合并后组成的新区域满足逻辑谓词P的区域。换句话说, 如果能满足条件P (Ri⋃Rj) =TRUE, 则将Ri和Rj合并起来。

利用图像四叉树表达方法可将图像以金字塔数据结构形式组织起来。理论和实验都表明, 在分割时, 从金字塔结构的中间层开始可节约计算时间, 具体计算步骤为:

(1) 初始化:从中间某层k开始, 方块的边长是n=N/2k, 求出块内最大灰度Mk和最小灰度mk。

(2) 分裂:设e为预定的允许误差值, 如果Mk-mk>2e, 则将节点分裂为4个小方块, 并计算各小方块的Mki和mki, i=1、2、3、4, 分裂最多进行到像素级。

(3) 合并:反过来, 如果4个下层节点bki, i=1、2、3、4, 有公共父节点, 且max (Mk1, Mk2, Mk3, Mk4) -min (mk1, mk2, mk3, mk4) <2e, 则将它们合并成一个新节点, 合并最多进行到图像级。

(4) 组合:在非共父节点的相接节点间进行合并。具体是先建立一个堆栈S, 初始为空;再建立一个辅助的邻接矩阵A, 开始时其元素aij=a (xk, yk) =k。然后依次检查每个像素, 如果像素fij属于节点bk所代表的方块, 对应的矩阵元素aij保持原值。组合以标记方法实现, 对结点bk的标记策略为: (1) 未标记过和未扫描到的, 用标记Fk>0表示; (2) 标记过但未扫描到, 用标记Fk<0表示, 并将结点bk放入S; (3) 既标记过也扫描到, 用标记Fk>0表示, 但结点bk不放入S中。用标记法将已标记过的结点顺序放入区域表中, 并给区域表加上一个终结标记。根据以下算法进行组合 (u和v为暂存器) :令S为空, 若Fk>0, 则压bk到S中, u←Mk, v←Mk;如果S非空, 则从S中弹出bk, 将bk装入R, 再对所有的bk∈A判断Mk-mk, 如果结果小于2e, 将bk装入S, 循环以上步骤, 最后将零装入R, 结束。

3 试验结果及评价

试验中, 运用Matlab7.4实现图像的融合。如图4、图5所示。。在融合的过程中, 采用方向可调的不可分离小波框架变换对2幅待融合图像分别进行多尺度分解, 分解为3层。

表1是对上述图像的客观数据统计, 采用基于Region的图像融合算法融合后的图像, 其熵、空间频率、平均梯度相对源图像都有提高。从视觉上也可以看出采用基于区域的方法融合后的图像融合了2幅图像的细节信息, 取得了很好的效果。这表明采用基于区域的图像融合算法能较好地综合源图像信息。

4 结束语

针对双波段红外图像的特点, 采用基于区域的图像融合算法得到的实验数据和图像都表明, 该融合算法能有效地保留图像信息。不过分裂合并算法的关键是如何对区域进行初始化划分和分裂合并准则的设计。该算法对复杂图像的分割效果较好, 但算法复杂, 计算量较大, 分裂还可能破坏区域的边界。

参考文献

[1]Piella G.A general framework for multiresolution image fusion:from pixels to regions[J].Information Fusion, 2003, 4 (4) :259-180.

[2]Zhang Z, Blum RS.A categorization of Multiscale-de-composition-based image fusion schemes with a perfor-mance study for a digital camera application[J].Proceed-ings of the IEEE, 1999, 87 (8) :1315-1326.

[3]陈浩, 王延杰.基于拉普拉斯金字塔变换的图像融合算法研究[J].激光与红外, 2009 (4) :439-442.

[4]章毓晋.图像分割[M].北京:科学出版社, 2001:67-74.

[5]张雷, 高桦, 杨风暴.双波段红外图像辐射特性分析及在图像融合中的应用[J].光电技术应用, 2006, 21 (5) :54-57.