医学图像融合

2024-10-23

医学图像融合(共10篇)

医学图像融合 篇1

1 概述

医学图像处理能够给为一些疾病的诊断与治疗提供更加准确与丰富的信息。图像处理技术的发展很大程度上便来自于医疗图像处理的需求。目前图像融合成为研究热点, 图像融合是指将两个或两个以上, 不同类型的图像的信息进行融合, 以获取详细和可靠的信息描述。医学图像融合则针对医学信息图像如CT、MRI和PET图像, 利用融合技术, 实现多种信息可视化, 从而利用多种医疗信息。

2 医学图像的融合技术

医学图像融合研究是一门多学科的研究, 它需要多种医学图像之间的分析, 例如CT、MRI、PET、SPECT等, 这些医学图像源经过去噪声、对比度增强或区域分割等预处理后, 一般还需要通过图像配准技术进行配准获得精确的位置关系, 通过医学图像融合方法进行融合, 最终还需要利用医学图像的绘制技术, 将融合后图像进行三维重建显示, 以方便医生和其他操作人员更好的观察和评价融合效果。

2.1 预处理

得到原始的医学图像后, 一般首先需要对所获得的医学图像数据进行图像预处理操作, 这种预处理具有比较直观的目的, 针对不同的应用, 预处理的方法也不同, 一般都是进行视觉增强, 或是针对感兴趣的目标进行分割。例如预处理一般对图像进行滤波或平滑, 或是进行增强, 使得图像细节进一步突出。

2.2 图像配准

医学图像配准是多种图像融合和多模态图像分析的一个前提。不同图像需要在位置上找到对应关系才能进行信息的融合和显示。在目前的研究领域, 图像融合一般经常使用的是基于互信息的配准法, 即利用图像间的最大化的互信息量作为配准原则。由于在空域和频域都具有良好的局部性质, 基于小波的方法也得到了广泛应用, 使用小波技术可以使配准图像在低分辨率模型和高分辨率模型中实现快速匹配。

2.3 图像融合

医学图像融合的目的是结合很多不同的成像技术的图像特征信息, 保留重要信息, 加强突出各自图像的特征信息。最简单的融合方法是将已配准后的医学图像进行简单的加权叠加。近来, 基于小波分析的融合方法得到了广泛发展, 该方法将图像分解成不同的频域子带, 再对这些子带采用不同的融合规则, 从而进一步保存不同频域内的信息, 因此得到了较好的融合效果。

2.4 体绘制方法

为了使医生更好的观察图像数据, 一般还需要对医学融合结果进行三维重建。重建技术就是对一组二维图像进行区域标记以及配准, 从而给出物体的三维信息。重建后的三维图像模型能够形象的再现物体的轮廓以及体型信息, 从而提供更加直观的信息。目前, 对医学CT图像进行三维重建的方法主要分为两大类:面绘制 (Surface Rendering) 和体绘制 (Volume Rendering) 。面重建的基本思想是使用分割函数来判断不同特定分割值表面的位置, 利用位置信息来绘制出基于该表面的体结构。直接体绘制法 (Direct Volume Rendering) , 是将三维空间的数据直接转换为二维图像。体绘制的思想是给每一个体素赋予一个不透明度 (Opacity) , 同时利用了每一个体素对光线的反应, 如对光线的透射、发射和反射作用。

3 医学图像融合的应用

图像融合多种医学研究中均有较高的应用价值, 例如, 在解剖成像图像中的应用中, 一般利用多种图像之间的高分辨率的特点, 将其融合至1幅图像之中, 丰富了图像的信息, 对临床定位观察及诊断起到有效的辅助作用。同时医学图像融合能将解剖成像图像与功能图像进行融合, 能够获得更多的信息, 例如对某些区域进行精确的定位以及精细的显示, 一般而言, 这种融合能极大地能够提高诊断的准确性。在放射医疗中, 图像融合技术也有极大用处。例如在肿瘤靶区的精确定位是放射治疗的一个重要环节。而CT与MRI融合后的图像对于提高肿瘤靶区的定位精度有重要作用, 提高关键区域的检测精度, 使得医生能够进一步提高对病变区域的的局部控制率。

综上所述, 医学图像融合是对各种医学处理方法的综合应用, 能够提供丰富准确的信息, 从而对很多疾病的诊疗、治疗、判断和术后观察等阶段起到重要作用。

4 结论

本文对医学图像融合涉及到的图像预处理、配准、融合以及体绘制方法进行了简单介绍, 并且给出了医学图像融合的一些应用介绍。医学图像融合技术将随着图像处理与分析技术的不断发展而进一步完善, 医学图像融合的发展能够为医疗的进步提供多种信息的支持, 为医疗诊断提供更加精确而丰富的信息。

参考文献

[1]姚原, 吴国华, 夏士安等.CT/MRI影像融合对鼻咽癌肿瘤靶区以及三维适形治疗的影响[J].中国癌症杂志, 2-6, 16 (6) :498-502.

[2]汪家旺, 罗立民, 舒华忠, CT、MR图像融合技术临床应用研究[J].中华放射学杂志, 2001, 8:604-608.

[3]王梦倩, 邵波, 岳建华, 医学图像融合的应用与展望[J].医疗设备信息, 2007, 5:48-50.

[4]徐显.基于GPU硬件加速的医学图像融合研究[D].上海:上海交通大学, 2009.

[5]吴佳鹏, 杨兆选, 苏育挺等.基于模糊推理的小波域图像融合规则[J].天津大学学报, 2007, 40 (12) .

医学图像融合 篇2

关键词:小波变换;图像融合;分解层数

中图分类号:TP391文献标识码:A文章编号:1009-3044(2007)16-31131-02

Selection of Wavelet Decomposition Level Of Multi-modal Medical Image Fusion

HE Li-xin

(Department of Computer Science and Technology,Hefei University,Hefei 230601,China)

Abstract:selection of wavelet decomposition level have a direct effect on the quality of image fusion. This paper get the optimization decomposition level by the experiment and evaluating the quality of fusion image.

Key words:wavelet transform; image fusion; decomposition level

1 引言

各种模态的医学图像从不同角度反映人体信息,单独从某一种图像中无法得到全面的诊断信息。将不同模态的图像融合到一起形成新的影像,可以从该图像中获取更多的信息,从而为医生的诊断和治疗提供可靠的参考。

小波变换本身固有的特性使得它在图像处理中有着其他方法难以比拟的优势,小波变换已被越来越多的学者们应用到图像融合中了。尽管利用小波变换融合效果比较好,但在融合的过程中仍存在两个问题,即小波基函数的选择和最佳小波分解层数的选取[1,2]。小波分解层数的多少直接影响图像的融合质量 [3],本文通过实验并结合主观和客观两种评价方法评价不同分解层数的融合图像,得出最佳分解层数。

2 小波变换[4,5,6]

如果?鬃(x)为一维多分辨率分析{Vj,j∈Z}的正交小波基,则二维多分辨率分析的三个小波函数为:

(公式1)

对于每一个j, z,它们的整数平移系为:

(公式2)

3 基于小波变换的图像融合的流程和步骤

基于小波变换的图像融合方法的流程和步骤如图2所示。这里以两幅图像的融合为例,对于多幅图像的融合方法可由此类推。 设A,B 为已经配准好的两幅源图像, F为融合图像。其融合的基本步骤如下:

(l)对每一源图像分别进行N层离散小波分解;

(2)对各分解层分别进行融合处理,各分解层上的不同频率分量可采用不同的融合算子进行融合处理,最终得到融合图像的小波系数;

图1 图像的小波分解

图2 基于小波的图像融合步骤和流程

(3)对所得融合图像小波系数进行小波逆变换(即进行图像重构),所得到的重构图像即为融合图像。

4 融合图像的质量评价

图像融合质量的评价主要有主观评价和客观评价两种。主观评价主要是通过视觉效果来衡量的,具有直观、简单、方便、快捷等优点,人眼对融合图像的感觉很大程度上能鉴别融合图像的质量,融合图像质量评价离不开人的视觉评价,这是必不可少的,但主观评价带有一定的主观性。客观评价能够克服主观性,对图像的融合质量能够进行稳定、定量的评价,但客观评价目前发展还很不完善,所以评价融合图像质量时通常将主观和客观两种方法结合起来。

本文将从主观和客观两个方面来综合评价图像的融合质量,在客观评价时主要通过信息熵、图像均值、平均梯度和标准差等四个指标来评价图像的融合质量。

设图像为Z,图像函数为Z(x,y),图像的行数和列数分别为M和N,则图像的大小为M×N;L为图像的总的灰度级。

(1)信息熵E

图像熵值是衡量图像信息丰富程度的一个重要指标,熵值的大小表示图像所包含的平均信息量的多少。对于一幅单独的图像,可以认为其各像素的灰度值是相互独立的样本,则这幅图像的灰度分布为p={p0,p1,...,pi,...,pL-1},pi为灰度值,等于i像素数与图像总像素数之比。融合前后的图像其信息量必然会发生变化,计算信息熵可以客观地评价图像在融合前后信息量的变化。根据Shannon信息论的原理,一幅图像的信息熵为:

如果融合图像的熵越大,表示融合图像的信息越丰富,融合质量越好。

(2)图像均值Z

图像均值是像素的灰度平均值,对人眼反映为平均亮度。其定义为:

(3)平均梯度G

平均梯度可敏感地反映图像对微小细节反差表达的能力,可用来评价图像的清晰程度,还同时反映出图像中微小细节反差和纹理变换特征。其计算公式为:

一般来说,G越大,图像层次越多,表示图像越清晰。因此,可以用来评价融合图像在微小细节表达能力上的差异。

(4)标准差?滓

标准差反映了图像灰度相对于灰度平均值的离散情况,在某种程度上,标准差也可用来评价图像反差的大小。若标准差大,则图像灰度级分布分散,图像的反差大,可以看出更多的信息。标准差小,图像反差小,对比度不大,色调单一均匀,看不出太多的信息。标准差的计算公式如下:

5 实验数据分析与结论

小波分解层数是影响融合图像质量的一个重要因素,本文使用小波变换进行图像的融合实验,选用小波系数绝对值选最大值法作为融合规则,小波基函数选用db8函数,实验结果如图3所示。图3中(a)是参加融合的CT图像,(b)是参加融合的MR-T2图像,这两幅图像是从同一病人的脑部的同一位置用不同的设备所获得的多模态医学图像,图像的大小均为256×256像素。图(c)~(i)依次是取小波的分解层数为1,2,3,4,5,6,7层的融合后的图像。

首先,用主观评价方法来评价。从图3中我们可以看出:当N=1,2时,骨骼(白色椭圆形部分为骨骼)很清晰,病变区域较清晰(图的右半边靠中间的白色部分为病变区域),但其他软组织很不清楚。当N=5,6,7时,骨骼、病变区域和其他软组织均比较模糊,N=3,4时骨骼、病变区域和其他软组织均比较清楚。所以从主观评价方面来看N=3,4时融合质量较理想。

其次,用客观评价方法来评价。表1是图3中各图的客观评价数据,从表中的数据来看,与融合前的两幅图像的各项指标相比,融合后的各个图像的各项指标的绝对值均增加了(N=7时的标准差数据略有降低除外),这说明了融合后的图像所包含的信息量增加了。当N=3,4时各项指标都很大,虽然都不是最大值,但和最大值相差很小,所以,综合各项指标,N=3,4时融合质量较理想。

虽然小波变换的层数越多,融合的频率范围越丰富,融合结果的细节也就越丰富。但是,并不是层数越多越好,因为小波变换中分解合成实际上是对频带的划分,分解层数越多,产生的子带越多,频带划分得越细,由于上一级频带分解的信号输出又作为下一级频带分解的输入,层数增加意味着级间的滤波器越多,造成信号移位也越大;另一方面小波分解合成都要进行边界延拓,层数越多引起边界失真越大。而这些损失的信息量均是小波逆变换不能恢复的损失,因此基于小波分解的层数不宜过高,根据不同图像,通常选3~4层比较合适。

图3 用小波将图像分解为N层后进行图像融合

(小波基函数:db8融合规则:小波系数最大值选择法)

表1 采用小波的不同分解层数的融合客观评价

综上所述,从主、客观两方面来看,在图像融合中,一般将图

像分解3,4层比较合适。

参考文献:

[1]Zhang Z,Blum R S. A Categorization of Multiscale- Decomposition-Based Image Fusion Schemes with a Perfromance Study for a Digital Camera Application[J].Proc.of IEEE,1999,87 (8):1315-1326.

[2]夏明革,何友,唐小明.等.多传感器图像融合综述[J].电光与控制,2002,9(4):1-7.

[3]刘贵喜,杨万海.基于小波分解的图像融合方法及性能评价[J].自动化学报,2002,28(6):927-934.

[4]S.G.Mallat,A theory for multiresolution signal decomposition: the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1989,11(7), 674-693.

[5]刘贵忠,邸双亮.小波分析及其应用[M].西安电子科技大学出版社,2001.

[6]朱长青.小波分析理论与影像分析[M].测绘出版社,1998.

基于多小波基的医学图像融合 篇3

医学图像融合作为信息融合技术的一个重要领域,已受到学术界的广泛重视。现代医学影像成像系统的应用,为临床诊断提供了不同模态的图像,它们可提供的医学信息各有其特点,如CT骨窗图像骨骼成像非常清晰,分辨率极高,可为病灶的定位起到良好的参照,MRI图像分辨率不及CT,但软组织成像清晰,可用于病灶范围的确定,PET图像提供了人体的功能信息,但图像模糊,分辨率低。如果能够把这些信息综合显示,就能够为临床诊断提供更加充分的信息[1]。

常用的医学图像融合方法有加权叠加法、色度空间融合、人工神经网络等。小波变换近年来已被广泛应用于医学图像处理中,不同于傅里叶分析方法,小波分析方法的一个突出优点在于小波基的多样性,不同的小波基往往具有不同的时频特性,能够有效地表示一个信号的不同部分或不同特征[2,3]。图像经过小波分解后各尺度的系数分布情况会影响到融合结果,而小波基的选取又在一定程度上影响着分解后的小波系数分布。因而,小波基选取的好坏直接影响到图像融合的效果。有关最佳小波基的选取问题,一直是小波分析应用中的一个难题,目前还没有形成一个统一的标准。现有的小波融合方法一般都是选用单个的小波基,很难兼顾实际图像信号的平滑区域和边缘、纹理部分。鉴于此,提出一种新的基于多个小波基的图像融合方法。首先利用多个不同的小波基对两幅医学图像进行小波分解,对分解后图像低频部分采用加权平均的融合规则,高频部分采用方向对比度的融合规则,进行小波逆变换得到一幅多个不同的融合子图像,最后再将融合子图像采用合适的融合规则得到最终的融合图像。实验结果表明,这种新方法可以获得较好的融合效果,具有一定的应用价值。

1 图像的小波变换

图像是二维信号,它的二维多分辨率分析和一维多分辨率分析相类似,但这里的空间由一维扩展到二维。按照二维Mallat算法[2],在尺度j-1上有如下的Mallat分解公式:

cAj=ΗmΗncAj-1cΗj=GmΗncAj-1cVj=ΗmGncAj-1cDj=GmGncAj-1(1)

相应地重构公式如下:

cAj-1=Ηn*Ηm*cAj+Ηn*Gm*cΗj+Gn*Ηm*cVj+Gn*Gm*cDj(2)

式中:cAj,cHj,cVj,cDj分别对应于图像cAj-1的低频成分、水平方向上的高频成分、垂直方向上的高频成分、对角方向上的高频成分;H*,G*分别为H,G的共轭转置矩阵。

将图像做一次小波分解,即将图像分解成低频近似分量、水平高频分量、垂直高频分量和对角高频分量,分别用LL,HH,HL,HH来表示,图1形象地表示了二维图像的多分辨率小波分解,图1中上标表示小波分解的层数,此处示意了两级小波分解。在这种分解方式下,每一层均被分解为LL,LH,HL和HH四个频带,下层的分解只对上一层的低频分量LL进行分解。

2 多小波基图像融合

现有的小波基函数主要分为正交小波、半正交小波、双正交小波等几类,小波基又具有紧支撑、对称、正则度、消失矩等不同的性质。在利用小波变换进行融合时,小波基的选取应从一般性原则和具体对象两方面进行考虑。

一般性原则[4,5]有:正交性源于数学分析的简单和工程应用中的便于理解操作;紧支集保证有优良的时频局部特性,也利于算法的实现;对称性关系到小波的滤波特性是否具有线性相位,这与失真问题密切相关;平滑性关系到频率分辨率的高低。对于一幅实际图像要完全满足上述特性几乎是不可能的,还应该具体问题具体分析[6]。例如,短支撑小波基具有良好的时域局部性,可以有效表示图像的突变特征,对边缘、纹理等不连续变换部分一般能够提供有效的表示,但是不利于表示图像的平滑区域。高正则度、高消失矩的小波基具有良好的频域局部性和光滑性,可以有效表示信号的光滑部分,但是又不利于表示图像的边缘、纹理等奇异部分。而一幅实际图像往往是由大量的光滑区域、边缘、纹理等构成,用单个小波基把它很好地表示出来是很困难的。在传统的小波图像融合方法中,人们大多考虑采用一个小波基对图像进行融合,并且一般采用高正则度、高消失矩的光滑小波基,这时融合后的图像边缘和纹理部分存在一定的过平滑现象。这里提出了一个简单但非常有效的基于多个小波基的图像融合方法。其算法具体实现过程如图2所示(以两幅图像为例,多幅图像类推),设小波分解次数为L,融合图像的相应的小波低频系数为Cj,F,高频系数为Dj,FΗ,Dj,FV,Dj,FD

(1) 选择两个具有不同性质的小波基,分别对两幅原始图像进行小波分解;

(2) 融合图像的低频部分取为各图像分解后的低频部分的平均;

CL,F=(cAL,A+cAL,B)/2(3)

式中:cAL,A,cAL,B分别为原始图像小波分解的近似分量;

(3) 分解后的小波高频系数应用文献[7]中所定义的方向对比度[8,9]进行计算,然后取比率绝对值较大的系数作为融合后图像在相应分解层上的小波系数;

DL,Fi(m,n)=DL,Ai(m,n),

abs[CL,Ai(m,n)]≥abs[CL,Bi(m,n)]

DL,Fi(m,n)=DL,Bi(m,n),

abs[CL,Ai(m,n)]<abs[CL,Bi(m,n)]

式中:iH,V,D;abs表示取绝对值。

(4) 分别用对应的小波基进行小波重构,得到两幅不同的重构子图像;

(5) 对两幅子图像再采用像素平均的融合方法,得到最后的融合图像。

在融合过程中,小波基的选取数目一般越多,融合效果越好,但是计算量也随之增大,不利于图像的实时处理。实验表明当小波基的数目超过4 个时,随着小波基数目的增加,融合效果的改善不太明显。所以本文算法主要采用db3和bior4.4两种小波基进行小波分解、重构。其中db3 属于短支撑的小波基,可以将图像的突变区域很好的保留;对称小波bior4.4(双正交,滤波器长度9和7,消失矩 4),可以将图像的平滑区域很好的保留。

3 实验结果与分析

这里采用CT和NMR图像进行仿真,CT图中,骨组织区域亮而清晰,其他区域暗而模糊,而在NMR图中,软组织信息清晰,骨组织区域暗而模糊,基于这些图像特征,为此,先将两幅原始图像采用短支撑小波基db3进行小波分解;这样融合后的图像可以将原始CT图像的边缘、纹理及突变特征等较好地表现出来;然后再将原始图像采用对称小波基bior4.4进行小波分解,融合子图像可以将原始NMR图像的平滑区域较好地表现出来。最后将两幅融合子图像采用像素平均的融合算法得到最终的融合图像。这样可以避免单小波基变换使融合图像信息丢失的缺点。融合结果显示采用多小波基进行医学图像融合效果优于单小波基图像融合,具有一定的应用前景。

由图3可以看出,融合图像的骨组织和软组织信息都非常清晰,而且边缘信息也很明显,这对病灶的定位有着很大的帮助。

4 结 语

这里提出的基于多小波基的图像融合方法,有效地保留了原始图像的边缘和纹理特征,避免了融合图像的平均化,从而获得了骨组织和软组织都十分清晰的图像。

摘要:针对CT图像和MRI图像所显示组织信息的不同,提出一种新的基于多个小波基的图像融合方法。首先利用多个不同的小波基对医学图像CT和MRI进行小波分解,高频采用方向对比度融合规则,低频采用加权平均的融合规则得到相应小波基的融合子图像,最后将各子融合图像采用像素平均的融合方法,得到最终的融合图像。实验结果表明,无论是在视觉效果上还是在定量指标上,该方法融合效果均明显优于单一小波基的图像融合方法。

关键词:小波变换,医学图像,图像融合,多小波基,方向对比度

参考文献

[1]张祖进,李辉,郭召平,等.PET/CT的技术性能及临床应用[J].医疗卫生装备,2007,28(10):59-61.

[2]曾基兵,陈怀心,王卫星.基于改进局部方差的小波图像融合方法[J].计算机工程与应用,2007,43(32):72-74.

[3]亓磊,吴晓娟,张元元,等.一种基于亚像素边缘特征的医学图像融合方法[J].电子技术应用,2007(7):61-63.

[4]那彦,杨万海,万凯.一种基于多小波变换的医学图像融合方法[J].信号处理,2006,20(6):643-645.

[5]肖辉军,丁树文,陈祯.基于双正交小波遥感图像融合及效果评价[J].陕西科技大学学报,2007,25(5):88-91.

[6]蔡敦虎,羿旭明.小波基的选取对图像去噪的影响[J].数学杂志,2005,25(2):185-190.

[7]蒲恬,方庆喆,倪国强.基于对比度的多分辨图像融合[J].电子学报,2000,28(12):116-118.

[8]Mu Jing,Du Yaqin,Wang Changyuan,et al.A ResearchBased on Orthogonal Wavelets Packets to Image FusionTechnology[J].Xi′an Industrial College Transaction,2005,25(4):357-365.

[9]Kiema J B K.Wavelet Compression and Data Fusion:An In-vestigation into the Automatic Classification of Urban En-vironments Using Color Photography and Laser ScanningData Pattern Recognition[A].15th International Conference[C].2000,3:85-89.

[10]王安娜,吴洁,张新华,等.一种基于正交小波包分解和2V-SVM的医学图像融合新方法[J].小型微型计算机系统,2007,12(12):2 269-2 231.

浅谈医学图像配准研究 篇4

【关键词】医学图像配准;多模态;医学影像技术

1.医学图像配准概述

医学图像配准是指将来自不同形式的探测器(如MRI,CT,PET,SPECT等)的医学图像,利用计算机技术实现对于一幅医学图像寻求一种或者一系列的空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。通俗地讲,医学图像配准就是对参考图像进行一系列的空间变换,使得参考图像和浮动图像中的对应点在空间位置或者解剖位置上达到一致[1]。主要包含4个模块:几何变换、插值算法、相似性测度和寻优算法。医学图像配准是医学图像处理的一个重要研究领域,被广泛应用于手术导航、病变跟踪以及治疗后期评估等临床诊断治疗中。

2.医学图像配准研究的现实意义

随着新型传感器的不断涌现,人们获取图像的能力迅速提高,不同物理特性的传感器所产生的图像也不断增多。由于成像原理以及成像设备的不同,造成成像模式的不同,按照不同成像模式提供信息的不同,医学图像可以分为解剖结构图像和功能图像两大类。单一模态的图像往往很难提供足够的病理信息,让医生作出病理诊断,常常需要将同一病人的多种成像模式的图片综合起来进行分析,以便获得病人更全面的信息,如 X 射线断层扫描(CT,Computed Tomography)对骨骼信息的揭示是其他成像手段所不能比拟的,而要查看软组织结构信息,则会选择核磁共振成像(MRI,Magnatic Resonance Imaging);利用PET、SPECT获得功能信息,再综合CT、MRI的解剖信息分析。这种把各种成像模式的图像信息融合成一种新的影像模式的技术称为图像融合技术,经过融合后的图像克服了各种单一模式图像信息存在的不足。而在图像融合之前首先要经过图像的配准,配准结果的好坏直接影响图像融合的质量。因此,医生要想全面的了解病变组织的情况,必须准确的对多幅图像进行配准才能融合,进而制定出更加合理的治疗方案。因此,以图像配准技术为基础将多种模态图像信息融合起来,充分利用不同模态图像的优越性,将人体解剖结构信息以及功能代谢信息在同一副图像中表达出来,更有利于医生做出准确、可靠的诊断。

3.医学图像配准的发展现状

图像融合技术诞生于上世纪80年代,是指对多幅源图像的信息进行提取。90年代初期,融合技术逐步应用于医学影像领域。与普通图像融合相比,医学图像融合要求更为精确: 首先,必须保证融合后的图像包含更多准确的源图像信息,不能扭曲或者产生新的细节,以免出现误诊;其次融合后的图像满足人眼识别的要求,便于研究人员观察组织器官状态信息。经过几十年的发展,相关学者先后提出了如像素加权求平均、小波变换等多种融合方法,其中小波变换在时、频域突出信号局部特征的能力逐渐成为图像融合领域的主流算法。随着计算机技术的飞速发展,人工智能技术以其处理自动化、智能化的特点,也逐步应用于医学图像融合,这势必成为一个新的研究方向。

近20年来,国内外专家、学者在医学图像配准研究方面取得了诸多成果。然而,生物体视学的兴起、成像技术的进一步发展以及临床实践的更高要求都为医学图像配准提出了新的课题、注入了新的研究动力。此外,医学图像种类繁多,医学图像配准的过程又相当的复杂,到目前为止,还没有一种普适的配准算法被提出。现有的医学图像配准算法各有优缺点,有的虽然配准精度高,但是计算量大、计算复杂度高、耗时较长;有的虽然配准速度快,但是容易导致误匹配;有的则是自动化程度不高,需要经验丰富的医生或者专家介入才能完成配准。这些情况都限制了医学图像配准技术在临床应用中的发展,因此对现有医学图像配准算法进行研究和改进,具有理论和实践意义。

4.医学图像配准的分类

医学图像配准从不同角度可以分成不同类别。

(1)从人工智能的角度划分,有人工配准、半自动配准和全自动配准。人工配准需要人为手动进行配准,限制比较多;全自动配准是不需要人工参与的,图像输入后程序便可以通过图像处理的一些技术自动寻找配准位置,是当前主要的研究领域;半自动配准是结合了手动与全自动的一种配准方式,可能图像需要先用人工进行初配准,然后進行自动化的精细配准以提高配准的成功率和稳定性。

(2)从输入图像的维度来分,有2D-2D配准和3D-3D配准,当然也有一种特殊的情况就是2D-3D配准。

(3)按空间变换来分,分为两大类:线性变换,非线性变换。线性变换保持线性性质不变,也即在原图中是直线的,那么变换好后仍然会是直线,在数学上可以由一个4×4 齐次坐标矩阵来表示,而非线性变换则没有这种约束。而非线性变换由于其特殊性,并不有固定的变换方法。大量研究人员都提出了非线性变换的模型,试图更接近所应用领域的变形实际。

(4)按医学图像的配准测度分类,配准测度是医学图像配准中最重要的一个模块,直接关系到配准的精度与稳定性。按配准测度的算法原理,一般可以分为:使用图像灰度信息的测度、使用图像几何信息的测度、结合了图像灰度与几何信息的测度。该三类都有大量的测度存在,在不同的应用领域会有一些取舍。

5.医学图像配准的应用

医学图像配准发展几十年来,在医学图像处理领域中的应用越来越广泛,其中包括:

(1)信息的综合:前面我们提到医学图像中有两种基本的类别:功能图像(SPECT、PET)和结构图像(MR、CT)。生理学上的一些信息可以在功能图像上显现出来,但是功能图像不能够为肿瘤或其它的损害提供足够精确的解剖位置。因此,为能提供更加全面的信息,需要将两种医学图像配准结合起来,为诊断和治疗方案提供更加全面可靠的依据。

(2)特征比较:在临床实际中,常常需要对患者病情的发展情况进行跟踪了解。因此对不同时期采集的图像进行配准比较。如观察骨骼、肿瘤的生长发展过程,观察病人术前术后的功能特征。

(3)图像引导放疗:图像引导放射治疗(Image-Guided Radiotherapy,IGRT)将放射治疗机与成像设备结合在一起,在患者治疗前、治疗中利用各种先进的影像设备对肿瘤及正常器官进行实时的监控。医学图像配准可以匹配治疗前和计划时的单模或多模图像数据,根据病人体位位移调整病人摆位,是实现IGRT平台的关键技术。而2D/3D 配准保证图像在三个维度位置的一致性,同时也是是图像配准临床应用的关键。

6.结束语

医学图像配准的目的是为给医生提供全面准确的信息,为医生作出更准确、全面的诊断与治疗方案提供可靠依据。在日益增多的手术导航系统和虚拟手术系统中,快速配准更是必需的。目前的大部分配准算法集中在MRI、PET和CT间,但随着计算机技术和医学成像技术的发展,相信医学图像的配准技术一定会得到快速发展和广泛的应用。

【参考文献】

[1]杨金宝,刘长舂,胡顺波.广义信息熵在医学图像配准中的应用[J].计算机工程与应用,2008,44(8).

[2]王凯.多模特医学图像配准研究[D].长沙:中南大学,2008.

图像融合技术在医学中的应用综述 篇5

1 医学图像融合现状分析

在国外, 医学图像融合的研究较早, 技术较成熟。在国内, 相关的研究起步较晚, 由于应用医学图像融合的相关设备的价格很高, 融合过程又要耗费不短的时间, 目前的很多方法也仅限于对极少数量患者的研究阶段, 约束了相关技术的快速发展。在临床应用中还存在着许多尚未解决的技术难题。

首先, 限于各种影像检查的成像原理不同, 其图像采集方式、格式以及图像大小、质量、空间与时间分辨率具有很大差别, 因此研究稳定且精度较高的全自动医学图像配准与融合方法是图像融合技术的难点之一。

其次, 图像理解是医学图像融合的最终目的, 图像融合的潜力在于综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息, 由于图像融合技术目前还是一个全新的研究领域, 因此, 如何理解和利用这些新的综合信息, 还需要不断地实验和证明。

再者, 在实际图像融合时, 不可能达到绝对最优。到目前为止, 在众多的图像融合优化准则中, 很难说某一种准则一定比另一种好, 特别是不存在一种绝对完美的融合图像做参考, 因此进一步研究能够客观评价不同方法融合性能的标准也是急需解决的问题。

2 医学图像配准及融合的关系及意义

医学图像融合的目的是将最能反映人体生理、病理变化的形态和功能信息突出且真实地显现出来, 主要有两个步骤:图像配准和信息显示。医学图像配准就是寻求两幅图像间的几何变换关系, 使其中一幅图像与另一幅图像上的对应点达到空间上的一致。即人体上的同一解剖点在两张匹配图像上具有相同的空间位置。图像的配准是图像融合的先决条件与关键, 配准的结果应使两幅图像上所有的解剖点, 或至少是所有具有诊断意义的及手术感兴趣的点都达到匹配。

医学图像的配准和融合有着非常密切的关系, 特别是对于多模态图像而言, 配准和融合是密不可分的。配准是融合的前提, 也是决定图像融合技术发展的关键技术, 若事先不对融合图像进行空间上的对准, 那么融合后的图像也是毫无意义的。融合是配准的目的, 通过来自不同影像设备的图像融合, 可以得到更多的信息, 提高影像数据的利用率。在多模态医学图像信息融合中, 是要把相对应的组织结构融合在一起, 而待融合的图像往往来自不同的成像设备, 它们的成像方位、角度和分辨率等因素都是不同的, 所以这些图像中相应组织的位置、大小等都是有差异的, 必须先进行配准处理, 才能实现准确地融合。

3 医学图像融合分类

医学图像融合根据融合对象的不同, 分为单模融合、多模融合和模板融合三种类型。单模融合是相同成像方式的图像融合, 即待融合的两幅图像是由同一设备获取的, 常用于疾病治疗前后的随访或不同病理状态下的对比, 以及运动伪影和设备固有伪影的校对等方面;多模融合是将形态成像和功能成像技术所获得的图像进行融合, 即不同成像方式所获取的图像间的融合;模板融合则利用从健康人的研究中建立的一系列模板作为标准, 将病人的图像与模板图像的融合。

4 图像融合方法

医学图像配准过程实质上是由特征空间、搜索空间、搜索算法和相似性测度四个不同方面的组合过程。按照这种组合, 配准的基本步骤为:特征提取、几何变换、最优化算法。目前图像配准按照配准所依靠的图像特征的不同可以分为基于外部特征的图像配准和基于内部特征的图像配准两种方法。后者由于无创性和可回溯性, 已成为配准算法的研究中心。

在完成图像的几何校正、噪声消除及图像的配准后, 接下来才是真正意义上的信息融合。图像融合的处理流程主要有:图像预处理、特征提取、分类、结果评价与应用。按照融合在处理流程中所处的阶段, 以及所作用的对象的不同, 可以将图像融合分为三个层次:像素级融合、特征级融合、决策级融合。通过信息融合, 将减少或抑制医学图像中的不完全性、不确定性, 从而提高图像分割、识别、解释的能力。根据这三个不同的层次, 图像融合将采用各种不同的算法来实现。现阶段医学图像的融合, 一般只涉及像素级、特征级的融合。像素级融合是最低层次的信息融合, 其实现过程是在采集到的原始图像数据层上直接进行综合分析。它的优点是能保持尽可能多的数据, 提供其他融合层次不能提供的细微信息。特征级融合属于中间层次, 其处理方法是对来自不同成像设备的原始信息进行特征制取, 然后再对获得的多个特征信息进行综合分析和处理。

5 医学图像融合的临床中应用

靶区在图像采集中无变形和失真是图像融合的前提, 由于脑组织相对较为固定, 容易确定标志进行准确配准。目前, 临床主要进行颅脑的图像融合, 它能够精确定位颅内病变, 提高诊断准确性。由于多数体部脏器的形状不规则, 又易受呼吸运动影响, 较难做到准确匹配, 临床应用主要在受呼吸运动影响相对较小的颈部和盆腔开展研究工作, 对受呼吸运动影响较大的肝、胰和肺等脏器也有学者在尝试进行融合。

国内有部分学者在研究形态学成像与形态学成像方面, 利用CT对于骨质、钙化的高分辨率以及MRI对于软组织的高分辨率的特点, 将CT和MRI图像的主要信息进行融合, 增加了图像的信息量, 以期对临床诊断和治疗的定位、观察提供有效的帮助。另有国内学者研究认为多影像融合技术在神经导航方面应用价值较大。

形态学成像与功能成像的图像融合, 可精确定位功能图像所示异常改变区, 提高诊断的准确性。SPECT与MRI融合可精确判断局部脑血流减少的范围及部位, 为脑变性疾病和脑血管病的诊断提供标准化方法。例如:融合图像可精确确定脑变性疾病脑血流减少及消失区, 尤其当病变位于额叶、颞顶枕交界等与神经心理功能有关区域时, 融合图像研究结构和功能改变与临床神经心理改变之间关系更佳。原发癫痫病灶的准确定位一直是困扰影像界的一大难题, 许多学者利用融合技术对此做出了富有成效的探索。例如:于发作期和发作间期, 对癫痫患者分别进行SPECT检查, 将二者的图像相减, 再分别与MRI图像融合, 可使功能损伤的解剖学标记更准确, 以SPECT所示的局部脑血流定位大脑新皮质的癫痫灶进行准确定位, 从而为立体定向外科手术提供重要依据。

PET/CT检查对于肿瘤性病变检出的敏感性和特异性均高于单独应用PET或CT检查, 并且观察PET/CT融合图像所获得的信息多于单独观察PET或CT图像, 是由于其在评价解剖形态的同时, 可以同时获得病变对于显像剂的浓聚情况

在放射治疗中, 图像融合技术在肿瘤3DCRT和MRT中已有广泛应用。功能分子影像提供了病灶中肿瘤组织分布的情况, 提高了肿瘤诊断灵敏度和定位准确性, 从而优化照射剂量, 提高治疗效果, 减少复发。同时也可应用于放疗效果评价和肿瘤复发的监测。随着图像融合技术和放疗技术的不断提高以及乏氧显像剂的应用, 确定并勾画恶性肿瘤的乏氧区域, 追加乏氧靶区剂量, 必将进一步提高恶性肿瘤的局部控制率, 延长患者的生存期。

综上所述, 医学图像融合可综合各种影像学技术的优势, 提供丰富信息, 对疾病的诊断、治疗、判断预后和观察疗效均有重要意义。随着医学影像设备的发展, 功能图像和解剖图像的融合将是一个发展趋势, 在肿瘤的精确定位、癌症的早期检测和诊断中发挥重要的作用。随着功能成像设备和解剖成像设备杂交技术的出现, 图像融合将得到进一步的发展, 势必给临床诊断带来一场新的变革

参考文献

[1]张孝飞, 王强.医学图像融合技术研究综述[J].广西科学, 2002, 9 (1) :64-68.

[2]刘敬华, 钱宗才.医学图像融合技术及其应用[J].医学信息医学与计算机应用, 2002, 15 (5) :258-259.

[3]姜庆娟, 谭景信.像素级图像融合方法与选择[J].计算机工程与应用, 2003, 39 (25) :116-120.

医学图像融合 篇6

针对基于传统模糊理论进行医学图像融合具有的局限性[4], 文中提出了一种基于直觉模糊推理的医学图像融合新方法。将待融合图像的像素值分别用一对隶属度函数值和非隶属度函数值来表示, 当两个输入像素值隶属于相同集合时, 将充分考虑非隶属度对其隶属程度的影响, 帮助更加全面准确的制定出直觉模糊推理规则。通过合适的推理规则得到相应的医学图像融合规则, 融合得到的医学图像具有较高的质量和医学诊断价值[5,6,7]。

1 直觉模糊集

定义1 设P是一个给定论域, 则P上的一个直觉模糊集A

A={p, μA (p) , vA (p) |pΡ}

其中, 0≤μA (p) ≤1, 0≤vA (p) ≤1, 分别称为直觉模糊集A的隶属度函数μA (A) 和非隶属度函数vA (A) , 同时满足对于A上的所有pP, 0≤μA (p) +vA (p) ≤1成立。

对于直觉模糊集A, 定义πA (p) =1-μA (p) -vA (p) 为其直觉指数, 用于衡量p对直觉模糊集A的犹豫程度, 由上述定义可知0≤πA (p) ≤1[8,9,10]。

将直觉模糊理论应用于选举模型中, 可使P代表某一候选人“张三”, p代表投票给该候选人的人数, 则有相应的直觉模糊集A={<张三, 0.7, 0.2>}, 其中隶属度函数μA (A) =0.7表示支持张三的程度, 非隶属度函数vA (A) =0.2表示反对张三的程度, 直觉指数πA (p) =1-0.7-0.2=0.1表示既不支持也不反对张三的程度, 即中立的程度。由此可见, IFS有效地扩展了模糊集描述客观对象的能力。

2 直觉模糊推理融合方法

2.1 图像像素点直觉模糊化

对一个命题运用直觉模糊逻辑处理, 采用隶属度函数和非隶属度函数来描述其属于某个集合的模糊不确定性的程度。语言变量可以被定义为那些不能被精确划分的事件, 例如, “像素点”可以被看作一个语言变量, 取值可为“暗”, “一般”, “亮”, 这些值可以看成是论域P=[0, 1]上的直觉模糊子集标名, 而每一个具体的像素值p称为基变量。将论域中的全部基变量通过隶属度函数和非隶属函数的映射, 即可将图像的全部像素点直觉模糊化。

文中采用的隶属度函数为三角函数, 如图1所示。将像素值论域[0, 1]划分为3个直觉模糊集, 分别用“暗”, “一般”, “亮”表示。文中采用语言变量、语言值、直觉模糊集和直觉模糊关系合成的方法进行推理。

2.2 直觉模糊推理规则

将像素值通过隶属度函数与非隶属度函数直觉模糊化后, 就得到一个从像素集P到评判集Y的直觉模糊关系R∈IFR (P×Y) , 即

R=[ (μR11, vR11) (μR12, vR12) (μR1m, vR1m) (μR21, vR21) (μR22, vR22) (μR2m, vR2m) (μRn1, vRn1) (μRn2, vRn2) (μRnm, vRnm) ]

同时规定各评判因素的权重用P上的一个直觉模糊集X来表示

X={ (μx1, vx1) /μ1, (μx2, vx2) /μ2, …, (μxn, vxn) /μn}, vxi=1-μxi, i=1, 2, …

同时满足i=1nμxi=1。在实际的图像融合处理中, 根据对融合图像的不同要求, 可以对该权重集进行调整。

将对融合图像产生影响的各个因素按权重大小均衡考虑, 构造出直觉模糊推理模型M=F (X, R) =X×R, 即 (μij, vij) = (i=1n (μxiμRij) , i=1n (μxivRij) ) , j=1, 2, , m。通过该模型[11]可以得到像素点的直觉模糊推理结果, 即最大概率的隶属区间。

2.3 图像融合算法

文中的目的是将医学CT图像与MRI图像进行融合, 得到一幅骨骼与软组织均清晰的图像。把图像的灰度区间划分为3个级别分别用“暗D”, “一般N”, “亮B”表示, 其中3个灰度级别的优先级从高到低依次为:“亮”, “一般”, “暗”, 高优先级的灰度可以遮盖低优先级的灰度。将上述直觉模糊推理模型中n取2, m取3, 模型简化为

R=[ (μR11, vR11) (μR12, vR12) (μR13, vR13) (μR21, vR21) (μR22, vR22) (μR23, vR23) ], X={ (μx1, vx1) /μ1, (μx2, vx2) /μ2}, vxi=1-μxi

首先, 将输入图像的对应像素点直觉模糊化, 用矩阵R来表示。然后通过直觉模糊数排序判断出两个输入像素点的最大隶属灰度级别, 直觉模糊数排序规则为: (1) 在隶属度数中进行比较, 得到最大的隶属度值max (μRij) 。 (2) 判断该max (μRij) 是否大于等于与其对应的vRij, 若成立则该直觉模糊数在最大的支持度下属于某级别, 若不成立则该直觉模糊数在最大的质疑度下“属于”某级别, 此种情况的属于我们有可能对其进行怀疑。通过排序后得到两个输入像素点在最大支持度下的灰度级别, 结合灰度级别的优先级遮盖性, 判断出融合图像在该对应像素点处所属的灰度级别, 其共有9种可能的情况: (1) if x1∈D, x2∈D then yD; (2) if x1∈D, x2∈N then yN; (3) if x1∈D, x2∈B then yB; (4) if x1∈N, x2∈D then yN; (5) if x1∈N, x2∈N then yN; (6) if x1∈N, x2∈B then yB; (7) if x1∈B, x2∈D then yB; (8) if x1∈N, x2∈B then yB; (9) if x1∈B, x2∈B then yB;算法流程如图2所示。

当两个输入像素点的灰度级不同时, 融合像素值所属的灰度级别总是取两个输入像素点所属灰度区间中优先级较高的一个, 并令评判权重矩阵X= (1, 0) , 1作为优先级较高的灰度区间系数, 这样就可以充分保留该像素点处的有用信息。

3 仿真实验及分析

3.1 算法结果分析

文中进行的医学图像融合的实验图像为4组CT图像与MRI图像, 如下所示。其中第一、二组为未经处理的源医学图像。第三组是第二组医学图像经模糊化产生的图像, 它可以验证当医学图像质量下降时, 文中算法依旧有效。3组待融合图像如图3~图5所示。

待融合的两幅图像从数据结构上来看, 必须是相同分辨率的经过严格配准的图像。此处将8位灰度图像的[0, 255]灰度区间映射至[0, 1]的双精度区间再对其进行直觉模糊化处理, 然后按照上述融合规则进行输出。图6是利用直觉模糊推理融合出的3组医学图像。

3.2 与模糊推理的对比实验结果分析

利用传统的模糊推理进行图像融合, 得到的实验结果如图7所示。与基于直觉模糊推理的融合方法相比, 其在图像的纹理清晰度上表现较差, 大量的细节信息流失。

融合图像的质量还可以通过一些融合图像评价参数来进行定量评价。文中采用的指标有信息熵E和平均梯度G¯。图像的熵值E是衡量图像信息丰富程度的一个重要指标, 其值越大表示融合图像的信息量越多, 融合图像所含的信息越丰富。信息熵E定义为

E=-i=0i-1pilog2pi (1)

其中, pi为灰度值等于i的像素数与图像总像素数之比。平均梯度G¯可以敏感的反应图像对微小细节反差表达的能力, 一般, G¯越大, 图像层次越多, 图像越清晰。平均梯度G¯定义为

G¯=1 (Μ-1) (Ν-1) i=1Μ-1j=1Ν-1 ( (Ζ (xi, yi) xi) 2+ (Ζ (xi, yi) yi) 2) /2 (2)

表1给出了两组医学源图像的相关融合参数, 可以看到文中提出的方法评价参数明显优于基于模糊推理的图像融合方法。

4 结束语

医学图像融合 篇7

医学图像融合技术是当代医学图像处理领域的前沿课题, 也是当前国内外研究的热点。目前的医学成像模式可分为两类:解剖成像和功能成像。临床上通常需要对一个病人进行多种模式或同一模式的多次成像, 医学影像技术中的x线、CT (Computed Tomography) 、MRI (Magnetic Resonance Imaging) 及超声等属于解剖成像, 分辨率高, 可为人体提供比较详细的人体解剖信息结构;PET (Positron Emission Tomography) 、SPECT (Single Photon Emission Computed Tomography) 、FMRI (Functional Magnetic Resonance Imaging) 等技术则属于功能成像, 分辨率较低, 但可为临床提供丰富的人体代谢信息。把各种医学图像的信息有机地结合起来, 完成多模式图像融合, 不仅可以优势互补, 而且还有可能发现新的有价值的信息[1]。

医学图像融合方法种类繁多, 近年来, 随着科研人员对小波技术研究的进一步深入, 小波技术在图像融合中得到了充分地利用。杨立才[2]和孙海静[3]都对用小波变换和小波包变换所产生的融合效果进行了比较, 两篇文献所采用的数据均为CT图像和MRI图像。进行比较时前者的客观评价指标包括平均梯度、均值、标准差、信息熵和相关系数, 后者的客观评价指标包括信息熵、均方根误差、峰值信噪比和最大互信息, 两篇文献的比较结果都显示小波包变换的融合效果优于小波变换的。张颖[4]和康圣[5]详细介绍了常用的十多种客观评价图像融合质量的方法。本文分别利用小波变换和小波包变换对CT和PET图像进行融合, 并用常用的十多种客观评价指标评价融合质量, 以便分析当对CT和PET图像进行融合时, 小波包是否也优于小波。

1 材料与方法

本文用小波变换和小波包变换对已经配准好了的CT和PET图像进行融合, CT图像为8位位图, PET图像为24位真彩色图像, 进行小波变换和小波包变换时, 所用的小波函数为db2, 对图像进行2层分解。

1.1 小波变换与小波包变换的区别

小波变换把图像分解成低频和高频两个部分, 低频部分表征图像缓变的区域信息, 高频部分表征图像边缘等突变的细节信息。在分解过程中, 低频中失去的信息由高频捕获, 在下一层分解中又将上一层的低频部分分解成低频和高频两部分, 同样, 在这一层低频中失去的信息也由高频捕捉, 依此类推, 可以进行更深层次的分解。由于小波分解只是对低频部分进一步分解, 而高频部分不再分解, 所以采用小波变换将会失去由高频捕捉的部分细节信息。小波包分析能够将图像信号频带进行多层次划分, 对小波变换没有细分的高频部分进一步分解, 从而弥补了小波变换丢失的高频信息[2]。孙海静[3]介绍了小波变换和小波包变换对医学图像进行融合时的具体实现过程。

1.2 融合规则

对源图像A、B分解后的低频部分CL, A、CL, B取平均值作为融合后图像F的低频部分CL, F, 即:CL, F= (CL, A+CL, B) /2。

对源图像A、B分解后的高频部分CH, A、CH, B分别进行3*3区域标准差计算, 取标准差大的高频部分作为融合后图像F的高频部分CH, F, 即:

STDA、STDB分别为源图像A、B在3*3区域的标准差。

1.3 融合质量评价指标

采用熵、交叉熵、互信息、均值、标准差、均方误差、梯度差、相关系数、峰值信噪比和空间频率来评价融合质量。在这些指标中, 均方误差和峰值信噪比都需要理想的融合图像, 由于没有该CT和PET图像的理想融合图像, 求峰值信噪比需要用到均方误差, 将融合图像分别与CT和PET图像之间的均方误差的平均值作为所求的均方误差值, 再利用所得的均方误差值求峰值信噪比。求交叉熵和相关系数时, 将融合图像分别与CT和PET图像之间的交叉熵和相关系数的平均值作为所求的交叉熵和相关系数。所用评价指标的数学表达式可参考文献[4]和[5]。

2 试验结果及分析

2.1 试验结果

待融合的源图像CT图像和PET图像如图1 (a) 和1 (b) 所示, 用小波变换方法融合后的图像如图1 (c) 所示, 用小波包变换融合后的图像如图1 (d) 所示。

用1.3节中介绍的融合质量评价指标对图1 (c) 和图1 (d) 进行比较, 得到的结果如表1所示, 表1中的r、g、b分别为融合图像的红色、绿色、蓝色分量。

2.2 结果分析

从表中的数据可以看出, 小波包变换的熵值比小波变换的大, 可认为小波包变换所包含的图像信息较丰富。小波包变换的交叉熵比小波变换的大, 因此用小波包变换所得的融合图像与源图像对应像素之间的差异较大。小波包变换的互信息值比小波变换的大, 表明用小波包变换所得的融合图像从源图像中所获取的信息量更大。小波包变换的峰值信噪比较小波变换的略小, 可知用小波变换所得的图像失真程度略小。小波包变换的空间频率比小波变换的小, 即用小波包所得的融合图像活跃度比小波变换的小。小波包变换的相关系数比小波变换的大, 说明用小波包变换所得的融合图像与源图像的相关程度高。小波包变换的均值比小波变换的略大, 可认为用小波包变换所得的融合图像比小波变换的明亮。小波包变换的均方误差和小波变换的大致相同, 因此用这两种变换所得的融合图像与源图像在信息上的相似程度大致相同。小波包变换的标准差略小于小波变换的, 即用小波变换所得的融合图像的像素灰度离散特征较小波包变换的明显。小波包变换的平均梯度小于小波变换的, 表明用小波变换所得的融合图像的细节清晰度较高。

3 结束语

由分析结果可知, 用小波变换对CT和PET图像进行融合所得的效果与用小波包变换对CT和PET图像进行融合所得的效果相比, 用小波包变换所得的图像信息较丰富、从源图像中所获取的信息量更大、与源图像的相关程度高且比小波变换的明亮, 但用小波变换所得的图像与源图像对应像素之间的差异较小、所得的图像失真程度略小、活跃度较大、像素灰度离散特征较明显、细节清晰度较高, 另外, 用小波变换进行图像融合处理时, 算法较用小波包的简单。因此, 在对CT和PET图像进行融合时, 小波包并不一定更占优势, 要根据自己的实际需求来决定选择使用小波变换还是小波包变换。

摘要:分别用小波变换和小波包变换对CT和PET图像进行融合, 用常用的十种图像融合质量评价指标对融合效果进行比较。结果表明小波包变换的融合质量评价指标只有部分是优于小波变换的。在对CT和PET图像进行融合时, 小波包并不一定更占优势, 要根据自己的实际需求来决定选择使用小波变换还是小波包变换。

关键词:小波变换,小波包变换,图像融合,CT,PET

参考文献

[1]Qu GH, Zhang DL, Yan PF.Medical image fusion by wavelet transform modulus maxima[J].Optics Express, 2001, 9 (4) :184-190.

[2]杨立才, 刘延梅, 刘欣, 等.基于小波包变换的医学图像融合方法[J].中国生物医学工程学报, 2009, 28 (1) :12-16.

[3]孙海静.基于小波和小波包变换的医学图像融合算法研究[D].沈阳:东北大学信息科学与工程学院, 2006:51-54.

[4]张颖.医学图像融合及融合质量评价研究[D].西安:西安电子科技大学电路与系统专业, 2009:33-49.

医学图像融合 篇8

随着医学影像工程和计算机技术的不断发展,出现了很多成像设备,这样就有多模态的医学图像,这些图像对人体脏器和病变组织的分析有不同的作用,比如CT图像有较强的空间分辨率和几何特性,对骨骼成像非常清晰,但对软组织的对比度则较低;MR图像可清晰反映软组织等解剖结构,但对钙化点不敏感,并且受到磁干扰会发生几何失真。这样可以看出对于人体同一解剖结构所得到的不同图像,在形态和功能信息上是互补的。单一模态的图像往往不能提供足够的信息,可以将互补的图像进行融合。

图像融合技术[1⁃5]就是将来自多个传感器的多幅源图像融合成一幅新的图像,这幅融合图像具有更多的信息和更高的可信度。图像融合技术应用在很多领域,医学图像融合就是其中的一个。图像融合可以分为像素级融合、特征级融合和决策级融合。目前的融合方法大多为像素级融合,常用的有PCA[6]、金字塔变换[7]、小波变换[8⁃11]等融合方法。其中PCA是一种选取最优像素权值的方法,缺点是无法突出光谱特性,不适用于相关性弱的图像融合。金字塔变换的缺点是层间具有相关性,导致融合结果不够理想。

小波变换对保留图像信息具有相当好的性能,通过不同的融合规则可以得到不同的结果。本文提出了一种基于小波变换的医学图像的融合方法。先将待融合的两幅图像进行小波变换,分别得到一个低频和若干个高频分量,然后分别对低频和高频分量进行融合。对于低频分量,采用局部区域能量取大的方法进行融合;对于高频分量,采用局部区域系数之差的加权和的方法进行融合;最后通过小波逆变换得到融合结果。

本文算法的融合结果与几种算法的融合结果作对比,采用熵、平均梯度和互信息三种客观评价标准进行评价,结果表明本文算法有不错的效果,融合结果更加清晰。

1 IVIFDWT算法

本文提出IVIFDWT融合算法,即一种基于小波变换多模态医学图像的融合方法(Multimodal Medical Im⁃age Fusion Based on Discrete Wavelet Transform)。

1.1 IVIFDWT算法规则的设计

小波变换的层数越多,融合结果的细节信息就越丰富,但随着分解层数的增加,图像的结构信息量损失变大,这些信息在小波逆变换后都是不能恢复的,所以小波分解的层数不能过高,一般在2~5层之间。通过实验证明且考虑到运行时间,本文里选2层小波分解。

定义1:设待融合的两幅图像分别为A和B,将这两幅图像分别进行两层小波变换。两层小波变换后,它们的低频分量分别表示为LA(x,y)和LB(x,y),高频分量分别表示为HAh1(x,y),HAv1(x,y),HAd1(x,y),HAh2(x,y),HAv2(x,y),HAd2(x,y),HBh1(x,y),HBv1(x,y),HBd1(x,y),HBh2(x,y),HBv2(x,y),HBd2(x,y),分别为两层小波变换后A图像第一层和第二层水平、垂直、对角高频分量和B图像第一层和第二层水平、垂直、对角高频分量。

这样对图像A和B的低频和高频分量,分别以不同的融合规则进行融合。本文算法规则如下:

(1)低频分量融合规则是将两幅图像低频分量按照系数的区域能量来决定。需要计算低频分量的区域能量,之后根据区域能量的大小来得到低频系数的融合结果。

(2)高频分量融合规则是先计算高频系数局部区域系数之差,再求出这些差的加权和,如果图像A的加权和大于图像B的加权和,选取图像A的高频系数,否则选取图像B的高频系数。

1.2 IVIFDWT算法的原理图

已知待融合的两幅图像分别为图像A和图像B,IVIFDWT算法的原理图如图1所示。

1.3 IVIFDWT算法的描述

本文设计的IVIFDWT算法先对待融合的两幅图像分别进行小波变换,然后使用不同的融合规则分别对低频系数和高频系数进行融合。具体算法描述如下:

1.3.1 低频系数融合方法

将A,B两幅图像的低频系数的分别划分成N×N的区域窗口(尝试将图像划分为3×3和5×5区域窗口分别计算,实验证明3×3的效果相对较好,以下都划分为3×3大小的区域窗口),然后计算每个窗口的能量。假设用EA和EB分别表示图像A和图像B低通子带系数每个窗口的能量,能量公式为[8]:

据以上的能量公式就可以得到一个初步的融合图(Initial Fusion Decision Map),其公式为:

融合规则是,如果图像A的区域窗口能量大于图像B的区域窗口能量,则对应的融合图里的值就是1,否则就是0。

最终的融合图fL_map(x,y)(Final Fusion Decision Map)是通过滤波运算的一致性验证得到的。对于之前得到的初步融合图,如果在一个3×3大小的窗口区域内,中间的是0,其他大部分是0,这时中间的值不变;如果中间的为0,其他大部分是1,这时将中间的值改为1。

可以根据最终的融合图来得到低频系数的融合结果,其结果为:

如果在最终的融合图中值为1,表示这个位置取图像A的低频系数,如果值为0,则取图像B的低频系数。

1.3.2 高频系数融合方法

高频系数反映图像的边缘和细节信息,这里充分考虑了相邻系数,采用相邻系数之差加权和的融合方法。首先计算每个系数和其相邻系数之差,以两幅图像的第一层水平系数为例,其公式为[4]:

则其相邻系数之差加权和的公式[4]为:

式中,N=3,ω为[4]:

根据式(7)和式(8)计算出的局部区域系数之差加权和,得到一个初步的高频系数融合图,其公式为:

融合规则是,如果图像A的局部区域系数之差加权和大于图像B的局部区域系数之差加权和,则对应的融合图里的值就是1,否则就是0。

最终的融合图fHh1_map(x,y)同样是通过滤波运算的一致性验证得到的。对于之前得到的初步融合图,如果在一个3×3大小的窗口区域内,中间的是0,其他大部分是0,这时中间的值不变;如果中间的为0,其他大部分是1,这时将中间的值改为1。

得到最终的融合图之后,可以根据最终的融合图来得到高频系数的融合结果,其结果为:

如果在最终的融合图中值为1,表示这个位置取图像A的高频系数,如果值为0,则取图像B的高频系数。高频的其他分量依次类推。

对融合后的低频系数和高频系数进行小波逆变换,得到最终的融合结果。

2 实验及结果分析

2.1 融合结果

本文算法在Matlab环境中进行实验。实验中的图像来自http://www.med.harvard.edu/aanlib/home.html。本文算法应用于CT和MR的融合,MR⁃T1和MR⁃T2的融合。

2.1.1 CT和MR的融合

图2列出了其中两组CT和MR图像,其中图2(a),图2(c)是CT图像,图2(b),图2(d)是MR图像。

实验结果如图3所示。实验里有三组对比实验分别是像素取平均值法(P_avg),如图3(a),图3(e)所示;小波变换低频分量取平均,高频分量取大值法(DWT_avg_max),如图3(b),图3(f)所示;NSCT变换低通子带系数取平均,带通子带系数取大值法(NSCT_avg_max),如图3(c),图3(g)所示;本文算法如图3(d),图3(h)所示。

2.1.2 MR⁃T1和MR⁃T2的融合

图4列出了其中两组MR⁃T1和MR⁃T2图像,其中图4(a),图4(c)是MR⁃T1 images,图4(b),图4(d)是MR⁃T2 images。

实验结果如图5所示。对比实验同样分别是像素取平均值法(P_avg),如图5(a),图5(e)所示;小波变换低频分量取平均,高频分量取大值法(DWT_avg_max),如图5(b),图5(f)所示;NSCT变换低通子带系数取平均,带通子带系数取大值法(NSCT_avg_max),如图5(c),图5(g)所示;本文算法如图5(d),图5(h)所示。

2.2 结果分析

将实验结果用信息熵、平均梯度和互信息三种评价标准进行评价。信息熵是衡量图像信息丰富程度的一个重要指标,熵值越大说明信息量越大。平均梯度反映了图像中的微小细节方差、纹理变化特征和图像的清晰度,平均梯度越大表示图像清晰度越好。互信息是对两幅图像共享信息的测量,互信息的值越大,图像的融合效果越好。表1是对CT和MR的融合结果的评价,表2为MR⁃T1和MR⁃T2的融合结果的评价。

从表1和表2中可以看出,将本文提出的融合方法和另外三种融合方法相比,本文方法效果比较好。表1是CT和MR融合结果的评价,除了第一组数据DWT_avg_max中的信息熵,本文方法都是最优的。表2是MR⁃T1和MR⁃T2融合结果的评价,除了第二组数据DWT_avg_max中的信息熵,本文方法都是最优的。

3 结语

本文提出了一种基于小波变换的红外和可见光图像的融合方法。对于低频系数,采用基于局部区域能量的方法进行融合;对于高频系数,采用基于局部区域系数之差加权和的方法进行融合。结果表明不管是从视觉效果方面来看,还是从融合结果的客观评价来看,相对同类研究方法,本文方法获得的图像都更好,更为清晰,达到较为满意的效果。

参考文献

[1]段先华,操佳佳,刘佳.改进的PCNN模型在多光谱与全色图像融合中的应用研究[J].现代电子技术,2014,37(3):55-60.

[2]许良凤,林辉,胡敏.基于差分进化算法的多模态医学图像融合[J].电子测量与仪器学报,2013,27(2):110-114.

[3]康晨,曾丹,沈洁,等.图像融合中的彩色图像颜色校正[J].电子测量技术,2014,37(3):54-57.

[4]GANASALA P,KUMAR V.CT and MR image fusion scheme in nonsubsampled contourlet transform domain[J].Journal of digit imaging,2014,27(3):407-418.

[5]BHATNAGAR G,WU Q M J,LIU Z.Directive contrast based multimodal medical image fusion in NSCT domain[J].IEEE transactions on multimedia,2013,15(5):1014-1024.

[6]KUMAR M,DASS S.A total variation-based algorithm for pixel-level image fusion[J].IEEE transactions on image processing,2009,18(9):2137-2143.

[7]BURT P J.A gradient pyramid basis for pattern selective image fusion[C]//Proceedings of 1992 Society for Information Display Conference.San Jose:SID Press,1992:467-470.

[8]王健,郑少锋.基于YUV与小波变换的可见光与红外图像融合[J].西北工业大学学报,2013,33(3):208-211.

[9]徐小军,王友仁,陈帅.基于下采样分数阶小波变换的图像融合新方法[J].仪器仪表学报,2014,35(9):2061-2069.

[10]SINGH R,KHARE A.Fusion of multimodal medical images using Daubechies complex wavelet transform:a multi resolution approach[J].Information fusion,2012,19(3):49-60.

医学图像融合 篇9

摘 要:DICOM标准是现代医学图像保存和传输的国际通用标准,由于其图像格式特殊无法在Windows平台下直接显示和进行参数测量分析。系统采用LabVIEW的运动与视觉模块和DICOM控件进行开发,首先对DICOM图像和图像中的患者身份信息等进行提取显示,然后对图像进行相应处理,提高图像质量,最后通过鼠标点选的方式实现图像中参数测量。

关键词:DICOM图像;图像测量;图像处理

中图分类号:TP391.41

DICOM是一种现代医学图像成像保存和通信的国际化标准,被广泛应用于计算机断层扫描、核磁共振等检测后的医学图像保存与传输当中[1]。由于其保存格式特殊,同时内部包含多种信息,无法借助于通常看图工具在Windows平台中打开,更无法对其进行图像处理和数据测量[2-3]。为了帮助医疗工作者更好的分析DICM图像,完成对图像中距离、周长、角度、面积等参数的有效测量。开发一套DICOM图像的显示、处理以及测量系统具有较强的实际应用价值。

1 系统总体设计

系统采用LabVIEW的运动与视觉模块和DICOM控件共同进行开发。包括图像和病患信息显示、图像处理、参数测量和格式转换保存等功能。其功能结构如图1所示。

2 系统具体功能与实现

2.1 DICOM图像显示功能

DICOM的信息不仅包括多帧的图像数据,还包括病人基本信息、研究层次信息、图像生成设备型号、医院等大量文本信息等。

系统首先通过调用OpenFile属性将DICOM文件导入到系统的内存中,利用DICOMPatientName、DICOMPatientBirthDate、DICOMPatientSex等属性节点对患者姓名、性别、生日等信息进行直接提取与显示。通过调用ImageCoryImageToClipboard属性将DICOM图像的像素信息复制到剪切板中,再送到图像窗口进行显示。

2.2 图像处理功能

图像处理的目的是进一步的提高图片质量,方便后续对图片中的参数进行测量。图像的处理功能共包括四个部分:图像增强、图像去噪、图像二值化和图像边缘检测。

2.2.1 图像增强

医学图像在采集成像时的曝光不充分和过度,以及设备的非线性等问题下会产生图像对比度不足,为了提高其图片可见性,此处采用了灰度均衡化的方法对图像进行灰度拉伸。

2.2.2 图像去噪

医学图像在没有经过处理的情况下,都会存在一定程度的噪声。系统利用图像处理模块中的filters函数,构建中值滤波器,滤除图像中的椒盐噪声。

2.2.3 图像二值化

为了方便图像测量,需要对得到的8比特的灰度图像进行了二值化处理。系统采用AutoBThreshold函数,通过自适应方式获取图像阈值,进行二值化处理。

2.2.4 图像边缘检测

图像的边缘包含许多的特征信息,有效的提取图像中的边缘轮廓,可以帮助医生更好的观察图像中的组织形态。系统采用canny算子进行边缘检测,其得到较多的图像边缘细节信息。

3 参数测量功能

系统的测量功能包括:真实距离和像素距离比例尺设定、两点间距离、三点或两直线间的夹角以及闭合区域面积的测量。

3.1 比例尺设定

通过DICOM控件的属性函数可以得到DICOM文件中图像的长度尺寸,利用运动视觉模块中的GetImageSize函数可以提取到显示图片的长度,两者的比值就是所设定的比例尺。

3.2 距离测量

距离测量时首先通过鼠标在图片上点选两个端点,然后利用欧式公式计算两像素点间距离,再利用比例尺将像素距离转换成真实距离进行显示。

3.3 角度测量

角度测量通过鼠标选择所要测量的角度的三个顶点,系统将三个顶点值保存在一个一维数组中,利用IMAQ Get Angles函数完成角度计算。

3.5 面积测量

面积测量首先对图像进行二值化,再利用鼠标选择测量目标,将目标区域转换成掩膜,利用粒子分析模块对掩模内的像素进行统计,得到像素面积,再利用比例尺将其转换为真实面积。

3.6 图像保存功能

图像测量完成之后,系统利用Writer File函数实现对处理后图像的保存,保存的图像类型由手动方式选择保存。

4 结束语

文章应用图像处理技术设计了一套医学辅助测量系统。该系统基于Labview视觉处理模块和DICOM控件编写,通过其提供的图像处理和检测函数,运用基本测量算法完成了对于医学图像中常见的距离、周长、角度、面积等参数的测量,可以满足医生在临床中的实际需求。

参考文献:

[1]杨波,朱新亚,王健琪,王海滨.医学图像计算机辅助测量系统的设计[J].第四军医大学学报,2001(05):478-479.

[2]陈念年,李波,蔡勇.医学图像的计算机辅助测量[J].西南科技大学学报,2004(01):42-45.

[3]王加俊.基于乳腺X线图像的计算机辅助诊断方法研究[D].苏州大学,2014:1-40.

作者简介:王安(1984-),男,回族,安徽安庆人,讲师,工学硕士,研究方向:生物医学图像处理和计算机视觉。

作者单位:佳木斯大学 信息电子技术学院,黑龙江佳木斯 154007

医学图像融合 篇10

1 几种常用的边缘检测算子

物体的边缘是以图像的局部特征不连续的形式出现的, 也就是指图像局部亮度变化最显著的部分, 例如灰度值的突变、颜色的突变、纹理结构的突变等等, 同时物体边缘也是不同区域的分界处。对于单色图像, 通常认为边缘是灰度陡然变化部分, Herskovits指出了边缘的几种典型情况, 例如阶跃形、屋顶形、边缘-效应形、斜坡-阶跃形等。

由于边缘是图像灰度变化最剧烈的地方, 传统的边缘检测就是利用了这一点, 对图像的各个像素点进行微分或求二阶微分来确定边缘像素点。一阶微分图像的峰值处对应着图像的边缘点, 二阶微分图像的过零点处对应着图像的边缘点。根据数字图像的特点, 处理图像过程采用差分来代替倒数运算。我们定义的梯度算子为:

式子中表示图像的灰度值, 图像边缘提取的常用梯度算子有sobel算子, robert算子, prewitt算子, laplacian算子, canny算子等。

2 像素级图像融合

从以上各个算子提取的边缘图来看, 每个算子提取的图像都有其优缺点, Sobel算子检测对角方向的边缘较好;Prewitt对方向敏感, 边缘较宽, 而且间断点多, 但检测垂直方向的边缘较好;LOG算子检测方法对具有高斯噪声的图像处理效果较好;Canny方法不容易受噪声干扰, 能够检测到真正的弱边缘。怎样结合各种算子的优点, 使得检测出来的边缘更加清晰, 显示的更加明显, 基于这一思想, 本文采用了像素级图像融合的方法, 将不同算子检测出来的汽车边缘图像融合, 获得一副结合不同算子优点的边缘图像。像素级融合原理又称数据级融合, 它是直接在采集到的原始数据层上进行的融合, 在各种传感器的原始则报未经预处理之前就进行数据的综合和分析。

在融合的3个级别中, 像素级图像融合作为各级图像融合的基础, 它能尽可能多地保留场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 这样有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能。目前常用的图像融合技术有:加权平均法、逻辑滤波法、彩色空间法、多分辨塔式算法、小波变换法、卡尔曼滤波算法、模拟退火法和假彩色法。

3 一种基于像素级融合的边缘检测方法

3.1 加权平均法

假设参加融合的两个源图像分别为A, B, 图像大小为N1×N2, 经融合后得到的融合图像为F, 那么对A, B两个源图像的灰度加权平均融合过程可表示为:

式中:ω1+ω2=1。ω1, ω2在不同类的图像融合当中, 通过仿真确定它们的值。当两幅图像很相似时, 合成图像就采用两幅图的平均值, 也就是权值分别为0.5和0.5;当两幅图像差异很大时, 就选择最显著的那一幅图像, 此时的权值为0和1, 上面的权值选择方法基本上都是基于人眼的视觉特征, 而没有考虑到实际应用中的目标特征。Lallier利用军事应用中的目标特征提出了一种自适应的权值选择方法, 所产生的融合算法计算量较少, 适于实时处理, 而且稳定性非常好。

3.2 逻辑滤波方法

另一种将2个像素数据合成为1个像素的直观方法就是对它们进行逻辑运算, 例如:当2个像素的值都大于某一阈值时, “与”滤波器输出为“1” (为“真”) 。图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。“或”逻辑操作可以十分可靠地分割一幅图像。

4 实验结果及分析

比较这四幅边缘图, Sobel算子与Robert算子获得的边缘图比较相似, Canny算子与Laplacian算子获得的边缘图比较相似, 分别对它们进行加权平均, 权值设为0.5:

得到两幅图像 (e) , (f) , 再将这两幅图像进行逻辑滤波, 这里选择的是“或”滤波器, 设定一个阈值, 计算阈值采用的方法是:分别对 (e) , (f) 两幅图像进行全局阈值处理, 采用最大类间方差法, 该方法是在判决分析最小二乘法原理的基础上推导得出的, 算法比较简单, 分别得到两个阈值T1, T2, 经过实验比较, 采用小的阈值为逻辑滤波最后的阈值。最后得到一幅融合后的图像 (h) 。

下面就是采用以上这种方法, 用Matlab获得边缘图像, 用C语言编程获得融合图像:

(h) 图是最终得到的融合图像, 该图融合了不同的边缘算子的优点, 增强了汽车边缘, 并且可使轮廓的间断的地方连接起来, 使得汽车轮廓更加清晰, 明显, 这给提取汽车外形尺寸带来了很大的方便, 最终用于车型识别系统。

参考文献

[1]覃征, 鲍复民等.数字图像融合[M].西安交通大学出版社, 2004.

[2]夏良正.数字图像处理[M].东南大学出版社, 2003.

上一篇:高职医学物理学教材下一篇:丹参制剂