图像配准技术进展研究（精选3篇）
图像配准技术进展研究 篇1
随着医学技术的发展, 医学成像技术已在临床广泛应用, 成为诊断、治疗、预防的重要辅助手段。成像方式主要分成结构性和功能性成像。两种成像技术得出的数据可为临床追踪提供完整的信息, 但由于不同方式形成的医学图像及形成原理、分辨率、各成像参数都不同, 所以在进行不同图像融合前需要对图像进行配准。医学图像配准实际上就是找到一定的空间转换方式, 将不同图像的对应点达到空间和解剖结构上的一致。只有通过图像配准才能将多幅含有不同信息的图像集成起来[1]。
本研究将对医学图像配准相关信息加以概述, 旨在为今后医学图像配准技术的临床应用提供参考。
1 经典的图像配准算法
1.1 维数
(1) 空间图像配准方法:现今临床使用较广的空间配准的方法是3-D-3-D配准, 即三维空间图像间的配准, 主要应用于EEG成像图像的配准。2-D-2-D配准主要应用于肝门静脉成像。2-D-2-D配准相对于3-D-3-D配准, 由于其图像包含的参数个数较少, 数据也较为集中, 所以其配准的速度更快。而2-D-3-D配准由于其成像快, 提供信息量也较大, 所以常用有手术过程中, 以满足短时间内需要提供充足信息的需要[2]。
(2) 时间图像配准方法:就是将一段时间间隔内的空间图像进行配准。如在观察儿童骨生长时就需要使用时间图像配准才能得到一段时间内骨头变化的信息。再如对肿瘤生长情况的观察, 或对一段时间内药物作用的评价[3]。
1.2 图像配准基准的本质
按配准基准的本质, 图像配准可分为基于外部特征的图像配准、基于内部特征的图像配准、基于非图像的配准。其中基于外部特征的图像配准又分为非侵入性的模型、框架或皮肤标记和侵入性的立体定位框架和螺钉标记。此方法的图像配准是在需要成像的空间上加入人造标记。基于外部特征的图像配准能通过精确清晰的观察, 迅速成像, 其配准参数简单, 运算简洁。其缺点是操作人员需要熟练掌握仪器操作, 即对操作人员技术水平要求高, 且由于非侵入性图像配准精确度低, 所以大多使用侵入性配准, 对患者身体造成一定伤害[4]。
基于内部特征的图像配准就是利用患者体内图像信息, 根据其配准标准分为界标法、分割法、体素特征法。其中界标法是指利用一些明显的标记点如解剖特征部位或几何特征部位, 通过识别足够多的标记点来得到原始图像信息。分割法是通过对图像分割来得到配准标记, 从而进行计算。体素特征法是利用图像的灰度信息作为配准依据进行计算的方法[5]。
非图像的配准是基于校准扫描坐标系的影像扫描仪, 这也要求扫描仪处于相同的物理位置, 且患者在扫描的过程中不动。
1.3 转换的本质和域
根据转换的本质图像配准可以分为刚性转换, 仿射转换, 投射转换, 曲线转换。其中基于图像坐标系的转换叫做刚性转换, 它允许图像的平移和旋转。仿射转换是指直线映射成直线时保持其平行性, 但不保持其垂直性。投射转换是指直线映射时其平行性和垂直性都无法保持。曲线转换是指图像直线映射成曲线, 也称之为弹性转换[6]。
根据转换的域可以将图像配准分为全面和局部转换。如果转换应用于全部图像则称之为全面转换, 反之则称之为局部转换。近年来, 研究人员在图像配准中常常进行如下搭配, 刚性和仿射转换与全面转换, 而曲线转换与局部转换相搭配。局部曲线转换可以提供局部的精细准确的内部信息, 如用于观察脑部结构的脑CT;而全面刚性转换则应用范围更广, 因为许多医学图像是刚性线条, 而且刚性全面转换过程中索性的参数更少, 转换的复杂性更小, 配准的速度更快[7]。
1.4 交互性
交互性是指图像配准过程中人参与的程度, 主要分为交互型、半自动型、全自动型。交互型是指操作人员自己对图像进行配准, 软件只提供转换的图像或数字信息, 和可行的初始转换策略, 可分为配准算法的初始化提供型和非初始化提供型。半自动型是指一方面操作人员需要初始化配准算法, 另一方法, 还需要对计算进行指导, 也就是拒绝或接受计算机提供的配准假设, 其可分为操作人员初始化型、操作人员指导或纠正型、两者皆有型。全自动型是指操作人员只提供图像数据或可能用到的信息即可。基于外部特征的图像配准常常使用全自动法, 这是因为图像中的标志物比较明显, 计算机能够自己识别, 而不需操作人员对其进行纠正, 如此也进一步加快了配准的速度。当需要操作人员大致指出标记点时, 可以使用半自动法, 如基于内部特征的图像配准中的标记点法和分割法往往与需要操作者初始化的半自动法联合, 而体素特征法则与全自动法联合。交互法近年来已较少使用[8]。
1.5 优化过程
根据配准参数的求解过程可以将图像配准分为参数直接计算法和参数搜索法。参数直接计算法是指将图像信息简化, 然后直接计算出转换参数的方法。参数搜寻法是指在最优匹配测度的指导下, 使图像转换时达最大相似度, 这一方法需要构建最优匹配测度和能量函数以进行合理变换。实际应用中是多种优化方法联合使用, 可以开始时使用粗略快速算法, 其后使用精确慢速算法, 如Powell法和一维优化法的联合使用, 遗传算法和切分矩形法的联合使用[9]。
2 医学图像配准的应用
医学图像配准主要应用于脑部图像的配准, 其中包括单模型、多模型、模型和患者配准等。单模型图像配准的经典案例是CT。Gueziec等人在1992年进行了3D CT图像配准, 通过配准患者表面的曲率的极致曲线来完成。这项技术随后在1994年和1996年被Thirion应用。Van Herk等人在1994年采用斜面匹配的方法对图像表面进行配准, 这项技术主要是应用计算前距离图像来进行两个表面距离的快速计算。Morris等人在1993年应用刚性和仿射法对MR图像进行配准, 其主要依据原始轴和重力中心提供的信息进行配准。Nakazawa等人在1994年使用曲线法对MR图像进行配准, 其具体过程是对2D切片的结构进行分段曲线或表面的弹性变形。PET图像的配准常常使用3D图像刚性配准[10~12]。Eberl等人使用3D图像刚性配准法对SAD和SPECT图像进行配准。Venot等人引入了DSC标准, 对X光图像进行全面刚性配准。Shields等人对颈动脉的US 2D时间图像进行仿射局部匹配配准。Hill等人使用全自动标记点法计算转换参数, 从而实现了CT和MR图像之间的配准。Alpert利用图像原始轴和重力中心进行刚性3D转换, 进而对CT和PET图像进行配准。Van Herk等人使用刚性斜面匹配法对CT和SPECT图像进行配准。Rubinstein等人使用刚性全自动标记点法对SPECT和MR图像进行配准[13,14]。
3 总结
以上对医学图像配准技术和应用的概述提示医学图像配准在预防, 治疗等方面已占有越来越重要的地位。但是由于一些技术的临床应用研究尚浅, 所以其有效性还存在争议, 所以若要使这些方法发挥充分作用, 仍需对其进行更深入的临床和基础研究。
医学图像配准技术研究 篇2
图像配准是指通过寻找某种空间变换,使来自不同时间、不同传感器或不同视角的同一场景的两幅或多幅图像的对应点达到空间位置上的一致。由于获取时间、角度的不同、环境的变化、传感器的差异等,拍摄的图像容易产生噪声干扰、几何畸变和灰度失真。因此,图像配准算法的精确性、快速性、鲁棒性是目前研究的重点和难点。
医学图像配准技术已经应用于许多领域,如融合来自于不同采集设备的图像之前,先要对图像进行配准;通过比较手术前后的图像,验证治疗的效果;对齐时间扫描序列图像,监控肿瘤生长的情况[1],其他应用还有运动目标识别和跟踪等。
近几十年来,医学图像配准技术的研究取得了显著进展,各种图像配准算法相继涌现,从二维领域到三维领域,从单模态图像到多模态图像,从基于外部特征到基于内部特征,从刚体配准到非刚体配准,研究领域不断扩大。分析了医学图像配准的四个关键要素,并着重从变换模型、相似性度量两个方面探讨了医学图像配准技术的发展。
1 医学图像配准要素
医学图像配准算法由特征空间、变换模型、相似性度量、变换参数的搜索策略四个要素组合而成[2]。
(1) 特征空间。
特征空间是由待配准图像的特征构成的,选择好的特征可以提高配准性能,节约参数搜索时间,增加算法鲁棒性。特征空间一般可分为:特征点,即选取一些几何上或解剖上有意义且容易定位的点组成特征空间;特征曲线/曲面,即提取感兴趣区域的轮廓曲线/曲面作为特征空间;基于像素/体素,即用整幅图像的所有像素/体素共同组成特征空间。前两种方法的信息量较少,因此参数优化相对比较快,但精确度不高。最后一种方法利用图像的所有信息,因此计算量较大,但同时精确度较高。
(2) 变换模型。
变换分为线性变换和非线性变换。线性变换又包括刚体变换、相似变换、仿射变换和投影变换;非线性变换使用较多的是多项式函数。
(3) 相似性度量。
相似性度量是配准标准,通常定义为某种代价函数的形式,用来在给定的特征空间和变换模型下得到最优变换参数。主要分为两类,第一类是建立具体的几何特征相关,使用相关性估计变换参数;第二类是通过优化能量函数来得到最优变换参数。
(4) 变换参数的搜索策略。
图像配准是一个迭代过程,运算量较大,需采用一定的优化措施使相似性度量更快、更好地达到最优值。常见的优化算法有:穷尽搜索法、Powell算法、单纯形法、Levenberg-Marquadrt法、Newton-Raphson迭代法、随机搜索法、最速梯度下降法、遗传算法、模拟退火法等。在实际应用中,经常使用附加的多分辨率和多尺度方法加速收敛,降低需要求解的变换参数数目,避免局部极值。
2 医学图像配准技术的发展
医学图像配准是图像融合的前提和关键,是公认难度较大的图像处理技术,其研究日益受到医学界和工程界的重视。目前,医学图像配准算法的发展主要表现在四个方面,即上述图像配准四个关键要素的选择。在此着重从其中两个方面入手,以研究医学图像配准算法的发展状况。
2.1 变换模型
变换包括全局变换和局部变换,可以是线性或者非线性的。全局变换应用于整幅图像,有刚体变换、相似变换、仿射变换和投影变换。全局变换模型比较简单,但是精度有限。对于形变图像的配准,要求更多的自由度来描述不同的形变,以达到足够的精确度。因此,一般先进行粗略的全局配准,在此基础上再进行精细的局部形变配准,并通过图像金字塔和小波变换[3,4]等多分辨率的方法实现从粗糙到精细的层次配准,提高参数优化速度和增加算法鲁棒性。
局部变换包括:光流模型(Optical Flow)、薄板样条(Thin Plate Splines,TPS)[5]、射线基函数(Radial Basis Functions,RBS)、有限元(Finite Element,FEM)[6,7,8]、空间形变技术如自由形变(Free Form Deformations,FFD)[9,10,11,12,13]等。光流经常用于局部形变的建模,它不保证拓扑不变,而且不一定产生一到一的相关性。TPS和RBS是另外两种普遍的非刚体变换技术,但是它们都要求找到两组明确的相关标记点,因此自动寻找对应的标记点是主要问题,而且标记点的准确性会影响配准的精确度。FEM和FFD是目前图像局部形变建模研究的两种热点技术。
2.1.1 FEM技术
FEM的基本思想是将连续的求解区域离散化,使之成为一组有限数目,且按一定方式相互联结在一起的单元组合体。由于单元能按不同的联结方式进行组合,而且单元本身又可以有不同形状,因此可以精确地进行几何形状复杂区域的建模。文献[6]使用FEM生物力学模型对手术中三维脑部MRI(Nuclear Magnetic Resonance Imaging)图像进行配准。文献[7]在图像已进行全局刚体配准的基础上,使用线性弹性FEM模型进行更精细的局部配准,并在一个基于增量(Incremental)算法的框架内实现,解决图像的几何非线性形变失真问题。文献[8]将非刚体配准算法应用于图像引导手术中,依赖于生物力学FEM模型,使用一个不可压缩的线性弹性构成方程来刻画脑部软组织的机械行为。这里还提出下一步工作,即考虑引入更复杂的先验机械知识来弥补线性弹性模型的局限性。
2.1.2 FFD技术
在图像局部形变模型中, FFD技术因其局部形变的建模能力,不受限制的自由度以及高计算效率而成为研究热点之一。FFD能够隐含地加强平滑约束,对噪声鲁棒,并能通过多分辨率的方法从大到小地进行非刚体形变的建模,其恢复的形变域平滑、连续,保持形状拓扑不变,并且保证了一到一的映射。文献[9]首先在全局配准中使用仿射变换,然后利用基于B样条的FFD模型描述局部形变,并用实验证明其算法对形变域的恢复优于刚体或仿射配准。文献[10]将FFD与多分辨率技术相结合,采用基于多分辨率网格的FFD方法,实现从粗糙到精细的层次配准,从而提高变换参数搜索的优化速度,增加算法的鲁棒性。文献[11]讨论了层次化的B样条在图像配准中的应用,将其分别与FFD、非线性ICP(Iterative Closest Point)、光流三种算法结合,并对配准结果进行比较,证明了后两种方法的局限性。基于层次化B样条的FFD以其从全局到局部的影响、从粗糙到精细的匹配以及高计算效率,已成为图像配准的一个很好的选择。通过对比,进一步验证了FFD技术的优越性。文献[12]在空-时心脏MRI图像序列配准中使用FFD分别描述心脏的三维空间和一维时间上的局部形变,形成空-时形变变换模型,较好地改进了图像序列的空-时配准方法。文献[13]将IFFD(Incremental FFD)模型应用于形状配准中,并在均方误差 (Mean of Squared Differences,MSD)度量中引入特征点约束,在特征点及其精确相关性已知的情况下,可以大大提高配准精度。文献[14]提出一种新的多方法和多数据融合图像配准的算法,通过从全局到局部的变换,实现了精确的非刚体图像配准。全局配准结合了隐含形状表示和互信息度量的优点,使用仿射变换实现了全局配准;局部配准选择基于B样条的多分辨率网格FFD模型,并引入边缘和图像数据融合技术,以充分利用边缘信息,得到平滑、连续且保证一到一映射的形变域。
2.2 相似性度量
经典的相似性度量包括相关函数(Correlation Functions)、均方误差(Mean of Squared Differences,MSD)等。近年来,使用互信息(Mutual Information,MI)作为图像配准的相似性度量,已成为一种广泛使用的较好的方法,尤其在多模图像配准中已成为主导技术。
互信息是信息论中的一个概念,是两个随机变量统计相关性的测度。当两幅基于共同场景的图像达到最佳配准时,它们对应的像素灰度互信息应达到最大。由于该测度不需要对不同成像模式下图像灰度间的关系做任何假设,也不需要对图像进行分割或任何预处理,所以被广泛用于多模图像配准中,特别是当其中一幅图像的数据部分缺损时也能得到较好的配准效果。
文献[15]是最早提出在图像配准中使用互信息技术的文章之一。该文将互信息度量分别应用于MRI图像配准、三维目标模型与实际场景的匹配,通过梯度下降优化方法实现最大化互信息,从而得到配准的图像。文献[16,17]尝试在互信息配准的各个步骤中结合不同的方法,使用Parzen窗计算联合概率密度,通过Marquardt-Levenberg方法[16]或者Jeeves方法[17]最大化互信息。文献[18]联合分层搜索策略和模拟退火算法寻找互信息最大值,而文献[19]通过Brent′s方法和Powell′s多解析方向集方法优化互信息来配准脑部多模图像。文献[20]对互信息配准和其他6种相似性度量配准方法做了比较,包括归一化互相关系数和梯度相关性等,证明了互信息度量在图像配准中的优越性。上面提到的互信息配准方法都是基于整幅图像数据进行相似性度量的。文献[21]将互信息度量应用于提取的特征(区域边界点)上,但这种方法还比较少,其精确度受到所提取特征的准确性的影响。
基于互信息度量的图像配准中存在的问题,主要表现为配准的鲁棒性问题,即在搜索最优变换参数的过程中存在着大量局部最大值的干扰,使得配准过程容易陷入到局部最大值而导致图像误配。针对这个问题,许多文献提出了各种互信息度量的改进形式,例如将边缘相关微分[22]、模糊梯度相似性[23]等几何信息加入到互信息度量的准则中。
3 结 语
医学图像配准是图像处理和计算机视觉中一个重要的研究领域,也是一项比较复杂和困难的课题,其关键要素包括:特征空间、变换模型、相似性度量、变换参数搜索策略的选择等。这里从变换模型、相似性度量两个方面探讨了近年来医学图像配准技术的发展。医学图像配准算法的研究已经取得了很大的进展,各种新算法相继涌现。但是现有算法在某些方面都有不尽人意的缺陷,各有其局限性。医学图像配准技术的研究中还存在许多需要解决的问题,例如形变图像配准的结果精确度与算法复杂性的矛盾,三维图像配准的大数据量问题、彩色图像的配准等。
摘要：医学图像配准是图像处理和计算机视觉中一个很重要的研究领域。首先分析医学图像配准的四个关键要素,然后着重从变换模型、相似性度量两个方面探讨了医学图像配准技术的发展,最后提出医学图像配准中有待进一步研究的问题。
图像配准技术进展研究 篇3
关键词：单点配准,零阶插值,数字景区
上世纪七十年代, 美国首次提出的图像配准技术在军事领域发展迅速。随后, 这项技术在模式识别、遥感图像处理等其他领域也得到了推广和研究。虽然图像配准技术在不同领域都有其特定技术, 但由于其方法上的相似性, 使得图像配准技术在各领域之间有着很好的移植性。
1 在应用上, 图像配准技术可以分为以下四类[1]
1) 多模态配准, 即不同传感方式在相同场景下对得到的图像进行配准。
2) 模板配准, 即在图像中为参考模板样式寻找最佳匹配。
3) 观察点配准, 即对从不同观察点获得的图像进行配准。
4) 时间序列配准, 即对时间不同的同一场景中图像进行配准。
2 图像配准的数学模型
不同的配准技术对应不同的变换模型, 其中图像的形变特性是影响变换空间的选取的重要原因。一般常用的变换运算有平移、缩放及旋转, 而典型的图像变换则为非线性变换、仿射变换、投影变换和刚体变换几种[2]。
3 图像配准的方法
一般情况下图像配准方法大致分为以下三种[3,4]:
1) 基于灰度信息的图像配准方法
这种方法是由Rosenfeld提出的交叉相关 (Cross-Correlation) 法[5]。它主要用于进行模式匹配和模板识别。对于一幅图像f (x, y) 和相对于图像较小尺度的模板T, 该方法为表示图像模板上的每一个位移位置的相似程度, 采用二维交叉归一化相关函数C (u, v) [6]。
为使二维交叉相关函数在C (i, j) 出现峰值, 应必有条件为:除去一个灰度比例因子外, 图像和模板在该位移处匹配恰当, 同时要求该相关函数必须能归一化。
2) 基于特征的图像配准方法[7,8]
在基于特征的情况下, 图像配准可以按下述三个步骤进行:
(1) 特征提取:为了进行配准, 提取图像特征, 如灰度或者是几何特征。
(2) 特征匹配:对提取的特征针对两幅图像进行特征的查找和匹配。
(3) 图像转换:由上述两步后得到相应图像的变换参数, 把带入到相应的转换式完成两幅图像的配准工作。
3) 基于理解与解释的图像配准方法
采用基于理解与解释的图像配准方法, 具有很高的主动识别能力。因此这种方法有着比较高的精度和可靠性等特征。该技术需要涉及到模式识别、计算机视觉以及人工能等多个领域, 而且在理论上也还显得不够成熟, 在硬件上更需高速度的并行计算机, 因此该方法还没有得到明显的发展。
根据上述配准技术, 综合数字景区的具体需求, 该文使用单点配准技术来对某景区配准, 同时还采用了校正和插值技术。假设用f (x, y) 表示原图像, 在受到几何形变的影响后变成g (x’, y’) 。校正几何失真就是既要根据 (x, y) 和 (x’, y’) 的关系来进行由 (x’, y’) 确定 (x, y) 。同时也要求根据f (x, y) 和g (x’, y’) 的关系由g (x’, y’) 确定f (x, y) 。
这样, 图像的几何失真校正可以概括如下两步:
(1) 为恢复原空间关系实现空间变换, 重新排列图像平面上的像素;
(2) 为恢复原位置的灰度值, 将对图像赋予相应的灰度值以实现灰度插值。
假设原有图像为f (x, y) , 而受到几何形变的影响后形成g (x’, y’) , 那么上述情况用数学公式可列为:
如果解析表达式s (x, y) 和t (x, y) 已知, 那么就可以通过反变换来恢复原有图像。
另外, 我们还可以在失真图和校正图中找一对对应的具体点, 然后采用失真模型计算出失真函数中的每个系数, 以建立两幅图像素空间的映射关系。两个图像有四组对应点, 即它们的顶点, 由此我们可得到下面的关系式:
由于上述有8个系数, 而对应的有8个方程, 因此上式的8个系数可全部得到。采用这8个系数, 我们则可以为其他的所有点建立映射关系。同时一幅图可分解成若干四边形的集合, 而我们都可以找足够多的点以计算我们所需要的相关系数值。
在简化的情况下, 我们只考虑平移而排除形变, 则有公式为:
下面我们来介绍插值灰度的计算方法, 对于这种计算的方法有很多种, 而最优的则为零阶灰度插值[2]。图1表示灰度插值示意图, 左图为原图, 右图为失真图。而几何校正的目的就是将失真图变换为原始图。从图中我们可以得知原图的坐标值 (x, y) 对应失真图的坐标值 (x’, y’) , 但在 (x’, y’) 却没有定义。现我们要做的工作就是估计出 (x’, y’) 点的灰度值来赋给原图 (x, y) 处的像素, 一般是采用邻近点的值, 以实现灰度插值。
结合数字景区实际情况, 游客往往对景区三维漫游中的地形的精度要求不是很高, 因此可采用单点配准方法。
此方法在google地图的基础上进行, 因为此时提取的景区图像是正南北向的, 图像变换无需旋转。为了简化计算, 可以用同一缩放率提取[1]。
下面以景区遥感地形图2和景区遥感地形图3的配准为例, 给出景区图像配准的方法, 为景区图像的配准提供可供参考的道路。
实施步骤:
1) 提取特征点
对图2和图3中做红色标记的地方提取特征点, 因为它们的缩放比相同, 因此, 我们只需选取一个对应点就可, 这就是单点配准。在具体配准中, 我们选取标注处的拐点做为特征点。然后通过图像分割, 得到标注区域内的四边形轮廓线, 而之上的x最小值点就是特征点。假设图2的选取特征点为A (x0, y0) , 而图3的选取特征点为B (s0, t0) 。
2) 对特征点进行配准以及其变换关系
上述定义的点A和点B即为对应两幅图的相关特征点, 而图a为基本的图像, 可以得到两幅图像对应点的变换关系为:
其中 (x, y) 和 (s, t) 分别为两个图像在不同坐标系上的坐标。
3) 图像重采样及变换
对于景区遥感地图a中的点, 其像素值不变;但是对于景区遥感地图b中的点, 像素值赋给景区遥感地图a中横纵坐标分别加上偏移量后的点。而对于由于偏移而照成的非整数点, 可以采取用最邻近插值的方法来提高速度。
参考文献
[1]刘传山.数字景区三维建模关键技术研究[D].山东科技大学, 2009.
[2]章毓晋.图像处理[M].北京:清华大学出版社, 2006:57-68.
[3]Rusinck H, Levy A.Performance of two methods for registering PET and MR brain scans[J].Conf Record 1991.IEEE Nuclear ScienceSymp Med Image Conf, 1991, 3 (4) :20-96.
[4]Besl P J, Macky N D.A method for registration of 3-D shapes[J].IEEE Trans patt Anal Mach Intell, 1992, 14 (4) :220-241.
[5]Rosenfeld A.Kak A.C.Digital Picture Processing[J].Academic Press, Orlando, FL, 1982, 1 (1) :421-426
[6]Svedlow M., McGillem C.D., Anuta P.E..Experimental examination of similarity measures and preprocessing methods used for imageregistration[J].Symposium on Machine Processing of Remotely Sensed Data, 1976, 9 (12) :3-10.
[7]Philippe Thevenaz, Michael Unser.Optimization of mutual information for multiresolution image registration[J].IEEE Trans.On ImageProcessing, 2000, 9 (12) :2082-2098.