自动配准技术（共7篇）
自动配准技术 篇1
1 待配准影像坐标变换模型分析
从航空影像图像配准的概念出发来分析问题的话, 航空影像图像配准实际上是指如何将两幅待配准影像进行整合, 整合到同一个坐标空间的过程。在这个过程中, 我们需要实现的就是两幅航空影像待配准影像相对位置的正确解释。这个正确解释的过程需要通过数学模型来进行表达, 这种数学模型实际上表达的是一种图像映射关系。
从目前的应用和研究上看, 最常用的坐标变换模型主要包含了以下几种。
1.1 投影变换
所谓投影变换, 是指假设一幅航空影像图像上的直线经过某种变换后, 映射到另一幅航空影像图像上的结果还保持直线的时候, 但是打破了原来的相对平行关系, 那么这种变换就可以称之为投影变换。从应用上看, 航空影像投影变换主要应用于景物平面相对于相平面有一定倾斜的情况。
1.2 仿射变换
所谓仿射变换, 是指假设一幅航空影像图像上的直线经过某种变换后, 映射到另一幅航空影像图像上的结果还保持直线的时候, 但是没有打破原来的相对平行关系, 那么这种变换就可以称之为仿射变换。从应用上看, 仿射变换还可以分成两种, 分别是线性 (矩阵) 变换和平移变换。
1.3 非线性变换
所谓非线性变换通常也可以称之为弯曲变换。它实际上是指一幅航空影像图像上的直线映射到另一幅航空影像图像上的结果并不是直线, 而是曲线的情况。因此, 非线性变换可以应用来解决全局形变的图像配准问题, 同时对于整体近似刚体但局部有形变的配准情况也可以适用。
1.4 刚性交换
所谓刚性交换, 是指在变换的过程中一幅航空影像图像中的两点间的距离经刚性变换变换后, 在另外航空影像图像中所呈现出来的结果与之前的图像没有发生相对位置上的变化。从应用上看, 刚性交换可以分解成为三种, 分别是平移、旋转和反转 (镜像) 变换。
2 仿射变换参数的最小二乘解
运用仿射变换模型可以建立两幅航空影像待配准图像之间的关系, 从而实现了对两图像的配准。但在整个过程中, 还需清楚两幅航空影像图像之间的仿射变换的相关参数。这些相关参数可以通过方程的模式来解决, 根据以往的研究结果, 需要确定的变换参数有四个。而参数的最小二乘解就是使一个点集中的点经过仿射变换后的坐标与另一个点集中对应的点的坐标的欧氏距离的平方和最小的变换参数, 利用该原理可以很好的解决上述问题。
3 航空影像图像重采样
通过以上两个过程, 可以得出航空影像自动配准仿射变换参数, 根据所得参数可以将一幅图像的坐标转换到另一幅图像的坐标中去, 然而待配准航空影像图像中任意像素点的坐标经过坐标变换之后, 通常会出现这样的情况:变换后的坐标点不是刚好由原图像的某个网格点变换而来此时像素点的灰度值就需要根据原图像相应坐标点周围像素的灰度值按照一定的权函数内插得到, 这种内插技术被称为图像重采样。
目前常用的插值方法重要包含了以下三种方式, 通过实践应用, 都表现出了各自的优点和不足。
3.1 最邻近插值法
优点:速度最快, 同时在保持最快速度的基础上, 对于原始航空影像图像的灰度信息也进行了最大限度的保护。
缺点:在几何精度方面存在一定程度的差异, 因此会出现马赛克效应。
3.2 双线性插值法
优点:航空影像图像连续, 并保持较高的精度, 其相应速度也比较快。
缺点:在应用过程中可能会出现模糊的现象, 因为双线性插值具有的低通滤波性质, 这种低通滤波性质抑制了高频成分从而导致了上述问题的发生。
3.3 双三次卷积法
优点:在保持灰度连续的基础上, 可以实现对高频信息的有效保留。
缺点:在应用过程中会遇到很多复杂的计算, 这样必然会对于速度产生一定程度的影响。
4 航空影像图像配准基本方法的步骤
从目前针对航空影像图像配准基本方法的研究现状上看, 航空影像图像配准基本方法主要包括以下的基本步骤。
4.1 特征检测 (Feature detection)
特征提取的精度和效率对整个算法的性能有很重要的影响, 因此, 它是整个图像配准算法的基础。图像特征基本上可分为三类:点特征, 常用提取算子有MoraVec算子、Harris算子等;线特征, 常用提取算子有Hou曲变换算子等;面特征, 主要通过区域分割方法得到。由于特征点是一种稳定、旋转不变、能克服灰度反转的有效特征, 因而常被使用, 其中常用的特征点是角点, 角点特征的提取正是本文研究的重点之一。
4.2 特征匹配 (Feature matching)
目前, 关于特征点的匹配问题, 国内外已经报道了相当多的算法, 其中松弛算法是经典算法的代表, 它最早由Ranade S.提出, 但该算法对存在丢失点或虚假点的情况显得无能为力。后来Jezching和Anil引入匹配矩阵的概念对松弛算法进行了改进, 但改进的算法必须保证两个点集中能够存在一半以上的有效点。Z.Zhang和R.Deriche给出了一个较好的基于互相关函数的点特征匹配算法。以上算法采用了不同的相关准则来度量特征点的相似度, 通过初始匹配和进一步加上一定约束条件来筛选匹配点对的模式来得到精确的特征点匹配点对。
4.3 变换模型的估计
在得到两幅图像中一定数量的匹配点对后, 就可以根据这些匹配点对确定这两幅图像之间映射函数的参数, 从而建立起两坐标之间的函数关系式。
4.4 图像重采样和变换
按照上一步骤得到的函数映射模型及参数进行坐标变换, 并对变换后的坐标点上的像素值进行插值, 插值。
摘要：图像配准技术正在被得到越来越广泛的应用, 所涉及到的领域已经包含了遥感、自动目标识别、智能机器人和医学图像处理等等。通过在上述领域中的不断应用, 图像配准技术受到了广泛的关注。鉴于此, 本文选择航空影像自动配准技术为研究对象, 针对相关问题进行了分析与阐释。文章首先分析了待配准影像坐标变换模型, 然后阐述了仿射变换参数的最小二乘解, 在分析航空影像图像重采样的基础上最后介绍了航空影像图像配准基本方法的步骤。希望本文的研究能够为航空影像自动配准技术的进一步研究和应用提供指导和帮助, 同时对于相关领域的其他研究也能起到抛砖引玉的作用。
关键词：航空影像,自动配准技术,坐标变换模型,图像重采样
参考文献
[1]张迁, 刘政凯, 庞彦伟, 等.基于SUSAN算法的航空影像的自动配准[J].测绘学报, 2003, 32 (3) :245-250.
[2]杨常清, 王孝通, 徐晓刚, 等.基于特征空间的航空影像自动配准算法[J].测绘学报, 2005, 34 (3) :218-222.
[3]王志强, 程红, 孙文邦, 等.一种基于梯度最大值相位相关的航空影像自动配准算法[J].地理与地理信息科学, 2008, 24 (6) :111-112.
[4]Wang Zhiqiang, Cheng Hong, SunWenbang, et al.Based on improvedHarris algorithm for image automaticregistration algorithm of remote sens-ing information, 2008 (6) :18-21.
自动配准技术 篇2
传统的利用几何精校正的方法进行配准, 操作需要选择大量的控制点, 这是非常枯燥的、劳动密集性的、重复并且费时的工作。本文使用ERDAS IMAGINE 9.1的auto sync功能模块研究遥感图像的自动配准方法, auto sync模块主要提供图像自动配准的边缘匹配向导和工作站流程, 并与传统的基于几何精校正的方法进行比较, 详细阐述了利用ERDAS IMAGINE 9.1进行遥感图像的自动配准方法, 发现采用手动选取控制点的方法可有效地解决图像自动配准的平移、旋转和比例缩放问题, 进而实现遥感数字图像的快速、高精度自动配准。
二、图像配准的基本原理
图像配准问题可以定义为两幅图像象素坐标和灰度值上的双重映射。设图像分别为I1 (x, y) 、I 2 (x, y) , I1 (x, y) 、I 2 (x, y) 分别代表象素点的灰度值。如上所述的映射关系为:
其中f为2D空间几何变换, g为灰度变换;配准问题就是要寻找最优的变换f, g, 在此变换下将两幅图像最大程度地对齐, 从而可以进一步处理图像。通常意义的配准只关心位置坐标的变换。灰度变换可以归为图像预处理部分, 所以寻找空间几何变换关系f便成为配准的关键所在。于是上式可改写成更为一般的表示方式:
常见的几何变换有:
1) 仿射变换通常具有四个参数:tx, ty, s, θ, 若点 (x1, y1) , (x2, y2) 分别为基准图像与模板图像中对应的两点。
2) 投影变换, 若场景由三维空间中一相对于图像平面倾斜的平面构成, 这时便需要投影变换将场景平面映射到水平的图像平面上。以 (xp, yp) , (xi, yi) 分别表示场景平面与图像平面内的对应两点。
三、遥感图像的配准方法
1、用几何精校正的方法配准
1) 图像几何校正的途径。在ERDAS图标面板工具条上选择Data Prep图标, 点击Image Geometric Correction进入Set GeoCorrection Input File对话框, 需要确定校正图像。
2) 图像几何校正的计算模型。这里提供了9种计算模型。
3) 图像几何校正的具体过程:
a显示图像文件, 在Viewer1中打开需要校正的图像, 在Viewer2中打开作为地理参考的校正过的图像;b启动几何校正模块, 定义了投影参数和多项式次方数为2。c启动控制点工具, 在GCP Tool Referense Setup对话框中选择采点模式为选择视窗采点模式, 在显示作为地理参考图像中点击左键就打开reference Map Information提示框。点击OK, 进入控制点采点状态。d采集地面控制点, 在GCP工具对话框中, 选择Select GCP图表, 进入GCP选择状态;在GCP数据表中, 将输入GCP的颜色设置为比较明显的黄色;在Viewer1中移动关联方框位置, 寻找明显的地物特征点, 作为输入GCP;在GCP工具对话框中, 选择Create GCP图标, 并在Viewer3中定点, GCP数据表将记录一个输入GCP, 包括其编号、标识码、X坐标和Y坐标。选择参考控制点与以上相似。重复以上操作, 直到满足所选定的几何模型为止。e采集地面检查点, 这时在输入图像上选一个控制点, 自动的在参考图像上就会生成与之对应的控制点。f计算转换模型在Geo-Correction Tools对话框中, 选择Display Model Properties图标, 可以查阅模型。g图像重采样, 对话框中选择Image Resample图标。然后, 在Image Resample对话框中, 定义重采样参数;定义输出图像文件名rectify.img, 选择重采样方法:Nearest Neighbor, 定义输出图像范围其中包括输出像元的大小、设置输出统计中忽略零值、定义重新计算输出缺省值。h保存几何校正模式。
2、利用ERDAS IMAGINE 9.1中Auto Sync模块的配准
1) 点击Auto Sync图标, 选择Edge Matching Wizard, 在输入选项卡上, 打开文件图标, 输入要配准的图像, 再打开文件图标, 输入参考配准的图像。
2) 选择APM Strategy标签, 可以选择其中输入图层使用, 以达到更好的点配准的结果。确定明确的模式Defined Pattern。
3) 选择Edge Match Strategy标签。选择多项式次数为2。中误差阈值选取0.5, 确定缓冲区周围的重叠面积大小是180。
4) 为输出图像设定一个投影。选择Resample, 点击Resample Settings标签, 选择重采样方法是立方卷积。然后打开输出文件名设置对话框。选择Save, 保存刚刚创建的文件名。选择Finish, 就完成配准的过程, AutoSync Job状态对话框出现, 说明配准运作的进展情况。
5) 显示输出的图像。在ERDAS图标面板菜单条上点击Viewer图标, 选择Classic Viewer。在打开文件里打开刚刚保存的文件。
6) 使用“Viewer Swipe”工具, 选择Utility Swipe出现Viewer Swipe对话框。
四、精度评价
以ERDAS IMAGINE 9.1为平台利用几何精校正的方法进行配准, 以ERDAS IMAGINE 9.1为平台利用Auto Sync模块进行自动配准。
1) 自动配准的方法速度比较快, 操作方便、简单, 对于初学者也比较容易掌握。
2) 从配准的精度来看自动配准方法稍微高于几何精校正的方法。
3) 在控制点选取个数上:一般为了配准精度更好都需要选取9—12个控制点。而自动配准方法只需要3个控制点。同一传感器的图像不需要选取控制点就能完成配准。如果多项式的次数选择3的时候, 利用几何精校正的方法进行配准需要选取10-15个控制点。而自动配准的方法还是选择3个控制点。
摘要：本文主要通过在ERDAS IMAGINE9.1软件平台上以TM图像、SPOT图像等数据利用auto sync模块进行实验, 实现了遥感图像的快速、高精度配准。最后将配准结果与传统的几何精校正的方法进行比较分析, 并评价配准精度。结果表明:利用ERDAS IMAGINE9.1的自动配准功能所完成的配准图像, 精度完全满足生产应用要求, 且处理流程简单, 大大减少了图像配准的工作量。
关键词：ERDAS IMAGINE,遥感图像,自动配准,几何精校正
参考文献
[1]孙即祥.图像处理[M].科学出版社, 1999:21-28.
[2]党安荣, 王晓栋, 陈晓峰, 等.ERDAS IMAGINE遥感图像处理方法[M].清华大学出版社, 2000:99-102.
自动配准技术 篇3
关键词：计算统一设备架构(CUDA),尺度不变特征变换,图像配准,图像拼接
0 引言
眼底图像对眼底疾病的早期发现、诊断及指导治疗有着重要的意义。眼底照相机一次成像只能获取眼底局部区域(45°视场)的图像,为了满足临床诊断和研究中对大部分或整个眼底区域图像进行处理和分析的需要,需将相互有部分重叠的两幅或多幅不同视场区域的眼底图像进行配准、融合,得到包含各图像信息的较宽视角的高分辨率拼接图像或全景图像。图像拼接主要包括图像配准和图像融合,图像配准是图像拼接的关键技术,该技术已经广泛应用于遥感、医学影像、模式识别和计算机视觉等领域[1,2]。图像配准方法主要分为两类[2]:基于区域的方法和基于特征的方法。基于区域的方法很难校正眼底图像的高阶几何畸变,而基于特征的方法可以快速、高精度地确定图像间的控制点对,进行高质量配准。配准时计算复杂的特点决定了算法耗时较长,为此,需从计算科学的角度引入并行计算来实现快速、实时配准。计算统一设备架构(compute unified device architecture,CUDA)是基于NVIDIA图形处理器(graphic processing unit,GPU)硬件的完整的并行计算架构,该架构协同CPU(主机)处理串行、逻辑性任务且协同GPU(设备)处理线程并行任务,在GPU上执行的函数称内核函数。CUDA程序由主机的多个串行处理步骤和设备的多个并行处理步骤组成,每个内核函数作为一个并行处理步骤分为线程网格(grid)中线程块(block)间并行和线程块中线程(thread)间并行,即实现GPU多个图形处理核心的单指令多线程并行。CUDA通过不同类型的存取器进行数据存储和线程间通信(如适合图像处理的纹理存储器是CUDA提供的一种通过显存、缓存、纹理拾取单元的纹理流水线等加快存储器访问速度的一种功能,而不是专门的物理存储器,适用于图像存在大量空间局部性的情况。可通过在显存中分配线性存储空间或者CUDA数组,然后绑定到芯片上的纹理缓存,通过纹理拾取,对纹理存储器中的数据进行快速读取),充分利用GPU的处理能力,大幅度提升计算性能,在图像与视频处理、CT图像再现等领域有着重要应用。
Can等[3]研究了人眼视网膜图像配准,提出一种基于特征的鲁棒分层算法来配准视网膜图像。张二虎等[4]研究了基于互信息的视网膜眼底图像配准方法。Ryan等[5]研究了基于界标对应期望值最大化的眼底图像配准。Yang等[6]研究了二维图像配准算法,提出用于图像配准变换估计的GDB-ICP算法。Lee等[7]研究了基于投影成像畸变模型的视网膜图像配准。
综上,眼底图像对比度低、光照不均匀等特点决定了其配准和拼接算法需要具备高质量、高精度的鲁棒特征,特征检测、匹配、提纯等耗时较长,单纯的算法优化已经提升空间不大,特征简化则会影响到算法的精度和鲁棒性,因此,本文采用硬件CUDA加速的并行计算方案来加速眼底图像配准拼接。本文提出了一种基于CUDA的眼底图像自动配准与拼接算法,该算法分析各算法模块的并行性,利用CUDA对不同视场眼底图像的有效视场进行同态滤波增强、图像尺度空间中的特征点检测、各个特征点具有尺度不变性和旋转不变性的描述符生成、不同图像间的特征点匹配点对计算,最后根据RANSAC算法中透视变换模型去除误匹配点对,计算变换矩阵,完成图像配准和拼接。
1 CUDA加速SIFT特征提取及匹配
尺度不变特征变换(scale invariant feature transform,SIFT)算法[8]通过高斯差分尺度空间进行特征点检测和提纯,生成各个特征点的具有尺度不变性、旋转不变性、仿射不变性的特征描述符。描述符具有良好的重复性、独特性和鲁棒性,可实现图像间的特征点精确匹配,但算法耗时较长,为此,通过CUDA协调CPU和GPU的并行计算以加速SIFT算法,加快特征点检测、描述符生成、特征点匹配以及后续配准拼接速度。
CUDA加速的实现方式是:由主机处理串行部分代码,将并行处理的数据拷贝到设备存储器中,通过设备的并行处理机制来加速数据处理,然后将处理结果拷贝回主机存储器,中间需要主机和设备的协同处理。本文的算法流程如图1所示。
1.1图像前处理
为了消除眼底图像对比度低、光照不均匀等对特征点提取的影响,结合后续特征提取的特点进行了图像前处理。眼底图像频域增强方法可以克服空域增强方法中特征点精度不高的缺点,有效增强视盘、血管、病灶等主要特征,保证特征点的精度,增加稳定特征点的数量,因此根据眼底图像的成像原理,采用照度-反射模型进行频域同态滤波增强的前处理,压缩照度分量的动态范围,增强反射分量的对比度,以解决照度分量不均匀分布和动态范围过大等问题。
根据眼底图像的特点,用有效视场图像掩膜的方法来限定图像增强和特征点提取的区域,将真彩色眼底图像转换到HSI空间,同态滤波后再转换到RGB空间,用CUDA的CUFFT库加速同态滤波中的快速傅里叶变换,增强后的图像用于后续特征提取,原图像用于后续拼接。其中,颜色空间转换公式如下(由于彩色眼底图像的H统计值为0°～120°,为此仅给出了该范围反变换公式):
式中,H、S、I和R、G、B为HSI和RGB空间各颜色分量。
1.2建立图像尺度空间
在设备上分配高斯金字塔和高斯差分金字塔的全局存储器空间,采用二维grid和二维block的内核函数,将同态滤波增强后的图像Ih(x,y)拷贝到设备上分配的全局存储空间并绑定为二维纹理,对Ih(x,y)进行采样和高斯核卷积后存入高斯金字塔指定层,然后用二维纹理绑定各层图像与高斯核函数G(x,y,σ)的卷积和不同阶图像下采样,高斯核卷积可分垂直和水平两步进行,结果图像L(x,y,σ)存入高斯金字塔中相应的层。图像L(x,y,σ)表示为
式中,*代表卷积操作;σ为尺度因子。
为了更有效地检测出尺度空间中的稳定特征点,使用高斯函数之差对图像进行卷积操作,得到高斯差分函数(difference of gaussian,DOG)。采用二维grid和二维block的内核函数,将高斯金字塔中的图像与二维纹理存储器绑定,将每阶相邻图像相减,完成高斯差分金字塔构建,即
式中,k为常数,文中k=21/3。
1.3特征点提取和描述
尺度空间建立后,采用二维grid和二维block的内核函数,将DOG图像与二维纹理寄存器绑定,对高斯差分金字塔中每阶的中间层图像进行特征点检测,中间各层图像的被检测像素要与26个像素点(同一尺度的8个像素以及相邻尺度的各9个像素,中间层检测点可以看作3×3×3立方体的中心体素)进行比较,若被检测像素的值为局部极值点,则该点选为候选特征点。
由于DOG图像反映了图像轮廓特征,对噪声和边缘较敏感,因此拟合三维二次函数以精确定位特征点,去除对比度值的绝对值低于设定阈值的低对比度特征点,去除主曲率过小的边缘特征点。
在设备上分配梯度和方向计算所需的全局存储器空间,对特征点所在的尺度空间图像L邻域像素梯度方向进行直方图统计和缩减,确定特征点主方向,为各个特征点建立具有尺度不变性、旋转不变性的描述符,用128维的特征向量来描述每个特征点。
1.4特征点匹配和提纯
眼底图像的特征点及其特征描述符确定后,可根据参考图像和待配准图像各自特征点描述符向量之间欧氏距离的相似测度来进行特征点匹配,该匹配是高维向量空间中的相似匹配问题。
为提高特征点匹配的稳定性,采用最近邻匹配方法:将待配准图像特征点及描述符信息拷贝到设备存储器,采用二维grid和二维block的内核函数计算、查询与参考图像中每个特征点对应的待配准图像中欧氏距离最近的两个特征点,若最近距离与次近距离之比小于设定的最近邻阈值,则参考图像中的特征点与待配准图像中与其欧氏距离最近的特征点为匹配点对。根据该方法中的单向匹配,可以提出双向匹配的方法,即在单向匹配基础上加入待配准图像与参考图像的匹配点对。
由于穷举法在欧氏距离计算时,计算复杂度高,计算量大,故CPU计算时常采用改进k-d树的BBF算法[8]来进行SIFT特征向量匹配,该算法可以采用限定k-d树搜索顺序的方法来限定搜索的最大次数,从而提高对高维空间的搜索效率,而GPU的计算模式适用于穷举法快速并行计算。特征点匹配阶段,用有效视场掩膜的方法限制用于匹配的特征点范围,提高匹配效率,以避免后面误匹配点对的增加。
特征点匹配是图像配准的关键,提高特征点匹配的正确性和精度,可以保证图像配准的精度,因此去除误匹配点对是必须的。本文针对眼底图像配准的特点,调整算法的阈值参数,采用SIFT特征点双向匹配方法进行匹配点对初选(对特征点对杂乱的情况,可有效减少无匹配点,缩短后续RANSAC算法所耗费的时间),分配匹配点对共享存储器空间,采用二维grid和二维block的内核函数的RANSAC算法[9],引入透视变换模型对眼底图像匹配特征点对进行提纯,该方法可以快速地去除误匹配点对,提高图像配准的准确性,保证眼底图像拼接的精度。
2 CUDA加速图像配准与拼接
由两幅待配准图像间的准确匹配点对可计算配准所需的变换矩阵,实现待拼接图像的配准和拼接。
2.1图像配准
在设备上分配图像全局存储器空间,将图像与二维纹理寄存器绑定,采用二维grid和二维block的内核函数,对两幅待拼接图像分别采用仿射变换、透视变换、二元多项式变换模型进行配准,用最小二乘法对得到的多个匹配点对(大于10对匹配点)进行非线性优化,计算出图像间最优的变换矩阵,校正图像间的几何畸变,用双线性插值的方法处理变换后图像,得到高精度的图像配准和拼接结果。
二元多项式变换是用一个二元n次多项式来描述输入和输出图像的坐标(u,v)和(x,y)之间的关系,即
其中,aij、bij为待定系数;n为多项式次数;ε为最小拟合误差平方和,是多项式变换求解的约束条件。待定系数aij、bij可根据已知的控制点对,采用曲面拟合方法,按最小二乘法准则求出;xe为变换后的x坐标;u(i)e、v(j)e为变换前的坐标;L为参数估计的点对数量,当n=2时,L>6。
二元多项式方法简单有效,精度较高,位置拟合误差随着多项式次数增加而减小,但多项式次数n增加,所需控制点对的数目也急剧增加,计算时间增加,非重叠区域的变形增加,故需经过对比实验选取最优的n值。
2.2图像融合
待配准图像空间变换后就完成了图像配准,得到与基准图像对齐的图像,图像融合后就可得到拼接图像。在设备上为图像分配全局存储器空间,将图像与二维纹理寄存器绑定,采用二维grid和二维block的内核函数,对参考图像I1和待配准图像配准后的图像I2采用最大值融合的方法进行融合:
式中,F为最大值融合后的图像。
3 实验与结果分析
本文采用项目组与国内厂家联合开发的YZ50A型眼底照相机拍摄得到的眼底图像进行实验。实验系统配置为:CPU Intel i3 2100 3.1GHz、4G内存、GPU GTX560Ti(第二代费米架构,8个流多处理器(SM),384个CUDA Core)、1G显存(带宽256bit)的计算机,MATLAB R2011b 64bit、CUDA 4.0 64bit、Visual Studio 2010 64bit的软件环境。
3.1SIFT算法参数选择
SIFT算法的参数关系到控制点对的数量、配准与拼接精度以及算法的耗时。在对不同视场眼底图像进行多次配准实验的基础上,选择眼底图像拼接的SIFT参数如下:对比度阈值0.0025,主曲率阈值10.0,最近邻阈值0.7。
实验结果表明,当对比度阈值增大时,控制点对位置会相对集中,影响配准精度;有效视场掩膜可减少10%以上的视场边缘误匹配点对;同态滤波前后的两幅眼底图像拼接结果非常相近,拼接图像熵值均超过5.0,对比度阈值增大时同态滤波后的控制点对多于原图,如图2所示(参数设定如上述),对比度阈值大于0.0025,增幅超过10%,拼接得到的图像熵值误差不超过0.01。
3.2配准误差分析
对100对有重叠区域的图像进行了仿射、透视、二元二次多项式、二元三次多项式变换算法的对比分析,统计了四种空间变换的平均配准耗时和平均配准误差。眼底图像分辨率为1600像素×1200像素,配准误差定义为待配准图像空间变换后正确匹配点对中的各个特征点与基准图像对应点之间欧氏距离绝对值的均值,该误差较为保守,数值上较大,用所有的正确点对来衡量配准精度,实际误差小于此值。其中,配准前各图像对的正确匹配点对的标准差均大于5.0,配准后结果如表1所示。
对不同空间变换得到的配准结果栅格化显示,如图3所示,由于眼底为弯曲的曲面,仿射变换得到的两图对应位置有较大的误差,透视变换和二元二次多项式变换得到的图像中毛细血管均较好地对齐,二元三次多项式变换尽管误差较小,但图像中毛细血管有错位现象,尤其是非重叠区域。根据眼底图像的特点以及误差分析,为避免点对过少影响图像配准,选用二元二次多项式变换作为图像空间变换方法。
3.3自动配准与拼接结果
对某受检者的右眼两幅不同视场的眼底图像进行自动拼接,如图4所示。待配准图像分辨率为1600像素×1200像素,同态滤波增强(图4a、图4b)掩膜后提取特征点,特征点匹配得到517对特征点对,提纯后得到338对正确的匹配点对,如图4c,计算变换矩阵,对待配准图像进行空间变换,融合得到拼接结果,如图4d,图像大小为1420像素×1310像素;图4e～图4g分别为两图重叠区域用SIFT算法、快速鲁棒特征算法(SURF算法)、GDB-ICP[6]配准后的栅格显示结果。SIFT特征、SURF特征、GDB-ICP配准得到的拼接图像熵值分别为5.583、5.581、5.360,图像熵值反映了图像中信息的丰富程度,熵值越大,图像中包含的信息量越大。自动拼接结果表明,本文方法与SURF配准方法相近,优于GDB-ICP配准结果,两幅待配准图像重叠区域的毛细血管均完全吻合,可高精度地对眼底图像进行自动拼接。其中,两幅图像有效重叠区域占最小有效视场面积的68.1%,占最小图像面积的41.8%。实验表明,配准中图像的最小重叠区域,可以小于最小有效视场的50%。
(f)SURF重叠区域栅格 (g)GDB-ICP重叠区域栅格
分别对100对分辨率为1600像素×1200像素的眼底图像进行了SIFT和SURF自动拼接实验,自动拼接算法各模块的平均执行时间如表2所示。SURF-128与SURF自动拼接平均耗时相近(特征匹配耗时稍多),但精度有较大提高。有效视场掩膜可以有效减少无效特征点和匹配点对,缩短特征点提取和匹配时间,基于CUDA的SIFT算法中线程块的维度取值为32,64,128,256,512,根据线程块的维度可以设置相应的线程网格大小(如2D线程块的维度都为128时,2D线程网格的尺寸分别为(w+128-1)/128、(h+128-1)/128(w、h分别为图像的宽度和高度),基于CUDA的SIFT算法的加速比可以达到10～30倍(误匹配点对所占比例较多时,RANSAC去除误匹配点对耗时较长,CUDA加速效果明显,表2括号中数字表示加速倍数)。
s
多幅眼底图像自动拼接实验选取了不同受检者左眼和右眼各9个视场的眼底图像,提取各视场图像的SIFT特征,以中央视场图像为基准图像,待配准图像1与基准图像匹配计算变换矩阵,变换待配准图像1的特征点坐标后加入基准图像,依次加入新的待配准图像,直到全部匹配完成,由变换矩阵配准融合后得到拼接结果,如图5所示,采用最大值融合方法融合配准后的重叠区域,对拼接结果进行了增强,裁剪后的图像有效分辨率约为2200像素×2100像素。自动拼接结果表明,各视场图像的血管均准确拼接,无错位现象,拼接精度达到像素级。
4 结语
研究了眼底图像快速自动配准与拼接中的关键技术,提出了基于CUDA的眼底图像快速自动配准与拼接算法,该算法针对眼底图像的特点,利用CUDA加快了眼底图像的同态滤波增强、特征点检测、匹配和点对提纯算法、配准拼接算法的速度,调整了算法中的参数,确定了最优配准模型,实现了眼底图像的快速、高精度自动配准与拼接,算法速度是未采用CUDA时的10～30倍,精度达到像素级。
参考文献
[1]Brown L G.A Survey of Image Registration Tech-niques[J].ACM Computing Surveys,1992,24(4):325-376.
[2]Zito,v aB,Flusser J.Image Registration Methods:aSurvey[J].Image and Vision Computing,2003,21(11):977-1000.
[3]Can A,Stewart C V,Roysam B,et al.A Feature-based,Robust,Hierarchical Algorithmfor Registering Pairs of Images of the Curved Hu-man Retina[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2002,24(3):347-364.
[4]张二虎,卞正中,俞江.基于互信息的视网膜眼底图像配准方法[J].西安理工大学学报,2002,18(1):14-17.Zhang Erhu,Bian Zhengzhong,Yu Jiang.MutualInformation Based Registration for Retinal FundusImages[J].Journal of Xi'an University of Technolo-gy,2002,18(1):14-17.
[5]Ryan N,Heneghan C,de Chazal P.Registration ofDigital Retinal Images Using Landmark Correspon-dence by Expectation Maximization[J].Image andVision Computing,2004,22(11):883-898.
[6]Yang Gehua,Stewart C V,Sofka M,et al.Regis-tration of Challenging Image Pairs:Initialization,Estimation,and Decision[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2007,29(11):1973-1989.
[7]Lee S,Reinhardt J M,Cattin P C,et al.Objectiveand Expert-independent Validation of Retinal Im-age Registration Algorithms by a Projective ImagingDistortion Model[J].Medical Image Analysis,2010,14(4):539-549.
[8]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal ofComputer Vision,2004,60(2):91-110.
自动配准技术 篇4
遥感图像配准是对两幅或多幅取自不同时间、不同传感器或者不同视角的遥感图像进行空间变换, 通过寻优使输入图像与参考图像达到空间位置相匹配的过程[1]。通过图像配准可以对图像进行多源数据融合、目标变化检测、目标识别、图像镶嵌、时序图像分析等多种应用。
配准算法有四要素, 分别为特征空间、搜索空间、搜索策略、相似性测度[2]。特征空间是指从参考图像和带配准图像中提取的用于匹配的特征集, 如图像的灰度特征, 几何特征如点、边缘、直线或者区域;搜索空间是指两幅图像之间建立的对应关系的所有可能变换集合, 可以是两维的、三维的甚至是高维的;搜索策略是指在一个很大的搜索空间中寻找最优的变换模型参数, 如果采用穷尽搜索的方法将需要很大的计算量, 因此为减少计算量, 必须采用相应的搜索策略, 如Powell搜索策略;相似性度量是两幅图像是否匹配的尺度和标准, 如本研究采用的互信息相似性测度。
现有的配准技术主要分为两大类:基于灰度的方法和基于特征的方法。基于灰度的方法直接利用图像的灰度信息来度量两图像之间的相似程度, 它不需要对图像进行复杂的预处理, 实现简单, 但是对图像的灰度特性极其敏感, 主要的算法有互相关法、序贯相似检测法、傅里叶变换法、互信息方法等[3]。基于特征的方法是从图像中提取一些几何特征, 对它们进行匹配, 最后得到一一对应的匹配控制点对。
本研究提出的全自动遥感图像的配准方法是结合了灰度信息和特征信息的复合式图像配准算法。首先, 基于SIFT算子对输入图像进行粗匹配, 确定初始变换模型参数;其次, 在特征精匹配的过程中引入基于灰度的互信息算法, 结合位置控制从而获得一一对应的控制点[4];最后采用控制点结合加权最小二乘[5]的方法优化求解模型最优参数, 对输入图像进行双线性插值显示图像。
1 算法描述
本研究提出的全自动配准算法是一种由粗到精的方法:粗匹配时采用SIFT特征匹配, 将输入图像映射为一个具有平移、缩放、旋转不变性的局部特征向量集, 通过两两比较找出匹配的若干对特征点对作为初始配准点;在此基础上再进行精细匹配, 采用位置控制与互信息约束的方法, 最后最优化求解最优模型参数。
1.1 基于SIFT特征的图像粗匹配
考虑到虚拟三角形的粗匹配对图像的尺度及畸变不具有鲁棒性, 分辨率差异以及稍有畸变的图像配准误差较大, 本研究采用SIFT特征进行粗匹配。SIFT特征是一种高维不变量信息描述子, 它具有平移、缩放、旋转不变性。基于SIFT的遥感图像自动配准算法期望能够确定尽量多的、定位精确的且分布均匀合理的关键点, 然后通过数据拟合来减少整体误差。
SIFT特征构造过程主要两个部分组成:关键点检测和不变量描述子构造。第1部分首先建立图像的多尺度空间, 然后进行特征检测, 获取一系列关键点以及它们的几何位置与尺度信息。第2部分通过联合关键点的多维信息来构造不变量描述子。本研究以关键点为中心建立一个区域, 统计区域像素点的梯度直方图, 寻找最大的峰值及它对应的方向, 并以这个方向作为关键点的主方向。再联合区域的梯度信息建立多维特征向量, 并对这个多维向量进行统一化, 从而得到不变量描述子。
本研究参考文献[6-7]提供的方法, 采用特征向量的欧氏距离作为相似性判定度量, 计算最近邻 (NN) 和第二近邻 (SNN) 的距离之比 (NN/SNN) , 把NN/SNN设定为最小阈值 (本研究取0.3) , 如果SIFT描述子之间的欧式距离小于这个阈值, 那么选择这些可靠性最高的匹配点作为初始配准点对来计算几何变换模型参数。
1.2 位置控制与互信息约束的特征精匹配
图像匹配的关键是定义一个有效的配准测度函数, 并寻找空间变换关系, 使变换后两幅图像的相似性达到最大, 或者说差异性达到最小, 保证两幅图像空间几何上的一致。
虽然不同光谱图像在灰度属性上存在较大差异, 但是对同一地物、同一组织, 其灰度分布又具有一定的相似性, 因此研究者可以将图像像素作为随机变量, 采用图像灰度分布的统计数据作为配准测度函数来实现图像配准。假设参考图像A的概率分布函数为PA (a) , 浮动图像B的概率分布函数为PB (b) , 图像A和B的联合概率分布函数为PAB (a, b) , 则它们的互信息I (A, B) 表示为:
本研究在特征的精细匹配算法中采用位置控制结合互信息约束的方法实现, 分别以两幅图像各个特征点为中心建立小区域, 计算对应小区域的互信息值, 以互信息为相似性测度[8]对提取到的更多特征点进行精细匹配。
假设在参考图像上提取到的角点集记为P={ (xi, yi) , i=1, 2, ...m}, 在待配准图像上提取到的角点集记为Q={ (xj, yj) , j=1, 2, ...n}, 取Q中的一点qk为例详细说明匹配的步骤:
(1) 根据初始模型参数计算Q={ (xj, yj) , j=1, 2, ...n}中的点qk对应参考图像下的坐标, 以这个坐标为中心点建立搜索窗, 本研究设定区域大小为10×10 (可以根据图像大小变化) 。把点集P={ (xi, yi) , i=1, 2, ...m}中落在搜索窗内的点作为qk的候补对应点。
(2) 在待配准图像上以候补对应点为中心, 选取一小块区域area1, 本研究设定区域大小为4×4, 按分辨率差异比例在参考图像上选取area2, 之后将其插值到与area1大小分辨率相同。
(3) 求取两块小区域的互信息。
(4) 每个qk的候补对应点都进行步骤 (2) 和步骤 (3) , 取互信息最大的那个特征点作为筛选后和qk对应的控制点。
通过以上4个步骤, 笔者对提取到的特征进行了再次匹配, 获得位置控制与互信息约束的控制点对。
1.3 最优化求解最优模型参数
最优化求解[9]是一个不容忽视的步骤, 它是指求取参考图像和待配准图像之间最佳模型参数的过程。现有的图像配准方法中常用的算法有图匹配算法、Powell方法、Downhill simplex方法[10]等。本研究采用的是控制点结合加权最小二乘准则算法, 这是一种比较通用的变换模型参数估计办法。
仿射变换模型表示为:
假设:
则变换式表示成:
在最小二乘的算法求解过程中, 笔者认为不同误差精度的控制点对对模型参数求解结果的影响不一样, 参考图像中的点与待配准图像经过变换后的点之间的误差越大, 则它们对最后参数求解的影响越小, 因此本研究引入一个加权矩阵[11]。
本研究用ex (i) 表示第i对控制点在x方向的误差, 用ey (i) 表示第i对控制点在y方向的误差, 则误差距离表示为:
加权矩阵由r (i) 构成, 表示为:
其中:
利用加权最小二乘法使平方误差式 (6) 最小, 由此获得最优模型参数。
2 实验的仿真
本研究选用的参考图像是高光谱图像的一个波段图, 图像大小为550×360 (单位:像素, 下同) , 待配准图像是经过ENVI软件的裁剪旋转尺度变换过的图, 图像大小为545×383。已知仿射变换的模型参数值, 笔者分别对以下3种算法进行仿真:实验1是文献[1]配准算法仿真, 记为LAB1;实验2是文献[9]配准算法仿真, 记为LAB2;实验3是本研究提出的由粗到细的配准算法仿真, 记为LAB3;本研究把以上3个实验分为两组进行分析比较。
两幅原始图像如图1所示。LAB1、LAB2、LAB3最终取得的控制点图如图2~4所示。配准结果图如图5所示。
3 评价标准
本研究采用3种评价标准来对配准精度的进行评价, 它们分别是均方根误差、镶嵌图以及联合直方图。均方根误差以及镶嵌图是现有的常用的评价标准, 联合直方图评价则是本研究的又一创新点。
3.1 均方根误差评价
已知实际的模型变换参数, 变换模型表达式为:
{x1=0.984 8x2+0.173 6y2-85.895 2y1=-0.173 6x2+0.984 8y2+14.886 4 (8) 将均方根误差作为配准精度的评价标准。均方
根误差表示为:
式中:a1′, b1′, c1′, a2′, b2′, c2′—模型参数的实际值;a1, b1, c1, a2, b2, c2—经算法仿真求得的模型参数值;k—算法得到的控制点对的个数。
统计3个实验数据得到结果如表1所示。
从表1中可以看出LAB3的模型参数值最接近真实值, 且均方根误差最小, 因此可知本研究算法具有更高的配准精度。
3.2 镶嵌图评价
由于均方根误差的评价标准比较抽象, 为了更直观形象的评价, 现有的很多应用都采用镶嵌图[12]作为评价标准。本研究中3个实验结果的镶嵌图如图6所示。
由图6很难比较出哪个实验具有更高的配准精度, 因此本研究引入联合直方图, 以比较3组图像的配准精度。
3.3 联合直方图评价
两幅图像的联合直方图是通过统计两幅图像的对应位置的灰度对 (i, j) 出现的次数而得到的。本研究中用二维图形表示:X轴表示参考图像的灰度极值, Y轴表示带配准图像灰度极值, 当两幅图像完全一样时, 图形的所有点都分布在一条斜率为1的直线上, 随着两幅图像相似度的降低, 图形的点将分散分布在对角线周边。
考虑到参考图像和待配准图像包含的地域并不完全相同, 全局图像输入得到的直方图并不准确, 本研究从两幅图像共同的区域中提取出大小160×160的区域作为联合直方图的输入, 观察图像中的点是否逼近斜率为1的对角线。
实验1、2、3的配准精度直方图如图7所示。由图7可知, LAB3的直方图的点比较集中的分布在对角线周边, 而LAB1、LAB2的点相对来说比较分散, 因此LAB3中两幅图像相似度最高, 具有更高的配准精度。
4 结束语
本研究提出的这种基于特征的由粗到细的全自动配准算法是基于SIFT特征粗匹配和位置控制互信息约束进行特征精匹配的全自动遥感图像配准算法。首先采用SIFT特征匹配, 将输入图像映射为一个具有平移、缩放、旋转不变性的局部特征向量集, 采用特征向量的欧氏距离作为相似性判定度量, 通过两两比较找出匹配的若干对特征点对作为初始配准点, 对输入图像进行粗匹配。然后引入互信息, 以互信息为相似性测度, 在位置控制的搜索策略下进行特征精匹配, 优化模型参数。通过仿真和数据, 验证了本研究算法在图像配准上的有效性。
与传统的基于虚拟三角形角点特征自动配准算法相比, 本研究算法在后续进行了互信息位置控制的精细配准, 显然配准精度更高;其次, 本研究的算法也优于一般的由粗到细的配准算法, 基于SIFT方法提取的特征对图像具有尺度不变性, 对图像畸变也有更高的鲁棒性, LAB2的特征粗匹配的过程中, 若待配准图像发生了纵横方向的特殊畸变, 则对应匹配的三角形的各个角的比就不近似相等, 此时, 研究者就应该采用本研究的对图像尺度变化以及图像畸变具有更高的鲁棒性的SIFT匹配算法。综上所述, 本研究基于SIFT的由粗到细的配准算法显得更加具有优越性。
参考文献
[1]吕金建, 文贡坚, 李德仁, 等.一种基于虚拟三角形的图像自动配准方法[J].信号处理, 2008, 24 (5) :737-741.
[2]吕金建, 文贡坚, 李德仁, 等.一种基于角点特征的图像配准方法[J].遥感技术与应用, 2007, 22 (3) :438-442.
[3]吕金健.基于特征的多源遥感图像配准技术研究[D].长沙:国防科技大学电子科学与工程学院, 2008.
[4]董博宇.多源遥感图像配准技术研究[D].哈尔滨:哈尔滨工业大学, 2009.
[5]王伟, 苏志勋.基于移动最小二乘法的医学图像配准[J].计算机科学, 2010, 37 (9) :270-271.
[6]程焱, 周焰, 林洪涛, 等.基于SIFT特征遥感影像自动配准与拼接[J].遥感技术与应用, 2008, 23 (6) :721-728.
[7]DAVID G.Lowe distinctive image features from scale-in variant key points[J].International Journal of Comput er Vision, 2004, 60 (2) :91-110.
[8]YU Ting, LI Xiao-run.Remote Sensing Image Registration Based on VTS-PCMIC Algorithm[C].Fuzzy Systems and Knowledge Discovery (FSKD) , 20129th International Con ference, 2012:48-52.
[9]DARE P, DOWMAN I.An improved model for automatic feature-based registration of SAR and SPOT images[J].IS PRS Journal of Photogrammetry&Remote Sensing, 2001, 56 (1) :13-28.
[10]MIKOLAJCAYK K, SHHMID C.Scale&affine invariant in terest point detectors[J].International Journal of Com puter Vision, 2004, 60 (1) :63-86.
[11]LI W, LEUNG H.A maximum likelihood approach for im age registration using control point and intensity[J].IEEE Transactions on Image Processing, 2004, 13 (8) :1115-1127.
自动配准技术 篇5
图像配准技术主要分基于灰度的方法和基于特征的方法。大多数基于灰度的方法采用互相关技术或傅里叶变换技术来实现,它的局限在于难以处理灰度特性差异较大的图像,通常只能配准大重叠区的图像对。基于特征的方法通过提取两幅图像的共同结构来实现,更适合不同波段、不同传感器图像的配准[6,7]。针对同类传感器多光谱图像的特点,提出了一种基于特征的方法,从各波段多光谱图像中提取控制点,并利用控制点实现多光谱图像配准的方法。
1 方法
控制点的方法是基于图像特征配准的一种方法。该类方法的主要共同点是首先要对待匹配图像进行特征提取,再利用提取到的特征建立匹配映射变换,再将其应用于仿射变换从而得到匹配结果。这类方法的优点在于它提取了图像的显著特征,大大压缩了图像的信息量,计算量的剧减使得在有效配准的前提下同时兼顾了实时性[8,9]。
1.1 控制点提取
常用的灰度图像特征点提取算子有Moravec算子、Forstner算子、SUSAN算子等。其中Forstner算子检测效率较高,特征点定位准确,适用于仿射变换,抗噪性强,所以采用Forstner算子来提取图像中的特征点[10,11]。Forstner算子是通过计算各像素的Robert梯度和以像素为中心的一个窗口的灰度协方差矩阵,在影像中寻找具有尽可能小而接近圆的误差椭圆点作为特征点。Forstner算子提取控制点的具体步骤如下:
(1)计算像素(x,y)在上下左右4个方向灰度差分绝对值d1,d2,d3,d4。
(2)取d1,d2,d3,d4的中值M,并与给定的阈值T比较,如果M>T,则(x,y)为一个初选点。在以初选点(x,y)为中心的3×3窗口中,计算协方差矩阵N和误差椭圆的圆度qx,y,保存在误差椭圆圆度数组Q中。协方差矩阵N的表达式为
式中,gx和gy分别式沿x和y方向的偏微分。
误差椭圆圆度定义为:qx,y=4 det(N)/tr(N)。其中,det(N)为矩阵N的行列式,tr(N)为矩阵N的主对角线元素的代数和,令Q(x,y)=qx,y。
(3)计算获取所有初选点像素的误差椭圆圆度值后,对数组Q进行非最大值抑制,即如果点(x,y)的5×5邻域内误差椭圆圆度的最大值qmax>qx,y,则令Q(x,y)=0。
(4)选取Q中误差椭圆圆度值最大的前Num个点作为提取的特征点。
1.2 同名像素点匹配
在控制点提取完成之后,下一步工作就是要建立两幅图像之间的对应关系,即在参考图像和配准图像上控制点相对应的同名像点。文中采用了图像匹配的方法,通过选取参考图像控制点周围一个领域的窗口做模板,在配准图像中搜索与之相匹配的窗口,那么匹配最合适的窗口中心也就是控制点的同名像素点[12]。这种典型基于灰度相关的匹配算法,具有不受比例因子误差的影响和抗白噪声干扰能力强等特点,且计算量小,可以快速准确地进行匹配[7]。其相似度量定义如下
式中,I1,I2分别是两幅灰度图像。
同名像点匹配算法步骤如下:
步骤1:对参考图像提取的每一个控制点pi,选择一个以它为中心,半径为d的窗口wi;
步骤2:对待配准图像中选择提取的每一个控制点qi,选择一个以它为中心,半径为d的窗口wi'作为搜索区域;
步骤3:将参考图像的窗口wi在待配准图像上的窗口wi'做匹配搜索,找到相似度最大的匹配窗口wi',那么wi'的中心点qi就是pi的同名像点。
1.3 仿射变换参数求解与影像匹配
最小二乘法利用了影像窗口内的信息进行平差计算,使影像匹配可以达到0.1~0.01像素的高精度,是一种高精度的影像匹配方法。
两幅图像之间服从仿射变换,变换模型如下
那么通过上面的n对控制点{p}in、{q}in用最小二乘法可以得到精确的仿射变换参数,并对图像进行配准。
2 实验
2.1 地面成像
实验图像采用液晶多光谱相机地面成像实验图像数据,成像过程中相机存在一定程度的晃动。图1中的图像为中心波长为550 nm和630 nm的灰度图像,其他参数如下:成像距离约500 m,图像分辨率为3 296×2 472,光谱范围为400~750 nm,通道数为20。
2.2 配准流程
图像配准流程如下:
(1)利用Forstner算子分别对参考图像和配准图像提取图像控制点;
(2)建立两幅图像控制点对应关系,完成同名像点匹配,结果如图2所示,红色标记为同名像点,共30对;
(3)采用最小二乘法求解仿射变换参数并完成配准图像与参考图像的匹配,结果如图3所示。
以第10组图像(中心波长为550 nm)为参考图像,按照配准流程分别对20组图像进行配准,其中单张图像配准时间为1.23 s,20组图像配准总时间为24.6 s。相比基于灰度的配准方法,配准速度要快一个量级。
3 结果分析
为直观演示配准效果,选取红绿蓝3个波段的灰度图像,分别对配准前后的图像进行彩色合成。配准前后的效果对比,如图4所示,配准前图像由于3个多光谱图像之间空间位置存在偏差,使得图像之间的色彩重叠现象很严重,合成后的图像质量非常差。经配准后,图像3个波段严格对准,合成后图像接近真实场景。
为了定量说明图像配准后的精度,选择10个检验点进行检验,误差如表1所示。结果表明配准误差能控制在1个像素以内。
4 结论
利用基于控制点的配准算法可以实现多光谱图像波段间配准的自动化处理,并且能够获得很高的配准精度,图像整体配准误差在一个像元以内。算法应用到液晶多光谱相机地面成像试验中,取得了令人满意的配准结果。基于控制点的自动配准算法的不足之处是计算量比较大,在处理高光谱图像配准时(波段数大于100),会花费比较长的计算时间,为缩短计算时间需考虑并行系统来解决这个问题。通过进一步的扩展,该算法可以推广到图像对图像的自动几何精校正等应用中,具有广阔的应用前景。
参考文献
[1]金星,马艳华,舒嵘.遥感图像的图像配准方法[J].红外,2004(9):23-30.
[2]李国胜.多源地理信息高精度纠正与配准的技术和方法[D].阜新:辽宁工程技术大学,2000.
[3]BROWN L G.A survey of image registration techniques[J].ACM Computing Surveys,1992,24(4):325-376.
[4]Reddy B Srinivasa.An FFT-based technique for translation,rotation,and scale-invariant image registration[J].IEEETransactions on Image Processing,1996,5(8):1266-1271.
[5]ZITOVA B,FLUSSER J.Image registration methods:A sur vey[J].Image and Vision Computing,2003,21:977-1000.
[6]VIOLA P,WELLS W.Alignment by maximization of mutualinformation[J].International Journal of Computer Vision,1997,24(2):137-154.
[7]王娟,慈林林,姚康泽.特征选择方法综述[J].计算机工程与科学,2005:12.
[8]MOLINA L C,BELANCHE L,NEBOT A.Feature selectionalgorithms:A survey and experimental evaluation[C]//IEEEComputer Society Press,2002:306-403.
[9]ROCHE A,MALANDAIN G,AYACHE N.Unifying maxi mum likelihood approaches in medical image registration[J].International Journal of Imaging Systems and Technolo gy,Special issue on 3D imaging,2000,11:71-80.
[10]蔡志锋,卢汉清,Jaeger M.用混合弹性模型解决图像变形匹配问题[J].中国图形图像学报,2003,8(7):753-758.
[11]郑明玲,刘衡竹.遥感图像配准中特征点选择的高性能算法研究及其实现[J].计算机学报,2004,27(9):1284-1289.
自动配准技术 篇6
常见的配准算法可以概括为三类,分别是基于灰度的算法、基于特征的算法和灰度特征综合算法。基于灰度的图像配准算法在配准前无需对图像进行复杂的预处理,直接将图像的灰度信息作为相似性测度来度量图像之间的相似程度,易于实现却对灰度特性过于依赖,通常不单独使用。基于特征的算法通过提取输入图像的几何特征(主要是特征点、特征线、特征面三大类,其中特征点研究最多),在特征空间里提取控制结构进行特征匹配,最优化求解空间变换参数实现图像配准。近年来,分辨率差异大的多源遥感图像之间的配准应用越来越广,然而针对大分辨率差距的全色图像与高光谱图像之间的配准,传统的基于点特征的配准算法往往达不到实际应用的高精度要求。
针对分辨率差异较大的全色与高光谱遥感图像,提出一种高效的自动配准算法,如图1,该算法首先对全色高光谱图像进行图像分割,提取典型区域特征;其次根据区域的几何形状特征,采用基于区域链码和仿射不变距的匹配算法对典型区域进行预配准;最后,在预匹配的基础上通过传统的点特征实现图像精配准。实验结果表明此算法能够有效的实现分辨率差异比较大的图像之间的配准。
1 算法描述
1.1 典型面元特征提取
全色图像与高光谱图像数据特性的差异性要求采用不同的图像分割方法来提取面元特征,前者通过直方图阈值分割与数学形态学的图像分割方法来实现面元的提取;后者通过基于混合像元分解的高光谱图像分割方法提取区域特征。
1.1.1 全色图像分割与特征提取
遥感图像的灰度统一性表明图像中的典型的明亮区域与图像背景的灰度有明显差异,这些典型区域易于分割。为此,首先采用直方图比例阈值分割方法进行面元提取,有效的分割全色图像。
假设待配准全色图像为L×C,比例阈值P0,根据最大互信息理论统计图像的灰度直方图F(i)(i=0,1,...,255),F(i)是指灰度值是i的像素的个数;根据P0得到灰度阈值k0,如式1:
根据图像灰度阈值选择面元特征,在此基础上对全色图像进行二值化处理,如式2:
由于处理过程中会产生杂点噪声,二值化后的图像亮区通常会有大量孤立的细碎面元和空洞现象,为此采用数学形态学的开闭运算对图像进行腐蚀和膨胀,消除噪声和空洞,提取闭合连通区域。腐蚀和膨胀作为数学形态学的基本运算,前者有收缩图像的功能,能够删除图像中微小无意义的碎片;后者能够扩大图像,扩张面元边界,有效填补面元空洞。由此获得的是一系列的闭合面元。最后,为了方便特征匹配,需要选取大小合适的面元作为典型区域(去掉过小与过大的面元)。获得合适的面元后带入特征匹配机制进行配准。
1.1.2 高光谱图像分类与特征提取
在充分分析高光谱图像数据特征的基础上,通过混合像元分解算法对图像进行分割,如图2。以高光谱图像的已知特定端元信息为依据对图像进行分类,以类为单位对图像进行典型区域的提取,最后合并所有类的面元特征作为高光谱图像最终的匹配区域。
基于混合像元分解的高光谱图像分割算法首先采用HFC[5]算法确定光谱端元个数,首先计算图像数据的相关矩阵和协方差矩阵,然后分别求解相应矩阵的特征值,按照二元假设理论逐步推导求解比较确定其端元个数。
线性光谱混合模型表示如式3:
线性光谱模型中的r表示高光谱图像的已知像元光谱,M表示端元,端元通常可以通过实测的方法或者通过查光谱库获得,本文通过手动方法提取端元。S表示丰度值,指的是每个端元M在混合像元谱中所占据的比例,它是线性光谱解混过程所要求解的未知量,通常由最小二乘分解算法来求得。根据丰度值S对高光谱图像进行分类,提取典型区域特征。
1.2 典型面元特征匹配
对于全色图像与高光谱图像分割得到的典型面元,首先采用基于区域链码的多相似性测度算法对面元进行粗匹配,通过面元的周长、面积、长短比值作为约束构建关系矩阵。区域关系矩阵采用二进制编码,满足约束条件则表示为1。其次,通过仿射不变距最小距离算法对符合约束条件的典型面元进行精匹配,构建面元轮廓相似性矩阵。通过轮廓相似性矩阵可以获得最佳匹配面元。
1.2.1 基于区域链码的多相似性测度粗匹配
对于待匹配面元,首先需要提取出面元轮廓特征,然后采用一系列的描述子描述他们,建立相应的相似性测度。针对全色图像和高光谱图像分割后的面元特征,选择面元周长、面元面积和面元轮廓弯曲程度的多相似性测度为准则进行特征匹配。(标记区域像素点个数)、轮廓周长(区域链码长度)和中心距边界最大最小距离比(衡量区域边界的弯曲程度)。其中,面积S通过计算面元像素点个数可以获得,轮廓弯曲程度用面元中心距边界最长最短距离比例来表示,而面元周长P的求解则需先计算区域链码,用链码来表示轮廓,将边界跟踪方向东、东北、西北、西、西南、南、东南八个方向来表示,每一个方向分别用数字0、1、2、3、4、5、6、7表示。周长P和区域链码长度N之间的换算关系可以表示为式4。
如全色图像通过特征提取得到m个典型面元,面元的面积,面元周长,轮廓弯曲程度分别表示为{RS}i、{RP}i和{Rdri}(i=1,...,m)。高光谱图像提取出n个面元,面元面积,面元周长,轮廓弯曲程度表示为{IS}i、{IP}i和{Idri}(i=1,...,n)。全色图像和高光谱图像的分辨率比例为kratio。如果这两幅输入图像的面元特征要完全匹配,理论上来说面元面积比、面元周长比应该严格与图像分辨率比例相等,同时面元的弯曲程度应当一致。实际配准过程中存在一定的噪声干扰,因此定义匹配准则如式匹配的面元的面积、周长、弯曲程度应满足下列相似性。
上式中,ε1、ε2、ε3、ε4、ε5、ε6的约束条件为0≤ε1、ε3、ε5≤1,1≤ε2、ε4、ε6≤2。根据上述匹配准则构建面元关系矩阵SPDij(m,n),SPDij为1表示相应的面元满足约束条件。
1.2.2 基于仿射不变距最小距离精匹配
基于区域链码多相似测度建立的面元关系矩阵能够对面元进行粗匹配,然而匹配精度并不高,因此引入仿射不变距,构建面元不变距矩阵,对待匹配面元进行精细匹配。在面元关系矩阵SPDij(m,n)的基础上,对面元特征的相似性进行度量,获得最终匹配面元。取七个不变距的前三个不变距作为依据,定义如式。
上式中μpq为p+q阶中心距,γ=(p+q)/2+1,ϕiR(k)是指输入图像的第i个面元k阶仿射矩,ϕjI(k)是指待配准图像的第j个面元k阶仿射矩,仿射不变距距离dij越小面元特征越相似。
2实验仿真与分析
本次实验选取的待配准图像是大小为326×352的某一高光谱图像的第65个波段的图像,选取的参考图像则是2592×2800的全色图像。
首先采用直方图比例阈值分割方法进行面元提取,采用数学形态学的开闭运算对图像进行腐蚀和膨胀,消除噪声和空洞,提取闭合连通区域。最后,为了方便特征匹配,去掉过小与过大的面元,选取合适的面元从而完成特征的提取。全色图像分割图如图3所示。
图4高光谱分类(黑白灰度)图
对高光谱图像,采用基于混合像元分解方法对图像进行分割,手动提取到三种植被、房屋、平原、山地六种端元,以这六种端元信息为依据对高光谱图像进行分类,如图4。以类为单位对图像进行典型区域的提取,对提取出的区域进行数学形态学腐蚀和膨胀,去除噪声和空洞,标记图像如图5,最后综合六类的面元提取结果作为高光谱图像最终的区域特征,如图6所示。
对于全色图像与高光谱图像分割得到的典型面元,首先采用基于区域链码的多相似性测度算法对面元进行粗匹配,利用面元的周长、面积、长短比值作为约束构建关系矩阵。其次,通过仿射不变距最小距离算法对符合约束条件的典型面元进行精匹配,构建面元轮廓相似性矩阵,获得最佳匹配面元对,如图7。最后计算各个面元的重心(图7中用圆圈标记),以区域重心为特征点带入仿射变换模型,利用最小二乘法求解模型并通过插值重采样完成配准。
3 配准评价
配准算法优劣与否需要通过评价标准来衡量,常用的评价标准有基于镶嵌图的主观评价标准和基于均方根误差的客观评价标准。本文采用笔者《基于特征的遥感图像配准技术研究》中提出的基于联合熵的新型评价标准对算法进,引入联合直方图,较均方根误差在视觉上更直观,较镶嵌图,直方图统计灰度特性在数据上更具有客观性。配准结果图和评价结果图如图8、9所示。由直方图可见本算法的配准精度低于1个像素的误差,表明算法在分辨率大差异的图像配准应用中的有效性。
4 结论
本文提出的针对分辨率差异较大的全色与高光谱遥感图像的配准算法是基于典型面元特征的由预匹配到精匹配的自动配准算法。整个算法分为大步骤,图像分割和区域匹配。首先分别对全色图像和高光谱图像采用阈值比例数学形态学分割算法和基于混合像元分解的图像分割算法提取典型面元特征。其次特征匹配采用基于区域链码多相似性测度准则和仿射不变距最小距离算法,构建面元关系矩阵和轮廓相似性矩阵,由粗到精最终获得最优匹配面元对。最后,计算各个面元的重心,以区域重心为特征点带入仿射变换模型,求解模型并通过插值重采样完成配准。
通过对全色与高光谱图像实验仿真证明了本文算法的有效性,与传统的基于点特征自动配准算法相比,本算法在分辨率差异极大的图像配准的应用更具优势,配准精度更高;其次,本算法同样能应用于普通图像之间的配准。综上所述,本文基于典型面元特征的全色高光谱图像自动配准算法具有优越性。
摘要：分辨率差异大的多源遥感图像之间的配准应用越来越广,然而传统的基于点特征的配准算法往往达不到实际应用的高精度要求。针对高分辨率差距的全色图像与高光谱图像,提出一种基于典型面元特征的图像配准算法。算法首先分别对全色图像和高光谱图像采用阈值比例数学形态学分割算法和基于混合像元分解的图像分割算法提取典型面元特征。其次采用基于区域链码多相似性测度和仿射不变距最小距离算法进行面元特征匹配,构建面元关系矩阵和轮廓相似性矩阵提取最优匹配面元对,最后以面元重心为特征点带入仿射变换模型,通过最小二乘求解模型参数,完成全色图像与高光谱图像配准。实验结果表明算法在分辨率极大的图像配准应用中的优越性。
关键词：图像配准,图像分割,面元特征,仿射不变距,高光谱图像,多相似性测度
参考文献
[1]Broehan A M.Multimodal Registration Procedure for the Ini-tial Spatial Alignment of a Retinal Video Sequence to a Reti-nal Composite Image[J].
[2]IEEE Transactions on Biomedical Engineering,2010,57(8):1991.
[3]Tzimropoulos,Georgios.Robust FFT-Based Scale-InvariantImage Registration with Image Gradients[J].IEEE Transactionson Pattern Analysis and Machine Intelligence,2010,32(10):1899.
[4]余婷.基于特征的遥感图像配准技术研究[D].浙江大学,2013.
[5]吕金建.基于特征的多源遥感图像配准技术研究[D].国防科学技术大学,2008.
[6]伍小明.基于核方法的高光谱遥感图像解混技术研究[D].浙江大学,2011.
[7]Hui Li.A Contour-Based A pproach to Multisensor Image Reg-istration[J].IEEE Transations on Image Processing,1995,3(4):1809-1813.
[8]Xiaolong Dai.A Feature-Based Image Registration AlgorithmUsing Improved Chain-code Representation Combined with In-variant Moments[J].IEEE Transations on Geoscience and Re-mote Sensing,1999.
[9]余婷,厉小润.基于SIFT的全自动遥感图像配准算法[J].机电工程,2012,30(1):111-115.
基于MATLAB的图像配准技术 篇7
作为其他图像处理的基础, 图像配准技术一直被广大学者研究, 图像配准所用的算法和原理, 则是图像配准是否准确稳定的基础, 目前图像配准所用的理论原理都是基于实际应用提出的。从目前主流的研究方向来看, 图像配准技术可大致分为3 大类:其中基于区域灰度的图像配准方法能够利用图像几乎全部的灰度信息, 这样可以提高图像配准的精度和鲁棒性, 但是基于区域灰度的图像配准方法对灰度变化比较敏感, 这样会降低算法的性能。对于基于图像特征的图像配准方法, 由于在图像中, 图像的兴趣点要比图像的像素点要少很多, 利用像素点进行依次比对的话其计算量是很大的, 这样很耗费人力物力, 而利用图像的兴趣点能大大减少匹配过程中的计算量。而基于理解和解释的图像配准技术目前还处在初步的发展阶段, 没有得到广泛的应用。本文利用Harris角点检测算法在不同的两幅基准图片上找到兴趣点, 然后利用已找到的兴趣点进行配准, 在进行配准时利用兴趣点附近的8 个像素点作为配准特征点向量进行配准, 最后将结果利用图形用户界面展示。
算法原理
本系统利用Harris角点检测算法进行图像配准实验, 因此原理部分主要将Harris算法的原理和图像配准原理进行说明。
Harris算子原理
基于Moravec的Moravec角点算子, Harris算子是Harris和Stephens在1988 年提出的, 它是对Moravec算法的缺陷进行改进后提出的算法。其原理受到信号处理自相关函数的启发:在给出一幅图像某一自相关矩阵时, 给出与自相关函数相联系的矩阵M。M矩阵的特征值是自相关函数的一阶曲率, 如果两个曲率值 (分别在X, Y方向) 都高, 那么就认为该点是兴趣点。在认识到Moravec角点算子的缺陷以后, Harris和Stephens针对不同缺陷分别采取了以下方法改进。
(1) Harris算子用高斯函数代替了Moravec角点算子中的二值窗口函数, 以减少噪声影响。
(2) .Harris和Stephens用Taylor级数展开算法去近似选取任意方向, 用来改进Moravec角点算子只考虑每隔45o方向的缺陷。
改写成矩阵的形式为:
说明:Ia为a方向的差分, Ib为b方向的差分, w (a, b) 为高斯函数。
(3) Harris角点算法采用了一种新的兴趣点判定方法。矩阵M的两个特征向量la和lb与矩阵M的主曲率成正比, 利用la, lb来表征变化最快和最慢的两个方向, 则有三种情况, la, lb都比较快, la比lb表征变化快, la比lb表征变化慢。其中, 若la, lb表征变化都很快则表明该点就是兴趣点, 但是利用此方法来解特征向量需要很大的计算, 并且要求两个特征值的和等于矩阵M的轨迹, 两个特征值的积等于矩阵M的行列式。因此我们用式 (5) 来判定角点质量。 (k常取0.04 - 0.06)
图像配准原理
图像配准是数字图像处理的一个重要步骤, 为图像融合、图像遥感等提供支持。图像配准是利用两幅到多幅基准图像, 对其中一幅或几幅图像作几何变换或灰度变换后, 使得变换后的图像与另一幅基准图像的内容在拓扑上相对应。
由此我们可以得出如下结论:如果两幅或多幅图像能进行图像配准, 那么这几幅图像各分量之间有一部分或者多个部分在逻辑上是相同的, 或者至少是相似的, 即相邻的图像之间有一部分是可以重合的, 这就是实现图像配准的基本条件。基于此我们可以通过对两幅图像的所有像素点进行对比来找到重合的那一部分, 但是确定图像所有像素之间的坐标关系是很复杂的, 需要投入的工作量也是巨大的。所以研究者通常所使用的方法是确定一定数量的同名像素点 (即两幅或多幅图像中代表相同特征的像素) , 根据所采用的图像之间的数学模型 (在本文中我们使用了Harris角点检测算法) , 可以表示图像中其它所有像素之间的坐标关系, 从而完成图像的配准。
系统框架设计
本系统有三个基本模块, 即Harris角点检测、角点匹配和基于角点检测的图像配准, 系统框架如图2 所示。Harris角点检测是图像配准的基础, 为图像配准提供依据。角点匹配为图像配准做基础, 将图像中所有的角点用红色点标记出来, 最后图像配准体现算法正确性和显示实验结果。
系统实现
Harris角点检测
Harris角点检测取目标像素点为中心的一个小部分, 计算该部分沿任何方向移动后的灰度变化, 并用解析形式表达。当两个特征值均较小时, 表明目标点附近区域为“平坦区域”。当特征值一大一小时, 表明在“边缘”两个值都比较大时为角点。Harris角点响应函数 (CRF) 表达式得到:CRF (x, y) =det (M) -k* (trace (M) 2, 其中, det (M) 表示矩阵M的行列式, trace (M) 表示矩阵的轨迹, 当目标像素点的CRF值大于给的阈值时, 该像素点即为角点。Harris角点检测流程图如图3所示。
其中关键的函数有:
[Points]=kp_harris (im)
输入参数:img1 = rgb2gray (img11) ; 将彩色图像转化后的灰度图像1。
img2 = rgb2gray (img21) ; 将彩色图像转化后的灰度图像2。
输出参数:points输出图像的Harris角点。
函数功能:检测图像的Harris角点。
图像配准
当Harris角点检测完成后, 就要进行图像配准, 即匹配过程。匹配过程是先得到角点对于该图像的位置坐标, 然后以该坐标为中心, 分别取附近的8 个像素值, 然后与另一幅图像进行匹配, 找出距离最小的点作为匹配点。之后将图一中的角点与图二中的所有角点相减求最小误差值, 之后重复该操作, 可得到两幅图像的最佳匹配点, 图像配准流程图如图4 所示。
其中关键的函数有:
[draw2 (img1, img2, pt1, pt2, result) ]
输入参数:img11读入第一幅图像。
img21 读入第二幅图像。
输出参数:match角点匹配子程序。
draw2显示匹配到的特征点。
函数功能:通过角点匹配子程序匹配两幅图的特征点, 并利用draw2 函数在图像上表示出来。
系统结果
系统介绍
本实验使用MATLAB2014a软件实现, 利用MATLAB下的GUI界面对结果进行展示, 有助于交互式使用, 在图像配准的过程中, 先提取图像的灰度图像并且将图像中所有符合要求的角点展示以图框的形式分别显示出来, 再将配准结果在GUI界面显示, 有助于理解和验证。在实现本实验的同时对客户端添加了一些图像处理的其他基本功能, 方便大家的学习。本次实验所用的图片均来源于千图网 (http://www.58pic.com/) , 只用于实验结果的展示, 不作为他用。
实验结果
实验主界面如图5 所示。
首先我们利用角点检测算法单独提取实验图中的所有Harris角点, 首先是将图像转化为灰度图像, 再利用Harris角点算法找出所有角点并将其用红色的点标识在图像上, 实验结果显示出了图像中符合条件的特征点, 如图6、图7 和图8 所示。
为了便于匹配和研究的方便, 在图9 和图10 中, 对于每个成功配准的兴趣点以数字代号进行标识, 从图中可以很清楚的看到两幅图片中以相同代号标识的兴趣点进行了配准, 并将实验结果利用MATLAB图形用户界面进行展示, 实验结果表明利用Harris角点算法进行图像配准可以提高配准的稳定性和准确度。
为了使实验更具准确性, 我们另外选取了两幅已知匹配角点较少的图像进行实验验证, 验证结果如图11, 实验结果表明, 虽然图中依然有很多被检测到的角点, 但是两幅图像匹配到的点只有两个, 说明Harris角点算法准确性较强。
结束语
利用Harris角点算法进行图像配准, 降低了检测失误的机率, 配准位置准确, 检测的兴趣点合理有效。MATLAB R2014a软件作为实现实验的平台, 操作方便、代码清晰、交互性强, 对实验的顺利完成提供了有效的保障。
观点建议