彩色图像拼接论文

彩色图像拼接论文（共7篇）

彩色图像拼接论文 篇1

摘要：针对彩色图像拼接过程中模板选择局限性的问题,提出一种改进彩色图像自动拼接方法。基于边缘检测得到的彩色图像结果,首先,从指定图像的重叠区域内自动选择并获得有效的特征模板;然后,依据最大相似性准则从另一幅图像中找到并获得最佳图像匹配点,进一步实现两幅相邻的彩色图像之间的匹配计算;最终,利用平滑算法法则对两幅图像的重叠区域进行融合处理,从而达到彩色图像的快速自动拼接的效果。通过实验表明,该算法能够有效提高图像之间的匹配精度,并且对大部分彩色图像具有很好的拼接效果。

关键词：彩色图像,图像拼接,特征模板,图像平滑

0 引言

图像拼接技术[1]是构建完整全景图像的一种常用方法。使用普通照相机拍摄获得一组具有重叠区域的序列图像，经过图像匹配与平滑处理，从而获得高分辨率的全景图像。目前，该技术在航空航天、房地产销售、医学图像处理、视频压缩等领域有着广泛的应用，日益成为数字图像处理技术领域和识别领域中重要的研究方向[2,3]。

图像拼接主要包括图像配准和图像融合，其中，图像配准操作是重要的一个环节[4]。在图像配准算法技术领域的研究过程中，很多专家和学者结合数学理论与数理方法，提出了许多改进算法，比如基于灰度相关的配准[5]、基于特征的配准[6]、基于频域变换的配准[7]等。基于灰度相关的配准算法具有简单直接、易于实现的优点，采用像素点的灰度值实现图像之间的匹配。但是建立在“亮度恒定”假设的基础上，对于任意图像统一按照固定的方式选择模板，由此就造成选择的模板不具有区分其他图像区域特征物体或信息的功能，易产生伪匹配现象;基于特征的配准不直接利用像素点的灰度值进行配准，而是从图像中提取特征点，通过对图像特征属性的比较来实现配准，其配准速度快，但精度不高;基于频域变换的配准技术在对小平移量旋转与变尺度图像整合处理中具有较好的效果，但对硬件的要求非常苛刻，易受到噪声影响，同时计算较为复杂。

针对上述问题，首先，本文对摄像机旋转拍摄的彩色图像作灰度化处理，并对灰度图像作柱面投影变换处理，进而在获得的柱面图像的基础上，采用改进配准算法在边缘图像上动态提取特征模板;然后，在灰度图像上进行精确的匹配计算，确定最佳匹配点，在匹配位置对重叠区域的彩色图像进行渐入渐出的平滑处理;最后，拼接成彩色柱面全景图像。

1 彩色图像自动拼接方法

1.1 彩色图像灰度化

通常采用RGB颜色模型来对彩色图像进行描述。在图像配准阶段，由于彩色信息不具有配准性能，因此在柱面变换操作之前，首先对彩色图像进行灰度化的处理，其次在图像的灰度空间作图像配准处理，真正实现在图像拼接处理过程中，从而使最耗时的配准工作所用时间大幅降低。采用RGB颜色模型来描述彩色图像，根据式(1)对其作灰度处理，进而作图像匹配。

设彩色图像任一像素点f(x,y)的RGB分量值分别为fR(x,y),fG(x,y),fB(x,y)则对应像素点的灰度值Y(x,y)为:

1.2 图像的柱面投影变换

由于照相机在某一视点旋转拍摄的序列图像不在同一平面上[8]，因此，如果采用上述操作方法，对所获得的灰度图像进行直接拼接，这将破坏实际场景视觉的一致性，从而无法满足实际场景中各对象之间的几何关系，最终导致匹配效果操作失败。

因此，为找到保持实际场景中的空间约束关系，需要将相机拍照获得的系列图像进行投影变换，投射到某一柱面，进而在获得的柱面投影图像基础上进行拼接。柱面投影变换示意如图1所示。

柱面图像f(x',y')上像素点的坐标记为(x',y')，与之对应的原始图像f(x,y)上像素点坐标记为(x,y)，则柱面图像上点(x',y')对应原始图像上点(x,y)的坐标可通过下式进行计算:

式中，M和N分别为原始图像高度和宽度，由图1(b)，圆柱而半径R为:

式中，θ为照相机水平视角，其决定拍摄景物的多少，由水平旋转照相机一周拍摄的照片数来估计，即:

式中，num为相机水平旋转一周拍摄的照片数。因为柱面图像上的点(x',y')对应原始图像的坐标点(x,y)并不是刚好在原始图像的某个网格点上，由于几何失真，有些像素点可能会挤压在一起，而有些像素点是分散开的，因此柱面图像中像素点(x',y')的灰度值需要利用双线性插值的方法进行确定。双线性插值法是以相邻四个点的灰度值按照一定的权函数内插出来的，即:

式中x0=int(x),y0=int(y),u=x-x0,v=y-y0。

1.3 配准算法的改进

通过柱面投影变换后，得到位于同一投影平面的序列图像，由于图像的边缘信息反映的是图像的内在性质，不易受到外界光照条件的干扰而产生较大的变化，抗灰度和几何畸变能力强[9,10]。因此本文采用信噪比与边缘定位之乘积最优化的Canny算子对图像进行边缘提取。在提取的边缘图像中根据邻域边缘量函数极大值动态地提取特征模板，使其包含边缘信息丰富的特征物体，然后在灰度图像上进行精确的匹配计算，从而准确地确定匹配点，完成两幅图像的配准。

1.3.1 匹配模板的选择

采用Canny检测算子[11]对参考图像进行边缘提取后，在边缘图像的重叠区域按照从左到右，从上到下的顺序依次扫描，提取一个t×s大小的区域，并利用式(7)计算此区域的邻域边缘量。如果某个区域的邻域边缘量较大，就表明该区域的边缘信息比较丰富，特征就比较明显。所以根据式(8)，确定NEA函数最大值，将NEA(u,v)最大值所对应的点(u*,v*)作为模板的顶点，从而确定出匹配模板f1(x,y)。

其中t=M/4,s=H/4,M和H为参考图像的高度和宽度，NEA(u,v)为邻域边缘量，顶点(u,v)的取值范围为1≤u≤M-t+1,0.5×H+1≤v≤H-s+1。

基于Canny检测算子的匹配模板提取法与传统的模板提取算法[12]相比，可以在一定范围内针对不同灰度特征的图像自动完成特征模板的定位及提取。由于在算法中采用边缘检测效果最令人满意的Canny算子，因此提取的特征模板最具有代表性，提高了下面匹配算法的准确性。

1.3.2 匹配点的确定

根据灰度信息的统计特性定义一个评价函数，匹配模板的灰度图像在搜索图像范围内移动(如图2所示)。通过计算模板和模板覆盖下的子图间评价函数的极值，搜索出与之对应的匹配图像从而确定两幅图像间的匹配点。为避免全局搜索，确定搜索区域的大小为M×H/2，固定模板[f1(x,y)]的大小，将模板f1(x,y)在搜索区域内进行平移，模板覆盖的部分记作子图f2(x,y)，那么f1(x,y)和f2(x,y)的相似性测量函数可描述为:

其中，(x2,y2)为子图f2(x,y)左上角顶点在搜索区域中的坐标。

根据最大相似性准则确定匹配点的基本原理:在模板匹配时，模板将在(M-t+1)×(H/2-s+1)个位置移动一遍后，R(x2,y2)最大值所对应的像素点(x2,y2)即是最佳匹配点。

1.4 图像平滑

在进行图像匹配计算后，如果只是根据匹配位置将两幅图像在重叠部份简单地叠加起来，那么由于拍摄时光照条件发生了改变，同一场景在相邻图像上的颜色和亮度是不同的，在拼接线的两侧会产生接缝现象。所以在进行拼接处理之前应该采用渐入渐出的平滑算法，以使图像在拼接处的光强平滑过渡，实现图像无缝拼接的真正目的。由于图像的匹配是在灰度图像上进行的，如果我们想将图像拼接成彩色图像，那么图像的平滑必须在彩色空间完成。这时我们需要对重叠区域的图像分别按照式(10)计算出R,G,B三色空间平滑后的灰度值，从而确定平滑后的彩色图像。这个阶段所花费的时间是对灰度图像进行平滑处理的三倍。

设彩色参考图像重叠部分对应像素点的RGB分量值分别为f11 r,f11 g,f11 b，待匹配彩色图像重叠部分对应像素点的RGB分量值分别为f22 r,f22 g,f22 b，则平滑后的彩色图像对应像素点的RGB分量值分别为fwr,fwg,fwb，可以通过式(10)计算得到。

其中d由1渐变到0，步距Δd为:

式中，L为图像重叠区域的宽度。当多幅彩色图像进行拼接时，将前两幅拼接好的彩色图像作为参考图像，再与第三幅彩色图像按照上述算法进行拼接。如此循环进行下去，直到将拍摄的序列图像拼接成一张新视图为止。

1.5 算法实施流程

算法实施的具体流程如图3所示。

首先，本文对摄相机旋转拍摄的彩色图像作灰度化处理，并对灰度图像作柱面投影变换处理，找到保持实际场景中的空间约束关系，进而在获得的柱面图像的基础上，采用基于邻域边缘量函数极大值方法在边缘图像上动态提取特征模板;然后，在灰度图像上进行精确的匹配计算，基于最大相似准则确定最佳匹配点，在匹配位置对重叠区域的彩色图像进行渐入渐出的平滑处理;最后，拼接成彩色柱面全景图像。

2 实验与分析

为了验证上述算法的正确性，将SONY公司出品的500万像素的专业数码照相机固定在三角架上，以镜头为轴水平旋转一周，对某小区建筑群进行了连续拍摄，并且相邻照片之间保证有50%的重叠区域。

计算机配置为Intel酷睿i5四核CPU,4 GB内存，3.2 GH主频，Windows7操作系统，开发环境为VC++6.0，开源计算机视觉库Open CV库。

图4为四幅用于拼接的原始图像，图5为边缘提取后的图像，图6为拼接后的彩色图像。整个过程自动完成，无需人工干预，拼接结果的视觉效果非常好。大量实验表明，选择不同的图象特征参数对实验结果影响不大，均能取得良好的拼接效果。

为了更好验证本文所提出的方法的先进性，将文献[9,10,11]中的方法与本文算法进行对比实验，实验图像来自UleedCOOL360图片库。采用文献[12]所提出的边缘差分谱评价法Do EM(difference of edge map)定量评价拼接效果，采用拼接时间定量评价算法效率。文献[12]中指出，Do EM的值越接近1，说明图像拼接效果越好。

每种算法都运行5次，图像拼接质量结果见表1所示，由此可知，本文算法拼接质量明显优于其他几种算法。

几种算法运行时间如表2所示，由此可知，本文算法耗时最少，算法效率最高。

本文方法可广泛应用于医学图像处理、遥感图像分析、虚拟现实、军事侦察等需要将多幅单张图像快速准确地拼接成全景图像的领域。

3 结语

本文提出一种改进的彩色图像自动拼接方法。首先，该算法采用Canny检测算子进行边缘检测，从而保证提取的匹配模板具有代表性，同时包含丰富的图像特征信息;然后，根据最大相似性准则从另一幅图像中找到并获得最佳图像匹配点，进一步实现两幅相邻的彩色图像之间的匹配计算;最终，利用平滑算法法则对两幅图像的重叠区域进行融合处理，从而达到彩色图像的快速自动拼接。实验表明，该算法能够准确快速地实现图像的自动拼接，具有重要的应用价值。

参考文献

[1]陶阳,刘志明,彭宇行,等.一种有效的匹配准则及块匹配算法[J].计算机工程与科学,2007(2):69-72.

[2]董卫军,樊养余,刘晓宁,等.基于小波不变矩的医学图像配准技术研究[J].计算机科学,2008(7):234-236.

[3]Gholipour A,Kehtarnavaz N,Briggs R.Brain Functional Localization:A Survey of Image Registration Techniques[J].IEEE Transactions on Medical Imaging,2012,26(4):427-451.

[4]甘进,王晓丹,赵杰,等.基于直线特征的图像配准算法[J].计算机工程与应用,2010(11):193-195.

[5]葛仕明,程义民,曾丹.基于稀疏特征匹配和形变传播的无缝图像拼接[J].电子与信息学报,2007(12):2795-2799.

[6]王小强,陈临强,梁旭.实时全自动视频拼接方法[J].计算机工程,2011(5):291-293.

[7]Chen X Q,Huang Z Y.Analysis and comparison of the selecting weight iteration method in resistance robust estimation[J].Engineering of Surveying and Mapping,2014,19(4):8-15.

[8]Joo K S.Robust radiometric calibration and vignetting correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,Applied Computer Science Group,2013,30(4):562-576.

[9]Zeng L,Wang Y,Tan J.Improved Algorithm for Sift Feature Extraction and Matching[J].Guangxue Jingmi Gongcheng Optics and Precision Engineering,2014,19(6):1391-1397.

[10]陈宇,白征东.基于多极值网格搜索法的快速影像匹配技术研究[J].测绘通报,2010(4):28-30.

[11]刘严严,徐世伟,周长春,等.基于比值法图像拼接算法研究[J].电子测量持技术,2008(7):56-58.

[12]万国挺,王俊平,李锦,等.图像拼接质量评价方法[J].通信学报,2013,34(8):76-81.

色差图像的数字图像拼接算法 篇2

图像拼接或者全景图像技术是指把同一场景的相邻之间有重合区域的一系列图片拼接成一幅宽视角的、与原始图像接近且失真小、没有明显缝合线的图片，以满足人们浏览全景图片的需求。该技术正被应用于各种领域，如视频压缩、视频索引、目标跟踪[1]或者虚拟环境的创建。

目前，已经有许多算法都可以将同一场景图片中的重叠部分提取出来并且快速的拼接成为一幅全景图片，其中有许多算法可以得出令人满意的融合结果。MingShing Su等使用小波进行多尺度的融合[2]，但是这种方法只是在重叠区域进行局部的融合处理，无法保证图像的全局自然。Anat Levin等采取梯度域的融合方法进行图像拼接[3]，可以减少源图像间色差对融合结果的影响。但是以上这两种方法对于存在有明显色彩和亮度差异的图片，融合后的全景图像就会失真。因此，在进行图像拼接之前需要曝光校正。Pedro M.Q.Aguiar等直接计算和线性化的曝光校正之间进行迭代[4]，从而进行图像的配准。Matthew Uyttendaele等把图像分为若干块[5]，将每一块进行曝光校正，然后再把这些校正过的块进行融合。Aseem Agarwala和Anat Levin等在梯度域中进行拼接[6,7]，从而避免了曝光的差异。M.Brown等将每幅图片的像素平均值乘以一个可令最小化误差函数最小的常量进行增益补偿[8]。

本文提出的方法主要针对存在明显颜色和亮度差异的一系列待拼接图片的拼接，得到一幅无明显拼接缝的全景图像。通常图像拼接的过程主要分为三个步骤：图像配准、图像对齐和图像融合。但是，对于存在明显色差的图像，若直接进行拼接计算，得到的融合图像存在明显的拼接缝。因此，在这种情况下，需要对原图像进行色彩校正。计算相邻图片间的色彩校正参数和每个彩色通道的全局色彩调整参数，选择适合的颜色和亮度，对每一幅图片进行色彩校正。然后，对图像进行配准计算。图像拼接中一个关键技术是图像融合，即将一系列图像融合为一幅全景图像并且肉眼看不到图片间的拼接缝。本文采用基于余弦关系变换的加权融合算法进行图像融合，得到最终的全景图像。实验结果表明，本文算法对于存在色差的图片序列可以实现无缝快速的拼接，并且可根据需要调整图像的色彩和亮度。

1 色差图像的图像拼接算法

本文算法的实现流程如图1所示。首先计算色彩校正参数和全局调整参数，对待拼接的图片进行色彩校正;然后使用SIFT和RANSAC算法进行图像配准;最后，根据对融合速度的要求，选择0-1加权融合算法或平均值法进行图像融合，得到拼接图像。

1.1 色彩和亮度校正

在实际获取图片的过程中，由于拍摄时间的不同和曝光强度不同，所得到的相邻的待拼接图像之间的亮度和色彩会存在一定的差异。若不进行色彩校正，将会导致拼接后的的图像存在肉眼可见的拼接缝，直接影响拼接图像的效果，可以清晰地看到待拼接图像中存在的色差导致拼接后的图片也有很明显的拼接缝，这时就需要对原图像进行色彩的校正，从而提高拼接效果。

本文的例子中原图均是两幅图像的拼接，但是此算法同样适合于n幅图像的拼接。假设有n幅待拼接的图像P1,P2,…,Pi,…,Pn，假设Pi-1和Pi是相邻的两幅图片，Pˉi-1和Pˉi是这两幅图片中重叠的区域，c∈{R,G,B},i=1,2,⋯,n，则图片Pi的色彩校正参数αc,i可由以下公式得到：

式中：M是指相邻图像的重叠区域;Sc,i-1(s)是指图像Pˉi-1中的像素点S的像素值;Sc,i(s)是指图像Pˉi中的像素点S的像素值;γ是指参数，通常设定为2.2。对于待拼接的第一幅图片P1，设定αc,i=1。为了避免图像色彩过饱和，又设定一个全局调节参数gc，用来调整整个待拼接序列的色彩值。需要计算彩色图像R,G,B三个通道的调节参数gc，则要使图像i的c通道的调节参数αc,igc尽量的接近1，那么有最小二次方程：

结合方程(1)，将方程(2)求导等于0，可转换成以下方程：

得到色彩校正参数αc,i和全局调节参数gc，那么可以对图像Pi进行色彩校正：

式中：Sc,i(s)是指图像Pi在通道c∈{R,G,B}上在像素点p的像素值。

可根据图片使用场合的不同和个人的喜好，在色彩校正时调整参数，选择适合的拼接效果。

1.2 图像配准

每幅图片都有其确定的SIFT特征点，这个特征点包括尺度空间极值、特征点位置、特征点方向和特征点描述符。

SIFT(Scale Invariant Feature Transform)算法[9]是David G.Lowe在1999年首先提出的用于目标识别的一个方法，首先对两幅图像进行尺度和灰度空间检测，确定关键点位置和所处尺度，然后，用关键点邻域梯度的主方向作为方向特征生成关键的SIFT特征向量进行匹配，但是这种算法仍然存在误匹配。2004年，Lowe提出了尺度不变特征变换，使其对尺度、旋转、亮度、仿射、噪音等都具有不变性。

用最近邻算法(NN)对图像间的特征点进行匹配。该方法主要是根据特征点的最近邻距离与次近邻距离的比值来判断特征点间是否匹配，取一个阈值，如果低于该阈值则认为特征点间匹配。NN方法的关键是搜索特征点的最近邻和次近邻。如图2所示。

由于特征点提取时存在一定的精度误差，提取出的特征点会比求解方程式所需的多很多，另外，自动提取和匹配得到的匹配特征点集合中也难免存在误匹配点或伪匹配点，由于引起误匹配点存在的原因是特征检测算子把图像的某一部分错误地认定为特征，一般的参数估计等方法都不能将其排除，因此需要一种容错能力很强的算法来优化特征点集合，所以本文中使用估计算法RANSAC[10]。

RANSAC的基本思想是，在进行参数估计时，不是不加区分地对待所有可用的输入数据，而是首先针对具体问题设计出一个搜索引擎，利用此搜索引擎迭代地剔除掉那些与所估计的参数不一致的输入数据，即所谓的误配点，然后利用正确的输入数据来估计参数。

图3是经过RANSAC算法提纯之后的配准点。

1.3 图像融合

图像融合技术是将配准后的图像序列进行拼接、增加图像信息量并消除接缝的过程。由于之前已经进行图像的校正，减少了待拼接图像的色差，这使得图像的融合更加简单。

本文采用加权平均的融合算法[11]，使光强或颜色逐渐过渡，以避免图像的模糊和明显的接缝。本文选取0-1加权融合算法，在重叠区域中，权重函数d1由1渐变到0,d2处由0渐变到1，由此实现了在重叠区域平滑过渡。该方法的主要思想是：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定权值相加合成新的图像。假如f1,f2分别表示两幅待融合的图像，d1(x),d2(x)为加权函数，f表示融合后的图像，那么有：

这里，权重函数满足d1+d2=1,0

0-1加权融合算法可以得到令人满意的融合效果，但是对于较大图片的融合，采用0-1加权融合的算法消耗的时间过长。例如，本文试验在频率为1.73 Hz的处理器、内存为2 GB的电脑上运行，对于1 000×700的图片拼接，需要时间为72.281 s。此时，本文采取更加简单快速的平均融合方法，即d1和d2均取值为0.5。此时1 000×700的图片在同一台电脑上运行的时间为36.8 s，明显提高了运行速度。但是平均融合算法可能会使融合图像出现明显的带状瑕疵。

比较0-1加权融合算法和平均融合方法，平均融合方法更加快速，但是融合效果可能存在瑕疵;0-1加权融合算法得到的融合效果更好，但是融合速度相对较慢。可以根据对融合质量和速度的要求选择恰当的融合算法。

2 拼接结果

本文针对有明显色彩和亮度差异的图片，提出了一种图像拼接算法。图4(a)是存在色差的原图像的拼接，由于原图像存在色差，导致融合后的图像有明显的拼接缝，严重影响了拼接效果。图4(b)是进行色彩校正后的图像的拼接，色彩校正之后，两幅图像间的色差有了明显的改善，融合后的全景图像效果较之前有了显著的提高。

3 结论

本文提出了一种基于特征点的自动拼接算法，该方法对于存在严重色差图像的拼接有良好的鲁棒性。对于获取的待拼接图像进行色彩和亮度补偿，得到适合色彩亮度一致的待拼接图像，并调整参数选择需要的亮度值。提取待拼接图像的SIFT特征点，采用最近邻算法进行特征点配准，进一步地采用RANSAC算法对配准点去伪运算，实现图像的准确配准。由于之前已经进行图像的校正，减少了待拼接图像的色差，这使得图像的融合更加简单。本文采用0-1加权融合算法和平均融合算法相结合的方法进行图像融合。平均融合方法更加快速，但是融合效果可能存在瑕疵;0-1加权融合算法得到的融合效果更好，但是融合速度相对较慢。可以根据对融合质量和速度的要求选择恰当的融合算法。由于SIFT算法计算量大，因此本文提出的拼接算法需要更多的内存和运行时间。未来的图像拼接可以改善图像配准算法以节省内存和运行时间。

注：本文通讯作者为易子川。

摘要：针对有明显色彩和亮度差异的图片,在进行传统的图像拼接后,会产生肉眼可见的拼接缝,严重影响拼接效果。因此,提出一种针对存在色差的图像拼接算法。首先,计算相邻图片间的色彩校正参数和每个彩色通道的全局色彩调整参数,选择适合的颜色和亮度,对每一幅图片进行色彩校正。其次,引入SIFT和RANSAC算法,实现了图像的准确配准。最后,采取0-1加权融合算法和平均融合算法结合进行图像融合,得到最终的全景图像。实验结果表明,由于已经进行图像间的校正,减少了待拼接图像的色差,使得图像的融合更加简单。该算法对于存在色差的图片序列可以实现无缝快速的拼接,并且可根据需要调整图像的色彩和亮度。

关键词：图像拼接,色彩校正,SIFT,图像融合

参考文献

[1]Jin J S,Zhu Z,Xu G.A stable vision system for moving vehicles[J].IEEE Transactions on Intell Transport Syst,2000,1(1):32-39.

[2]SU M,WANG W H,CHENG K.Analysis on multiresolution mosaic images[J].IEEE Transactions on Image Processing,2004,13(7):952-959.

[3]LEVIN A,ZOMET A,PELEG S,et al.Seamless image stitching in the gradient domain[C]//Proceedings of 2004 European Conference on Computer Vision.Prague,Czech Republic:ECCV,2004:377-389.

[4]AGUIAR P M Q.Unsupervised simultaneous registration and exposure correction[C]//2006 IEEE International Conference on Image Processing.[S.l.]:IEEE,2006:361-364.

[5]UYTTENDAELE M,EDEN A,SZELISKI R.Eliminating ghosting and exposure artifacts in image mosaics[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2001:509-516.

[6]AGARWALA A.Efficient gradient-domain compositing using quadtrees[J].ACM Transactions on Graphics(Proc.SIGGRAPH),2007,26(3):941-945.

[7]LEVIN A,ZOMET A,PELEG S,et al.Seamless image stitching in the gradient domain[J].Lecture Notes in Computer Science,2004,3024:377-389.

[8]BROWN M,LOWE D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision,2007,74(1):59-73.

[9]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[10]Fischler M A,Bolles R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J].Communication Association Machine,1981,24(6):381-395.

MATLAB数字图像拼接的实现 篇3

1 提取边界矩阵

图像拼接成功与否主要取决于图像的配准。分析可知, 如果图片在某处断裂, 那么分裂开来的两张破碎图片在边缘一定具有相同的图像特征, 两者具有很大的相似度, 凭此特征可以利用碎纸片的边界矩阵, 很容易地从形状相似的图片中挑选出相邻图片。

由于图片边缘信息丰富, 左右边缘文字高度和文字间距可识别程度高、拼接难度小, 因此我们提取每个碎片矩阵中的边缘信息时, 不需要提取过多信息, 只需提取每个碎纸片像素矩阵最左边的一列li (i=1, 2, 3, …, m) 和最右边的一列ri (i=1, 2, 3, …, m) 。记某一图片fi (i=1, 2, 3, …, n) 的像素矩阵为si (i=1, 2, 3, …, n) , 通过人工观察, 可人工找出第u个图片为最右边一张破碎图片, 为防止拼接混乱, 标记该碎纸片的最右边一列为空。若想要找出其左邻图片, 只要将该碎纸片像素矩阵的最左边一列与其它碎纸片像素矩阵的最右边一列分别求绝对值距离, 绝对值距离越小, 则该两列相关性越高, 故绝对值最小的那个图片即为匹配程度最高的图片, 从而确定每个碎纸片左右相邻的图片。

采用边界拼接的方法简单易行, 充分利用了图像的边界特征, 大大压缩了图像信息采集的数据量, 在匹配时计算量小, 速度较快, 具有可行性。

2 二值化处理

图像按显示效果一般可分为灰度图像、二值图像、彩色图像等。图像二值化, 也叫图像黑白化, 是图像处理中常用的一种方法, 经过二值化后的图像可以使图中有用信息和无效信息的对比度达到最大, 突出主题, 方便之后的边界提取等处理。图像二值化的方法不同, 结果也不同。

灰度图像的像素矩阵中的元素值表示该位置上的灰度值, 二值图像是只有两个灰度级的图像, 常用0表示黑色, 255表示白色。图像二值化可根据公式⑴来进行:

其中, f (x, y) 是图像中像素点的灰度值, T为灰度阈值。根据此方法, 可把图像中像素点灰度值大于T的用白色代替, 小于等于T的用黑色代替, 原来的灰度图像就变成了非黑即白的二值图像。

阈值T的设置将影响破碎图片匹配度精确度, 图像特征对位置变化敏感, 匹配精度高, 因此对于不同图片, 可设置不同的T值, 以提高配准精确度。

在MATLAB中, 若各个碎纸片边缘矩阵差距大, 想不设置阈值而快速转变成二值图像, 只需以下代码:

3 相邻碎片拼接

采用边界拼接的方法, 要找出某一碎纸片的左邻碎纸片, 只需计算它的像素矩阵的最左列与其他碎纸片的像素矩阵的最右列的绝对值距离, 与之绝对值距离最小的碎纸片与其相关性越高, 即为其左邻碎纸片, 因此, 从人工找到的最右边的碎纸片开始, 运用MATLAB目标规划, 以某一碎纸片像素矩阵的最左列和另一碎纸片像素矩阵的最右列的最小绝对值距离为目标, 可依次找出其左邻破碎图片。同理, 若人工干预选取的是位于文档最左边的碎纸片, 可依次求得其右邻碎纸片。

已知li和ri是大小完全相等的矩阵, 计算两者的相关程度时, 可以用绝对值距离表示, 即:

其中, xik表示第k行的li的值, yjk表示ri的第k行的值。通过求解, 即可获得横向各破碎图片的排列顺序, 同理, 可获得纵向各行的排列顺序, 从而得到拼接复原的完整图像。

4 拼接试验

根据该方法, 运用MATLAB软件, 对图1中的4张碎纸片进行拼接。拼接结果见图2。

5 结束语

数字图像拼接已经成为当前国际学术界的研究热点, 在医学诊断、公安取证、计算机视觉、宇宙空间探测、遥感图像处理等领域都得到了广阔的应用, 对图像拼接技术进行深入研究, 前景广阔, 意义重大。

摘要：利用MATLAB数字图像处理软件, 针对破裂的图片, 围绕图像拼接的基本流程, 完成了图像边界矩阵的提取、图像二值化处理、图像的拼接三方面的研究内容, 根据破碎图片边缘的图像特征, 构造边界矩阵, 在众多碎片中, 找到相邻的碎片, 最终实现了图片的拼接。该方法效率高, 易操作, 实用性强。

关键词：图像拼接,边缘特征提取,MATLAB软件

参考文献

[1]李不言.图像二值化方法对比分析[J].印刷杂志, 2010, (10) :48-50。

[2]张佳佳.图像拼接关键技术研究与实现[D].武汉理工大学, 2009.6。

[3]赵万金.图像自动拼接技术研究与应用[D].苏州大学, 2008.4。

基于曲率的灰度图像拼接研究 篇4

1 曲率及其特性

1.1 曲率的定义

平面曲线上某点处的切线与X轴的夹角相对于弧长的变化率,即:

其计算公式为:

曲率反应了平面曲线在某点处的弯曲程度。

1.2 曲率的位移不变性[1]

将y=f(x)确定的曲线的原点位移到(x0,y0),令,,则,,故,假设函数二次可导,则绝对曲率为:

1.3 曲率的旋转不变性[1]

假设将坐标系沿原点反向旋转角,用极坐标系表示为:x=rcosθ,y=rsinθ;旋转θ0角后,)。

代入(1)后,可以同样得到结论,说明旋转不变性成立。

曲率反应了曲线在某点处的弯曲程度,而且曲率具有位移不变性和旋转不变性,所以图像两条切口上所对应的点处的曲率理论上是相等的。

2 图像边界的提取

如图2所示,a图和b图是一个图形被切开后的两部分,假设图像物体和背景具有反差,为了简便,将图像转换为灰度图像。首先需要提取图像的边界,边界检测与边界提取的算法很多,例如跟踪虫算法、拉普拉斯边缘检测算法[2]等等。由于这里只分析灰度图像,采用跟踪虫算法就能够很好地提取图像的边界。因为图像中灰度级最高的点(即在原始图像中梯度值最高的点)必然在边界上,所以可以把这一点作为边界跟踪过程的起始点。如果有几个点都具有最高灰度级,可以任选一个,接着搜索以边界起始点为中心的3×3邻域,找出具有最大灰度级的邻域点作为第2个边界点。如果有两个邻域点具有相同的最大灰度级,就任选一个。从这一点开始,起动了一个在给定当前和前一个边界点的条件下寻找下一个边界点的迭代过程。在以当前边界点为中心的3×3邻域内,考察前一个边界点位置相对的邻点和这个邻点两旁的两个点,如图1所示。下一个边界点就是上述3点中具有最高灰度级的那个点。如果所有3个或两个相邻边界点具有同样的最高灰度级,就选择中间的那个点。如果两个非邻接点具有同样的最高灰度级,可以任选其一。

图像轮廓边缘检测出来后,如图3所示,将图像轮廓点按顺序保存成图像文件。

3 计算图像边界上每个点的曲率[3,4,5]

得到图像的轮廓后,需要计算出图像轮廓上的各离散点的曲率,从而比较切口的相似度。常用的一种曲率计算方法为三点法,这种方法是考虑轮廓上相邻的3个点并用差分代替微分得到近似曲率值。设轮廓共有N个数据点P1……Pi……PN,Pi=(xi,yi),其曲率可近似表示为

这种方法计算简单,但对噪声过于敏感,在实际应用中,有时很难得到理想的结果。三点法对噪声过于敏感的原因是曲率计算的支撑区间太小。为此,将以上三点曲率计算方法扩充改进为十一点,可有效减小噪声的影响。设,Ri1=Pi-Pi-5,Ri2=Pi+5-Pi,则十一点法的计算公式为:

实际上,十一点法计算得到的并不是真正意义上的曲率,但在表达轮廓的几何特性方面它与曲率有相同的行为,更重要的是,由于扩大了曲率计算的支撑区间,大大提高了抗噪声能力。

4 计算相关系数

由于两条图像切口线的形状是吻合的,其上各点处的曲率也是吻合的。对于图2中a和b,可以求出相应的切口上各点的曲率,图像轮廓上各离散点的曲率可以看成信号序列,计算切口上各点曲率构成信号的相关系数,可以验证当切口上的各点完全吻合时,相关系数最大。

4.1 互相关序列

对于两个实信号序列x(n)和y(n),每个序列都是有限能量的。x(n)和y(n)的互相关序列定义为[3]:

4.2 自相关序列

在y(n)=x(n)的特殊情况下,得到x(n)的自相关[3]:

4.3 相关系数

归一化的互相关序列(相关系数)为[3]

信号y(n)移位l后,如果ρxy达到最大值,则说明y(n)移位l后和x(n)相似度最大。

5 结语

把图3中a曲线和b曲线的切口部分(ABC)各点处求得的曲率当作信号序列x(n)和y(n),经过验证,当l=0时,即a轮廓的A,B,C与b轮廓A,B,C重合时,ρ取得最大值,ρmax=0.9814。

参考文献

[1]葛云,舒华忠,罗立民.基于曲率及相关性的相似区域的线性配准.电子学报,2000,(8).

[2]徐晓刚,于金辉,马利庄.复杂物体轮廓提取.中国图像图形学报,2001,(02).

[3]John G.Proakis,Dimitris G.Manolakis,Digital Signal Pro-cessing Principles,Algorithms,and Applications.

[4]Rafael C.Gonzalez,Richard E.Woods,Digital Image Pro-cessing,Secong Edition.

[5]Williams.Donna and Shah.Mubarak,A fast algorithm for active contours and curvature estimation.

[6]Sergios Theodoridis,Konstantions Koutroumbas,Pattern Recongnition,Second Edition,Elsevier Academic Press.

彩色图像拼接论文 篇5

1 眼底造影血管图像边缘检测

眼底造影图像中组织密度不均匀,层次较丰富,噪声大,血管的组织密度较高。同时,由于物理和光照等原因,每幅图像中的边缘通常产生在不同的尺度范围内,形成不同类型的边缘。因此,根据图像特性自适应地正确检测出视网膜血管的边缘是非常困难的。小波变换具有良好的时频局部化特性及多尺度分析能力,在不同尺度上具有“变焦”的功能,适合于检测突变信号[4,5]。

首先由样条函数构造样条小波,由此得到小波滤波系数,然后,采用小尺度多方位滤波取最大值的检测方法得到眼底荧光图像的血管初始边缘,利用边缘细化算法对初始边缘进行细化,基于分形技术对细化后的边缘进行连接,由噪声去除算法消除边缘图像中的噪声点,得到连续的单像素点血管边缘。最后,利用计算机程序自动在边缘图像中搜寻三个相邻的边缘像素点,由这三个像素点决定两条直线,若这两条直线夹角等于零度,则认为这三个点在一条直线上,即找到了血管一条边缘,在这条边缘的垂直方向上搜寻血管的另一条边缘[6]。实验结果如图1所示,图1(b)所示为基于Canny算子的血管边缘检测结果,图1(c)所示为基于小波边缘检测算法的血管边缘检测结果。本文所使用的方法具有更好的边缘连续性和更少的过检测点。

2 边缘扩展相位相关算法

使用相位相关法来实现数字图像拼接,是先将两幅待拼接图像使用傅里叶变换算法变换到频域,再计算它们之间的互功率谱,从而计算出两幅图像之间的平移量,找到配准位置实现图像的拼接。如果图像之间存在旋转变换,就可使用扩展相位相关法,将图像坐标变换到极坐标下,尺度变化和旋转量就转换为平移量来计算,最后实现眼底造影图像的拼接[7]。

2.1 相位相关法

相位相关法是利用二维傅里叶变换的性质,将空域上的平移等效于频域相位的平移。相位相关法具有场景无关性,能够将二维有平移图像在较好的条件下进行精确的对齐[8]。

设二维离散图像f(x,y)的大小为M×N,则二维离散傅里叶变换定义为:

其中,u=0,1,...M-1;v=0,1,...N-1。

傅里叶变换定义为:

其中,u=0,1,...M-1;y=0,1,...N-1。

设f1和f2分别表示两幅待拼接的数字图像,第二幅图像在第一幅图像的基础上有如下的坐标转换关系:

其中,(x0,y0)表示平移量,相对应的傅立叶变换F1和F2满足如下关系:

由上式可知,这两幅待拼接图像在频域中具有相同的幅值,只是它们的相位不同。它们之间的相位差同时可以等效为互功率谱的相位。

式(6)中F2*(x,h)是F2(x,h)的复共轭,二位脉冲函数d(x-x0,y-y0)是e-j(x x0-hy0)的傅里叶变换。规格化的互功率谱的结果是简单复指数,即相位差。相位差的傅里叶变换是在平移运动坐标上的脉冲,搜索最大的位置(x0,y0)就是两幅图像的对齐点。此算法具有简单而准确的优点,但对具有较大旋转角度和较大尺度变化的两幅图像的配准则显得无能为力。

2.2 扩展相位相关法

为了能解决同时存在相对平移、旋转和尺度变化的两幅图像的配准问题,Reddy BS等人在1996年将对数极坐标变换与相位相关法相结合,形成了扩展相位相关法。该算法保留了相位相关算法的优点,实现了尺度因子和旋转角度的检测[9]。

假设图像f2(x,y)相对于图像f1(x,y)沿顺时针方向旋转了q0角度,尺度变化了a倍,并平移了(x0,y0)。则两幅图像信号f1(x,y)和f2(x,y),满足:

对f1(x,y)和f2(x,y)分别取傅里叶变换得F1(μ,n)和F2(μ,n),则F1(μ,n)和F2(μ,n)满足:

对F1(μ,n)和F2(μ,n)取模得到M1(μ,n)和M2(μ,n),则有

对M1(μ,n)和M2(μ,n)进行对数极坐标变换可得:

式中,q为极角,g为对数极径。表明了尺度因子和旋转角度在对数角坐标系中表现为M1(g,q)和M2(g,q)的相对平移量。

对M1(g,q)和M2(g,q)分别做傅里叶变换得到,其归一化互功率谱为:

对C(μ,n)取傅里叶反变换得

c(g,q)为二维冲击函数,只要搜索其峰值所在位置即可确定尺度因子a和旋转角度q0。

对图像f1(x,y)沿顺时针方向旋转q0角度,并尺度a倍得到相对于f2(x,y)仅存在(x0,y0)平移的图像,重复式就可以求解平移量(x0,y0)。

3 眼底拼接图像的融合

由于光照条件、时间条件的变化以及几何校正所带来的误差,我们所获得的拼接图像会存在灰度的不连续和几何变形留下的缝隙,若拼缝是在图像的边缘位置,则更加明显,因此,本文采用了加权平均的图像融合方法,减小和消除可能形成的拼缝[10]。

加权平均法是对图像重叠区域中的像素值先进行加权计算,然后再叠加像素值来计算像素平均值。设f1和f2分别代表待拼接的两幅图像,f代表融合后的图像,则有:

式中,和代表两幅待拼接图像在重叠区域中对应像素的权值,找出适当的权值,就能实现图像重叠区域的平滑过渡,消除图像拼接接缝。

本文使用渐入渐出法选取权值,将图像f1和f2在空间上叠加,则融合后的图像像素可表示为:

4 实验结果

实验使用日本产KAWA VX-3眼底数字照相机进行拍摄,得到多幅具有重叠区域的眼底图像,如图2所示。在Matlab 2012软件中进行计算,分别提取出多幅眼底图像中的边缘。利用图像中的边缘,使用扩展相位相关算法拼接眼底图像,如图3所示。通过实验可以看出,本文提出的算法具有很好的效果,能够有效地实现眼底图像的拼接。

5 结论

本文使用改进的小波边缘检测算法提取眼底图像中的血管边缘信息,再通过求边缘扩展相位相关找出眼底图像间的变换参数,从而进行眼底图像拼接,并用渐入渐出法融合拼接后的眼底图像。通过实验可以看出该算法简单,计算量小,能够有效的实现眼底图像的拼接。

摘要：该文采用了一种基于边缘扩展相位相关的图像拼接算法。首先使用改进的小波边缘检测算法对眼底图像进行边缘检测,再对检测出的边缘进行扩展相位相关计算得出图像间的平移、旋转和尺度变化,利用这些参数拼接图像,最后用渐进渐出的算法来实现拼接图像的融合。实验证明这种算法能够简化计算,并且有效的实现眼底图像的拼接。

关键词：眼底图像,图像拼接,扩展相位相关

参考文献

[1]陈昱,庄天戈.医学影像中的图像配准和融合技术研究[J].中国医疗器械杂志,1999,23(3):134-138.

[2]张承芬,刘熙朴.我国眼底病临床和研究工作的现状及发展趋势[J].中华眼科杂志,2002,38(3):129-131.

[3]王晓幸,王勤美,包含飞.眼科信息学的发展概述[J].中华眼科杂志,2006,42(5):476-480.

[4]张德丰,张葡青.基于小波的图像边缘检测算法研究[J].中山大学学报,2007,46(3):39-42.

[5]费浦生,王文波.基于小波增强的改进多尺度形态梯度边缘检测算法[J].武汉大学学报,2007,32(2):120-123.

[6]崔栋,刘敏敏,张光玉.基于改进小波边缘检测算法的视网膜血管宽度测量[J].中国组织工程与临床康复,2009,14(39):7340-7346.

[7]邵向鑫.数字图像拼接核心算法研究[D].吉林大学,2010.

[8]罗镇宝,张永科,吴钟建.基于扩展相位相关的图像快速匹配算法研究[C].图像图形技术与应用进展——第三届图像图形技术与应用学术会议.2008:182-187.

[9]Reddy BS,Chatterji BN.An FFT-based technique for translation,rotation and scale-invariant image registration[J].IEEE Trans Image Process,1996,5(8):1266-1271.

彩色图像拼接论文 篇6

红外搜索系统是通过探测和接收目标的热辐射, 获得目标的红外信息从而解算出目标的方位、俯仰信息。在探测过程中红外系统自身不发射任何辐射, 能够更好的隐蔽自己, 发现敌人, 大大提高了其生存能力;在强电子干扰环境下, 可以替代或辅助雷达搜索跟踪目标, 是在复杂环境下探测目标的首选探测方式, 在未来的战场应用中需求量巨大。

从目前国内外的红外搜索设备研制的情况看, 目前主要还存在以下不足之处:

(1) 在目前的探测器水平条件下, 红外热像仪视场普遍偏小, 故而单帧图像空间覆盖范围小, 仅从单帧图像无法有效对载体周围空情、地情进行有效评估;

(2) 在小视场的条件下, 要快速完成大区域搜索, 必须进行快速搜索, 而在快速搜索时, 红外图像变化过快, 单帧图像基本无法有效提供给操作员观察, 丧失了红外探测能提供昼夜可视图像的突出优点。

红外图像拼接技术可实时将多帧图像拼接成大视场全景图像, 用于解决小视场红外搜索不利于观察的问题;同时通过图像拼接技术, 可获取全景图像, 可在红外搜索阶段加入操作人员观察判断, 能有效降低红外虚警干扰, 提升红外探测的优势, 红外图像拼接技术在红外搜索系统中有广泛的应用前景。

2 图像拼接算法的一般流程

一般来说, 图像拼接的过程由图像预处理, 图像配准, 图像合成三步骤组成[1], 其中图像配准是整个图像拼接的基础, 也是图像拼接技术的关键。

2.1 图像预处理

图像预处理的目的是改善图像的质量, 从而保证下一步图像配准的精度, 包括对图像对比度拉伸、噪声点抑制 (如直方图处理、图像的平滑滤波) 等。对于一些存在几何畸变或者像旋的图像还要进行校正。如果在图像质量不好的情况下直接进行图像拼接, 容易造成误匹配。

2.2 图像配准

图像拼接的质量主要依赖图像的配准精度, 其核心问题是寻找一个变换, 找到待拼接图像中的模板或特征点在参考图像中对应的位置, 根据模板或者图像特征点之间的对应关系, 可以计算出数学模型中的各参量值, 从而建立两幅图像的数学模型, 使图像间相互重叠部分对准, 将待拼接图像转换到参考图像的坐标系, 以此构成完整的图像。精确配准的关键是要有很好描述两幅图像之间的转换关系的模型。

图像配准方法一般可分为基于区域和基于特征两种方法。基于区域的配准方法是利用的是图像的大部分灰度进行匹配, 配准精度高, 但运算量巨大;基于特征的方法则是通过提取图像中的点、边缘、轮廓等特征进行匹配, 运算量相对较少, 受噪声的影响较小, 常用的特征提取算法有SIFT特征提取算法[2]、Harris角点检测算法[3]以及Canny边缘检测算法[4]等, 基于特征的配准方法存在图像特征点提取及匹配困难, 特别是作为单色的红外图像利用特征点匹配存在较大的匹配误差风险。

2.3 图像合成

当准确计算出图像之间的转换参数之后, 我们需要根据求出的参数把多张原始图缝合成一张大的全景图。由于图像配准的结果存在配准误差, 因而不可能在每一点上都精确配准, 因此, 图像合成的策略是尽可能地减少遗留变形以及图像间的灰度差异对合并效果的影响。合成的目标包括:拼接图像的画出, 光度的调整混合, 确定重叠区域和消除拼缝。

2.4 全景图像的生成和视频显示

当结合红外目标信息的红外图像合成以后, 即可生成全景视频图像的编码显示, 每当一个搜索周期结束后, 利用新一周期的空间红外图像实时替换前一周期对应的空间红外图像, 即可生成实时全景红外图像, 能有效的解决红外探测设备快速搜索阶段红外图像无法观察的不足, 突出红外设备探测结果的可观察性的优势, 便于作战人员对战场的直观判断。

3 红外搜索系统图像拼接算法设计

红外图像拼接的算法有多种, 根据红外搜索系统获取的红外图像都具有稳定的像空间位置变化信息的特点, 本文提出了一种结合图像位置信息变化和模板匹配的红外图像的拼接算法, 算法流程如 (图1) 。

为避免红外探测器盲元、坏元点和图像噪声的干扰, 本算法在红外图像获取后即对其进行预处理, 主要的算法为中值滤波[5]和灰度直方图处理[5]。

在完成图像预处理后根据公式 (1) 计算出所需拼接连续图像的重叠区域大小。

式中A为重叠区域的行或列数, V为红外热像仪的搜索速度, f为红外图像帧频, α为红外探测器单个像元对应视场角。

确定重叠区域大小之后, 对参考图重叠区域的灰度进行分析, 提取其灰度梯度的分布情况, 进而选择原图像中一定大小灰度梯度较大的区域 (区域大小根据热像仪视场大小及探测背景复杂程度选取) , 将选取的这一部分区域图像作为拼接的模板, 在待拼接图像的重叠部分中可能匹配的区域进行图像灰度匹配运算 (可能匹配的区域应根据搜索精度确定) , 完成模板匹配算法。由于前后两帧图像亮度的差异, 若在灰度匹配时只将灰度值进行匹配, 必然会造成一定得匹配误差, 特别是当重叠区域图像灰度特征不明显时, 误差会较大, 故而加入了结合灰度比值匹配的方法, 利用图像中两列像元的灰度比值作为模板, 在待拼接图像中找到最优的匹配位置, 大大优化了模板匹配的算法效果, 且计算量小, 速度快。在前后两帧图像基本无灰度特征时 (如热像仪针对均匀的天空背景成像时) , 主要根据红外搜索系统的伺服控制位置信息进行匹配, 解决了无特征图像匹配的技术难题。

图像完成配准后, 再开展图像合成, 若直接进行重叠区域灰度平均, 会造成一定的拼缝和灰度差异, 本算法采用了高斯灰度加权平均的方法[6], 将两幅图像灰度值按照公式 (2) 进行了灰度叠加, 叠加后的图像进行灰度均衡形成最终的合成图像。

式中a为随重叠位置高斯分布的加权系数, I1为参考图的灰度值, I2为待拼接图的灰度值, R1是参考图中未重叠区域, R12是参考图和待拼接图的重叠区域, R2是待拼接图中未重叠区域。

该算法的优点主要有:

(1) 算法设计简单, 计算速度快:利用红外搜索系统图像具有稳定空间位置信息的特点, 只对两帧图像重叠区域进行分析, 并只选择灰度变化梯度较大的区域充当匹配模板, 在与待拼接图像匹配时, 又根据搜索精度的大小确定了可能匹配的位置, 计算量大为减少, 提高了匹配速度, 解决了模板匹配运算量大的问题。

(2) 匹配精度高:结合红外搜索系统高精度的特点, 在待拼接图像匹配区域选择上, 根据红外搜索系统伺服控制精度, 匹配前已设定了匹配运算的可能区域, 在灰度匹配的同时加上了灰度比值匹配, 大大提升了匹配精度。

(3) 适用性强:算法中涉及到的各参数均可根据搜索精度、热像仪视场及成像背景的复杂程度确定, 基本适用于所有的红外搜索系统, 适用性强。

4 算法试验验证结果

4.1 配准算法的仿真结果

根据基于区域特征、基于点特征 (SIFT特征和Canny边缘检测算法) 和本文提出图象配准算法利用同一套图像采集仿真器 (TI-DM642) 对一动态位置控制精度为0.5· (控制精度一般) 的平台搜索阶段采集到的两帧图像 (如图2、3) 进行了配准仿真计算, 各算法的仿真计算时间及精度见 (表1) 。

从 (表1) 可以看出本文提出的配准算法相对于基于区域特征和基于点特征的算法在计算时间和计算精度上都有很大的改善, 且本文采用的搜索平台精度不高, 若采用高精度的控制平台, 本文的配准算法将在计算时间和精度上进一步提高。

4.2 本文提出的图像拼接算法仿真结果展示

根据本文提出的红外搜索系统图像拼接算法, 对某红外搜索平台采集到的连续视频图像进行了试验验证, 验证效果如图4所示。该图为关于某野外树林的连续多帧红外图像的拼接结果, 从图中可以看出该算法较好的实现了一定空域的连续多帧视频图像拼接。

5 结语

本文针对红外搜索系统的特殊性, 提出了一套图像拼接的算法, 从仿真的结果看, 拼接效果较好, 已初步达到工程应用的水平, 成功的解决了传统图像拼接匹配算法运算量大和匹配精度不理想的问题, 运算速度快, 且匹配精度高。

参考文献

[1]SZELISKI R, SHUM H Y.Creating full view panoramic image mosaics and environmentmaps[A].Proc.of SIGGRAPH'97[C], Los Angles, 1997, 251-258.

[2]LOWE D.G.Distinctive image features from scale-invariant keypoints[J].International Journal of computer Vision, 2004, 60 (2) :91-110.

[3]HARRIS, C.&M.STEPHENS.A combined corner and edge detector[C].England:Processing of the 4th Alveyvision Conference Manchester.1988.Pp.147-151.

[4]JOHN CANNY, MEMBER.IEEE.A conputational apporoach to edge detetion.IEEE Trans.Pattern Analysis and Machine Intelligence.Vol.PAMI-8, No.1, 679-697, 1986.

[5]C.Gonzalez, Richard E.Woods著.数字图像处理[M].阮秋琦, 阮宇智等译.第二版.电子工业出版社, 2010.70-81, 93-98.

彩色图像拼接论文 篇7

在实际中广泛使用的各种图像拼接技术都以图像配准为基础。如医学及航空图像的拼接，三维虚拟场景的模拟等[1,2]。图像配准是对同一场景在不同条件下得到的两幅或以上图像进行对准、叠加的过程。图像拼接技术的核心问题是如何将多幅图像从几何上拼接起来，就是将预拼接的两幅图像进行几何上校正处理，利用重叠区域将它们规划到统一的坐标系中，然后对它们裁剪，去掉重叠部分，再将裁剪后的图像装配成一幅大的图像[3]。求解变换矩阵参数是图像几何校正中的重点。正确求解变换矩阵的参数就要依赖图像角点准确的提取。SUSAN算法广泛应用在图像角点的提取中，SUSAN算法是一种基于图像灰度对比值的角点检测方法。它的优点是无需计算梯度，降低了算法的复杂度，但它检测出的角点数目太多，其中有大量的伪角点[4]。SU-SAN算法提取角点的弱势为接下来的图像对应点匹配增加许多不必要的运算量，匹配精度也会受到影响。

1 SUSAN角点提取方法介绍

图像角点检测的方法分为三类，基于模板的检测方法、基于边缘角点的检测方法、基于灰度变化的检测方法，SUSAN方法是基于灰度变化的角点检测方法中的一种[5]。

1.1 SUSAN角点检测介绍

SUSAN角点检测算法由Smith和Brady所提出，该方法使用圆形模板对图像中的像素点进行USAN面积测算[6]。具体做法为:首先定义图像中对应模板中心的像素点为中心点。模板内的区域(除中心点外)与中心点灰度值相似的区域为USAN区域，其余为非USAN区域。任何一个处于模板下的像素点，要么在USAN区域要么在非USAN区域。因此，可将角点定义为像素点USAN面积足够小的那些点。计算像素点的USAN面积之前要设定模板中其他像素点与中心点的灰度差值t，再用式(1)进行判断区域内中心点的USAN面积。

式中，c(r,r0)是判断函数，用来判断中心点r0模板邻域内的像素r是否属于USAN区域，I(r0)是r0的灰度值，I(r)是模板邻域内的像素r的灰度值。则图像中任一点r0的USAN区域面积表示为式(2):

其中，c(r,r0)代表以r0为中心的圆邻域。为每个像素点计算USAN面积后，再用一个局部非极值抑制方法来确定最终角点，如式(3)所示:

式(3)中，g为非极大值抑制门限，设为USAN最大面积的一半。

SUSAN角点检测算法的步骤:

(1)在图像的中心处设定一个37像素范围的近圆形模板。

(2)用公式(2)计算圆形模板中与中心点灰度值相似的像素点数目n(r0)，其数目定为USAN。

(3)用公式(3)计算初始角点响应函数值，选定函数值大于某一给定阈值的点为角点。

1.2 SUSAN角点检测的不足

通过上述分析可知，SUSAN算法的优点是角点检测时不用计算梯度，不依赖于前期图像处理的结果，直接比较像素的邻域的灰度值就可检测出角点。故在图像处理中应用广泛。但其也有不足之处。

(1)对于图像每个像素点都计算其USAN面积来判断是否为角点，很多明显的非角点也要进行判断，大量地浪费时间。

(2)原算法在检测不同区域、不同对比度的图像时，有角点检测不均匀的情况，有的区域角点很少或没有，有些区域角点密集成簇。这样的结果，在匹配对应点时误匹配的概率大大提高，进而会错误求解变换矩阵的参数，最终的拼接效果会很不理想。

基于上述不足之处，本文改进原算法，提出了一种基于预检测的SUSAN算法。

2 基于预检测的SUSAN算法

2.1 SUSAN算法改进的原则

(1)提高速度

采用原SUSAN算法检测角点时，对所有像素点都计算USAN面积，根据其值判断哪个像素点是角点。实际上有些点尽管其USAN面积很小，也非实际的角点，如噪声点、边缘点等，人们称其为伪角点。伪角点参与运算必会增加不必要的运算量。实际经过简单的判断就可排除这些伪角点。本文采用预检测的方法，排除这些伪角点，减少运算量。

具体的做法如下:

角点周围图像区域的像素灰度值有非常大的变化，而非角点周围邻域内各点像素值没有太大的变化。由此，本文用预检测窗口来对不是角点的像素点进行排除，不对这些伪角点进行SUSAN算法检测。为了便于说明，设定图像点相近数为预检窗口中心像素点与周围8邻域内像素点灰度相近的数量。若8邻域内某点与中心点I(r0)的灰度值的绝对差小于阈值L，则中心点的相近数lcounts值加1，如式(4)所示:

其中，I(r0)、I(r)分别为中心点和像素r的灰度值。r在r0的8邻域内。

本文用count(r0)表示像素r0的8邻域内的图像点相近数的量。将像素点r0的8邻域内的所有像素点用式(4)计算后，便得到r0像素点的相近数count(r0)。根据count(r0)的大小判断像素点r0是否是伪角点。下面将分以下5种情况讨论伪角点的判断。

一是count(r0)=8，表示中心点r0的8邻域范围内的8个像素点都是和中心点相近，故像素r0的USAN面积最大，预检测时要去掉这样的像素点。

二是count(r0)=0，表示中心点r0与周围的8个像素点均不相近，像素点r0为孤立像素点或是噪声点，预检测时要去掉这样的像素点。

三是count(r0)=7，分为图1(a)、图1(b)两种情况考虑，其他情况都可以通过这两种情况旋转得来(图中白色区域表示该位置像素与中心像素相近)。图1(a)中，位于中心像素点的右方的那个像素点可能是角点，图1(b)中位于中心像素点的右下方的那个像素点可能是角点。很明显，预检测时要去掉这样的像素点。

四是count(r0)=1，可分为图1(c)、图1(d)两种情况(与中心像素不相近的区域标志为黑色)，很明显，这两种情况预检测时也要去掉这样的像素点。

五是2≤count(r0)≤6时，不能确认中心点是否是角点，要用SUSAN算法确认角点。

综上，本文仅对在预检测中2≤count(r0)≤6的中心像素点用SUSAN算法进行角点检测。

(2)提高精度

本文在进行预检测和SUSAN角点提取后，运用图像分块技术使角点分布均匀。然后在8邻域内使用排除近邻点的方法来避免角点成簇。分块技术采用固定块数的分法，这样能避开越界分块问题，又能保证处理图像尺寸较大时的良好效果。将分块中检测出的角点按响应函数R值由大到小排序，保留R值相对较大的那些角点。这样，在各个分块中特征明显的角点均被保留，从而实现了检测出的角点的均匀分布。为了减弱或消除角点成簇现象，又采用一个8邻域的模板对整幅图像进行排除近邻的成簇角点工作。若在此模板下存在多个的角点，就保留其R值最大的角点。

2.2 基于预检测的SUSAN角点提取算法的描述

本文提出的基于预检测的SUSAN角点提取算法具体步骤可以描述如下。

(1)计算图像点相近数:对图像的每个像素(除图像的最前、最后三行，图像的最前、最后三列之外)以3×3为模板按照公式(4)在其8邻域内，计算每个像素点的相近数，将这个数值保存在count(r0)中。

(2)预检角点:计算count(r0)的值，如果2≤count(r0)≤6，该像素点为预备角点。

(3)计算预备角点的USAN面积:以每个预备角点为中心，在一个37像素的圆形模板中利用公式(2)计算此模板中有多少像素点与中心点有相似灰度值，既为像素点的USAN面积。

(4)确认SUSAN算法中的角点:利用公式(3)计算每个预备角点初始响应函数值，并标出SUSAN角点。

(5)对图像进行分块:对每一图像块中存在的SUSAN角点C(i,j)(C(i,j)=1,i∈W,j∈H，其中，W,H分别为图像块的宽和高)的R值存储在S[num]中，其中num为数组的大小，即角点的个数。

(6)均匀化分布角点:对S[num]按R值从小到大进行排序，排序后的数组为S'[num]。选择S'[num]中R值相对较大的角点作为最后的角点。具体方法是在num个角点中选取N*num,N∈(0,1]个角点作为最终的角点。为保证每个分块中都有留下的角点，使用迭代算法求解N值。在(0,1]区间中选N的初始值，以N=N+step进行迭代，判断N值，若N=1，迭代终止;否则，判断如果图像块中留下角点就终止迭代，取此时的N值。

(7)排除成簇角点:选用3×3的模板计算此模板下角点数，如果大于1，则只保留R值最大的角点。

3 实验结果及分析

为了验证本文算法的有效性，在Matlab下做了仿真实验。使用100幅测试图像来验证本文算法的有效性，分别用原SUSAN算法和本文的算法进行角点提取。表1是其中5幅图像在两种算法核心部分速度对比数据表。表中给出的是采用原始USUAN算法和采用基于预检测的USUAN算法分别用的时间和检测出的角点数。其中时间以秒为单位，角点数以个为单位。从表1中可以看出改进后的方法提取角点的数目没有太大的改变，但大大减少了角点提取时间，提高了速度。

图2是待拼接的图像1和用本文算法对其检测出的角点效果图。图3是待拼接的图像2和用本文算法对其检测出的角点效果图。采用图像拼接方法对本组图像拼接后得到的图像如图4所示，从图片的效果可以看到图像拼接的精度很好。

4 结束语

本文针对SUSAN角点提取算法的不足提出了一种基于预检测的SUSAN角点提取算法。本方法主要从两个方面改进。其一，在角点提取时采用像素点相近数的概念，排除部分伪角点，保留预备角点。再对预备角点进行SUSAN检测出角点，从而提高角点的检测速度。其二，使用固定分块技术和近邻点排除方法使检测出的角点均匀分布不成簇，为后续的求解变换矩阵提供了良好的原始参数点对。仿真实验证明运用此方法进行图像拼接，既提高拼接的速度又提升了拼接的质量，有较好的实用性。

摘要：为了快速精确提取图像角点,提出了一种基于预检测的SUSAN角点提取方法。文中首先采用预检测的方法排除部分伪角点,对预备角点采用SUSAN算法检测出图像的角点。然后采用图像分块技术和近邻角点排除方法来保证角点分布均匀,没有成簇现象,保证后续图像拼接的精度。实验结果表明,此方法不但能提高角点的检测速度,而且能合理地提取图像中的角点,提高角点的检测精度,进而提高图像拼接的速度和精度。

关键词：角点提取,预检测角点,图像分块,图像拼接

参考文献

[1]杨龙,吴福虎,汤进,等.图像拼接在红外在线监测系统中的应用[J].计算机技术与发展,2012,21(12):194-197.

[2]Kim D W,Hong K S.Real-time mosaic using sequential graph[J].Journal of Electronic Imaging,2006,15(2):1-13.

[3]ZITOVA B,FLUSSER J.Image registration mcthods:a survey[J].Image and Vision Computing,2003,21(11):977-1000.

[4]叶伯洪,徐杜,蒋永平,等.一种改进的SUSAN角点提取方法[J].光学与光电技术,2010(1):47-51.

[5]梁艳.角点检测理论及算法研究[D].华中师范大学2012.