图像自动拼接融合（精选4篇）
图像自动拼接融合 篇1
摘要：针对彩色图像拼接过程中模板选择局限性的问题,提出一种改进彩色图像自动拼接方法。基于边缘检测得到的彩色图像结果,首先,从指定图像的重叠区域内自动选择并获得有效的特征模板;然后,依据最大相似性准则从另一幅图像中找到并获得最佳图像匹配点,进一步实现两幅相邻的彩色图像之间的匹配计算;最终,利用平滑算法法则对两幅图像的重叠区域进行融合处理,从而达到彩色图像的快速自动拼接的效果。通过实验表明,该算法能够有效提高图像之间的匹配精度,并且对大部分彩色图像具有很好的拼接效果。
关键词：彩色图像,图像拼接,特征模板,图像平滑
0 引言
图像拼接技术[1]是构建完整全景图像的一种常用方法。使用普通照相机拍摄获得一组具有重叠区域的序列图像，经过图像匹配与平滑处理，从而获得高分辨率的全景图像。目前，该技术在航空航天、房地产销售、医学图像处理、视频压缩等领域有着广泛的应用，日益成为数字图像处理技术领域和识别领域中重要的研究方向[2,3]。
图像拼接主要包括图像配准和图像融合，其中，图像配准操作是重要的一个环节[4]。在图像配准算法技术领域的研究过程中，很多专家和学者结合数学理论与数理方法，提出了许多改进算法，比如基于灰度相关的配准[5]、基于特征的配准[6]、基于频域变换的配准[7]等。基于灰度相关的配准算法具有简单直接、易于实现的优点，采用像素点的灰度值实现图像之间的匹配。但是建立在“亮度恒定”假设的基础上，对于任意图像统一按照固定的方式选择模板，由此就造成选择的模板不具有区分其他图像区域特征物体或信息的功能，易产生伪匹配现象;基于特征的配准不直接利用像素点的灰度值进行配准，而是从图像中提取特征点，通过对图像特征属性的比较来实现配准，其配准速度快，但精度不高;基于频域变换的配准技术在对小平移量旋转与变尺度图像整合处理中具有较好的效果，但对硬件的要求非常苛刻，易受到噪声影响，同时计算较为复杂。
针对上述问题，首先，本文对摄像机旋转拍摄的彩色图像作灰度化处理，并对灰度图像作柱面投影变换处理，进而在获得的柱面图像的基础上，采用改进配准算法在边缘图像上动态提取特征模板;然后，在灰度图像上进行精确的匹配计算，确定最佳匹配点，在匹配位置对重叠区域的彩色图像进行渐入渐出的平滑处理;最后，拼接成彩色柱面全景图像。
1 彩色图像自动拼接方法
1.1 彩色图像灰度化
通常采用RGB颜色模型来对彩色图像进行描述。在图像配准阶段，由于彩色信息不具有配准性能，因此在柱面变换操作之前，首先对彩色图像进行灰度化的处理，其次在图像的灰度空间作图像配准处理，真正实现在图像拼接处理过程中，从而使最耗时的配准工作所用时间大幅降低。采用RGB颜色模型来描述彩色图像，根据式(1)对其作灰度处理，进而作图像匹配。
设彩色图像任一像素点f(x,y)的RGB分量值分别为fR(x,y),fG(x,y),fB(x,y)则对应像素点的灰度值Y(x,y)为:
1.2 图像的柱面投影变换
由于照相机在某一视点旋转拍摄的序列图像不在同一平面上[8]，因此，如果采用上述操作方法，对所获得的灰度图像进行直接拼接，这将破坏实际场景视觉的一致性，从而无法满足实际场景中各对象之间的几何关系，最终导致匹配效果操作失败。
因此，为找到保持实际场景中的空间约束关系，需要将相机拍照获得的系列图像进行投影变换，投射到某一柱面，进而在获得的柱面投影图像基础上进行拼接。柱面投影变换示意如图1所示。
柱面图像f(x',y')上像素点的坐标记为(x',y')，与之对应的原始图像f(x,y)上像素点坐标记为(x,y)，则柱面图像上点(x',y')对应原始图像上点(x,y)的坐标可通过下式进行计算:
式中，M和N分别为原始图像高度和宽度，由图1(b)，圆柱而半径R为:
式中，θ为照相机水平视角，其决定拍摄景物的多少，由水平旋转照相机一周拍摄的照片数来估计，即:
式中，num为相机水平旋转一周拍摄的照片数。因为柱面图像上的点(x',y')对应原始图像的坐标点(x,y)并不是刚好在原始图像的某个网格点上，由于几何失真，有些像素点可能会挤压在一起，而有些像素点是分散开的，因此柱面图像中像素点(x',y')的灰度值需要利用双线性插值的方法进行确定。双线性插值法是以相邻四个点的灰度值按照一定的权函数内插出来的，即:
式中x0=int(x),y0=int(y),u=x-x0,v=y-y0。
1.3 配准算法的改进
通过柱面投影变换后，得到位于同一投影平面的序列图像，由于图像的边缘信息反映的是图像的内在性质，不易受到外界光照条件的干扰而产生较大的变化，抗灰度和几何畸变能力强[9,10]。因此本文采用信噪比与边缘定位之乘积最优化的Canny算子对图像进行边缘提取。在提取的边缘图像中根据邻域边缘量函数极大值动态地提取特征模板，使其包含边缘信息丰富的特征物体，然后在灰度图像上进行精确的匹配计算，从而准确地确定匹配点，完成两幅图像的配准。
1.3.1 匹配模板的选择
采用Canny检测算子[11]对参考图像进行边缘提取后，在边缘图像的重叠区域按照从左到右，从上到下的顺序依次扫描，提取一个t×s大小的区域，并利用式(7)计算此区域的邻域边缘量。如果某个区域的邻域边缘量较大，就表明该区域的边缘信息比较丰富，特征就比较明显。所以根据式(8)，确定NEA函数最大值，将NEA(u,v)最大值所对应的点(u*,v*)作为模板的顶点，从而确定出匹配模板f1(x,y)。
其中t=M/4,s=H/4,M和H为参考图像的高度和宽度，NEA(u,v)为邻域边缘量，顶点(u,v)的取值范围为1≤u≤M-t+1,0.5×H+1≤v≤H-s+1。
基于Canny检测算子的匹配模板提取法与传统的模板提取算法[12]相比，可以在一定范围内针对不同灰度特征的图像自动完成特征模板的定位及提取。由于在算法中采用边缘检测效果最令人满意的Canny算子，因此提取的特征模板最具有代表性，提高了下面匹配算法的准确性。
1.3.2 匹配点的确定
根据灰度信息的统计特性定义一个评价函数，匹配模板的灰度图像在搜索图像范围内移动(如图2所示)。通过计算模板和模板覆盖下的子图间评价函数的极值，搜索出与之对应的匹配图像从而确定两幅图像间的匹配点。为避免全局搜索，确定搜索区域的大小为M×H/2，固定模板[f1(x,y)]的大小，将模板f1(x,y)在搜索区域内进行平移，模板覆盖的部分记作子图f2(x,y)，那么f1(x,y)和f2(x,y)的相似性测量函数可描述为:
其中，(x2,y2)为子图f2(x,y)左上角顶点在搜索区域中的坐标。
根据最大相似性准则确定匹配点的基本原理:在模板匹配时，模板将在(M-t+1)×(H/2-s+1)个位置移动一遍后，R(x2,y2)最大值所对应的像素点(x2,y2)即是最佳匹配点。
1.4 图像平滑
在进行图像匹配计算后，如果只是根据匹配位置将两幅图像在重叠部份简单地叠加起来，那么由于拍摄时光照条件发生了改变，同一场景在相邻图像上的颜色和亮度是不同的，在拼接线的两侧会产生接缝现象。所以在进行拼接处理之前应该采用渐入渐出的平滑算法，以使图像在拼接处的光强平滑过渡，实现图像无缝拼接的真正目的。由于图像的匹配是在灰度图像上进行的，如果我们想将图像拼接成彩色图像，那么图像的平滑必须在彩色空间完成。这时我们需要对重叠区域的图像分别按照式(10)计算出R,G,B三色空间平滑后的灰度值，从而确定平滑后的彩色图像。这个阶段所花费的时间是对灰度图像进行平滑处理的三倍。
设彩色参考图像重叠部分对应像素点的RGB分量值分别为f11 r,f11 g,f11 b，待匹配彩色图像重叠部分对应像素点的RGB分量值分别为f22 r,f22 g,f22 b，则平滑后的彩色图像对应像素点的RGB分量值分别为fwr,fwg,fwb，可以通过式(10)计算得到。
其中d由1渐变到0，步距Δd为:
式中，L为图像重叠区域的宽度。当多幅彩色图像进行拼接时，将前两幅拼接好的彩色图像作为参考图像，再与第三幅彩色图像按照上述算法进行拼接。如此循环进行下去，直到将拍摄的序列图像拼接成一张新视图为止。
1.5 算法实施流程
算法实施的具体流程如图3所示。
首先，本文对摄相机旋转拍摄的彩色图像作灰度化处理，并对灰度图像作柱面投影变换处理，找到保持实际场景中的空间约束关系，进而在获得的柱面图像的基础上，采用基于邻域边缘量函数极大值方法在边缘图像上动态提取特征模板;然后，在灰度图像上进行精确的匹配计算，基于最大相似准则确定最佳匹配点，在匹配位置对重叠区域的彩色图像进行渐入渐出的平滑处理;最后，拼接成彩色柱面全景图像。
2 实验与分析
为了验证上述算法的正确性，将SONY公司出品的500万像素的专业数码照相机固定在三角架上，以镜头为轴水平旋转一周，对某小区建筑群进行了连续拍摄，并且相邻照片之间保证有50%的重叠区域。
计算机配置为Intel酷睿i5四核CPU,4 GB内存，3.2 GH主频，Windows7操作系统，开发环境为VC++6.0，开源计算机视觉库Open CV库。
图4为四幅用于拼接的原始图像，图5为边缘提取后的图像，图6为拼接后的彩色图像。整个过程自动完成，无需人工干预，拼接结果的视觉效果非常好。大量实验表明，选择不同的图象特征参数对实验结果影响不大，均能取得良好的拼接效果。
为了更好验证本文所提出的方法的先进性，将文献[9,10,11]中的方法与本文算法进行对比实验，实验图像来自UleedCOOL360图片库。采用文献[12]所提出的边缘差分谱评价法Do EM(difference of edge map)定量评价拼接效果，采用拼接时间定量评价算法效率。文献[12]中指出，Do EM的值越接近1，说明图像拼接效果越好。
每种算法都运行5次，图像拼接质量结果见表1所示，由此可知，本文算法拼接质量明显优于其他几种算法。
几种算法运行时间如表2所示，由此可知，本文算法耗时最少，算法效率最高。
本文方法可广泛应用于医学图像处理、遥感图像分析、虚拟现实、军事侦察等需要将多幅单张图像快速准确地拼接成全景图像的领域。
3 结语
本文提出一种改进的彩色图像自动拼接方法。首先，该算法采用Canny检测算子进行边缘检测，从而保证提取的匹配模板具有代表性，同时包含丰富的图像特征信息;然后，根据最大相似性准则从另一幅图像中找到并获得最佳图像匹配点，进一步实现两幅相邻的彩色图像之间的匹配计算;最终，利用平滑算法法则对两幅图像的重叠区域进行融合处理，从而达到彩色图像的快速自动拼接。实验表明，该算法能够准确快速地实现图像的自动拼接，具有重要的应用价值。
参考文献
[1]陶阳,刘志明,彭宇行,等.一种有效的匹配准则及块匹配算法[J].计算机工程与科学,2007(2):69-72.
[2]董卫军,樊养余,刘晓宁,等.基于小波不变矩的医学图像配准技术研究[J].计算机科学,2008(7):234-236.
[3]Gholipour A,Kehtarnavaz N,Briggs R.Brain Functional Localization:A Survey of Image Registration Techniques[J].IEEE Transactions on Medical Imaging,2012,26(4):427-451.
[4]甘进,王晓丹,赵杰,等.基于直线特征的图像配准算法[J].计算机工程与应用,2010(11):193-195.
[5]葛仕明,程义民,曾丹.基于稀疏特征匹配和形变传播的无缝图像拼接[J].电子与信息学报,2007(12):2795-2799.
[6]王小强,陈临强,梁旭.实时全自动视频拼接方法[J].计算机工程,2011(5):291-293.
[7]Chen X Q,Huang Z Y.Analysis and comparison of the selecting weight iteration method in resistance robust estimation[J].Engineering of Surveying and Mapping,2014,19(4):8-15.
[8]Joo K S.Robust radiometric calibration and vignetting correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,Applied Computer Science Group,2013,30(4):562-576.
[9]Zeng L,Wang Y,Tan J.Improved Algorithm for Sift Feature Extraction and Matching[J].Guangxue Jingmi Gongcheng Optics and Precision Engineering,2014,19(6):1391-1397.
[10]陈宇,白征东.基于多极值网格搜索法的快速影像匹配技术研究[J].测绘通报,2010(4):28-30.
[11]刘严严,徐世伟,周长春,等.基于比值法图像拼接算法研究[J].电子测量持技术,2008(7):56-58.
[12]万国挺,王俊平,李锦,等.图像拼接质量评价方法[J].通信学报,2013,34(8):76-81.
图像自动拼接融合 篇2
随着计算机及摄像机性能的提高及成本的降低, 可以采用多部摄像机采集场景, 通过图像拼接技术产生视野更宽、分辨率更高的图像。目前, 图像拼接已经成为一个日益流行的研究领域, 它是一种将多幅相关重叠图像进行无缝拼接从而获得宽视角全景图像的技术, 广泛应用于视频会议、虚拟现实和战场监控等。
近年来, 国内外对图像拼接技术的研究已经取得了一些成果, 常见的方法有灰度相关法、相位相关法和特征法, 但均存在一定的局限性, 因而对于尺度、视差及光照变化较大图像的拼接效果还亟待进一步提高。1999年Lowe提出了SIFT (Scale Invariant Feature Transform) 特征算子, 并于2004年进行了改进。SIFT特征不仅对于图像缩放、平移和旋转变换具有不变性, 而且对于光照变化以及复杂的仿射和投影变换也具有部分不变性, 在图像处理中获得了广泛的应用, 很适合处理火灾监控和扑救的复杂现场环境图像。
为此, 笔者提出了一种基于SIFT特征的消防侦察图像自动拼接算法。算法充分利用SIFT特征对图像缩放、旋转甚至仿射变换保持不变性的特点, 通过SIFT变换来提取图像中的SIFT特征信息, 然后通过特征匹配, 估计出图像间的映射参数模型, 并以此进行无缝拼接, 获得现场全景图像。
1 应用模型及自动拼接方案
此方法以公安部上海消防研究所自主研制的小型消防侦察机器人为原型, 其应用模型如图1所示。该款小型消防侦察机器人主要用于消防员无法靠近的火灾现场和狭小空间的侦察, 其携带的两个摄像机位于机器人顶部面板同一条直线上。由于单个摄像机视角范围有限, 需要对获得的视频图像进行拼接, 以获取侦察空间的全景图像信息。
图像的自动拼接主要包括图像采集、图像匹配和图像融合三个步骤, 如图2所示。此模型中, 图像采集是通过消防侦察机器人携带的两个摄像机完成的。对获取的同一时刻的两帧视频图像进行配准处理, 通过特定的算法寻求它们之间的映射关系, 以实现图像的匹配。笔者采用SIFT特征来获取两图像间的映射关系。如此, 即可实施图像拼接。为了使拼接图像平稳过渡, 需要对重叠区域进行融合处理。
2 消防侦察图像的自动拼接
2.1 图像的SIFT变换
SIFT变换对图像的尺度缩放、旋转、三维视角、光强的变化具有不变性, SIFT算法主要分为:尺度空间极值检测、特征点定位、特征点角度计算、特征点描述 (用一个多维向量来表示) 。
(1) 尺度空间的极值检测。 笔者通过建立DoG (Difference of Gaussian) 尺度空间, 进行局部极值检测, 初步确定特征点所在的位置和尺度。DoG算子是两相邻尺度高斯核的差分与图像的卷积, 即:
D (x, y, σ) =[G (x, y, kσ) -G (x, y, σ) ]×I (x, y)
=L (x, y, kσ) -L (x, y, σ) (1)
undefined (2)
在检测尺度空间极值时, 该像素需要与同一尺度的相邻8个像素以及相邻上下两个尺度对应位置的9×2个像素进行比较。
(2) 剔除不稳定特征点。为了降低因DoG算子对噪声和边缘信息敏感导致的特征点定位偏差, 在极值点所在的位置和尺度上使用Hessian矩阵
undefined
计算其稳定性, 根据稳定性度量标准来剔除非稳定的特征点。稳定性条件为
undefined (3)
式中:r为最大特征值和最小特征值的比率。
(3) 确定特征点的方向。为了达到图像旋转不变性, 对每个特征点指定一个一致的方向。利用像素的差别计算梯度幅值m (x, y) 和方向θ (x, y) , 计算表达式见式 (4) 和式 (5) 。
m (x, y) =
undefined (4)
θ (x, y) =arctan[ (L (x, y+1) -L (x, y-1) ) /
(L (x+1, y) -L (x-1, y) ) ] (5)
实际中, 在以特征点为中心的邻域窗口内采样, 并用梯度方向直方图统计邻域像素的梯度方向。梯度直方图的峰值则代表了该特征点邻域梯度的主方向, 即作为该特征点的方向。
(4) 生成SIFT特征描述符。取特征点为中心的子块, 每个像素点定义8个向量方向, 因此一个特征点就可以得到128个方向描述符, 即特征描述符;然后将这的特征描述符归一化, 使其对亮度变化不敏感。
2.2 SIFT特征点匹配
(1) 特征点匹配。以SIFT特征描述符间距离函数 (如欧式距离、马氏距离等) 作为两幅图像特征点的相似性度量, 通过相似度的计算得到图像间的潜在匹配。取参照图像中的某个特征点, 找出另一幅图像中与其特征距离最近的前两个特征点, 笔者采用欧式距离。在这两个特征点中, 如果最近距离与次近距离的比值小于某个设定的比例阈值时, 则表示参照图像中该特征点与另一幅图像中距离最近的特征点匹配。
(2) 剔除错配。在上一步得到的潜在匹配对中, 不可避免地存在一些错配, 将会导致后续拼接失败, 因此需要剔除这些错配。一是根据拼接算法实际应用模型的特点进行剔除, 由于消防侦察机器人携带的两个摄像机已经固定 (如图1) , 两者输出的视频图像之间相对位置关系也就可以确定, 即摄像机1输出的视频图像始终位于全景图像中的左部, 而摄像机2输出的视频图像则位于全景图像中的右部。换言之, 对于视频图像1而言, 两图像间的重叠区域位于它的右部, 而对于视频图像2而言, 则位于它的左部。因此, 对于匹配的特征点对来讲, 它在两视频图像中的横坐标之差 (x1-x2) 必为非负值。利用这一先验条件即可去除一部分错配。二是采用随机抽样一致性法 (Random Sample Consensus, RANSAC) 来进行最大限度地剔除错配。
2.3 图像间变换参数估计
在上述SIFT变换获得图像中的特征点和有效匹配的基础上, 即可进行图像间变换参数的估计。假定以视频图像1 (I1) 为参照系, 将视频图像2 (I2) 变换到I1所在的坐标系, 记变换后图像为I′2。其对应关系为:
undefined
(6)
式 (6) 中有8个参数, 仅需要4对匹配点即可计算变换T。得到T后, 即可获得I2在I1坐标系下的变换图像I′2, 见式 (7) 。
I′2=TI2 (7)
2.4 重叠图像的融合
经变换处理, I1和I′2两幅图像已经处于同一坐标系, 可实现拼接。但是, 如果直接进行拼接, 拼接处会出现图像的突变, 即形成比较明显的拼接缝, 降低全景图像的质量。因此, 对图像重叠区域需要进行融合处理, 以消除拼接缝。图像融合的方法很多, 但考虑到整个算法实时性要求, 笔者采用加权融合法实现重叠区域的平稳过渡, 如图3所示。
算法中, 拼接图像重叠区域像素点的灰度值Io是由视频图像I1o和I′2o中相应点像素值的加权平均得到, 如式 (8) 所示。
Io=kI1+ (1-k) I′2 (8)
式中:比例系数k定义为:
k=l1/ (l1+l2) (9)
式中:l1和l2分别为重叠区域像素点到两图像重叠区域的左边界和右边界的距离。
3 实验仿真结果
为了验证上述算法的有效性, 笔者采用Matlab编程加以实现。通过侦察机器人携带的两个摄像机采集前方某火场的图像, 采用笔者提出的自动拼接算法实施视频图像的拼接。
图4给出了其中一帧图像的拼接效果图。图 (a) 和图 (b) 分别为摄像机1和摄像机2采集到的视频图像, 按照它们在侦察机器人上的安装位置可知, 图4 (a) 为左边图像, 图4 (b) 为右边图像。图4 (c) 和图4 (d) 分别为上述拼接算法检测出来的位于图4 (a) 和图4 (b) 中的重叠区域图像, 图4 (e) 为此算法下的自动拼接结果。从图4中可以看出, 重叠区域定位精确, 拼接结果中无明显拼接痕迹, 表明此算法的拼接结果十分理想, 实现了图像的有效拼接。
4 结 论
图像自动拼接融合 篇3
关键词：计算统一设备架构(CUDA),尺度不变特征变换,图像配准,图像拼接
0 引言
眼底图像对眼底疾病的早期发现、诊断及指导治疗有着重要的意义。眼底照相机一次成像只能获取眼底局部区域(45°视场)的图像,为了满足临床诊断和研究中对大部分或整个眼底区域图像进行处理和分析的需要,需将相互有部分重叠的两幅或多幅不同视场区域的眼底图像进行配准、融合,得到包含各图像信息的较宽视角的高分辨率拼接图像或全景图像。图像拼接主要包括图像配准和图像融合,图像配准是图像拼接的关键技术,该技术已经广泛应用于遥感、医学影像、模式识别和计算机视觉等领域[1,2]。图像配准方法主要分为两类[2]:基于区域的方法和基于特征的方法。基于区域的方法很难校正眼底图像的高阶几何畸变,而基于特征的方法可以快速、高精度地确定图像间的控制点对,进行高质量配准。配准时计算复杂的特点决定了算法耗时较长,为此,需从计算科学的角度引入并行计算来实现快速、实时配准。计算统一设备架构(compute unified device architecture,CUDA)是基于NVIDIA图形处理器(graphic processing unit,GPU)硬件的完整的并行计算架构,该架构协同CPU(主机)处理串行、逻辑性任务且协同GPU(设备)处理线程并行任务,在GPU上执行的函数称内核函数。CUDA程序由主机的多个串行处理步骤和设备的多个并行处理步骤组成,每个内核函数作为一个并行处理步骤分为线程网格(grid)中线程块(block)间并行和线程块中线程(thread)间并行,即实现GPU多个图形处理核心的单指令多线程并行。CUDA通过不同类型的存取器进行数据存储和线程间通信(如适合图像处理的纹理存储器是CUDA提供的一种通过显存、缓存、纹理拾取单元的纹理流水线等加快存储器访问速度的一种功能,而不是专门的物理存储器,适用于图像存在大量空间局部性的情况。可通过在显存中分配线性存储空间或者CUDA数组,然后绑定到芯片上的纹理缓存,通过纹理拾取,对纹理存储器中的数据进行快速读取),充分利用GPU的处理能力,大幅度提升计算性能,在图像与视频处理、CT图像再现等领域有着重要应用。
Can等[3]研究了人眼视网膜图像配准,提出一种基于特征的鲁棒分层算法来配准视网膜图像。张二虎等[4]研究了基于互信息的视网膜眼底图像配准方法。Ryan等[5]研究了基于界标对应期望值最大化的眼底图像配准。Yang等[6]研究了二维图像配准算法,提出用于图像配准变换估计的GDB-ICP算法。Lee等[7]研究了基于投影成像畸变模型的视网膜图像配准。
综上,眼底图像对比度低、光照不均匀等特点决定了其配准和拼接算法需要具备高质量、高精度的鲁棒特征,特征检测、匹配、提纯等耗时较长,单纯的算法优化已经提升空间不大,特征简化则会影响到算法的精度和鲁棒性,因此,本文采用硬件CUDA加速的并行计算方案来加速眼底图像配准拼接。本文提出了一种基于CUDA的眼底图像自动配准与拼接算法,该算法分析各算法模块的并行性,利用CUDA对不同视场眼底图像的有效视场进行同态滤波增强、图像尺度空间中的特征点检测、各个特征点具有尺度不变性和旋转不变性的描述符生成、不同图像间的特征点匹配点对计算,最后根据RANSAC算法中透视变换模型去除误匹配点对,计算变换矩阵,完成图像配准和拼接。
1 CUDA加速SIFT特征提取及匹配
尺度不变特征变换(scale invariant feature transform,SIFT)算法[8]通过高斯差分尺度空间进行特征点检测和提纯,生成各个特征点的具有尺度不变性、旋转不变性、仿射不变性的特征描述符。描述符具有良好的重复性、独特性和鲁棒性,可实现图像间的特征点精确匹配,但算法耗时较长,为此,通过CUDA协调CPU和GPU的并行计算以加速SIFT算法,加快特征点检测、描述符生成、特征点匹配以及后续配准拼接速度。
CUDA加速的实现方式是:由主机处理串行部分代码,将并行处理的数据拷贝到设备存储器中,通过设备的并行处理机制来加速数据处理,然后将处理结果拷贝回主机存储器,中间需要主机和设备的协同处理。本文的算法流程如图1所示。
1.1图像前处理
为了消除眼底图像对比度低、光照不均匀等对特征点提取的影响,结合后续特征提取的特点进行了图像前处理。眼底图像频域增强方法可以克服空域增强方法中特征点精度不高的缺点,有效增强视盘、血管、病灶等主要特征,保证特征点的精度,增加稳定特征点的数量,因此根据眼底图像的成像原理,采用照度-反射模型进行频域同态滤波增强的前处理,压缩照度分量的动态范围,增强反射分量的对比度,以解决照度分量不均匀分布和动态范围过大等问题。
根据眼底图像的特点,用有效视场图像掩膜的方法来限定图像增强和特征点提取的区域,将真彩色眼底图像转换到HSI空间,同态滤波后再转换到RGB空间,用CUDA的CUFFT库加速同态滤波中的快速傅里叶变换,增强后的图像用于后续特征提取,原图像用于后续拼接。其中,颜色空间转换公式如下(由于彩色眼底图像的H统计值为0°～120°,为此仅给出了该范围反变换公式):
式中,H、S、I和R、G、B为HSI和RGB空间各颜色分量。
1.2建立图像尺度空间
在设备上分配高斯金字塔和高斯差分金字塔的全局存储器空间,采用二维grid和二维block的内核函数,将同态滤波增强后的图像Ih(x,y)拷贝到设备上分配的全局存储空间并绑定为二维纹理,对Ih(x,y)进行采样和高斯核卷积后存入高斯金字塔指定层,然后用二维纹理绑定各层图像与高斯核函数G(x,y,σ)的卷积和不同阶图像下采样,高斯核卷积可分垂直和水平两步进行,结果图像L(x,y,σ)存入高斯金字塔中相应的层。图像L(x,y,σ)表示为
式中,*代表卷积操作;σ为尺度因子。
为了更有效地检测出尺度空间中的稳定特征点,使用高斯函数之差对图像进行卷积操作,得到高斯差分函数(difference of gaussian,DOG)。采用二维grid和二维block的内核函数,将高斯金字塔中的图像与二维纹理存储器绑定,将每阶相邻图像相减,完成高斯差分金字塔构建,即
式中,k为常数,文中k=21/3。
1.3特征点提取和描述
尺度空间建立后,采用二维grid和二维block的内核函数,将DOG图像与二维纹理寄存器绑定,对高斯差分金字塔中每阶的中间层图像进行特征点检测,中间各层图像的被检测像素要与26个像素点(同一尺度的8个像素以及相邻尺度的各9个像素,中间层检测点可以看作3×3×3立方体的中心体素)进行比较,若被检测像素的值为局部极值点,则该点选为候选特征点。
由于DOG图像反映了图像轮廓特征,对噪声和边缘较敏感,因此拟合三维二次函数以精确定位特征点,去除对比度值的绝对值低于设定阈值的低对比度特征点,去除主曲率过小的边缘特征点。
在设备上分配梯度和方向计算所需的全局存储器空间,对特征点所在的尺度空间图像L邻域像素梯度方向进行直方图统计和缩减,确定特征点主方向,为各个特征点建立具有尺度不变性、旋转不变性的描述符,用128维的特征向量来描述每个特征点。
1.4特征点匹配和提纯
眼底图像的特征点及其特征描述符确定后,可根据参考图像和待配准图像各自特征点描述符向量之间欧氏距离的相似测度来进行特征点匹配,该匹配是高维向量空间中的相似匹配问题。
为提高特征点匹配的稳定性,采用最近邻匹配方法:将待配准图像特征点及描述符信息拷贝到设备存储器,采用二维grid和二维block的内核函数计算、查询与参考图像中每个特征点对应的待配准图像中欧氏距离最近的两个特征点,若最近距离与次近距离之比小于设定的最近邻阈值,则参考图像中的特征点与待配准图像中与其欧氏距离最近的特征点为匹配点对。根据该方法中的单向匹配,可以提出双向匹配的方法,即在单向匹配基础上加入待配准图像与参考图像的匹配点对。
由于穷举法在欧氏距离计算时,计算复杂度高,计算量大,故CPU计算时常采用改进k-d树的BBF算法[8]来进行SIFT特征向量匹配,该算法可以采用限定k-d树搜索顺序的方法来限定搜索的最大次数,从而提高对高维空间的搜索效率,而GPU的计算模式适用于穷举法快速并行计算。特征点匹配阶段,用有效视场掩膜的方法限制用于匹配的特征点范围,提高匹配效率,以避免后面误匹配点对的增加。
特征点匹配是图像配准的关键,提高特征点匹配的正确性和精度,可以保证图像配准的精度,因此去除误匹配点对是必须的。本文针对眼底图像配准的特点,调整算法的阈值参数,采用SIFT特征点双向匹配方法进行匹配点对初选(对特征点对杂乱的情况,可有效减少无匹配点,缩短后续RANSAC算法所耗费的时间),分配匹配点对共享存储器空间,采用二维grid和二维block的内核函数的RANSAC算法[9],引入透视变换模型对眼底图像匹配特征点对进行提纯,该方法可以快速地去除误匹配点对,提高图像配准的准确性,保证眼底图像拼接的精度。
2 CUDA加速图像配准与拼接
由两幅待配准图像间的准确匹配点对可计算配准所需的变换矩阵,实现待拼接图像的配准和拼接。
2.1图像配准
在设备上分配图像全局存储器空间,将图像与二维纹理寄存器绑定,采用二维grid和二维block的内核函数,对两幅待拼接图像分别采用仿射变换、透视变换、二元多项式变换模型进行配准,用最小二乘法对得到的多个匹配点对(大于10对匹配点)进行非线性优化,计算出图像间最优的变换矩阵,校正图像间的几何畸变,用双线性插值的方法处理变换后图像,得到高精度的图像配准和拼接结果。
二元多项式变换是用一个二元n次多项式来描述输入和输出图像的坐标(u,v)和(x,y)之间的关系,即
其中,aij、bij为待定系数;n为多项式次数;ε为最小拟合误差平方和,是多项式变换求解的约束条件。待定系数aij、bij可根据已知的控制点对,采用曲面拟合方法,按最小二乘法准则求出;xe为变换后的x坐标;u(i)e、v(j)e为变换前的坐标;L为参数估计的点对数量,当n=2时,L>6。
二元多项式方法简单有效,精度较高,位置拟合误差随着多项式次数增加而减小,但多项式次数n增加,所需控制点对的数目也急剧增加,计算时间增加,非重叠区域的变形增加,故需经过对比实验选取最优的n值。
2.2图像融合
待配准图像空间变换后就完成了图像配准,得到与基准图像对齐的图像,图像融合后就可得到拼接图像。在设备上为图像分配全局存储器空间,将图像与二维纹理寄存器绑定,采用二维grid和二维block的内核函数,对参考图像I1和待配准图像配准后的图像I2采用最大值融合的方法进行融合:
式中,F为最大值融合后的图像。
3 实验与结果分析
本文采用项目组与国内厂家联合开发的YZ50A型眼底照相机拍摄得到的眼底图像进行实验。实验系统配置为:CPU Intel i3 2100 3.1GHz、4G内存、GPU GTX560Ti(第二代费米架构,8个流多处理器(SM),384个CUDA Core)、1G显存(带宽256bit)的计算机,MATLAB R2011b 64bit、CUDA 4.0 64bit、Visual Studio 2010 64bit的软件环境。
3.1SIFT算法参数选择
SIFT算法的参数关系到控制点对的数量、配准与拼接精度以及算法的耗时。在对不同视场眼底图像进行多次配准实验的基础上,选择眼底图像拼接的SIFT参数如下:对比度阈值0.0025,主曲率阈值10.0,最近邻阈值0.7。
实验结果表明,当对比度阈值增大时,控制点对位置会相对集中,影响配准精度;有效视场掩膜可减少10%以上的视场边缘误匹配点对;同态滤波前后的两幅眼底图像拼接结果非常相近,拼接图像熵值均超过5.0,对比度阈值增大时同态滤波后的控制点对多于原图,如图2所示(参数设定如上述),对比度阈值大于0.0025,增幅超过10%,拼接得到的图像熵值误差不超过0.01。
3.2配准误差分析
对100对有重叠区域的图像进行了仿射、透视、二元二次多项式、二元三次多项式变换算法的对比分析,统计了四种空间变换的平均配准耗时和平均配准误差。眼底图像分辨率为1600像素×1200像素,配准误差定义为待配准图像空间变换后正确匹配点对中的各个特征点与基准图像对应点之间欧氏距离绝对值的均值,该误差较为保守,数值上较大,用所有的正确点对来衡量配准精度,实际误差小于此值。其中,配准前各图像对的正确匹配点对的标准差均大于5.0,配准后结果如表1所示。
对不同空间变换得到的配准结果栅格化显示,如图3所示,由于眼底为弯曲的曲面,仿射变换得到的两图对应位置有较大的误差,透视变换和二元二次多项式变换得到的图像中毛细血管均较好地对齐,二元三次多项式变换尽管误差较小,但图像中毛细血管有错位现象,尤其是非重叠区域。根据眼底图像的特点以及误差分析,为避免点对过少影响图像配准,选用二元二次多项式变换作为图像空间变换方法。
3.3自动配准与拼接结果
对某受检者的右眼两幅不同视场的眼底图像进行自动拼接,如图4所示。待配准图像分辨率为1600像素×1200像素,同态滤波增强(图4a、图4b)掩膜后提取特征点,特征点匹配得到517对特征点对,提纯后得到338对正确的匹配点对,如图4c,计算变换矩阵,对待配准图像进行空间变换,融合得到拼接结果,如图4d,图像大小为1420像素×1310像素;图4e～图4g分别为两图重叠区域用SIFT算法、快速鲁棒特征算法(SURF算法)、GDB-ICP[6]配准后的栅格显示结果。SIFT特征、SURF特征、GDB-ICP配准得到的拼接图像熵值分别为5.583、5.581、5.360,图像熵值反映了图像中信息的丰富程度,熵值越大,图像中包含的信息量越大。自动拼接结果表明,本文方法与SURF配准方法相近,优于GDB-ICP配准结果,两幅待配准图像重叠区域的毛细血管均完全吻合,可高精度地对眼底图像进行自动拼接。其中,两幅图像有效重叠区域占最小有效视场面积的68.1%,占最小图像面积的41.8%。实验表明,配准中图像的最小重叠区域,可以小于最小有效视场的50%。
(f)SURF重叠区域栅格 (g)GDB-ICP重叠区域栅格
分别对100对分辨率为1600像素×1200像素的眼底图像进行了SIFT和SURF自动拼接实验,自动拼接算法各模块的平均执行时间如表2所示。SURF-128与SURF自动拼接平均耗时相近(特征匹配耗时稍多),但精度有较大提高。有效视场掩膜可以有效减少无效特征点和匹配点对,缩短特征点提取和匹配时间,基于CUDA的SIFT算法中线程块的维度取值为32,64,128,256,512,根据线程块的维度可以设置相应的线程网格大小(如2D线程块的维度都为128时,2D线程网格的尺寸分别为(w+128-1)/128、(h+128-1)/128(w、h分别为图像的宽度和高度),基于CUDA的SIFT算法的加速比可以达到10～30倍(误匹配点对所占比例较多时,RANSAC去除误匹配点对耗时较长,CUDA加速效果明显,表2括号中数字表示加速倍数)。
s
多幅眼底图像自动拼接实验选取了不同受检者左眼和右眼各9个视场的眼底图像,提取各视场图像的SIFT特征,以中央视场图像为基准图像,待配准图像1与基准图像匹配计算变换矩阵,变换待配准图像1的特征点坐标后加入基准图像,依次加入新的待配准图像,直到全部匹配完成,由变换矩阵配准融合后得到拼接结果,如图5所示,采用最大值融合方法融合配准后的重叠区域,对拼接结果进行了增强,裁剪后的图像有效分辨率约为2200像素×2100像素。自动拼接结果表明,各视场图像的血管均准确拼接,无错位现象,拼接精度达到像素级。
4 结语
研究了眼底图像快速自动配准与拼接中的关键技术,提出了基于CUDA的眼底图像快速自动配准与拼接算法,该算法针对眼底图像的特点,利用CUDA加快了眼底图像的同态滤波增强、特征点检测、匹配和点对提纯算法、配准拼接算法的速度,调整了算法中的参数,确定了最优配准模型,实现了眼底图像的快速、高精度自动配准与拼接,算法速度是未采用CUDA时的10～30倍,精度达到像素级。
参考文献
[1]Brown L G.A Survey of Image Registration Tech-niques[J].ACM Computing Surveys,1992,24(4):325-376.
[2]Zito,v aB,Flusser J.Image Registration Methods:aSurvey[J].Image and Vision Computing,2003,21(11):977-1000.
[3]Can A,Stewart C V,Roysam B,et al.A Feature-based,Robust,Hierarchical Algorithmfor Registering Pairs of Images of the Curved Hu-man Retina[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2002,24(3):347-364.
[4]张二虎,卞正中,俞江.基于互信息的视网膜眼底图像配准方法[J].西安理工大学学报,2002,18(1):14-17.Zhang Erhu,Bian Zhengzhong,Yu Jiang.MutualInformation Based Registration for Retinal FundusImages[J].Journal of Xi'an University of Technolo-gy,2002,18(1):14-17.
[5]Ryan N,Heneghan C,de Chazal P.Registration ofDigital Retinal Images Using Landmark Correspon-dence by Expectation Maximization[J].Image andVision Computing,2004,22(11):883-898.
[6]Yang Gehua,Stewart C V,Sofka M,et al.Regis-tration of Challenging Image Pairs:Initialization,Estimation,and Decision[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2007,29(11):1973-1989.
[7]Lee S,Reinhardt J M,Cattin P C,et al.Objectiveand Expert-independent Validation of Retinal Im-age Registration Algorithms by a Projective ImagingDistortion Model[J].Medical Image Analysis,2010,14(4):539-549.
[8]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal ofComputer Vision,2004,60(2):91-110.
图像自动拼接融合 篇4
视频监控系统已经广泛应用于机场、铁路、银行等许多场合,也越来越多的应用于日常生活。随着监控系统的发展,监控的范围越来越广,对监控图像的分辨力要求也越来越高。主从摄像机监控系统便是一种解决该问题的方案:一个(或更多)固定的摄像机作为一个领导者,引领一台(或更多)PTZ(Pan/Tilt/Zoom)摄像机去聚焦感兴趣目标并跟踪。控制PTZ摄像机去聚焦由静态摄像机捕捉到的感兴趣目标通常的做法有:1)对摄像机的内外参数举证经行强标定。这种方法利用传统的标定方法直接获得真实的三维坐标系统到摄像机成像平面的投影关系,从而获得摄像机之间的关系。然而,这样的做法常常在实际中遇到困难。事实上,摄像机的安装条件、温度与湿度的变化等复杂的实际条件都会影响到参数的估计。2)是对静态摄像机的像素坐标与PTZ摄像机的控制参数进行弱标定。该标定方法的本质是求得静态摄像机成像平面像素坐标与PTZ摄像机控制参数的映射关系。文献[1]～文献[4]都提供了一种弱标定方法求得此映射关系。然而,这些方法都需要试验人员手工完成,即费时耗力,又不便于推广。
为解决标定主从摄像机系统中人工操作费时耗力并且复杂的问题,笔者提出了一种基于图像拼接的全自动方法标定主从摄像机监控系统,并将其应用于一个实际的主从摄像机监控系统中。
2 手动弱标定主从摄像机系统
在一系列手动标定主从摄像机系统方法中,文献[3的方法最具有代表性。该方法从静态摄像机图像中选取一系列具有代表性的样本点,手动地移动PTZ摄像机,使得PTZ摄像机图像的中心与选取的样本点重合,并记录下此时静态摄像机样本点坐标与PTZ摄像机转动参数。对选取的所有样本点反复进行上述过程,最终可以得到一张关于所有样本点坐标与PTZ摄像机参数之间的查询表(Look-up Table)。这样静态摄像机视野内其他点对应的PTZ转动参数可以通过其他点对应的转动参数插值得到。此过程如图1所示。
3 自动弱标定主从摄像机系统
3.1 弱标定主从摄像机几何模型
现假设主从摄像机系统由1个静态的摄像机与1个动态的PTZ摄像机组成,令Is与Id(α,β,Z)分别代表静态摄像机图像与动态摄像机图像。参数(α,β,Z)分别代表动态摄像机的水平偏转角度,垂直偏转角度和放大系数。那么,标定该系统的目的就是让任何在静态摄像机图像上的点都能够得到一个合适的PTZ摄像机控制参数,使得PTZ摄像机依此参数运动,能够让该点位于其图像中心。也就是说,需要去寻找静态摄像机图像中像素点的坐标(xs,ys)与动态摄像机控制参数(α,β,Z)之间的映射关系
H是从世界坐标系到静态摄像机平面坐标之间的映射关系,在针孔摄像机模型下,该映射表示为
而H′代表静态摄像机平面与动态摄像机平面之间的映射关系(见图2)。需要指出的是,由于动态摄像机的旋转特性,所谓的动态摄像机平面是一个合成的虚拟平面,由摄像机其他拍摄角度的平面向某一选定的基准平面投影形成,Hk表示的正是这种投影映射关系。因此只要知道Hk和H′,静态摄像机图像中任何一点xs都可以映射到动态摄像机中。
式中:Tk是从静态摄像机到当前动态摄像机平面的映射,xd是xs在动态摄像机平面中相对应的点。通常,准确地确定映射Tk是十分困难的,因此,进一步将其转化为动态摄像机控制参数的形式Tk→ξ(α,β,Z),那么,主从摄像机标定的问题就转化为
式中:ξk是以摄像机控制参数为形式的从动态摄像机合成平面到某一子平面的映射,ξ′是静态摄像机与动态摄像机合成平面的映射。因此,对式(1)的求解被转化为对ξk与ξ′的求解。
3.2 自动弱标定主从摄像机系统算法
笔者提出的自动弱标定主从摄像机算法如图3所示。
在该流程中,建立拼接图像过程中确定了ξk,随后的特征点匹配确定了ξ′,最后通过自动化的全局标定最后确立静态摄像机平面内任意一点到动态摄像机相应转动参数之间的映射关系Tk。
3.2.1 自动拼接马赛克图像
在式(5)中,映射ξk是通过在一个固定放大系数Z0上拼接马赛克图像获得的。在本实验中,马赛克图像是由在摄像机规则运动过程中采集的子图像拼接而成。图4显示了获得子图像的过程。图箭头方向为动态摄像机运动方向,圆点为摄像机抓拍位置;图片为抓拍得到的子图像。
在本实验中,采用了基于图像特征点匹配的图像拼接方法[5]。拼接两幅图像的步骤如下:
1)特征点提取与匹配。在本实验中,利用SURF算法[6]对两幅图提取特征点及其描述算子,并自动匹配对应的特征点。
2)图像配准。基于在两幅图像之间匹配好的特征点对,利用RANSAC方法求得两幅图像之间的变换矩阵
3)图像拼接。一旦获得了两幅图像之间准确的变换矩阵,则可以运用该矩阵实现图像的拼接。为了实现无缝拼接,本实验中采用了带权重的图像拼接算法。
在实验中,图像拼接是沿着摄像机运动轨迹进行的,即依次将在轨迹上相邻的图像拼接到一块,最后获得一张由64张子图像组合构成的拼接图像,如图5所示。图中,白色边界为每一张子图像的边界。一旦获得了描绘摄像机视场大小的全景图,从拼接图像平面到子图像平面的映射关系则可以通过子图像在拼接图像中的位置得出:ξk→(αi,βi,Z)。
3.2.2 全局自动匹配特征点
根据极线几何原理,两幅拍摄于不同角度的图像中,一幅图像的一点在另一幅图像中对应为一条极线。
式中:E为本质矩阵。为了得到两幅不同角度图像之间的点对点的变换关系,利用匹配好的特征点对去近似这个关系。这个过程需要一种适用于各种尺度变换、旋转、位移、光照变化等条件下检测和匹配特征点的方法。SURF[6]特征点正可以满足这些要求。在SURF特征点中,检测子基于快速海森矩阵
式中:δ为尺度因子,Lxx(x,δ)为高斯函数对x的二阶导数坠2g(x)/坠x2与图像在点x处的卷积。而SURF检测子为在检测子20×20 pixel的区域内,划分4×4 pixel子域,每个子域计算5×5个采样点Haar小波响应,记录∑△x,∑△y,这样,通过对静态摄像机图像与动态摄像机图像提取SURF特征点并进行匹配,就获得了另一个映射关系ξ′。同时,为了增加匹配的特征点,联合极线几何原理增加了匹配特征点的数量,结果如图6所示。左图为PTZ摄像机图像中与图4匹配的SURF特征点,右图为利用极线几何原理增加了匹配特征点数量。
3.2.3 自动标定主从摄像机系统
在得到了从静态摄像机平面到动态摄像机拼接图像平面的映射与拼接图像到当前动态摄像机平面的映射,就可以自动标定主从摄像机系统。具体步骤如下:
1)在静态摄像机中的任何点Ps(xs,ys)的临近区域内,搜索SURF特征点。令NR(Ps)为距离点Ps距离小于等于R的所有SURF特征点构成的集合:NR(Ps)={(Ps1,r1),(Ps2,r2),…},Ps1,Ps2分别是距离Ps为r1,r2的特征点。
2)对于每一个在集合NR(Ps)中的特征点,找到其在拼接图像中对应的特征点Pdi。以特征点在子图像中距离图像中心的远近为准则,确定出Pdi最接近图像中心的子图像。一旦得到Iri,就可以得到该子图像在所有子图像集合中的编号,进而可以得知动态摄像机在拍摄该图像时所处的位置。
3)将静态摄像机中任意的一点Ps(xs,ys)邻近区域内的特征点与动态摄像机的最佳拍摄参数对应起来。对这些对应关系进行插值运算,得到Ps(xs,ys)所对应的动态摄像机最佳拍摄参数。令Ps邻域内特征点对应的最佳拍摄参数为Si(αi,βi,Zi),i=1,2,…,则插值过程为
其中,fi()为插值函数。图7描述了上述3个步骤。
4 实验结果及分析
实验中,利用实验室内的真实场景,将一台视野较宽的摄像机作为静态摄像机摆放在门口的位置,另一台视野较窄的作为动态摄像机摆放在其他位置。按照上述算法的描述,完成弱标定主从摄像机系统的全过程。图8给出了一些实验结果。左列图像为静态摄像机所拍摄的图像,右列图像为标定后,动态摄像机按标定结果转动后拍摄的图像。右列图中心的圆点为图像中心。
从测试结果可以看出,应用该算法计算出的结果转动动态摄像机,可以较准确地对准静态摄像机图像内出现的感兴趣目标。在该算法中,影响最终计算结果的因数主要来自于提取与对比SURF特征点。由于静态摄像机图像中任一点所对应的动态摄像机转动参数由其周围区域内的SURF特征点对应的转动参数插值得到,因此,在图像中提取的特征点越多并且越均匀,则整个标定效果将越好。在本试验中,除了利用SURF算法提取并对比特征点,还利用极线几何原理扩展了提取的特征点,使得特征点在图像中的分布尽可能广泛。
为了确定算法的精确性,在静态摄像机图像中随机的选取许多点,然后利用本文算法去转动动态摄像机,然后将动态摄像机中心与在动态摄像机图像内的对应点进行比较,得到实验误差,误差结果如图9所示。
从实验结果可以看出,根据该算法所计算出的转动参数转动动态摄像机后,摄像机中心点与静态摄像机图像对应点的偏差在X,Y轴方向平均不超过5 pixel的宽度,满足实际应用要求。
5 小结
笔者提出了一种基于拼接图像的自动标定主从摄像机系统的算法。该算法最大的优点在于整个过程全部为自动化,并且一旦标定完成,将不会由于拍摄环境发生变化而改变。该算法的适用条件为拍摄场景需静止并且能够提取充分的特征点。如果在构建拼接图像过程中拍摄场景发生变化,仍可沿用本方法的思想,即主要通过拼接的全景图像来实现主从摄像机系统的标定,但是拼接图像的方法将发生变化。
参考文献
[1]HAMPAPUR A,BROWN L,CONNELL J.Face cataloger:Multi-scale imaging for relating identity to location[C]//Proc.IEEE Conference on Advanced Video and Signal Based Surveillance(AVSS).Miami Florida,USA:IEEE Press,2003:13-20.
[2]KANG Jinman,COHEN I,MEDIONI G.Continuous tracking within and across camera streams[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Madison Wisconsin,USA:IEEE Press,2003:267-272.
[3]ZHOU Xuhui,COLLINS R T,KANADE T,et al.A master-slave system to acquire biometric imagery of humans at distance[C]//Proc.ACM SIGMM International Workshop on Video Surveillance.Berkeley California,USA:IEEE Press,2003:113-120.
[4]SENIOR A W,HAMPAPUR A,LU M.Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration[C]//Proc.the Seventh IEEE Workshops on Application of Computer Vision(WACV).Brekenridge,USA:IEEE Press,2005:433-438.
[5]BAY H,TUYTELAARS T,GOOL L V.SURF:Speeded up robust features[C]//Proc.IEEE European Conference in Computer Vision(ECCV).Graz,Austria:IEEE Press,2006:404-417.