自动拼接（精选8篇）
自动拼接 篇1
0 引言
全景图是一种能360°覆盖周边场景的大视角的图像。由于全景图具有立体的、多角度, 实用性强, 更具真实感, 制作较为方便等特点[1], 被广泛应用于航空卫星、医学图像处理、考古研究等方面, 例如对历史保护建筑的还原, 需要建立整个建筑体系的模型, 这时便可运用全景图技术完成建模[2,3]。同时与基于几何建模的3D技术构建三维场景进行的复杂的建模和渲染以及大量的计算相比[4], 全景图更易制作, 比普通地图更加直观, 制作的成品也更为美观, 全景图在生活中也被广泛应用, 能方便地记录查找某个地方及其周边情况, 也可以用来制作某个地区的全景地图。
目前生成全景图的方法大概分为用特殊的相机或者图像拼接:利用专业的全景相机或者折反射系统一次性得到所需的全景信息, 但是这样整套的系统价格昂贵, 操作复杂且不易携带[5];利用普通数码产品拍摄一组相邻图像间有重叠的图像序列, 然后使用全景拼接软件将所有的离散图拼接为一副广角图, 但拍摄过程中很容易因为地面不平、手持相机不稳等因素导致一组图片在角度等方面出现问题, 使全景拼接困难, 生成效果较差。人们需要一种方便携带易于操作生成效果又好全景图生成装置。
针对以上问题, 本文所介绍的全景图生成装置具有以下特点:
(1) 采用背包式, 将较重的电源、嵌入式微处理器和存储器放在背包里, 便于携带;
(2) 前后左右上5个广角镜头同时拍下照片, 能让四周的画面不存在死角, 方便微处理器运用现有的全景图生成技术后续拼接的处理;
(3) 能通过显示屏实时观测倾斜传感器检测到的倾斜角度, 通过调整拍摄杆到水平位置, 使拍出的照片处于最好状态, 方便拼合;
(4) 由于添加了全球定位系统GPS导航模块, 能够定位获取拍摄地的经纬度, 这样对于做大型的全景图更具有帮助。
1 全景图生成装置系统结构设计
便携式全景图生成装置包括支杆、背包、全景图生成模块, 其中, 如图1所示, 全景图生成模块由控制器、倾斜度传感器、LCD显示屏、GPS模块、拍摄按钮、开关按钮、存储器、嵌入式微处理器、电源、摄像头组成。
嵌入式微处理器:采用X31系列微型工控机, CPU采用酷睿i5, 高速运行;6路USB接口高速传输, 存储器接入更为方便, 图片生成速度更加流畅;全铝合金, 高效散热。节能低功耗使用时间较长。对整个系统的控制, 实现图片的接收、拼接合成, 用于采集摄像头图像, 在软件的配合下生成全景图实现全景图的生成。
控制器:选用低压电、超低功耗的MSP430f149单片机。该单片机具有高效的查表处理方法及较高的处理速度, 在8MHZ晶振工作时, 指令速度可达8MIPS。较丰富的外围模块更加方便与其他传感器等协调使用, 实现对整个拍摄过程的控制, 采集GPS数据, 倾斜度传感器数据, 响应开关按钮, 拍摄按钮。
倾斜度传感器:采用MPU-6050模块, 可准确追踪快速与慢速动作, 用于检测支杆倾角度。该模块相当于三轴陀螺仪和三轴加速器的整合, 三轴陀螺仪检测三轴的角速度, 三轴加速度传感器检测三个轴向运动的加速度, 通过读取传感器测量的数据然后通过串口输出。模块内部配合卡尔曼滤波算法, 能将姿态测量精确到0.01度, 稳定性极高。
GPS模块:采用全球定位系统GPS导航模块, 可以实时获取拍摄地点的经纬度数据, 保证在任意时刻任意一点采集到该观测点的经纬度和高度。
存储器:主要用于存储拍摄的全景图文件, 存储嵌入式微处理器处理得到的完整的全景图, 采用固态硬盘, 具有较高的稳定性。
摄像头:本装置配有5个120°广角摄像头, 分别分布在拍摄杆上方的前后左右以及上方。一次性全方位采集5幅画面, 这样使拍摄点的四周不存在死角, 也便于图片拼接生成全景图。
LCD显示屏:用于显示各种系统状态, 包括GPS系统采集到的经纬度数值, 倾斜度传感器检测到的角度值。在显示屏显示参数之后, 然后根据显示屏上的参数对拍摄装置进行调整。该LCD显示屏只有在按动开关按钮时, 才被会开启。
拍摄按钮:本装置采用微动开关作为拍摄按钮, 当LCD显示屏显示的角度数值符合要求的时候, 按动拍摄按钮可以采集并生成全景图。
开关按钮:当长时间按动时, 关闭和启动系统;短时按动时, 只关闭和打开LCD显示器并且能休眠和换醒控制器。
电源:采用大容量锂电池, 是可充电电源, 能够反复使用, 直接与嵌入式未处理相连接, 为装置提供电能。
2 全景图生成装置硬件结构设计
1.嵌入式微处理器;2.背包;3.倾斜度传感器;4.摄像头;5.GPS模块;6.控制器;7.LCD显示屏;8.拍摄按钮;9.开关按钮;10.支杆;11.线插头;12.存储器
图2是便携式全景图生成装置的硬件结构图, 包括电源、嵌入式微处理器、背包、倾斜度传感器、摄像头、GPS模块、控制器、LCD显示屏、拍摄按钮、开关按钮、支杆、线插头、存储器。
3 系统软件设计
系统软件主要是包括角度平衡检测环节、拍摄环节和图片合成环节, 整个软件控制流程图如图3所示。
操作过程:检查拍摄杆与微处理器两处的线插头是否正确连接, 再将嵌入式微处理器处线插头的每条连接线插入微处理器上的串口和USB接口, 并将电源和嵌入式微处理器与相连, 为整个装置通电;
通电确定无误后, 长按开关按钮, 启动系统, LCD显示屏显示启动、控制器被唤醒;启动过程中检测并显示摄像头, GPS模块, 倾斜度传感器, 嵌入式微处理器软件的状态;倾斜度传感器检测到摄像头的倾斜角度、GPS系统采集到经纬度值并显示到LCD显示屏上。
显示屏有数显示时, 持有者根据在LCD显示屏上显示支杆的倾斜角度, 用手调节支杆, 当显示的数值表示水平时, 按下拍摄按钮, 即生成一幅全景图。需注意持有者拍摄照片时应当观察四周光线, 尽量使5个摄像头拍到图在同一曝光度下, 这样生成的全景图会更为美观。当更换拍摄地点时, 持有者不需关闭系统, 只需短按开关按钮, 关闭LCD显示屏, 休眠控制器;换到新拍摄地点时, 再短按开关按钮打开LCD显示屏和控制器。如果持有者长时不使用时, 可长按开关按钮关闭系统, 下次需要长按才能重启系统。
4 结语
随着全景技术在各大领域的发展, 为提高拍摄得到的照片的精度和加快制作速度, 同时随着全景图更多被了解, 人们已经不满足于二维地图和普通的3D地图, 我们需要能拍摄没有任何角度偏差、能自动添加定位的全景图装置。本文设计的全景图生成装置是一种便于携带, 改进了拍摄过程, 也方便后续的图片拼接, 能让全景图更为美观。同时能获取拍摄地点的经纬度值, 也使全景图更为直观。
参考文献
[1]田军, 孙梅, 王萍.全景图生成技术研究[J].科技视界, 2014 (11) .
[2]金淼, 易爱华, 朱家文, 谢永健.历史保护建筑的三维全景展示研究[J].土木建筑工程信息技术, 2013 (2) .
[3]梁弼, 肖丽利, 薛文.古建筑文物三维全景展示的设计与实现[J].微型机与应用, 2014 (16) .
[4]李孟奇.基于全景图的虚拟现实的研究与实现[D].广州:中山大学, 2014.
[5]钟民.图像拼接与全景图技术研究[D].2011.
拼接的故事 篇2
其中我们既可以看到设计师个人的眼界、魅力，以及坚持自我的精神；同时，也可以体会设计师对民族传统的继承、发扬的意念和过程，以及时代变革对于面料工艺、花色和拼接形式的影响。
源自草根的民族刺绣拼接
黎巴嫩受法国殖民地历史的影响，是一个具有非常特殊文化背景的中亚国家。贝鲁特城更是有别于其他封闭的中东城市，号称“中东的巴黎”，多文化的城市氛围在时代潮流与市场开发上给予设计师们充分的启发。这里曾衍生出许多诸如Elie Saab、Zuhair Murad等名震欧洲甚至世界的服装设计师。Bokja的命名是源于一种当地新娘传统陪嫁中的布匹，它的创立是一件非常偶然的事。据说两位没有任何设计背景的黎巴嫩女性碰巧将一块Suzani刺绣放到一个古典扶手椅上，从中发现了异样的美，便决定开创一种全新的家居时尚。从此，她们常遍访中东各地，探索民间各种编织工艺，Suzani就是其中之一：传统的花朵图案衬托着干旱的中亚大草原，漂浮的圆环代表撒马尔罕上空的日月，金线刺绣让人联想起日耳曼帝国曾今的灿烂与奢靡，给她们很大启发。而黎巴嫩的生活背景使她们从小对民族刺绣的理解非常深刻，在她们看来，刺绣可以反映自然、生活、神话故事等一切与生命有关的事物。比起大众化的设计公司，Bokja更像是来自民间的草根艺人。由小众艺术家和工匠手工组成的团队使每件作品都具有不规则性和不可重复性，浸透了艺术家真挚的情感；极富想象力的民间故事赋予了作品深刻的寓意，使作品常见常新。同时，一些民族文化的传承也体现在作品中：一些客户从祖辈继承下来的布料会同手工花纹刺绣拼接在作品中，形成一种更易被当代人接受的文化传承方式。
利用拼接家具展现着强烈民族自信和神秘特质，Bokja获得了国际市场的一致好评。今天，我们甚至能在麦当娜的健身俱乐部大厅中看到他们的作品。
具有英国宫廷风范的定制拼接
英国的璀璨艺术史催生了维多利亚风格，当然也留下了许多源于皇族的经典布艺元素。石膏的玫瑰、圆形大浮雕从新古典的时代一直延续下来，精细的垂花、肋状物和花卉以及结彩大量出现在欧洲的古董布、复刻布中，成为今天布艺设计师的重要灵感来源。
Lisa Whatmough是一位酷爱英国古董布、丝质品和维多利亚风格的设计师。从Squint设立之初，她就确定了自己的布艺理念——延续英国高档丝质品的工艺，传承经典的布艺花纹图案。这家2005年成立的公司，从最开始的镜子、灯罩、古董布包柜子入手，不断细化客户的需求，采取定制的方法，做到今天年产量SOO件的成绩。按设计师的话说是一种运气，更是一种不断自我挑战的过程。
为Squirt提供面料和家具的供应商，例如丝织公司Gainsborough Silk、Designers Guild、Osborneand Little等都是历经二三百年风雨的知名英国老牌企业，无论是在制作工艺还是图案风格上，都透着浓厚的本土印迹。设计师很注意与供应商保持流畅的交流，继而达成了互信互利共同依存的关系。对于L.W来说，英国制造象征着极高的舒适度和质感，同时也包含着与时俱进的精神。目前这些老牌供应商正在尝试一些全新的工艺，例如手工印染，来应对市场挑战。
除了高级丝绢这种常用面料外，设计师还采用亚麻布、天鹅绒、斜纹布以及复刻或者古董布料进行拼贴，突出品质、个性和英国风，以求符合不同档次的市场定位和客户需求。
顶级时尚品牌与现代家具大师的融合
德国设计师Hans Hopfer在上世纪70年代发明了一种新型的家具系列——麻将。它改变了人们以往对于休闲沙发古板的概念。第一款为法国顶级老品牌罗奇堡设计的“麻将”仅高19厘米，大尺度颠覆以往人们的坐姿，深深的座椅、巧妙的模块组合，其间萦绕的些许嬉皮而悠闲恣意的生活态度，给人留下深刻的印象。在罗奇堡的推动下，Jean Paul Gaultier、SoniaRykiel、Missioni和Kenzo等顶级时尚品牌先后同家具制造商合作，四十年来共推出十四版不同面料的“麻将”沙发。时间是证明设计灵感的最好标尺。时尚界漫长的历史让这一经典设计的生命力更加旺盛。波西米亚、极简、怀旧、抽象风潮的洗礼，让该作品呈现出惊人的艺术感染力和承载力。而积极与时尚界接轨的态度，也让拼接作品更符合大众多变的艺术品位，达到更好的社会效应。
实现拼接全景照片的色彩自动匹配 篇3
在进行摄影的过程中, 有的时候会遇到所摄景物无法完全包含在取景器内而需要分开拍摄再进行拼接的情况。但是由于两幅图像的拍摄设备、拍摄时的光照条件与拍摄角度的不同, 经常会造成它们在明暗和色调上的显著差异, 这种差异将会给拼接效果造成很大的影响。因此, 在对两幅图像进行拼接之前, 通常要将它们的亮度和色调调整为尽可能的一致, 这一过程便称为相对辐射校正, 直方图匹配则是相对辐射校正中一种比较常用的方法。
目前使用图像处理软件如PhotoShop等实现这一功能都需要手工调整, 但是手工调整不但需要多次重复实验而且效果也不一定理想, 费时费力。因此自己动手写程序不失为一种好方法。下面介绍这一方法的实现原理和用VC进行编程的主要代码。
2 原理
灰度直方图是灰度级的函数, 它表示图像中具有每种灰度级的像素个数, 反映图像中每种灰度出现的频率。灰度直方图的横坐标是灰度级, 纵坐标是该灰度级出现的频率, 是图像最基本的统计特征。直方图匹配则是为了使原图像灰度直方图变成规定形状的直方图而对图像作修正的增强方法。也称直方图规定化。它同时也是一种基于灰度频率密度函数的算法。
假设Pr (r) 和Pz (z) 分别表示原始图像和参照图像的灰度分布概率密度函数, 直方图匹配的目的就是调整r图像直方图, 使之具有Pz (z) 所表示的形状。下面建立Pr (r) 和Pz (z) 之间的关系。首先对原始图像进行直方图均衡化处理, 即求变换函数s=T (r) =。再对参照图像灰度级进行直方图均衡化处理, 即v=G (z) =。上式的逆变换为z=G-1 (v) 。因为对原始图像和标图都作了均衡化处理, 所以均衡化后的图像应有相同的概率密度函数, 因此可以用原始图像均衡化后的灰度级s来代替上式中的v, 即有z=G-1 (v) =G-1 (s) 。这就意味着可以由原始图像均衡化后图像的灰度值来求算目标图像的灰度值z。直方图匹配的过程也正是求得所有r到z的映射, 并将目标图像中的灰度值根据映射进行替换的过程。
3 算法设计与主要代码
直方图的匹配涉及到如下几个步骤:r图 (被匹配图) 灰度频率统计, z图 (参照图像) 灰度频率统计, 对r图与z图分别进行灰度累计频率统计, 将灰度累计频率转化为灰度值, 建立r到z的映射关系, 将r图中的灰度值根据映射进行替换。根据运算的需求建立模型如图1。
在图1中, A为原图像 (r) 灰度值 (这里以3位图像为例) ;B为A的 (灰度累加频率*灰度级) 取整值;D为参照图像 (z) 灰度值;C为D的 (灰度累加频率*灰度级) 取整。当B[i]=C[j]时, 令A[i]=D[j], 即完成原图像与参照图像之间的灰度映射, 从而达到直方图匹配的效果。
在建立映射的过程中, 需要特别指出的是, 从r到z的映射关系并不是一个一对一或多对一的关系, 而是多对多的关系 (如r3, r4, r5对应z5, z6, z7) , 随着灰度级的增加, 这个问题也会表现得更加明显。因此需要人为添加映射的规则, 在这种多对多的关系上建立多对一映射 (如对应于r3, r4, r5———z5, z6, z7的解决方法可以是r3, r4, r5全部映射到z5或全部映射到z7) , 但是这种方法会造成两张图像的灰度直方图匹配程度下降, 相同值过多时, 还可能导致图像的灰度级向上或向下移动。在解决这个问题时, 使用了一种向前匹配固定两端的方法。对于每一个B[i], 从C[j]的最末端一个值进行判断 (即当j取最大的时候) , 若B[i]
4 实验与分析
对于上述程序, 进行一些实验和分析。实验数据是两张8位BMP格式的灰度图像 (如图2、3) , 可以看到图2的颜色明显比图3的要亮很多, 这样的照片拼接起来效果会很不理想。因此使用上述程序对图2参照图3进行直方图匹配得到结果图4。可以看到图4的颜色已经与图3相当接近, 现在再将图4和图3进行拼合得到图5, 效果要比对图2和图3的拼合好得多。这种方法免去使用PhotoShop进行繁琐的曲线、色阶等手工调整, 省时省力。
参考文献
[1]刘金喜, 李玉玲.中文版photoshop 7.0简明教程.上海交大出版社, 2003.
自动拼接 篇4
随着计算机及摄像机性能的提高及成本的降低, 可以采用多部摄像机采集场景, 通过图像拼接技术产生视野更宽、分辨率更高的图像。目前, 图像拼接已经成为一个日益流行的研究领域, 它是一种将多幅相关重叠图像进行无缝拼接从而获得宽视角全景图像的技术, 广泛应用于视频会议、虚拟现实和战场监控等。
近年来, 国内外对图像拼接技术的研究已经取得了一些成果, 常见的方法有灰度相关法、相位相关法和特征法, 但均存在一定的局限性, 因而对于尺度、视差及光照变化较大图像的拼接效果还亟待进一步提高。1999年Lowe提出了SIFT (Scale Invariant Feature Transform) 特征算子, 并于2004年进行了改进。SIFT特征不仅对于图像缩放、平移和旋转变换具有不变性, 而且对于光照变化以及复杂的仿射和投影变换也具有部分不变性, 在图像处理中获得了广泛的应用, 很适合处理火灾监控和扑救的复杂现场环境图像。
为此, 笔者提出了一种基于SIFT特征的消防侦察图像自动拼接算法。算法充分利用SIFT特征对图像缩放、旋转甚至仿射变换保持不变性的特点, 通过SIFT变换来提取图像中的SIFT特征信息, 然后通过特征匹配, 估计出图像间的映射参数模型, 并以此进行无缝拼接, 获得现场全景图像。
1 应用模型及自动拼接方案
此方法以公安部上海消防研究所自主研制的小型消防侦察机器人为原型, 其应用模型如图1所示。该款小型消防侦察机器人主要用于消防员无法靠近的火灾现场和狭小空间的侦察, 其携带的两个摄像机位于机器人顶部面板同一条直线上。由于单个摄像机视角范围有限, 需要对获得的视频图像进行拼接, 以获取侦察空间的全景图像信息。
图像的自动拼接主要包括图像采集、图像匹配和图像融合三个步骤, 如图2所示。此模型中, 图像采集是通过消防侦察机器人携带的两个摄像机完成的。对获取的同一时刻的两帧视频图像进行配准处理, 通过特定的算法寻求它们之间的映射关系, 以实现图像的匹配。笔者采用SIFT特征来获取两图像间的映射关系。如此, 即可实施图像拼接。为了使拼接图像平稳过渡, 需要对重叠区域进行融合处理。
2 消防侦察图像的自动拼接
2.1 图像的SIFT变换
SIFT变换对图像的尺度缩放、旋转、三维视角、光强的变化具有不变性, SIFT算法主要分为:尺度空间极值检测、特征点定位、特征点角度计算、特征点描述 (用一个多维向量来表示) 。
(1) 尺度空间的极值检测。 笔者通过建立DoG (Difference of Gaussian) 尺度空间, 进行局部极值检测, 初步确定特征点所在的位置和尺度。DoG算子是两相邻尺度高斯核的差分与图像的卷积, 即:
D (x, y, σ) =[G (x, y, kσ) -G (x, y, σ) ]×I (x, y)
=L (x, y, kσ) -L (x, y, σ) (1)
undefined (2)
在检测尺度空间极值时, 该像素需要与同一尺度的相邻8个像素以及相邻上下两个尺度对应位置的9×2个像素进行比较。
(2) 剔除不稳定特征点。为了降低因DoG算子对噪声和边缘信息敏感导致的特征点定位偏差, 在极值点所在的位置和尺度上使用Hessian矩阵
undefined
计算其稳定性, 根据稳定性度量标准来剔除非稳定的特征点。稳定性条件为
undefined (3)
式中:r为最大特征值和最小特征值的比率。
(3) 确定特征点的方向。为了达到图像旋转不变性, 对每个特征点指定一个一致的方向。利用像素的差别计算梯度幅值m (x, y) 和方向θ (x, y) , 计算表达式见式 (4) 和式 (5) 。
m (x, y) =
undefined (4)
θ (x, y) =arctan[ (L (x, y+1) -L (x, y-1) ) /
(L (x+1, y) -L (x-1, y) ) ] (5)
实际中, 在以特征点为中心的邻域窗口内采样, 并用梯度方向直方图统计邻域像素的梯度方向。梯度直方图的峰值则代表了该特征点邻域梯度的主方向, 即作为该特征点的方向。
(4) 生成SIFT特征描述符。取特征点为中心的子块, 每个像素点定义8个向量方向, 因此一个特征点就可以得到128个方向描述符, 即特征描述符;然后将这的特征描述符归一化, 使其对亮度变化不敏感。
2.2 SIFT特征点匹配
(1) 特征点匹配。以SIFT特征描述符间距离函数 (如欧式距离、马氏距离等) 作为两幅图像特征点的相似性度量, 通过相似度的计算得到图像间的潜在匹配。取参照图像中的某个特征点, 找出另一幅图像中与其特征距离最近的前两个特征点, 笔者采用欧式距离。在这两个特征点中, 如果最近距离与次近距离的比值小于某个设定的比例阈值时, 则表示参照图像中该特征点与另一幅图像中距离最近的特征点匹配。
(2) 剔除错配。在上一步得到的潜在匹配对中, 不可避免地存在一些错配, 将会导致后续拼接失败, 因此需要剔除这些错配。一是根据拼接算法实际应用模型的特点进行剔除, 由于消防侦察机器人携带的两个摄像机已经固定 (如图1) , 两者输出的视频图像之间相对位置关系也就可以确定, 即摄像机1输出的视频图像始终位于全景图像中的左部, 而摄像机2输出的视频图像则位于全景图像中的右部。换言之, 对于视频图像1而言, 两图像间的重叠区域位于它的右部, 而对于视频图像2而言, 则位于它的左部。因此, 对于匹配的特征点对来讲, 它在两视频图像中的横坐标之差 (x1-x2) 必为非负值。利用这一先验条件即可去除一部分错配。二是采用随机抽样一致性法 (Random Sample Consensus, RANSAC) 来进行最大限度地剔除错配。
2.3 图像间变换参数估计
在上述SIFT变换获得图像中的特征点和有效匹配的基础上, 即可进行图像间变换参数的估计。假定以视频图像1 (I1) 为参照系, 将视频图像2 (I2) 变换到I1所在的坐标系, 记变换后图像为I′2。其对应关系为:
undefined
(6)
式 (6) 中有8个参数, 仅需要4对匹配点即可计算变换T。得到T后, 即可获得I2在I1坐标系下的变换图像I′2, 见式 (7) 。
I′2=TI2 (7)
2.4 重叠图像的融合
经变换处理, I1和I′2两幅图像已经处于同一坐标系, 可实现拼接。但是, 如果直接进行拼接, 拼接处会出现图像的突变, 即形成比较明显的拼接缝, 降低全景图像的质量。因此, 对图像重叠区域需要进行融合处理, 以消除拼接缝。图像融合的方法很多, 但考虑到整个算法实时性要求, 笔者采用加权融合法实现重叠区域的平稳过渡, 如图3所示。
算法中, 拼接图像重叠区域像素点的灰度值Io是由视频图像I1o和I′2o中相应点像素值的加权平均得到, 如式 (8) 所示。
Io=kI1+ (1-k) I′2 (8)
式中:比例系数k定义为:
k=l1/ (l1+l2) (9)
式中:l1和l2分别为重叠区域像素点到两图像重叠区域的左边界和右边界的距离。
3 实验仿真结果
为了验证上述算法的有效性, 笔者采用Matlab编程加以实现。通过侦察机器人携带的两个摄像机采集前方某火场的图像, 采用笔者提出的自动拼接算法实施视频图像的拼接。
图4给出了其中一帧图像的拼接效果图。图 (a) 和图 (b) 分别为摄像机1和摄像机2采集到的视频图像, 按照它们在侦察机器人上的安装位置可知, 图4 (a) 为左边图像, 图4 (b) 为右边图像。图4 (c) 和图4 (d) 分别为上述拼接算法检测出来的位于图4 (a) 和图4 (b) 中的重叠区域图像, 图4 (e) 为此算法下的自动拼接结果。从图4中可以看出, 重叠区域定位精确, 拼接结果中无明显拼接痕迹, 表明此算法的拼接结果十分理想, 实现了图像的有效拼接。
4 结 论
自动拼接 篇5
在烟草包装机卷烟生产过程中, 条包透明纸是其中一种原辅材料。条包透明纸是以透明纸卷的方式安装在包装机的输送辊上。透明纸松卷后, 经过切刀切割, 成为特定尺寸的透明纸张。使用单个透明纸卷时, 机器可以连续运行, 但是当透明纸消耗完之后, 需要将前一卷的透明纸与后一卷透明纸拼接, 机器才能继续运行, 而完成拼接这一动作, 机器需要停机。在我公司当前的产品ZB25、45、47型包装机中, 透明纸拼接都是以手动拼接的方式进行, 这种方式中断了机器的连续运行。随着卷烟包装机速度和自动化水平的不断提高, 手动拼接的方式已经不能满足需求。因此, 研制了一种新型透明纸拼接装置, 以解决透明纸手动拼接问题。
1透明纸松卷方式
透明纸松卷如图1所示, 左侧透明纸卷1处在松卷过程中, 输送中的透明纸经过透明纸自动拼接器6和透明纸输送辊7;右侧透明纸卷2纸张端部固定在透明纸自动拼接器6上, 等待拼接。机器在工作过程中, 左侧透明纸卷直径不断减小, 当传感器检测到直径减小到系统设定的尺寸时, 或按下拼接按钮后, 自动拼接器开始工作, 完成透明纸的拼接和透明纸卷的转换。在图1状态下, 自动拼接完成后, 纸卷2开始工作, 纸卷1停止工作, 并被更换为新的纸卷, 新的纸卷端部也固定在透明纸自动拼接器6上, 等待拼接, 如此交替进行。
1, 2.透明纸卷3.松卷辊A 4.松卷辊B 5.透明纸6.透明纸自动拼接器7.输送辊
2透明纸自动拼接器工作原理
透明纸自动拼接器如图2所示, 伺服电动机7通过齿轮驱动圆柱凸轮8转动。圆柱凸轮上有3个槽口, 通过滚子分别驱动左梁1和右梁4左右运动, 以及连杆9带动吸风辊2上下运动, 同时, 吸风辊2端部的齿轮随齿条转动。
工作前, 先将粘接胶带的非粘接面放置在吸风辊上, 吸风辊的一排小孔内有负压, 可将胶带吸附在小孔上。当系统发出拼接指令时, 首先透明纸压紧臂5上的气缸通气, 压紧透明纸输送辊6和透明纸, 使输送中的透明纸在拼接一侧保持固定。伺服电动机7驱动圆柱凸轮8带动左梁1和右梁2相向运动, 压紧输送中和待拼接状态的透明纸, 如图3所示。两透明纸位于左梁1和右梁2之间, 左梁1和右梁2将两透明纸压紧后, 位于切刀槽内的切刀3运动, 将2张透明纸同时切割。透明纸切刀刀架安装在右梁2内的直线气缸上, 当气缸通气时, 切刀即可快速将透明纸切割。
1.左梁2.吸风辊3.竖直张紧辊4.右梁5.压紧臂6.输送辊7.伺服电动机8.圆柱凸轮9.连杆
1.左梁2.右梁3.切刀
透明纸切割完成后, 输送中的透明纸切刀之下部分受松卷辊输送张力而拉开, 切刀之上部分停留在原位置。待拼接的透明纸切刀之下部分则被吸附在右梁的吸风板4上, 而切刀之上部分透明纸如果固定在右梁压板上, 如图1情况所示, 则在拼接时正好被输送中的切刀之上部分透明纸覆盖, 不会影响拼接;如果固定在左梁压板上, 即与图1相反的情况, 则随后随左梁向左运动。
如图4所示, 圆柱凸轮驱动右梁2保持不动, 左梁1向左侧运动, 吸附着粘接胶带的吸风辊向下运动, 同时逆时针转动。当胶带吸风辊中心旋转至超过切刀平面时, 胶带正好将停留在右梁吸风板4和板5两位置上的透明纸粘接在一起。粘接完成后, 吸风辊和吸风板吸风关闭, 凸轮继续驱动吸风辊向上运动, 右梁向右运动, 回到原位置。随后, 透明纸压力锁松开, 则透明纸继续向前输送, 整个透明纸拼接过程完成。
1.左梁2.右梁3.吸风辊4.吸风板5.板
3结语
在包装机不停机的情况下, 透明纸自动拼接装置通过机构间的相互配合完成透明纸自动拼接, 减少了停机时间, 有效提高了整机的作业率。这项技术已经应用于我公司的ZB28型软盒硬条包装机组上, 简单易用, 效果良好。
注释
自动拼接 篇6
近年来,医学影像技术已成为医疗技术中发展最快的领域之一,图像拼接(Image Mosaic)是指将多幅具有重叠区域的序列图像通过图像预处理、图像变换、图像配准、图像融合等处理后,形成一幅包含各个图像序列内容的宽视角全景图像的技术。图像拼接技术是图像处理的重要研究领域,被广泛应用于卫星遥感、图像识别、医学图像分析及无人机监视和搜索、虚拟现实等方面。Shmuel Peleg等人在图像拼接理论和图像拼接方法上做了大量工作,为图像拼接在工程技术上的应用奠定了理论基础。Masanobu Shimada等人将图像拼接技术应用于雷达图像处理领域,用于监控森林植被的变化情况。国外Mustafa Suphi Erden课题组研制了针式共聚焦显微腹腔镜,在微创手术中截取部分视频图像,拼接成全景图像指导医生诊断治疗。国内的严壮志课题组提出基于特征检测、特征匹配、空间坐标转换和图像融合等方法的图像拼接技术,实现了连续X光片拼接的医学全景成像。
现有的传统医学成像设备,特别是显微成像设备,基本都是对组织的某一较小视野进行成像,设备最后采集到的是不同组织部位的多帧医学图像,需要医生对这些图像进行观察分析,根据自身医学知识与医疗经验来做出诊断。图像拼接技术的应用,能将多幅具有重叠区域的医学图像,通过图像变换、图像配准、图像融合等方法,自动拼接为大视野的清晰图像。该图像包含完整的医学病理信息,有助于医生全面了解病人病情。同时,系统能够自动追踪图像中的感兴趣区域,做出标记和注释,为医生提供诊断辅助。
2主要研究内容及关键技术
2.1主要研究内容
本系统的研究是通过研发基于实时自动图像拼接技术的医学图像分析系统,为医学实践中,实现显微镜、眼科设备、内窥镜等设备的数字化图像采集、图像自动分析处理,从而对医生的诊断、治疗起到辅助作用。
本系统的主要研究内容有基于CMOS的图像采集、实时自动图像拼接技术。
(1) 基于CMOS的图像采集
基于CMOS的高清图像采集系统的研发,包括图像和视频采集、图像的编码技术。兼顾红外光和可见光,实现图像的多波段自适应采集。具体功能还包括自动对焦、自动识别拍照功能,以及图像采集模块在各种医疗设备使用的适应性研究。
(2) 实时自动图像拼接技术
研究图像灰度处理、图像变换、图像配准、图像融合等算法,实现多帧医学图像或视频序列的实时自动图像拼接,输出具有计算机诊断辅助功能的大视野全景医学图像。能够自动跟踪图像中的感兴趣区域并做出标识和注释。
2.2关键技术
图像的拼接技术是本设计的关键,本设计提出对采集的多帧医学图像进行实时自动拼接,提供宽角度全景图像。同时,能够自动跟踪图像中的感兴趣区域并做出标识和注释。
3 系统设计思路
3.1 图像处理模块
图像传感器模块计划采用CMOS传感器为核心做成独立硬件模块,通过高速数据线与图像处理模块连接。这样设计的优点在于模块可以根据不同的应用场合,进行合理布置。
图像编解码和图像处理模块的方案计划采用TI的soc方案。该方案可以完成图像编解码、图像处理功能。
3.2实时自动图像拼接技术研究
图像拼接的核心技术是图像配准,关键在于准确找到相邻图像间重叠区域的位置及范围,进而通过图像融合的方法实现全景图像构建。图像配准通常有三类方法:基于灰度值的图像配准、基于变换域的图像配准和基于特征的图像配准。基于灰度值的图像配准方法实现方便,计算量小,但该方法对图像间的细微差别较敏感,抗干扰能力不强。基于变换域的图像配准可以缓解这个问题,且算法简洁,利于硬件的实现。不过该方法要求两幅图像的重叠区域不能少于50%,如果重叠区域过小,容易造成误配准。为了提高图像配准的精确度和速度,达到实时自动图像拼接的功能,本设计提出将基于灰度的网格配准和基于特征值配准相结合的方法。首先,对输入图像进行粗网格的分块处理,利用基于灰度的配准方法确定相似重叠区域。然后在重叠区域内进行基于SIFT(Scale-invariant feature transform)特征点提取和配准,这样就可以大大提高图像配准的速度。图像拼接算法的流程如图1所示。
4 结论
本文探讨了基于实时自动拼接技术的医学图像处理系统的主要技术和设计思路,有了自动的图像拼接技术,就能将多幅具有重叠区域的医学图像,通过图像处理的方法,自动拼接为大视野的清晰图像,为医生的诊断提供参考。
摘要：目前,图像拼贴技术在医学图像处理领域的发展趋势是实现图像的实时自动拼接。本文探讨了基于实时自动拼接技术的医学图像处理系统的主要技术和实现方案。
自动拼接 篇7
关键词：三维测量,双目视觉,SIFT,SVD,拼接
0 引 言
近年机器视觉技术已在许多领域得到广泛应用,尤其是三维光学轮廓测量技术更是研究中的热点[1]。在需要人类视觉的场合几乎都需要用到机器视觉,基于相位投影的双目光学测量系统已经广泛应用于几何量的尺寸检测、地形测绘、精密零部件或产品的三维外形检测等领域中。
由于受到投影相位场和相机拍摄范围的限制,在许多应用场合,对于较大物体的测量需要多次测量后进行点云拼接才能够完成,目前市场上成熟的产品一般都是采用在被测量物体的表面粘贴圆形标记点的方法完成,首先在被测量对象表面上粘贴标记点,然后提取圆心坐标,对两次测量的圆心标记点进行匹配,再由四元素法或者SVD分解得到两次测量点云的旋转和平移矩阵。这种粘贴标记点的拼接方法必然会破坏被测量物体表面的真实三维点云数据,增加后期三维处理的工作量。为了不引入粘贴标记点,保证被测量对象三维点云数据完整性,研究了一种基于SIFT的无标记点三维点云自动拼接技术。
1 无标记点自动拼接算法原理简介
针对相位投影双目视觉测量原理,在拼接测量过程中不对物体粘贴标记点,而是采用SIFT配准原理来辅助完成点云自动拼接工作。无标记点点云自动拼接原理如图1所示,在两次测量过程中,分别提取测量时左相机图像,由SIFT算法计算得到特征点,经RANSAC算法去除误匹配,得到两次测量时候二维图像点的对应匹配关系;由相位投影测量中左右图像点的相位周期和相位值相等的原理可知,每一次左图像整数点和右图像亚像素点再经极线约束,根据标定参数计算得到一个对应三维点,计算出刚才两次测量中由SIFT计算得到的二维图像点对应的三维点坐标;再由SIFT匹配关系,不难得到两次测量中这些二维特征点对应的三维点之间的匹配关系;最后由SVD分解法得到旋转和平移矩阵,完成点云拼接。
1.1 相位法三维测量原理
相位测量轮廓术的基本原理是光波的干涉理论。投影系统将一正弦分布的光场投影到被测物体表面,如图1所示,由于受到物面高度分布的调制,条纹发生形变,由摄像机获取的变形条纹可表示为式(1)[2]:
In(x,y)=R(x,y){A(x,y)+B(x,y)cos[ϕ(x,y)+δn]} (1)
N表示第n帧条纹图,In(x,y)是摄像机接收到的光强值,R(x,y)是物体表面不均匀的反射率,A(x,y)表示背景光强,B(x,y)/A(x,y)表示条纹对比度,δn为附加的相移值。相位的求解采用N相移算法,即光栅每次移动1/N周期,此时,条纹图的相位被移动2π/N,产生一个新强度函数In(x,y),利用不同相移值的条纹图,可以计算出相位函数。实际应用中,应用比较多是四步相移技术,按最小二乘原理可以得到式(2)[3]:
ϕ(x,y)=arctg
最后由左右图像上点的相位约束关系和极线约束关系,由标定参数可计算出三维点坐标,自动拼接过程中,两次测量的三维点云由相位法测量原理根据标定参数得到,同时也计算出由SIFT法得到这些二维特征点对应的三维点坐标。
相位法三维测量轮廓术的编程实现算法如下:
(1) 利用角点检查或者圆心检测算法,检测标定板上的已知空间距离的特征的二维图像坐标。
(2) 采用张正友平板标定技术,利用已知标定板上二维图像坐标和三维空间坐标之间的关系,求得摄像机的内部参数和外部参数。
(3) 根据相位法的测量原理,利用左右相机对极线约束和相位约束的方法,得到两幅图像上的匹配点坐标,即这两个点相位周期相等,相位值相等,并且属于一对极线上。
(4) 得到了匹配的左右图像的二维图像坐标后,利用标定参数得到匹配点的三维空间点坐标,左右图像上所有点都进行(3)和(4)的计算后,便可以得到被测量物体的点云。
(5) 对于较大物体一次测量无法得到完整点云,可以通过多次拼接测量的方法得到完整点云。
1.2 基于SIFT特征配准原理
实现自动拼接的关键步骤是找出两次测量过程中的同名点,通常都是采用在物体表面粘贴标记点实现,但会破坏被测量对象表面情况,因而为避免采用了SIFT特征点匹配技术辅助完成。文献[4]总结了现有的基于不变量技术的特征检查方法,提出了一种基于尺度空间的,对图像缩放和旋转甚至仿射变换保存不变性的图像局部特征描述算子,即尺度不变特征变换。SIFT算法首先在尺度空间进行特征检测,并确定关键点的位置和关键点所处的尺度,然后使用关键点领域梯度的主方向作为该店的方向特征,以实现算子对尺度和方向的无关性。文献[5]在图像二维平面空间和DoG尺度空间中同时检测局部极值作为特征点,以使特征具备良好的独特性和稳定性。
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y) (3)
SIFT特征匹配包括两个阶段。第一阶段是SIFT特征生成,即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量;第二阶段是SIFT特征向量的匹配。
基于SIFT的特征匹配算法编程实现如下:
1) 尺度空间极值检测,在同一尺度周围邻域8个像素和相邻尺度对应位置周围邻域共26个像素进行比较,以确定在尺度空间和二维图像空间都检测到局部极值,以初步确定关键点位置和所在尺度。
2) 通过拟合三维二次函数以精确确定关键点位置和尺度,同时去除低对比度的关键点和不稳定的边缘响应点,以增强匹配稳定性,提高抗噪声能力。
3) 利用关键点领域像素的梯度方向分布特性为每个关键点指定方向参数,使算子具有旋转不变性。以下为(x,y)处梯度模和方向公式:
4) 生成SIFT特征向量,首先将坐标轴旋转为关键点方向,然后对每个关键点使用4×4共16个种子点进行描述,形成128维的SIFT特征向量。
5) 再采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量实现关键点的匹配。
6) 采用鲁棒的变换估计算法RANSAC,即随机抽样一致性算法,利用特征点集的内在约束关系进一步去除误匹配。
1.3 由二维特征点匹配映射到三维点云对
实现自动拼接,需要在两次测量过程中找到匹配的三维点对,点对数目至少满足四元素法或者SVD分解法求解变换矩阵的要求,一般至少4个点对以上。SIFT算法已经得到两次测量过程中,左相机拍摄图像中二维特征点的坐标以及二维特征点的匹配关系。再根据上述相位测量原理,把这些SIFT二维特征点的三维点坐标求取出来。可能在求取过程中受到相位调制度的限制,部分SIFT特征点无法得到三维点坐标。最后,可根据二维特征点的对应关系映射到这些点的三维点的对应关系上。这一步等同于在物体表面粘贴标记点后找出两次测量的标记点的三维点坐标对应关系。最后由得到三维点对便可求取变换矩阵实现点云拼接,流程如图2所示。
二维特征点匹配映射到三维点云算法编程实现如下:
1) 分别对第一次和第二次测量时候左相机拍摄的图像进行SIFT特征点检测和匹配,记录下匹配成功的两幅图像上二维特征点的坐标。
2) 采用相位轮廓术法对第一次和第二次测量进行立体匹配,分别得到第一次测量和第二次测量的点云,分别从中寻找出步骤1中的二维特征点对应得到的三维点云坐标,得到第一次和第二次测量时候左相机二维特征点和该次三维点云坐标的对应关系。
3) 根据两次测量中左相机图像特征点的匹配关系即可以映射到两次测量的三维点云的一一对应关系,这样就在没有粘贴标记点的情况下找出了两次测量点云的匹配关系。
4) 根据两次测量点云的匹配关系即可以求解出旋转矩阵和平移矩阵,实现拼接。
1.4 基于SVD的变换矩阵求取[6]
选择采用SVD分解法求取旋转矩阵和平移矩阵,完成以上过程后两次测量的特征点的三维点云对{pi} 和{p′i}就已经找出,两者之间可以由公式p′i=Rpi+T+Ni表示,其中R是一个旋转矩阵,T是一个平移矩阵,N是干扰向量,用最小二乘法
令
qi=pi-p,q′i=p′i-p′ (8)
经过以上变换可以得到
基于3×3矩阵奇异值分解的最小二乘法变换矩阵[7]求取步骤,以及软件编程实现方法如下:
1) 设有两个点集P={p1,p2,…,pn}和P′={p′1,p′2,…,p′n},在两个点集中找到相互对应的点对,按照刚体变换求解旋转矩阵R和平移矢量T,建立误差函数E(R,T)=
2) 利用式(5),式(7)计算三维点集{pi} 和{p′i}的质心。
3) 利用式(8)将三维点集作{pi} 和{p′i}相对于各自质心的平移,得到新的点集{qi} 、{q′i}。
4) 计算3×3矩阵:
5) 对矩阵H进行奇异值分解,对矩阵M作奇异值分解得:H=UΛTT,其中矩阵D为对角阵,D=diag(di),d1≥d2≥d3≥0。
再令
,如果rank(H)≥2,则R可以表示为:R=UAVT 。
6) 计算平移矢量:计算X的行列式|X|如果|X|=+1,则{R=X,T=p′-Rp}。
这样经过上面的SVD算法,即计算得到两点云集之间的旋转矩阵和平移矩阵,便可完成点云的拼接。
2 实验比较及分析
为了验证算法的有效性和精度,使用一组已经由粘贴标记点成功完成的点云拼接数据,采用本文所描述的算法再进行自动拼接。实验中摄像机采用大恒公司提供的COMS工业彩色摄像机,分辨率为1280×1024,焦距为12mm的镜头,投影仪采用的是三菱公司DX-320型号的投影仪,亮度是2500流明,采用张正友的平板标定后得到的摄像机参数如表1所示。
1) 两次测量左相机图片求取SIFT特征如图3和图4所示,进行配准如图5所示。
2) 根据相位测量原理,求取两次测量特征点的三维点坐标数据如图6和图7所示。
3) 依据SIFT配准关系,映射特征点的三维点云数据对应关系,如表2所示。
4) 由SVD奇异值分解法求得旋转矩阵和平移矩阵。
根据三维特征点的对应关系,由SVD奇异值分解法得到变换矩阵如表3所示。
5) 最后实现两片点云拼接如图8所示,拼接效果如图9所示。
6) 应用实例以及精度分析。
对汽车零部工件进行了扫描和拼接测量,采用SIFT特征点拼接测量方式进行了拼接测量,测量效果如图10、图11所示。并且对测量的精度和拼接的精度进行了分析。
对实际应用实例中汽车零件测量拼接数据进行分析,单次测量点云间距平均距离为0.3mm,两次测量拼接后两片点云之间的平均距离为0.1606mm,标准偏差为0.0617mm。
实验结果表明本文的方法可以实现快速无标记点拼接。利用本文所述方法可以实现免粘贴标记点的自动拼接,从特征点的提取到特征点的匹配以及影射到三维特征点,最后计算得到旋转矩阵和平移矩阵,计算时间较粘贴标记点时间稍长。可能引入误差的地方包括:特征点的提取会受到SIFT算法的影响,导致提取得到的特征点不精确;从二维特征点到三维特征点的计算,会受到摄像机模型标定参数影响,导致计算得到的三维点存在误差。
3 结 语
受单次测量范围限制,需要在物体表面粘贴标记点进行拼接测量,破坏了物体表面特征。本文探讨了一种基于SIFT的无标记点自动拼接技术,利用SIFT匹配两次测量二维特征点,经过RANSAC方法来消除误匹配后,由相位法原理求取出这些二维特征点对应的三维点云数据,并且映射出三维点的对应关系,最后由SVD方法求解得变换矩阵,完成自动拼接。实验证明,该方法可以避免在被测量对象上粘贴标记点,能够快速准确地实现自动拼接功能。
参考文献
[1]彭瑾,汪春晓,王黎.FTP测量物体的三维轮廓信息实验[J].微计算机信息,2009(18):211-213.
[2]赵焕东.相位测量轮廓术的理论研究及应用[D].浙江:浙江大学,2001:11-28.
[3]潘伟,赵毅.提高光栅投影测量精度的相移精确测量法[J].上海交通大学学报,2003(7):1068-1071.
[4]Brown M,Lowe D G.Recognising Ranoramas[C]//Proceedings of IEEEInternational Conference on Computer Vision 2003:1218-1225.
[5]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].IJCV,2004.
[6]Huang T S,Blostein S D,Mergerum E A.Least-squares estimation of mo-tion parameters from 3-D point correspondences[C]//Proc.IEEE Com-puter Vision and Pattern Recognition,MiamiBeach,FL,1986:24-26.
自动拼接 篇8
视频监控系统已经广泛应用于机场、铁路、银行等许多场合,也越来越多的应用于日常生活。随着监控系统的发展,监控的范围越来越广,对监控图像的分辨力要求也越来越高。主从摄像机监控系统便是一种解决该问题的方案:一个(或更多)固定的摄像机作为一个领导者,引领一台(或更多)PTZ(Pan/Tilt/Zoom)摄像机去聚焦感兴趣目标并跟踪。控制PTZ摄像机去聚焦由静态摄像机捕捉到的感兴趣目标通常的做法有:1)对摄像机的内外参数举证经行强标定。这种方法利用传统的标定方法直接获得真实的三维坐标系统到摄像机成像平面的投影关系,从而获得摄像机之间的关系。然而,这样的做法常常在实际中遇到困难。事实上,摄像机的安装条件、温度与湿度的变化等复杂的实际条件都会影响到参数的估计。2)是对静态摄像机的像素坐标与PTZ摄像机的控制参数进行弱标定。该标定方法的本质是求得静态摄像机成像平面像素坐标与PTZ摄像机控制参数的映射关系。文献[1]～文献[4]都提供了一种弱标定方法求得此映射关系。然而,这些方法都需要试验人员手工完成,即费时耗力,又不便于推广。
为解决标定主从摄像机系统中人工操作费时耗力并且复杂的问题,笔者提出了一种基于图像拼接的全自动方法标定主从摄像机监控系统,并将其应用于一个实际的主从摄像机监控系统中。
2 手动弱标定主从摄像机系统
在一系列手动标定主从摄像机系统方法中,文献[3的方法最具有代表性。该方法从静态摄像机图像中选取一系列具有代表性的样本点,手动地移动PTZ摄像机,使得PTZ摄像机图像的中心与选取的样本点重合,并记录下此时静态摄像机样本点坐标与PTZ摄像机转动参数。对选取的所有样本点反复进行上述过程,最终可以得到一张关于所有样本点坐标与PTZ摄像机参数之间的查询表(Look-up Table)。这样静态摄像机视野内其他点对应的PTZ转动参数可以通过其他点对应的转动参数插值得到。此过程如图1所示。
3 自动弱标定主从摄像机系统
3.1 弱标定主从摄像机几何模型
现假设主从摄像机系统由1个静态的摄像机与1个动态的PTZ摄像机组成,令Is与Id(α,β,Z)分别代表静态摄像机图像与动态摄像机图像。参数(α,β,Z)分别代表动态摄像机的水平偏转角度,垂直偏转角度和放大系数。那么,标定该系统的目的就是让任何在静态摄像机图像上的点都能够得到一个合适的PTZ摄像机控制参数,使得PTZ摄像机依此参数运动,能够让该点位于其图像中心。也就是说,需要去寻找静态摄像机图像中像素点的坐标(xs,ys)与动态摄像机控制参数(α,β,Z)之间的映射关系
H是从世界坐标系到静态摄像机平面坐标之间的映射关系,在针孔摄像机模型下,该映射表示为
而H′代表静态摄像机平面与动态摄像机平面之间的映射关系(见图2)。需要指出的是,由于动态摄像机的旋转特性,所谓的动态摄像机平面是一个合成的虚拟平面,由摄像机其他拍摄角度的平面向某一选定的基准平面投影形成,Hk表示的正是这种投影映射关系。因此只要知道Hk和H′,静态摄像机图像中任何一点xs都可以映射到动态摄像机中。
式中:Tk是从静态摄像机到当前动态摄像机平面的映射,xd是xs在动态摄像机平面中相对应的点。通常,准确地确定映射Tk是十分困难的,因此,进一步将其转化为动态摄像机控制参数的形式Tk→ξ(α,β,Z),那么,主从摄像机标定的问题就转化为
式中:ξk是以摄像机控制参数为形式的从动态摄像机合成平面到某一子平面的映射,ξ′是静态摄像机与动态摄像机合成平面的映射。因此,对式(1)的求解被转化为对ξk与ξ′的求解。
3.2 自动弱标定主从摄像机系统算法
笔者提出的自动弱标定主从摄像机算法如图3所示。
在该流程中,建立拼接图像过程中确定了ξk,随后的特征点匹配确定了ξ′,最后通过自动化的全局标定最后确立静态摄像机平面内任意一点到动态摄像机相应转动参数之间的映射关系Tk。
3.2.1 自动拼接马赛克图像
在式(5)中,映射ξk是通过在一个固定放大系数Z0上拼接马赛克图像获得的。在本实验中,马赛克图像是由在摄像机规则运动过程中采集的子图像拼接而成。图4显示了获得子图像的过程。图箭头方向为动态摄像机运动方向,圆点为摄像机抓拍位置;图片为抓拍得到的子图像。
在本实验中,采用了基于图像特征点匹配的图像拼接方法[5]。拼接两幅图像的步骤如下:
1)特征点提取与匹配。在本实验中,利用SURF算法[6]对两幅图提取特征点及其描述算子,并自动匹配对应的特征点。
2)图像配准。基于在两幅图像之间匹配好的特征点对,利用RANSAC方法求得两幅图像之间的变换矩阵
3)图像拼接。一旦获得了两幅图像之间准确的变换矩阵,则可以运用该矩阵实现图像的拼接。为了实现无缝拼接,本实验中采用了带权重的图像拼接算法。
在实验中,图像拼接是沿着摄像机运动轨迹进行的,即依次将在轨迹上相邻的图像拼接到一块,最后获得一张由64张子图像组合构成的拼接图像,如图5所示。图中,白色边界为每一张子图像的边界。一旦获得了描绘摄像机视场大小的全景图,从拼接图像平面到子图像平面的映射关系则可以通过子图像在拼接图像中的位置得出:ξk→(αi,βi,Z)。
3.2.2 全局自动匹配特征点
根据极线几何原理,两幅拍摄于不同角度的图像中,一幅图像的一点在另一幅图像中对应为一条极线。
式中:E为本质矩阵。为了得到两幅不同角度图像之间的点对点的变换关系,利用匹配好的特征点对去近似这个关系。这个过程需要一种适用于各种尺度变换、旋转、位移、光照变化等条件下检测和匹配特征点的方法。SURF[6]特征点正可以满足这些要求。在SURF特征点中,检测子基于快速海森矩阵
式中:δ为尺度因子,Lxx(x,δ)为高斯函数对x的二阶导数坠2g(x)/坠x2与图像在点x处的卷积。而SURF检测子为在检测子20×20 pixel的区域内,划分4×4 pixel子域,每个子域计算5×5个采样点Haar小波响应,记录∑△x,∑△y,这样,通过对静态摄像机图像与动态摄像机图像提取SURF特征点并进行匹配,就获得了另一个映射关系ξ′。同时,为了增加匹配的特征点,联合极线几何原理增加了匹配特征点的数量,结果如图6所示。左图为PTZ摄像机图像中与图4匹配的SURF特征点,右图为利用极线几何原理增加了匹配特征点数量。
3.2.3 自动标定主从摄像机系统
在得到了从静态摄像机平面到动态摄像机拼接图像平面的映射与拼接图像到当前动态摄像机平面的映射,就可以自动标定主从摄像机系统。具体步骤如下:
1)在静态摄像机中的任何点Ps(xs,ys)的临近区域内,搜索SURF特征点。令NR(Ps)为距离点Ps距离小于等于R的所有SURF特征点构成的集合:NR(Ps)={(Ps1,r1),(Ps2,r2),…},Ps1,Ps2分别是距离Ps为r1,r2的特征点。
2)对于每一个在集合NR(Ps)中的特征点,找到其在拼接图像中对应的特征点Pdi。以特征点在子图像中距离图像中心的远近为准则,确定出Pdi最接近图像中心的子图像。一旦得到Iri,就可以得到该子图像在所有子图像集合中的编号,进而可以得知动态摄像机在拍摄该图像时所处的位置。
3)将静态摄像机中任意的一点Ps(xs,ys)邻近区域内的特征点与动态摄像机的最佳拍摄参数对应起来。对这些对应关系进行插值运算,得到Ps(xs,ys)所对应的动态摄像机最佳拍摄参数。令Ps邻域内特征点对应的最佳拍摄参数为Si(αi,βi,Zi),i=1,2,…,则插值过程为
其中,fi()为插值函数。图7描述了上述3个步骤。
4 实验结果及分析
实验中,利用实验室内的真实场景,将一台视野较宽的摄像机作为静态摄像机摆放在门口的位置,另一台视野较窄的作为动态摄像机摆放在其他位置。按照上述算法的描述,完成弱标定主从摄像机系统的全过程。图8给出了一些实验结果。左列图像为静态摄像机所拍摄的图像,右列图像为标定后,动态摄像机按标定结果转动后拍摄的图像。右列图中心的圆点为图像中心。
从测试结果可以看出,应用该算法计算出的结果转动动态摄像机,可以较准确地对准静态摄像机图像内出现的感兴趣目标。在该算法中,影响最终计算结果的因数主要来自于提取与对比SURF特征点。由于静态摄像机图像中任一点所对应的动态摄像机转动参数由其周围区域内的SURF特征点对应的转动参数插值得到,因此,在图像中提取的特征点越多并且越均匀,则整个标定效果将越好。在本试验中,除了利用SURF算法提取并对比特征点,还利用极线几何原理扩展了提取的特征点,使得特征点在图像中的分布尽可能广泛。
为了确定算法的精确性,在静态摄像机图像中随机的选取许多点,然后利用本文算法去转动动态摄像机,然后将动态摄像机中心与在动态摄像机图像内的对应点进行比较,得到实验误差,误差结果如图9所示。
从实验结果可以看出,根据该算法所计算出的转动参数转动动态摄像机后,摄像机中心点与静态摄像机图像对应点的偏差在X,Y轴方向平均不超过5 pixel的宽度,满足实际应用要求。
5 小结
笔者提出了一种基于拼接图像的自动标定主从摄像机系统的算法。该算法最大的优点在于整个过程全部为自动化,并且一旦标定完成,将不会由于拍摄环境发生变化而改变。该算法的适用条件为拍摄场景需静止并且能够提取充分的特征点。如果在构建拼接图像过程中拍摄场景发生变化,仍可沿用本方法的思想,即主要通过拼接的全景图像来实现主从摄像机系统的标定,但是拼接图像的方法将发生变化。
参考文献
[1]HAMPAPUR A,BROWN L,CONNELL J.Face cataloger:Multi-scale imaging for relating identity to location[C]//Proc.IEEE Conference on Advanced Video and Signal Based Surveillance(AVSS).Miami Florida,USA:IEEE Press,2003:13-20.
[2]KANG Jinman,COHEN I,MEDIONI G.Continuous tracking within and across camera streams[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Madison Wisconsin,USA:IEEE Press,2003:267-272.
[3]ZHOU Xuhui,COLLINS R T,KANADE T,et al.A master-slave system to acquire biometric imagery of humans at distance[C]//Proc.ACM SIGMM International Workshop on Video Surveillance.Berkeley California,USA:IEEE Press,2003:113-120.
[4]SENIOR A W,HAMPAPUR A,LU M.Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration[C]//Proc.the Seventh IEEE Workshops on Application of Computer Vision(WACV).Brekenridge,USA:IEEE Press,2005:433-438.
[5]BAY H,TUYTELAARS T,GOOL L V.SURF:Speeded up robust features[C]//Proc.IEEE European Conference in Computer Vision(ECCV).Graz,Austria:IEEE Press,2006:404-417.