实时视频拼接系统

2024-08-15

实时视频拼接系统（共6篇）

实时视频拼接系统篇1

实时视频拼接技术在军事监控、生物医学、汽车导航等领域有着广泛的应用需求, 因此它已成为研究热门。普通单摄像头只有有限的视野范围, 广角镜、光学抛物面环形视频展开等此类方法以损失分辨率为代价尝试拓宽视野, 无法得到高清的视频图像。视频拼接是为了获得更广阔的视野范围, 以满足人们对广域场景视野需求, 对于给定有重叠区域的的视频图像序列, 经过配准融合等过程, 缝合成无缝、高分辨率的大型场景视频图像的技术。

视频图像拼接首先取决于图像匹配。图像匹配方法可分为基于灰度、基于频域和基于特征三类, 基于特征点的配准方法更为简便和稳健, 是目前国内外研究的热点。Lowe[1]提出了具有对图像缩放、旋转、仿射变换、光照不变性且对噪声不敏感的SIFT (Scale Invariant Feature Transform) 算法。而SIFT算法的计算量大, 速度慢, 直接影响了拼接时间。Herbert Bay[2]等人在此前提下对SIFT算法进行了改进, 提出基于积分图像的SURF (Speeded Up Robust Features) 算法, 通过基于积分图像的方形滤波器来近似拉普拉斯高斯算子, 构造了一种Fast-Hessian矩阵以加快速度。而相对实现简单的Harris角点[3]特征检测方法拥有较快的速度, 匹配精度较高, 适合实时视频拼接的运算速度要求。

由于在多摄像头的公共区域中有视差角度以及运动物体等此类问题的存在, 为了利用尽量快速高效的算法, 而得到高质量的图像拼接, 对两个摄像头采集到的视频图像。本文先用Harris算子视频图像的特征点, 再结合改进的RANSAC方法对变换矩阵进行优化从而得到较精确的相邻的视频图像之间的单应性矩阵, 最后用渐入渐出方法进行融合, 合成无缝高清的视频图像。该方法通过大量的实验, 证明该系统可以自适应的实时对视频图像进行拼接, 获得高清无缝的大视场视频图像。

1 特征提取

1.1 柱面空间转换

由于多个摄像头获取的图像并不在一个平面, 且摄像头的姿态存在变化, 采集到的原始图像不能直接用于拼接, 需要对图像进行预处理。所以必须对获取的原始图像进行图像空间转换, 变换到柱面空间。

目前最广泛应用的圆柱体模型的全景图, 因为使用它相对简单, 同时又不存在影响拼合图像浏览的真实性。通过对摄像头的标定, 得到摄像头的焦距, 便能将原始视频图像投影到柱面空间坐标中。

图1为柱面空间投影的切面图, W和H分别为原始图像的宽和高, P (x, y) 为源图像上的任一点的坐标, Q (x’, y’) 为P (x, y) 在柱面上的投影坐标。用正投影的投影公式可以得到柱面空间的点Q (x’, y’) 与原始图像空间上的点P (x, y) 的对应关系。

1.2 Harris角点检测

Harris角点检测算子是通过Moravec角点检测算子改进后得到的, 用高斯函数代替二值窗口函数, 对离中心点越近的像素赋于越大的权重, 以减少噪声影响。Harris算子的思路是用一阶偏导描述图像亮度变化。本文通过公式2的Harris角点检测算子来做特征点提取:

若I (x, y) 为图像坐标 (x, y) 的像素点的灰度, 其两个特征值λ1和λ2的大小反映了像素点的凸显程度。如果 (x, y) 是一个特征点, 那么M的两个特征值λ1和λ2在以 (x, y) 为中心的局部区域范围取得极大值。再建立度量函数:

式中:det M=λ1λ2, trace M=λ1+λ2最后根据R的经验阈值判定图像中的点是否为角点, 一般取0.04。

Harris角点检测算子是一种简单有效的特征点提取算子, Harris角点检测算子中只用到灰度的一阶差分以及滤波, 符合视频拼接对运算时间的要求。检测提取的点特征均匀而且合理[4]。Harris角点检测算子对图像中的每个点都计算其兴趣值, 然后在邻域中选择最优点。

1.3 改进的RANSAC算法过滤特征点

在对视频图像通过相似性度量得到潜在匹配点对时, 无可避免会产生一些错误匹配, 因此需要根据几何限制和其他附加约束消除误匹配, 提高算法鲁棒性。对于得到的匹配点对可以用RANSAC (Random Sample Consensus, 随机抽样一致性) 算法进行过滤, 此算法应用广泛, 在失配率高的情况下还能保持有效, 但是缺点是该算法速度慢。本文使用了基于预检验的快速随机抽样一致性算法[5], 此算法计算精度与RANSAC算法保持一致, 计算速度优于RANSAC算法。

2 图像配准

对于已经得到的图像间的特征点对, 要找出它们的单应性矩阵, 才能将视频图像对应拼接融合。目前, 基于特征点的图像匹配算法, 一般采用6参数的仿射变换和8参数的投影变换作为图像间的坐标变换方式。而对于非固定摄像头, 由于在拍摄过程中摄像头的运动复杂, 摄像头之间的角度距离等不确定, 待拼接视频图像之间的单应性矩阵参数可由公式4的8参数投影变换方式求出。其中 (x, y) 和 (x’, y’) 分别为匹配的特征点对, h1～h8为待解出的变换矩阵的8个参数。

理论上只需要从匹配的特征点对集中选取4对特征点, 就可以计算出投影矩阵中的8个未知参数。但是在实际情况中, 在有各种复杂情况下存在一定的精度误差, 造成一些误匹配的特征点对。这就要求通过计算剔除错误匹配点对, 获得最适合的变换矩阵。

3 融合算法

待拼接视频经过匹配后, 必须进行好的图像融合, 以获得高质量的拼接结果。由于摄像头方位角度差, 图像本身有亮度差异, 直接叠加的话会通过对比而放大[6]。另外, 使用普通网络摄像头获取图像的时候有畸变失真, 经过投影可能会放大这种失真, 从而影响结果的质量。获取视频图像时, 摄像头并非完全固定, 所以要对视频图像的每一帧都进行特征提取及配准融合, 尽可能使用简单有效的融合算法。

视频融合中常用的融合方法有加权平均法、多分辨率样条分析法、最佳缝合线法、渐入渐出方法等。为了保证算法的效率, 本文选择渐入渐出方法对配准图像进行融合。

4 实验结果及分析

实验测试平台为VS2008, CPU Intel (R) Core (TM) 2 Duo CPU T6600 2.2GHz, 内存2 GB。图4为本文方法得到的拼接结果。

从结果上看, 图2 (c) 融合过渡非常自然, 图2 (f) 中的图像重叠的杂物电线细节部分也不存在鬼影, 使用本文的方法得到了很好的拼接效果。

本文分别对双摄像头进行多次重复的实时拼接实验, 取平均时间作为视频拼接的实时性分析。对分辨率为640*480的摄像头获取图像进行拼接实时性分析如表1所示, 视频拼接每帧的速度有了明显的提高。

6 结束语

本文使用基于Harris角点检测的特征匹配方法, 结合改进的RANSAC算法对视频的初始帧进行配准, 克服了抖动、光照变化对视频拼接的影响, 获得高效高质、无缝高清的大视场视频图像, 满足系统实时性的要求, 具有良好的图像品质。

参考文献

[1]Lowe, David G. (1999) .“Object recognition from local scale-invariant features”.Proceedings of the International Conference on Computer Vision.2.pp.1150–1157.doi:10.1109/ICCV.1999.790410.http://doi.ieeecs.org/10.1109/ICCV.1999.790410.

[2]Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool “SURF:Speeded Up Robust Features”, Computer Vision and Image Understanding (CVIU) , Vol.110, No.3, pp.346-359, 2008.

[3]Harris C, Stephens M.A combined corner and edge detector[C].Proceedings of the 4th Alvey Vision Conference.Manchester, UK:Springer Verlag, 1988:147-151.

[4]冯宇平, 戴明, 张威, 等.一种用于图像序列拼接的角点检测算法[J].计算机科学2009, 12 (36) :270-271.

[5]Chen Fuxing, Wang Runsheng.Fast RANSAC with Preview ModelParameters Evaluation[J].Journal of Software, 2005, 16 (8) :1431-1437.

实时视频拼接系统篇2

500千伏输电线路实时监控装置安装项目可

行性研究报告

（窑武5915线、王含5435线、含店5436线、±500kV宜华线）浙江湖州段

湖州电力局

2008年 07 月

项目名称：批准：

审核：

编制人员：

输电线路实时视频监控系统的安装

500千伏输电线路技术改造项目可行性研究报告

第一部分总论

1、技改项目负责或承办单位：湖州电力局

2、技改项目研究的主要依据：

A、本单位（及地方经济）发展规划：本项目被列入局“科技进步十一五”规划。

3、项目概貌：对易盗区及可能遭受外力破坏的危险点进行实时视频监控，以期减少输电线路外力破坏事件的发生，并能完善事故取证工作。

4、结论与建议：盗窃、违章建筑、违章施工、吊装、交通碰撞等引发的电力设施外力破坏恶性事故频繁发生，直接威胁着电网的安全运行。加强对电力设施保护的投入，减少外力破坏事件已是刻不容缓。

对易发生外力破坏区域进行实时监控是目前降低外力破坏案件发生较好的措施之一，建议对易盗区、违章施工现场等区域安装阶段性的实时视频监控系统，掌握现场实时情况，以便能够及时采取措施，降低外力破坏事件。

第二部分项目背景与发展概况

1、项目提出的背景

2005年，国家电网公司系统66千伏及以上输电线路因外力破坏引起输电线路跳闸共691起，占同口径线路跳闸总次数的28％；造成输电线路非计划停运366起，占同口径非计划停运总次数的39％。2005年，国家电网公司系统共发生盗窃、破坏电力设施案件12554起。10千伏及以上变压器遭受外力破坏2400多台，倒杆（塔）300多基，丢失、受损输电导线 4000多公里、电力电缆 200多公里，塔材近5万件，直接经济损失8875万元。给电网企业造成了重大的经济损失，而且极大影响了正常生产、生活秩序和社会公共安全。我局电力设施遭受外力破坏的事故、案件也呈不断上升趋势，一些单位和个人违章修建、施工、吊装、驾车碰撞、高空抛物等引发的电力设施外力破坏事故、案件频繁发生，直接威胁着电网的安全运行。

更值得重视的是我局管辖的500kV线路是国家超高压联络线，是西电东送的重要通道，在全国联网中承担着重要的安全责任。外力破坏电力设施的事故如果得不到及时有效的遏制，就有可能造成类似美加大面积停电的恶性事故。为保障电网安全可靠运行，保护国家、企业财产不受侵害，保护人民群众用电安全，加强对电力设施保护的研究，严防外力破坏已是刻不容缓。

2、项目实施的目的

对易盗区及可能遭受破坏的危险点进行实时视频监控，以期减少输电线路发生被盗、碰撞等外力破坏。

3、项目实施的必要性

我局管辖的500kV线路是国家超高压联络线，是西电东送的重要通道，在全国联网中承担着重要的安全角色。外力破坏事件如果得不到及时有效的遏制，就有可能造成类似美加大面积停电的恶性事故。为保障电网安全可靠运行，保障经济稳定运行，保护人民群众用电安全，加强对电力设施保护的研究，严防外力破坏已是刻不容缓。

4、项目实施环境、条件分析

我局已经有过对变电所、办公楼进行监控的成功经验，拥有一个设备先进的消防监控中心。通信网络设施齐全，参与项目工作人员均为大专及以上学历，人员专业经验丰富，这些都为本项目成功开展奠定良好的基础。

5、项目发展的概括

国内外已有通过无线公网进行图像监控系统，一般有远程数据图像采集器、图像监控服务器和图像监控客户端组成。远程数据图像采集器一般是一台嵌入式计算机，它部署在图像监控的现场，它从 CCD 摄像机采集视频信号，然后把图像数据进行编码和压缩成为数字视频数据，最后利用微波传输模块将图像发送到图像监控服务器。图像监控服务器和图像监控客户端分别是装有远程图像监控服务端软件和客户端软件的 PC 机，它们都连接在互连网络上。国内也有利用图像监控对无线带宽要求较低特点，利用已有无线公众网络将图片信息传输回监控中心，甚至以彩信方式将图像传回，因而技术较成熟，成本较低。缺点是图像滞后较多，经常图像传回后，现场情景甚至已经发生了改变，错过了有用信息的拍摄。因为滞后对摄像头无法进行实时遥控，不能对现场情况作有效的掌控。

第三部分项目投资规模

1、项目寿命期分析

根据电子设备寿命分析，本设备寿命至少在5年。

2、项目寿命期内的需求发展规模和趋势

因为设备在一个区域监控任务完成后是可以转移至另一区域继续监控。因此，在预计的寿命期内首次发展规模是能够满足需求的。

3、项目投资规模

本项目硬件由CDMA无线视频一体化监控设备、彩色一体摄像机、太阳能板蓄电池、监视服务器、CDMA通道等组成。每个监控点概算为8万，后台控制系统概算6万元，湖州局管理的设备7个监控点基本能够满足阶段性（监视完毕后，监视设备可以转移）监控需要。因此，总投资概算为62万元。

第四部分项目的技术方案确定

无线监控系统构成一般前端摄像头、编码器、无线传输、解码器、终端监控设备组成。除无线传输外，其它设备都在安防等领域有着成熟的应用。无线传输因为带宽的原因，传输单桢图像问题不大，传输清晰、无滞后视频流就成为无线监控的关键技术。

方案

一、在铁塔或车载上安装高倍摄像头，通过MPEG4格式的图像编码器将视频图像即时压缩，通过5.8G（约2M带宽）的无线设备传输到就近的局域网内，最终将信号传输到监控指挥中心，通过视频解码器解码后上电视墙。也可以通过IE浏览器的方式即时点播任意监控点的监控图像。监控前端通过太阳能的形式给设备供电。监控中心可以通过键盘监控每路前端图像并进行镜头，方位控制等，并进行即时录像。

方案

二、将现场监控数据通过5.8G的无线设备直接传输到监控中心。就近接入变电所、电厂、供电所等单位还受不同行政管辖、接入点是否留有用电、网络接口的影响，维护起来也不方便。湖州电力局所辖的110kV及以上线路大部分处于局监控中心半径60kM范围内，利用5.8G微波直接传回只能部分满足现有需求。

方案

三、现场监控数据利用移动公网传输至监控中心。现有可用的移动无线公网有GPRS/CDMA。利用无线公网传输可以解决微波传输受视距限制，安装、调试方便，成本也大幅度下降。

因此，我们认为方案三是目前最好的选择，速率较快的CDMA带宽上有153kb/s，项目计划利用2条CDMA通道作为无线传输通道。

第五部分环境保护与生产安全

1、环境保护的可行性研究

本设备安装不破坏植被，除与移动运营商数据通信外，无电磁辐射，对环境影响几乎不存在。

2、对安全生产的影响或作用

对易盗区及可能遭受破坏的危险点进行实时视频监控，能够减少输电线路发生被盗、碰撞等外力破坏事件的发生。

第六部分项目组织及实施进度的安排

1、项目组织结构：

2、项目实施时期的各阶段安排 2009年02 月完成方案确定 2009年 05 月完成相关设备采购

2009 年06 月完成系统安装，进行试运行阶段 2009年 12 月完成项目验收

第七部分项目投资估算

项目全部投资和总成本费用：62万人民币。

第八部分经济效益评价

1、项目经济效益评价

能够对危险点进行实时监控，有效地减少故障发生。缓解人员紧张局面，节省人力、车辆及出差费用。减少恶性事件的发生，提高电网可靠性。

2、社会效益评价该项目的完成能够有效减少设备故障发生，提高供电可靠性，为地方经济的稳定发展提供可靠的电力保障。第九部分结论与建议

结论：盗窃、违章建筑、违章施工、吊装、交通碰撞等引发的电力设施外力破坏恶性事故频繁发生，直接威胁着电网的安全运行。加强对电力设施保护的投入，减少外力破坏事件已是刻不容缓。

实时视频拼接系统篇3

关键词：视频拼接,Open CV,嵌入式系统,图像融合

图像拼接在日常生活、工业领域中有着广泛的应用,这是因为一般单个摄像头采集到的图像范围已不能满足宽场景的需求[1]。随着图像处理技术的不断发展,各种新方法、新技术不断得到尝试,为图像视频拼接技术的发展奠定了坚实的基础。目前国内基于嵌入式的图像拼接系统较少,文献[2]中以ARM11 处理器为核心,利用基于区域相关的拼接算法,将单摄像头旋转采集到的周围一圈的图像拼接为全景图像; 文献[3]以FPGA为处理器,采用基于子图像块的频域相位相关算法,构建了集图像采集、存储、处理以及传输的拼接系统; 文献[4]以DSP为处理器,以两路图像传感器采集的图像数据为研究对象,采用一种基于相位相关法确定相似区域的图像拼接算法,在DSP内部实现了自动拼接,该系统可以满足实时性。这些图像拼接系统对当前基于嵌入式的拼接系统有很好的参考价值和推动作用。

本文在以上工作的基础上,硬件系统以三星高性能的Exynos 4412 四核芯片为中央处理器,加上JTAG模块、图像传感器模块、显示模块、数据存储模块等外围电路,软件系统在嵌入式Linux系统中,采用应用程序GUI开发框架Qt环境,加上开源的跨平台计算机视觉库Open CV,运用多线程编程技术,设计了一套视频采集与拼接系统,利用基于SURF和改进RANSAC的拼接算法进行视频拼接。实验表明,本文设计的视频拼接系统不仅有较好的视频拼接效果和准确率,同时也能够满足实时性要求,在无人机遥感[5]、视频监控[6]、虚拟现实[7]等领域有一定的应用参考价值。

1 视频拼接系统硬件结构

本系统采用三星高性能的Exynos 4412 四核芯片为中央处理器,其主频达到1. 5 GHz,内部集成了GPU为Mali-400 MP的高性能图形引擎,完全能够满足设计要求。系统硬件框图如图1 所示。系统采用5 V直流电电源供电,24 MHz的晶振提供时钟信号,引出一路串行接口用作与PC机的通信,JTAG接口用来对嵌入式系统的仿真和调试,它不占用任何板上资源,同时选用1GB的SDRAM作为操作系统和应用程序的运行空间,Nand Flash用来存储操作系统、根文件系统和应用程序等。

本系统为嵌入式系统,任何运行在嵌入式处理器的程序或者库文件都需要经过交叉编译才能烧写到板子上,为了方便烧写根文件系统,这里采用在线改写文件系统的方式,即通过网络接口来实现,PC端的Linux挂载到嵌入式开发板上,可以方便的把PC端编译好的文件复制到嵌入式开发板端,这给调试程序带来了极大的方便,能够节省大量时间。同时系统采用USB摄像头通过USB接口采集图像数据,经过视频拼接算法的处理,最终把得到的拼接图像显示在LCD屏幕上。

2 视频拼接系统软件结构设计

系统以Linux为操作系统,应用程序框架采用Qt + Open CV的方式,在qt环境下编写图形用户界面,界面上可显示摄像头采集到的原始图像和经过拼接算法处理过的融合图像,设置了打开摄像头、保存图片和关闭摄像头三按钮,用于开始采集图像并进行图像拼接、保存一帧图像数据和结束系统运行三个功能。Open CV是一个开源发行的跨平台计算机视觉库,由一系列C函数和少量C + + 类构成,实现了图像处理和计算机视觉方面的很多通用算法[8]。在Qt环境下,采用多线程编程的方式,设计了图像采集、视频拼接算法处理和图像显示三个线程,各个线程之间是通过信号和槽进行通信,在图像采集线程中通过摄像头完成了图像的采集后,立即发送一个信号给拼接算法处理线程; 当拼接算法处理线程接受到信号后开始对两帧图像进行算法处理,处理完成后立即发送一个信号给图像显示线程;在图像显示线程中接受到信号后把图像显示在LCD上。以下详细分析三个线程的实现过程。

2. 1 图像采集线程分析

嵌入式下的V4L2 是Video for Linux two( Video4Linux2) 的简称,它是linux操作系统下用于采集图片、视频和音频数据的API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。本系统采用此框架进行图像数据的采集,具体流程如下:

( 1) 先打开视频设备文件,进行视频采集的参数初始化,通过V4L2 接口设置视频图像的采集窗口、采集的点阵大小和格式;

( 2) 再申请若干视频采集的帧缓冲区,并将这些帧缓冲区从内核空间映射到用户空间,便于应用程序读取处理视频数据;

( 3) 将申请到的帧缓冲区在视频采集输入队列排队,并启动视频采集;

( 4) 驱动开始视频数据的采集,应用程序从视频采集输出队列取出帧缓冲区,处理完后,将帧缓冲区重新放入视频采集输入队列,循环往复采集连续的视频数据;

( 5) 停止视频采集。

2. 2 视频拼接核心算法线程

这里分析基于SURF和改进RANSAC的拼接算法,设置两个摄像头传感器采集的图像重叠部分在20% ~ 30% 之间( 以下称为ROI,即感兴趣区域) ,且每40 帧视频设置一个关键帧,关键帧和非关键帧采取不同的算法步骤,对于第一帧( 关键帧) ,直接在限定的ROI区域内,利用SURF算法找到两帧图像的特征匹配对,再利用改进的RANSAC算法求出H矩阵,再把变形后的帧利用融合算法合成拼接图,对于非关键帧,则直接融合形成拼接图。整个算法流程可分为A、B、C和D四个部分( 如下图2 所示) :

A部分主要是获取图像采集线程中两个摄像头采集到的视频图像数据;

B部分是对关键帧在重叠区域的ROI中用SURF算法生成特征描述子,从而生成匹配点对。其具体可分为五个步骤:

( 1) 构建Hessian矩阵( SURF算法的核心) ,设图像像素为I( x,y) ,则H矩阵可表示为公式( 1)所示:

式( 1) 中Lxx、Lyy和Lxy分别是图像在x方向、y方向和xy方向的二阶高斯滤波。

( 2) 利用Hessian矩阵公式计算两帧图像中的限定区域ROI中所有点的特征值。

( 3) 根据特征点的Haar小波特性,统计出每一个特征点的主方向。以特征点I( x,y) 为中心,以6s( s为特征点所在的尺度) 为半径,统计出圆中60 度扇形区域的所有特征点的Haar小波特征总和,然后以一定角度旋转,遍历整个圆形区域,把最后得到的Haar小波特征总和最大值的扇形区域的方向作为特征点I( x,y) 的主方向。

( 4) 构建特征描述子。以特征点I( x,y) 为中心,以上一步求出的主方向为方向,利用其周围区域特征点分别求出水平方向、垂直方向、水平方向绝对值、垂直方向的Haar小波特征绝对值之和,由此可以生成一个64 维的特征向量描述子。

( 5) 最后,生成了每帧图像ROI区域的所有特征点描述子的两个集合A和B,可以寻找出特征匹配对。这里采用欧式距离法,即选取集合A中的一个特征向量,采用遍历法,利用公式( 2) ( 其中n =64,Xi1表示第一个点的第i维坐标,xi2表示第二个点的第i维坐标) 计算其与集合B中距离最近的两个点,如果次近距离除以最近距离小于一定阈值,则判定为匹配点对。

C部分是用改进的RANSAC算法[9]筛选匹配点对并生成最终的变换矩阵H。计算出所有匹配点对后,采用改进的RANSAC算法计算仿射变换矩阵H,详细步骤可见流程图3 所示。

改进的RANSAC算法流程可分为A、B两部分,A部分是在上面SURF算子粗匹配的点对中依顺序选取一匹配点对,把匹配对中特征点主方向和长度都匹配的点保留下来,而不符合的匹配点对都舍弃,直到检测完所有特征点匹配对。假设( Pi,Qi) 是一对匹配对,Pi和Qi分别表示两帧图中的对应特征点,Pdx和Pdy分别表示Pi点Haar小波响应在水平和垂直方向上的矢量分量,Pθ表示Pi点的方向角,则Pθ表示为公式( 3) :

特征点Pi方向矢量的长度Plength表示为公式( 4) ,如下所示:

同理,Qdx和Qdy分别表示Qi点Haar小波响应在水平和垂直方向上的矢量分量,Qθ表示Qi点的方向角,则有Qθ表示为公式( 5) :

特征点Qi方向矢量的长度Qlenqth表示为公式( 6) 。

当两个特征点的方向角之差的绝对值| Pθ- Qθ|小于某一设定阈值 ε,且特征点方向矢量长度之差的绝对值| Plength- Qlength| 小于某一设定阈值时,保留这对匹配对,否则舍弃匹配对。

接下来在B部分中,从筛选后留下的匹配点对中随机抽取4 个匹配点对,把这些特征匹配点对代入变换模型计算出仿射变换矩阵H,这里在齐次坐标系下两幅图像之间的变换模型可以用公式( 7) 来表示:

式( 7) 中( x',y') ∈I1和( x,y) ∈I2( I1,I2分别表示图像1 和图像2) ,h1、h2、h4和h5是旋转和尺度变换因子,h3是水平位移因子,h6是垂直位移因子,h7、h8是水平和垂直方向的变形量。重复此步中的B部分N次,找出满足迭代计算矩阵最多的特征匹配对,利用这些特征匹配对计算出最终的仿射变换矩阵H。此改进的RANSAC算法能够去除大部分外点,保留下来的内点比例进一步提高,最终计算出稳定的H矩阵,很好的消除了拼接鬼影。

D部分是图像帧的融合形成拼接图像。当计算出正确的仿射变换矩阵H后,参考图像帧位置不变,对待匹配图像用矩阵H进行相应的变换。通常,融合方法有平均值法、加权均值法和最大值法等,此文采用渐入渐出加权均值法,具体融合方法用公式( 8) 表示:

式( 8) 中I( x,y) 表示融合后的帧图像像素点,I1( x,y) 和I2( x,y) 分别表示待拼接的帧图像像素点,w1和w2表示重叠区域对应像素点的权值,且有w1+w2= 1,0≤w1≤1,0≤w2≤1。假设两帧图像重叠区域的宽度为L,重叠区域左边界起始位置为Xstart,则w1可用公式( 9) 表示为:

也即待拼接图像I1( x,y) 中的像素点的权重与当前处理点距重叠区域左边界的距离成反比。

2. 3 图像显示线程介绍

嵌入式系统中使用LCD作为显示设备,必须有驱动程序来驱动该设备,才能使LCD正常显示。底层驱动中,通过分配核心结构体fb_info,设置可变参数和调色板,配置GPIO管脚功能,分配显存和注册设备等一系列步骤之后,LCD就可以正常的工作了。在上层应用程序中通过调用操作系统底层的驱动程序驱动硬件正常工作,通过open( ) 和close( )函数打开和关闭设备,write( ) 和read( ) 函数可以对LCD进行读写数据。

在Qt环境中,封装好了图像视频相关函数,这里编写图像显示程序较简单,获得原始图像数据是YUV格式数据,首先把YUV格式数据转化为RGB格式,再通过cv Cvt Color( const Cv Arr* src,Cv Arr* dst,int code ) 函数把图像数据从一种颜色空间转换到另外一种颜色空间,再把图像数据格式由Ipl Image转换为QImage格式,最终完成在label控件上显示过程。

3 视频拼接系统测试与结果分析

3. 1 交叉编译环境的搭建

本系统需要在PC上交叉编译程序,再下载到板子上运行,首先在PC机上安装虚拟机和Linux系统,在Linux系统下安装交叉编译工具arm-linuxgcc,连接上串口和网线,通过JTAG接口把交叉编译好的U-boot和Linux内核系统烧写到板子后,就可以进行基本的根文件系统的配置、编译和移植工作,当板子正常运行后,在Secure CRT中把PC机上的Linux环境目录挂载到板子上,这样就可以在根文件系统中添加交叉编译的应用程序文件和Open CV库文件,从而完善根文件系统。

3. 2 系统测试结果及分析

在Qt下开发的应用程序加入根文件系统后,修改/etc /init. d /rc S文件,让开机自动启动Qt应用程序界面,连接上两路USB摄像头,这里设置采集图像的大小为320 × 240,原始数据格式为YUV格式,完善后的系统Linux内核约占1Mb的空间,根文件系统约占80 Mb的空间。上电开机后,系统启动时间约为8 s,应用程序启动后,可以通过界面上打开摄像头按钮启动摄像头( 保存图片按钮的功能是抓取屏幕保存为bmp图片格式,关闭摄像头的功能是关闭拼接处理系统) ,开启实时视频拼接,按下保存图片按钮截取一帧图像,效果图如图4 所示,系统很好的完成了实时视频拼接,图中上面两幅图片是左右摄像头获得的原始图像,下面的是经过拼接算法处理后的融合图像,由融合图像可以看出拼接图像无明显拼接痕迹,融合效果比较理想,说明本文算法能够实现无缝拼接的要求。

同时对实时视频拼接图像的耗时进行统计,结果如表1 所示。表中分别为统计的前40、80、120、160、200 和240 帧的耗时情况,其中又分别统计了关键帧的总耗时、非关键帧的总耗时和总耗时,然后计算出平均每帧的耗时,由表可以看出平均每帧耗时在47 ms左右,也即每秒大约处理21 帧图像,基本满足实时视频的要求。

4 结束语

本文以嵌入式为基础,设计了一种实时视频采集与拼接的系统。以高性能的Exynos 4412 四核芯片为处理器,采用V4L2 方式采集USB摄像头图像,采用Qt + Open CV的软件架构,采用SURF + 改进的RANSAC的拼接算法,完成了实时视频采集与拼接的功能。实验结果表明,本设计有着很好的视频拼接效果,并且满足实时要求,系统运行稳定可靠,可移植性高,易于维护升级,具有一定的实用推广价值。

参考文献

[1] Feng G L,Tian W J,Qu Y S,et al.Image mosaics system based on TMS320DM642.ICO20:Optical Information Processing.International Society for Optics and Photonics,2006:60272U—60272U—8

[2] 张其亮,陈永生,韩斌.基于嵌入式系统的全景图像拼接系统设计.计算机工程与科学,2012;34(6):118—122Zhang Qiliang,Chen Yongsheng,Han Bin.The design of panoramic image mosaicing system based on embedded system.Computer Engineering&Science,2012;34(6):118—122

[3] 彭勃,何宾.FPGA在视频拼接中的应用与实现.计算机工程与设计,2013;34(5):1635—1639Peng Bo,He Bin.The FPGA’s application and implementation in video stitching.computer Engineering and Design,2013;34(5):1635—1639

[4] 张云峰.基于DSP的实时图像拼接技术.液晶与显示,2013;28(6):963—967Zhang Yunfeng.The real-time image splicing technology based on DSP.Chinese Journal of Liquid Crystals and Displays,2013;28(6):963 —967

[5] 胡同喜,牛雪峰,谭洋,等.基于SURF算法的无人机遥感影像拼接技术.测绘通报,2015;(1):55—58Hu Tongxi,Niu Xuefeng,Tan Yang,et al.The UVA remote sensing image splicing technology based on the SURF algorithm.Bulletin of Surveying and Mapping,2015;(1):55—58

[6] Yin X,Li W,Liu Y,et al.FPGA-based real-time video stitching method for video surveillance.optik-International Journal for Light and Electron Optics,2015;126(21):2804—2808

[7] 胡宇楠,陶永亮,胡晓明,等.单人背包式三维全景技术在室内虚拟三维场景中的应用.测绘通报,2015;(9):68—71Hu Yunan,Tao Yong Liang,Hu Xiaoming,et al.Single backpack type 3D panorama technology application in Indoor virtual 3D scene.Bulletin of Surveying and Mapping,2015;(9):68—71

[8] Bradski G.The Open CV library.Doctor Dobbs Journal,2000;25(11):120—126

实时视频拼接系统篇4

近年来,医学影像技术已成为医疗技术中发展最快的领域之一,图像拼接(Image Mosaic)是指将多幅具有重叠区域的序列图像通过图像预处理、图像变换、图像配准、图像融合等处理后,形成一幅包含各个图像序列内容的宽视角全景图像的技术。图像拼接技术是图像处理的重要研究领域,被广泛应用于卫星遥感、图像识别、医学图像分析及无人机监视和搜索、虚拟现实等方面。Shmuel Peleg等人在图像拼接理论和图像拼接方法上做了大量工作,为图像拼接在工程技术上的应用奠定了理论基础。Masanobu Shimada等人将图像拼接技术应用于雷达图像处理领域,用于监控森林植被的变化情况。国外Mustafa Suphi Erden课题组研制了针式共聚焦显微腹腔镜,在微创手术中截取部分视频图像,拼接成全景图像指导医生诊断治疗。国内的严壮志课题组提出基于特征检测、特征匹配、空间坐标转换和图像融合等方法的图像拼接技术,实现了连续X光片拼接的医学全景成像。

现有的传统医学成像设备,特别是显微成像设备,基本都是对组织的某一较小视野进行成像,设备最后采集到的是不同组织部位的多帧医学图像,需要医生对这些图像进行观察分析,根据自身医学知识与医疗经验来做出诊断。图像拼接技术的应用,能将多幅具有重叠区域的医学图像,通过图像变换、图像配准、图像融合等方法,自动拼接为大视野的清晰图像。该图像包含完整的医学病理信息,有助于医生全面了解病人病情。同时,系统能够自动追踪图像中的感兴趣区域,做出标记和注释,为医生提供诊断辅助。

2主要研究内容及关键技术

2.1主要研究内容

本系统的研究是通过研发基于实时自动图像拼接技术的医学图像分析系统,为医学实践中,实现显微镜、眼科设备、内窥镜等设备的数字化图像采集、图像自动分析处理,从而对医生的诊断、治疗起到辅助作用。

本系统的主要研究内容有基于CMOS的图像采集、实时自动图像拼接技术。

(1) 基于CMOS的图像采集

基于CMOS的高清图像采集系统的研发,包括图像和视频采集、图像的编码技术。兼顾红外光和可见光,实现图像的多波段自适应采集。具体功能还包括自动对焦、自动识别拍照功能,以及图像采集模块在各种医疗设备使用的适应性研究。

(2) 实时自动图像拼接技术

研究图像灰度处理、图像变换、图像配准、图像融合等算法,实现多帧医学图像或视频序列的实时自动图像拼接,输出具有计算机诊断辅助功能的大视野全景医学图像。能够自动跟踪图像中的感兴趣区域并做出标识和注释。

2.2关键技术

图像的拼接技术是本设计的关键,本设计提出对采集的多帧医学图像进行实时自动拼接,提供宽角度全景图像。同时,能够自动跟踪图像中的感兴趣区域并做出标识和注释。

3 系统设计思路

3.1 图像处理模块

图像传感器模块计划采用CMOS传感器为核心做成独立硬件模块,通过高速数据线与图像处理模块连接。这样设计的优点在于模块可以根据不同的应用场合,进行合理布置。

图像编解码和图像处理模块的方案计划采用TI的soc方案。该方案可以完成图像编解码、图像处理功能。

3.2实时自动图像拼接技术研究

图像拼接的核心技术是图像配准,关键在于准确找到相邻图像间重叠区域的位置及范围,进而通过图像融合的方法实现全景图像构建。图像配准通常有三类方法:基于灰度值的图像配准、基于变换域的图像配准和基于特征的图像配准。基于灰度值的图像配准方法实现方便,计算量小,但该方法对图像间的细微差别较敏感,抗干扰能力不强。基于变换域的图像配准可以缓解这个问题,且算法简洁,利于硬件的实现。不过该方法要求两幅图像的重叠区域不能少于50%,如果重叠区域过小,容易造成误配准。为了提高图像配准的精确度和速度,达到实时自动图像拼接的功能,本设计提出将基于灰度的网格配准和基于特征值配准相结合的方法。首先,对输入图像进行粗网格的分块处理,利用基于灰度的配准方法确定相似重叠区域。然后在重叠区域内进行基于SIFT(Scale-invariant feature transform)特征点提取和配准,这样就可以大大提高图像配准的速度。图像拼接算法的流程如图1所示。

4 结论

本文探讨了基于实时自动拼接技术的医学图像处理系统的主要技术和设计思路,有了自动的图像拼接技术,就能将多幅具有重叠区域的医学图像,通过图像处理的方法,自动拼接为大视野的清晰图像,为医生的诊断提供参考。

摘要：目前,图像拼贴技术在医学图像处理领域的发展趋势是实现图像的实时自动拼接。本文探讨了基于实时自动拼接技术的医学图像处理系统的主要技术和实现方案。

基于FPGA的视频拼接系统设计篇5

1视频拼接技术的实现

视频拼接技术的实现,即对视频采集、视频源文件处理、图像拼接处理、图像、视频序列转换等的实现,视频的拼接系统往往涵盖了:(1)C语言环境视频基本操作,例如:从摄像头采集视频、本地读入视频、本地文件记录视频。(2)视频图像的处理,例如:视频灰度的转换、视频降噪处理。(3)视频拼接系统,例如:频域相位相关视频的拼接。视频拼接的流程:(1) 采集源视频图像,即对图像及图像的来源地进行收纳。(2)转换视频文件处理方式, 即将视频文件转换成单帧图像文件。(3) 处理图像的噪音及序列,对帧图像进行拼接。(4)再次转换视频文件,即将帧图按照先后的顺序依次转换成视频文件。总流程路线为:开始—视频采集—视频处理—视频文件图像序列—图像拼接—图像序列视频文件—结束。

2基于FPGA的视频拼接系统的硬件设计方法

2.1系统的总体设计

系统的通体设计的实现,是基于FPGA的嵌入式系统,来实现视频采集、储存、显示、编码输出的功能。设计方法:以Diglent公司为例,(1)选用Xilinx FPGA的嵌入式系统平台、Atlys开发板、HDMI显示设备等,使初始化力度都大幅度增加,实现了视频拼接工作良好。(2)系统通过FPGA的通用逻辑实现MicroBlaze软核处理器,充分实现系统内各个模块的调度与管理。(3)采用IP核设计对DDR2存储芯片、视频采集板卡、HDMI显示接口进行处理,实现各个系统的相对运行及控制。(4)实现控制器的操控,即控制器的IP都要在XillinxXPS平台通过微处理器硬件规范文件来得以实现。

2.2硬件平台的创建

硬件平台的创建是基于MicroBlaze软核处理器,利用Xilinx嵌入式系统XPS工具来进行硬件基础平台的搭建,随后针对设计具体情况对Xilinx自带的IP核进行增减,为后续设计提供基础平台[1]。可在节约占有空间的基础上,实现算数的高运算、高逻辑性。实现方法:(1)MicroBlaze中断控制,即对外部请求而暂停执行的当前程序进行接收,又可对请求处理的新情况进行处理的过程。此做法需要技术人员提供多个中断,并利用单一的中断输出接口直接向系统处理器CPU的引脚进行处理。(2)完善总线接口,即采用相应的参数配置对中断控制核进行与PLB总线的连接。(3)添加IP核控制器,即对企业开发的IP核、XPS自带的IP核及用户自定义的IP核进行采集、储存、编码的设计,并按照规定的范围值进行合理的开发与配置。

2.3视频数据采集板块的设计

视频数据的采集是由多个IP核共同作业完成的,是完成摄像头采集、数据接收、初步缓存的重要手段,对集板块提供主时钟及复位信号有着积极的作用。其实现的方法有:(1)FPGA控制摄像头,即由PLL核提供的利用主时钟信号MCLK、复位信号RST、使用信号VEN及准备信号PDN四个输出端口来进行的。(2)通过VmodCam—IN控制器IP核来进行对视频采集板卡的数据输入,其中VmodCam—IN控制器IP核一端与视频采集板卡的视频数据输出端口相连,另一端通过VFBC接口与MPMC相连。(3)视频采集板卡模式的配置,即通过7个地址码对IIC总线进行设定,构制完成的总线时序图,并完成IIC总线对寄存器的预览与书写。

3基于FPGA的视频拼接系统的软件设计方法

3.1软件系统平台的设计

软件系统平台的设计,即对数据采集模块、视频帧数据拼接模块、视频数据储存模块、视频编码输出模块的配置与设计。实现的方法有:(1)视频数据应在数据接收控制器IP核完成对其的接收后,通过VFBC接口与DDR2储存器进行连接。 (2)用视频拼接相应的函数来对帧图像进行拼接处理。(3)对VFBC接口的视频编码进行裁定与输出。

3.2中断部分的设计

中断部分是控制软件系统的直接手段,其主要的操作流程有:(1)初始化系统平台及CPIO。(2)对中断进行初始化。 (3)判断中断类型,对其进行相应的调试操纵。(4)根据中断输入,进行视频的拼接,并将拼接后的结果进行编码输出处理整合。

3.3视频采集模块的软件设计

IIC总线是实现视频采集模块软件设计的基础,并使其与视频接收IP核定视频接收格式相配合来最终完成视频采集模块的设计。其具体的流程安排为:模块初始化—采集模式选择—采集模式配置(IIC总线)—是否成功的判断—接收数据— 视频储存,上述程序中若数据的输出不成功,则返回采集模式配置(IIC总线)上继续进行。在进行此项操作中,不仅仅要设置专门的帧寄存器,还需要对VFBC接口进行相应的操作配置来进行整体的调试。

4结束语

本文就视频拼接技术的实现、基于FPGA的视频拼接系统的硬件设计方法、基于FPGA的视频拼接系统的软件设计方法三大模块做了详细的论述,并结合了Diglent公司的Xilinx FPGA开发板,在SOPC系统中的多重视频拼接的可能性做了总概述,可应用于汽车环视系统、实时监控、海洋探测、医疗系统等多种工业领域,有着极其广泛的应用前景和较高的应用价值。

摘要：为更好的适应嵌入式系统的发展需求,提高基于FPGA片上可编程系统的探究,实现具有高旋转性信息的大视场图像,FPGA的视频拼接系统的设计至关重要。因此,本文就基于FPGA的视频拼接系统的设计展开讨论研究。