模拟视频图像（共8篇）
模拟视频图像 篇1
随着红外成像技术的不断发展和红外焦平面阵列IRFPA(Infrared Focal Plane Array)固体图像传感器的日益成熟,IRFPA被广泛应用于导弹制导、红外前视、红外搜索跟踪、海关缉私、海上救援和森林消防等领域的多种成像系统中。以数字信号处理器为核心的红外焦平面图像处理系统架构被广泛采用[1][2]。
红外焦平面图像预处理系统中,除需要将预处理之后的数字信号传输到后面图像处理系统外,经常还需要输出一个标准的模拟视频信号。但由于红外焦平面输出的信号是非标准的视频信号,其中不包含同步信号,所以不能用通常的同步方法来保证模拟输出的同步,需要采用特殊的同步方式。本文利用红外焦平面的积分信号,基于FPGA实现了一种红外图像预处理系统模拟视频输出的同步方案。
1 红外焦平面及其构成的视频图像处理系统
一种以数字信号处理器为核心的红外焦平面视频图像数字预处理系统的总体框图如图1所示。
1.1 基于DSP的视频图像处理系统[1][2]
本系统从功能上可以分为四个部分:DSP数据处理与存储模块,数据采集模块,数字与模拟数据输出模块及时序控制模块。DSP数据处理与存储模块完成图像的非均匀校正、坏元替代、自动增益控制、图像冻结、极性变换、直方图统计以及电子变焦等数据处理;数据采集模块包括高速A/D转换电路、输入数字信号的同步FI-FO缓冲电路等;输出模块包括缓冲输出视频数据的同步FIFO存储器电路、视频D/A转换器以及RS422电平格式的数据发送电路,该模块完成模拟视频信号的显示和向下一级处理系统送数字信号;时序控制模块的主要任务是在DSP的协调下控制所有模块的时序和工作状态,从而保证系统正常工作。
时序控制模块由FPGA芯片及外围电路构成,其顶层信号配置如图2所示[3]该FPGA为系统提供主要的时序控制,包括各器件所需的时钟、中断信号、同步信号等。
图1所示系统的工作过程为:来自FPA探测器的两路输入视频信号经视频A/D变换为数字信号后进入先进先出(FIFO)存储器,并经由DSP的DMA通道存入DSP片内RAM中,进行非均匀性校正、坏元替代等处理,并将处理后的图像数据通过DMA通道搬至数字视频输出FIFO后送至下一级图像处理系统。同时,处理后的数据经由另一个输出FIFO进入视频D/A转换器,在复合同步信号和复合消隐信号的控制下,转换为标准的PAL制模拟视频信号。
1.2 红外焦平面阵列的工作原理
红外焦平面阵列的工作原理是[4]:焦平面上的红外探测器在接收到入射的红外辐射后,在红外辐射的入射位置上产生一个与入射红外辐射性能有关的局部电荷,通过扫描焦平面阵列的不同部位或按顺序将电荷传送到读出器件中来读出这些电荷。当探测器将入射光子转换成电荷后,所产生的信号必须被注入读出电路,以便进行多路传输,读出电路的输出信号再进入放大电路进行放大,然后进入后续电路进行处理。
为使IRFPA正常工作,IRFPA的读出电路一般需要外部提供5个信号:相位时钟PH1与PH2、周期及积分时间均可变的积分时间时钟INT、IRFPA,工作模式设置控制字COMI与模式设置使能控制字COML。这5个信号由外部输入IRFPA。其中INT用来控制红外探测器产生的光电流在积分电容上的累积时间。PH1、PH2作为读出电路中移位寄存器行和列扫描的时钟和复位时钟。此外,通过控制积分时间时钟的周期可以改变IRFPA输出图像的帧频。
由以上的叙述可以看出,系统前端IRFPA输出的图像信号不包含标准视频信号的同步信号、消隐信号等。所以无法从中分离出这些信息,需要系统自己生成符合PAL制标准的同步信号等,然后合成标准PAL制视频信号。下面介绍模拟视频信号的原理及实现方法。
2 模拟视频信号的生成
本系统采用Bt121作为视频编码器芯片[5],由其合成PAL制标准视频信号。图3是生成全电视信号所需各种信号的FPGA模块框图。该模块有4个输入信号:CLK,REN4,CLK8M,RESET。其中:CLK是主时钟信号;REN4是DSP送给FPGA的控制信号,REN4为低时开始产生模拟视频信号输出;CLK8M是8MHz的时钟信号;RESET是复位信号。输出5个信号:SCLOCK、BLANK、SYNC、RCLK4和PRS4。其中SCLOCK是视频编码芯片BT121的时钟信号;BLACK和SYNC分别是送给BT121的消隐信号和同步信号;RCLK4是模拟口FIFO的读时钟信号;PRS4是模拟口FIFO的清空信号。
2.1 SYNC和BLANK信号设计[6]
要产生符合PAL制标准的电视信号,需要产生满足如图4所示的复合同步信号和场消隐信号。图中阴影部分就是产生的有效图像区域:320(列)×256(行),视场的其他部分不送图像信号。产生SYNC和BLANK信号时设计了四个模块:pix、vcnt、sync_gene和blank_gene模块。
2.1.1 pix模块
pix模块卞要用来产生半行计数器B、整行计数器Q和半行标志Tcrm,以便为其他三个模块所用。标准的PAL制电视信号,一行64μs,由于像素时钟8MHz,即125ns,64μs/125ns=512个像素,这样半行计数器B,记8MHz时钟的个数,当B=255时,B值复位为0,而D则是计数半行个数的计数器,因为一帧图像分成奇偶两场,每场312.5行,总共625行,这样D的值就从0～1249。同样Q用来计数整行,Q=511时,Q的值复位为0。当计数器每次计数到255时,也就是B值变化时,Term变为1,其他情况下Term为0。
2.1.2 vcnt模块
vcnt模块主要产生F和H标志,用F和H两个标志标示SYNC信号的产生.。在该模块中,用一个计数器赋D的值,当D值不同时,产生不同的F和H值。当D为619或1244或629或4时,F和H都为1;当D为624或1249时,F和H分别为0和1;当D为634或9时,F和H分别为1和0。
2.1.3 sync＿gene模块
通过前面产生的F和H值的不同组合加上B和Q的不同值,就可以确定SYNC信号发生跳变的时刻。只要记录下这些时刻,就可以生成符合要求的SYNC同步信号了。F和H以及B和Q的组合所代表的时刻如表1所示。
2.1.4 blank＿gene模块设计
消隐信号的产生,主要是齿脉冲信号的产生,同样可以通过齿脉冲的不同,区分奇偶场信号。通过D和B的值就可以知道何时在场消隐期间,何时不在场消隐期间,场消隐信号的产生逻辑如表2所示。
2.2 RCLK4信号的设计
RCLK4信号是模拟口FIFO的读时钟,当有读时钟时就有数据被送到BT121。因此在一场期间,只在图中阴影部分才产生RCLK4。
通过两个标志信号flag_256和flag_320v控制RCLK4的产生。flag_320v信号用来记每一行像素点的位置,由于一行64μs,相当于512个像素,除去行逆程12μs,96个像素,正常能显示的像素个数是512-96=416,因此让图像显示在屏幕的中央部分:416/2=208,208-160(半行像素的个数)+96(逆程)-12(前肩宽度)=132,因此选图像开始的第一个像素的位置为132,而最后一个像素的位置也就确定了:132+319=451,于是在计数器值大于132并且小于451时,令信号flag_320v=1,否则为0。
注:表中VB代表场消隐。
在确定了每一行的位置后,还要确定从哪一行开始显示图像。由于一帧图像分成奇偶两场,所以每场都显示256行,而PAL制中每场312.5行,312.5-256-25 (场消隐期)=31.5,所以让图像上面空出16.5行,下面空出15行,中间区域显示图像。考虑到奇偶场问题,用D来计数,当77
最后得到flag_256和flag_320v两个信号后,在两个信号都为1时,让RCLK4输出8MHz时钟,相当于在这些时刻显示FIFO中的数据,而其他情况输出0,不显示数据。
SCLOCK信号是Btl21的工作时钟,其设计较简单,这里不再详述。
上述的同步信号、消隐信号、时钟信号以及从输出FIFO读出的数据信号经Bt121芯片合成后,成为符合PAL制标准的全电视信号,可以直接在监视器上显示输出。
本文实现了一种红外图像预处理系统的模拟视频信号输出。实际实现中还解决了系统输入输出冲突、输入输出FIFO的误读、FPGA信号的驱动等具体问题。经过对所设计的FPGA时序在红外预处理系统中的实际测试表明,其实现了预期功能,使红外图像预处理系统的模拟视频输出达到了实时、稳定的要求。
参考文献
[1] 李锵,郭继昌.基于通用 DSP 的红外焦平面视频图像数字预处理系统[J].天津大学学报,2005,38(10) :904-908．
[2] 陈志华,张洪涛,陈坤.基于 TI DSP 的红外图像采集预处理系统的软硬件实现[J].红外,2006,27(7) :16-19．
[3] 刘志杨.基于 FPGA 的红外图像预处理系统的时序设计[硕士学位论文].天津:天津大学,2006．
[4] 韩建忠,吴景生.国外红外焦平面相关技术发展[J].激光与红外,1998,28(5) :273～275．
[5] Rockwell Bt121KPJ80 Datasheet.1998．
[6] Altera.ACEX1K Programmable Logic Device Family Datasheet.2003,(5) .
政府视频图像资源如何整合共享 篇2
展视频图像资源的建设。例如，公安部门建设了社会治安动态监控系统、交警卡口系统等，城管、交通、环保、水利等部门也分别建设了满足各自需求的视频图像资源系统。如何将这些视频图像资源进行整合，实现纵向、横向共享和统一调度是目前必须面对和需要迫切解决的问题。
整合共享的现状
在实际情况中各部门建成的视频图像系统存在着互联难、共享少、重复建设等问题，下文以宁波市政府相关部门为例，介绍视频图像资源整合共享现状。
视频建设的现状
宁波市视频图像资源的主要来源为各部门建设的前端视频摄像机的实时拍摄视频。截至2012年7月，被调研单位已经建成的前端视频摄像机共计6917个，其中公安局在海曙、江东、江北、鄞州的市区范围已安装摄像机6000多个（不含道路卡口和电子警察的摄像机），交通委安装100多个，城管局安装300个，水利局安装27个，气象局安装15个，海洋渔业局安装30个，环保局安装400多个，林业局安装6个，人防办安装39个。
各单位的建设模式各不相同，主要包括自主建设、租赁电信全球眼以及自主建设兼租赁电信全球眼等三种模式。
各单位视频信号分为数字模式、模拟模式，以及数字兼模拟等三种模式。视频图像质量分为黑白标清、彩色标清和彩色高清三种级别。
资源共享的现状
在各部门的内部，视频图像资源的整合和共享已能够较好地实现。如公安局建成数字视频共享平台，能够实现对全市所有视频图像前端采集图像的实时查看和存储的视频资源的点播调取功能，各分局之间的视频图像资源也实现共享；水利局实现了从省、市、县水力部门的视频图像资源共享。
但在各部门之间，视频图像资源的共享和整合只有个别的案例。如宁波市江东区的城管局和公安局在“智慧城市”建设的推动下实现了部分视频监控的共享；宁波市应急办的指挥中心接入了公安局、水利局、气象局、环保局和交通委的视频图像资源，但只是单向的接入还没有实现接入部门间的资源共享。总的来说，目前宁波市视频图像资源只实现了局部的、小范围的共享和整合。
影响共享的关键问题
从现状中可以看到资源整合共享分为纵向和横向两类。部门内部纵向属于同一行政体系，视频图像资源的整合和共享实现较好，如公安和水利都实现了省、市、县三级的整合共享。而横向方面部门之间的共享却很少，有视频图像资源系统异构及标准不一致的原因，但根本溯源还是在部门间利益的问题。各个部门都先希望获取其它部门的资源，但希望少共享自己部门的资源。要想实现政府视频图像资源的纵向和横向整合共享，首先应该突破部门利益壁垒这个关键问题。
另一个关键问题是：分布的视频图像资源系统异构，缺乏统一的标准，无法进行有效地交换。各部门在建设中各自遵循上级部门或行业的标准规范，造成视频图像资源建设缺乏统一标准，建成的系统在视频格式、传输协议、管理平台等方面各不相同。虽然浙江省公安厅于2004年颁布过地方标准《社会治安动态视频监控系统技术规范》（DB33/T502-2004），但其主要针对公安社会治安动态视频监控系统，在其他部门和其他应用中不一定适用。各系统相互独立，形成视频图像信息孤岛，从而不能有效实现视频图像资源共享。因此，那些在资源整合方面制定了统一的标准规范的部门，在内部纵向上容易成功取得视频图像资源的整合共享。如浙江省公安厅制定出台的《跨区域视频监控联网共享技术规范》（DB33/T 629-2011），使公安系统的视频图像资源能够较好地实现共享整合。
整合共享平台的架构
针对宁波市各部门视频图像资源建设的现状，宁波市提出了建立视频图像资源整合共享平台。视频图像资源整合共享平台主要是将各政府部门已有的视频图像平台进行整合，建立视频图像资源数据库，在政府内部实现以“目录共享、授权访问、自主调度”为工作机制的视频图像资源共享，同时推进相关技术标准和法律法规的制定，对以后建设的视频图像平台进行指导和规范。
统一的协调管理机构
视频图像资源整合共享平台能否建好并能长期运行下去，关键在于需要一个能够突破各部门利益屏障的综合协调管理机构。这个机构主要负责建设和运维该平台，目前看来各级政府应急管理办公室是最佳选择。我国应急管理的最高行政管理机构是国务院应急管理办公室，它负责指挥和协调省市区的应急办以及各部委局的应急管理部门。在此框架之下，地市应急办又可指挥属下各县市区的应急办，并协调该区域局委办的应急部门。这样的体制架构保证了政府应急平台除了与纵向的国家、省、地市、区县应急办信息数据互通外，还与横向的厅、委、局、办专业应急管理部门数据共享。视频图像资源整合共享平台可作为子平台纳入到政府应急平台的整体建设运维中。
技术架构
在这里提出一种视频图像资源整合共享平台的基础技术架构。该平台分为网络基础层、资源整合层、资源数据层和应用服务层。网络基础层是视频图像资源传输和共享的基础；资源整合层主要是对异构平台视频图像资源进行整合；资源数据层是对视频图像资源数据的整合，主要内容是建设、维护视频图像资源数据库和数据交换与共享系统；应用数据层上搭建统一门户系统，实现用户的统一登陆、统一认证、统一授权。同时以安全保障体系、运维支持体系、技术标准规范和法律法规为保障（见下页图）。
安全保障体系
平台涉及国家秘密的，按照BMB17-2006《涉及国家秘密的信息系统分级保护技术要求》的要求进行定级和防护，不涉及国家秘密的，按照《信息系统安全等级保护基本要求》第三级或以上等级的要求进行防护。
平台应采用电子政务内网或外网统一的CA认证系统进行证书发放，实现应用系统身份认证、授权访问控制、责任认定。
对平台系统中安全设备的安全策略进行统一的规划。涉及不同安全域之间的数据交换按照国家保密管理有关要求实现。
建立本地备份系统，确保系统安全稳定运行。有条件的可进行异地容灾备份。
运维支持体系
运维支持体系的质量好坏直接关系到平台的运行效果，乃至生命周期。运维支持体系建设包括日常维护工作、搭建和维护技术支撑平台、制定统一的运行维护流程、建立整个运行维护支持体系的管理制度、运行维护支持队伍的建设等几个内容。
为保障平台长期有效运行，应明确平台建设单位、接入部门和使用部门的分工和职责，并建立考核机制，同时纳入到政府工作考核项目中。
统一的技术标准和规范
虽然前面提出资源整合层对多源异构视频图像资源进行了整合，但从长远看，统一的技术规范和标准协议应该是未来的发展方向。然而目前尚没有统一的视频图像资源建设的技术标准规范。政府管理机构应综合考虑视频图像资源的需求，结合各部门行业应用情况，研究制定相应的视频图像资源建设的技术标准和规范。同时要加快制定视频图像资源整合的技术标准规范。为实现平台深度整合，必须解决视频图像资源整合涉及的视频图像格式、编解码、接口、传输协议等技术。统一的视频图像资源整合的技术标准规范将对技术攻关起到积极的推进作用。可参考浙江省公安厅出台的《跨区域视频监控联网共享技术规范》（DB33/T629-2011），结合各部门的建设现状和今后规划，研究制定视频图像资源整合的技术标准规范，作为平台深度整合技术攻关的基础。
配套的法律法规
尽快出台配套的法律法规，以解决目前视频图像资源建设中存在相关问题，规范视频图像资源的建设、整合、使用和维护，以更好地保证资源的安全合理利用。一要规范视频图像资源的建设范围，同时明确各视频信息采集主管部门的责任。二要规范视频图像资源的保密管理。视频图像资源的内容可能涉及国家安全或个人隐私，对视频图像资源的保密管理至关重要。应以法律法规的形式加以约束，严格管理视频图像信息。三是要明确视频图像资源管理的责任追究。对于违反规定的进行处罚，对行政机关工作人员履行职责中滥用职权、徇私舞弊、玩忽职守的，依法给予行政处分；构成犯罪的，依法追究刑事责任。
视频图像资源整合共享平台能将各政府部门的视频图像平台进行整合，实现视频图像资源的共享。平时该平台能为城市公共安全管控和管理提供帮助；在面对突发事件时，平台能对事件现场状况的分析和应急指挥决策提供服务。因此，建设开放、可行和安全的视频图像资源整合共享平台将是政府应急平台建设的重点之一。
航空视频图像定位技术 篇3
机载航空摄影主要特点是:几何分辨率更高, 视场角较大。因此, 位于扫描航片边缘的图像变形较大;另外, 航空平台的姿态远不如航天平台稳定。
但是, 航片获取的时效性很高, 图像分辨率相对于卫星遥感数据也比较高, 在很多对时间反应要求较高的应用领域, 航空摄影图像发挥着越来越大的作用。因此对于航片的处理有很高的实用价值。
系统几何校正是航空视频图像处理中的重要环节, 通常在遥感图像处理的前端。针对视频处理所采集的单帧视频图像, 并利用该图像对应的遥测数据, 建立几何校正模型, 对图像进行系统几何校正计算, 完成图像的系统级的初步定位, 校正因为传感器倾斜拍摄导致的图像像素的局部变形;系统几何校正处理关系到航拍图像的定位精度, 对于以后的地理精校正、情报应用处理等处理打下基础。
1 系统几何校正模型
本文利用坐标变换方法建立原始图像和输出图像的几何关系, 即几何校正模型, 其步骤如下:
① 建立从当地地理坐标系到相机的空间坐标系群;
② 完成各个坐标系之间的相互转换关系;
③ 把原始图像剖分成适当大小的矩形网格;
④ 根据坐标系转换关系建立几何校正模型;
⑤ 利用几何校正模型, 计算网格点 (i, j) 在WGS-84坐标系下的大地坐标 (LWGS-84, BWGS-84) ;
⑥ 利用 (LWGS-84, BWGS-84) 进行地图投影变换, 得到投影坐标 (Xi j, Yi j) ;
⑦ 再把 (i, j) 、 (Xi j, Yi j) 作为控制点, 利用多项式拟和方法, 对原始图像进行校正, 以下简称为“图像重构”。
1.1 系统概述
本文仅概述图像信息中与几何校正建模有关部分。图像信息获取由机载侦察设备 (光电平台) 完成。对于光电平台, 可以装载CCD光电摄像机 (简称CCD相机) 、前视红外热像仪 (简称红外相机) 。
飞机采用GPS和惯性导航系统进行组合定位、测量姿态;平台采用四框架两轴稳定。
1.2 坐标系
在几何校正模型中采用以下坐标系:
① 地球坐标系 (e系) , 采用WGS-84坐标系;
② 当地地理坐标系 (t系) ;
③ 机体坐标系 (b系) ;
④ 光电平台坐标系, 简称平台坐标系 (p系) ;
⑤ CCD相机坐标系 (c系) ;
设图像共Ic行、Jc列, 中心坐标是 (Ic/2, Jc/2) , 像元cp在图像中的行、列数分别为Icp、Jcp, 像元大小为lc×lc, 相机焦距为fc, 则其相应扫描角αc, 偏角βc, 根据画幅式相机摄像原理有:
(6) 红外相机坐标系 (h系)
设图像共Ih行、Jh列, 中心像元坐标是 (Ih/2, Jh/2) , 像元hp在图像中的行、列数分别为Ihp、Jhp, 像元为方像元lh×lh, 因为图像为正像, 则:其相应的扫描角αh和偏角βh, 则根据全景摄像原理有:
1.3 坐标转换
系统校正的目的是利用目标图像和飞机位置、姿态, 以及平台的参数计算该目标在WGS-84坐标系中的大地坐标, 算法核心是对以上坐标系中进行准确的坐标变换。本文用到的坐标系变换有:
① 由地球坐标系到当地地理坐标系的坐标变换。其变换矩阵R1为:
式 (1) 和以下各式中的Rx (θ) , Ry (θ) , Rz (θ) , 分别表示绕X轴、Y轴和Z轴旋转θ角的坐标旋转矩阵。B0表示飞机当前纬度;L0表示飞机经度。
② 由当地地理坐标系到机体坐标系的坐标变换。其变换矩阵R2为:
式中, Ψ为航向角;θ为俯仰角;γ为横滚角。
③ 由当机体坐标系到平台坐标系的坐标变换。其变换矩阵R3为:
式中, η为方位角;ζ为平台滚动角。
④ 由平台坐标系到CCD相机坐标系的坐标变换。其变换矩阵R4为:
⑤ 由平台坐标系到红外相机坐标系的坐标变换。其变换矩阵R5为:
从CCD相机坐标系到地球坐标系的转换, 利用上述变换矩阵得:
从红外相机坐标系到地球坐标系的转换, 利用上述变换矩阵得:
1.4 激光测距的应用
如果在计算过程中, 光电平台上加载激光测距仪, 能够输出成像时刻的激光测距值, 校正计算的精度将大大提高, 尤其在较高海拔地区。
在原模型中未加入激光测距数据, 因此计算过程中, 默认拍摄地区海拔为0;当平台高低角不为0时 (平台相机光轴指向不是垂直向下) , 计算结果与实际地理坐标有很大出入, 如果海拔较高, 该误差将非常明显, 这样的图像定位结果将无法实际使用。如果加入激光测距, 可以有效计算拍摄图像地区的海拔高度, 降低原模型误差。
1.5 图像输出
建立系统校正模型后, 输入划分的图像网格点坐标, 输出投影坐标。这些点的图像坐标和投影坐标形成一组控制点集, 使用该控制点集, 对原始图像数据进行多项式校正计算, 重采样生成输出图像数据, 根据当前拍摄区域中心点位置, 设置图像投影条带, 指定图像投影信息, 最后输出为图像文件。
2 实验结果以及误差分析初步
根据上述模型, 输入图像文件, 并同时获取与图像生成时所对应的遥测数据, 从中分离出建立模型所需的飞行器位置、飞行器三姿、平台姿态、相机参数、激光测距值等数据。利用这些遥测数据建立系统校正模型, 对输入的图像进行校正计算, 生成图像数据, 写入输出图像文件中。因工程应用需要, 还要在图像中加入地理坐标数据, 图像投影信息等。为后续的图像处理以及情报应用处理提供支持。
在进行图像校正定位过程中, 由于多方面因素, 会导致产生光轴指向误差。造成该误差的因素包括:系统安装误差、飞机位置误差、飞机姿态误差、平台姿态误差、结构安装误差、相机内方位元素误差等。
对于飞机姿态误差、平台姿态误差、相机内方位误差, 通过各个设备出厂调试, 以及在系统联试过程中进行设备调校。
飞机位置, 是由机载GPS定位系统提供, 在实验中, 使用差分GPS以及组合惯导, 通过插值运算得到精度更高的飞机空间坐标, 理论上可以达到10 m以内的误差。
对于结构安装误差, 这也是一个系统误差, 通过地面检测, 可以测出部分误差结果;然后在模型中加入误差修正量, 弥补误差因素对校正计算精度影响。在实验过程中比较常见到, 并且对校正输出结果影响较大的是平台的安装误差, 该误差有时达到十多度, 这意味着, 在飞行器据地几千米的空中, 该误差量直接导致最终图像校正结果将有上百米, 甚至于几百米的定位误差。为了降低该误差, 首先在系统安装时, 进行系统误差校准。另外, 还需要在实验前, 对已安装的平台进行地面测量, 测定该误差值。并将该值加入到校正模型中的误差消除模块, 降低这种系统误差对校正精度的影响。
3 结束语
本文利用坐标变换方法给出了机载CCD电视摄像机和前视红外热像仪遥感图像的几何校正模型, 实施视频单帧图像的几何校正计算, 完成该图像的定位。同时结合实验, 通过对激光测距数据的引入校正模型, 对平台安装误差进行分析和计算, 提高校正精度。在实际应用中, 该方法取得良好的图像定位效果, 但同时也存在不足, 图像定位经度目前还不算太高, 在今后的工作中, 需要继续研究, 以达到更好的结果。
参考文献
[1]张永生.遥感图像信息系统[M].北京:科学出版社, 2000.
[2]朱述龙, 张占睦.遥感图像获取与分析[M].北京:科学出版社, 2000.
[3]黄世德.航空摄影测量学[M].北京:测绘出版社, 1992.
视频图像检测火灾探测技术比较 篇4
第一代商用的视频图像检测(Video Image Detection,VID)火灾探测器出现在2000年左右,它在原有的辐射能量型火焰探测器基础上做出改进。VID使用黑白CCD获得火灾特征,而不是传统技术中使用的紫外或红外光谱传感器。传统的辐射能量火焰传感器可测量预先定义的单个或多个波长的能量总和,以此确定测量的信号是真实的火灾,或是错误特征干扰。然而,VID改变了算法,通过测量光强、颜色、形状、移动、闪烁频率和每帧图像时间的改变确定火灾。两年以后开发出可以检测烟雾的VID软件,宣称可以配合现有的安防摄像头,安装在客户现有的个人电脑上使用。但是随着摄像头技术的进步,分辨率增高,产生太多的附加数据,使现有的软件无法正常工作。另外,如果在黑暗环境下烟雾识别软件也无法工作。在以上技术的基础上,2005年出现第二代VID火灾探测器,它将火焰探测和烟雾探测结合起来,使用高感光或者内建红外光的摄像头,并使用数字信号处理器完成视频图像的处理和检测算法。2008年出现的最新一代VID火灾探测器,将火焰和烟雾的视频图像检测紧密结合,有效整合成一个产品。
1 视频图像检测火灾探测技术
基于视频图像检测技术的火灾探测器,包括一个常规彩色摄像头、一个红外摄像头,一个红外光源,图像俘获处理和数字信号处理器(DSP)。使用红外摄像头是为了增强探测器检测火焰并减少误报的能力。红外摄像头提供的图像中只能看到火焰和热源。红外光源使探测器能在黑暗的环境工作,特别是检测烟雾火。图1为探测器的结构示意图。
探测器可以将视野分为16个子区域,包括重要监控区域和非重要监控区域,重要区域可能存在的错误和干扰源或者火灾发生的可能性非常小。DSP中装载了智能图像识别和处理算法。首先输入来自常规彩色摄像头和红外摄像头的数字图像,然后通过数据滤波处理、背景学习和建模、物理特征分析、数据融合、报警可行性计算,最后输出。算法流程如图2所示。
VID系统有两种类型的报警输出——烟和火焰。火焰和烟信号的识别和处理是分离的。在探测中,一帧或多帧图像被放上疑似火焰或烟雾的标记。这些标记在视频屏幕监控器中被追踪并显示。DSP将量化和处理来自多张图像的烟雾和火焰特征。一旦烟雾和/或火焰特征的可能性超过预先设定限度,图像帧的颜色将从绿转红。然后,探测器发布火灾报警给本地火灾安全系统,同时VID火灾探测器上的报警灯也打开。
VID系统可作为独立的火灾探测器使用,视频处理和报警算法执行在探测器内完成。也可组成中心化检测系统,单个计算单元可连接和处理8个以上的摄像头信息。VID探测器会将烟和火灾的检测灵敏度分为5级,1级最高,5级最低,3级是VID探测器的默认灵敏度等级。灵敏度的等级可根据应用的环境调节。探测器摄像头的视野决定了在VID系统应用中的性能。可通过使用不同的透镜调节视野大小,默认设置是32°。
2 技术比较
现有5种火灾探测技术,包括:视频探测器、线型温度探测系统、火焰探测器、烟雾探测系统和点式探测器[3],其性能比较列于表1。
3 结束语
视频探测器结合了火焰探测器和烟雾探测系统的功能,基本可以取代后面4种技术。点式探测器主要是和火灾安全系统中的水喷淋头结合使用,探测对象包括温度、烟雾以及气体等。线型温度探测系统包括传统的基于电传感的感温电缆、新型的拉曼散射感温火灾报警系统(欧洲)和光纤光栅感温火灾报警系统(中国)。这些新型的基于光纤传感技术的火灾报警系统具有探测区域范围广、受环境影响小以及可靠性高等优点。VID火灾探测技术和其他技术比较起来有反应速度快,定位火灾的同时可监测火灾的发展。但是可靠性和有效性不确定,因为该技术受环境影响较大,如:镜头被污染及应用现场能见度低等。VID火灾探测技术可作为辅助手段配合感温火灾探测系统一起工作。
基于视频图像的火焰识别算法 篇5
火灾严重危害人类生命财产安全,火灾发生的突发性和随机性,加大了火灾的预警与监测难度。传统的火灾报警平台主要是以烟雾传感器、温度传感器等判断烟雾浓度、温度高低,其缺点是并看不到火焰本身,会将没有烟雾的火灾忽略掉,误判率高并且识别时间是在火灾发生很久之后,不能起到很好的预报作用。
针对传统火灾报警平台的以上缺点,近几年来,以视频图像为研究基础的火焰识别技术得到广泛关注与研究,国内外很多学者在该领域内做出了杰出的贡献,提出了很多有指导意义的研究方法。吴龙标等人提出了通过尖角判据识别火焰的方法[1],Yamagishi等人使用HSV颜色空间模型,依据火焰颜色的色度和饱和度的变化来提取火焰区域,通过边缘算子来提取火焰轮廓,并且利用极坐标变换将提取出的火焰轮廓转换为极坐标形式,然后利用傅里叶变换提取轮廓的频域特征[2],冯春环等人提出了一种基于离散余弦变
换的红外目标特征描述方法[3],袁非牛等人提出了一种基于规格化傅里叶描述子的轮廓波动距离模型来度量火焰轮廓的时间变化特征[4]。本文在总结前人研究成果的基础上,通过分析红外图像的亮度特征,面积增长特性,利用基于离散余弦变换的火焰轮廓跳动特性以及基于彩色图像的RGB空间颜色模型的色彩分析等为判断依据,提出了一种基于视频图像的火焰识别算法。
1 疑似火焰区域提取
1.1 基于红外图像的温度阈值分割
红外线辐射是自然界存在的一种最为广泛的电磁波辐射,它是基于任何物体在常规环境下都会产生自身的分子和原子无规则的运动,并不停地辐射出热红外能量,分子和原子的运动愈剧烈,辐射的能量愈大,反之,辐射的能量愈小。温度在绝对零度以上的物体,都会因自身的分子运动而辐射出红外线。红外热像仪就是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布,将其反映到红外探测器的光敏元件上,从而获得红外热像图,这种热像图与物体表面的热分布场相对应。通俗地讲红外热像仪就是利用热像仪固有的颜色查找表将物体发出的不可见红外能量转变为可见的热图像,热图像的上面的不同颜色代表被测物体的不同温度。本文采用的是非制冷长波红外热像探测器,利用的是白热模式的颜色查找表,热像仪显示的图像是灰度图像,即温度越高的物体对应的热图像亮度越大。
火焰发生的过程伴随着发光、发热的现象,火焰发生区域的温度要明显高于周围环境的温度。鉴于其热相图的亮度分布是与温度高低成正比的,可以通过对采集得到的红外图像进行亮度阈值分割,从而初步提取出高温物体区域,即高温疑似火焰区域。假设采集得到的热相图灰度级别为0~255,设亮度阈值为TD,则可用如下公式1提取高温疑似火焰区域,即温度阈值分割的输出图像:
红外热像仪采集得到的原始图像及温度阈值分割后得到的二值化图像如图1所示。
1.2 彩色空间色彩分析
由于火焰的颜色与温度具有相关关系,随着火焰由焰心到火焰外表面温度的升高,其颜色依次为暗红色、红色、橙色、黄色、蓝白色和白色[5],也就是说火焰具有一定的颜色特征,因此在图像处理中,可以通过图像像素颜色来判断是否出现实际火灾火焰[6]。并且由于颜色特征具有与图像中所包含的物体或场景强相关,而对图像本身的尺寸、方向、视角的依赖性小等特点而被广泛采用。假设采集得到的彩色图像大小为Weight×Height,摄像头输出的原始图像数据格式为YUYV[4∶2∶2],则可以通过一定的转换关系得到RGB空间的图像数据。进而利用计算机三维重建技术对红外热像仪和彩色摄像机进行双目摄像机标定,从而由红外图像上高温疑似火焰区域匹配到彩色图像上对应的高温疑似火焰区域。与此同时将彩色图像的图像数据格式转换到RGB空间,分析彩色图像上的高温疑似火焰区域对应的RGB空间的图像数据关系,用于排除干扰得到疑似火焰区域,并且RGB空间图像数据模型可以直观的在显示器上显示。YUYV[4∶2∶2]格式为每个像素保留Y分量,而UV分量在水平方向上每两个像素采样一次。一个宏像素为4 B,实际表示2个像素(4∶2∶2的意思即在图像数据存储形式上,每4个Y分量、对应2个U分量和2个V分量)。图像数据中Y,U,V分量排列顺序如下:Y0U0Y1V0Y2U2Y3V2…,则YUYV[4∶2∶2]可用如下转换公式得到RGB空间数据,以后像素点的RGB值以此类推:
第一个像素点的RGB数据:
R=1.164 f(Y0-16)+1.159 f(V0-128),
G=1.164 f(Y0-16)-0.38 f(U0-128)-0.813 f(V0-128),
B=1.164 f(Y0-16)+2.018 f(U0-128);
第二个像素点的RGB数据:
R=1.164 f(Y1-16)+1.159 f(V0-128),
G=1.164 f(Y1-16)-0.38 f(U0-128)-0.813 f(V0-128),
B=1.164 f(Y1-16)+2.018 f(U0-128);
火焰的色彩学特征主要有以下两条:
(1)颜色各分量的关系[7]:R≥G≥B。
(2)颜色各分量取值范围[6]:255≥R≥117255≥G≥88,255≥B≥44。
由于火焰中心偏白的缘故,以上第一条对火焰中心可能并不适用。满足以上两个条件的疑似火焰区域,可能是真实的火焰区域,但也有可能是偏红色或者橘色的高温物体点,所以要确认其火灾的真实性,仍需通过下一步继续判定。
经过以上2个步骤的分析与提取后,实验结果如图2所示。
2 火焰动态特征分析
2.1 基于红外图像的区域变化特性
火焰在燃烧初期,具有很明显的增长膨胀趋势,因此可以在通过温度阈值分割、颜色分析提取出疑似火焰区域之后,通过计算疑似火焰区域的面积的变化情况来进一步考察是否有真实火灾火焰发生。因为红外热像仪的采样频率最大为9 Hz,即1 s最多拍摄9帧图像,故本文采用比较间隔为5帧的2幅图像的疑似火焰区域的面积变化情况,来判断火灾发生的可能性。如果前后两幅图像的疑似火焰区域的面积一直相等,则说明该疑似火焰区域可能是一些高温物体,如电烙铁、高压线、白炽灯等,并不是真实的火焰,不具有灾难性的损害。若面积一直在增长,则需要通过进一步分析来判断,其是否是火焰在燃烧。因为面积增长的原因,可能是由于高温物体如电烙铁相对热像仪由远及近的运动,导致成像区域面积一直在增加。
2.2 闪动特性
随着火焰燃烧过程的持续,空气气流的流动导致火焰呈现一定程度的无序闪动,它是一种持续高频的随机变化,被叫做火焰的闪动特性。它不同于一般的刚体运动,火焰的闪动具有随机性、时频性,并且具有与材料和燃器无关的动态频率范围(10 Hz左右)[8]。程鑫等人根据香农定理和PAL-D标准电视制式,同一像素点每秒采样25次,可以准确的分辨出小于12 Hz的像素亮度变化周期的原理,提出了利用逻辑0-1比较法技术的方法进行火焰亮度变化周期的计算,即得到火焰闪烁频率的周期[5]。由于本文采用的红外热像仪的采样频率最大为9 Hz,故该计算火焰闪烁频率的方法并不适用。B.Uur Treyin等人在提取运动的火焰颜色区域的基础上,利用小波变换来分析该区域运动的时频特性,并由此估计火苗闪动的存在[9]。冯春环等人提出了一种基于离散余弦变换的红外目标特征描述方法,并且其验证了和傅里叶描述子相比,在保证识别率不变的情况下,采用余弦变换描述法可以减少数据计算量和运算时间[3]。又由于同傅立叶描述子一样,离散余弦变换描述子对目标具有平移、旋转和比例不变性,因此本文采用基于离散余弦变换描述法来描述火焰的时频特性。
对于给定的序列x(n),n=0,1,2,…,N-1,其离散余弦变换(DCT)定义[3]为:
式中:k=1,2,…,N-1。
显然,其变换的核函数Ck,n是实数,Ck,n可表示为:
这样若x(n)是实数,那么它的DCT也是实数。对离散傅里叶变换(DFT),若x(n)是实数,其傅里叶变换X(k)一般为复数,由此可见,DCT避免了复数运算。
提取疑似火焰区域轮廓,设Zm表示轮廓上第m个坐标点(xm,ym),且定义Zm为复数,即Zm=xm+jym,对其做离散余弦变换得:
由于常规离散余弦变换不具备仿射变换不变性,而这种不变性对于识别具有重要意义。因此,需要对离散余弦变换系数进行规格化,使其具有平移、旋转和尺度不变性。由于|F(0)|是直流分量,仅表示图像所处的平移位置,应舍弃,C(1)≡1故舍弃,C(k≥2)即为离散余弦变换描述子[3]。由于其低频部分反映了图像的整体轮廓,高频部分仅刻画了外形的细节,因此这里取前10个系数用于描述图像整体轮廓,并由此得到具有平移、旋转和尺度不变性的离散余弦变换描述子DC,其表示为DC=(C(2),C(3),…,C(9)),它是一个8维的向量,可近似表征轮廓特征。
假设DCt与DCt-1分别表示第t帧和第t-1帧图像的离散余弦变换描述子,则相邻2帧中同一目标的轮廓变化程度可以用如下距离模型来表示:
图3给出了蜡烛火焰、烙铁图像及提取出的目标轮廓,表1给出了图3中目标轮廓的8维离散余弦变换描述子DC。
采用阈值分割法,假设给定阈值为DD,则利用式(10)提取真实火焰:
相邻两帧图像目标轮廓变化的距离大于阈值DD的,视为其轮廓变化明显,闪动频率较高,具有真实火焰的闪动特性。
3 识别算法
本火焰识别算法的基本步骤如下:首先进行基于红外图像的温度阈值分割得到高温疑似火焰区域,然后分析对应彩色区域的RGB数值关系,排除干扰,得到疑似火焰区域。紧接着计算疑似火焰区域的面积增长情况,提取疑似火焰区域轮廓,对其进行离散余弦变换,提取其离散余弦变换描述子,计算前后2帧图像目标轮廓对应的离散余弦变换描述子的变化情况。整个流程如图4所示。
4 实验结果与分析
实验平台为PC104单板计算机,采用Celeron-M600 MHz CPU,512 MB DDR内存,典型功耗12 W,带有一个CF卡接口,外接一个8 GB容量大小的CF卡。算法实现采用(Open Source Computer Vision,OpenCV)与C语言编程实现。为减少计算量,视频图像序列分辨率为320×240,以蜡烛火焰与烙铁作为测试对象在室内环境下做相应实验。
首先对红外热像仪采集得到的红外图像进行温度阈值分割处理,因为蜡烛火焰和烙铁的温度相对背景环境高出很多,同时由于室内地板反射到烙铁的亮度的原因,因此得到的图像如图1所示,阈值分割出蜡烛火焰、烙铁及其地面的反光。与此同时,彩色摄像机采集图像并进行格式转换工作,将其格式转换到RGB空间,接着利用三维重建技术匹配蜡烛火焰、烙铁及其反光区域到彩色图像中,对其进行RGB空间色彩分析,得到图2(b)中用红色圆圈标记的蜡烛火焰区域。然后使用面积判定方法,但由于室内蜡烛火焰是较稳定的火焰,所以其面积增长特性并不明显。
紧接提取相邻两帧图像的目标轮廓,对其进行离散余弦变换,可以得到蜡烛火焰的轮廓变化距离要远大于烙铁,这说明即使是稳定的蜡烛火焰,也呈现出一定程度上的闪动特性,并且利用轮廓的离散余弦变换具有非常敏感的计算精度。
5 结语
视频图像数据采集方法研究 篇6
1 器件简介
1.1 TLC5510简介
TLC5510是美国德州仪器(TI)公司生产的CMOS,8位高阻抗并行模数转换器件。它依靠+5 V单电源工作,能提供最小20 MS/s的采样速率。与闪速转换器相比,TLC5510采用半闪存结构及CMOS工艺,因而大大减少了器件中比较器的数目。在缩小芯片尺寸的同时,可以保持高速转换及较低的功率。由于其包含内部采样和保持电路,从而大大地简化了外围电路的设计,无需外部基准电压和精密电阻,仅使用内部基准电阻和VDDA构成基准电压分压器即可实现2 V的满量程转换范围。
TLC5510的内部结构如图1所示。
由图1中可以看出:TLC5510模/数转换器内含时钟发生器、内部基准电压分压器、1套高4位采样比较器、编码器、锁存器、2套低4位采样比较器、编码器和1个低4位锁存器等元器件电路。TLC5510的外部时钟信号CLK通过其内部的时钟发生器可产生3路内部时钟,以驱动3组采样比较器。基准电压分压器则可用来为这3组比较器提供基准电压。输出A/D信号的高4位由高4位编码器直接提供,而低4位的采样数据则由两个低4位的编码器交替提供。当使用内部电压分压器产生2 V基准电压时,REFTS短路至REFT端,REFBS短路至REFB端。
1.2 D触发器74HC74简介
边沿触发器是一种在CP触发沿来到前一瞬间加入输入信号,输入端受干扰时间短、受干扰可能性小的触发器。74HC74触发器正是这种带有预置(SD)、清零(RD)输入、上跳沿触发的边沿触发器。其功能表如表1所示:
由表1可知,该触发器在遇到时钟信号上跳沿时发生跳变。并且正常工作时有效控制端SD、RD置高电位。
1.3 TMS320C5402简介
TMS320C5402是16 b定点的,使用改进的哈佛结构(1组程序存储总线、3组数据存储总线、4组地址总线),具有专用硬件逻辑的CPU、片内存储器、片内外围设备以及一个高度专业化的指令集。该处理器芯片具有集成度高、结构简单、扩展方便、可靠性高、处理功能强、低功耗等特点。主要应用于语音处理、图像采集处理、模式识别及工业控制等众多领域,满足了对信号快速、精确、实时处理及控制的要求。并且已日益显示出其巨大的优越性。
1.4 74F245简介
74F245是一种8进制的具有三态输出、能够双向传输的双向缓冲器。undefined端和undefined端分别作为其有效控制端和方向控制端,经特殊设计,三态输出B端能够有效防止输出总线过载,起到保护芯片的作用。undefined均接低电位时,A端为输出端,B端为输入端;undefined接低电位,undefined接高电位时,A端为输入端,B端为输出端;undefined接高电位时,B端输出为高阻态。本文接法采用第二种情况。
2 电路原理
视频图像数据采集电路如图2所示,由双向缓冲器、视频A/D转换器、DSP处理器等组成。
通过程序中对系统初始化可以把C5402的时钟频率设定为20 MHz。将C5402的CLKOUT输出作为触发器74HC74的时钟输入,触发器74HC74的输出作为A/D转换器的采样时钟输入;C5402的undefined信号与A15地址线信号译码产生A/D转换器TLC5510和缓冲器74F245的有效控制端undefined的控制信号;双向缓冲器74F245的方向控制信号undefined由C5402的输出信号XF产生。
I/O读和写存储器的时序如图3所示:
视频信号的采集是将A/D作为C5402的一个I/O口,利用PORTR指令读取A/D转换后的数字信号。C5402的CLKOUT时钟输出信号送入触发器74HC74,触发器的输出信号作为A/D转换器TLC5510的采样时钟信号;同时,C5402的undefined信号与A15地址线信号译码产生A/D转换器的有效控制信号,视频图像信号经A/D转换器19管脚被采集,其输出结果通过双向缓冲器74F245进入C5402。
3 软件实现
软件部分主要包括DSP编程和PC编程。DSP程的主要任务是初始化、管理板上的资源和完成图像视频的处理算法。PC编程重点则是管理DSP操作和应用层软件编写。
C程序:
汇编程序:
4 结 语
基于DSP的处理芯片,借助其他相关芯片及外围电路,实现图像信息的采集,能够实时有效地采集视频图像的信息,为LED显示屏视频显示、图像传输、通信、图像处理提供前端硬件平台。软硬件方面也易于实现,有很好的使用价值。
参考文献
[1]戴明桢,周建江.TMS320C54x DSP结构、原理及应用[M].北京:北京航空航天大学出版社,2001.
[2]康华光.电子技术基础——数字部分[M].北京:高等教育出版社,2000.
[3]李彩,王安,刘勇.8位高速A/D转换器TLC5510的应用[J].国外电子元器件,2003,7(6):59-61.
[4]刘栋嫣,李欣,董静薇.基于CIS以及TLC5510的高速图像采集系统[J].微型机与应用,2004,23(10):23-25.
视频图像中运动目标检测算法研究 篇7
关键词：视频图像,运动目标检测,混合高斯模型
0 引言
随着计算机技术、人工智能、图像工程等高科技的发展, 视频智能监控已经成为计算机视觉研究领域的一个热点课题。提取运动目标在视频监控中是一个非常重要的环节, 它是后期的处理, 如目标分类、目标识别、目标跟踪等的基础, 也是视频监控技术自动化和实时应用的关键[1,2,3]。目前, 常见的运动目标检测算法主要有帧间差分法[4]、背景差分法[5]和光流法[6]。其中, 帧间差分法实时性强, 能够适应各种动态环境, 但是不能提取目标的完整区域;背景差分法能够提取完整的目标信息, 但是不能精确地检测到场景中的运动目标;光流法能够在摄像机运动的情况下检测出独立的运动目标, 但是其计算复杂, 需要特殊的硬件设备支持, 实时性能差, 本文不予考虑。
本文结合传统的运动目标检测算法的优点, 提出一种基于混合高斯模型背景法的运动目标检测算法, 期望获得较好的效果。
1 运动目标检测
1.1 自适应混合高斯背景模型
采用背景差分法虽然可以从图像中提取完整的目标, 但是实际应用中, 外界的微小干扰都会引起背景图像的变化, 这些场景下固定位置的像素在不断地改变, 呈多模特性。所以问题的关键之处在于随着时间改变, 可以自适应地更新背景模型。
而混合高斯模型[7]针对这一点, 采用多个高斯分布去拟合背景, 对于复杂的背景具有良好的效果。本文研究的是静态背景下的目标检测, 主要包括背景建模、背景更新和背景提取。
1) 背景建模。将图像序列中的某一像素点 (i, j) , 设Xt为在时刻t的观察值, 对于给定点 (i, j) 的一系列观察值{X1, X2, …, Xt}, 可以看做是与其它点独立的随机统计过程, 用K个高斯分布的混合模型去模拟, 则当前t时刻 (i, j) 的概率分布为:
2) 背景更新。当读取完视频图像的像素后, 将当前帧像素xt与K个高斯分布进行匹配, 匹配数据为:
如果像素值xi与其中某个高斯分布的均值μi, t-1之差满足式 (3) , 则该像素与这个高斯分布匹配, 否则不匹配。如果匹配, 对高斯模型进行更新:
式中:α为模型学习速率, β为参数学习率。在混合高斯模型中为了适应环境的变化, 还要考虑权值的更新。如果匹配则该模型可以较好地描述背景其权值增加, 不匹配则权值减小。
对视频图像进行背景建模与更新的流程图如图1所示。
3) 背景提取
完成上述过程后, 得到新的一帧图像, 根据背景更新公式把模型的相应参数进行更新, 计算其优先级并按照高低排列, 实际情况中可以选取前几个优先级较大的, 取前b个值相加, 当和大于阈值T时, 可以根据式 (6) 得到其背景模型:
式中:T为选取的阈值, 其大小根据不同的场景决定, 场景较复杂时, 阈值相应地选取较大;场景简单时就选择较小的。
1.2 背景差分
当混合高斯背景模型完成时, 就可以采用背景差分提取出运动目标的轮廓。设当前帧图像为fk (x, y) , 背景帧为fbk (x, y) , 则差分图像为:
按照式 (8) 对得到的差分图像进行二值化处理, 当差分图像中某点像素大于阈值时, 则认为该像素点为前景, 反之, 则为背景。
1.3 形态学处理
由于图像中噪声的存在, 在通过以上操作后所检测到的运动目标会有空洞产生, 因此可以采用形态学滤波的方法填补目标区域的孔洞。数学形态学[8]包括基本的开运算和闭运算。开运算可以消除细小目标, 平滑图像的轮廓, 而闭运算可以去掉小洞, 填补目标内的细小的缝隙。
2 检测算法的实现
本文检测算法具体流程如图2所示。
1) 对背景图像进行初始化;2) 利用本文的算法提取视频序列图像中变化的部分, 并作二值化处理;3) 对以上处理后的图像进行形态学处理, 去除小的噪声点, 同时填补运动目标内部的孔洞和连接断点, 这样就得到完整的运动区域, 将运动目标提取出来。
3 实验结果分析
本实验是在2.0GHz的CPU, 2GB内存的PC机上, 采用MATLAB软件进行的检测。实验所用的视频为普通摄像机拍摄的, 视频分辨率为320×240像素。
实验结果如图3所示。
使用传统帧间差分的检测结果如图3 (c) 所示, 获取的运动目标轮廓不完整, 而且其内部容易产生一些空洞现象, 部分区域出现漏检。采用本文方法检测运动目标的最终结果如图3 (d) 所示, 目标与背景得到了正确分割, 其中运动目标的轮廓十分完整, 为后期的运动目标跟踪、识别奠定了基础。
4 结语
本文针对视频图像, 提出一种基于混合高斯模型的背景差分法来检测运动目标。实验结果表明, 此方法不仅能够精确地检测到运动目标, 而且运动目标的检测效果得到了提高, 具有较好的鲁棒性, 为后续工作提供了有力的支持。
参考文献
[1]Tsai D M, Lai S.Independent component analysis-based background subtraction for indoor surveillance[J].IEEE Trans on Image Processing, 2009, 18 (1) :158-167.
[2]Avidan S.Ensemble tracking[J].IEEE Trans Pattern Analysis and Machine Intelligence, 2007, 29 (2) :261-271.
[3]Wang Yang.Real-time moving vehicle detection with cast shadow removal in video based on conditional random field[J].IEEE Trans on Circuits and Systems for Video Technology, 2009, 19 (3) :437-441.
[4]Ha J E.Foreground objects detection using multiple difference images[J].Optical Engineering, 2010, 49 (4) :1-5.
[5]魏晓慧, 李良福, 钱钧.基于混合高斯模型的运动目标检测方法研究[J].应用化学, 2010, 31 (4) :574-578.
[6]Dessause M P, Dua S.Optical flow object detection, motion estimation, and tracking on moving vehicles using wavelet decompositions[J].SPIE, 2010, 7694:1-10.
[7]何信龙, 赵龙.基于改进高斯混合模型的实时运动目标检测[J].计算机应用研究, 2010, 27 (12) :476-477.
模拟视频图像 篇8
红外搜索系统是通过探测和接收目标的热辐射, 获得目标的红外信息从而解算出目标的方位、俯仰信息。在探测过程中红外系统自身不发射任何辐射, 能够更好的隐蔽自己, 发现敌人, 大大提高了其生存能力;在强电子干扰环境下, 可以替代或辅助雷达搜索跟踪目标, 是在复杂环境下探测目标的首选探测方式, 在未来的战场应用中需求量巨大。
从目前国内外的红外搜索设备研制的情况看, 目前主要还存在以下不足之处:
(1) 在目前的探测器水平条件下, 红外热像仪视场普遍偏小, 故而单帧图像空间覆盖范围小, 仅从单帧图像无法有效对载体周围空情、地情进行有效评估;
(2) 在小视场的条件下, 要快速完成大区域搜索, 必须进行快速搜索, 而在快速搜索时, 红外图像变化过快, 单帧图像基本无法有效提供给操作员观察, 丧失了红外探测能提供昼夜可视图像的突出优点。
红外图像拼接技术可实时将多帧图像拼接成大视场全景图像, 用于解决小视场红外搜索不利于观察的问题;同时通过图像拼接技术, 可获取全景图像, 可在红外搜索阶段加入操作人员观察判断, 能有效降低红外虚警干扰, 提升红外探测的优势, 红外图像拼接技术在红外搜索系统中有广泛的应用前景。
2 图像拼接算法的一般流程
一般来说, 图像拼接的过程由图像预处理, 图像配准, 图像合成三步骤组成[1], 其中图像配准是整个图像拼接的基础, 也是图像拼接技术的关键。
2.1 图像预处理
图像预处理的目的是改善图像的质量, 从而保证下一步图像配准的精度, 包括对图像对比度拉伸、噪声点抑制 (如直方图处理、图像的平滑滤波) 等。对于一些存在几何畸变或者像旋的图像还要进行校正。如果在图像质量不好的情况下直接进行图像拼接, 容易造成误匹配。
2.2 图像配准
图像拼接的质量主要依赖图像的配准精度, 其核心问题是寻找一个变换, 找到待拼接图像中的模板或特征点在参考图像中对应的位置, 根据模板或者图像特征点之间的对应关系, 可以计算出数学模型中的各参量值, 从而建立两幅图像的数学模型, 使图像间相互重叠部分对准, 将待拼接图像转换到参考图像的坐标系, 以此构成完整的图像。精确配准的关键是要有很好描述两幅图像之间的转换关系的模型。
图像配准方法一般可分为基于区域和基于特征两种方法。基于区域的配准方法是利用的是图像的大部分灰度进行匹配, 配准精度高, 但运算量巨大;基于特征的方法则是通过提取图像中的点、边缘、轮廓等特征进行匹配, 运算量相对较少, 受噪声的影响较小, 常用的特征提取算法有SIFT特征提取算法[2]、Harris角点检测算法[3]以及Canny边缘检测算法[4]等, 基于特征的配准方法存在图像特征点提取及匹配困难, 特别是作为单色的红外图像利用特征点匹配存在较大的匹配误差风险。
2.3 图像合成
当准确计算出图像之间的转换参数之后, 我们需要根据求出的参数把多张原始图缝合成一张大的全景图。由于图像配准的结果存在配准误差, 因而不可能在每一点上都精确配准, 因此, 图像合成的策略是尽可能地减少遗留变形以及图像间的灰度差异对合并效果的影响。合成的目标包括:拼接图像的画出, 光度的调整混合, 确定重叠区域和消除拼缝。
2.4 全景图像的生成和视频显示
当结合红外目标信息的红外图像合成以后, 即可生成全景视频图像的编码显示, 每当一个搜索周期结束后, 利用新一周期的空间红外图像实时替换前一周期对应的空间红外图像, 即可生成实时全景红外图像, 能有效的解决红外探测设备快速搜索阶段红外图像无法观察的不足, 突出红外设备探测结果的可观察性的优势, 便于作战人员对战场的直观判断。
3 红外搜索系统图像拼接算法设计
红外图像拼接的算法有多种, 根据红外搜索系统获取的红外图像都具有稳定的像空间位置变化信息的特点, 本文提出了一种结合图像位置信息变化和模板匹配的红外图像的拼接算法, 算法流程如 (图1) 。
为避免红外探测器盲元、坏元点和图像噪声的干扰, 本算法在红外图像获取后即对其进行预处理, 主要的算法为中值滤波[5]和灰度直方图处理[5]。
在完成图像预处理后根据公式 (1) 计算出所需拼接连续图像的重叠区域大小。
式中A为重叠区域的行或列数, V为红外热像仪的搜索速度, f为红外图像帧频, α为红外探测器单个像元对应视场角。
确定重叠区域大小之后, 对参考图重叠区域的灰度进行分析, 提取其灰度梯度的分布情况, 进而选择原图像中一定大小灰度梯度较大的区域 (区域大小根据热像仪视场大小及探测背景复杂程度选取) , 将选取的这一部分区域图像作为拼接的模板, 在待拼接图像的重叠部分中可能匹配的区域进行图像灰度匹配运算 (可能匹配的区域应根据搜索精度确定) , 完成模板匹配算法。由于前后两帧图像亮度的差异, 若在灰度匹配时只将灰度值进行匹配, 必然会造成一定得匹配误差, 特别是当重叠区域图像灰度特征不明显时, 误差会较大, 故而加入了结合灰度比值匹配的方法, 利用图像中两列像元的灰度比值作为模板, 在待拼接图像中找到最优的匹配位置, 大大优化了模板匹配的算法效果, 且计算量小, 速度快。在前后两帧图像基本无灰度特征时 (如热像仪针对均匀的天空背景成像时) , 主要根据红外搜索系统的伺服控制位置信息进行匹配, 解决了无特征图像匹配的技术难题。
图像完成配准后, 再开展图像合成, 若直接进行重叠区域灰度平均, 会造成一定的拼缝和灰度差异, 本算法采用了高斯灰度加权平均的方法[6], 将两幅图像灰度值按照公式 (2) 进行了灰度叠加, 叠加后的图像进行灰度均衡形成最终的合成图像。
式中a为随重叠位置高斯分布的加权系数, I1为参考图的灰度值, I2为待拼接图的灰度值, R1是参考图中未重叠区域, R12是参考图和待拼接图的重叠区域, R2是待拼接图中未重叠区域。
该算法的优点主要有:
(1) 算法设计简单, 计算速度快:利用红外搜索系统图像具有稳定空间位置信息的特点, 只对两帧图像重叠区域进行分析, 并只选择灰度变化梯度较大的区域充当匹配模板, 在与待拼接图像匹配时, 又根据搜索精度的大小确定了可能匹配的位置, 计算量大为减少, 提高了匹配速度, 解决了模板匹配运算量大的问题。
(2) 匹配精度高:结合红外搜索系统高精度的特点, 在待拼接图像匹配区域选择上, 根据红外搜索系统伺服控制精度, 匹配前已设定了匹配运算的可能区域, 在灰度匹配的同时加上了灰度比值匹配, 大大提升了匹配精度。
(3) 适用性强:算法中涉及到的各参数均可根据搜索精度、热像仪视场及成像背景的复杂程度确定, 基本适用于所有的红外搜索系统, 适用性强。
4 算法试验验证结果
4.1 配准算法的仿真结果
根据基于区域特征、基于点特征 (SIFT特征和Canny边缘检测算法) 和本文提出图象配准算法利用同一套图像采集仿真器 (TI-DM642) 对一动态位置控制精度为0.5· (控制精度一般) 的平台搜索阶段采集到的两帧图像 (如图2、3) 进行了配准仿真计算, 各算法的仿真计算时间及精度见 (表1) 。
从 (表1) 可以看出本文提出的配准算法相对于基于区域特征和基于点特征的算法在计算时间和计算精度上都有很大的改善, 且本文采用的搜索平台精度不高, 若采用高精度的控制平台, 本文的配准算法将在计算时间和精度上进一步提高。
4.2 本文提出的图像拼接算法仿真结果展示
根据本文提出的红外搜索系统图像拼接算法, 对某红外搜索平台采集到的连续视频图像进行了试验验证, 验证效果如图4所示。该图为关于某野外树林的连续多帧红外图像的拼接结果, 从图中可以看出该算法较好的实现了一定空域的连续多帧视频图像拼接。
5 结语
本文针对红外搜索系统的特殊性, 提出了一套图像拼接的算法, 从仿真的结果看, 拼接效果较好, 已初步达到工程应用的水平, 成功的解决了传统图像拼接匹配算法运算量大和匹配精度不理想的问题, 运算速度快, 且匹配精度高。
参考文献
[1]SZELISKI R, SHUM H Y.Creating full view panoramic image mosaics and environmentmaps[A].Proc.of SIGGRAPH'97[C], Los Angles, 1997, 251-258.
[2]LOWE D.G.Distinctive image features from scale-invariant keypoints[J].International Journal of computer Vision, 2004, 60 (2) :91-110.
[3]HARRIS, C.&M.STEPHENS.A combined corner and edge detector[C].England:Processing of the 4th Alveyvision Conference Manchester.1988.Pp.147-151.
[4]JOHN CANNY, MEMBER.IEEE.A conputational apporoach to edge detetion.IEEE Trans.Pattern Analysis and Machine Intelligence.Vol.PAMI-8, No.1, 679-697, 1986.
[5]C.Gonzalez, Richard E.Woods著.数字图像处理[M].阮秋琦, 阮宇智等译.第二版.电子工业出版社, 2010.70-81, 93-98.