连续帧图像（精选7篇）
连续帧图像 篇1
视频火灾探测技术是近十年来发展起来的火灾探测新技术。相比传统的感温、感烟探测方法, 视频火灾探测技术具有探测范围广、实时性好、智能化程度高等优势。采用普通彩色摄像头进行火灾探测与识别, 一般可利用火灾图像的颜色、形状、纹理等静态特征以及相似度、质心运动、面积变化等动态特征的联合信息, 通过图像识别算法进行火灾探测。
王媛彬等提出了基于图像特征的火灾火焰识别方法, 首先选取火焰疑似区域, 再通过提取火焰纹理特征和形状特征对火焰图像进行分析、决策, 最终判断是否有火焰产生。Zhang等将概率分析方法引入到视频火焰探测中, 根据划分的方格区域内的RGB分布情况预选出疑似火焰区域, 然后根据连续两帧图像中可疑区域的面积大小变化情况实现最终的火焰检测。该方法具有较好的数学理论基础, 为视频火灾探测提供了一个很好的发展思路, 但忽略了很多火焰在图像上表现出的显著特征, 导致很多干扰无法得到有效排除, 实用性不强。
针对以上视频火灾探测方法的不足, 笔者将单帧图像中火焰在RGB和HSI空间的颜色模型和火焰的闪烁特性结合起来, 提出一种基于连续帧图像中区域面积变化的火灾探测方法。首先利用RGB-HSI颜色模型筛选出疑似火焰区域, 再结合区域跟踪算法和面积极大值统计计算出疑似火焰区域的闪烁频率, 并将该频率与火焰闪烁频率进行比较, 从而实现火灾探测。
1 疑似火焰区域的选取
疑似火焰区域的准确选取是火灾探测算法的基础, 笔者选择RGB-HSI颜色模型作为单帧图像中疑似火焰区域的选取工具。
1.1 RGB-HSI颜色模型
尽管因为火源和燃烧环境的不同, 火焰颜色有很多种, 但最初火焰的颜色为红色到黄色。该颜色范围在RGB颜色空间对应为R≥G>B。同时, 火焰是一个光源, 其在RGB图像中的主要分量R应该大于一个阈值RT, 在HSI颜色空间中的饱和度也应大于一个阈值。根据以上火焰颜色特性, Chen等推导出3个火焰图像决策规则来提取火焰图像, 如式 (1) 所示。
式中, RT、ST分别为R颜色分量、S颜色分量的阈值。关于火焰像素点的R值和S值之间的关系, 如图1所示。根据大量实验结果统计得到, ST和RT的取值范围分别在55~65和115~135之间。
1.2 疑似火焰区域的选取
为了检验上述颜色模型选取疑似火焰区域的准确性和可靠性, 笔者对含有几种常见干扰源的火焰图像进行了处理。从检测结果可以看出, RGB-HSI火焰颜色模型提取的区域轮廓非常清晰、准确, 而且对于疑似火焰区域基本不存在遗漏的情况, 很适合与动态特征结合进行火灾探测。因此, 选用该火焰颜色模型进行疑似火焰区域的选取。
2 连续帧图像中疑似火焰区域的面积变化
2.1 面积
面积可描述连通区域的大小, 经过图像分割获得的二值图像f (x, y) , 统计二值图像中像素点为1的像素点个数, 计算出火焰或者干扰图像的面积, 面积的计算公式如式 (2) 所示。
式中:Ωi为某个需要进行度量的连通区域;f (x, y) 为像素值。
2.2 连续帧图像间的区域跟踪算法
火焰的形状不规则, 其形态特征变化极易受自然环境的影响, 体现在连续帧图像上就是难以准确进行特征匹配。因此, 常见的视频跟踪算法, 如基于特征的跟踪算法、基于轮廓模型的跟踪算法以及基于预测的跟踪算法等在视频火焰探测上的使用效果并不理想。由于火焰的燃烧依赖于可燃物, 而常见的可燃物具有空间上的连续性, 可以认为, 在极短时间内 (以采样频率为30帧/s的普通监控摄像机为例, 连续10帧图像的时间间隔也才1/3s) 火焰在固定区域燃烧。针对上述火焰燃烧特性, 笔者提出了一种基于区域的跟踪算法, 并在MATLAB平台上予以实现。
(1) 使用bwlabel函数分别对当前帧图像It和前一帧图像It-1进行区域分割, 如式 (3) 、式 (4) 。
(2) 将当前帧图像It对前一帧图像It-1做差, 得到运动图像Mt。
(3) 遍历St中各区域, 统计对应位置Mt图像中值为1的像素点个数Ni (i为区域标记) ;若Ni>0, 则进入步骤 (4) ;否则继续搜索第i+1区域, 直到遍历结束。
(4) 计算当前帧图像第i区域的质心坐标[Xit, Yit]和前一帧标记图像St-1各区域的质心坐标[Xjt-1, Yjt-1] (j=1, 2, …, Numt-1) , 计算当前帧图像第i区域与前一帧图像各区域质心坐标的像素距离, 如式 (5) 所示。
(5) 因火焰在短时间内在燃烧区域较为固定, 故可认为质心坐标最相近的两区域为相邻两帧图像中同一可疑区域的对应区域, 即若Dti, k=min (Dti, j|j=1, 2, …, Numt-1) , 则认为Sit和Skt-1为相邻帧图像中的对应区域。
(6) 通过连续标记实现多帧跟踪。
2.3 疑似火焰区域面积变化
为了研究连续帧间火焰面积的变化规律, 笔者选择了几种常见标准火和干扰源的视频进行分析。面积的选取是基于上节中所述的RGB-HSI颜色模型提取的, 实验火在大小为33cm×33cm的正方形油盘内燃烧, 摄像机采样频率为30帧/s。实验结果如图2所示。
从图2的面积变化情况可以看到, 相比于干扰源, 火焰的面积变化频率要快, 而且在一定时间段内呈现出围绕平均值上下抖动的特性。因此, 可以通过统计该时间段内面积达到极大值的个数来计算其闪烁频率。
2.4 识别模型的建立
设对于N帧连续图像中, 疑似火焰区域面积达到的极大值个数为k, 则可计算该面积的闪烁频率F, 如式 (6) 所示。
为了排除噪声干扰以及非火干扰源的无规则跳动, 需加入两个限制条件。
(1) 相邻的极大值和极小值之差需大于面积平均值的百分之一, 如式 (7) 所示。
(2) 相邻的极大值和极小值必须位于平均值的两侧, 见式 (8) 所示。
分析样本的面积闪烁频率, 如表1所示。
由表1可知, 火焰区域面积的闪烁频率要远大于干扰源, 这是因为火焰本身的闪烁频率主要在7~12 Hz范围内, 而常见的干扰源的闪烁频率要远小于该频率。因此, 可以将此作为剔除干扰源的判据。
3 实验与分析
为了验证本文提出的火焰识别方法的有效性和适应性, 论文对不同类型火焰和干扰视频进行了检测 (识别频率阈值设为5Hz) 。具体做法为:先读入连续90帧 (3s) 图像, 然后对这90帧图像进行跟踪并分析面积变化情况计算出闪烁频率, 实现判别, 如果面积变化情况满足识别模型, 则报警并记录检测的反应时间和框图显示;如果不满足识别模型, 则继续下一帧图像, 从第2帧到第91帧重新判别。
3.1 酒精火实验
实验火在大小为33cm×33cm的正方形油盘内燃烧, 摄像机采样频率为30帧/s, 图像分辨率为320×240。
由于该组实验的火焰视频属于无干扰的标准火, 所以检测效率非常高, 前90帧图像就满足了识别要求, MATLAB实验平台上的反应时间仅为2.309 767s, 完全满足标准报警时间要求。
3.2 远距离强光背景下的火焰检测
实验在空旷厂房中进行, 采用煤油和汽油按2∶1比例混合油作为火源, 油盘大小为33cm×33cm, 探测距离为15m, 图像分辨率为1 280×720。现场存在较强自然背景光、白色塑胶管等干扰。
因为该实验视频图像分辨率高, 而且从图2 (b) 看出疑似火焰区域较多, 场景复杂, 所以第95帧时才实现探测, 反应时间为8.061 442s, 依然准确检测出了火焰区域, 并达到了火灾报警时间要求。
4 结论
根据火焰的闪烁特性, 提出了一种基于连续帧图像面积变化的火焰识别方法, 该方法具有简单、快速、适应性强等优点, 能排除多种非火干扰源影响。根据火焰的运动特性提出了一种基于区域的跟踪算法, 并通过不同的火焰视频验证了识别方法的有效性和鲁棒性。这种利用普通摄像头采集的视频信号进行火灾图像识别的方法, 具有较高的实用价值。
参考文献
[1]ROB B.Sensor for fire detection[J].Sensor Review, 2013, 33 (2) :99-103.
[2]荣建忠.基于多特征的火焰图像探测研究及实现[D].合肥:中国科学技术大学, 2012.
[3]王媛彬, 马宪民.基于图像特征的火灾火焰识别方法[J].消防科学与技术, 2012, 31 (2) :126-128.
[4]楼波, 徐毅, 林振冠.圆周运动下移动火源扩散火焰的图像特征分析[J].燃烧科学与技术, 2013, 1 (19) :60-67.
[5]吴茜茵, 严云洋, 杜静, 等.多特征融合的火焰检测算法[J].智能系统学报, 2015, 2 (10) :1-8.
[6]李彤.智能视频监控下的多目标跟踪技术研究[D].合肥:中国科学技术大学, 2013.
[7]安志伟, 袁宏永, 屈玉贵.火焰闪烁频率的测量研究[J].计算机应用, 2000, 20 (5) :66-68.
连续帧图像 篇2
随着多媒体技术的发展和信息时代的到来,媒资系统已在各级电视台广泛使用,因此有效地组织、管理大规模可视信息(如图形、图像、视频数据等)成为一个非常困难而又急需解决的问题,也使得基于内容的图像信息检索(CBIR)成为当前的一个热门研究课题。
基于内容的视频检索,融合了图像处理、模式识别、计算机视觉、图像理解等技术,具有反映图像内容并与图像存储在一起的各种量化特征,是一种近似匹配,与常规数据库检索的精确匹配方法明显不同,并且大多采用示例查询方法。现有的国内外已开发出的CBIR系统主要有加州大学圣地亚哥分校J R Bach,Ramesh Jain等人开发的Virage系统[1],哥伦比亚大学J R Smith和S F Change的Visual SEEK和Web SEEK系统[2],中科院计算机技术研究所的多媒体信息检索MIRES系统[3]和华中科技大学图像处理与智能系统中心开发的Pic Seeker系统[4]等。
基于内容的图像检索技术的研究具有重要的应用价值,但图像检索技术目前还基本处于研究阶段,对于利用颜色特征进行图像检索来说,还有许多关键的技术问题需要解决,主要涉及颜色的表示、颜色特征的提取和颜色特征匹配等。
2 图像检索的基本原理
要进行图像的检索,必须解决颜色空间的选取、直方图的构造、颜色的特征匹配方法及图像查询的步骤等问题,以下就对这些问题分别进行讨论:
1)选取颜色空间
RGB颜色模型是目前提出的多种颜色模型中实际应用最多的一种。RGB颜色空间的缺点是:改变一个颜色时,3个通道上的颜色全部需要修改;它不是一个均匀视觉的颜色空间,颜色空间上的距离,并不代表人眼视觉上的颜色相似性。而另一种HSV颜色空间直接对应于人眼颜色视觉特性三要素,即色H(Hue)、饱和度S(Satura-tion)和亮度V(Value),通道间各自独立。HSV空间各轴在视觉上彼此无关,空间距离符合人眼视觉特征,并且从RGB到HSV的转换简单、快速、可逆;同时,HSV空间能够最好的满足颜色空间的均匀性、紧致性、完整性和自然性等属性,因此笔者确定使用HSV颜色空间作为颜色特征的匹配空间。
2)构造颜色直方图
目前,常采用联合的1×3D的颜色直方图,如果预先规定各颜色通道的量化级数,用联合方式或独立方式建立直方图的方法则比较简单,但存在没有考虑图像本身的特点、没有考虑颜色空间的特点、颜色集合的代表性差等问题。因此,笔者采用改进的基于特定图像数据库的直方图构造方法,可概括为两个阶段:首先确定直方图的颜色集,然后任一图像可通过映射表量化到颜色集,经统计得到直方图。具体步骤为:
(1)转换颜色空间,RGB→HSV;
(2)对HSV进行非等间隔量化,形成72维特征矢量;
(3)统计量化后的各颜色的概率分布;
(4)用量化后的特征维数作横坐标,各颜色的概率为纵坐标,从而得到颜色直方图H。
3)颜色特征匹配
基于图像颜色检索方法的基本思想是将图像间的距离归结为其颜色直方图之间的差距,从而图像检索也就转换为颜色直方图的匹配。前面已采用HSV颜色空间来表示图像的颜色分量,并利用人的颜色感知特性对H→S→V颜色分量进行非等间隔的量化,下面利用直方图距离算法进行图像的相似性检索。
特征匹配方法直接决定了图像的相似性,直接决定了检索结果的准确性。关于距离度量方法这里采用欧几里德距离度量方法。根据相似距离从小到大排列各图像,距离越小,即认为两幅图像比较相似,当距离为零时,可以认为是同一幅图像。
4)图像查询
基于颜色特征的图像查询分4个步骤:
(1)图像库的建立及颜色特征索引。现在系统没有采用数据库管理系统,图像库由独立图像数据文件组成。在每一幅图像加入系统时,经过颜色特征提取,获得图像颜色直方图数据保存到特征数据文件中。
(2)获得查询样图。通过系统用户接口,得到查询样图的颜色直方图数据。
(3)对图像库中任一图像,取得其直方图数据,按直方图距离算法进行计算。
(4)按相似程度降序排序图像,从最相似到最不相似返回查询结果。
这里主要采用两个性能指标对算法的检索结果进行评价:查准率(Precision)和查全率(Recall)来评价检索算法。查准率指返回的结果集中有效图像的比率,它用于测量系统排除无关图像的能力。查全率指返回的结果中有效图像占数据库中所有相似图像数量的比率,它用于测量系统检索相关图像的能力。
查准率P和查全率R计算公式为
3 基于颜色的图像检索算法
在笔者基于颜色检索的系统中,算法的基本思想是通过进行颜色空间直方图的匹配来实现的,利用颜色特征进行基于相似性检索的主要流程如图1所示。
在基于内容的图像检索系统中,查询结果通常按照相似性程度高低顺序输出图像,这时的输出结果有两种处理方法:阈值法和给定相似个数法。
在颜色直方图的实现中,笔者提出采用颜色对的方法模型化对像边界来表现目标的空间特征。对于每一幅图像,如果考虑每个小块与周围8个小块的距离,那么目标的平移、旋转将不影响检索结果,达到了利用颜色特征进行基于形状的检索效果,这是用普通的直方图方法无法办到的,因此它大大提高了检索的成功率。将一幅小于640×480的图像,分成20×20个左右的小块,然后按以下步骤进行检索:
1)用前述方法,对每一小块产生直方图。
2)计算每个小块与周围8个相邻小块的平均直方图之间的差值,对于相邻的标号分别为i,j的两个小块构成的比较对,每个小块的直方图分别为:Hi,Hj,然后利用欧氏距离公式计算这两个小块直方图间的差值
D(Hi,Hj)=(Hi-Hj)×(Hi-Hj)T
在代入计算时,只有直方图中大于门限值的值才参与运算。采用门限值是为了消除由于噪声引起的颜色干扰,这些干扰通常是随机的,值也很小。
3)搜索图像库里的图像,对这些图像利用上述步骤计算每个图像的差值表,然后比较查询图像和库中图像的差值表。
笔者采用基于颜色对的算法对图像内容进行检索,改进颜色特征不能表达图像中对像局部特征的缺点,从而使目标的空间特征表现出来,这样目标的平移、旋转将不影响检索结果,达到了利用颜色特征进行基于形状的检索效果,这是用普通的直方图方法无法办到的,因此它大大提高了检索的成功率。
4 实现
笔者开发的基于颜色的图像检索演示系统(Image Retrieval)可运行于Windows 2000/XP的环境下,开发工具为Microsoft Visual C++6.0。选用了40幅图像做实验,采用欧氏距离算法,对采用全局颜色直方图、子块颜色直方图和本文提出的颜色对方法检索方式进行比较,实验结果如图2所示。
由检索结果可知,在全局颜色直方图检索中,示例图和它对应的旋转图的距离都为0.000 01,这反映了直方图的旋转不变性;在基于子块的检索中,示例图和它对应的旋转图的距离均不同,这说明子块直方图反映了直方图的空间信息,但同时也证明了它在检索旋转了的图像方面的一种不足;在颜色对方法中,由于也采用了分块的方法,所以它一方面反映了图像的空间信息,同时示例图和它的旋转图之间的距离都为0,说明了它对于图像旋转的不变性。从而对本文提出的检索方法进行了验证。
5 小结
本文分析了图像的颜色表示、提取和相似性匹配方法。采用符合人眼视觉特征的HSV颜色空间,改进了相似性检索算法,按照人的视觉分辨能力将颜色量化为72维特征向量。然后提出采用颜色对方法进行关键帧检索,从而消除了目标的平移、旋转对检索结果的影响,达到了利用颜色特征进行基于形状的检索效果,这是用普通的直方图方法无法办到的,它大大提高了检索的成功率。最后依据所提的算法设计了一个基于颜色的图像检索仿真系统,并做了多组比较实验,实验结果表明该系统稳定、可靠、运行结果较快,对各种算法的处理正确,基本上满足了实验的要求,而且可视性好,检索直观、方便,并可选择多种检索方法。
参考文献
[1]SWAIN M J,BALLARD D H.Indexing via color histograms[C]//Proc.Third International Conference on Computer Vision,1990.[S.l.]:IEEE Press,1990:390-393.
[2]SMITH J R.Integrated spatial and feature image systems:Retrieval,analysis and compression[D].New York:Columbia University,1997.
[3]中国科学院计算技术研究所智能信息处理重点实验室智能科学课题组.多媒体信息检索系统Mires[EB/OL].[2008-05-01].http://www.intsci.ac.cn/image/mires.html.
连续帧图像 篇3
光电经纬仪传感器普遍采用数字相机替代传统的摄影机, 数字化测量必须实现在同步信号下拍摄的图像与采集的测量数据合成在同一帧画幅, 才能保证测量精度。外场使用中由于检测条件限制, 同帧合成检测困难。光电经纬高帧频工作时, 对于速度较快的目标, 布站20km远时角速度要在2°/s以上, 每帧编码器角度值变化72″以上, 错1帧合成会造成角度误差72″以上。当错帧合成数在1~2帧时, 会与测控系统时间不同步问题交织在一起, 数据不能使用, 问题不易确定。图像、数据错帧合成问题在外场受到高度关注, 需要有可操作的检测方法, 以鉴定经纬仪技术状态。针对外场使用条件, 通过分析研究和测试验证, 提出采用对固定目标动态测量的方法, 在外场检测图像与数据错帧合成问题。
1 光电经纬仪图像数据错帧合成原因及表现特征
1.1 图像数据同帧合成分析
光电经纬仪图像、测量数据合成、存储的方法目前主要有两种方式, 一种是以计算机为控制核心的存储方式, 第二种是以嵌入式处理器为控制核心的存储方式[1], 组成示意图如图1所示。
两种合成、存储方式的策略都是以经纬仪的采样信号为同步信号, 按同步中断方式工作。采样信号为一帧工作的开始, 收到的图像、测量数据被视为同帧收到的图像、数据。以计算机为核心的存储系统, 视当帧收到的数据为同帧图像、测量数据, 由软件控制同帧合成后存储到介质中。以嵌入式处理器为控制核心的存储系统, 对同帧收到的图像、数据由FPGA控制放到系统内存相应位置, 软件控制、标识后存储到介质中。事后下载时, 由软件控制, 对标识同帧接收的图像、数据按设定的间隔帧数进行同帧合成。如果图像或测量数据任何一组没收到, 本帧图像、测量数据不存储。下帧采样信号到来时, 重复帧同步工作过程。同帧合成策略及合成过程从理论和技术上保证了同帧合成的正确性。
1.2 图像数据错帧合成原因分析
光电经纬仪正常工作时不会出现错帧合成, 图像、数据丢帧后也不会错帧合成。使用中遇到的错帧合成问题主要由以下原因所致:
软件出错:如因静电等干扰或软件编写的不完善, 控制软件或同帧合成软件、存储软件出错。
硬件性能失效:如因干扰、冲击等原因, 计算机内存性能改变, 工作不正常, 或电路器件性能下降产生的控制信号不正常。
其它分系统工作异常:
如数据通讯分系统传输的数据不是当帧数据;相机输出图像延时一帧等, 这些问题都体现出错帧效果。
1.3 错帧的表现特征
光电经纬仪对目标测量的角度值为编码器值与目标偏离视轴中心的脱靶量合成值 (投影) , 即[2]:
式中, A、E分别表示方位、俯仰角测量值, Ae、Ee分别表示方位、俯仰编码器测量值, ΔA、ΔE分别表示方位、俯仰判读脱靶量值。
固定目标静态测量, 目标和经纬仪都不运动, 不同时刻Ae、Ee不变化, △A、△E不变化, A、E不变, 错帧合成不影响静态测量固定目标。
测量运动目标, Ae、Ee变化, △A、△E变化, A同帧≠A错帧。错帧合成影响动态目标测量。错帧数越大, 误差越大;运动角速度越大, 误差越大。
2 图像数据错帧合成外场检测方法
2.1 错帧合成外场检测原理
光电经纬仪有单杆半自动和数字引导跟踪方式, 可实现经纬仪运动状态下测量固定目标, 即动态测量固定目标。
以方位角为例说明, 如图2所示, 假设俯仰角锁定, 光电经纬仪向左转动, 方位角减小, 固定目标会向视场右边移动。令固定目标对经纬仪的方位角为A0, 第i帧 (如图2 (a) 所示) 的编码器值为Ae, i, 目标的脱靶量为ΔAi。第i+1帧 (图2 (b) ) 的编码器值减小至Ae, i+1, 目标的脱靶量增大至ΔAi+1。经纬仪视场动态扫过目标的过程中, 不同时刻的测量值:
同帧合成时, 脱靶量与编码器角度合成值应为A0, 即;
错帧合成时, 脱靶量与编码器角度合成值不是A0, 即:
光学检测要求准确度高[3], 动态测量时, 包含动态误差, 会使测量结果与真值 (或静态测量值) 有一定的偏差 (动态误差值) 。一般动态误差≤20″。若经纬仪运动的角速度在2°/s以上, 编码器帧间变化角度值在1.2'以上, 且图像判读系统采用图像分割[4]、亚像素边缘[5,6]及细分等技术, 脱靶量判读精度一般在几角秒的量级, 错帧合成时, 测量值的误差会接近编码器帧间角度变化值, 在1'以上, 因此不影响检测结论。
2.2 错帧合成外场检测方法
错帧合成最大特点是动态测量数据误差变大, 利用这一表现特征, 可采用动态测量固定目标的方法检测错帧合成问题。方位与俯仰数据同时传输, 以下均以方位数据为例说明。
2.2.1 光电经纬仪等速运动测量定向标方法
光电经纬仪俯仰角锁定在定向标的角度, 方位上等速引导 (或手动) , 以2°/s的角速度运动, 并记录。测量2次以上, 每次使定向标从视场不同方向进入。下载图像, 判读视场中心附近 (距中心1/4视场) 的定向标, 与定向标的真值比较。为减小误差, 动态测量数据按下式计算取值:
式中, 为动态测量方位角平均值, 为每帧动态测量方位角值。
用动态测量的平均值与真值比对, 得到差值, 即:
用差值判定:若Δ≤20″ (中等精度经纬仪动态误差最大值) , 同帧合成正确;若Δ>20″, 同帧合成不正确。Δ接近编码器角度帧间变化值的n倍, 则错帧数为n。
2.2.2 动态测量平行光管 (或固定目标) 方法
由于定向标为体目标, 判读误差大。利用平行光管 (焦距1m) 作为固定目标, 平行光管的星点或“十”字中心可视为点目标, 判读误差小。
平行光管架设在相对经纬仪的俯仰角在零度附近。然后对平行光管静态测量, 再按动态测量定向标的方法进行动态测量, 静态测量值为真值。按式 (2) 计算静、动态测量值, 并比对检测错帧合成问题。
2.2.3 对平行光管 (或固定目标) 扰动测量法
先静态测量平行光管, 得到方位、俯仰角度值, 以其为中心点设定正弦引导, 幅度20', 速度1°以上。记录目标在视场内3个以上往返。下载图像, 判读数据, 采用下式统计得到测量误差:
式中, σA扰动误差增量, Ai测动态测量值, 静态测量平均值。
用扰动误差增量判定:σA≤15″ (中等精度经纬仪扰动误差增量最大值) , 同帧合成正确;σA>15″, 同帧合成错误。
3 测试验证
选择两型光电经纬仪都是嵌入式存储器为控制核心的存储系统, 其图像与测量数据合成可通过事后下载软件控制。验证试验在两经纬仪站点, 按等速运动测量固定目标方法进行, 选择不同角速度, 不同错帧数合成测试。两型经纬仪设定方位等速引导角速度为0.5°/s、1°/s、1.5°/s、2°/s, 帧频100 Hz。选用备用软件, 调整合成对应关系, 同帧及光电经纬仪 (Ⅰ) 为当帧图像与上帧数据合成, 动态测量固定目标, 其方位角为:266°32'48″;光电经纬仪 (Ⅱ) 为同帧及当帧图像与上2帧数据合成, 动态测量平行光管, 平行光管静态测量值为280°45'20″。
检测结果 (2°/s) 如表1所示, 数据如表2所示, 不同角速度下检测结果如表3所示。不同错帧数合成误差曲线如图3所示, 不同角速度误差曲线如图4所示。
如表1所示, 通过检测数据可判断出错帧合成和错帧合成帧数, 错帧合成数与人为设定数相符。
图3中, 错帧合成数越大, 曲线向误差增大方向移动;图4中, 错帧合成数越大, 曲线向误差增大方向移动;且光电经纬仪角速度越大, 曲线向误差增大方向延伸。曲线图反应了错帧合成的表现特征及动态检测方法的合理性。
表3中的差值不等于编码器帧间变化值, 体现出光电经纬仪的动态测量误差, 且角速度越快, 误差越大, 与实际情况符合。
4 结束语
外场检测条件有限, 发现错帧合成问题困难, 本文提出采用动态测量固定目标的方法检测光电经纬仪的错帧合成问题, 并进行了测试验证, 该检测方法外场使用简便、可行, 解决了光电经纬仪存储分系统同帧合成在外场检测的难题。在装备使用前的技术状态检查中通过此方法检测出1台光电经纬仪同帧合成出错问题并及时进行了排除, 在实际工作中发挥了作用, 该方法在光电经纬仪技术状态检测中具有重要意义。
参考文献
[1]吴志勇.红外经纬仪技术说明书[Z].中国科学院长春光学精密机械与物理研究所, 2012.
[2]何友金, 吴凌华, 任建存, 等.靶场测控概论[M].济南:山东大学出版社, 2009:101-103.
[3]刘承, 张登伟, 张彩妮.光学测试技术[M].北京:电子工业出版社, 2013:5-6.
[4]数字图像处理 (MATLAB版) [M].阮秋琦, 等译.北京:电子工业出版社, 2013:285-286.
[5]唐坚刚, 林新, 任林, 等.一种改进的亚像素边缘检测方法[J].信息技术, 2014, 38 (3) :1-4.
连续帧图像 篇4
由于人双眼观察物体的角度略有差异, 每只眼睛看到的图像会有细微不同, 大脑会将左右眼看到的图像进行处理呈现出3D (立体) 视觉[1]。3D显示可分为眼镜式和裸眼式, 眼镜式分为主动快门式、偏光式和色差式等[2]。
主动快门式3D显示的实现复杂度低, 克服了其他眼镜式3D显示分辨率低的缺点, 能够使双眼获得1080P的高清显示效果, 画质优越。主动快门式3D显示技术, 主要是通过提高屏幕的刷新率, 使左右眼画面分时交替显示, 再通过快门式3D眼镜的配合, 使人的双眼分别获得左右眼图像和利用人眼视觉暂留特性, 从而在人脑中产生3D立体图像[3]。在同一时刻, 仅一只人眼可以获得图像, 然而在画面切换过程中, 会出现左右眼图像分离不完全而引起的双边缘现象, 也就是我们常说的串扰现象;串扰现象会降低3D显示效果, 长时间观看时会使用户产生头晕现象, 严重影响3D电视给观众带来的感受[4]。同时图像模糊也会严重影响3D显示的效果, 在液晶显示器件中导致图像模糊的主要原因之一是液晶分子的响应速度[5]。
该文对现有快门眼镜式3D显示技术进行改进, 提出一种基于插灰帧提高3D图像显示质量的解决方案, 能够降低3D串扰和图像模糊, 有效地提升3D显示质量。
1 方案整体组成
方案整体构成如图1所示, 由信号源、预处理模块、帧处理模块、微处理器MCU、无线发射器以及液晶显示装置组成。其中信号源用于产生3D图像信号;预处理模块对3D图像信号进行格式识别、格式转换功能, 输出L/R帧序列 (左/右眼图像帧序列) ;帧处理模块对3D图像信号进行倍频和插灰帧处理, 同时将3D图像的帧同步信号发送给微处理器MCU;微处理器MCU通过C_S信号和G P I O信号与帧处理模块进行通信读取帧同步信号, 并将帧同步信号进行编码发送给无线发射器, 将背光控制信号发送给液晶显示装置;无线发射器主要向快门式3D眼镜提供帧同步信号用以切换左右镜片的开关;液晶显示装置接收3D图像帧序列和背光控制信号, 显示3D图像。
预处理模块对来自信号源的3D信号进行识别、格式转换等处理后, 输出左右眼画面交替出现的L/R帧序列 (3D图像原始帧序列) , 其中Rn和Rn+1帧为右眼图像帧, Ln和Ln+1帧为左眼图像帧, 如图2 (a) 所示。L帧和R帧的频率为H。
帧处理模块接到L/R帧序列后, 首先对其进行倍频处理, 产生如图2 (b) 所示的R'/R''/L'/L''帧序列;然后对R'/R''/L'/L''帧序列做进一步添加灰帧的处理, 用灰帧G取代帧序列中的帧Rn'和Ln'等, 从而使帧序列变为G/R''/G/L''帧序列, 如图2 (c) 所示。其中G帧图像内容的像素对应着某一电压, 其电压值不为零。
由图2 (d) 所示, C_IR信号为经过编码的同步控制信号, 由微处理器MCU发送给无线发射器。图2 (e) 的波形为快门式眼镜的开关信号, Right信号为右镜片开信号, Left信号为左镜片开信号。图2 (f) 为液晶显示装置的背光开关信号, 其开信号“ON”与L''/R''帧序列保持同步, 且滞后于L''/R''帧而提前L''/R''帧结束。同样, 快门式眼镜的左右开关信号滞后于背光开信号“ON”而提前背光关信号“OFF”结束。波形2 (g) 为像素极性控制信号, 其正负极性交替出现是为了让液晶分子向不同方向发生交替偏转。
2 插灰帧技术降低3D串扰和图像模糊原理
由图2 (c) 可知, 在左右眼的图像序列中插入灰帧后, 使左右眼图像间增加了1/ (2H) 时间间隔, 可以使左右眼的图像完全分离开, 有效减轻了主动快门式3D显示的串扰问题。
液晶显示装置部分原理图如图3所示, 由源驱动器、门驱动器、液晶单元集、以及VCOM电压产生电路组成。
液晶单元集由m×n个像素组成 (如图3第3部分所示) , 每个像素单元包含一个TFT (薄膜晶体管) 和像素电容器, 像素电容器包含显示电极和公共电极, 并且显示电极与TFT的源极相连, 所有公共电极连接在一起与VCOM电压相连。
为了避免液晶面板在显示画面时出现闪烁现象以及使液晶分子可以向两个不同方向发生交替偏转, 公共电极 (VCOM) 的电压值设置在像素信号的中值附近。像素电容器两端的不同电压是导致液晶分子发生不同角度偏转的主要原因。偏转角度的不同致使液晶分子透光度不同, 从而可以显示不同的亮度, 由不同亮度的像素单元矩阵就构成了显示画面。
图像模糊以及图像拖尾现象的出现, 部分主要原因是像素电容器充放电速度慢和液晶分子响应时间长所引起的。当显示运动画面时, 由于相邻两帧图像差别比较大, 像素电容器两端电压需要进行较大的跳变, 液晶分子需要向两个方向偏转, 响应时间 (偏转时间) 会相应延长, 从而导致了图像模糊、图像拖尾等现象。
在显示3D画面时, 如图2和图4所示:第一帧为灰帧 (G) 、SW为正极性控制信号, 则源驱动器输出的Si为正极性像素信号, Si通过TFT向像素电容器预充电至电压值为Ug+、充电时间为1/ (2H) , 如图4所示;像素电容器电压使得液晶分子发生偏转、偏转角度为￠g+, 如图5所示。当显示Rn''帧时、SW依然为正极性控制信号, 源驱动器输出的Si仍然为正极性像素信号, Si通过TFT向像素电容器继续充电至电压值为U+、充电时间同样为1/ (2H) , 如图4所示;像素电容器电压使得液晶分子继续同向偏转、偏转角度至￠+, 如图5所示。下一个灰帧、S W为负极性控制信号, 则源驱动器输出的Si为负极性像素信号, Si通过TFT向像素电容器反向预充电至电压值为Ug-、充电时间为1/ (2H) , 如图4所示;以及使得液晶分子发生反向偏转、偏转角度为￠g-, 如图5所示。同样当显示Ln''帧时液晶分子继续反向偏转, 偏转角度至￠-。
由于插入灰帧使得像素电容器得到预充电, 液晶分子预先偏转了一定角度, 减小了液晶分子需要偏转的角度, 同时在图像信号到来时能够使得液晶分子迅速偏转并有较大角度的偏转, 使得液晶分子响应加快, 降低了图像模糊和拖尾等现象。
3 方法验证
如图4、图5所示。在灰帧 (G) 时间段如果不做任何处理 (空闲时间) 或插入全黑帧, 也能有效避免主动快门式3D显示的串扰问题。但是如插黑帧曲线所示, 插入黑帧图像内容的像素电压值为零, 没有对像素电容器进行预充电, 液晶分子的响应时间将延长会导致图像模糊, 同时偏转的角度将减小会导致亮度降低。
4 结束语
文章对现有的快门眼镜式3D图像显示技术进行改进, 提出一种基于插灰帧提高3D图像显示质量的解决方案。该方案对原始3D图像帧进行倍频后, 在左右眼图像帧中插入灰帧, 使左右眼的图像完全分离开, 有效减轻了主动快门式3D显示的串扰问题;以及在灰帧期间对像素电容器进行了预充电、使得液晶分子偏转了一定的角度, 减少了左眼 (或右眼) 图像信号到来后液晶分子需要偏转的角度, 缩短了液晶分子的偏转时间、加快了响应速度, 很好解决了图像模糊、拖尾问题。
参考文献
[1]王琼华.3D显示技术与器件[M].北京:科学出版社, 2011
[2]Javidi B, Okano F.Three-Dimensional Television, Video, and Display Technologies[M].New York, USA:Spring, 2002
[3]陈兆林.快门式3D液晶电视重影消除研究[J].电视技术, 2012, 36 (16) :29-32
[4]Chiang C Y, Chen K T, Chang Y C, et al.The effect of crosstalk for stereoscopic 3D dynamic moving image[C].SID Symposium Digest of Technical Paper, Los Angeles, USA:SID, 2009:1-4
连续帧图像 篇5
虽然对目标检测的研究过程中有许多问题,但是目前较为流行和比较常用的方法主要有帧间差分法、光流法、背景差法。帧间差分法适用条件是存在很多运动目标和移动的监视器,并且是应用作差分运算对排列的视频图像分析最终得到运动目标轮廓的原理。基本思想是将相邻两帧图像做差分运算,将差值大于某一阈值的部分判为运动目标,其他部分判为背景。三帧差分法的优点是充分考虑了运动像素的时间相关性,融合了多帧图像的像素信息,可用于动态变化的场景,且该方法对运动检测比较灵敏,对随机噪声有很强的抑制作用,但也存在一定的缺陷,如检测到的运动目标会存在多检或者少检。 针对这个缺点,本文提出一种将三侦差分法和相似梯度相组合来进行检测,动态场景的运动目标检测算法的研究是当今图像处理与图像理解领域的一个热门方向, 也是未来视频处理的发展方向,受到当前图像界以及人工智能领域专家的极大重视。
1三帧差法的基本原理
三帧差法的公式的基本步骤是:第一,将相连的三张图片进行平滑去噪处理;第二,对三张图片分别进行帧差法处理,也就是用下一张图片减去上一张,分别用第k帧图片减去第k-1帧图片,再用第k=1帧图片减去第k帧图片,最终得到两个值,即D1(x,y)、D2(x,y) ;第三,将得到的这两个值进行或运算,就会顺其自然的得到我们想要的检测结果了。公式表示为:
2基于相似梯度的边缘连接算法
作为图像最基础的特征,图像边缘囊括了轮廓、位置、集合等相关信息,具体图像内容显现为屋顶变化或是阶跃变化的成像,提供是特征参数来解释图像和识别目标。
2.1边缘检测
边缘检测的基本思想旨在凸显图像的局部边缘,首先确定图像中的边缘强度,建立门限的方法来获取边缘点。本篇文章恰恰利用边缘检测来得到结果的,作为高斯函数的一阶导数,边缘检测器是将信噪比和定位做乘法运算逐渐取最接近算子,笔者认为正确的边缘检测有一下几方面的特征:(1)真实的边缘点上没有出现低概率的标记;(2)获得的边缘点无限接近真实的边缘中心;(3)单个数值很好地适应了边缘响应。
2.2边缘连接
在图像处理中,假如获得的图像优良,并且没有其它音质影响,边缘点最接近中心边缘的,边缘检测最大的优点就真正发挥出来了。可是现实情况也不完全一样,大部分的边缘检测结果不必要对图像进行再次处理。
2.3一种基于相似梯度的边缘连接算法
边缘检测的思想可以用于边缘算法的连接对于这种创新的思路我们可以解决很多问题,需要要用到图像像素的梯度值。
二维函数f(x，y)的一阶导数 ( 也就是梯度 ) 定义的向量形式为 :
该梯度向量的幅值为:
便于计算分析,对于公式(5)进行忽略平方根的方法:
或选择去近似绝对值的方法 :
梯度是在坐标位置的最明显变化方向,在最大变化方向出现的最大角度:
算法的假设思想是把边缘点看作是图像中的某些特殊重要点,在这些特殊的点区域内分析出梯度改变方向及图像像素相同的点,这样就是巧妙的运用上了边缘检测原理。
具体实验的操作过程为:
(1):对特殊点坐标进行变换边缘检测得到图像二值;
(2):赋予一个特殊的二值坐标图C(x,y),并且二值图像C(x,y) 的大小和B(x,y) 相同,并做C(x,y)=B(x,y) 操作;
(3):对二值图像B(x,y) 的的任意一点进行边缘查询,同时对其上下左右的点进行梯度定值分析;
(4):把结果(3)中的所有梯度点进行边缘连接得到最终的结果。
通过对阈值的分析判别进而得到梯度的相似性,首先对一个阈值T进行重新定义赋值重置,根据不同梯度下计算得出的阈值T的大小分析出图像的边缘特性, 梯度值是决定图像相似性的重要因素。
3实验仿真与分析
本文采用的实验平台为奔腾处理器, 1G内存,512M显存的计算机,用matlab R2009a编程实现。实验采用图像均为大小为256× 256的8bits灰度图像。实验分析可知图5是对图3的第13帧图像进行边缘扫描,结果如图5所示。再利用本文方法对边缘检测的结果进行边缘连接,最后边缘检测结果为图6。
对连续的第12、13、14帧图像做三帧差检测,并做过腐蚀和膨胀处理,然后从该结果中分析出边缘最大范围, 接着进行三帧差法连接设置增加边界条件息。
加入边缘分析处理后的检测结果与直接用三帧法的检测结果相比,可以看出目标显得更充实,目标区域的空洞明显减少了,目标显得相对完整,弥补了帧差法检测的区域漏检问题。
4结语
动态场景的视频图像序列的运动目标检测一直是计算机视觉、数字视频与图像处理和模式识别领域中一个重要的基础研究课题, 是目标跟踪识别与目标行为分析和理解的基础环节。随着成像设备的快速发展,计算机性能的迅速提高以及技术系统的无人化趋势发展,动态场景下的运动目标检测在将来的工业、智能交通、空间技术和国防军事等领域有着广阔的应用前景,然而至今仍然存在很多关键的问题尚未解决, 特别是当摄像机运动较复杂时, 如摄像机发生往返运动,摄像机的运动速度较大,或者摄像机运动方向复杂变化等,运动目标的检测将变得更加困难,本文通过角点检测及跟踪确定图像中的角点,再将检测出的角点进行分类以提取出属于目标的角点,最后利用等周分割方法进行初始分割,并结合目标点集的坐标信息在初始分割图像中提取出目标区域。目标角点检测的数量对目标提取的区域定位有重要的影响,属于目标身上的角点越多,定位越准确,提取出的目标越完整。
图2 第 12 帧图像
图3 第 13 帧图像
图4 第 14 帧图像
图5 第 13 帧图像边缘检测
图6 基于相似梯度的边缘连接结果
图7 三帧差法检测结果
连续帧图像 篇6
复杂背景下的小目标检测技术是评价红外预警系统性能的重要指标之一。由于远距离目标在红外图像上占有的像素个数比较少,且缺乏结构信息,极易被类目标干扰所淹没,在很大程度上制约了系统对目标的检测概率[1]。因此,低信噪比条件下相似性类目标干扰一直是红外图像中小目标检测的难点和热点。
所谓类目标干扰,是指红外图像中,在成像面积和灰度分布方面与真实目标相似的“凸起”所引起的干扰[2],如空中缓慢运动的云层、烟雾,地面中的建筑物、树木,或近地飞行的成群飞鸟等引起的干扰。由于背景运动的复杂性及运动估计精度的影响,类目标干扰可能在短时间内具有“有限”的独立运动,导致检测结果出现以类目标干扰为主的虚警点。
为了实现复杂背景下的小目标检测任务,人们通常需要在执行具体的目标检测算法前对单帧目标图像进行一些有效的预处理,抑制图像中的杂波和噪声,去除大面积作为虚警的类目标干扰,从而提高传输给主处理器图像的质量和信噪比[3,4]。对于点目标的检测,前人已经做了大量的研究,提出了多种图像预处理的方法,其中主要有形态学滤波法、中值滤波法、小波变换法、高通滤波法、空间匹配滤波法和最小均方滤波法等[5,6]。然而,每一种方法都有其不同的适用对象,可以说,并没有一种方法可以对各种复杂背景都表现出最好的预处理性能。在实际应用中,人们总是需要针对不同的背景条件对预处理方法做出取舍。针对扫描型红外预警系统,图像信噪比低,目标的空间分布呈一定长度线段的特征,本文首先使用形态学滤波法和区域匹配滤波法相结合的算法对背景进行抑制,增强点目标的信号;然后,利用目标头尾两侧水平方向存在阶跃信号的特征,通过Robinson滤波获得目标的头、尾图像;最后,根据红外图像中小目标的直线形态和由恒虚警概率求得的阈值,将潜在目标从类目标干扰中分离出来,达到降低类目标干扰的目的。
1 背景抑制
对于一幅包含目标的红外图像,可以用下式描述[7]:
式中:fT(x,y)为目标信号,通常远距离目标在图像中呈微弱点状;fB(x,y)为背景杂波,其空间分布具有较大的相关性,灰度值存在一些起伏,是类目标干扰的主要来源;N(x,y)为噪声,包括探测器电路工作时引起的噪声和来自外部的干扰信号等,与背景不相关,在空间上的分布是随机的。
当红外预警系统对空进行圆周搜索时,探测器在积分时间内的扫描运动造成图像模糊,目标因拖尾现象,由点状变为具有一定长度的线段,使目标像素在水平方向上具有相关性,垂直方向上因与上、下区域背景间的差异大而具有奇异性。因此,可通过判断图像中灰度值不连续的区域,将目标与背景区分开。
常用的背景抑制方法有小波变换滤波法、形态学滤波法和区域匹配滤波法等,其中,基于小波变换的滤波法对图像的信噪比要求较高[8];形态学滤波法对图像中灰度变化大的边缘抑制较好,但对目标形态特征利用不充分[9];区域匹配滤波法能够结合目标形态特征抑制噪声干扰,但对灰度边缘抑制效果较差[10]。
针对复杂背景下,红外预警系统图像信噪比低,目标水平方向相关度高且呈线性形状的特点,文中采用了将形态学滤波法与区域匹配滤波法相结合的背景抑制方法。首先利用构建的滤波模板找出图像中与之匹配的区域,然后对区域的中心点与灰度值最大的邻域点进行比较处理。该方法考虑了目标区域的灰度分布规律,一方面可以降低噪声的影响,另一方面能够消除背景中起伏较大的杂波。
在红外预警系统图像中,小目标的宽度通常为1～3个像素。因此,文中设计了如图1所示的滤波模板,灰色部分为“隔离带”,其目的是为了抑制背景杂波。“隔离带”宽度的选择是由目标尺寸决定的,若“隔离带”行数过少,目标特征体现不明显,不利于提高图像信噪比;而行数过多,将导致许多杂波进入,给后续处理带来困难。这里选择“隔离带”的行数为1,即可以保证小于3个像素宽度的目标不丢失,也可以尽量减少背景杂波的干扰。
背景抑制的算法描述如下:
在输入图像f(x,y)的[2W1+1,2W2+1]邻域内,首先使用滤波模板对邻域内同一行的像素进行累加,然后在邻域内对行灰度值进行比较处理,根据下面公式计算,得到输出结果fmb:
式中,对水平方向邻域内像素的累加,可以在不破坏原图像细节的情况下,降低噪声的干扰,提高图像的信噪比。
2 基于目标头、尾特征的检测
基于目标头、尾特征的检测方法,是根据目标头尾两侧水平方向上存在阶跃信号,且成对出现,而在目标区域内部又具有强相关性的特征提出的。目标头尾空间分布如图2所示。
检测算法的流程如下:
1)头、尾特征提取。为了能够较完整的保存目标形状特征,首先用W1为3,W2为1、隔离带为1的背景抑制算法,得到目标图像fmb。
其次,根据目标头尾存在阶跃的特征,构建如下的检测模板ght。
然后,将检测模板与背景抑制图像进行卷积,得到目标的头尾图像fht。
最后,根据头尾图像fht,求出头、尾特征参数。
2)二次滤波。在头、尾特征提取的结果中,部分类目标因灰度分布连续而残留在图像中,为了降低类目标的干扰,对目标的头尾图像再进行一次Robinson滤波处理。Robinson滤波器是通过比较中心像素与其邻域像素极值间的差异来消除干扰的,尤其对缓变的云层有很好的抑制作用[11]。这里采用的滤波器尺寸为5×5,如图3所示。
对应的滤波公式如下:
经过Robinson滤波后,最终得到的目标头、尾图像如图4所示。其中,缓变的云层和空间相关性较强的类目标被抑制,而具有一定运动速度的类目标与真实目标作为潜在目标一起被保留了下来。
3)潜在目标提取。由于受探测器积分时间和旋转速度的影响,红外图像中的小目标为具有一定长度的细线,而类目标的长度是不确定的,一般要大于目标的长度。因此,可以利用目标的长度特征,降低类目标的干扰。
首先,采用Neyman-Pearson准则,确定目标分割的阈值。Neyman-Pearson准则又称恒虚警概率(CFAR)准则,是一种在已知图像噪声方差的基础上,利用给定的探测虚警概率确定目标检测似然比阈值的方法[12],其计算公式如下:
式中:Pcfar为恒虚警概率,经实验测得,当系统探测概率达到90%时,Pcfar通常为10-4,这里Pcfar由人工设定;σn为噪声的近似均方差;T为检测阈值。
然后,利用检测阈值T对目标的头尾图像进行分割,提取出有效的头、尾特征点,分割后的图像为二值图像。分割公式如下:
最后,在[1,L+10]的邻域内,L为目标长度,如果分割后的头、尾图像f h′和f t′,满足以下三个条件,则认为存在有效的头尾对应点:
1)在头图像f h′的邻域m1内,存在灰度值不为0的点;
2)在尾图像f t′的邻域m2内,存在灰度值不为0的点;
3)在头图像f h′和尾图像f t′之间的区域m3内,不存在灰度值为1的点。
条件1和2是分割后目标头、尾的阶跃信号,而条件3是要求目标内部具有较好的相关性。图5是符合这3个条件的目标图像。
3 实验结果与分析
为了说明算法的有效性,选取三种类目标干扰作为实验对象。实验所使用的红外图像由红外预警系统扫描时采集得到,图像大小为110 mm×90 mm。表1列出了实验中所用到的数据和检测结果。
表中,SNR为图像信噪比,σn为噪声均方差,Pcfar为恒虚警检测概率,L为目标长度,Nr为真实目标数目,Nf为探测到的虚警数目,N为经头尾检测算法分割后得到的潜目标数目,P为检测概率。
第1组实验中,类目标干扰主要来自地面建筑物和树木,建筑物静止不动,但树木会发生一定晃动,如图6所示。
第2组实验中,类目标干扰主要来自空中较弱的云背景,如图7所示。
第3组实验中,目标处于云背景中,且云层随目标做同向运动,如图8所示。
从上面的3组实验可以看出,虽然头尾图像的分割结果中存在大量的干扰点,但经过加入目标长度特征后,绝大部分的类目标干扰都能够被滤除掉,只有目标点和少量的几个干扰点被保留了下来,极大的降低了虚警率。
4 结论
红外预警系统的功能是要尽可能早的发现目标,并且要求较低的虚警率,文中提出的基于单帧红外图像抗类目标干扰的算法,可以在有大量类目标干扰的复杂背景环境中,根据图像中目标在水平方向的强相关性,有效提取出潜在的目标。同时,大大降低了数据量,减轻了系统后续处理的运算压力,有利于提高红外小目标的检测概率。
参考文献
[1]王江安,王乐东,吴荣华,等.复杂背景下迎头点目标检测算法[J].光电工程,2009,36(5):1-5.WANG Jiang-an,WANG Le-dong,WU Rong-hua,et al.An Algorithm of Head-on Point Targets Detection under the Complex Background[J].Opto-Electronic Engineering,2009,36(5):1-5.
[2]董文明,吴乐华,姜德雷.基于分形特征参数的目标边缘检测算法[J].光电工程,2009,36(6):21-25.DONG Wen-ming,WU Le-hua,JIANG De-lei.Edge Detection Algorithm Based on Fractal Features[J].Opto-Electronic Engineering,2009,36(6):21-25.
[3]周立伟.目标探测与识别[M].北京:北京理工大学出版社,2004.ZHOU Li-wei.Object Detection and Identification[M].Beijing:Beijing Institute of Technology University Press,2004.
[4]张必银,张天序,桑农,等.红外弱小运动目标实时检测的规整化滤波方法[J].红外与毫米波学报,2008,27(2):95-100.ZHANG Bi-yin,ZHANG Tian-xu,SANG Nong,et al.Novel Regularizing Filtering Method for Real-Time Detection IR Dim Small Moving Target[J].Journal of Infrared and Millimeter Waves,2008,27(2):95-100.
[5]李欣,赵亦工,陈冰.基于分类的红外云层背景弱小目标检测方法[J].光学学报,2008,29(11):3036-3042.LI Xin,ZHAO Yi-gong,CHEN Bing.A New Approach of Small and Dim Target Detection in Cloud Cluster Infrared Image Based on Classification[J].Acta Optica Sinica,2008,29(11):3036-3042.
[6]Lee D S.Effective Gaussian Mixture Learning for Video Background Subtraction[J].IEEE Transactions on Pattern Analysis and Machine Intellihence(S0162-8828),2005,27(5):827-832.
[7]吴一全,罗子娟.基于最小一乘背景预测的红外小目标检测算法[J].光电工程,2008,35(4):6-11.WU Yi-quan,LUO Zi-juan.Method of Target Detection in Infrared Image Sequences Based on the Least Absolute Deviation Background Prediction[J].Opto-Electronic Engineering,2008,35(4):6-11.
[8]罗军辉,姬红兵,刘靳.一种基于空间滤波的红外小目标检测算法及其应用[J].红外与毫米波学报,2007,23(3):209-212.LUO Jun-hui,JI Hong-bing,LIU Jin.An algorithm based on spatial filter for infrared small target detection and its application to an all directional IRST system[J].Journal of Infrared and Millimeter Waves,2007,23(3):209-212.
[9]YANG Sheng-yan,HSU Chiou-ting.Background Modeling from GMM Likelihood Combined with Spatial and Color Coherence on Image Processing[C]//Proc.ICIP2006,Atlanta,GA,Oct8-11,2006:2801-2804.
[10]印勇,王亚飞.基于空间邻域相关性的运动目标检测方法[J].光电工程,2009,36(2):2-5.YIN Yong,WANG Ya-fei.Moving Object Detection Based on Spatial Local Correlation[J].Opto-Electronic Engineering,2009,36(2):2-5.
[11]张春华,周晓东,陈维真.基于背景抑制的星空图像目标运动轨迹提取[J].红外与激光工程,2008,37(1):143-146.ZHANG Chun-hua,ZHOU Xiao-dong,CHENG Wei-zhen.Small Target Trace Acquisition Algorithm for Sequence Star Images with Moving Background[J].Infrared and Laser Engineering,2008,37(1):143-146.
连续帧图像 篇7
根据低分辨率(Low Resolution,LR)图像的帧数,利用软件提高图像分辨率的方法可分为单帧SR和多帧SR。SR的核心思想是获取非冗余的额外信息[5],例如,单帧SR一般需要额外的数据库以提供更多有用信息,数据库中HR图像块和LR图像块的配对问题是单帧SR需要解决的主要问题。多帧SR中,重建的关键点在于获取多帧具有子像素运动的图像,研究表明,获取足够数量的非冗余图像是多帧SR的瓶颈[6]。
本文提出了一种单帧SR算法,核心思想是通过平衡二叉树(简称AVL树)和k最近邻(KNN)分类器快速实现HR图像块和LR图像块的映射问题,并重建SR图像。此外,该算法可获得明显的去噪效果。
1 相关研究
SR算法可大致分为四类,基于频域的算法、基于插值的算法、基于重建的算法和基于学习的算法。
基于频域的算法通过快速傅里叶变换处理图像偏移走样问题,例如,文献[7]提出利用频域和时域结合的SR算法,频域作为一个约束条件,定义了两个不同域的规则化项,提高了算法的收敛性和准确性,然而,该算法没有考虑有噪声情况,频域对噪声比较敏感,不能很好地适用于有噪声的降质模型或其他复杂模型。
基于插值的算法优势在于快速简单,前提是图像先验平滑,例如,文献[8]提出了基于Contourlet的改进双线性插值SR算法,增加了双线性插值的误差补偿项,提高了视觉效果,然而,该算法没有引入其他非冗余信息。
基于重建的算法一般用于多帧SR,重建目的是将含有不同子像素信息的图像帧融合到一帧图像中,利用多个先验知识进行约束和正则化,从而提高分辨率。例如,文献[9]提出了一种基于图像实例的SR重建算法(In-Place Example Regression,IPER)。直接将图像实例作为先验知识,无需大量的学习实例,基于实例的回归提高了运算速度,获得了较好的重建效果。然而,文中没有考虑复杂的降质模型,如有噪声或运动模糊等。
基于学习的算法起初是基于稀疏表达的压缩传感模型,将LR图像块和HR图像块映射连接起来。例如,文献[10]提出了一种广义相似最近邻域(Approximate Nearest Neighbor Field,ANNF),将源图像块与目标图像块周围区域进行匹配,并应用于SR算法中,具有较快的重建速度,然而,随着参数的变化,该算法不能获得稳定的性能。文献[10]实验所用图像均为人工图像,自然图像的复杂性并非总是满足ANNF。文献[11]提出了基于多尺度结构自相似性的单幅图像超分辨率算法(Multi-scale Structural Self-similarity,MSS),充分利用多尺度结构自相似性,然而,文献[11]使用的k-svd字典库运算效率较低,目前,效率更高的自适应字典库更受欢迎。
本文算法的特点在于HR图像块和LR图像块的映射更加直接快速,利用平衡二叉树加快了最近邻搜索速度,且误差更小。此外,本文算法将降噪后的LR图像高频成分保存下来,用于后续的SR重建,对改善重建图像的质量起到了关键作用。
2 利用k最近邻和平衡二叉树的邻域嵌入
本文算法分为训练阶段和测试阶段,训练阶段主要构建一对一的映射和平衡二叉树,测试阶段主要为LR图像重建对应的SR图像。
2.1 训练阶段
训练阶段使用大量自然的HR图像,以给定的缩放因子s进行下采样,产生LR图像,再以相同的缩放因子s进行上采样。经验表明,这个下采样的降质过程定义了LR图像和HR图像的降质估计问题[12]。
式中:ILR是HR图像通过下采样后再进行上采样得到的图像;m是用于训练的HR图像数。将HR图像块与LR图像块的上采样图像差作为重叠图像块,并将HR和LR图像块保存为一对一映射,通过滤波算子f1=[-1,0,1]对LR图像块的向量滤波,获得x方向的梯度图像gx,通过滤波算子f2=[1,0,-1]T滤波后获得y方向的梯度图像gy。其幅值计算如下
利用平衡二叉树进行幅值的分类,本文中,p是LR特征向量的数量,在k维数据中选择最大方差的维度k,然后选择中值对数据进行划分,得到两个子集,树叶子结点node如式(3)所示,如果获得R型子树就进行R旋转,如果是L型子树就进行L旋转[13],重复所有的LR图像块被插入完毕,即完成了按幅值进行LR图像块的分类工作。
式中:p是LR特征向量的数量,其对应的HR图像块的向量表示为向量矩阵MHR_feature,数学表达形式如下
训练阶段的流程图如图1所示。
2.2 测试阶段
在测试阶段,通过训练和LR图像的特征重建SR图像,使用的观测模型为文献[12]中的通用模型,形式如下
其中,Fk是X与第k帧Yk的几何运动算子,大小为r2M2×r2M2。r是分辨率变化因子,X可写成向量形式,大小为r2M2×r2M2,Yk大小为M2×1。使用模糊矩阵Hk表示点扩散函数,大小为r2M2×r2M2。Dk表示抽样算子,大小为M2×r2M2。nk是系统加性噪声,一般由高斯噪声代替,大小为M2×1。本文中k=1,不存在几何运动算子和点扩散函数,故式(5)改写为
在SR图像的重建过程中,首先LR图像通过非局部均值NLM滤波去噪,使用立方插值上采样,Yd=(yd)↑s,然后将放大的去噪图像Yd分割为图像块向量矩阵,Ydi是从Yd中提取的一个图像块,满足Ydi=RiYd,其中,Ri是提取矩阵。接着,这些向量通过梯度滤波器计算其幅值,使用LR特征空间为输入的LR特征向量矩阵寻找距离最近的k个HR图像块,并对其进行加权操作。
2.2.1 非局部均值滤波
输入的LR噪声图像通过NLM滤波器进行滤波[14],第i个像素的估计值通过式(7)获得
式中:滤波后的像素值是其对应像素与其权重乘积之和,,权重定义为
式中:是i与j之间的欧氏距离;归一化常量;τ用于控制指数函数的衰减。
2.2.2 高频分量的分离
LR图像包含高频成分和大量的低频成分,然而,上采样过程只保留低频成分,丢失了高频成分,因此,从LR图像yd分离得到高频成分。
从式(9)可以看出,高频成分是LR图像yd与其上采样再下采样变换后的图像差,此外,高频成分yHF通过边缘定向插值进行匹配,获得最终的SR图像
2.2.3 k最近邻选择
通过LR特征空间中的向量进行Minkowski距离度量,从而获得LR特征向量。Minkowski距离度量表示为
式中:AFLi是从LR图像中的第i个图像块的特征向量;xHi是从训练树中得到的第i个图像块特征向量;n是向量中元素的数目,选择最近的k个邻域后,使用LR图像块的索引即可找到HR图像块的索引。
2.2.4 HR图像块的重建和重加权
采用归一化的高斯权重,HR图像块重建如下
式中:xi是重建的第i个图像块,通过使用k个检索到的HR图像块xij和权重Wj重建,高斯权重Wj定义如下
式中:h是图像块的尺寸,dj表示测试阶段的LR图像块与训练阶段LR图像块之间的距离,相比传统算法[15],本文算法采用更多的邻域图像块用于SR重建,其误差也非常小,采用不同图像块尺寸时,knn分类器中k值与重建的SR图像峰值信噪比PSNR的关系如图2所示。从图2可以看出,当图像块尺寸为5×5时,PSNR值最高,效果最好,k值为6时趋于稳定,经验表明,随着k值增大,即最近邻图像块数增加时,相比运用更少的最近邻图像,误差更小。权重的获取有助于HR图像块的重建,而HR的图像块与高频成分合并直接关系到最终的SR图像的重建。本文的权重关联图像块尺寸和测试训练阶段的LR图像块距离,而这些变量直接与重建的图像块关系紧密。
重建后的图像x与2.2.2部分的高频成分yHF叠加,得到最终的SR图像,即
测试阶段的流程图如图3所示。
3 实验结果与分析
仿真实验在配置为Win7操作系统、Intel酷睿II双核处理器、2.95 GHz主频、4 Gbyte RAM的台式计算机上进行。实验平台是MATLAB 2011b。训练阶段使用150幅不同HR图像,有自然图像和人造图像,由图2可知,当尺寸为5×5时,效果最明显,因此,训练阶段和测试阶段的图像块尺寸均设为5×5,SR重建中k近邻采用5NN搜索。使用图像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性指标(Structural Similarity Index Measurement,SSIM)和特征相似性指标(Feature Similarity Index Measurement,FSIM)评估SR重建图像的效果,考虑到评估中的计算量问题,实验中所有彩色图像均转换为灰度图像进行评估。
3.1 实验结果比较
实验所用图像大多来自文献[9]和Ko Dak数据库,用于比较的算法是文献[9]提出的IPER算法、文献[10]提出的ANNF算法和文献[11]提出基于MSS算法。
3.1.1 缩放因子为2时的重建结果
这部分所有图像都放大2倍,表1为没有添加噪声的重建图像的PSNR值,加粗的为最大值。从表1可以看出,本文算法重建的SR图像具有最高的PSNR值,丢失的高频成分最少,其次是IPER算法。表2为没有添加噪声情况下SSIM结果,可以看出,本文算法在大多数情况下SSIM值均保持最高,只在Lena图像上的结果略低于IPER算法,其中,ANNF算法的最差,这是由于ANNF算法的不稳定性造成的。表3为不添加噪声情况下FSIM的结果,本文算法在Leaves和Baboon图像上的FSIM值略低于其他算法,在大多数情况下均为最高。图4为加上高斯噪声后的重建效果,可以看出,本文算法去噪效果非常明显,归功于测试阶段去噪的作用。
d B
3.1.2 缩放因子为4时的重建结果
这部分所有图像都放大4倍,更具挑战性,表4为没有添加噪声情况下重建后的PSNR值、SSIM值和FSIM值,加粗的为最大值。从表4可以看出,在3幅图像Wall、Leaves和Baboon上的实验,本文算法3个度量值均达到最高,其次是IPER算法,ANNF算法表现最差。图5所示为放大4倍的Leaves图像,可以看出,本文算法塔的边缘非常清晰,叶子也比较自然。这些现象体现了本文算法在重建较大缩放因子的SR图像方面的优势,运用knn和平衡二叉树的邻域嵌入具有较小的误差和较好的稳定性。
4加高斯噪声(均值为0,方差为20)后,放大2倍的重建效果
3.2 噪声和高斯模糊的影响
由于运动模糊的字典训练学习非常困难,没有讨论如文献[12]的几何运动和运动模糊。这部分讨论高斯噪声方差大小及其模糊核尺寸对超分辨率重建效果的影响。
图6所示为高斯噪声方差与20幅重建图像平均PSNR之间的关系,可以看出,随着噪声方差的增大,本文算法的PSNR值曲线下降得最慢,其他算法受噪声影响较大。图7是高斯卷积核的大小与PSNR的关系,可以看出,随着卷积核尺寸的增大,本文算法的PSNR值下降最慢,ANNF与本文算法非常接近。图8所示为高斯卷积核大小与SSIM之间的关系。可以看出,与图6、图7类似,本文算法的SSIM值下降最慢。从图7和图8可以看出,本文算法对于高斯模糊的鲁棒性更好,ANNF算法与本文算法非常接近,这是由于ANNF算法只考虑LR和HR图像块可能配对的邻域[16,17],相比本文算法,条件更加宽松。
4 结论与展望
本文利用平衡二叉树和k最近邻解决单帧超分辨率中的HR图像块与LR图像块的映射问题,使映射更加直接快速,同时在SR算法中将LR图像的高频成分保留下来,利用非局部均值滤波去噪。仿真实验表明,本文算法的结果更接近真实HR图像,纹理更加清晰自然,且对部分高斯模糊和高斯白噪声具有较好的鲁棒性。