多特征检测

多特征检测（共7篇）

多特征检测 篇1

1 手势检测技术简介

基于手势的人机交互在机器人控制、3D动画、娱乐、汽车电子、安全认证等诸多领域应用广泛[1]。近年来,Sony,Toshiba,Nintendo,Microsoft,IBM,Nokia等国际知名企业纷纷致力于将手势交互应用于消费电子领域,推出了大量原型产品[2,3,4,5,6,7]。这些产品大多仍采用接触式传感器来测量手关节的参数,虽然可精确地还原手势的3D空间模型,却因不舒适而降低了用户体验。目前,手势交互正逐渐转变为通过非接触式的实时视频采集用户动作,以计算机视觉的方式分析手势的纯视觉方式。该方式下用户无须佩戴任何装置,也不受空间位置的约束,采用日常生活中的手势给出交互指令,在自然舒适的状态下进行人机对话[8]。

手势视觉交互的核心是手势检测,其实质是指通过系统的分析,标定出视频中特定手势出现的时间和空间位置。由于人手是由27自由度的复杂链接体[1],同一手势经常因尺度、旋转、仿射和用户个体差异等呈现外观差异,同时受到纹理混杂或相似颜色背景的干扰,使稳健的手势检测面临巨大挑战。

现有的手势视觉检测技术可分为3类:1)通过佩戴颜色标记进行检测,性能有保证,但使用不便[9];2)基于运动检测,方法简单但易受光照影响,不够稳定[10];3)通过机器学习的方法,运用Ada Boost技术,实现对特定手势的快速检测[11]。该方法对尺度和用户差异有很好的效果,但因采用Haar特征,易受背景混杂的影响,对交互场景有一定限制。

为在不同场景中实现稳健的交互手势检测,笔者提出了一种基于多特征融合的检测方案。在训练Ada Boost检测器基础上,通过结合混合高斯模型的肤色检测器和梯度方向直方图的识别器,运用连续多帧的结果,依据Fisher准则融合为最优线性鉴别式分类器,在多类复杂场景中取得了很好的检测结果。图1为多特征融合手势检测器原理图。以手掌与拳头两类典型的交互手势检测对本文方法进行验证。

2 Ada Boost手势检测器

本文采用Intel Open CV中的开源Ada Boost训练器[12]。在训练前将正样本图像调整为24×24像素灰度图,设定分类器结构为Tree Boost,采用Float Boost训练以便得到概率输出的结果,每级强分类器正样本通过率为99.5%,负样本通过率为50%。对于“拳头”,训练得到15级强分类器,使用1 250个Haar-like特征;对于“开手掌”,训练得到20级强分类器,使用1 730个Haar-like特征。为减少漏检,在融合过程中分别保留5级强分类器。

3 肤色块检测器

肤色是人体的特征,且在手势上分布较为一致。由于基于混合高斯模型(GMM)的检测器具备简练的参数化的建模方式和适合快速运算的特点,本文选择其作为肤色快检测器的基础。在本文的训练过程中,采用在不同光照和不同样本下采集的视频,标定出肤色区域的像素,约4 000 000个。以其他静止图片和视频中其他像素为非肤色像素集进行训练,分别生成16核的肤色模型和非肤色模型。

4 手势识别器

利用提取梯度方向直方图(HOG)特征描述手势,可以有效地解决手势平面内旋转造成的影响。因而基于Ada Boost检测的手势区域通过提取HOG特征并与相应的手势模板计算相似度,以概率的形式提供手势识别的置信度信息,参与融合过程。本文通过采集25个人的760个不同外观的手势样本,进行统计获得手势模板,具体过程参见文献[13]。

5 融合算法

本部分阐述的是多个检测器的融合方法,其融合依据为上述各检测器输出的检测结果区域Λ及其对应的置信度p G(Λ)。设检测过程从T0帧开始,则在T帧,Ada Boost手势检测器输出为{ΛjA,T,pjA,T}Mj=1,肤色块检测器输出为{ΛjC,T,{pi}jC,T}Nj=1。若T-1帧的融合后输出为{Λ*T-1,p*T-1},则多检测器的融合过程可概括为以下3个步骤:

1)初始化

设T=T0,当i∈[1,M],j∈[1,N],使得

式中:[λΛ,min,λΛ,max]和λp分别是单帧的手势区域面积的合适尺度范围和手势概率加权和阈值;α1,α2,α3为各置信度的权重。

则标记区域Λ*T0及其置信度p*T0为

完成初始化,令T=T+1,进入步骤2)。否则T=T+1,重复步骤1)。

2)单帧融合

当i∈[1,M],j∈[1,N],使得

其中,[λ′Λ,min,λ′Λ,max]为考虑了多帧重叠的较小的面积区间。

则标记区域ΛT*及其置信度pT*为

否则令T=T0,返回步骤1)。

3)多帧融合

若

其中,λT和λ′p,t分别为积累帧数阈值和积累置信度阈值。{βt}Tt=T0是一组遗忘因子,本文中满足

则输出手势区域ΛT*,并结束手势检测过程。否则令T=T+1,返回步骤2)。

上述算法中的关键问题是如何确定各检测器的输出概率融合阈值λp。事实上,从机器学习的观点来看,采用标记好的若干正样本区域{Λi}Ni=1,每个区域提供的参数包括piA,piC=max({pj}iC),piG,提供若干负样本区域{Λj}Mj=1,每个区域提供的参数包括pjA,pjC,pjG,则转化为一个半监督的学习问题。简化起见,设计一个线性分类器如下

设

式中:[pi,ωi]为一个标记了是/非手势区域的样本。存在正样本N1个,负样本N0个的训练集。若设各类样本均值向量mi为

样本类内离散度矩阵Si和总类内离散度矩阵Sw为

利用Fisher准则解得

于是可得

这一算法的最大特色在于综合考虑了目标尺度的需求、帧内多检测(识别)器的联合置信度、多帧检测结果的一致性和置信度的稳定性,最大程度上均衡了多检测器因采用单一特征而造成的性能缺陷。例如Haar特征在相似的衣服纹理上造成的误检,可由肤色块检测校正;而Haar特征在目标平面内小角度旋转下输出置信度很低,可由手势识别器中对小角度比较稳健的梯度方向直方图特征的置信度输出来提升,以免发生漏检。肤色块在背景颜色近似时造成连通域很大,可由Ada Boost检测调整。时域上多帧参数的验证则消除了背景运动,特别是用户身体移动的影响,因而能够比较准确地提供手势区域的目标模型,为全手势的人机交互奠定基础。

6 实验结果分析

为验证本文多检测器置信度融合的手势检测算法的检测性能和实时性能,这里特别给出通用计算机和低硬件资源的上网本两款平台上的测试结果。在下文中,A平台为配备Intel Pentium4 1.6 GHz CPU和2 Gbyte RAM的PC,B平台为配备Intel Atom 1.6 GHz CPU和2 Gbyte RAM的上网本。测试中使用的数据是实时采集的多个场景的交互视频,考虑到不同背景、光照的条件,在采集过程中,对用户的手势标准性未做严格限制,使得平面内旋转,尺度变化,与相似颜色背景、混杂背景的重叠等挑战更为突出。共测试5段视频,共1 782帧,每帧中包括1个开手掌手势,另有1 132帧不含交互手势或包括其他干扰手势。表1是各检测器在这些测试数据上的运行性能,表2是融合检测器各模块在平台A和平台B上的资源占用情况。图2中列出了一些有代表性的帧分别通过单独的检测器和融合后的检测结果。

%

图2a为使用Ada Boost的测试结果,图2b给出了对应各帧基于肤色/非肤色模型检测的肤色块,图2c给出了上述检测器结合手势识别器进行的融合检测的结果。可见,通过融合后的检测器,不仅手势的检测稳健性很强,更适合在低端的计算平台上进行实时处理,有利于嵌入不同平台上的应用程序。

7 小结

笔者从多特征融合的角度出发,深入研究了各种特征对手势检测问题的贡献和缺陷,从而提出一种融合式的手势检测器。从Ada Boost手势检测器的设计出发,依次论述了基于混合高斯模型的肤色块检测器的原理和训练过程、基于梯度方向直方图描述的手势识别器和多帧历史输出的验证模型,提出了多概率加权的判决准则和区域有效性判别准则,解决了异构特征在检测结果上的难于互补的困境。最后通过性能和效率的实验验证了融合式检测器的优势,证明了本文检测器在不同条件下,都能够有效地解决稳健检测特定手势的难题,为多种人机交互任务提供了保障。

摘要：基于AdaBoost手势检测器、混合高斯模型肤色Blob检测器的检测结果,结合特定手势识别器和多帧的输出,依据Fisher准则通过置信度信息融合为高可靠性的交互手势检测器,解决了在背景混杂和相似颜色条件下手势检测器的稳健性问题。

关键词：特征融合,手势检测,人机交互,计算机视觉

多特征检测 篇2

行人检测是智能视频监控、机器视觉、车辆辅助驾驶等应用的第一步,吸引了大批研究者,取得了一定的研究成果[1]。但是由于行人的特殊性,场景的复杂多样性,若想取得又快又准的检测识别效果,还需要进一步的努力。如果想快速检测行人,通常情况下是选用单一特征,这也是早期行人检测所采用的方法,但是检测效果不理想,不能有效检测行人。为了准确检测行人,近年来很多研究者提出多特征融合的方法,这样固然能提高检测的准确性,但是需要花费大量的时间,不能满足行人检测对实时性的要求。针对这些问题,本文根据人体特性提出一种快速且有效的行人检测方法。

1 算法思路

因行人全身包含的信息很多,所以目前的行人检测方法大多是根据行人全身的特征来判断的,但对于复杂场景,特别是有身体遮挡的情况下,要想获得行人全身信息是不太可能的,但这种情况下,通常还能获取行人的头顶信息,本文依此头顶点为基点,利用边缘检测算子获取边缘轮廓,将其作为候选目标,然后利用改进的边缘方向直方图方法提取区域边缘直方图特征。

另外对于行人,身体颜色具有一定的自相似性,衣服颜色以及肤色的相似度很高,且头发的颜色和脸部的肤色不依赖于面部的细节特征,在表情变化、头部偏转等情况下仍能适用,具有相对的稳定性。而且人体颜色有别于大多数背景物体的颜色,因此为了提高检测率对候选目标利用改进的颜色自相似算法进行特征提取。

为了提高检测准确性,仅提取颜色自相似特征还不够,考虑到纹理是反映目标表面色度和亮度变化模式的视觉特征,因此需要选择一种高效的纹理特征提取算法。

为了能够提高检测正确率而提取多种特征,但这样就增加了维度,从而影响检测速度。这就要求选择学习速度快、分类能力强的分类器。随机森林是一个包含多个决策树的分类器、优点是学习速度很快,缺点是存在过拟合[2]。基于Hough森林的目标检测是近期提出的一种新方法,重点考察图像块与目标中心的位置关系,在叶节点处增加计算,输出成为在连续区域上的投票。Hough森林是在随机森林框架上的一个扩展,继承了随机森林的优点并改进了其缺点[3]。根据以上思路,本文算法流程如图1所示。

2 快速头顶点确定方法

由于人的头顶是椭圆形,且经过计算发现头顶像素点的梯度方向值基本在90°左右[4]。本文利用头顶像素点的梯度方向具有固定范围这一特性在前景中找出头顶候选点,根据该点快速确定人体轮廓域。

算法中像素点(x,y)的灰度值用H代替,G代表梯度幅值,α为梯度方向。采用一维中心算子[-1,0,1],可得到水平和垂直方向的梯度幅值分别为:

则(x,y)像素点的梯度方向为:

通过计算及实验测试,人体头顶像素点梯度的切线方向在90°左右,发型的不同对头顶的形状变化会有一定的影响,但是不大。

根据上述计算方法选取前景中梯度方向在规定范围内的像素点作为头顶候选点,然后依此点为基点,利用Prewitt检测算子提取边缘轮廓,且能去掉部分伪边缘,对噪声具有平滑作用。

3 改进的EOH特征提取方法

边缘方向直方图(EOH)能较好体现图像的边缘和纹理特征,通过统计图像边缘像素的方向分布来描述图像特征,其计算方法为:1)对图像进行边缘算子运算;2)计算各边缘像素的梯度幅值和梯度方向,并判断梯度方向所隶属的直方图子区间;3)统计隶属于直方图各子区间的所有边缘像素的梯度幅值和;4)对所得的直方图各子区间取值进行归一化得到最终的边缘方向直方图[5]。

由于传统直方图仅统计图像像素取值的频率分布,所以当两幅图像像素的频率相同时,其无法进行区分。此时,虽然两幅图像像素取值的频率分布相同,但直方图各子区间对应区域的边缘分布是有差别的。基于此,如果用各子区间的边缘复杂度来度量各区间构成的区域的分散程度,即可以得到一组度量灰度直方图各子区间内像素空间分布的数据。利用该组数据对直方图的各子区间进行加权,便可得到一组新的直方图,由边缘复杂度得到的权值数据称为该直方图的空间权因子。如图2所示。

设灰度直方图第k个子区间内所有像素构成的区域的边缘复杂度为Φk。将归一化后的数据记为(Ф1,…,Фk,…,Фn),则其为一组体现像素空间分布复杂度的加权直方图数据.对于其第k个子区间的数值Фk。

式(3)表明,Фk的大小只与该区间对应区域的边缘像素的总数К(Ek)有关,也即计算时只需要统计直方图各子区间对应区域的边缘像素的个数,因此该方法是一种基于区域边缘统计的图像特征描述方法。

区域边缘像素的引入反映了图像的结构信息,检测结果与EOH相比如下图所示,从另一个角度解释了区域边缘直方图具有更强的图像特征区分度的原因,能够对图像进行有效的区分。

4 改进的颜色自相似特征及纹理特征提取

人的身体颜色具有一定的自相似性,如:人体衣服颜色以及两臂颜色的相似度很高。基于此,Walk等[6]提出一种颜色相似度特征CSSF(Color Self-Similarity Feature),用于行人检测,有效提高了检测精度,但其计算的是全局图像中每两个块之间的相似性,计算量非常大,特征维数高,检测速度较慢。文献[7]对CSSF进行了改良,但该特征维度达到千万级,仍然较高,难以满足实际应用需要。本文结合轮廓特征,提出改进的颜色自相似特征。

4.1 传统的颜色自相似特征

传统的颜色相似度特征基于矩形特征,对于矩形块R1,其内部数值和为:

CSSF特征可由相邻块R1和R2数值和的比值得到:

式中,R1和R2大小相等且位置不同(设矩形块宽为w,高为h),该方法可以衡量矩形块之间的相似度。比值越接近1,两矩形块越相似。为此,对F特征进行非线性转换得到F'特征:

对于传统CSSF特征当两矩形块相距较远时,其光照情况可能相差较大,导致特征对非均匀光照敏感;而如果把矩形块之间的距离限定得太小,又会增加计算量,导致特征空间维度过高。近些年有很多学者试图对CSSF进行改良,如文献[7-9],但特征维度仍然很高,势必会影响检测效率。基于此,本文对颜色相似特征进一步改进。

4.2 改进的颜色自相似特征

为了降低特征维度又不至于导致对非均匀光照敏感,本文对矩形块的高宽比及块之间的距离进行约束。

对于分别以点(x1,y1)和(x2,y2)为左上角坐标的矩形块R1和R2,当其满足式(7)时,则计算这两个块之间的相似度。

其中δ为约束阈值,一般情况下取值为3。在实验过程中可以根据检测效果调整阈值和w及h的值;另外在实验过程中还发现当高宽比(即h/w)为0.68黄金比例时,检测效果最好(如图3所示)。

由于有了候选区域去除了背景信息且对矩形块的高宽比及块之间的距离进行了约束,相比于文献[7]、文献[8]和文献[9],去除了大量冗余信息,其特征空间进一步降低。

4.3 改进的旋转不变性LBP纹理特征提取

LBP特征[10]是由Ojala等在1994年提出的一种高效的局部纹理特征提取算法。LBP特征能够较好地反映像素点局部邻域的空间分布模式,且该特征具有计算速度快的优点。基本的LBP算子的计算公式为:

早期的LBP算法并不具有旋转不变性,2009年Salberg等[11]提出了一些具有旋转不变性的改进型LBP算法。但由于计算的复杂度,对于实时目标检测效果并不理想。针对上述问题,文献[12]将形状数的概念引入到LBP特征描述方法中,改进了LBP特征提取算法。本文在这些研究的基础上综合一致模式LBP,采用LBP26,1来提取图像LBP特征,这样维度降低了,对检测速度的提高有很大帮助。

5 Hough森林检测算法

5.1 原理

Hough森林[13],由一系列决策树h(x,θk),k=1,2,…组成,森林中的每棵树都是由一系列的叶节点和非叶节点形成的,节点是由随机抽选的局部图像块来创建的。

Hough森林属于机器学习中的监督学习,通过训练,学会如何将局部的图像块特征与它们在Hough空间内的投票相映射:

表示图像元素特征到概率Hough投票的映射模型:其中,τ为从输入图像空间到特征(I1(y),I2(y),…,IF(y))∈RF的映射,每一个IF是一个特征向量子分量,F为总的特征维数;p(h|L(y))是Hough空间内Hough投票的分布。

5.2 收敛性研究

假设训练集{(x,y)}是由随机输入向量x和输出向量y分布所抽取出来的,那么对于给定的k个分类器的集合{h1(x),h2(x),…,hk(x)}可以定义间隔函数为式(1)。

用投票和概率平均(表达式如下)得到测试的预测类标签:

式中I(·)是示性函数,kav(·)为对k取平均值,ji为森林中的k棵决策树的权重。类标签由投票来决定,得票存在于决策树的给定阈值范围。可以导出泛化误差:

当森林中数目较大时,由树结构和大数定律导出随机向量趋向值如式(14):

随机森林边缘函数:

决策树的分类强度s为:

设s≥0,根据Chebyshev不等式由式(15)、式(16)得到泛化误差:

其中Var(mr)形式如式(18):

而:

由式(17)~式(19)知,任意函数h,求其均值与方差,并趋近于方差上限,都有:

其中ρ是相关系数平均值。推导式(17)可知:

由此可知随着树的增多,其泛化误差EP*收敛于一个极限值,故霍夫森林不会出现过拟合。

6 仿真实验及分析

6.1 实验数据集

拍摄包含多种场所(教学楼、停车场、道路,等)、多种天气(晴天、雨天、雾天)等复杂情况下的行人视频构成本文实验样本之一,该视频库部分场景背景如图4所示。取部分视频制作成正样本(如图5所示),共建正样本4600个,其中2600个用来训练,2 000个用来验证,另外不含行人的背景图称为负样本。

为了验证本文所述算法检测效果的通用性,在目前常用的行人数据集[14]中,引入2个国际上常用的数据集:INRIA行人数据集和NICTA行人数据集[15]。其中INRIA行人数据集是目前使用较多的静态行人数据集,包含训练和测试两类,且每类均包含正样本和负样本。训练集含有正样本614张(包含2416个行人),负样本1218张;测试集含有正样本288张(包含1126个行人),负样本453张。NICTA行人数据集是目前规模较大的静态行人数据集,且已划分好训练集和测试集。

6.2 实验与结果分析

本文算法程序在Pentium(R)CPU 987双核1.5 GHz,64位Windows 7系统,4 GB内存的计算机上运行。

对于行人样本图如图6所示。按照本文算法流程(如图1所示)进行行人检测,如图7所示为实验中部分行人检测示意图。

由于目前分类算法主要还是基于SVM和Ada Boost的,基于随机森林和Hough森林的检测是近期提出的新方法,故为了验证本文算法将其与文献[2]、文献[7]、文献[16]和文献[17]、文献[18]所述方法分别在自建数据集、INRIA、NICTA数据集上实验后比较,实验检测率如图8所示。

由图8可知,不同算法在各类行人数据集中的检测效果相差较小。通过实验可知本文所提算法平均检测正确率(在三类数据集中正确检测出的人体占整个视频中人体的识别率)为99.07%;文献[2]所述算法HOG+LBP+LAB+Houghforest平均检测率为96.72%;文献[7]所述算法CSSF+Ada Boost平均检测率为98.16%;文献[16]所述算法HOG+Harr+SVM平均检测正确率为98.0%;文献[17]所述算法HOG+IKSVM平均检测正确率为97.65%;文献[18]所述算法Randomforest+SVM平均检测率为96.17%。在这几类算法中,本文所述算法的检测率较高,综合这几种算法在不同数据集的检测率,进一步分析它们的误检率与漏检率,实验结果如图9所示。

在检测速率(对人体识别的平均速率)上,各算法也有较明显的差别,如表1所示。文献[2]所述算法HOG+LBP+LAB+Houghforest平均检测速率较慢;文献[16]所述算法HOG+Harr+SVM平均检测正确率较高,误检率也较低,但是检测的速率相对较慢;文献[17]所述算法HOG+IKSVM平均检测正确率相对较低,但是速率较快;文献[7]所述算法CSSF+Ada Boost,由于特征空间仍为千万级,所以检测速率上也较慢;文献[18]所述算法Random forest+SVM检测速率较快;而本文所述算法,花费时间相对较少。

综上所述,文献[16]由于采用HOG和Haar两种特征描述,所以有较高的识别率,不足的是加入了Haar特征的计算和分类使得耗时过长;文献[17]基于HOG特征,改进了SVM,采用的是IKSVM分类方法,分类速率大大提高,但是识别率不是很理想;文献[18]先采取随机森林的分类算法,快速地消除图像中的背景,再通过SVM进行检测,速率得到了大幅提高,但是在识别精度上不高。文献[7]采用的是Ada Boost方法,虽然对CSSF进行了改进,但特征空间仍为千万级,所以检测速率上较慢;文献[9]在文献[7]的基础上对颜色自相似特征进行了改进,也是采用Ada Boost进行分类,但检测的是全局图像,效率也较慢;由于是提取颜色自相似和HOG特征,然后采用SVM进行分类,所以文献[8]检测精度较高,但运行速度较慢。本文算法由于先提取头顶点为基点,有了候选区域,快速地消除了背景信息,缩小了检测范围,然后利用改进的颜色自相似特征结合区域边缘直方图和LBP26,1,在Hough森林分类器上进行分类检测,在检测正确率及速率方面都得到了提高。另外,文献[2]也是基于Hough森林的,但由于其提取的是传统的多种特征HOG、LBP和LAB,影响了检测的实时性,精度上也不太理想。综合考量,本文算法在行人检测中克服了遮挡带来的弊端,提高了识别精度,同时速率也得到了提高,不会出现过度拟合的问题,满足了行人检测对精度和实时性的要求,在大规模数据、高维特征、不平衡数据集和缺失数据集上也有很好的运行效果,有很好的实用价值。

7 结语

多特征检测 篇3

关键词：火焰检测,色彩空间,混合高斯模型,卡尔曼滤波,多特征融合

随着CCTV (Close Circuit Television, 闭路电视) 监控技术的发展, 一种基于视频的火焰检测技术引起了业内的广泛关注。Healey等人[1]利用颜色和火焰运动的特性来区分火焰和非火焰区域, 然而这种方法是依赖于理想环境 (不具有类似火焰颜色的干扰物体的场景) 中实现的。Foo[2]基于高速摄像机的灰度视频提出基于统计的方法, 这种方法虽然计算量较小, 但是不具备很好的抗干扰特性, 而且对普通的摄像机视频30帧/秒 (f/s) 的情况就显得有效性不足。Phollips等人[3]利用火焰的灰度直方图强度以及相邻帧的时间变化进行火焰识别, 同样需要比较好的检测环境 (较少的移动的非火焰亮光干扰) , 而且其实验数据特征为自己主观确定的, 若输入数据发生变化, 则效果会大打折扣。Yamagishi和Yamaguchi[4]提出了一种基于神经网络的火焰检测方法, 在HSV色彩空间的火焰颜色模型来减弱环境对火焰检测的影响, 依据火焰区域颜色的饱和度和色调的持续变化来进行火焰区域的分割, 最后训练神经网络用于识别火焰, 这个算法取得的实验结果非常准确, 但是对于实时性的应用而言计算量过大。

然而, 以上方法都集中关注火焰的存在性, 不能提供燃烧的状态和过程信息, 需要人工估计误检率, 并且很难满足高检测率、低误检率、实时的工业需求。本文提出了一种基于目标跟踪和多特征融合的火焰检测算法, 能够较好地适用于存在干扰的监控环境, 能够有效排除干扰, 及时发现火焰, 并且可以对火焰进行持续跟踪和判断其变化状态。

1 算法描述

整体算法的流程如图1所示。

1.1 混合高斯背景建模提取运动前景

火焰的特性之一就是燃烧过程中的闪动特性, 通常监控视频中的背景都是静止不动的, 本文采用混合高斯建模[5]来背景建模。通过对背景建模, 对一幅给定图像分离出前景和背景, 从而达到运动物体检测的目的。

对差值图进行二值化处理然后经过降噪滤波, 得到较好的二值前景图, 将检测为前景的区域结合火焰的颜色特征再次进行判断, 进一步提取出疑似火焰区域。

1.2 火焰颜色模型

在彩色图像中, 高温的火焰内核会呈现亮白色, 由内向外随着温度的降低颜色会由黄变橙、变红[6]。根据火焰颜色的以上特征, 本文对火焰的内焰和外焰分别进行建模, 然后将内焰和外焰组合, 从而得到疑似火焰区域。内、外焰模型分别为

图2、图3、图4分别为Capture1, Capture2, Capture6经过高斯背景建模和继续经过颜色模型过滤得到的前景二值图。从图中可以看到相比只进行背景重建得到的前景运动目标的二值图, 再经过颜色模型过滤可以得到位置相对准确的疑似火焰区域, 用此区域进行Blob提取处理。

1.3 Blob特征提取

在二值图中, 运动目标呈现一个个白色的连通域 (即Blob) , 本文采用二值图像连通域标记算法将运动目标从二值图中提取出来, 然后对原图像只进行一次扫描后, 通过特殊的边界像素标记, 便能获得目标集合特征参数。

经过Blob特征提取[7]扫描, 可以获得目标的轮廓, 根据轮廓可以通过运算得到目标外接矩形、重心、周长和面积等特征信息。

1.4 基于Kalman滤波器的运动目标跟踪

在利用Blob提取运动目标特征的基础上, 系统采用了基于卡尔曼 (Kalman) 滤波器的算法[8]实现运动目标的跟踪。卡尔曼滤波器可以用状态方程和观测方程来描述其数学模型:

状态方程为

观测方程为

根据Blob提取得到的重心、外接矩形、运动速度等信息来描述运动目标在每一帧中的运动, 因此状态向量取Xk=[x, y, vx, vy]T, 观测向量取Zk=[x, y]T, 其中x和y是运动目标的横纵坐标, vx和vy是运动目标在水平方向和垂直方向上的运动速度, Wk为系统噪声向量, Vk为观测噪声向量。

状态传递矩阵A, 测量矩阵H, 系统噪声Wk的协方差矩阵Q, 测量噪声Vk的协方差矩阵R的值设定如下:

参数确定之后, 基于卡尔曼滤波器的算法便可以经过以下4个步骤完成对运动目标的跟踪:

1) 根据重心坐标初始化卡尔曼滤波器, 设运动速度初始化为0;

2) 使用卡尔曼滤波器预测下一帧中对应的目标区域, 并在下一帧中的预测区域进行目标匹配;

3) 如果目标匹配成功, 则更新卡尔曼滤波器, 并记录当前帧中运动目标的特征信息;

4) 如果匹配不成功, 则扩大搜索区域, 重新搜索当前帧, 或者丢弃前一帧, 直接处理下一帧。

火焰疑似目标跟踪的效果如图5所示, 图5a、图5b、图5c为时间间隔相同的3个时刻的跟踪结果。用跟踪到的疑似火焰目标进行特征提取。

1.5 特征提取

火焰具有许多独有的特征。单纯依靠火焰颜色特征来进行火焰检测得到的结果是不可靠的, 特别是在有火焰颜色的运动物体存在的情况下。为了提高检测的可靠性, 以加权的方式结合火焰的多个特征, 当火焰特征的加权值超过预先设定的报警阈值时, 就确认检测到的运动目标为火焰。

1.5.1 火焰区域增长性

在燃烧初期火焰的面积不断的增大[9], 这个特征可以有助于区分与火焰颜色相似的大小固定不变的运动物体, 比如汽车车灯等。本文用视频帧数来表示时间, 根据Blob特征提取得到的疑似火焰面积, 求得第i帧到第i+k帧的火焰面积变化率, 可用下面的公式表示

式中:Si和Si+k分别为第i帧和第i+k帧的疑似火焰面积, ΔSi即为间隔k帧的火焰区域像素的增长率, 设定上下限阈值dhigh和dlow, 当dlow<ΔSi

1.5.2 火焰形状的形状相似度识别

相对成熟的图像相似性度量可以归结为两大类:距离度量和相关度量[10]。可以用作相似度量的典型结构描述包括颜色、亮度特性、区域的面积、形状和区域结构等。

相邻帧的图像之间的相似度在一定的区间内变化。在火焰识别的过程中主要存在的干扰包括大面积光照变化和快速移动的亮点, 因此可考虑利用早期火焰形体相似度的变化规律来区分真实火焰与干扰。

计算前后两帧图像相似度的方法如下:

设得到的前后两帧疑似火焰区域二值图分别为binary1 (x, y) , binary2 (x, y) , 疑似火焰区域分别为Ω1, Ω2, 前后两帧图像的相似度ξ定义为

一般的, 当ξ小于某个阈值T1时, 即认为待识别物体是快速运动的亮点。而ξ大于某个阈值T2时, 认为存在固定发光区域。当ξ在2个阈值之间时, 可以认为该区域为火焰区域。表1所示为火焰视频 (Capture1, Capture4) 和干扰视频 (Capture10, Capture12) 的连续8帧的相似度列表。可以看出, 火焰视频连续帧相似度和干扰视频连续帧相似度存在明显的差距, 通过设定合理的阈值即可区分。

1.5.3 火焰跳动频率

火焰另一个区分于一般运动物体和光照的显著特征就是燃烧过程中火焰闪烁的特性。众多学者经过大量的实验分析得出, 火焰闪动在具有一定的动态频率范围 (7~10 Hz左右) 即目标轮廓、色度或亮度都具有0.5~20 Hz之间的变化频率时可能存在火焰的重要信号[11]。本文通过统计1 s内对跟踪到的疑似火焰目标跳动方向的变化次数来判断火焰的跳动频率。计算方法如下

由式 (7) 可以计算出疑似火焰的跳动频率。如果Freq在0.5~20 Hz之间, 则表明疑似火焰具有火焰闪烁的频率, 增加一个报警权值。

1.6 特征融合与火焰判定

对得到的以上3个火焰动态特征进行分析, 给出合适的报警信号。分析方法如下:设火焰区域增长性、形状相似度、跳动频率的报警权值分别为α, β, γ, 报警阈值为μ, 报警结果为S, 则有

当S=1时, 认为是火焰, 否则认为目标区域具有火焰颜色, 但不是火焰。确定疑似火焰目标为火焰后, 将此运动目标标记为火焰, 运用其外接矩形和面积可以判断火焰燃烧的变化趋势。

2 实验结果

测试用PC配置为CPU Intel Core i3 M330 2.13 GHz, 内存为2 Gbyte, 所有视频的分辨率为704×576。本文实验视频主要是用手持摄像机和室内监控摄像头拍摄的, 此外, 还有从网站上下载的视频, 其中包括美国国家标准研究院建筑与火灾研究实验室的视频http://www.fire.nist.gov/tree_fire.htm, 共12个, 测试库视频描述如表2所示。

实验1, 对各视频从火焰出现的前150帧分别使用单特征和特征融合进行检测 (见表3和表4) 。实验2, 运用本文算法对测试视频进行火焰检测, 并记录全过程 (见图6、图7) 。

从表3和表4可以看出, 单特征的检测无法达到高检测率、低误检率的工业需求, 而三特征融合可以有效提高检测率, 降低误检率。

图6是Capture4的检测结果图, 识别出的火焰用绿色框高亮显示, 火焰第一次出现在第226帧, 检测到火焰是在第278帧, 结果表明本算法检测到火焰只需2 s左右的时间。图6中图片顺序为从火焰开始到结束, 表明本算法可以对火焰的发展过程进行全程跟踪, 有助于判断火势。

图7是不同场景的测试结果图, 结果表明本算法成功排除光照、颜色、移动灯光等干扰, 稳健地检测出不同场景、不同光照下的火焰。而且在应用中火焰检测的处理效率达到了25 f/s (帧/s) , 能很好地满足工业需求。

3 总结

本文针对目前视频火焰检测算法无法达到高检测率、低误检率、实时的工业需求, 提出了一种基于目标跟踪和多特征融合的火焰检测算法。经过实验证明, 在普通的监控视频25 f/s的情况下, 本文的算法能够较好地适用于存在干扰的监控环境, 能够有效排除干扰, 及时发现火焰, 并且可以对火焰进行持续跟踪, 判断其变化状态。与传统的算法相比, 具有更好的普适性、可靠性、实时性以及过程性。

参考文献

[1]HEALEY G, SLATER D, LIN T, et al.A system for real-time fire detection[C]//Proc.Conference on Computer Vision and Pattern Recognition (CVPR’93) .[S.l.]:IEEE Press, 1993:605-610.

[2]FOO S Y.A rule-based machine vision system for fire detection in aircraft dry bays and engine compartments[J].Knowledge-Based Systems, 1996, 9 (8) :531-540.

[3]PHILLIPS W, SHAN M, LOBO N V.Flame recognition in video[C]//Proc.the Fifth IEEE Workshop on Applications of Computer Vision.[S.l.]:IEEE Press, 2000:224-229.

[4]YAMAGISHI H, YAMAGUCHI J.Fire flame detection algorithm using a color camera[C]//Proc.1999 International Symposium on Micromechatronics and Human Science.[S.l.]:IEEE Press, 1999:255-260.

[5]TURDU D, ERDOGAN H.Improving gaussian mixture model based adaptive background modeling using hysteresis thresholding[C]//Proc.15th Signal Processing and Communications Applications.[S.l.]:IEEE Press, 2007:1-4.

[6]LIU C B, AHUJA N.Vision based fire detection[C]//Proc.the 17th International Conference on Pattern Recognition (ICPR’04) .[S.l.]:IEEE Press, 2004:134-137.

[7]张修军.带标记矫正的二值图连通域像素标记算法[J].中国图象图形学报, 2003, 8 (2) :198-202.

[8]KALMAN R E.A new approach to linear filtering and prediction problems[J].Journal of Basic Engineering, 1960, 82 (1) :35-45.

[9]CHEN T H, YIN Y H, HUANG S F, et al.The smoke detection for early fire-alarming system based on video processing[C]//Proc.the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing.[S.l.]:IEEE Press, 2006:427-430.

[10]刘兴洪.基于内容相似性的图像特征提取[D].重庆:重庆邮电大学, 2007.

多特征检测 篇4

国外很多学者针对视频篡改检测进行了深入的研究,并取得了一定的成果。Weihong Wang和Hany Rarid提出了多种视频篡改检测算法: 针对MPEG视频二次压缩的篡改检测［1］、基于灰度向量协方差的视频篡改检测［2］、一种用于隔行扫描和非隔行扫描的视频篡改检测［3］、二次量化MPEG视频篡改检测［4］。Michihiro等人根据各类型相机的噪声模式相当于其指纹这一特征,提出通过检测篡改视频中隐藏的噪声特征不一致性判断视频是否被篡改［5］。Kancherla等人根据篡改视频和原始视频帧差异性特征,通过提取帧运动残留信号,利用Markov模型提取每帧324 维特征,采用支持向量机进行分类。由于特征维数较高,计算较复杂,所以此方法的分类准确率较低［6］。

近年来,国内对视频篡改检测的关注度也越来越高,研究范围也逐渐拓宽。秦运龙等人提出了一种针对MPEG格式视频［7］,通过判断视频P帧运动矢量幅度与均值运动矢量的偏移量来检测视频是否发生插入或删除篡改,并定位篡改点。Chao等人利用视频光流一致性特点,提出基于光流一致性的篡改检测算法［8］。根据成像传感器像素不均匀的特性,郭琳琳［9］等人采用小波滤波器提取视频帧中的残留噪声,通过分析噪声的频谱差异实现抠像视频的检测。刘雨青［10］等人针对视频中运动目标从固定背景中移除的情况,通过篡改前后帧的能量分布连续性来检测是否存在帧内目标的删除,并根据能量可疑度大致对篡改区域进行定位。

通过提取视频特征进行篡改检测也是当前的研究热点,如提取时空特征、颜色特征及纹理特征［11］等进行视频篡改检测。在特征提取的过程当中,每一种特征都有其不足之处,单一特征往往不能全面表达图像的可视信息。目前已经有学者意识到了多特征融合的重要性,并提出了多特征融合的解决方案。如针对帧内插入异源视频的情况,李富贵等人提出一种多特征融合的异源视频篡改检测［12］,利用二维相位一致性及噪声模式,提取视频特征,并进行特征融合,通过支持向量机分类实验证明检测的有效性。多特征融合使得问题得到了较好的解决。如何对视觉特征进行有效融合,从而实现高效准确的视频篡改检测,是该领域需要研究的关键问题。本文介绍一种新的多特征融合的篡改检测算法: 结合LM算法对BFGS进行改进,用改进的BFGS神经网络对视频特征进行融合篡改检测,实现了良好的检测效果。

1 视频特征选取

为了快速有效地鉴别视频是否被篡改,应选取视频特征量,平均梯度和信息熵对视频帧信息的评价较为全面,并且算法简单,所以本文选择平均梯度和信息熵作为特征量。

1. 1 平均梯度

平均梯度［13］( average energy gradient) 是图像质量的评价函数,指图像的边界或影线两侧附近灰度有明显差异。它反映了图像对细节对比的表达能力。平均梯度Aeg定义为

式中: F( i,j) 为图像的第i行,第j列的灰度值; M为图像的总行数; N为图像的总列数。

1. 2信息熵

熵用来表征图形灰度分布的聚集特性,也是一种信息量的描述,假设信息量为I( xk) ,则I( xk) 在离散数值上的平均值称之为信息熵( information entropy) 。信息熵H( X) 定义为

式中: 离散的随机变量X ={xk|k = 0,1,…,K}; pk为事件xk发生的概率。

但是一维信息熵不能反映图像灰度分布的空间特征,为了将这种空间特征有效的表示出来,需要在一维熵的基础上引进能够反映灰度分布空间特征的特征量来组成图像的二维熵,其定义式为

式中:,f( i,j) 为特征二元组( i,j) 出现的频数; N为图像尺度; i,j分别为像素的灰度值和邻域灰度。

通常,单一特征不能很好地表现出每幅图像的显著特征,从而影响检测效果,多特征融合能够改善这种情况,进一步提高检测效率,如图1 所示。

2 视频篡改检测

2. 1 改进的BFGS神经网络

BFGS神经网络学习算法是最优化理论中一类典型的拟牛顿法,但该算法计算Hessian矩阵时很复杂,虽然精确度高,但代价也很大,而相对于BFGS,LM算法的收敛速度快,所以本文从Hessian矩阵入手,在BFGS算法中的近似Hessian矩阵不满足迭代要求时引入LM算法进行融合改进,以弥补BFGS算法的不足。

2. 1. 1 BFGS算法

BFGS算法公式为

其中,δk= xk- xk － 1,γk= gk- gk － 1,gk为函数f在xk处的梯度值。

Al - Baali和Fletcher提出如下测试公式,用来表征近似的Hessian和Hessian之间的误差。

式中:

2. 1. 2 算法步骤

BFGS算法收敛所需的步长较小,所以迭代过程中所需要的储存空间及计算量比LM大,因此在保证Hessian矩阵误差可接受时,选择LM算法。采用本算法的结果可以保证 γk比较大时Bk同样具有对称正定性,保证结果可靠性。

步骤1: 确定初始点X( 0) 和初始矩阵B0= In及精确度ε>0;

步骤2:若停止,返回极小值点;Δ

步骤3:取p(0)=-B0▽f(x(0));

步骤4: 通过线性搜索法,不断迭代求出极小值点x( k);

步骤5:更新Hessian矩阵

其中: LM( A,λ) = ( AAT+ λATT) ,ATT= diag( AAT) ,λ 为阻尼系数,A为Jacobian矩阵。λATT的引入是为了防止BK在极值点的附近出现病态。

步骤6: 返回,继续迭代。

为了证明本文算法的优越性,选取一简单二元二次方程作为实验函数,在不同初值的情况下,通过LM算法,BFGS算法和改进的BFGS算法进行求解,得到的收敛次数如图2 所示。可以看出,本文算法要比原有算法收敛快。

2. 2 篡改检测模型

神经网络的工作原理和结构特点决定了它非常适于进行特征融合的检测。提取特征向量输入改进的BFGS神经网络进行融合分类,使用训练好的BFGS网络对查询视频进行篡改检测。具体流程如图3 所示。

首先提取参考视频的特征,即平均梯度和信息熵,进行融合,并作为测试样本集训练BFGS神经网络; 对于查询视频,采用相同的方法选提取视频特征,进行特征融合,用训练好的神经网络对查询视频进行训练,得到多特征融合检测结果。

3 结果

本文首先选用一段正常场景的视频,记为视频A,将它导入MATLAB2014a中,然后在Simulink中进行视频篡改,在视频的上方添加游走字幕,得到视频B,如图4 所示。

各提取A、B视频的前1 000 帧特征,训练BFGS神经网络,将训练好的神经网络用于20 段不同场景所拍摄视频的篡改检测。将该算法与文献[14]中基于SURF的视频篡改检测算法进行比较,实验结果如图5 所示。由此可见,本文算法对视频篡改进行检测的效果良好,准确率在98% 以上。

在实验过程中发现,若采用复杂光线下拍摄的视频,会使得篡改检测率偏低,对此进行深入研究时发现,在提取纯色视频帧和正常视频帧的特征值时,复杂光线情况下的视频特征值变化大,从而使BFGS神经网络在篡改检测时出现较低的检测率。如表1 所示。该复杂光线现象因光线短时间内发生急剧变化而导致,对于正常拍摄的视频,通常不会出现此现象。

4 总结

多特征检测 篇5

未来空袭与防空的对抗依然是体系与体系之间的对抗。随着科学技术的进步和大规模杀伤武器的扩散, 战术弹道导弹 (TBM) 、巡航导弹 (CM) 、无人机等已成为空袭体系中必不可少的组成部分, 加上攻击时采用低空或超低空突防、掠地 (海) 飞行的技战术, 飞行高度仅10~100米, 导致探测系统接收的目标回波杂波强、信噪比低、多径效应明显, 目标往往湮没在杂波和噪声中。而伴随着隐身技术的日趋成熟, 飞机、导弹等目标的RCS减小了一到两个数量级, 极大地影响了雷达威力。总而言之, 对现代雷达的要求仍然是“四抗”, 即抗干扰、抗侦察、抗摧毁、抗隐身和低空突防。

为了对付这些威胁, 整个防空反导系统的探测器应包括能在严重的杂波中探测出小目标的监视及跟踪雷达, 可以边跟踪边扫描, 作为后续跟踪及打击装置的基础。因此, 对微弱目标的检测与跟踪成为在防空反导体系中雷达急需解决的技术问题。

在弱小目标检测方面, 目前主要的研究方向是采用多信息融合以及TBD等技术。其中, 采用多传感器信息融合的探测方法, 系统复杂, 造价昂贵, 在实际应用上受到限制;而TBD技术在雷达系统中, 主要有动态规划算法[1], 以及正在尝试的粒子滤波和时频分析方法等, 但由于需要考虑时间和空间信息的相关性, 它们的计算量和存储量都偏大, 处理也相对复杂。本文提出了一种新型的弱小目标检测与跟踪的技术方法, 该方法基于生物视觉感知机理, 对单个传感器获取的目标信息, 结合信号处理与图像处理技术, 采用多特征分析及融合的多种处理算法, 完成多特征提取、自学习以及融合相关处理等, 可以克服常规采用单一特征处理可能带来的弱信号提取性能与提取可靠性之间的矛盾, 能够在防空反导系统中从强杂波背景干扰中探测出目标。

2 生物视觉感知与信息融合

视觉可以看作是一个完善的信息处理系统。对于计算机视觉而言, 值得研究的是图1中的第2部分, 即信息处理过程的技术实现问题。人类视觉的显著特征之一就是对比感知, 其核心首先是强调了整体背景的支撑衬托作用, 其次才突出并体现了图形 (目标) 的视觉反差, 使目标与背景相分离。分离的过程实际上就是目标提取的操作过程[2]。

根据以上探讨的相关理论, 在此提出一种基于生物视觉原理的多特征融合智能相关技术, 根据目标特征 (尺度、外形、运动等特性) 具有一致性和关联性, 而噪声则是随机涨落的特点, 遵循视觉感知对运动目标的认知过程, 设计若干相互独立的处理通道, 对多特征进行融合, 从而建立检测、识别与跟踪策略。算法主要内容包括:背景预测、特征提取与信息融合以及目标信号的检测与跟踪。

2.1 背景预测

采用时间递归算法, 根据目标、杂波模板中存储的特征信息和上一次的目标信号处理结果进行背景学习, 可预测杂波背景、确定杂波特征。接收到下一周期的回波数据后, 在特征域中进行杂波抑制。

采用基于卡尔曼滤波理论的时间递归方法来预测背景。这种方法是基于这样的事实:背景在帧间的变化较目标在帧间的变化要缓慢一些, 可以采取学习的方法来预测背景。背景递归预测公式为

其中i, j代表一个像素的坐标, k是时间坐标及帧号, Ib (i, j, k) 表示k帧时的背景特征, I (i, j, k) 表示k帧时的图像特征, g (i, j, k) 是增益因子。g (i, j, k) 表达式为

λ和μ是介于0和1之间的常量, 决定了背景预测的自适应特征, M (i, j, k) 是二值化轮廓。λ必须足够小, 以便运动点目标能够从背景序列中有效地分离出来;μ必须大于λ, 表征背景变化快慢。

由于预测背景中不包括目标, 目标可以通过输入图像序列与预测背景比较检测出来。

其中I (i, j, k+1) 表示k+1帧时的图像特征。

选择一个恰当的阈值将产生一个二值化的目标轮廓。阈值T可以通过恒虚警率计算出。若D (r, k+1) ≥T, 则M (r, k+1) =1;否则M (r, k+1) =0。

2.2 特征提取与信息融合

目标检测跟踪的前提与关键是目标特征提取。在雷达回波信号中, 除强度和频率特征外, 其它还有空间特征、时频特征等, 充分利用目标的物理、数学等多方面特征信息, 可有效提高系统对目标和干扰的分辨能力。

在特征融合中, 采用“平行多级同步整合”机制, 选定目标的若干稳健特征, 按系统中的特征稳定性差异来确定各特征的置信度, 并根据能量函数最小准则计算各特征归一化加权系数, 然后进行特征融合, 形成能反映目标属性的组合特征, 再根据相应的决策准则进行目标判识。

在实际实现中针对不同特征采用不同的处理方式。由训练样本观察均值和标准差差异较小且可以直接提取向量的特征, 通过对称及并行组合后由K-L变换至一个新的组合特征域进行处理。

取两个特征的融合为例进行说明。设A、B为样本空间Ω上的两组特征, 任意样本ξ∈Ω, 其对应的两个特征向量分别为α∈A和β∈B, 用复向量γ=α+iβ来表示ξ的并行组合特征, 此时若两组特征α与β的维数不等, 低维的特征向量用0补足。例如, 则组合特征为。

样本空间Ω上的组合特征空间定义为C={α+iβ|α∈A, β∈B}, 该空间为n维复向量空间, 其中n=max{dim A, dim B}, 定义内积如下:

其中X, Y∈C, H为共轭转置符号。

定义了以上内积的复空间称为酉空间。酉空间内的类间散布矩阵、类内散布矩阵和总体散布矩阵分别定义为:

其中P (ωi) 为第i类训练样本的先验概率, mi=E[Xωi]为第i类训练样本的均值, m0=∑Li=1P (ωi) mi为全体训练样本的均值。由上式的定义可知, Sw、Sb、St均为Hermite矩阵, 且非负定。当Sw可逆时, Sw、St均为正定矩阵。

下面以总体散布矩阵St为例来介绍酉空间内的K-L变换方法, 可设St的特征向量为 (ξ1, ξ2, L, ξn) , 且彼此正交, 所对应的特征值为 (λ1, λ2, L, λn) , 满足λ1≥L≥λn。选择前d个最大特征值所对应的特征向量 (ξ1, ξ2, L, ξd) 作为投影轴, 由于酉空间内St的特征值均为非负实数, 组合特征向量在轴ξj上投影后的总体散布量为λj。在酉空间内, 以St为产生矩阵的K-L变换为:

其中Φ= (ξ1, ξ2, L, ξd) 。该变换用于组合特征的抽取。

此外, 具有相对意义的特征一般用于定性分析, 通过样本难以提取特征向量, 针对该类特征, 在决策阶段则通过D-S证据理论进行特征权重的取舍, 从而达到多特征融合的目的。

2.3 目标信号的检测和跟踪

目标特征信息通过K-L变换和D-S证据理论融合后, 即进入目标信号的检测和跟踪。该模块通过训练样本的学习, 建立目标和杂波的初始模板, 采用模板进行信息匹配。目标模板包含了整个信号处理过程到当前时刻所提取的所有目标信息及其各阶融合特征, 并根据当前时刻的检测和跟踪状况对模板进行实时修正。杂波模板包含最近时刻 (一般3~5帧) 所判读为杂波的信号信息, 并根据当前数据中的杂波状态进行实时修正。观测域匹配于目标模板的判断为目标, 匹配于杂波模板的判断为杂波, 否则为噪声。模板匹配采用卷积的方式进行, 可以通过FIR滤波器实现。

3 弱小目标信号处理的硬件设计

弱小目标信号处理硬件系统由两块信号处理板组成, 主板负责处理和通道信号, 并完成与雷达系统的通信与数据传输, 从板负责处理方位差、俯仰差通道信号。每块信号处理板都采用FPGA+DSP的架构模式, 采用FPGA完成采样控制及中频信号的预处理, 采用DSP完成后续部分的弱小目标信号处理算法, 同时设计较大的数据吞吐通道, 降低对后端的速率要求。具体框图如图3所示。

4 验证

4.1 仿真验证

依据基于多特征融合相关弱小目标信号处理算法的基本原理, 开展基于Matlab的仿真验证研究。利用信号源辐射信号模拟不同强度的目标回波, 将信号源功率设置为低于原系统灵敏度-6d B, 分别采用原常规信号处理算法以及基于多特征融合相关的弱小目标信号处理算法对输入信号进行仿真处理。仿真结果见图4, 可以看出, 基于多特征融合相关弱小目标信号处理算法的检测能力明显优于常规信号处理算法。

4.2 试验验证

实际验证以某雷达作为硬件平台, 通过外挂弱小目标信号处理组合实现某雷达常规信号处理系统与弱小目标信号处理系统分时切换工作, 验证弱小目标信号处理算法对系统检测跟踪能力的改善。验证试验系统构成框图见图5。

通过放球试验跟踪气球悬挂的直径200mm金属球, 定量测试两种信号处理工作模式下的最大跟踪距离, 评估弱小目标检测与跟踪技术对提高最大跟踪距离的效果。试验总共跟球8次, 两种工作模式各4次。跟球试验结果见图6所示。

试验结果表明, 对于200mm直径的金属球, 弱小目标信号处理比常规信号处理的平均跟踪距离提高了3.2km, 折算到信噪比则是提高了3.9d B, 对增加雷达的最大跟踪距离效果明显。

5 结论

基于多特征融合相关的弱小目标检测与跟踪技术的实施与验证到目前为止已取得了初步成效, 其对于弱小目标的检测跟踪能力较常规信号处理有较大的提高, 若能将本研究成果运用到防空反导体系的雷达设备中, 则可用最便捷可行的方式提高雷达的系统性能, 现役雷达只需更换信号处理分系统, 新研制的雷达也可省去为增强弱小目标探测跟踪能力而增大天线口径、增加发射机功率等所投入的大量经费, 从而大大降低雷达设备乃至整个防空反导系统的研制成本。

摘要：弱小目标的检测与跟踪是当前雷达信号处理研究的热点。文章介绍了一种新的弱小目标检测跟踪技术, 该技术基于生物视觉感知机理, 将图像处理方法融入雷达信号处理, 分析目标特征和杂波、噪声等背景特性, 在此基础上探讨有效的背景抑制方法, 并结合多特征信息融合方法实现在复杂背景下对弱小目标的检测与跟踪。

关键词：弱小目标检测,视觉感知,多特征融合

参考文献

[1]强勇, 焦李成, 保铮.一种有效的用于雷达弱目标检测的算法[J].电子学报, 2003, 31 (3) :440-443.

多特征检测 篇6

关键词：前车检测,车道线识别,多特征

前方车辆检测是目前汽车安全辅助驾驶系统研究的热点,是实现汽车驾驶安全、避免碰撞的关键技术。其主要技术指标是较高的实时性、鲁棒性和较少的漏检和误检。

车辆检测的普遍方法是利用激光发射器或毫米波雷达等主动传感器,即使其已经显示了较好的结果,但仍存在着分辨率较低,彼此互相影响和价格比较昂贵的缺点。与之相比,例如摄像机等被动传感器却能提供更高的分辨率,而且能够有效跟踪拐弯或变车道的车辆; 另外视觉信息也有利于识别交通标志和行人等障碍物。前车检测的技术难点是: 沿路背景在持续改变; 随着天气和一天中时间的变化光线也在持续变化; 车辆速度、外形、大小和颜色都不尽相同; 车辆的外形受邻近物体遮挡和阴影影响;而且算法必须具有较高的实时性。

目前,基于视觉的前车检测方法主要有以下四类: 基于模版匹配的方法[1,2]对模板的依赖性较强,实时性差; 基于立体视觉的方法[3]特征点的匹配难度较大,算法复杂,成本高,对车辆本身的运动较敏感; 基于光流场的方法[4,5]对光线变化较敏感,计算量大,实时性差,而且当前车和本车相对运动较小时,不易将背景区域与车辆的光流区分开来; 基于特征的方法[6,7]是利用车辆的一些显著性特征如车底阴影、纹理、轮廓和对称性等特征提取车辆,然而当光照及周边环境有较大变化时,单一特征容易被弱化,多个特征结合却能改善检测的准确性和健壮性,所以结合多个特征是基于特征方法检测目标的大势所趋。文献[6]利用车底阴影和灰度对称性两种特征来检测车辆,在复杂的路面和天气条件下容易出现漏检和误检。文献[7]结合车道线识别和车底阴影特征,但天桥对路面的投影不能很好排除。

基于上述分析,本文提出了结合车道线识别和多特征的前车检测方法。首先采用最大类间差法( Otsu) 和Hough变换检测车道线,然后在左右车道线内依据车底阴影生成车辆假设区域,最后利用垂直梯度投影均值、纹理特征和边缘对称性特征三层约束来验证车辆区域。

1 预处理

摄像机获得的视频图像,由于受到周围环境的影响,存在着很多无用信息和各种各样的噪声干扰。为了实时准确的检测到前方车辆,必须对原始视频图像进行预处理。首先,通过灰度化处理将原始彩色图像转换为灰色图像; 然后采用大小为3 × 3 的模板进行中值滤波平滑处理,减小噪声干扰如图1。由于天空区域并非存在车辆的感兴趣区域,所以采用水平积分均值分布将图像分为天空区域和路面区域,水平均值分布图如图2。由于天空区域通常比路面灰度值更高,而且在天空和路面相接处可能有一个较大的亮度差异变化,故选择从水平均值分布曲线上部起第一个最小值所在的行作为天空和路面区域的分界线[8],所得的路面区域如图3。

2 车道识别

车道线识别即在不同条件下依据车道标志定位车道的左右边界。有研究显示,将前方车辆的检测区域( AOI) 确定在左右两条车道线之间,大约可以减少60% 的计算量[7]。本文依据车道线标志的灰度比路面更加明亮,其边缘灰度具有先增大再减小的阶跃变化以及道路标示线具有连通性这三个主要特征,结合Otsu算法和Hough,提取图像中车道线标志的特征点,结合Otsu算法和Hough变换检测车道线的左右边界,检测结果如图4。

3 生成车辆假设

识别出车道线后,系统需要在其确定的AOI中找到所有满足车辆特征的区域作为车辆假设区域。无论光照明暗,车辆底部的阴影总是存在,而且其通常是水平的,据此本文利用车底阴影特征来检测前方运动车辆,其过程可以分为两步: 第一步,车底阴影检测; 第二步,边界提取。

3. 1 车底阴影检测

为了准确地检测到车底阴影,需要寻求一种鲁棒性强的阈值选取方法,以解决不同路面和不同光照条件下车底阴影强弱不同的问题。由于车底阴影的灰度值要比路面低一些,路面灰度均值和标准差是分割阈值的首选。采用Sobel垂直方向检测算子,对两条车道线确定的感兴趣区域进行水平边缘提取,通过由下往上区域生长方法,生长过程中碰到边缘即停止,即得到部分路面像素,统计路面像素,绘制其灰度分布直方图,从而得到其均值 μ 和标准方差 σ ,以 μ - 3σ 为阈值对图像进行二值化,并对其进行形态学滤波消除噪声,得到车底阴影图像[9]。计算灰度图像的均值与标准差公式如下:

式中,图像大小为M × N个像素,f( x,y) 表示第x行y列像素的亮度。

图5 ~ 图7 分别为水平边缘图、灰度分布直方图和车底阴影图。

3. 2 边界提取

车底与路面交线边缘能够确定车辆的位置,而车底阴影为块状区域,由于相邻两辆车在图像中的距离不可能低于10 个像素。本文自下而上,沿y方向将上下行相差低于10 个像素的阴影线合并,选取最左边的点为左端点,最右边的点为右端点[10]。

车辆在图像中的投影宽度由下面的投影公式[11]近似表示:

式( 3) 中: 图片大小为Sy× Sx( 单位: 像素) ,H为路面与摄像机之间的水平高度( 单位: m) ,wexp为实际车辆的宽度(单位:m),y为图像中阴影线所在的行(单位:像素)。

对阴影线合并后的图像按自上而下,自左至右的顺序扫描搜索每条阴影线的起点所在列xstart和终点所在列xend,满足式( 4) 时记为起点,满足式( 5)记为终点。阴影线的长度由式( 6) 确定。保留满足式( 7) 的阴影线,剔除其他阴影线。

将阴影线到图像顶部的高度记为Hpix,图像高度记为Himg,按式( 8) 可以自适应获得不同距离车辆在图像中的近似高度[8]。由于将车辆的左右边缘包含在边界矩形中可以提高后续分析的精度,本文将阴影线的左右端各扩展10% 个像素完成对车辆假设区域的初步定位,如图8 中黑色矩形框。利用Sobel算子对粗定位的边界矩形中的图像进行水平和垂直边缘检测,进而获得垂直和水平积分投影图像,垂直投影图的局部峰值作为车辆的左右边缘,水平积分投影图中第一条达到最大值一半的行为水平上边缘,精确定位车辆假设区域[12]如图8 中白色矩形框。

4 验证车辆假设

受复杂路况和光照影响,以上定位的车辆位置可能存在非车辆区域,本文利用纹理特征、垂直梯度投影均值和边缘对称性特征三层约束来验证车辆假设区域,以进一步排除虚假目标。

车辆的后轮、挡风玻璃和车牌照等区域在水平和垂直方向的灰度变化较大,区域纹理较复杂,所含信息量较大; 而如马路、树木等非车辆区域则由于灰度级数较少,所含信息量较少。根据信息论,局部信息熵可以有效反应图像所含信息量大小,其值越大,则图像区域所含信息越丰富,熵的度量公式如式( 9) 。

式( 9) 中,p( xk) 表示灰度级为xk的概率。

估计车辆假设区域中每条水平线段的局部熵,去除熵值低于一定阈值的行( 256 色灰度图像的熵值取值为[0,5. 545],本文选取阈值为2. 4) ,只保留所剩行数大于5 的车辆假设区域。每行的p( xk) 由其灰度分布直方图获得,车辆假设区域中各行的熵由式( 9) 计算[11]。

无论是在白天还是夜晚,与阴影和路面倒影等干扰因素相比,车辆区域的边缘变化次数多,垂直边缘丰富,垂直梯度投影均值较大。利用Sobel水平方向检测算子,提取精定位的车辆假设区域的垂直边缘,并按式( 10) 计算垂直梯度投影的平均值,移除其值较小的假设区域。

式( 10) 中,W和H分别为边界矩形的宽度和高度,B( i,j) 为垂直边缘图像的亮度值。

前方车辆的尾部具有非常好的边缘水平对称性,应用Canny变换获得车辆假设区域的边缘图像,将其列方向的投影均值视为横坐标的一维函数:

选取边界矩形竖直中轴xs为对称轴,对称宽度为矩形宽度w,在以对称轴xs为竖轴的新坐标系下,定义函数g( x) = g( xs+ u) 的奇函数和偶函数分量分别为:

若偶函数的比重大,则说明对称性好,而奇函数分量均值为零,偶函数分量均值为正,二者不能进行比较,首先将偶函数归一化,使其均值为零:

感兴趣区域矩形的对称性测度公式为:

当S( xs) = 1 时,完全对称; S( xs) = - 1 时,完全不对称,据统计,S( xs) ≥ 0. 6 时,目标为车辆,反之为虚假车辆。

5 实验结果分析

为验证文中所提检测算法的鲁棒性和实时性,选取PETS2001 图像序列( 视频图像为768 × 576 的RGB图像,频率为25 Hz) 作为测试数据,在配置Intel Pentium 2 GHz CPU,2 G内存,安装Windows 7 操作系统的PC机上,采用Open CV2. 4 开发包,在VS2012 环境下编程进行了大量实验。图9 显示了不同环境下的部分检测结果,检测到的车辆目标用白色边界矩形标记。

在不同光照条件下检测结果如表1 所示,在强光照条件下可能会漏检远距离的车辆,弱光照使图片质量下降,进而影响检测结果。算法的执行时间小于40 ms,可完全满足车辆检测对实时性的要求。

根据实验结果,在不同光照条件下,算法的准确率达到95% 以上,能够实时鲁棒地检测出本车前方中远距离的车辆。

6 结论

本文给出的一种结合多特征的前方车辆检测算法,可以通过Otsu算法和Hough变换将检测区域缩小到两条车道线之间,减小了算法运算量,提高了检测速度; 依据车底阴影和边缘特征定位车辆; 利用纹理特征、垂直梯度投影均值和边缘对称性特征三层约束验证车辆,排除虚假目标,提高准确度。实验表明,算法在多种光照和路面环境下能够实时准确地检测到前方车辆。后续工作将结合跟踪算法完善整个系统,进一步提高算法的实时性和可推广性。

参考文献

[1] Gepperth A R T.Co-training of context models for real-time vehicle detection.Intelligent Vehicles Symposium(IV),2012 IEEE.IEEE,2012:814—820

[2] 胡铟,杨静宇.基于模型的车辆检测与跟踪.中国图象图形学报,2008;13(3):450—455Hu Yin,Yang Jingyu.Model based vehicle detection and tracking.Journal of Image and Graphics,2008;13(3):450—455

[3] Franke U,Gavrila D,Grzig S,et al.Autonomous driving goes downtown.IEEE Intelligent Systems,1998;(6):40—48

[4] 聂小燕.基于分层光流场的运动车辆检测与跟踪.实验技术与管理,2013;29(11):50—53Nie Xiaoyan.Moving vehicle detecting and tracking based image layered optical flow algorithm.Experimental Technology and Management,2013;29(11):50—53

[5] Wang J,Bebis G,Miller R.Overtaking vehicle detection using dynamic and quasi-static background modeling.Computer Vision and Pattern Recognition-Workshops,2005.CVPR Workshops.IEEE Computer Society Conference on.IEEE,2005:64

[6] 雷美琳,肖志涛,崔琴.基于双特征的前方车辆实时检测.天津师范大学学报:自然科学版,2010;30(1):23—26Lei Meilin,Xiao Zhitao,Cui Qin.Double-feature based real time preceding vehicle detection.Journal of Tianjin Normal University(Natural Science Edition),2010;30(1):23—26

[7] 赵日成.基于车底阴影的车前障碍物检测.电子科技,2015;28(3):15—18Zhao Richeng.Front obstacle detection based on shadow of chassis.Electronic Sci.&Tech,2015;29(3):15—18

[8] Lim K H,Ang L M,Seng K P,et al.Lane-vehicle detection and tracking.Proceedings of the International Multiconference of Engineers and Computer Scientists,2009,II:IMECS 2009,Hongkong.2009

[9] 张楚金,王耀南,卢笑,等.基于假设验证和改进HOG特征的前车检测算法.电子测量与仪器学报,2015;29(2):165 —171Zhang Chujin,Wang Yaonan,Lu Xiao,et al.Front-vehicle detection algorithm based on hypothesis and verification of improved HOG feature.Journal of Electronic Measurement and Instrumentation,2015;29(2):165—171

[10] 齐美彬,潘燕,张银霞.基于车底阴影的前方运动车辆检测.电子测量与仪器学报,2012;26(1):54—59Qi Meibin,Pan Yan,Zhang Yinxia.Preceding moving vehicle detection based on shadow of chassis.Journal of Electronic Measurement and Instrument,2012;26(1):54—59

[11] Ten Kate T K,Van Leewen M B,Moro-Ellenberger S E,et al.Mid-range and distant vehicle detection with a mobile camera.Intelligent Vehicles Symposium,2004 IEEE.IEEE,2004:72—77

多特征级联筛选的高鲁棒车牌检测 篇7

现在已经存在很多比较成熟的车牌检测算法,应用在高速收费站、停车场入口等处,这些算法有一个共同点,就是都是在车辆运行缓慢的时候进行拍照,以得到角度、清晰度和光照等都有保证的高质量车脸图片,再对车牌区域进行高精度的检测定位与识别。但是目前大部分的监控视频,尤其是道路监控视频,大都是在车辆快速运动的时候进行拍摄、录制的,运动中的车辆抓拍,本身就存在一定的变形和模糊,再加上一天中不同时刻光线的变化、监控区域背景的复杂性、拍摄角度差异等影响,得到的图片质量会变差;同时视频图像在编码和传输过程中必然带来一定的损耗,导致部分车牌存在不同程度的模糊等降质,使得传统的车牌检测与定位算法难以准确地进行检测、定位[2,3]。

本文提出了一种基于多特征级联筛选的高鲁棒车牌检测方法,通过对清晰和模糊车牌梯度、颜色直方图等特征进行级联筛选和区域合并,实现清晰车牌与模糊车牌都可以准确检测的高鲁棒车牌检测。

1 现有的车牌检测算法

现有的车牌检测的主要方法分为两类:基于灰度图像的车牌检测算法和基于彩色图像的车牌检测算法[4]。其中,基于灰度图像的车牌检测算法包括基于边缘检测的算法、基于数学形态学的算法、基于小波变换的算法、基于纹理分析的算法等。基于边缘检测的算法在车牌图像边缘模糊的情况下检测效果不好;基于数学形态学的算法通常需要借助其他算法进行车牌检测;基于小波变换的算法在车牌区域受噪声污染较大时难以使用;基于纹理分析的算法只能处理背景简单的图像。

而基于彩色图像的车牌检测算法包括基于颜色特征和纹理特征相结合的算法、基于Mean Shift的算法、基于灰度图像和彩色特征相结合的算法、基于字符边缘特征和彩色特征相结合的算法、基于边缘检测和HSV色彩模型相结合的算法、基于颜色特征和边缘纹理特征相结合的算法等。基于颜色特征和纹理特征相结合的算法主当车牌颜色褪色严重或污染时,检测效果不好;基于Mean Shift的算法使用迭代运算,运行时间过长;基于灰度图像和彩色特征相结合的算法对于过于模糊的、出现较大污点的车牌检测准确率低;基于字符边缘特征和彩色特征相结合的算法依赖于车牌的彩色信息,在车牌图像模糊褪色情况下检测准确度有所下降;基于边缘检测和HSV色彩模型相结合的算法对光照条件不足所拍摄的车牌图像定位效果不好;基于颜色特征和边缘纹理特征相结合的算法依赖于所拍摄的车牌图像的质量,在车牌图像模糊的情况下检测准确度低。

综上所述,现有的车牌检测方法都不能解决模糊车牌的检测问题,而其实目前的监控视频中有很大部分都难以得到高质量、清晰的车牌图片,因而在用的车牌检测识别算法大都应用在可以约束拍摄、车牌图片清晰的收费站、卡口等场景,而并不能应用在高速公路、城市道路等非约束拍摄等场景。针对此类场景下车牌的检测,本文提出一种高鲁棒的车牌级联检测筛选方法,在能准确检测清晰车牌基础上,也能同时对模糊车牌进行准确检测。

2 算法设计

2.1 算法简要介绍

本文提出的基于多特征级联筛选的高鲁棒车牌检测方法包括基于梯度特征的车牌区域预检测、基于颜色直方图特征的级联筛选和重合区域合并三部分。基于梯度特征的车牌区域预检测,主要是考虑到清晰车牌和模糊车牌都具备一个共同的轮廓特征:即长宽符合一定比例的矩形边框,以及边框内字符和数字间存在明显分割区间和分割点等。所以提取车牌区域的归一化梯度特征,通过训练分类器来进行车牌非车牌的预分类检测。但仅仅依赖该特征难以将车灯等具备同样轮廓特征的区域分开,因此需要结合其他特征进行进一步的筛选。由于车牌存在底牌与字符颜色为固定少数的特点,因此可以利用车牌区域的颜色直方图特征,剔除不符合颜色直方图分布的候选区域。

2.2 我国车牌的特点

我国的车牌在尺寸和颜色上有一定的规律,表1和表2为统计结果,尺寸和颜色的特征将作为很重要的分类器训练和级联筛选的参数[5,6]。

根据对表1和表2的分析,可以发现,最常见的大型汽车和小型汽车车牌比例为3.14∶1(因摄像头多从车辆正面拍摄,且车脸信息更有价值,所以本文暂不考虑大型汽车后面的车牌),最常见的民用汽车车牌颜色对为黄底黑字和蓝底白字。

2.3 算法说明

2.3.1 基于梯度特征的车牌区域预检测

为了保证车牌训练样本的多样化,将标定的正样本分为3种类型:

1)高清晰车牌,车牌区域大小约为195×65,可清晰辨认每一个车牌号码,共706张;

2)较清晰车牌,车牌区域大小约为150×50,可大致辨认或部分辨认车牌号码,共298张;

3)模糊车牌,车牌区域大小约为105×35,车牌号码不可辨认,共623张。

根据车牌尺寸的统计信息,将标定区域长宽比固定为3∶1,这样储存的尺度信息就从2个参数减少到1个。由于车牌的外边框是重要特征,标定时全部将外边框包含在内。

提取车牌的归一化梯度(Normed Gradients,NG)特征[7]训练SVM分类器。由于车牌的大小不是固定的,需要对标定框的大小做遍历,并把这个大小储存下来,作为模板匹配时的依据。遍历方法如图1所示。

以标定框的左上角为原点,以模板大小24×8的倍数为宽高,向右向下画框,计算所画的框与标定框重合部分的比例,计算公式如下

当重合比例R达到95%以上,保存这个大小,并提取对应框的特征。只保留特征框个数超过50的特征框大小。

使用得到的所有特征框进行分类器训练,得到一个24×8的模板,模板的数值代表相应位置的权值大小,权值高的点梯度特征越明显。将得到的模板归一化到(0,255)区间,画出灰度图如图2所示。

将3类正样本分别和模板进行匹配,如图3所示,可以看出模板对车牌4个边框和车牌前后两部分的分割点这两个明显特征有很好的体现,这是模糊车牌和清晰车牌的共同点,而对于清晰车牌特有的内部纹理特征,模板只模糊的体现了字符个数,恰恰符合模糊车牌的特点。

使用训练好的分类器对待检测图片进行模板匹配,分为多尺度遍历、模板匹配和非极大值抑制三部分。其中非极大值抑制部分使用文献[7]中已有方法,这里不再叙述。

多尺度遍历是由于车牌大小不确定,根据候选框大小和模板的比例对测试图片进行缩放,每一个尺度都进行模板匹配,取匹配度最高的前10个作为车牌候选框。

将模板归一化到(0,255)区间,测试图片提取特征后也归一化到(0,255)区间,根据下列公式进行匹配度计算。

式中:Tij为坐标(i,j)处的模板值归一化后的结果;Iij为待检图片在坐标(i,j)处的特征值归一化后的结果,这里使用Tij为匹配度加权,即梯度特征明显的位置(如车牌外边框)权值较大。Sxy的值越大,说明匹配度越高。图4为车牌区域预检测结果。

2.3.2 基于颜色直方图特征的级联筛选

分析得到的车牌区域预检测结果,车牌区域候选框不只有正确的车牌区域也有车灯等梯度特征和模板相似的区域,这两类区域最大的区别就是颜色直方图,车牌的颜色对是固定的,如在3.2节中统计的一样,通过正确的区域和错误的区域之间颜色直方图的差异,可以将剔除错误的候选样本。

将标定的正样本区域取出,统计颜色直方图信息,因为标定时为了将整个车牌包含在内,正样本外围有一部分不是车牌的区域,所以除去上下左右各1/8的内容,只统计正样本中心区域的直方图信息。

笔者共统计了516张黄底黑字车牌,它们的H分量分布如图5所示,98%以上的H分量集中在(0,75)的范围内。在试验统计中发现:误检为车牌的负样本中,车灯区域是出现概率最高、最易被误检为车牌的。因此重点考虑如何利用颜色分布特征来剔除车灯区域的样本。误检的车灯区域样本的H分量分布如图6所示,与图5十分相似,只是相对分散,因此考虑利用H分量的分散度来进行车牌与非车牌的判断。于是得出黄色类型车牌颜色直方图判决公式如下

式中:hi表示H分量的值为i的像素个数;N为图像像素总数;P表示H分量在(0,75)范围内的的像素个数占图像像素总数的比例;INmɑx1和INmɑx2分别表示最高峰和次高峰的H分量值,D表示最高峰和次高峰的距离(用来衡量H分量的分散度),Tp=0.98,Tp=5,Y表示是否判定为黄色车牌区域,1表示是,0表示否。

同时,统计了487张白底蓝字车牌的颜色直方图和误检率最高的白色车身区域对比,如表3所示。部分蓝色车牌H分量分布为单峰(左图),部分蓝色车牌为双峰(右图),但75%以上的H分量都集中在(175,275)范围内[9],误检区域除白色车身区域外都不具备此特征。误检的白色车身区域H分量与双峰的蓝色车牌极其相似,那么仅靠H分量就无法区分车身区域和车牌区域。但蓝色车牌的SV分量满足亮度过高时V分量的峰值在255左右,S分量99%以上分布在(0,100)区间,亮度过低和正常时S分量的峰值在(0,50)区间,车身区域并不满足,于是得到蓝色车牌区域的判别公式如下

式中:hi表示H分量的值为i的像素个数;Si表示S分量值为i的像素个数;N为图像像素总数;PH表示H分量在(175,275)范围内的的像素个数占图像像素总数的比例;PS表示S分量在(0,100)范围内的的像素个数占图像像素总数的比例;Vmɑx表示V分量峰值下标;Smɑx表示S分量峰值下标,TPH=0.75,TPS=0.99,TV=250,TS=50,B表示是否判定为蓝色车牌区域,1表示是,0表示否。

2.3.3 重合区域合并

由于做了多尺度遍历,经过颜色筛选后的候选框可能仍有多个,要将重合度大的候选框进行合并,重合度的计算同式(1),并且统计同一位置出现候选框的次数,删除候选框出现次数较少的位置和不满足车牌比例的候选框,得到最终的车牌区域。

3 实验结果

3.1 实验平台

本实验在Window7平台进行,使用visual studio2013版本和opencv2.4.9版本,训练样本集共1 627张图片,在2.3.1节有具体介绍,测试样本集共2 838张图片,其中高清晰车牌1 173张,较清晰车牌706张,模糊车牌959张。

3.2 检测结果

笔者和近年的算法进行了比较实验,下文的方法一表示基于HSI颜色空间和行扫描的方法[8],方法二表示HSV空间和形态学处理相结合的方法[9],方法三表示基于视频分析的方法[10]。

3.2.1 召回率和准确率

本文方法平均一张图片的检测时间为0.49 s,召回率和准确率计算公式如下

检测结果如表4所示,可以看出,本算法在保证清晰车牌召回率和准确率的基础上,对模糊车牌也能有不错的检测效果。方法一和方法三由于使用了车牌内部的边缘纹理特征,对模糊车牌并不适用;方法二对颜色特征的分析过于简单,在低分辨率的情况下颜色失真非常严重,也不能起到很好的检测效果;而本文方法使用的是车牌边框的纹理特征,不受车牌内部清晰度的影响,颜色特征被细致分析用来二次筛选,能够降低误检的概率,所以可以在保证准确率的前提下提升模糊车牌检测的召回率。

%

3.2.2 检测效果

4种方法的检测效果如图7所示。其中第1行为高清晰车牌,第2,3行为较清晰车牌,第4,5,6行为模糊车牌。

可以看出,本文方法虽然在清晰车牌的检测上略有误差,得到的区域比车牌区域略大,这是由于训练分类器标定正样本时将整个车牌包含在内的原因,但在较清晰和不清晰的车牌检测上比现有方法取得了更好的效果,当车牌不清晰时,现有方法大多无法检出,但人眼可以模糊辨认出车牌的字符,本文的方法可以较好地检出。

5 小结

经过实验,基于多特征级联筛选的高鲁棒车牌检测方法对模糊车牌也能很好地检出,具有较高的稳定性和鲁棒性,并且通过颜色级联筛选还可对车牌进行分类,可以作为车辆目标分类的第一步。当然,此方法也存在一些不足,只包含了最常见的两种车牌颜色,并且算法速度并不是很理想,笔者会对这个算法进行进一步的修改和优化。

摘要：现有的车牌检测算法在车牌较模糊时往往难于取得很好的检测效果。针对监控图像的特点,首先提取清晰和模糊车牌所共有的归一化梯度特征,进行初步车牌检测;然后结合车牌区域的颜色直方图特征,进行级联筛选、去除非车牌样本,得到一种高鲁棒的车牌检测方法。基于真实监控图像的实验结果表明,此方法具有较高的稳定性和鲁棒性,尤其对模糊车牌具有明显优于已有方法的召回率。

关键词：车牌检测,监控图像,多特征

参考文献

[1]郑世宝.智能视频监控技术与应用[J].电视技术,2009,33(1):94-96.

[2]郭天庆.快速车牌定位的方法研究[D].北京:北京邮电大学,2010.

[3]刘馨月.复杂背景下车牌分割技术的研究[D].长春:东北师范大学,2006.

[4]郑德键,沈英.基于图像处理的车牌定位算法研究[J].机电技术,2014(1):10-12.

[5]王建,刘立,王天慧,等.基于四元数特定颜色对边缘检测的车牌定位[J].计算机应用,2011,31(3):729-732.

[6]蒋大林,丁学爽,唐榕,等.车牌识别技术的研究和实现综述[C]//第二届全国信号处理与应用学术会议论文集.南宁:[出版社不详],2008:304-306.

[7]CHENG M M,ZHANG Z M,LIN W Y.BING:binarized normed gradients for objectness estimation at 300fps[C]//IEEE CVPR Philip Torr.[S.l.]:IEEE,2014:68-75.

[8]胡峰松,朱浩.基于HSI颜色空间和行扫描的车牌定位算法[J].计算机工程与设计,2015(4):977-982.

[9]苗姣姣,徐望明.HSV空间和形态学处理相结合的车牌定位方法[J].电视技术,2015,39(5):146-149.