目标检测和跟踪

目标检测和跟踪（精选10篇）

目标检测和跟踪 篇1

摘要：针对目前视频火焰检测算法无法达到高检测率、低误检率和实时的工业需求, 提出一种基于目标跟踪和多特征融合的火焰检测算法。首先利用混合高斯背景建模获取前景图像, 在HSV色彩空间中根据火焰的颜色特性分离出疑似火焰区域, 对火焰疑似区域采用卡尔曼滤波器实现运动目标的跟踪, 再结合火焰的相似度、区域增长率和跳动频率特征用加权求和得到的值与报警阈值相比, 最后根据判断比较确定真实火焰区域, 并且实现对火焰的持续跟踪。实验结果证明, 该算法能够对火焰区域进行有效的检测与跟踪并且具有良好的实时性和抗干扰能力。

关键词：火焰检测,色彩空间,混合高斯模型,卡尔曼滤波,多特征融合

随着CCTV (Close Circuit Television, 闭路电视) 监控技术的发展, 一种基于视频的火焰检测技术引起了业内的广泛关注。Healey等人[1]利用颜色和火焰运动的特性来区分火焰和非火焰区域, 然而这种方法是依赖于理想环境 (不具有类似火焰颜色的干扰物体的场景) 中实现的。Foo[2]基于高速摄像机的灰度视频提出基于统计的方法, 这种方法虽然计算量较小, 但是不具备很好的抗干扰特性, 而且对普通的摄像机视频30帧/秒 (f/s) 的情况就显得有效性不足。Phollips等人[3]利用火焰的灰度直方图强度以及相邻帧的时间变化进行火焰识别, 同样需要比较好的检测环境 (较少的移动的非火焰亮光干扰) , 而且其实验数据特征为自己主观确定的, 若输入数据发生变化, 则效果会大打折扣。Yamagishi和Yamaguchi[4]提出了一种基于神经网络的火焰检测方法, 在HSV色彩空间的火焰颜色模型来减弱环境对火焰检测的影响, 依据火焰区域颜色的饱和度和色调的持续变化来进行火焰区域的分割, 最后训练神经网络用于识别火焰, 这个算法取得的实验结果非常准确, 但是对于实时性的应用而言计算量过大。

然而, 以上方法都集中关注火焰的存在性, 不能提供燃烧的状态和过程信息, 需要人工估计误检率, 并且很难满足高检测率、低误检率、实时的工业需求。本文提出了一种基于目标跟踪和多特征融合的火焰检测算法, 能够较好地适用于存在干扰的监控环境, 能够有效排除干扰, 及时发现火焰, 并且可以对火焰进行持续跟踪和判断其变化状态。

1 算法描述

整体算法的流程如图1所示。

1.1 混合高斯背景建模提取运动前景

火焰的特性之一就是燃烧过程中的闪动特性, 通常监控视频中的背景都是静止不动的, 本文采用混合高斯建模[5]来背景建模。通过对背景建模, 对一幅给定图像分离出前景和背景, 从而达到运动物体检测的目的。

对差值图进行二值化处理然后经过降噪滤波, 得到较好的二值前景图, 将检测为前景的区域结合火焰的颜色特征再次进行判断, 进一步提取出疑似火焰区域。

1.2 火焰颜色模型

在彩色图像中, 高温的火焰内核会呈现亮白色, 由内向外随着温度的降低颜色会由黄变橙、变红[6]。根据火焰颜色的以上特征, 本文对火焰的内焰和外焰分别进行建模, 然后将内焰和外焰组合, 从而得到疑似火焰区域。内、外焰模型分别为

图2、图3、图4分别为Capture1, Capture2, Capture6经过高斯背景建模和继续经过颜色模型过滤得到的前景二值图。从图中可以看到相比只进行背景重建得到的前景运动目标的二值图, 再经过颜色模型过滤可以得到位置相对准确的疑似火焰区域, 用此区域进行Blob提取处理。

1.3 Blob特征提取

在二值图中, 运动目标呈现一个个白色的连通域 (即Blob) , 本文采用二值图像连通域标记算法将运动目标从二值图中提取出来, 然后对原图像只进行一次扫描后, 通过特殊的边界像素标记, 便能获得目标集合特征参数。

经过Blob特征提取[7]扫描, 可以获得目标的轮廓, 根据轮廓可以通过运算得到目标外接矩形、重心、周长和面积等特征信息。

1.4 基于Kalman滤波器的运动目标跟踪

在利用Blob提取运动目标特征的基础上, 系统采用了基于卡尔曼 (Kalman) 滤波器的算法[8]实现运动目标的跟踪。卡尔曼滤波器可以用状态方程和观测方程来描述其数学模型:

状态方程为

观测方程为

根据Blob提取得到的重心、外接矩形、运动速度等信息来描述运动目标在每一帧中的运动, 因此状态向量取Xk=[x, y, vx, vy]T, 观测向量取Zk=[x, y]T, 其中x和y是运动目标的横纵坐标, vx和vy是运动目标在水平方向和垂直方向上的运动速度, Wk为系统噪声向量, Vk为观测噪声向量。

状态传递矩阵A, 测量矩阵H, 系统噪声Wk的协方差矩阵Q, 测量噪声Vk的协方差矩阵R的值设定如下:

参数确定之后, 基于卡尔曼滤波器的算法便可以经过以下4个步骤完成对运动目标的跟踪:

1) 根据重心坐标初始化卡尔曼滤波器, 设运动速度初始化为0;

2) 使用卡尔曼滤波器预测下一帧中对应的目标区域, 并在下一帧中的预测区域进行目标匹配;

3) 如果目标匹配成功, 则更新卡尔曼滤波器, 并记录当前帧中运动目标的特征信息;

4) 如果匹配不成功, 则扩大搜索区域, 重新搜索当前帧, 或者丢弃前一帧, 直接处理下一帧。

火焰疑似目标跟踪的效果如图5所示, 图5a、图5b、图5c为时间间隔相同的3个时刻的跟踪结果。用跟踪到的疑似火焰目标进行特征提取。

1.5 特征提取

火焰具有许多独有的特征。单纯依靠火焰颜色特征来进行火焰检测得到的结果是不可靠的, 特别是在有火焰颜色的运动物体存在的情况下。为了提高检测的可靠性, 以加权的方式结合火焰的多个特征, 当火焰特征的加权值超过预先设定的报警阈值时, 就确认检测到的运动目标为火焰。

1.5.1 火焰区域增长性

在燃烧初期火焰的面积不断的增大[9], 这个特征可以有助于区分与火焰颜色相似的大小固定不变的运动物体, 比如汽车车灯等。本文用视频帧数来表示时间, 根据Blob特征提取得到的疑似火焰面积, 求得第i帧到第i+k帧的火焰面积变化率, 可用下面的公式表示

式中:Si和Si+k分别为第i帧和第i+k帧的疑似火焰面积, ΔSi即为间隔k帧的火焰区域像素的增长率, 设定上下限阈值dhigh和dlow, 当dlow<ΔSi

1.5.2 火焰形状的形状相似度识别

相对成熟的图像相似性度量可以归结为两大类:距离度量和相关度量[10]。可以用作相似度量的典型结构描述包括颜色、亮度特性、区域的面积、形状和区域结构等。

相邻帧的图像之间的相似度在一定的区间内变化。在火焰识别的过程中主要存在的干扰包括大面积光照变化和快速移动的亮点, 因此可考虑利用早期火焰形体相似度的变化规律来区分真实火焰与干扰。

计算前后两帧图像相似度的方法如下:

设得到的前后两帧疑似火焰区域二值图分别为binary1 (x, y) , binary2 (x, y) , 疑似火焰区域分别为Ω1, Ω2, 前后两帧图像的相似度ξ定义为

一般的, 当ξ小于某个阈值T1时, 即认为待识别物体是快速运动的亮点。而ξ大于某个阈值T2时, 认为存在固定发光区域。当ξ在2个阈值之间时, 可以认为该区域为火焰区域。表1所示为火焰视频 (Capture1, Capture4) 和干扰视频 (Capture10, Capture12) 的连续8帧的相似度列表。可以看出, 火焰视频连续帧相似度和干扰视频连续帧相似度存在明显的差距, 通过设定合理的阈值即可区分。

1.5.3 火焰跳动频率

火焰另一个区分于一般运动物体和光照的显著特征就是燃烧过程中火焰闪烁的特性。众多学者经过大量的实验分析得出, 火焰闪动在具有一定的动态频率范围 (7~10 Hz左右) 即目标轮廓、色度或亮度都具有0.5~20 Hz之间的变化频率时可能存在火焰的重要信号[11]。本文通过统计1 s内对跟踪到的疑似火焰目标跳动方向的变化次数来判断火焰的跳动频率。计算方法如下

由式 (7) 可以计算出疑似火焰的跳动频率。如果Freq在0.5~20 Hz之间, 则表明疑似火焰具有火焰闪烁的频率, 增加一个报警权值。

1.6 特征融合与火焰判定

对得到的以上3个火焰动态特征进行分析, 给出合适的报警信号。分析方法如下:设火焰区域增长性、形状相似度、跳动频率的报警权值分别为α, β, γ, 报警阈值为μ, 报警结果为S, 则有

当S=1时, 认为是火焰, 否则认为目标区域具有火焰颜色, 但不是火焰。确定疑似火焰目标为火焰后, 将此运动目标标记为火焰, 运用其外接矩形和面积可以判断火焰燃烧的变化趋势。

2 实验结果

测试用PC配置为CPU Intel Core i3 M330 2.13 GHz, 内存为2 Gbyte, 所有视频的分辨率为704×576。本文实验视频主要是用手持摄像机和室内监控摄像头拍摄的, 此外, 还有从网站上下载的视频, 其中包括美国国家标准研究院建筑与火灾研究实验室的视频http://www.fire.nist.gov/tree_fire.htm, 共12个, 测试库视频描述如表2所示。

实验1, 对各视频从火焰出现的前150帧分别使用单特征和特征融合进行检测 (见表3和表4) 。实验2, 运用本文算法对测试视频进行火焰检测, 并记录全过程 (见图6、图7) 。

从表3和表4可以看出, 单特征的检测无法达到高检测率、低误检率的工业需求, 而三特征融合可以有效提高检测率, 降低误检率。

图6是Capture4的检测结果图, 识别出的火焰用绿色框高亮显示, 火焰第一次出现在第226帧, 检测到火焰是在第278帧, 结果表明本算法检测到火焰只需2 s左右的时间。图6中图片顺序为从火焰开始到结束, 表明本算法可以对火焰的发展过程进行全程跟踪, 有助于判断火势。

图7是不同场景的测试结果图, 结果表明本算法成功排除光照、颜色、移动灯光等干扰, 稳健地检测出不同场景、不同光照下的火焰。而且在应用中火焰检测的处理效率达到了25 f/s (帧/s) , 能很好地满足工业需求。

3 总结

本文针对目前视频火焰检测算法无法达到高检测率、低误检率、实时的工业需求, 提出了一种基于目标跟踪和多特征融合的火焰检测算法。经过实验证明, 在普通的监控视频25 f/s的情况下, 本文的算法能够较好地适用于存在干扰的监控环境, 能够有效排除干扰, 及时发现火焰, 并且可以对火焰进行持续跟踪, 判断其变化状态。与传统的算法相比, 具有更好的普适性、可靠性、实时性以及过程性。

参考文献

[1]HEALEY G, SLATER D, LIN T, et al.A system for real-time fire detection[C]//Proc.Conference on Computer Vision and Pattern Recognition (CVPR’93) .[S.l.]:IEEE Press, 1993:605-610.

[2]FOO S Y.A rule-based machine vision system for fire detection in aircraft dry bays and engine compartments[J].Knowledge-Based Systems, 1996, 9 (8) :531-540.

[3]PHILLIPS W, SHAN M, LOBO N V.Flame recognition in video[C]//Proc.the Fifth IEEE Workshop on Applications of Computer Vision.[S.l.]:IEEE Press, 2000:224-229.

[4]YAMAGISHI H, YAMAGUCHI J.Fire flame detection algorithm using a color camera[C]//Proc.1999 International Symposium on Micromechatronics and Human Science.[S.l.]:IEEE Press, 1999:255-260.

[5]TURDU D, ERDOGAN H.Improving gaussian mixture model based adaptive background modeling using hysteresis thresholding[C]//Proc.15th Signal Processing and Communications Applications.[S.l.]:IEEE Press, 2007:1-4.

[6]LIU C B, AHUJA N.Vision based fire detection[C]//Proc.the 17th International Conference on Pattern Recognition (ICPR’04) .[S.l.]:IEEE Press, 2004:134-137.

[7]张修军.带标记矫正的二值图连通域像素标记算法[J].中国图象图形学报, 2003, 8 (2) :198-202.

[8]KALMAN R E.A new approach to linear filtering and prediction problems[J].Journal of Basic Engineering, 1960, 82 (1) :35-45.

[9]CHEN T H, YIN Y H, HUANG S F, et al.The smoke detection for early fire-alarming system based on video processing[C]//Proc.the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing.[S.l.]:IEEE Press, 2006:427-430.

[10]刘兴洪.基于内容相似性的图像特征提取[D].重庆:重庆邮电大学, 2007.

[11]刘强.基于多信息融合的火焰检测[J].电视技术, 2012, 36 (1) :126-128.

空中机动目标跟踪算法浅谈 篇2

关键词：空中；机动目标；跟踪算法

一、国内外研究现状

机动目标跟踪主要是根据运动目标在时间上的变化关系和空间上的变化关系实现运动目标的跟踪。例如，对于一个典型的雷达机动目标跟踪示意图下所示。

经典的机动目标雷达跟踪系统的输入参数为来自信息处理器和检测器的测量数据，通常对于雷达来说则是测量目标的距离、方位角等参数，输出参数为目标的实时运动轨迹。同时，目标跟踪系统又可分为单目标和多目标跟踪，其基本原理图分别如下所示：

二、目标运动模型研究现状

（1）匀速（Constant Velocity， CV）模型与匀加速（Constant

Acceleration， CA）模型。CV模型假设目标作匀速运动，目标的机动加速度分别服从均值为零，方差为σ2的高斯白噪声，该模型即为二阶常速度模型。CA模型假设目标作匀加速度运动，目标的机动加速度为一常数，其一阶导数服从均值为零，方差为σ2的高斯白噪声分布，该模型即为三阶常速度模型。（2）这一阶时间相关模型（Singer加速模型）。Singer模型采用有色噪声来描述目标的运动加速度，它假定运动加速度为一个平稳的时间相关随机过程，其统计特性服从均值为零、方差为的均匀分布。（3）半马尔可夫模型。Moose等人在研究了Singer模型之后发现该模型的零均值假设并不合理，提出了具有随机开关平均值的高斯白噪声。因此，半马尔科夫模型在Singer模型的基础上，提出了一个非零加速度u（t），用来改进Singer模型机动是零均值的假设，使得该模型在描述机动较大的目标时更为合理。（4）机动目标“当前”统计模型。20世纪80年代初，我国学者周宏仁在航空学报上发表了一篇题为《机动目标“当前”统计模型与自适应跟踪算法》。文中指出了在机动目标运动模型中状态（机动加速度）估值与状态噪声之间的内在联系，提出机动目标“当前”统计模型的概念并建议用改进的瑞利——马尔科夫过程描述目标随机加速机动的统计特征。（5）交互式多模型。该方法用马尔科夫过程描述模型之间的相互转化，同时考虑卡尔曼滤波输入输出均为加权的交互式算法。在该算法中，由若干个模型集组成的混合系统来描述被跟踪目标的运动状态，若干个模型同时计算，用每个模型的贝叶斯后验概率对滤波器的导入导出参数都进行计算。

三、目标跟踪算法研究现状

目标检测和跟踪 篇3

近年来,基于序列图像的运动目标跟踪技术在智能视频分析领域得到了大量的应用。但是在面对人群密度高、背景复杂、个体难以区分的人群管理统计需求时,传统的目标提取匹配跟踪方法存在着一定的局限性并难以满足要求。现针对此问题,研究了一种基于头肩模型检测和连续光流跟踪的人群运动特征分析方法,克服人群密集时个体的区分和跟踪匹配问题。

要完成对人群运动的分析,要把整个过程分为三步:首先把图像中的目标检测出来,然后通过连续帧的跟踪把每个目标的运行轨迹记录下来,最后通对每个目标轨迹进行分析,提取所需要的信息,达到统计和管理的目的。流程如图1所示。

1 基于分类器的头肩检测算法[1,2,3,4]

现采用训练haar-adaboost分类器进行人头肩的检测,只要结构相对固定即使发生扭曲等非线性形变依然可识别。

1.1 AdaBoost算法的具体步骤

(1)给定训练样本集S,X和Y分别对应于正样本和负样本;T为训练的最大循环次数;

(2)初始化样本权重为1/n,即为训练样本的初始概率分布;

(3)第一次迭代:a.训练样本的概率分布相当下,训练弱分类器;b.计算弱分类器的错误率;c.选取合适阈值,使得误差最小;d.更新样本权重。

经T次循环后,得到T个弱分类器,按更新的权重叠加,最终得到的强分类器。利用haar-adaboost进行目标检测,首先需要创建用于分类器训练的正负样本,然后提取样本的haar特征进行弱分类器的训练,把弱分类器叠加成级联强分类器,最后利用训练好的分类器进行目标检测。

1.2 样本创建

训练样本分为正样本和负样本,其中正例样本是指待检目标样本,这里指的是经过裁剪的人头图像并对尺寸做规整(即缩放至指定大小32×32),如图2所示,负样本指其它不含人头肩的任意图片,本文选取各种场景下不含人的图片作为负样本。

1.3 特征提取[5]

常用的Haar特征主要分为以下几类:边缘特征、线型特征、中心特征和对角线特征如图3所示。

1.3.1 边缘特征

1.3.2 线型特征

1.3.3 中心特征和对角线特征

1.4 生成弱分类器[6,7]

每一个Haar特征都对应着一个弱分类器,每一个弱分类器都是根据它所对应的Haar特征的参数来定义的。利用上述Haar特征的位置信息,对训练样本进行统计就可以得到对应的特征参数。AdaBoost算法中所训练的弱分类器是任何分类器,包括决策树,神经网络,隐马尔科夫模型,如果弱分类器是线性神经网络,那么AdaBoost算法每次将构造多层感知器的一个节点。

1.5 采用AdaBoost算法选取优化的弱分类器

AdaBoost算法训练过程就是挑选最优弱分类器,并赋予权重过程,图4是AdaBoost算法训练示意图。

1.6 检测结果分析

通过对检测结果的分析可以得到的结论是:(1)在目标没有遮挡情况下可以检测到绝大多数的人的头肩;(2)在轻微遮挡情况下检测的准确率也在80%以上。

2 光流跟踪算法

在人群运动特征分析需求中,由于检测到的目标比较多而且在形状,大小,颜色上都具有一定的相似性,传统的相关跟踪法和差分跟踪法在解决这一问题时存在着一定的局限性,不能达到理想的效果。光流估计是另外一种经常被采用的运动估计技术,它的优点是能够探测独立运动的对象,不需要预先知道场景的任何信息,并且可用于摄像机运动的情况,随着计算机性能的不断提高,对于目前主流的计算机硬件来说进行复杂耗时的光流法计算已经不存在任何问题。光流法可以分为连续光流法和特征光流法。特征光流法是通过特征匹配求得特征点处的光流。通常采用图像边缘的角点或者目标角点为特征点,然后通过特征点匹配用特征光流对目标进行聚类和进一步跟踪。现研究一种基于图像边缘光流特征的人群运动特征分析方法,把头肩检测的目标图像边缘检测结合图像的角点进行特征点选取,使得参与光流跟踪的特征点更加具有针对性,提高了光流跟踪的稳定性,且具有实用性。

2.1 光流跟踪原理[8,9,10,11]

光流分析法给图像中的每一个像素赋予一个速度矢量,这就形成了一个图像运动场,在运动的一个特定时刻,图像上的点与三维物体上的点一一对应,这种对应关系可由投影关系得到,根据各个像素的速度矢量特征,可以对图像进行动态分析。如果图像中没有运动目标,则光流矢量在整个图像区域是连续变化的,当物体和图像背景存在相对运动时,运动物体所形成的速度矢最必然和邻域背景速度矢量不同,从而检测出运动物体的位置。

2.2 跟踪算法

2.2.1 光流分析法的前提假设:

(1)相邻帧之间的亮度恒定;(2)相邻视频的取帧时间连续,或者,相邻帧之间物体的运动比较“微小”;(3)保持空间一致性;即,同一子图像的像素点具有相同的运动。

2.2.2 光流约束方程

运动物体上的一点在不同时刻出现在图像平面的不同位置,要跟踪物体,那就是要跟踪这些个点,但如何跟踪他们呢? 现假设只要是同一点它的光度始终保持不变即对同一点I(x,y,t)=I(x+δx,y+δy,t+δt),其中I表示点的光度, I(x,y,t)关于时间t求导,就得到一个光流约束方程:

${\rm I}{}_{x}u{}_x+{\rm I}{}_{y}u{}_y+{\rm I}{}_t=0(1)$

这里的$\overrightarrow{u}=(u{}_x,u{}_y)$即是所要求的光流

2.2.3 Lucas-Kanade光流法

Lucas-kanade光流法以帧与帧之间的时间很短、物体的运动很不明显为前提,可以假设说在图像上的局部小范围内(比如一个axa=m的小窗口)相近像素点的光流(速度)相等,如果这个局部小范围内有m个像素点,结合光流约束方程,就可以得到m个方程:

$\{\begin{array}{l}{\rm I}{}_{x1}u{}_x+{\rm I}{}_{y1}u{}_y=-{\rm I}{}_{t1}\\ {\rm I}{}_{x2}u{}_x+{\rm I}{}_{y2}u{}_y=-{\rm I}{}_{t2}\\ ⋮\\ {\rm I}{}_{xm}u{}_x+{\rm I}{}_{ym}u{}_y=-{\rm I}{}_{tm}\end{array}(2)$

转换成矩阵表示:

$\left(\begin{array}{cc}{\rm I}{}_{x1}& {\rm I}{}_{y1}\\ {\rm I}{}_{x2}& {\rm I}{}_{y2}\\ ⋮& ⋮\\ {\rm I}{}_{xm}& {\rm I}{}_{ym}\end{array}\right)\left(\begin{array}{l}u{}_x\\ u{}_y\end{array}\right)=-\left(\begin{array}{l}{\rm I}{}_{t1}\\ {\rm I}{}_{t2}\\ ⋮\\ {\rm I}{}_{tm}\end{array}\right)(3)$

光流约束方程(1)中的u已经不再是原来那个u了;u已经成了估计值,用$\stackrel{\wedge }{{\displaystyle u}}$表示。

I(x+δx,y+δy,t+δt)的泰勒展开为:

$\begin{array}{l}\stackrel{\wedge }{{\displaystyle \underset{\uparrow }{{\displaystyle {\rm I}}}}}(x+\delta x,y+\delta y,t+\delta t)\approx \\ {\rm I}(x,y,t)+{\rm I}{}_x\stackrel{\wedge }{{\displaystyle \underset{\uparrow }{{\displaystyle u}}}}{}_x+{\rm I}{}_y\stackrel{\wedge }{{\displaystyle \underset{\uparrow }{{\displaystyle u}}}}{}_y+{\rm I}{}_t(4)\end{array}$

式(4)中画箭头的三项是未知的,因为u变成估计值,所以式子中也应该是对I(x+δx,y+δy,t+δt)的估计,另外由光度不变(这个条件始终不变)得知

${\rm I}(x,y,t)={\rm I}(x+\delta x,y+\delta y,t+\delta t)+\epsilon (5)$

式(5)中ε=0,而

${\rm I}(x,y,t)=\stackrel{\wedge }{{\displaystyle {\rm I}}}(x+\delta x,y+\delta y,t+\delta t)-\epsilon (6)$

式(6)中$\stackrel{\wedge }{{\displaystyle \epsilon }}$为估计误差。

由方程式(2)、式(3),可知光流约束方程变成

${\rm I}{}_x\stackrel{\wedge }{{\displaystyle u}}{}_x+{\rm I}{}_y\stackrel{\wedge }{{\displaystyle u}}{}_y+{\rm I}{}_t=\epsilon (7)$

得到新的光流约束方程式(4)后,进行重新分析,假设选择的窗口有m个像素点,则可以得到m个方程:

$\{\begin{array}{l}{\rm I}{}_{x1}\stackrel{\wedge }{{\displaystyle u}}{}_x+{\rm I}{}_{y1}\stackrel{\wedge }{{\displaystyle u}}{}_y+{\rm I}{}_t=\stackrel{\wedge }{{\displaystyle \epsilon {}_1}}\\ {\rm I}{}_{x2}\stackrel{\wedge }{{\displaystyle u}}{}_x+{\rm I}{}_{y2}\stackrel{\wedge }{{\displaystyle u}}{}_y+{\rm I}{}_t=\stackrel{\wedge }{{\displaystyle \epsilon {}_2}}\\ {\rm I}{}_{xm}\stackrel{\wedge }{{\displaystyle u}}{}_x+{\rm I}{}_{ym}\stackrel{\wedge }{{\displaystyle u}}{}_y+{\rm I}{}_t=\stackrel{\wedge }{{\displaystyle \epsilon {}_m}}\end{array}(8)$

然后就是应用最小二乘法 (least-square),最小二乘法需要一个cost function,这里是

$\epsilon ={\displaystyle \sum (}\epsilon -\stackrel{\wedge }{{\displaystyle \epsilon }}){}^2={\displaystyle \sum (}{\rm I}{}_{x}u{}_x+{\rm I}{}_{y}u{}_y+{\rm I}{}_t){}^2(9)$

式(9)中 ε=0。

要使这个cost function最小,通常的方法就是对其求导,令其为零:

$\{\begin{array}{l}\frac{\partial \epsilon }{\partial u{}_x}={\displaystyle \sum (}{\rm I}{}_x^{2}u{}_x+u{}_2{\rm I}{}_x{\rm I}{}_y+{\rm I}{}_x{\rm I}{}_t)=0\\ \frac{\partial \epsilon }{\partial u{}_x}={\displaystyle \sum (}{\rm I}{}_y^{2}u{}_x+u{}_2{\rm I}{}_x{\rm I}{}_y+{\rm I}{}_y{\rm I}{}_t)=0\end{array}(10)$

$\left(\begin{array}{cc}{\displaystyle \sum {\rm I}}{}_x^2& {\displaystyle \sum {\rm I}}{}_x{\rm I}{}_y\\ {\displaystyle \sum {\rm I}}{}_x{\rm I}{}_y& {\displaystyle \sum {\rm I}}{}_y^2\end{array}\right)\left(\begin{array}{l}u{}_x\\ u{}_y\end{array}\right)+\left(\begin{array}{l}{\displaystyle \sum {\rm I}}{}_x{\rm I}{}_y\\ {\displaystyle \sum {\rm I}}{}_y{\rm I}{}_y=0\end{array}\right)(11)$

令

如果M非奇(满秩)则光流可解得$\overrightarrow{u}={\rm M}{}^{-1}\overrightarrow{b}$。

如果M奇异,即意味着又变回只有一个方程的情形了,只能求得沿光度梯度方向的光流。

2.2.4 光流跟踪算法流程[12]

光流跟踪算法的流程如图6所示。

(1)对目标区域进行边缘检测,提取目标的边缘特征点;对图像进行角点检测,提取图像的角点特征。

在实际的算法计算中,采用sobel算子,窗口大小w=5,进行边缘计算。

x方向上的光度梯度:

${\rm I}{}_x(x,y)=\frac{{\rm I}(x+1,y)-{\rm I}(x-1,y)}{2}(12)$

y方向上的光度梯度:

${\rm I}{}_y(x,y)=\frac{{\rm I}(x,y+1)-{\rm I}(x,y-1)}{2}(13)$

t方向上的光度变化:

${\rm I}{}_t(x,y)={\rm I}(x,y)-J(x,y)(14)$

计算系数矩阵M:

$\begin{array}{l}{\rm M}=\\ {\displaystyle \sum _{x=p{}_x-u^{\prime }{}_x}^{p{}_x+u^{\prime }{}_x}{\displaystyle \sum _{y=p{}_y-u^{\prime }{}_y}^{p{}_y+u^{\prime }{}_y}\left(\begin{array}{cc}{\rm I}{}_x(x,y){}^2& {\rm I}{}_x(x,y){\rm I}{}_y(x,y)\\ {\rm I}{}_x(x,y){\rm I}{}_y(x,y)& {\rm I}{}_y(x,y){}^2\end{array}\right)}}(15)\end{array}$

计算矩阵b:

$b={\displaystyle \sum _{x=p{}_x-u^{\prime }{}_x}^{p{}_x+u^{\prime }{}_x}{\displaystyle \sum _{y=p{}_y-u^{\prime }{}_y}^{p{}_y+u^{\prime }{}_y}\left(\begin{array}{l}{\rm I}{}_t(x,y){\rm I}{}_y(x,y)\\ {\rm I}{}_t(x,y){\rm I}{}_y(x,y)\end{array}\right)}}(16)$

(2)跟踪结果

图7所示为特征点光流跟踪的结果,图上的箭头方向是相邻两帧之间的特征点的运动方向。

3 目标跟踪和运动特征分析

3.1 目标跟踪

通过分析视频,可以发现,头肩检测后的目标在大小,形状等特征上具有很大的相似性,而且在颜色上也不能有很好的区分度。单纯用距离作为匹配条件在目标较多且相互距离较近的情况下不能达到令人满意的效果,因此考虑采用在光流场方向上距离优先的匹配策略,用光流场信息来弥补单纯距离匹配带来的问题。

通过1的头肩检测,可以得到每一帧图像的目标位置信息,通过2的光流检测可以得到视频中的光流场运动信息,为了分析视频画面中的目标运动特征,结合光流信息对每一帧的目标进行跟踪。在某一帧目标有漏检测的情况下,还可以根据光流场信息对目标的运动轨迹做出准确的预测,已确定目标的准确运动特征。图8所示为头肩检测和光流算法相结合,基于连续帧的跟踪结果,从图上可以看到目标的连续运动轨迹。

3.2 运动特征分析

实际应用中,尤其是在公共安全和综合管理等领域,为了更加合理地利用人力资源,提高管理水平,一般都关心的运动特征主要包括场景中的人数,某一时段通过某一区域或断面的人数总和,当前视频中人的平均运动速度。

NumR=CurT。

其中CurT为当前视频中连续跟踪上的目标个数,在这里用连续跟踪上的目标可以避免由于某些帧的误检漏检造成的数据误差。

对于通过某一区域的人数总和,采取估计分析法,在正常的检测跟踪中,一个目标的轨迹应该是连续的,但是在人群特征分析应用场景中,由于场景负责度较高,目标的跟踪往往是不连续的,通过将目标的轨迹分一个个小段,按照目标轨迹长度所占区域的百分比进行统计。假设轨迹长度为区域的1/10,计数值增加1/10,以此类推。

计算目标的平均速度时,需计算最近K帧的所有目标经过的轨迹平均长度,按照实际场景比例尺算出对应的实际长度,用实际长度除以执行的时间,就得到最近K帧的目标移动平均速度。

4 结束语

本文针对监控场景中对人群运动特征分析的需求,提出了结合头肩模型的检测和光流场运动特征进行目标检测和跟踪的思想,并仿真实现了这一算法,实验软硬件环境: Windows XP,Intel 酷睿i5 2300 2.8 GHz 4 Core CPU,4 G内存等;视频输入格式为AVI,在Microsoft Visual Studio 2005 的开发环境下完成算法的实现。结果表明,这一算法可以达到较高的检测和跟踪率,可以满足大多是场景数据统计的要求。

摘要：针对在大多数监控应用中摄像机架设一般都有一定的高度和倾斜角度这一特性,通过分析监控画面中人的特征,可以看到由于摄像机有倾斜角度,在人员密集情况下,人下半身会形成一定的遮挡。但是大部分都可以得到正面或背面的上半身轮廓,因此提出了利用人的上半身特征,是头肩形状来检测画面中的目标个体方法。该方法在确定每一帧画面的目标后,对所检测到的目标进行连续跟踪。确定目标的运动轨迹,得到了很好的跟踪效果。

关键词：Haar特征,光流,人群运动,特征,跟踪

参考文献

[1] Laptev I.Improvements of object detection using boosted histograms.BMVC,2006

[2] Zhang L,Chu R,Xiang S,et al.Face detection based on multi-block lbp representation.ICB,2007

[3] Xiao R,Zhu L,Zhang H J.Boosting chain learning for object detec-tion.CCV,2003

[4] Black M J,Fleet D J.Probabilistic Detection and Tracking of Motion Boundaries.IJCV,2000,38(3):231—245

[5] Battiato S,Gallo G,Puglisi G,et al.Sift features tracking for video stabilization.In:Proc of International Conference on Image Analysis and Processing(ICIAP),2007

[6] Viola P,Jones M.Rapid object detection using aboosted cascade of simple features.CVPR,2001

[7] Grabner H,Bischof H.On-line boosting and vision.CVPR,2006

[8] Barron J L,Fleet D J,Beauchemin S S.Performance of optical flow techniques.Int.Journal of Computer Vision.1994;12(1):43—77

[9]李宏,杨廷梧,任朴舟,等.基于光流场技术的复杂背景下运动目标跟踪.光电工程,2006;33(10):13—17

[10]丛杨;唐延东.基于光流方程和目标匹配的视频图像目标跟踪方法.红外与激光工程.2006;S4:312—315

[11] Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:Auto-matic detection of tracking failures international conference on pattern recognition(ICPR),2010

目标检测和跟踪 篇4

关键词：转换坐标；卡尔曼滤波算法；雷达目标跟踪

我们在研究雷达目标跟踪过程中可以发现，要将雷达目标跟踪的问题解决好，是一个非常值得我们关注的环节。对于如何进行科学化的跟踪，还需要不断地进行分析研究，找到一些具体的方法才是关键的任务所在。当我们通过滤波处理后形成一种新的运行轨迹时，就会发现雷达的性能好坏直接影响到我们所要进行科学化跟踪的效果，通常情况下，雷达的具体跟踪效果主要来自其自身性能的高低。因为雷达主要的任务在于通过跟踪环节工作来达到人们所预期的目标。对于雷达跟踪的收敛速度而言，主要在于經过一系列的滤波精度来进行实际的操作，从而形成一种科学化的跟踪模式。我们通过大量的研究目标跟踪的转换坐标卡尔曼滤波算法，可以逐渐掌握一些先进的技术，从而为整个雷达跟踪发展起到积极的推动作用。

1 雷达信号检测与目标跟踪

我们进行研究的雷达信号检测，主要在于利用它可以迅速地掌握一些目标的情况，随时将目标进行科学化的监测。这样做主要在于经过一系列的目标跟踪后，我们可以将具体的目标给予科学化的监视，从而保障其跟踪任务的完成。这种雷达信号检测和目标跟踪是有一定的联系的，主要在于通过雷达的检测可以为目标跟踪提供科学化的信息，从而避免出现一些假目标的误导。这对于雷达目标跟踪的转换坐标卡尔曼滤波算法也会起到积极作用。

2 卡尔曼滤波在雷达跟踪上的具体应用

2.1 研究题目 假设有一个二坐标雷达对一平面上运动目标的进行观察，目标在t=0～400s沿y轴作恒速直线运功，运动速度为-15m/s，目标的起点为（2000m，10000m），雷达扫描周期为2秒，x和y独立地进行观察，观察噪声的标准差均为100m。试建立雷达对目标的跟踪算法，并进行仿真分析，给出仿真结果，画出目标真实轨迹、对目标的观察和滤波曲线。

2.2 算法研究 考虑利用卡尔曼滤波算法对目标的运动状态进行估计。由于目标在二维平面内做匀速运动，因此这里只考虑匀速运动情况。

2.2.1 跟踪算法 由于目标沿y轴做匀速直线运动，取状态变量

2.2.3 仿真分析 利用MATLAB对前面建立的模型进行仿真，结果如下。

图 2.1 是目标运动的真实轨迹和观测轨迹曲线。其中，真实轨迹显示目标在x=2000米处沿y轴方向做匀速直线运动，而观测轨迹是目标运动的真实轨迹加上方差和随机测量噪声得到的。从图中可以看出，观测轨迹围绕真实轨迹作上下浮动。

图2.2是单次滤波和100次滤波后的数据曲线。从图中可以看出，滤波刚开始时误差较大，之后滤波误差逐渐降低，估计值逐步逼近真实轨迹。而随着滤波次数增加，滤波后的结果更为接近真实轨迹。

图2.3、图2.4分别是x和y方向滤波估计误差均值及误差标准差曲线。从图上可以看出，滤波开始时误差较大，随着采样次数的增加，误差逐渐减小，误差的标准差也具有相同特性。另外，可以看到由于在y方向上有速度分量，因此y方向的估计误差均值比x方向的估计误差均值波动要大一些。

3 结束语

我们当前通过研究分析转换坐标卡尔曼滤波算法后，将其最佳的适应状态给予测算，从而形成一定的科学化发展规划，这是进一步研究的重点。本文主要根据实际研究的成果，通过对卡尔曼滤波器的研究，我们会逐步掌握一些科学的计算方法。这对于实际的转换测量而言意义重大。

参考文献：

[1]杨万海.多传感器数据融合及应用[M].西安电子科技大学出版社，2004.

[2]杨春玲.转换坐标卡尔曼滤波器的雷达目标跟踪[J].电子学报，1999，27（3）：121-123.

[3]陈云峰，盛安东.标跟踪中非线性滤波[D].南京理工大学，2007.

[4]张婧，景占荣，羊彦.简化的UKF方法在多普勒雷达对目标跟踪中的应用[J].火力与指挥控制，2008（5）：82-84.

目标检测和跟踪 篇5

运动弱小目标的检测和跟踪被广泛应用于红外自寻的制导、搜索跟踪和预警等领域,是一个对实时性和识别精度有较高要求的高科技问题,近20年来,一直是雷达、光学和红外图像应用领域的研究热点。由于弱小目标在红外图像中表现为无形状、大小、纹理的点目标,且图像信噪比低[1],单帧的检测跟踪方法已不能满足要求,取而代之的是更加复杂的针对序列图像的处理算法[2,3,4]。算法复杂度的增加,使得单个DSP很难满足实时性要求,从而使利用多DSP并行处理技术实现高速数据传输和处理成为研究的重点。

ADSP-TS201S是ADI公司Tiger SHARC系列中面向通信和视频领域的高端DSP。该款处理器是当前处理能力最强的浮点DSP,同时兼容定点处理;其采用了静态超标量结构,支持单指令多数据(SIMD),每周期执行4条指令、6个浮点或24个16 bit定点操作;内核时钟高达600 MHz,处理能力每秒48亿次乘加运算(GMACS)或36亿次浮点运算(GFLOPS)。此外,TS201S所具有适合多DSP并行处理的突破性体系结构,专门的片内分布式总线仲裁逻辑可以实现最多8片DSP共享1条外部总线,4条高速链路口(LINK)可以实现多处理器间的通信的无缝连接,非常适合于大数据量、高复杂度数据的实时处理应用[5]。

本文提出了以4片ADSP-TS201S为信号处理单元,采用链路口两两交叉互联构成了松耦合多DSP并行流水处理平台。通过与CPLD和各种存储设备的配合使用,设计实现了具有高实时性、高存储量和良好扩展性等特点的多DSP红外目标检测跟踪系统。

2 多DSP并行处理系统设计

2.1 并行系统方案的确定

在多处理器系统中,处理器节点之间的通信通常采用两种方案:一种方案是使用专门的点对点通信信道;另一种方案是节点之间通过一个共享的全局存储器和一条并行总线进行通信。ADSP TS201S通过高速链路口(LINK)实现第一种方案,通过高速外部总线口(簇总线)实现第二种方案。

由多ADSP TS201S组成的DSP系统从数据传输方式来看,有以下3种耦合结构[6]:

1)由高速链路口(LINK)互连构成松耦合结构;

2)由高速外部总线口(簇总线)共享存储器构成的紧耦合结构;

3)由前两种共同构成的混合耦合结构。

紧耦合结构中数据传输是并行模式,优点是传输速率高,但随着并行处理单元数量的增加,DSP之间的通信时间和总线仲裁时间开销急剧上升,造成并行加速比和并行处理效率降低。相比之下,松耦合结构中数据传输是串并行方式,适合于多DSP的分布式并行处理。同时这种结构还具有结构简单、总的数据传输速率高于紧耦合结构、无总线仲裁问题、PCB板设计也相应简化等优点。根据红外弱小目标检测跟踪的特点,本文采用高速链路口的松耦合结构。

图1给出了所设计的并行系统框图,红外弱小目标检测跟踪并行处理系统方案采用了4片ADSP TS201S通过高速链路口(LINK)两两交叉互联的方式,4片TS201S的4个LINK口中的3个被用于DSP之间的两两互联,1个用于处理板之间的扩展互联。在本系统中,4个DSP在600 MHz下的定点运算的峰值速度可达到19.2 GMAC(16 bit),浮点运算的峰值速度可达到14.4 GFLOPS,4个LINK口由于采用了LVDS技术和DDR技术,总数据吞吐率能达到4GB/s。64 bit外部数据总线最大数据吞吐率1 GB/s。同时每片DSP都拥有4 G的外部存储器和外设寻址空间。这些性能指标为复杂的检测跟踪算法的硬件实时实现提供了可能。

2.2 系统的数据处理流程

如图1所示,首先通过前端LVDS数字视频接口,使LVDS视频图像数据在CPLD的控制信号下,经过时序转换后写入前端双口RAM中。此处我们选用的是IDT70V28L高速64k×16位的双口RAM。在DSP1的DMA控制器作用下,将视频输入双口RAM中的数据转移到SDRAM中,然后各个DSP通过链路口在DMA方式下进行数据的传输,使得数据分配过程与DSP运算过程并行执行,提高处理效率。处理后的数据,在DSP4的DMA控制器作用下,将数据从SDRAM写入后端双口RAM中。最后在CPLD控制下将双口RAM中的视频数据通过LVDS数字视频接口输出到外部。视频数据的输入输出、DSP中断和其它外设控制逻辑的管理由1片XC95288XL CPLD完成。

系统通过挂载在DSP1的FLASH进行系统的初始化及程序加载。由于松耦合系统没有使用总线共享,所以除了DSP1是采用EPROM方式进行加载外,其他DSP都是通过链路口实现程序的加载。图2给出了所研制的并行处理系统的实物图。

3 算法流程及实现

本系统主要用来实现对红外弱小目标的检测和跟踪,可以实时地从红外成像仪或其他采集系统读入视频图像信号,对图像进行实时处理以检测和跟踪目标,并将目标的位置和运动信息输出。红外小目标的检测跟踪算法流程如图3所示。将各阶段的处理分别分配给各DSP,实现基于过程控制流的并行处理。

3.1 算法原理

图像预处理主要是实现对图像背景的抑制,增强目标,提高信噪比。它的处理效果直接关系到后面检测与跟踪的速度和可靠性。根据红外图像中目标、背景干扰和噪声的特点,本文采用经典的灰度形态学Top-hat滤波算子对输入图像进行滤波。该算法原理简单,易于硬件实时实现,并且能有效地消除红外图像中的背景[7]。Top-hat滤波算子定义如下:

其中:f为红外输入图像,g为结构元素,fg为用结构元素g对图像f进行灰度开运算,其结果为估计出的背景,相减后得到HAT(f),为滤除了背景的目标图像。由于小目标像素在2×2~5×5之间,根据概念,结构元素要大于或等于小目标的面积。这里我们选取7×7的钻石型结构元素。

Top-hat滤波后,进一步对图像进行自适应全局门限法的阈值分割[8]。设输入图像为f(i,j,k),处理后图像为g(i,j,k),并令门限为T(k),则有:

式中T(k)是随序列图像的变化而自适应改变的,即:

式中λ为加权值,选择范围为3~5。mean(k)、var(k)分别表示第k帧图像的图像灰度均值和方差。经过上述的阈值处理以后,得到一个去除背景干扰和弱噪声的目标图像,这时,可能是目标的点保留其灰度值,其余点的灰度值为零。

由于红外图像的信噪比一般都较低,所以单帧图像无法作出对目标适当的判断,因此采用检测前跟踪(TBD)算法来实现目标的检测跟踪。这里我们采用多级假设检验算法。该方法是速度滤波器的一种高效算法,是截断的序贯似然比检验法[9]。它利用假设检验的方法对候选轨迹所组成的树形结构做出修正,以随时去掉没有通过检验的树,达到减少运算量和存储量的目的。该算法的具体硬件实现可以参考文献[10]。

3.2 算法的系统实现

整个算法在硬件系统中的实现流程如图4所示。按照检测跟踪算法原理将系统分为4个模块处理单元,预处理模块、目标检测模块、目标跟踪模块、输出处理模块。实际应用中根据不同的算法进行合理的DSP分配。

针对本文所提出的算法,首先视频图像采用乒乓缓冲方式存入输入双口RAM中,这样可以保证处理器进行数据处理的同时,外部数据的连续传输。当一帧图像存入双口RAM时,DSP1通过DMA方式将图像传输到SDRAM中,并完成Top-hat和阈值分割预处理算法。然后通过链路口DMA方式将图像传输到DSP2的SDRAM中,再以同样的传输方式将图像传输到DSP3中,在这两个DSP中实现多级假设检验算法,最后在DSP4中完成目标位置的标识、参数输出等工作,并将视频图像通过输出双口RAM输出到外部显示装置。

4 实验结果

对系统进行了一系列的实验研究。其中一个实验事例采用的输入图像信号是一组天空背景下导弹飞行的红外序列图像。图像尺寸为600 pixels×479 pixels,灰度级为256,序列图像为25帧/s,信噪比小于2。使用上述检测跟踪算法,该并行处理系统实现了对目标实时、准确地检测及跟踪。图5~图8分别给出了各个处理阶段的结果。类似规模与帧频的实验结果都表明,并行处理系统能有效地实时检测并跟踪红外运动小目标。

结束语

随着现代红外数字图像处理中画幅尺寸、帧频、数字量化程度的日益提高,为了满足对实时处理算法复杂度和数据吞吐率急剧增长的需要,本文设计了一套基于4个ADSP TS201S的高性能并行图像处理系统。实验表明,该系统具有良好的实时性、扩展性及适用性,可以实现对大画面、高帧频的红外弱小目标实时检测跟踪。

参考文献

[1]WANG Zhi-cheng,GAO Chen-qiang,TIAN Jin-wen.Multifeature distance map based fusion detection of small infrared targets with low contrast in image sequences[J].SPIE,2005,5985:669-673.

[2]Blostein Steven D,Richardson Haydn S.A sequential detection approach to target tracking[J].IEEE Transactions onAerospace and Electronic System,1994,30(1):197-212.

[3]XING Si-yuan,JI Hong-bing.A track-before-detect algorithm based on particle filter with model estimation[J].ICSP’04,2004,1:311-314.

[4]Zaveri M A,Merchant S N,Desai U B.Multiple single pixel dim target detection in infrared image sequence[J].ISCAS’03,2003,2:380-383.

[5]Analog Device Company.TigerSHARC Embedded Processor Data Sheet[EB/OL].http://www.analog.com,2006.

[6]刘书明,罗勇江.ADSP TS20XS系列DSP原理与应用设计[M].北京:电子工业出版社,2007.LIU Shu-ming,LUO Yong-jiang.ADSP TS20XS Series DSP Theory and Application Design[M].Beijing:Publishing House of Electronics Industry,2007.

[7]王新增,严国莉,关小歉.灰度形态学滤波的红外运动小目标检测方法[J].中国测试技术,2006,32(5):79-81.WANG Xin-zeng,YAN Guo-li,GUAN Xiao-qian.Detection Method of Infrared Moving Small Target Based on Grey Morphology Filtering[J].China Measurement Technology,2006,32(5):79-81.

[8]李国宽,彭嘉雄.红外序列图像中运动小目标的检测方法[J].华中理工大学学报,1999,27(11):25-27.LI Guo-kuan,PENG Jia-xiong.Detection Method of Small Moving Targets in IR Sequence[J].Huazhong Univ.of Sci&Tech,1999,27(11):25-27.

[9]Werthmann J R.A step-by-step description of a computationally efficient version of multiple hypothesis tracking[J].SPIE,1992,1698:289-230.

基于运动检测的目标跟踪算法研究 篇6

首先将摄像机拍摄的模拟图像转化成计算机能识别和处理的数字图像, 再运用数字图像相关算法进行处理和存储。运动目标检测主要检测出图像特定区域的运动物体并标注, 目标跟踪算法对运动物体进一步识别并对它在视野中的路径进行跟踪。在前景中找到运动目标, 获取特征后反馈给跟踪系统, 跟踪系统就根据获取的运动目标的特征进行跟踪, 是行为分析和图像理解的重要依据。

1 运动目标检测

运动目标检测是运动目标跟踪的基础, 只有检测到了运动目标, 才能利用目标跟踪算法进行运动目标的跟踪。所谓运动目标检测, 就是运用数字图像处理方法找出视频中连续帧间的相关性, 检测出视频中运动物体的位置和大小。运动目标检测的基本方法主要有三种:帧间差分法, 背景差分法和光流法。

1.1 帧间差分法

帧间差分法主要是对连续两帧图像作差, 如果对应像素点无差别则认为其为背景像素点, 否则为运动前景。最后遍历整帧图像得到的检测结果为两帧图像中运动前景所在位置。从理论上来说检测结果并不是运动前景的完整表示, 一般情况下为了消除噪声影响会设定一个阈值K对差值结果进行二值化。

当摄像头固定时不需要背景图像也能检测出运动目标, 算法简单保证运动目标跟踪的实时性。运动目标整体颜色很相似时只能检测出运动目标边界;如果运动目标的速率太快, 检测结果会是两个分离的运动目标;如果时间间隔太短, 两帧图像中运动目标就会在同一位置, 运动目标被误当成背景差分掉了, 导致检测不出运动目标。

假设在t时刻当前帧像素点 (x, y) 处的像素值为f (x, y, t) , t时刻背景模型中像素点 (x, y) 处的像素值f (x, y, t-l) , 则背景差分法的数学表达式为:

然后对背景差分后的结果图像二值化:

其中fout (x, y, t) 为输出的检测结果, K为所设的阈值。

当摄像头固定时不需要背景图像也能检测出运动目标, 并且算法简单, 所以实际应用中可以保证实时性。但是当运动目标速率太快, 或者与背景颜色接近时效果不太理想。

1.2 背景差分法

背景差分法算法简单、对硬件的要求低, 同时运动目标检测的速度快、当背景环境不发生变化时, 精确度很高, 基本原理是用视频中当前帧与背景图像作差。当运动目标与背景的差别较大时, 不仅能检测出运动目标的位置, 而且能准确的检测出运动目标的大小。最关键步骤是得到准确的实时背景图像, 常见的背景建模方法主要有中值法, 均值法, 卡尔曼滤波器法, 单高斯分布法, 多高斯分布法。

假设在t时刻当前帧像素点 (x, y) 处的像素值为fn (x, y, t) , t时刻背景模型中像素点 (x, y) 处的像素值fb (x, y, t) , 则背景差分法的数学表达式为:

然后对背景差分后的结果图像二值化:

其中fout (x, y, t) 为输出的检测结果, K为所设的阈值。

一般情况下在对检测结果二值化以后都需要对其连通性进行分析和数学形态学处理, 以去除检测结果内部的空洞和图像中出现的噪声, 同时也可以对运动目标的分裂和多个运动目标融合的情况进行分析。由公式可以看出背景差分法最关键的步骤是得到准确的实时背景图像。

1.3 光流法

光流法其实是目前运动目标检测最准确的算法, 算法复杂度高。它主要是把三维空间中的运动投影到二维的平面中就会呈现中光流的表象, 通过二维平面中每一个像素的灰度信息的分析得到灰度运动的瞬时速度。在摄像机固定的时候, 背景一般不会发生变化, 所以其灰度不变, 其对应的光流为0, 也就是说光流不为0的地方就是前景, 当摄像机运动的时候可以分析像素灰度的相对运动来检测运动目标。

外界的光线变化时即使没有运动目标也会产生光流;灰度等级不够时由于被量化, 变化被隐藏观测不到光流。

2 运动目标跟踪

运动目标跟踪建立在运动目标检测基础上, 是计算机视觉领域的重要内容。目标跟踪主要分为特征提取和匹配搜索两个步骤。主要有基于目标模板的跟踪、基于目标特征的跟踪、基于目标区域的跟踪及基于目标轮廓的跟踪四种基本跟踪方法。

2.1 基于模板的跟踪

模板匹配法是最基本的算法, 基本原理是用运动目标的像素信息作为模板, 选用一种搜索算法用当前帧中搜索区域与模板进行比对, 判断的标准主要依据相似性度量, 核心是获得正确目标模板。

2.2 基于特征的跟踪

基于特征的跟踪是最普通的目标跟踪, 首先对目标的特征进行提取, 常见特征提取方法有不变矩特征、颜色特征、空间直方图特征等, 然后找到一种相似度量进行目标匹配。基于灰度图像相关度量有ABS (Absolute balance search) , 归一化相关匹配, 直方图匹配等算法。

2.3 基于区域的跟踪

基于目标区域的跟踪把检测到的运动目标区域当作目标模板, 用运动目标的颜色信息进行匹配。运动目标以颜色作为相似度量, 特征的提取主要包括以像素值统计为基础的颜色直方图, 以图像像素的矩为基础的颜色矩以及以视觉颜色空间为基础的颜色集。

2.4 基于轮廓的跟踪

基于目标轮廓的跟踪首先表示出运动目标的大体轮廓信息, 然后将目标边界作为特征模板进行搜索。比较经典的搜索算法主要有全局搜索, 分布搜索, 钻石搜索以及改进的三步搜索和四步搜索法。

3 相关性度量算法

目标的匹配通过计算相关性实现, 方法主要有ABS和归一化相关匹配。ABS匹配算法主要是用从运动目标中获取的像素模板图像与视频序列中的图像的像素值的差的绝对值来表示二者的相关性, 找出相关性最大的点作为最佳匹配点。常用算法有最小均方误差 (MSE) , 最小平均绝对值差值 (MAD) , 最大匹配像素统计 (MPC) 。归一化互相关匹配算法通过计算目标模板与当前帧图像互相关性匹配, 互相关性最大点就是最佳匹配点。

4 结语

目前运动目标的跟踪算法还存在一些尚未很好解决的共性问题, 如跟踪过程中目标性状、尺寸、位置、运动方向的改变;背景环境及光照条件的改变;目标被遮挡及部分遮挡的情况等。如何利用DSP等实现运动目标的实时性检测与跟踪, 多个摄像机之间如何进行联合跟踪, 这些问题都需要进一步探索和研究。

参考文献

[1]庞国瑞, 葛广英, 葛菁等.基于金字塔多分辨率和钻石搜索的目标跟踪算法及其在DSP上的实现[J].数据采集与处理, 2012, 27 (6) 710-716.

交通场景中多目标的检测与跟踪 篇7

目前,以数字图像处理技术为核心的视频监视系统[1]越来越广泛地应用到交通监管中,他利用摄像机来获取图像,由计算机完成对运动目标的自动检测,如果车辆交通违规时,自动发出预警,记录全程违章视频,这在很大程度上减轻了监控人员的劳动强度,克服可能的人为失误,而且节省大量存储空间,使存储的数据更为有效,为交通违规的后续处理提供了客观依据。

运动目标分割是实现交通场景下车辆检测与跟踪的前提。常用的分割方法可以分为背景差分法、帧间差分法和基于光流的分割方法等[2,3]。基于光流的分割方法运算复杂度较大且对噪声敏感,因而常见的适合交通场景下分割运动目标的方法主要使用前面两种。使用基于帧差的算法进行目标检测,当场景中运动目标没有显著运动时,往往会在目标检测时留下大面积未被检测到的区域,而这些区域本应属于目标。本文中,考虑到交通监控中使用固定摄像头,采用自适应的背景差分法实现运动目标的分割。

视频图像中运动目标的跟踪是智能监控系统中重要的一部分,也是图像理解重要的一个环节。Stauffer提出了自适应混合高斯模型[4],通过匹配目标的位置、大小、形状和颜色等特性,建立运动目标与前景目标间的对应关系实现对目标的跟踪。这种方法往往可以得到较为满意、精确的跟踪结果,但是计算复杂度较大。文献[5,6]提出了通过轨迹预测并使用跟踪窗口对多目标进行跟踪,当目标数达到4个以上后很难保证实时性。本文考虑到交通场景中目标运动的特性,介绍了一种实时简单有效的多目标跟踪综合方法——改进的最近邻法(Improved Nearest Neighbor,INN),既保证了一定的跟踪精度,又满足了实时性要求,达到了预期的效果。该算法框图如图1所示。

2 目标检测

2.1 背景估算

通常实时监控状态下很难获得不含运动目标的理想背景图像,为此,本文采用一种基于高斯统计模型的背景图像估计算法。该算法由背景图像的初始化和自适应更新两部分组成。

在背景图像的初始化算法中,采用前N帧图像,计算视频序列图像每一象素的平均亮度μ0(x,y),并计算在前N帧内的每一象素亮度的方差δundefined(x,y),以此来组成初始的背景估计图像。这里Bn表示背景图像,In表示视频图像,n表示帧数。

undefined

式(1)中:

undefined

当背景估计图像的初始化完成后,随着新图像帧的到来,需要使用下列公式不断自适应地更新背景图像参数,得到更新后的背景估计图像为Bn = [μn,δn2 ],式中:

undefined

其中α为更新系数,为0～1之间的一个常数。

2.2 运动区域的提取

当完成背景图像的估计后,下一个重要环节是对当前帧图像进行运动检测。首先,利用背景估计图像与当前帧图像的“差”进行变化检测,以判断是否存在运动目标。采用的检测公式如下:

undefined

式中,Mn是一个二值掩模图像,值为255的点表示运动点,值为0的点表示背景点;T是一个用来判断、检测运动点的重要参数,阈值范围一般取在30～50之间,其值太大会产生漏检,太小则会造成误检,具体数值应根据实际视频图像,通过实验确定。本文的阈值取在36。后续的研究将会考虑在象素估值的基础上实现自适应调节。

得到运动区域之后,就可以对背景图像进行自适应更新。对背景图像的更新是通过式(7)完成的:

undefined

其中:Bn中各个参数的更新见2.1节。由式(7)可以看出,只有在非运动区域,背景模型才进行更新,而更新是通过取视频图像序列的加权平均值完成的。

在差分后的二值化的图像Mn中,运动目标的象素往往缺乏整体的连续性,本文采用数学形态学操作和降低分辨率的方法,提取出连续的运动区域。

首先对Mn进行垂直方向的膨胀操作,得到图像Dn,这样弥合了运动目标水平方向大部分的小裂缝。然后降低Dn的分辨率得到图像Rn,由于本文中实验采用的视频帧的分辨率为352×288,因此这里把Dn分割为8×8的小格,如果某一小格象素值为255的象素个数占到一半以上,则该小格的象素为255,否则为0。最后对Rn进行垂直方向的闭操作,实验结果如图2所示。

从实验结果可以看出,由于摄像机的抖动、绿化带风吹等原因导致二值化图像(c)出现一些噪声。由于汽车车身某些颜色与背景相似,导致(c)中运动目标区域象素不连续或者出现空洞。经过膨胀操作以后,可以看到(d)运动区域的连续性得到很大改观,同时对噪声也进行了放大。通过(e)降低分辨率后,噪声得到了很大程度的抑制,而且运动区域基本连通,同时也消除了空洞。最后经过垂直方向的闭运算之后,噪声基本上被消除。

运动区域提取出来之后,就可以对运动目标进行定位了。

2.3 运动目标的定位

在进行目标定位之前,必须进行连通区操作,标记不同的运动目标。连通操作一般用迭代的区域生长方法,该方法速度慢,内存消耗大。本文采用一种仅使用一次扫描二值图像的方法标记运动目标。

二值图像任意一行中的直线用数据结构为:

struct tagLine{

long m_lRow;

long m_lColumnHead;

long m_lColumnTail;

tagLine* m_pNext;}

如果相邻两行的直线Line1和Line2八邻域连通,则必须满足以下关系:

Line1.m_lColumnTail+1≥Line2.m_lColumnHead

Line2.m_lColumnTail+1≥Line1.m_lColumnHead

如果上两式都取为>,则表示四邻域连通。

通过逐行扫描,可以将所有连通的直线连成链表,这样就得到了连通区域的信息。通过这些信息就可以方便地计算出各个运动目标的质心、面积、周长,用于目标的分类。

一个运动目标可以看作一个连通区域(Connected Region,CR),用下面公式来获取第一个CR的质心坐标C(XCR,YCR):

undefined

其中B(x,y)是坐标为(x,y)的象素的二值灰度,而分母的值即为目标的面积。

2.4 运动目标的分类

得到连通区域的信息以后,就可以对运动目标进行分类,分类的目的在于区分出汽车和行人,因为只需对汽车进行跟踪。

在交通道路上,特别是有设置监视的路口,通常行人和汽车行进的速度都不是很快,因此,我们不能从速度上来判断行人和汽车。为了对目标进行实时的分类,我们必须用一种计算简单、合理有效的分类机制。我们仔细分析行人和汽车的基本特征,提出了紧密度的概念:undefined,因为,人的形体较小但外形复杂,因此他的紧密度较小,但汽车的形体较大,外形简单,因此他的紧密度较大。通过对检测到的大量样本进行计算,可以大概估计出车辆和行人的紧密度边界阈值K,然后将其作为分类的标准。若运动目标的紧密度大于此边界阈值K,则被判为是汽车,否则被判为行人。目标周长的计算见文献[7]。

目标分类完成之后,就可以对目标进行跟踪,并判断其运动轨迹。

3 多目标跟踪

本文中采用改进的最近邻法对多运动目标进匹配和跟踪,这种方法适合交通场景中目标数的动态变化。

3.1 改进的最近邻法

最近邻法是考虑待跟踪目标与下一帧每个目标质心的欧氏距离,距离最小的两个目标认为是同一个目标。

本文中使用改进的最近邻法,除了满足距离最小以外,还要满足最小的距离小于某一个阈值才判断为同一个目标。

改进的最近邻法步骤如下:

(1) 设有K个样本,全部作为初始的模式,记为S1(1),S2(1),…,Sk(1)。

(2) 计算新的样本到K个模式的欧氏距离,并按最邻近规则进行匹配。

设:

undefined

若D

若D≥Tl,则 X作为一个新的模式Sk+1(2)。

(3) 删除第二步中没有得到更新的模式。

(4) 重复步骤(2)和(3),直到程序结束。

3.2 目标跟踪实现

实现步骤如下:

(1) 读入第一帧图像进行目标检测,把K个目标的质心坐标(模式)保存到listInit和listMatched中,其中列表listInit中保存的为进入摄像机镜头的汽车的初始坐标,列表listMatched保存的为当前帧中得到匹配的目标的坐标。

(2) 读入下一帧图像进行目标检测,把N个目标的质心坐标(样本)保存到listCurrent中,进行模式识别,计算listMatched中各个类别和当前各个样本的欧氏距离,若Si与Xj欧氏距离最小并且小于某一个阈值Tl,则表明Xj属于Si,并用Xj更新Si,保存在listMatched中,这里Tl为相邻帧间汽车运动的最大距离;否则表明当前帧中已无Si,即汽车Si已经驶出场景,此时根据listMatched每次记录的值,判定Si运动轨迹,并在listInit和listMatched中删除该车的信息。

(3) 若所有的Si都已匹配结束,还有新的样本Xl,则表明Xl为新进入场景的汽车,把他加入到listInit和listMatched中,作为新的类别。

(4) 重复步骤(2)和(3),直到读完所有帧。

4 实验结果和结论

实验使用的视频序列分辨率为352×288,帧率为每秒15帧,T=36,Tl=10。图3给出了典型的几幅运动目标检测结果,图中红色方框内为使用本文提出方法检测的目标的邻接矩形的结果,显然从图可以看出本文的方法较精确地检测出目标的邻接矩形。同时,表1中给出了使用INN跟踪多辆汽车的坐标数据。

由表1可知,从16帧到24帧,目标原始坐标个数由2个变为3个,表明场景中有新的汽车进入;从44帧到52帧,又增加一个目标;从52帧到54帧,有汽车驶出场景,此时根据目标从进入场景到出去之前的坐标序列计算运动目标的轨迹,如图3中的(f),在目标即将离开场景时,判断其运动轨迹为右拐。若其轨迹为违章,则记录该帧之前一定数量的帧,合成到一个视频文件中,这样就大大减少了存储空间和监控人员的工作强度。

本算法采用VC++6.0实现,跟踪在降低分别率的基础上进行,大大减少了计算量,并且无需对每帧数据都进行处理,实验中在相邻两帧之间进行跟踪,达到了预期的效果。实验结果证明,该算法不仅可以实现多目标跟踪的准确性,而且不受道路环境和车辆运动方向的限制以及镜头远近的影响,因而具有很好的适应性和鲁棒性。在此基础上,可以期望在后期工作中考虑目标自身的特征和各个目标的运动情况,进一步增加跟踪的精确度。

摘要：介绍了一种简单、快速的实时交通场景中多目标的检测与跟踪算法。在使用自适应背景差分法分割出运动目标候选区域的基础上,采用数学形态学操作和降低分辨率的方法,得到连通的目标区域,并使用改进的最近邻法对目标进行匹配和跟踪。实验证明本算法较好地解决了跟踪的连续性、实时性、精确度的矛盾。

关键词：目标检测,最近邻法,跟踪,匹配

参考文献

[1]Collins R,Lipton A,Kanade T,et al.A System for VideoSurveillance and Monitoring[R].Tech.Report CMU-RI-TR-00-12,Robotics Institute,Carnegie Mellon Uni-versity,2000.

[2]Elgammal A,Harwood D,Davis L.Non-parametric Modelfor Background Subtraction[C].In European Conference onComputer Vision,2000:751-767.

[3]Fujiyoshi H,Lipton A.Real-Time Human Motion Analy-sis by Image Skeletonization[J].Proceedings of IEEE.WACV98,1998:15-21.

[4]Stauffer C,Grimson W E L.Learning Patterns of ActivityUsing Real-time Tracking[J].IEEE Transactions PatternAnalysis and Machine Intelligence,2000,22(8):747-757.

[5]Bors A G,Pitas I.Prediction and Tracking of Moving Ob-jects in Image Sequences[J].IEEE Trans.on Image Process-ing,2000,9(8):1 441-1 445.

[6]张云峰,王洋.基于视频信号的多目标跟踪方法[J].仪器仪表学报,2005,26(8):652-653.

视频序列中的运动目标检测与跟踪 篇8

近年来,随着计算机速度的不断提高以及数字图像处理技术研究的不断深入,智能视频监控技术得到了很好的发展,并被广泛应用于军事及民用监控系统,它能够大大减少人力物力,保障监控场所安全[1]。

视屏监控技术主要包括运动目标检测、目标提取、目标识别与跟踪几个模块。其中以目标检测部分为关键。目前,常用的运动目标检测方法有:光流法、帧差法和背景减法。光流法对光线和噪声的变化特别敏感且计算复杂耗时,没有特别硬件支持很难在实时系统中应用[2]。帧差法是基于运动图像序列中,相邻两帧图像间具有强相关性而提出的检测方法,具有很强的自适应性,但分离出来的运动目标容易出现空洞和沿着运动方向拉伸,不利于进一步分析与识别[3]。背景减法是目前最简单而又常用的方法之一。背景减法适用于摄像机静止的情况,能够完整分割出运动对象,却容易受光线、天气等光照条件、前景目标短暂或长久性的闯入和移出、背景自身的运动(如:树叶摇动等)等因素的影响。尽管如此,在实时监控系统中背景减法仍是运动目标检测的最常用方法[4]。常用的背景建模方法为混合高斯模型[5],但是模型复杂,计算量大。本文的目标检测部分采用了基于直方图统计的多帧平均混合法做背景提取,然后使用背景减法提取运动目标[6]。

1 背景模型

由于交通场景中视频序列特定像素位置出现频率最高的像素值是背景像素值。实际上交通场景中的视频序列还有一个特点:某点背景的像素值总是在某个区间内波动。因此将某点的灰度范围[0,255]等分为若干区间[0,256/N],[256/N,2×256/N],…,[(256-256/N),255],N为等分区间数,对应于某个像素的每个区间,考虑其落在区间内像素点的灰度值的均值μ及区间的计数统计S。在读取视频序列的同时,更新背景。具体方法如下:

(1) 均值更新。如果:

$c{}_i(x,y)\in [(n-1)256/{\rm N},n\times 256/{\rm N}]$

则更新第n个区间的像素均值:

$u{}_{i,n}(x,y)=(1-\alpha )u{}_{i-1,n}(x,y)+\alpha c{}_t(x,y)$

否则:

$u{}_{i,n}(x,y)=u{}_{i-1,n}(x,y)$

(2) 区间计数统计更新。如果:

$c{}_i(x,y)\in [(n-1)256/{\rm N},n\times 256/{\rm N}]$

则更新第n个区间计数统计:

$s{}_{i,n}(x,y)=\beta s{}_{i-1,n}(x,y)+1$

否则:

$s{}_{i,n}(x,y)=s{}_{i-1,n}(x,y)$

式中:ci(x,y)表示在第i帧图像中的坐标为(x,y)处的像素点的灰度值;α与β为权系数。这样将直方图灰度划分成区间段,对帧中的每个像素点计算ui,n和si,n后,比较不同区间段的si,n后,将具有最大si,n的区间的ui,n作为背景。

2 目标提取

2.1 噪音消除

在背景差分的基础上,可以得到一幅粗略的二值图像,然后对其采用3×3的方形窗口进行中值滤波,以消弱图像中噪声的影响。

2.2 形态学滤波[7]

噪声的影响可能会使目标边界呈现不同程度碎片,对此本文使用形态学滤波中的膨胀、开运算对二值图像做处理,使目标区域轮廓变得平滑,同时抑制峰值噪声。

2.3 阴影消除

阴影的存在不利于准确判断目标的位置,像素点(x,y)在未被阴影覆盖和被阴影覆盖时的亮度值近似成线性关系,由概率论中相关系数的性质可知,若随机变量X和Y成线性关系时,则X和Y的关系系数为1,因此本文利用了万相关系数的性质进行阴影检测与滤除[8]。

2.4 区域标记提取

经过以上方法处理后的前景背景二值图像中,目标为若干个黑色联通区域,首先通过八连通域区域标记法[9],给每个目标一个标记。

然后从左到右,从上到下扫描已经标记的图像,遇到相同标记的点时,就更新对应标记区域的中心上下左右四个坐标值,结束扫描后,再根据每个区域的上下左右四个座标值获取其中心坐标。如此,就得到了每个区域的标记以及具体位置。

最后,对于这些区域的异常情况例如对于携物者、牵手并行者、迎面相交者等做处理。处理方式主要根据目标区域的长、宽、中心坐标距离,面积等特征来做判断。例如一个区域的面积很小(小于某个阈值),并且距它最近的区域的距离大于某个值,那么把它当噪声处理,更改它的标记为255。

3 目标识别与跟踪

在连续的视屏序列中,采用背景差法得到的目标,需要识别当前图上的某个目标是与上一副图中的哪一个目标相对应。对于人流量大,行走速度快的情况,目标识别是一个比较繁琐的过程。本文采用最小距离匹配法做目标识别,构建以下结构体描述目标信息。定义两个该结构体类型指针。

struct TargetArea

{

int flag; //区域有效标号

int CorrespondingFlag; //匹配标号

int number; //区域中包含的像素数

int centerX; //区域中心X坐标

int centerY; // 区域中心Y坐标

int direction; //区域移动方向

}*mpPersonInAreaBefore,*mpPersonInAreaNow;

目标跟踪程序步骤如下:

(1) 统计监测区中的目标个数,使用一个循环语句来将当前目标与上次目标(上幅图中处于检测区的目标)之间的中心距离逐一比较,如果距离小于某个阈值,则认为匹配,那么将当前目标与上次目标变量中的CorrespondingFlag 置1,表示找到了匹配点。

(2) 对于已经找到匹配目标的当前目标,比较它与匹配目标的中心坐标(centerX,centerY)来得到他的行走方向。在本文实验中,因为行人在监控区的主要行走方向是上行和下行,因此只对centerY做了比较。然后根据结果给direction赋值(1表示上行,0表示静止,-1表示下行)。

(3) 对于当前目标中匹配标志为0的点,表示是新点,那么它可能是一个新进入监控区域的人,或者是一个噪声。如果距离监控区的边界线小于某个阈值,认为是新进入区域的人,否则认为是噪声,置区域有效标记flag为0。

(4) 对于上次目标中匹配标志为0的点,表示目标已经离开了监控区域。那么根据它的行走方向以及距离上下检测线的位置判断是上行穿过区域还是下行穿过区域。如果距离下检测线近而且行走标志为-1,则判为下行通过区域,下行人数计数器加1,如果距离上检测线近且方向标志为1,则认为上行通过检测区,上行人数计数器加1,否则认为是噪声。

(5) 判断结束,释放上次目标的数据空间,重新申请当前目标个数的目标结构体数据空间,将当前目标数据放入其中,更改匹配标志为0,以便与下一副图中的目标做对比。

4 实验数据与分析

实验中以每100 ms每张的频率针对四川大学室外场景拍摄了1 506张照片。通过对这些照片做图像处理分析,统计在这段时间内通过该区域的人数。视频图像帧的大小为320×240像素,在普通PC机(AMD Sempron Processor 3000+,1.60 GHz,1.00 GB的内存,天敏SDK2500视频采集卡)上,用VC++ 2005编写了一个基于对话框的程序做实验。图1为程序界面。打开视屏序列中的某幅图片后即可点击“视屏监控”按钮开始监控,程序界面可以显示实时刷新背景、背景差后经过处理的二值图像、经过区域标记和目标识别跟踪后的监测画面。设置了纵坐标从60～130的范围为监控区,在监控时间内通过监控区的行人人数显示在右下角。针对这次实验的1 506张照片,实验结果准确地统计出了通过区域的行人人数。

图2为使用直方图统计与多帧平均混合法得到的背景图像。

图3为背景差后的二值图像,目标用黑色表示,背景用白色表示,可以看出,目标被明显地提取出来了,并且经过消除噪声、形态学滤波、阴影消除后的前景二值图像,比较干净,具有较好的对比分析使用价值。

图4为行人特殊情况的目标提取结果,可以看出,对于相遇造成的目标重叠、两人紧靠并行、携物者,都能得到较好的目标提取结果。

图5为行人监测,行人进入监控区域后能对其进行跟踪,穿过区域时,能较准确地判断出其行走方向,并且统计人数。

5 结 语

本文针对固定场景提出一种基于背景模型的运动目标检测和跟踪算法。该方法使用直方图统计与多帧平均混合方法背景建模。使用八连通域区域标记法和最小距离匹配方法对目标进行识别跟踪,根据目标特征参数进行逻辑判断监控行人人数,都取得了良好的效果,并且能对多种特殊情况兼容处理,具有实用价值。

摘要：提出一种视频序列中的运动目标检测跟踪算法。该方法采用直方图统计与多帧平均混合作为动态背景更新法,经过噪音消除、形态学处理、阴影处理后,用区域标记法提取目标。利用目标特征参数建立目标数组,通过当前帧目标数组和前一帧目标数组距离匹配实现运动目标的快速跟踪。该方法与传统方法相比具有更好的学习能力,从而有效地提高了运动目标检测的正确率和快速性。实验结果表明该方法具有良好的鲁棒性和自适应性。

关键词：背景模型,背景提取,运动目标检测与跟踪,视频序列

参考文献

[1]施华,李翠华.视频图像中的运动目标跟踪[J].计算机工程与应用,2005(10):56-58.

[2]Kinoshita K,Enokidani M,Izumida M,et al.Tracking of aMoving Object Using One-Dimensional Optical Flow with aRotating Observer[A].9th International Conference on Con-trol,Automation,Robotics and Vision[C].2006:1-6.

[3]Gao Hongzhi,Green R.A Robust Moving Object Segmenta-tion Algorithm[A].Proceedings of the 2007 InternationalConference on Wavelet Analysis and Pattern Recognition[C].2007,1:214-217.

[4]Piccardi M.Background Subtraction Techniques:A Review[A].IEEE International Conference on Systems,Man andCybernetics[C].2004,4:3 099-3 104.

[5]Chris Stauffer,Grimson W E L.Adaptive Background Mix-ture Models for Real-time Tracking[A].IEEE Computer So-ciety Conference on Computer Vision and Pattern Recogni-tion[C].Fort Collins:IEEE Press,1999.246-252.

[6]李晓飞,梅中辉.一种基于直方图统计的多帧平均混合的背景提取算法[J].南京邮电大学学报:自然科学版,2008,28(6):74-77.

[7]冈萨雷斯,阮秋琦.数字图像处理[M].2版.北京:电子工业出版社,2003.

[8]蔡友杰,陈秀宏.基于视频图像的运动目标检测与识别[J].微计算机信息,2009,25(3):280-281.

目标检测和跟踪 篇9

关键词：支持向量机；行人检测跟踪；TLD

中图分类号：TP391.4 文献标识码：A

文章编号：1674-2974（2016）10-0102-08

Abstract：A new method based on optimized TLD （Track-Learning-Detection） and SVM （Support Vector Machine） for tracking pedestrian was proposed. First， with pedestrians as positive samples and the background as negative samples respectively， HOG （Histogram of Oriented Gradient） descriptor of pedestrian was extracted and combined with linear SVM to train the pedestrian classifier，which was used to obtain the calibrated pedestrian area accurately. Then， adaptive tracking and online learning on the pedestrians on the basis of TLD were integrated to estimate the reliability of the positive and negative samples， to rectify error existing in the current frame caused by detection and to update the tracking data simultaneously to avoid subsequent similar mistakes. The experiment results demonstrate that， compared with the conventional tracking algorithm， the proposed algorithm can not only significantly adapt to occlusions and appearance changes but also automatically identify and track pedestrian targets at arbitrary position， manifesting stronger robustness.

Key words：support vector machine； pedestrian detection and tracking； TLD

在计算机视觉应用中，长期稳定实时检测跟踪运动物体已经成为一个重要的研究课题，随着技术的不断成熟，该领域的应用也相当广泛，比如：工业生产、实时监督、自动目标定位、自动导航、人机交互、增强现实技术、SLAM、游戏开发等.研究人员根据实际应用的需要提出不同的跟踪方案，其中D.Comaniciu等[1]利用改进的mean-shift来跟踪运动物体，该方法可通过迭代步骤找到离跟踪目标最近的位置，但其不能解决目标被遮挡或发生形变等问题，在前后背景颜色相似的环境中，容易发生目标跟丢的情况.Martinez等[2]用背景差分法提取目标，根据轨迹建立数学模型实现行人跟踪，该方法可取得较好的检测效果，但由于计算时间长，跟踪的实时性不能得到保证.季玉龙等[3]提出的对运动目标建模的方法需要大量的先验知识，对视频帧中出现的相似目标干扰没有很好的鲁棒性，不能保证长期的跟踪性和适应性.

TLD算法[4-7]将检测过程和跟踪过程融合起来并引入学习机制，当目标发生形变或被遮挡时，可以实时更新目标模型，实现在线学习和评估，在一定程度上可以克服目标外观变化及运动模糊，具有较强的稳定性.但是TLD算法中的跟踪目标并不能自动识别，当目标移动过快时，跟踪准确度也有所下降，因此泛化性仍有待提高.本文在其基础上提出了一种基于支持向量机分类优化的行人跟踪学习检测方法，该方法利用SVM分类器检测到待跟踪目标，保留TLD算法在复杂背景下对目标区域实时学习与跟踪的基础上在检测模块中加入图像特征点配准[8]以实现更高的跟踪精度.

1 方法概述

本文利用视频初始帧中行人方向梯度直方图和支持向量机检测出行人在视频帧中的特征及位置，将目标行人提取出来，记录行人位置左上角坐标与行人的宽和高.确认目标后将视频帧输入到检测模块与跟踪模块并产生相应的实时正负样本，学习模块根据捕捉到的正负样本不断将信息反馈给检测模块与跟踪模块，利用图像特征点配准进一步剔除图像元中的误配点，达到良好的检测跟踪效果.算法具体框架如图1所示.

2 基于HOG与线性SVM的行人检测方法

2.1 行人特征提取

行人特征可以用灰度、边缘、SIFT特征、Haar特征等来描述.由于HOG[9]属于对局部目标进行检测，对阴影、光照条件的变化、小角度旋转以及微小行人动作有较好的鲁棒性.因此本文采用HOG来提取行人特征.目标的HOG提取过程[10]如下：

1）对图像进行gamma校正以实现标准化，降低噪声干扰及光照影响，如图2所示.

2）对各像素点求梯度大小及方向，捕捉目标区域的轮廓.

3）构建细胞单元梯度方向直方图.

本文中行人检测样本取自Navneet Dalal， Bill Triggs建立的INRIA数据库，库中图片像素为64×128.以8×8像素作为一个cell单元，对单元内每个像素梯度进行统计并投影到9个bin中.将2×2个cell作为一个block，扫描步长为单个cell，依次对图像进行遍历，则共有105块block，每个block中有2×2×9=36个特征描述子，最终整个图片包括36×105=3 780个HOG特征描述子.

4）根据式（5）对HOG特征描述子进行L2 范数归一化后用作后续分类识别的特征向量：

2.2 使用支持向量机（SVM）检测行人具体位置

在机器学习中，SVM[11-12]被广泛应用于训练感知器与统计分析及分类中.该算法可将低维向量投影到高维空间中，并在此空间中形成一个最大分离超平面，使其距离平面两端的数据间隔最大，如图3所示.最大分离超平面如式（6）表示：

为训练分类器，本文选择包含不同姿势及形态的行人图像作为正样本，不包含行人的任意背景图片作为负样本.本文选择3 000张正样本（如图4（a）所示），2 000张负样本（如图4（b）所示）并将其标准化为64×128像素作为训练样本.

用初次训练好的分类器检测不包含人体的图像，有时会得到错误的目标区域[13-14]，将这些错误区域（Hard Example）归到负样本中，再次进行训练，迭代多次，可明显改善分类器效果.最终训练好的分类器可将行人区域很好地划分出来，效果图如图5（a），（b）所示.

3 利用改进的TLD对行人进行跟踪

在初始帧利用SVM分类器得到待跟踪行人位置后，将位置信息传递给TLD中的bounding box以对该算法进行目标区域的初始化.TLD（Tracking-Learning-Detection）是一种对特定目标进行自适应检测与在线学习并实现实时跟踪的算法[15]，该算法将目标跟踪任务分成3部分：跟踪模块、学习模块和检测模块.3部分协同组合，并以并行方式运行发挥各自优势[16]，具有较高的可靠性和鲁棒性.

3）PN学习过程中[18]，先给定一个视频和扫描框，同时用分类器标定出视频区域中的目标和背景，用跟踪器来提供正的训练样本，检测器提供负的训练样本.跟踪器跟踪目标后，靠近目标窗口的扫描窗口通过P约束来更新检测器，若扫描窗口中不存在目标物体，则N约束更新检测器.P约束利用时间连续性，根据前一帧目标出现的位置预测目标轨迹，估计目标在当前帧的位置，若检测器将此位置定义为负样本，则P约束生成正样本；N约束分析出当前帧目标可能出现的最优位置，与此位置重叠度低的区域标记为负样本，继续更新跟踪器.PN约束通过在线处理视频帧逐步提高检测器正确率，相互补偿来确保学习模块的稳定性与可靠性，利用误检来提高学习性能.

4 实验结果与分析

本实验编程平台：VS2010与opencv2.4.3开发库；MATLAB R2013a.

微机环境配置：CPU Intel（R）Core（TM）i3-4150 3.50 GHz，内存为4 G.

4.1 实验测试集说明

为了更好地验证本算法检测跟踪目标的鲁棒性和准确性，将实验结果与文献[19]中高斯混合模型改进的meanshift跟踪算法[19]，文献[20]中kalman滤波和模板匹配跟踪算法[20]及基本TLD算法分别在4种不同的数据集中进行验证比较，并分析各算法的准确性、实时性及鲁棒性.其中shooting和football序列来自网上公开测试集VTD_data_images，pedestrian1及 pedestrian2数据集为实时采集.测试集序列内容如表1所示.

4.2 性能分析

4.2.1 算法准确性比较

将本文算法、改进的meanshift算法、kalman滤波和模板匹配算法、基本TLD算法在不同的测试集中进行实验，对比跟踪效果.用式（16）来表示跟踪成功率：

score=area（RT∩RG）area（RTRG）.（16）

式中：RT表示跟踪算法跟踪到的目标区域，RG表示目标实际所在区域.若score>0.5，则认为该算法正确跟踪此帧.测试集实验结果如表2所示.由表2可知，在未遮挡情况下，各算法均可以获得较准确的跟踪结果，但在有遮挡时，本文算法正确率均高于其他各算法.

本文算法、文献[19]改进的mean-shift算法、文献[20]kalman滤波和模板匹配算法及基本TLD算法在pedestrian1测试集中跟踪部分结果（分别选取测试集第30帧、第53帧、第174帧、第350帧）如图8所示.从图8可知，当目标未被遮挡时，3种算法都可以准确跟踪行人，目标被遮挡后，基本TLD算法、文献[19]与文献[20]中的跟踪算法均出现目标跟丢甚至误检现象，而本文算法可始终追踪到行人，对目标定位跟踪表现出良好的抗干扰性和准确性.

4.2.2 算法实时性比较

本文采用平均帧率（average frame per second）作为算法实时性分析的评价指标.各算法在测试集中的平均帧率如表3所示.由表3可知，基本TLD算法与本文算法在测试集的处理上速度高于其他两种算法，而由跟踪准确性分析可知，本文算法比基本TLD算法获得了更准确的跟踪结果，表现出较强的跟踪性能.

4.2.3 算法鲁棒性分析

在pedestrian2序列中（如图9所示），行人检测分类器确定目标位置后，当目标姿势变化较大时，学习模块通过在线学习不断更新跟踪模块和检测模块样本，确定新的正样本.本算法在目标侧身，转身，消失然后重现时均可以准确跟踪行人，当相似目标出现时则不返回跟踪框，表现出良好的抗干扰性.

5 结 论

检测跟踪一直是计算机视觉研究的热点和难点，而TLD算法通过在线学习与检测，根据产生地正负样本不断更新跟踪结果，具有较好的实时性与准确性.本文在其基础上引入SVM行人检测分类器，确定并读取目标区域位置信息，实现行人的自动识别，同时联合图像配准技术，将误配点排除，跟踪精度得到进一步提高.最后进行实验验证，通过与当前两种主流跟踪算法及基本TLD算法在不同测试集上进行试验比较，可知本算法在长时间跟踪过程中能够不断适应目标形变带来的干扰，表现出更好的跟踪效果与鲁棒性能.

参考文献

[1] CQMANICIU D， RAMESH V ， MEER P. Real-time tracking of nonrigid objects using mean shift[C]//Proceedings in Computer Vision and Pattern Recognition， Hilton Head Island， SC： IEEE Conference，2000：2，142-149.

[2] ANTONINI G，MARTINEZ S V，BIERLAIRE M，et al.Behavioral priors for detection and tracking of pedestrians in video sequences[J]. International Journal on Computer Vision，2006，69（ 2） ： 159-180.

[3] 季玉龙，董天罡，梁海军，等.基于粒子滤波的多区域辨识性建模跟踪算法[J].四川大学学报：工程科学版，2013，45（1）：79-83.

JI Yu-long，DONG Tian-gang，LIANG Hai-jun，et al. Robust particle tracking via multi- region based discriminative modeling[J]. Journal of Sichuan University：Engineering Science Edition， 2013，45（1）：79-83. （In Chinese）

[4] KALAL Z，MATAS J，MIKOLAJCZYK K. Online learning of robust object detectors during unstable tracking[C]∥Proceedings of 12th International Conference on Computer vision workshops. New York： IEEE Xplore，2009： 1417-1424.

[5] KALAL Z，MATAS J，MIKOLAJCZYK K. Pn learning： bootstrapping binary classifiers by structural constraints[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010： 49-56.

[6] ALALZ K，MIKOLAJCZYK K，MATAS J. Forward-backward error： automatic detection of tracking failures[C]∥Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010： 23-26.

[7] KALAL Z，MIKOLAJCZYK K，M ATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（ 7） ： 1409-1422.

[8] 魏国剑，侯志强，李 武，等. 融合光流检测与模板匹配的目标跟踪算法[J]. 计算机应用研究，2014，31 （ 11） ： 3498-3501.

WEI Guo-jian， HOU Zhi-qiang， LI Wu，et al. Object tracking algorithm fused with optical flow detection and template matching[J]. Application Research of Computers， 2014，31 （ 11） ： 3498-3501. （In Chinese）

[9]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，International Conference.Beijing：2005：886-893.

[10]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of Computer Vision and Pattern Recognition，IEEE Computer Society Conference on. San：CA ：IEEE， 2005，1： 886-893.

[11]曹文明，王耀南，文益民. 输电线路除冰机器人基于小波矩及SVM 的障碍物识别研究[J]. 湖南大学学报： 自然科学版，2012，39（9） 33-38.

CAO Wen-ming，WANG Yao-nan，WEN Yi-ming. Research on obstacle recognition based on wavelet moments and SVM for deicing robot on high voltage transmission line[J]. Journal of Hunan University： Natural Sciences，2012，39（9） 33-38.（In Chinese）

[12]于海滨，刘济林.应用于公交客流统计的机器视觉方法[J]. 中国图像图形学报，2008，13（4）：716-722.

YU Hai-bin，LIU Ji-lin. A vision-based method to estimate passenger flow in bus[J]. Journal of Image and Graphics，2008，13（4）：716-722.（In Chinese）

[13]HUANG Dong-ze ，CAI Zhi-hao，XIANG HE Xiang，et al.A SVM embedded particle filter for multi-object detection and tracking [C]//Proceedings of 2014 IEEE Chinese Guidance，Navigation and Control Conference.Yantai：IEEE Press，2014：2094-2099.

[14]方卫宁.基于 RBF 神经网络的复杂场景人群目标的识别[J]. 北京交通大学学报，2009，33（ 4） ： 29-33.

FANG Wei-ning. Recognizing the passenger number in ccomplex scenes by RBF neural network[J]. Journal of Beijing Jiao tong University，2009，33（ 4） ： 29-33.（In Chinese）

[15]ANDRILUKA M，ROTH S，SCHIELE B. People-tracking-by-detection and people-detection-by-tracking [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2008： 1-8.

[16]COLLINS R T，LIUY，LEORDEANU M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（ 10） ： 1631-1643.

[17]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamic images based on adaptive background subtraction[C]/ / Proceedings of International Conference on Image processing. Institute of Electrical and Electronics Engineers Computer Society，Barcelona， Spain：2003， 953-956.

[18]FENARI V， TUYTELAARS T， VAN G L. Real-time affine region tracking and coplanar grouping[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， HI： Institute of Electrical and Electronics Engineers Computer Society， 2001：226-233.

[19]QUAST K， KAUP A. Shape adaptive mean shift object tracking using Gaussian mixture models[M].Lecture Notes in Electrical Engineering. Heidelberg： Springer， 2013， 158： 107-122.

[20]陈金令，苗东，康博，等. 基于Kalman滤波和模板匹配的目标跟踪技术研究[J].光学与光电技术， 2014，12（ 6） ： 9-12.

目标检测和跟踪 篇10

1 自车速测量技术

车辆速度测量的首要条件是找到测量基准点, 一般以车辆侧方相对静止的事物为基准点。在激光测距仪距离测量的基础上, 利用视频检测和跟踪技术实现对车辆速度的测量。

1.1 测量的基本原理

将摄像头和测距仪安装在车辆行驶方向的垂线上, 并保证二者的同轴状态。当被检测车辆进入摄像头的拍摄范围时, 可以自动或者人为地检测出目标, 然后使用模板匹配算法跟踪;当车辆行驶到中间位置时, 激光测距仪会测得车辆的距离, 并且记录下当前时间。随着车辆的继续行驶, 可以利用像素数计算车辆偏离位置中线的角度, 利用直角三角形原理计算车辆的行驶距离, 然后再根据运行时间最终计算出车辆行驶的速度。

1.2 测量的数据流程图

车辆自速度测量的数据流程如图1所示。

2 基于视频的纹理模板匹配算法

模板匹配算法是现今图像处理领域常用的一种检测和跟踪方法, 它是模式识别和目标跟踪的重要研究领域。该算法的基本思想是先建立一个已知目标的模板, 并根据模板的特性提取模板的特征, 然后在待检测的图像中根据相应的特征来识别所需信息, 将最符合特征的图像部分认定为目标部分。这种技术常常应用于人脸检测和车牌识别等领域。常用的特征模板有基于颜色域的模板、基于特征向量的模板和基于纹理特征的模板等。由于本文的车辆检测算法中需要使用灰度图像, 而且对识别目标的普适性和实时性要求比较高, 所以, 选用基于纹理特征的模板匹配算法。

2.1 基于纹理特征的模板匹配算法

算法的基本思路是:

首先, 将目标模板按行列方向分别提取纹理矩阵:

式 (1) 中:H为垂直纹理矩阵;m为模板;u为横坐标;v为纵坐标;L为水平纹理矩阵。

将图像分别按行列方向提取纹理矩阵:

式 (2) 中:H为垂直纹理矩阵;s为源图像;i为横坐标;j为纵坐标;L为水平纹理矩阵。

计算图像各像素点的相似度, 即:

式 (3) 中:βH为垂直纹理相似度;βL为水平纹理相似度;M为图像宽度;N为图像高度。

经过上述分析可知, 最佳匹配位置是相似度最大的点。

2.2 基于DSP技术对算法进行的改进

在算法中, 模板图像与目标图像之间匹配时, 置信度计算是十分复杂的, 预算量越大, 运行时间越长。因此, 本文针对算法中存在的问题进行了改进。

在提取模板图像和目标图像2个方向的二值纹理矩阵之前, 每个像素用1个字节 (8 bits) 二进制码表示, 而二值化后每个像素可用1 bit二进制码表示。提取了二值纹理矩阵后, 虽然模板图像与目标图像分别变换为2个方向上的矩阵, 但是, 其存储量可减小为原来的1/8, 极大地节省了存储的空间。

在算法中引入逻辑运算, 将相似度的计算改为同或和累加运算, 而且这步可以并行实现, 即:

上述操作可以利用DSP处理, 在完成了计算任务的基础上, 可以节约大量的时间。

3 目标检测算法

由于激光测距仪和摄像机的安装位置是固定的, 所以, 可以事先调整安装位置, 从而得到激光命中点在图像中的位置。如果使用高速激光测距仪, 就可以得到车辆行驶时距离目标的特征信息, 进而得到激光命中目标的准确时刻, 然后根据这时刻前后2帧图像对不同的模板进行迭代匹配, 即可得到准确的目标图像, 然后利用目标图像建立模板, 在后续的视频图像中进行跟踪。

激光测距仪扫描过树木时的数据如图2所示。

从图2中可以看出, 利用高频率的激光测距仪数据可以得出激光经过目标的时间。其计算原理如图3所示。

在图3中, 竖线代表激光在图像中的位置, 这在短时间内是不变的, T1和T4两个时刻分别是得到图像的时间, 它们是可测量的, 而T2和T3时刻也是可以利用激光数据得到的, 所以, 假设这一段时间内车速不变, 那么, 这一段时间内的像素行驶速度也应保持不变。这样, 假设树木的宽度为d0, 那么, 利用T2、T3和d0就可以描述像素速度v, 然利用v即可计算出T1、T4时刻树木所在的位置。将2帧图像中的树木位置以宽度d0取为模板进行纹理特征匹配, 得到匹配度MSE0, 最后改变d值, 得到MSE1到MSEN。得到的最小的MSEmin即为最佳匹配模板, 然后选取对应的d作为模板宽度在后面的图像中进行匹配。

从图4中可以看出, 宽度取11时, 匹配效果最佳, 匹配效果入图5所示。

4 结束语

本文提出了一种测量车辆速度的方法, 它是基于视频检测和跟踪算法运行的, 具有实用性强、精确度高等优点。利用DSP技术可以解决实际应用过程中实时性差的问题, 使其具有更好的应用价值。

摘要：随着现代智能交通系统的发展, 如何快速、精确地测量车辆速度已经成为了热点问题, 而测量行驶中的车辆自身的车速更是一个相对新颖和空白的领域。提出了一种主动式测量车辆自身速度的方法, 它是利用基于视频的目标检测与跟踪技术、纹理模板匹配的算法和DSP技术, 实现了实时测量。

关键词：速度测量,目标检测,目标跟踪,模板匹配

参考文献

[1]刘铁军, 史泽林, 于海斌.一种基于图像纹理的模板匹配算法[J].红外与激光工程, 2005 (03) .