多目标视频跟踪技术（精选7篇）
多目标视频跟踪技术 篇1
红外目标跟踪是光电技术和计算机视觉中的经典问题,其基本任务可以描述为在视频序列中针对感兴趣的目标对象进行有效的位置、俯仰、速度等运动特征的确定或估计,国内外的研究机构在该领域都进行了广泛深入的研究[1-3]。
随着电子化教学、网络会议等应用的日益推广普及,自动音视频录播系统应运而生[4-6]。该类系统能自动锁定随时移动的讲演者画面,进行实时音视频数据采集,实现电子课堂的自动录制和备份,相比较原来全人工方式的录播系统,省时省力,有着广阔的应用前景。
通过将红外目标跟踪技术引入自动录播系统,文中给出了一种视场耦合型双CCD视觉系统结构设计,基于数字图像处理技术对红外目标的图像进行二值化、自动分割处理,构造对既定目标区域的模板匹配算法,实现了对随时移动的讲演者实时跟踪和自动化视频采集。
1 系统设计
1.1 基本组成
系统由特定的红外光源、视场耦合型双CCD视频采集装置两部分组成。其中红外光源由信号发生器、红外LED组成,电池方式供电,笔者在文献[7]对具体的光源实现给出了详细描述。在使用时,将红外光源佩戴于讲演者的身体,随讲演人实时移动,成为持续工作的红外点光源。
视频采集装置基本组成如图1所示。可分为机身机械、执行电机、视场紧密耦合的双CCD光学部件三部分。机身包括下边的底盘和两侧的支架,支撑起整个系统的机电部件;执行电机用于驱动光学部件在水平、垂直两自由度内合成任意轨迹的运动,从而有效跟踪视场目标,其中水平方向的步进电机、主轴及其支撑轴承都固定在地盘顶面,水平电机沿某一方向运动时,通过传动皮带带动中轴旋转,进而调整CCD视场的移动。同理,垂直方向的步进电机带动CCD视场的上下旋转运动。高清CCD用于视频采集,由USB型CCD和红外滤光片组成的红外型CCD用于红外图像采集,两者相对位置固定不变。
1.2 红外成像系统设计
通过对个人计算机通用配置的USB型摄像头进行加装凸透镜、红外滤光片的方式实现了红外成像系统。
选用凸透镜作为物镜,将视场范围内的光源,映射成光线系统内的实像,同时,凸透镜的汇聚特性增强了后续传感器单位感应面积上的光强,提高了系统的光感能力。
如图2所示,P为红外光源,和凸透镜中轴的垂直距离记为H,设凸透镜的焦距为f,直径为D,物距为u,像距为v。位于2f以外的红外点光源的发射光束经过凸透镜后,在透镜后f与2f之间成一个实像P′。在透镜与像点之间放置一成像面,则透镜的出射光束会在成像面上投影成一个光斑,光束的横截面近似为圆形,记直径为d,如图2中NN′所示。
那么,当物距u与焦距f已知时,由透镜成像公式
1/u+1/v=1/f(1)
可得像距为
v=(fu)/(u-f)(2)
作透镜边缘光线(图2中虚线)构成出射光束剖面三角形P′MM′和P′NN′,则MM′//NN′,可得两个三角形相似关系,△PNN′≌△P′MM′,从而得出
(NN′)/(MM′)=d/D=(v-L)/L(3)
进一步可推导出光斑直径为
d=(v-L)D/L(4)
将式(2)结果代入式(4),从而得
d=(fu-L(u-f)D)/fu(5)
设光斑中心坐标与凸透镜中轴垂直距离为a,则得到
a=(HL)/u(6)
由透镜的绕圆不变形可知,此光路推算也具有三维空间的旋转不变性,适用于整个视场,式(5)可用于推算光源离红外成像系统的远近,进而确定CCD的调焦设置,式(6)用于计算被跟踪目标在视场中距离中心点的偏离情况,进而调节执行电机的驱动节拍。
为匹配红外光源的波段,且滤除环境中其他可见光的干扰,采用透光峰值为940 nm的红外滤光片进行光线的预处理。红外滤光片特性见图3。
2 红外图像处理
通过对红外成像系统的精细计算和设计,可以获得接近实用效果的红外图像样本;基于数字图像处理技术的进一步分析,可获得视频采集系统的视场运动、焦点调节等控制参数。
2.1 红外图像样本分析
首先,在红外光源与视频采集设备不同距离情况下,采集红外光源图像并进行样本数据分析,如图4所示。
以1.2 m距离下的成像为例,读取图像缓存数值如图5所示。
由图5可知,所呈现的光斑颜色R分量数值一般大于180,而背景值一般小于60,同样颜色B、G的分量值也呈现出同样的分布规律。另外,在1.2 m处成像光斑直径在22像素,12 m处成像光斑直径约为5像素,根据式(5)的理论计算结果与实际像素对比,可修光斑直径d和物距u的对应关系,作为后续调整对焦景深的依据。
在系统工作过程中,只要实时分析红外光斑的坐标,并调整系统的自身姿态,使得红外光斑保持在图像的中心区域,就能达到被拍摄对象始终在视频画面中间位置的效果。
要检测光斑的中心,通常有三种算法:质心法、Hough变换法、基于模板圆的拟合法。质心法是获取光斑的轮廓坐标,在参考坐标轴方向上进行除2求解得到中心坐标值,该方法依赖于特征区域边缘像素坐标的准确计算;Hough变换的基本原理在于利用点与线的对偶性,将原始图像空间中给定特征的曲线通过曲线表达形式变为参数空间的一个点,然后将原图像空间中的所有点变换到参数空间后,根据参数空间中点的聚集程度就可以判断出图像空间中有没有近似该特征曲线的图形,通常用于直线或圆的特征提取,并可以变化曲线参数方程,推广到任意曲线的检测,适用范围广,但需要将图像中的点进行变换运算,计算量大,占用CPU资源多;基于圆拟合法使用除法、开根方运算较多,通样占用CPU资源,不宜嵌入式计算机实现[8,9,10,11,12,13]。
考虑到在本系统中,红外图像的光斑本身不是一个标准的圆形,图像的兴趣区域和背景区域聚类性较好,而且对光斑质心坐标的计算精度要求不高,但使用嵌入式计算机作为系统控制的核心,计算和存储资源有限,图像处理的实时性压力较大,因此采用质心法来获得光斑的中心坐标,既可以满足特征区域的定位,又节省了计算资源。无论哪种算法,基本流程都包括对图像进行滤波处理、图形分割、二值化,然后提取特征区域的边缘信息等步骤。
2.2 基于平滑窗的图像二值化
由2.1节可知,理想的成像条件下,红外目标成像区域和背景色之间有较好的聚类特性,但受环境光的影响,实际使用中,在背景及红外光斑边缘区域会有较大的数值突变,形成噪声,图像滤波的目的是去除噪声毛刺,二值化的目的是区分特征区域,对图像数据中R、G、B三个分量中的大于某阈值的区域强制赋值为255,标识为白色,其余区域赋值为0,标识为黑色,进一步可得到光斑的轮廓用于下一步处理。
为了加快图像滤波和二值化处理的速度,设计了一种基于平滑窗的滤波与图像二值化两步合一的算法,步骤如下:
(1)初始化大小为n×n的方形滤波器h(n,n),滤波器自适应调节系数α ,二值化比例计数器αi,i∈ (0,4),灰度阈值β =128,βlow=0,βhigh=255;
(2)使用滤波器h(n,n)以步长为n遍历图像设A为图像中某一像素点,行坐标为x,列坐标为y,取像素点A(x,y+n/2),B(x+n/2,y),C(x+n,y+n/2)及D(x+n/2,y+n);
(3)分别比较像素点A、B、C、D的灰度值与阈值的大小,若灰度值大于阈值,则归于集合P,否则归为集合Q;
(4)对滤波器h(n,n)覆盖区域,按集合P、Q中四个特征点坐标所占比例将像素点归类,如P={A,B},Q={C,D},则有像素点
集合P所占滤波器面积相应比例计数器αi加1,同时用P中最小值更新βhigh,用Q中最大值更新βlow;
(5)重复步骤(2)~步骤(4),直至遍历图像;
(6)统计步骤(4)中比例分布,其中α0代表集合P为空的次数,α1代表集合P占25%的次数,依此类推,α4代表集合Q为空集的累加计数,理想的滤波器大小为P、Q各占一半,即α2最大,故调整滤波器大小自适应调整为
二值化的阈值β更新为(βlow+ βhigh)/2。
相比较逐像素遍历图像,该算法不仅节省了滤波处理的时间,二值化的理论效率也提高了n倍,在图像区域聚类性较好的场景中,通过牺牲精度的代价节省了运算开销,该方法可以推广到其他类似的处理场景中,具有工程化方面的实用价值。
2.3 基于递归搜索的目标检测
考虑到环境可见光中的红外成分也会投影在CCD的成像面进而形成噪声,二值化处理后将会形成多个特征区域,因此需要从多个光斑区域中检测出有效的目标区域。
首先要标记出二值化后的连通区域,即将图像中符合某种连通规则的像素标识为同一目标,设计合适的数据结构记录相应连通区域的属性,常用的连通规则有4邻域、8邻域或m邻域连通等,需要统计的属性包括像素点数和质心等。
目前已有很多文献介绍连通标记算法,由于在2.2节二值化步骤中的先验知识,采用局部邻域算法可以快速有效进行标记[9-10],具体过程为:
(1)在二值化后标记为“1”的区域中进行划分,每个子区域选取一个“种子点”;(2)根据二值化过程中滤波器的大小n选择邻域值,如n小于12则采用4邻域,否则采用8邻域;(3)从该像素点出发向周围邻域扩展,若像素为二值化的“1”则写入临时标记,更新该连通区域的边界坐标;(4)根据红外图像样本的先验知识,若搜索过程中发现边界数值过大,超过最大红外光源光斑,则将该区域设置“脏”标记;(5)遍历各区域后,合并等价连通区域,将属于同一目标的多个区域临时标记修正为同一标记。
然后要根据红外图像样本的先验知识逐个判断每个连通区域是否是红外光源的光斑,如图6所示。完成对图像的遍历扫描后找到右侧的长形区域,并贴标签1,在遍历完这个区域后,发现宽和高不满足半径的最大最小范围,则继续遍历到左边的图形,当贴标签2遍历完之后,发现宽和高满足光斑的最大最小范围,则表示已经找到了光斑。
实验过程中发现,基于先验知识的判断算法对于静止物体有很好的识别效果,但当红外光源移动较快时,会在成像面留下带拖尾的长条形光斑,而不是近似圆形,因此单纯依赖该算法虽然计算复杂度小,但很容易导致误判断,从而导致系统对光源的跟踪失步。通过加入前后帧时间相关性的运动预测,适当调节先验知识中光斑轮廓大小,可较好改善此问题。
3 八分法运动判决算法
在通过数字图像处理技术完成对目标区域的判断和运动检测后,基于系统决策可驱动水平和垂直两个方向的执行电机,组合出不同角度、不同速度的运动,实时调整系统姿态,完成对目标的连续跟踪。
运动决策的考量因素有实时性、平稳性两个方面,这最终取决于对图像中目标移动步长的选择,若步长过小,则跟踪实时性强,但运动频繁,产生视频画面“抖动”的现象;若步长过大,则容易产生被拍摄对象不居中的视觉效果。另一方面,也要考虑电机自身的频响特性,应选择颤动噪声较小的运动速度[14,15]。
如图7所示,在图像中间取M×N的区域作为静止观察区,当红外光斑超出此区域后,系统才进行方向判决和运动,否则处于系统静止状态。在该区域之外,设计了八分法的运动规划,当系统感知到红外光斑偏离中心区域一定程度后,会驱动电机形成这八个运动方向的其中之一进行追踪。八个区域的划分取决于视频画面的比例和应用场景中红外光源的移动范围,采用该方法的优势是将原本连续的运动决策空间离散化,减少了运动轨迹的可能性,通过阶梯式的运动使红外光斑逼近画面中心位置,减小系统计算量,继而减小画面的抖动。
4 实验验证
以三星S3C2410 ARM9处理器为核心,通过USB端口连接红外系统的CCD,选择通用I/O口连接步进电机驱动接口,系统主频230 MHz,红外CCD分辨率为320×240,平均每帧图像处理用时为65 ms,实际视频采集效果截图如图8。CCD视场始终跟随红外目标平滑移动,当红外光源信号被墙壁遮挡后系统能继续平稳旋转一定角度并停下,当红外目标光源重新出现时,系统及时回转并重新跟随红外目标。
由实验结果可知,通过已实现的目标检测与跟踪算法,能连续稳定地调节高清CCD的视场方位和远近对焦,并能够有效抵抗目标信号短暂丢失的脉冲式干扰,满足实时视频采集的需求。
(下转第46页)
(上接第19页)
5结论
在设计了红外点光源和视场耦合型双CCD结构的基础上,通过USB型CCD和凸透镜实现了一种低成本的红外成像方案,继而提出了一种快速的图像滤波和二值化处理算法,通过递归式的连通区域边缘定位和特征比对,实现了对特定目标的实时检测和跟踪,实现了视频采集的全程自动化,目前该系统已应用于电教化教室的自动录播平台中,单个摄像机可替代原有分别固定在多个角度的摄像机群的功能,使用成本大幅降低,且系统小巧灵活,在安防、工业自动化等领域也有广阔的应用前景。
基于视频的目标跟踪 篇2
1.1 目标区域的重心
我们利用连通域标记[1]来判断行人。根据连通域的外接矩形的重心的跟着轨迹来判断行人。目标区域由于背景提取和二值化的偏差, 目标物的中心往往不是目标物的重心。所以本文根据目标区域计算目标区域的重心[2]。从而对重心进行跟踪。
由于二值化的影响使连通域标记的外接矩形的不能更好的反应目标物地真实情况。现在为了避免上述情况, 本文在确定外接矩形前进行二值化投影。先进行行投影。统计每行中的块为白色的块数, 再进行列投影, 统计每列中的块为白色的块数。
根据行投影和列投影计算目标物的重心。以重心的列的坐标计算为例, 其计算思想:设图像目标物块数为N, 列数为[0, L-1], 对应列i的目标物块数为ni, 几率为:
则重心的列y=i*pi。
1.2 目标区域的重心轨迹分析
得到目标物重心以后, 进行目标物重心的跟踪, 跟踪的思想:得到重心后, 保存重心的行和列, 第二帧在上一帧中的重心附近进行搜索, 搜索的范围本文设定为行数块数为4块列数的块数为8块, 如果搜索到有目标物的重心, 就认为两帧为同一目标物, 更新重心的列和行坐标, 搜索下一帧。本文搜索的帧数设定为10帧。根据每十帧目标物重心的跟踪轨迹[3], 分析目标物的速度。由于车辆速度较快, 行人速度较慢, 但阈值的选取有困难, 所以目标物的速度在本文中是十帧的位移矢量和, 这样做是为了放大速度之间的差距。
2 目标区域特征点的跟踪
2.1 特征点的选取
目标物的特征点[4]的选取直接影响到目标物的跟踪, 所以选取目标物的特征点要有代表性和特征性。本文选取目标物的棱角作为它的特征点。
特征点选取思想:在目标物的左右边缘两侧的像素的灰度值差别是非常大的, 一侧是目标物本身, 另一侧为背景, 同样, 在目标物的上下边缘两侧的像素得灰度值差别也是非常大的, 一侧是目标物本身, 另一侧为背景。所以我们利用目标物左右和上下边缘两侧的像素灰度差的来选取特征点。
特征点选取过程:
(1) 搜索图像, 当搜索到目标物上的像素时 (目标物像素值为255, 背景像素值为0) 计算它的左上与右上像素灰度值的差, 正前与正后的像素灰度值差, 左下与右下的像素灰度值差, 并将他们之差的绝对值求和。
(2) 当求得的和大于所设定阈值时, 认为这一点在目标物的边界上。
(3) 对 (2) 中的点计算它的左上与左下的像素灰度值差, 正上与正下的像素灰度值差, 右上与右下的像素灰度值差, 并将他们之差的绝对值求和。
(4) 当求得的和大于所设定阈值时, 认为这一点是目标物的特征点。否则不是目标物的特征点。
2.2 特征点的跟踪
特征点跟踪是根据第i帧中得到的模板在第i+1帧得到匹配最佳的目标区域。影响跟踪效果好坏的四个因素为:模板[5], 候选目标, 相似度的衡量。本文的跟踪方法模板都是需要更新的, 即第i帧中的模板在第i+1帧中找到最佳匹配的目标区域后, 在第i+2帧以i+1帧中找到最佳匹配的目标区域作为新的模板, 以此类推。
(1) 模板表示。跟踪方法模板的表示为特征点为中心的矩形框内的像素值。由于目标帧间运动小, 可以为下一帧的搜索指定一个范围。模板匹配的模板以块 (Block) 为存储结构的匹配过程就是基于块匹配[6]。块匹配跟踪的思想是将视频图像中的每一帧图像分成多个相互不重叠的子块 (M*N) , 并假设块内所有像素点的位移矢量完全是相同的, 把分出来的每个子块当作实际运动的目标物体。对于当前帧中的每一个子块, 在前一帧或后一帧某一设定的搜索范围 (K*L) 内, 根据给定的匹配准则, 找到与当前帧当前块块相似度最高的子块, 即为匹配块。由上一帧或者下一帧得到的匹配块, 和当前块的相对的位置可以得到这两帧的物体运动位移, 所得到的运动位移作为当前块运动矢量, 用D来表示。
设可能当前帧中的运动位移的最大矢量为D (dx, dy) , 则下一帧的块的搜索窗口的相应的大小可用 (M+2dx) * (N+2dy) 表示。当前匹配块与搜索窗口间的关系可用下图表示:
对视频图像中的每个含有目标的块 (8*6) 进行跟踪, 从而可以得到目标的运动轨迹。
(2) 候选目标表示。候选目标的表示为和特征点为中心的矩形框内灰度值。
(3) 目标物特征点的相似度衡量。相似度衡量是根据相应的计算来完成的, 相关计算值大的表示相似程度高。在计算相似度的衡量上用的函数最小平均绝对差值函数:
最小平均绝对差值函数 (MAD) :
3 结语
目标物体的跟踪是判断交通事件的重要途径, 区域的跟踪和目标特征点的跟踪是要基于图像二值化, 图像二值化的准确程度直接决定了跟踪的准确性, 特别是特征点的跟踪。当多个目标物体出现重叠或者遮挡时, 区域的跟踪和目标特征点的跟踪的方法就失去了作用。所以目标物体的遮挡问题是今后应该重点研究的方向。
参考文献
[1]黄卫, 陈里得.智能运输系统 (ITS) 概述[M].北京:人民交通出版社, 2001.
[2]黄若芸, 莫玉龙.用于智能交通“车流量监测”的压缩域内运动目标监测[J].上海大学学报, 2003, 9 (2) :100-104.
[3]于艳玲.视频检测中的的车辆速度检测技术研究[D].西安:长安大学, 2009.
[4]高红波, 王卫星.一种二值化图像连通区域标记的新算法[J].计算机应用, 2007.
[5]章毓晋.图像工程 (上册) :图像处理和分析[M].北京:清华大学出版社, 1999:256-265.
[6]肖志坚.H.264帧间编码技术的分析与改进[D].西安:西安电子科技大学, 2005.
视频目标跟踪典型算法比较与分析 篇3
稳定的视频跟踪正是视频分析处理和计算机视觉的重要问题,在军事侦查、自动机器人导航、人机交互接口、视频标注等方面有广泛应用。视频图像提供的信息是复杂和海量的,依靠人工进行信息识别和提取是不现实的。2009 年,美军通过无人机在阿富汗和伊拉克获得的视频信息总量,一个人需要24 年才能看完; 在通常战备执勤时,需要至少一个人紧盯屏幕发现可疑目标,而其他的辅助人员进行信息甄别和记录。在我国,边海防哨所已经配备了大量的视频采集装备,但是受人员数量限制,仅仅依靠人工方法进行视频目标的捕捉与记录不但工作强度大,而且工作效率低,及时发现可疑目标的时机往往把握不住。目前,各大城市的智能交通系统都具有车辆违章检测功能,可以极大地提高发现交通违法事件的效率。但是受目前视频目标跟踪性能的限制,还仅能对交通灯道口的违章行为进行识别,不能完全获得各路段的违章行为。各方面的需求不断推动着视频目标跟踪研究的进一步深化。
然而,当目标发生剧烈的运动或者形变、背景相对复杂或者与目标相似、外界环境发生较大变化时,大多数视频目标跟踪算法不具有很好的鲁棒性。归结来看,对于大量跟踪算法［1］的问题主要是由于外观和运动的变化造成的。外观变化包括目标几何和光度变化,如遮挡、形变、亮度变化等。运动变化往往发生在较低帧率的视频中或者目标运动剧烈的情况下。以上问题的存在,使得视频目标跟踪研究仍有很长的路要走。
本文将对视频目标跟踪技术的研究背景、系统组成原理进行阐述; 对当前几种前沿的跟踪算法进行详细的分析比较;并且对跟踪算法的评价指标和典型的标准库进行介绍; 最后总结了视频目标跟踪技术的发展前景和面临的困难挑战。
1 视频目标跟踪系统构成及研究现状
视频目标跟踪系统是一个动态系统的估计问题,利用的是目标在时间上的连续性和空间上的相关性。视频目标跟踪系统的一般框架如图1 所示。
典型的视频目标跟踪系统由四部分组成: 目标初始化,外观模型,运动估计,目标定位。目标初始化包括手动初始化和自动初始化,手动初始化是用户用边缘框注释出目标的位置,自动则通过检测器进行检测目标。外观模型包括视觉描述和统计模型。视觉描述主要是用不同类型的视觉特征来构造鲁棒的目标描述子。统计模型是用统计学习的方法构造有效的数学模型来识别目标。运动估计主要是利用了状态方程和观测方程构成的预测器进行估计,常用预测器包括线性回归技术［2］,卡尔曼滤波［3］和粒子滤波［4－6］等。目标的跟踪定位是目标跟踪中的核心问题,主要利用贪婪搜索或者是最大后验概率来实现［7］。
目前,很多跟踪算法通过在特征提取、外观模型和结构信息方面的改进,跟踪的精度和鲁棒性得到极大的提高。较为常用的特征包括像素值［8］、颜色［9－12］、文本描述子［13－14］。利用目标外观模型较为常用的有颜色分布［10－11］、子空间［8，15］、支持向量机SVM［16］以及稀疏表示［17－19］等。类似于目前较为流行的目标检测［20］和识别［21］的算法,通过获取结构信息对目标进行跟踪的算法也越来越多［9，22－24］。在目标发生遮挡和形变时,目标的内部结构信息对于模型的恢复和鲁棒性跟踪尤为重要。
2 典型视频目标跟踪算法
判定目标跟踪算法好坏往往从鲁棒性、准确性和快速性三个方面比较［25］:
1) 鲁棒性( Robustness) 。鲁棒性是指在各种环境中算法都能实现对目标的稳定持续跟踪。但往往会受到目标自身形变、环境中的光照变化、部分或者全遮挡等影响。
2) 准确性( Accuracy) 。在目标跟踪的研究中,准确性包括两个方面,一是对运动目标检测的准确性,这一点主要是在监控系统中要求比较严格,为的是对目标检测的漏警率和虚警率的降低,将检测到真实目标的概率提高; 另一个是对运动目标分割的准确性,主要应用在图像压缩编码领域,其实质是图像分割( Image Segmentation) 问题。将运动目标和背景进行准确的分割后,方便提取目标准确的运动信息。
3) 快速性( Speed) 。在实际的视频目标跟踪系统中,对运动目标实时的跟踪就要求跟踪算法必须快速,计算量相对较小。然而跟踪算法本身处理的图像序列包含大量的数据,所需的运算量极大,很难能够满足实时的要求。一种通用的减小运算量的方法是利用金字塔分解或者小波变换将图像分层处理; 另一种思路是设计专用硬件实现实时的视频目标跟踪。
本节将从以上提到的跟踪器性能出发,详细介绍当前前沿的四种视频目标跟踪算法,即LGT,TLD,ALIEN和DGT,并对其工作原理、性能进行分析和比较。
2. 1LGT( Local-Global layer Tracker) 跟踪器
随着低成本、小规模摄像机传感器的应用不断增多,对视频序列的鲁棒的自动跟踪需求也随之迅速增加［26］。实际应用中,目标外观随着形变、角度变化、光照变化等因素的变化而变化。因此,鲁棒的跟踪取决于能否随着目标外形的变化自适应地更新目标模型。
最早是Stolkin等人［27］进行的两层模型的尝试。目标像素的亮度模型的重新学习使用刚性目标物体的运动和几何模型增强结构。L. Cehovin等人在2013 年针对目标迅速和剧烈的外观变化提出一种双层视觉LGT模型［28］,即整合的目标全局和局部外观的两层模型。跟踪算法如图2 所示。
其中,局部层是由局部块组成的集合,反映目标外观发生的几何变化。随着目标几何形变,局部层通过移除或添加局部块来更新结构。添加的局部块是由全局层约束得到的。全局层主要是反映目标全局的视觉特性,包括颜色、形状和表面上的局部运动。全局层的更新需要依赖跟踪过程中得到的稳定的局部块。LGT算法的鲁棒性更好,并且跟踪精度更高,对参数变化不敏感。这篇文章的重要贡献就是在两层模型的贝叶斯公式中应用了双层约束。
这种交叉的双层视频模型是较为先进的技术,效果优于其他的跟踪器。
2. 2 TLD( Tracking-Learning-Detection) 跟踪器
考虑手持摄像机拍摄的视频流,各种事物从相机拍摄范围内出入。仅在单独的一帧中用边缘框框出了感兴趣目标,而需要解决的问题是,在接下来的每一帧中自动标出目标的边缘框或者当目标没有出现时给出提示。该视频流需要长时间实时跟踪处理。在文献[29]中,将这类任务定义为长期跟踪问题。
解决长期跟踪问题的关键是目标的检测。首先,目标外观会变化,甚至跟初始帧中外观没有任何关联; 其次一个成功的长期跟踪器要能够应对尺度、光照的变化,复杂背景,部分遮挡,以及实时地完成处理。
在文献[29]中Kalal的出发点立足于单独的跟踪或检测无法解决长期跟踪问题。文中提出一种新颖的跟踪框架TLD( Tracking-Learning-Detection) ,如图3 所示。文章将长期的目标跟踪分解为跟踪、学习、检测。跟踪器逐帧跟踪目标,检测器局部化目前位置出现的所有外观,在必要时修正跟踪器,学习阶段评估检测器的误差并更新,避免这些误差。作者研究确定检测器误差并学习,提出一种新颖的学习方式( P-N学习) : 1) P评估遗漏的检测; 2) N评估错误预警。学习过程模型化为一个离散的动态系统,学习中确保有改善的情况被查找到。
Kalal提出的TLD跟踪系统,能够实现对视频流中的目标的实时地跟踪、学习、检测,利用标准数据库和同时期较为前沿的跟踪器相比,TLD的长期实时跟踪性能优于其他跟踪器。
2. 3 ALIEN( Appearance Learning In Evidential Nuisance) 跟踪器
文献[30]中给出妨碍因素( Nuisance Factors) 的定义。妨碍因素是指影响图像结构处理的因素,不是用于跟踪的直接兴趣点,然而又必须考虑在内。妨碍因素分为可逆妨碍和不可逆妨碍。可逆妨碍主要是指反差、视角变化等,不可逆妨碍包括遮挡、传感器量化、一般光照变化等。不可逆的妨碍通常可以转化为可逆妨碍。
ALIEN跟踪器利用弱匹配目标模板的多尺度不变局部特征,考虑到三维形状和平面的绝对偏差,以及阴影、遮挡、传感器量化等不可逆妨碍因素的影响。同时基于传递匹配特性的无参学习算法,将目标从上下文分离出来,防止遮挡情况下的目标模板的错误更新。这种学习准则在缓慢变化的情况下具有渐近稳定的特性,确保了算法在长时间跟踪中的无偏移特性。
文章作者从一般的观察出发,尝试同时解决可逆和非可逆的妨碍因素。基于这种考虑,作者选用局部特征来表示目标,同时利用过采样保留多数目标和场景信息。
文中算法的基本流程如图4 所示。
2. 4 DGT( Dynamic-Graph-Tracking) 跟踪器
目前,很多文章对遮挡问题都有所讨论,例如将目标进行水平垂直的分割对抗遮挡; 稀疏表示对遮挡问题也不敏感; 以及利用场景学习机制、上下文信息等。绝大多数的跟踪器在解决遮挡问题［9，18，31］时没有考虑到目标自身的形变［12，23］问题。针对目标形变问题通常采用局部块进行表示,但此时块之间的结构信息将被忽略。
文献[35]在一个统一的框架中同时考虑到遮挡和形变的问题,引入动态图进行跟踪。图表示利用目标的内部结构信息,能够识别几何形变的目标,同时能够借助目标未被遮挡部分定义出被遮挡目标。
作者的基本思路是: 首先,将视频目标跟踪问题公式化为跟踪动态无向图的问题,即目标图和候选图的匹配问题,利用马尔科夫随机场( Markov Random Filed) 将候选图中的局部块与背景分割,再利用谱聚类( Spectral Clustering) 的方法完成图匹配; 其次,目标状态利用块一致性的依赖关系通过带权重的投票获得,同时由前景和背景的分割进一步改善; 最后,有效地在线更新机制更新模型,鲁棒地适应目标结构的变化。
文中的算法同时考虑到目标出现遮挡和发生形变的情况,利用无向图更好地记录目标的内部信息,有效对抗遮挡和形变。
2. 5 对比与归纳
通过对上述4 种跟踪器的工作原理的详细分析,可以归纳出以下几点:
1) LGT算法在目标表示上结合局部和全局特征。局部特征包含大量空间信息,对部分遮挡具有鲁棒性,全局特征作为局部特征选取时的约束信息。双层的贝叶斯公式对跟踪进行双层约束,提高目标模型更新的精确性,基本达到实时的要求。但是实际应用中该算法对于杂乱背景,以及目标发生尺度变化时都较为敏感。
2) TLD算法能够通过检测、学习跟踪目标,针对长期实时的跟踪环境,处理效果较好。但由于算法没有考虑到目标的遮挡和形变等问题,在处理非刚性目标跟踪中存在一定的局限性。同时针对剧烈运动的目标跟踪效果不佳。
3) ALIEN算法无差别地处理可逆和不可逆妨碍因素,算法对遮挡是否发生作出判定给出不同的计算思路。将目标和上下文同时进行建模和模型更新,保留了较多跟踪目标的信息。但在复杂背景下以及目标发生形变的情况下,跟踪器将无法准确跟踪。
4) DGT算法提出利用无向图表征目标,将目标跟踪的问题公式化为无向图匹配问题,同时在长期跟踪中具有渐近稳定的特性。该算法同时考虑到目标的遮挡和形变问题。但是无加权表示的无向图在尺度发生变化时较为敏感。同时由于光照变化造成的前景、背景不易区分也给跟踪带来一定的难度。
几种算法各有优势和劣势,针对不同的应用场景,需要充分理解它们的算法特性加以改进应用。同时算法较为新颖的思路为今后的研究给出极大的启示。
3 算法评价指标及标准库
近年来,视频目标跟踪技术在计算机视觉领域的广泛应用推动着跟踪算法的不断提升改进。但是仍旧有很多的因素影响着跟踪算法的性能。因此,评估主流跟踪算法的优势和劣势非常重要,能够给未来这个方向的研究提供更多的方向。
首先,关于跟踪算法的评价指标问题。定量分析( Quantitative Analysis) 算法性能,能够更加清晰地看出算法的各方面优势。较为常用的指标包括成功率( Success Rate) 如Pascal Score［33］,F-measure,和精度率( Precision Rate) 如CLE( Center-Location-Error) ,Precision Plot［13，34］。其次,用于测试的数据库也是至关重要的部分。具有代表性的数据库对综合评估跟踪算法至关重要。现有的用于视频跟踪的监控场景的视频库包括VIVID［35］,CAVIAR［36］,PETS,VIRAT ( Video and Image Retrieval Analysis Tool) 等。
3. 1 视频目标跟踪算法评价指标
多数跟踪算法将目标表示为边缘框( A Bounding Box) ,通过比较边缘框重叠面积确定跟踪的成功率( Success Rate) 。
1) Pascal Score,
式中,Bp,Bgt分别表示跟踪器跟踪的目标边缘框和真实边缘框( Ground Truth) ,等式右边表示边缘框交叠部分面积占边缘框并面积的比率。设置门限值t0( 一般取0. 5) ,大于此门限为跟踪成功,小于则跟踪失败。
2) F-measure,与之类似
跟踪精度率( Precision Rate) 的比较,较为常用的指标也有两种。
3) CLE( Center-Location-Error) ,计算跟踪的边缘框内中心点与真实边缘框内中心点的像素距离。距离越大表示跟踪的精确度越低。
4) Precision Plot,近段时间的研究常用Precision Plot来衡量整体跟踪的表现。主要反映的是跟踪器估计出的位置距离真实位置在某个门限范围内的图像帧的百分率。门限值单位为像素。
3. 2 视频目标跟踪算法标准库
可用于测试的视频库有很多,但是大多数的图像序列没有给出真实位置注释( Ground Truth Annotations) ,在进行定量评估时会产生误差。包含多种特殊场景( 光照变化、复杂背景、部分遮挡或全遮挡等) 同时具有真实位置的数据库非常的重要。
2008 年美国国防部高级研究项目署开始的VIRAT( Video and Image Retrieval Analysis Tool) 系统,用于进行无人机航拍图像的分析处理,用以实现针对特定事件的有效预警等功能。视频库包含多场景,如大型公共场所、停车场、校园等。背景复杂简单情况不一,同时包含摄像机自身运动的情况。另外,文献[37]收集构建了目前较为常用且含真实位置标注的具有典型代表性的图像序列数据库,如遮挡、剧烈形变、光照变化、阴影情况等。
以上数据库都包含复杂多样的场景状况,普遍适用于跟踪器的测试,是较为全面合理的测试数据库。
4 视频目标跟踪技术发展前景与挑战
视频目标跟踪技术是一个多学科相结合的研究领域,包括机器视觉、人工智能、计算机科学、模式识别、图像处理等方面。该领域仍处在发展阶段,很多的问题亟需解决。跟踪的特征选择、动态外观模型、运动估计等方面将是研究非常重要的领域。目前,研究人员针对特定的应用场景下的视频目标跟踪问题已经提出了很多的解决的方案策略,但是仍然存在着很多的进步空间,需要新的思路进行完善。
综上,对视频目标跟踪技术的未来发展趋势可以归结如下: 一是运动目标外观的模型化,即外观建模,运动目标外观模型随着目标自身运动能够自适应的作出调整是目前的一个研究的热点问题; 二是目标模型的更新策略,较多的算法在模型更新阶段会出现误差和偏移,往往会导致跟踪失败; 三是多传感器的视频目标跟踪,这其中就要重点考虑到数据关联融合的问题; 四是对目标动作的识别问题,通过目标运动状态进行目标的进一步的行为分析。
5 结语
本文对视频目标跟踪算法中较为常见的问题进行归纳,对该技术进行了综述,重点分析比较了目前较为前沿的跟踪算法。对跟踪性能比较的评价指标以及标准库进行简单介绍。视频目标跟踪基本流程是利用目标的运动信息、颜色、纹理等特征采样描述子形式描述目标,通过外观建模以及模型更新的策略实现运动目标的运动状态的预测,获取目标的位置信息。
由于最终的具体应用背景的不同,视频目标跟踪领域的研究内容存在较大差异,极具挑战性的问题也有很多,不管是在研究领域还是在实际的工程应用中都具有非常重要的意义和广阔的前景。
摘要：视频目标跟踪由于场景和目标的外观变化等问题的存在,仍旧是计算机视觉领域研究的热点和挑战。阐述了视频目标跟踪技术的研究背景;介绍了视频目标跟踪系统组成原理、研究现状;重点分析了几种近来较为前沿的跟踪算法并进行分析比较;还对跟踪算法的评价指标以及典型的标准库进行介绍;最后归纳总结了视频目标跟踪的发展前景以及面临的问题挑战,为下一步研究奠定基础。
视频序列中目标的检测与跟踪 篇4
目标的检测与跟踪涉及到人工智能、机器视觉、生物医学、自动控制等多个学科,近年来,随着计算机技术的发展,得到了广泛的研究与应用[1]。目前比较流行的目标检测算法包括帧间运动估计和背景差分的方法,帧间运动估的方法是利用图像序列中相邻帧图像之间的差来提取图像的运动区域的。该方法实现简单,但只能检测相对运动的目标,并且检测出目标的位置不够精确。背景差分法首先定义视频图像的特定帧为背景,然后将当前帧和背景进行差分比较,如果同位置的像素特征、像素区域特征或其他特征的差别大于选定的阈值,则当前帧中该位置的像素区域就判定为前景目标区域,反之则为背景。该方法容易受到光线亮度变化的影响[2]。基于上述原因,本文提出了一种基于时间序列的编码建模算法,该算法能够解决像素剧烈变化的问题,可以提高复杂背景下目标检测的稳健性。目标的跟踪是通过算法获得目标在特定时间段上的运动轨迹,包括目标的产生、运动和销毁三个过程。由于算法中涉及到帧间目标空间位置的测量,在传统的跟踪算法中,当目标数目增加的时候,算法的时间复杂度呈指数形式增加。本文在分析上述问题基础上,将KD-Tree方法[3]引入目标跟踪算法之中,降低了算法的时间复杂度,同时降低了算法对目标数目的敏感程度,实现了高精度、高效率的目标检测与跟踪。
1 目标检测
很多场景都包含复杂的运动目标,诸如摇曳在风中的树、转动的风扇、摆动的窗帘等。通常这种场景中还有光线的变化。解决这个问题最好的方法是采用基于时间序列的编码建模算法,对每个像素或者一组像素建立时间序列模型,在每个像素点进行抽样,根据颜色扭曲尺度和亮度边界聚类获得编码本的集合,并不是所有像素点拥有相同数量的编码本数量。通过编码本表示的聚类子不需要对应单个高斯分布或者其他参数的分布,因此该编码方式是以像素为基础的。
归一化颜色算子是用来处理全局和局部亮度变化的方法,该技术在图像的暗色区域效果不理想,因为颜色比率的不确定性与亮度相关,所以灰度级低的像素点相对与灰度级高的像素点不确定性更高。这些不确定性使灰度级低的区域变得不稳定,在可能聚集在低灰度级的区域造成无检测[4]。本文通过建立颜色模型来估计颜色的亮度和扭曲,该模型依赖于编码元素主轴界定在亮度值高低边界的背景像素值。对于输入像素点pixi=(B,G,R)和编码本ci,定义Vi=(Bi,Gi,Ri),可得
由式(1)和式(2)可得
(pixi,Vi)2=(BiB+GiG+RiR)2 (3)
颜色扭曲度为
u2可以由式(5)求解
此外,统计地分配亮度变化的最大和最小值,将其赋给一个编码本,在特定的范围内限制阴影水平和焦点水平,能够有效地适应亮度的变化。为了去除图像中引入的噪声,首先对目标检测完成的图像进行3×3的中值滤波,然后进行形态学处理,使待检测的目标形成一个完整的连通域,并在一定程度上消除中值滤波无法消除的噪声,最终得到比较理想的目标图像。
不同处理阶段目标检测的结果如图1所示。可以看到,在经过上述处理,得到了完整的目标。
2 目标跟踪
目标跟踪是建立在目标检测的基础上的,即确定实时视频帧中检测到的目标的运动轨迹,这种轨迹的建立可以通过目标特征的匹配来实现,通常采用的特征信息有目标的位置、尺度、形状以及颜色等。本文采用目标的位置(即每个目标的质心坐标)建立运动模型,实现目标轨迹的精确匹配。
将每帧图像检测出的多个目标同上一帧图像检测出的目标进行比较并分类,主要有3种情况:1)当前目标是由上一帧中某个目标运动得到的(运动速度大于或等于0);2)当前目标在上一帧中没有出现,是新增加的目标;3)某些目标在上一帧中出现过,但在当前帧消失了。
在跟踪用摄像机完整标定的情况下,视场中的目标的运动速度会保持在某个区间之内,即可以通过实验的方法确定某一类别目标的最大运动速度,因为摄像系统的帧率是一定的,所以可以确定目标在两帧之间的时间间隔内的最大位移,定义为D_max,以此作为阈值条件。然后把上一帧的所有目标的质心坐标放在一个数组中,作为一个待遍历的集合Vec。将当前帧的每一个目标的质心坐标在集合Vec中寻找出与之几何距离最近的对应目标A,然后计算该距离d与D_max的关系:1)如果d≤D_max,当前帧的目标是从上一帧的目标A运动得到的;2)如果d>D_max,当前帧的目标是新增加的目标;3)如果在上一帧的目标中存在没有和当前帧目标相对应的,则说明没有对应的这些目标在当前帧中消失了。
针对上述3种情况,本文采用KD-Tree算法[5]实现目标跟踪。KD-Tree算法是一种由二叉搜索树推广而来的用于多维检索的树的结构形式(K即为空间的维数,此处定义K=2)。与二叉搜索树不同的是,它的每个结点表示k维空间的一个点,并且每一层都根据该层的分辨器对相应对象做出分枝决策。顶层结点按由分辨器决定的一个维度进行划分,第二层则按照该层的分辨器决定的另一个维度进行划分,以此类推在余下各维之间不断地划分。直至一个结点中的点数少于给定的最大点数时,结束划分。
如图2所示,在二维空间内存在点A,B,C,D,E,首先以A点的y维度为起始点,将点集分为2个部分,然后在左右2个子树中以B点和C点的x维度将左右2个子树分为2个部分,以此类推,在B点、C点各自的子树当中,以D点、E点的y维度对其子树划分,遍历集合当中的每一个点,就可以得到1个完整的KD-Tree。目标轨迹建立的过程就是在KD-Tree中搜索最近点的过程,采用KD-Tree进行最近点搜索可以提高系统的工作效率。
算法流程如下:
1)定义目标质心点坐标存储结构体,即
typedef struct Blob2D32f
{
int ID;
float x;
float y;
} kidBlob2D32f;
其中ID为每个目标对应的序号,x和y分别为每个目标质心坐标的横、纵坐标值。
2) 将第i帧的每个目标(定义为Blobi,其中i=1,2,3,…,N)的横纵坐标按照Blob2D32f结构体形式进行存储,ID号从0开始顺次排列,然后存放在起始帧数组ArrayL中。
3) 将第i+1帧的每个目标的横纵坐标按照Blob2D32f结构体形式进行存储,ID号不填充,然后存放在当前帧数组ArrayN中。
4) 对起始帧数组ArrayL建立KD-Tree。
5) 定义D_max。
6) 遍历当前帧数组ArrayN中的每个Blobi,搜索其在KD-Tree中最短距离元素,定义最短距离为d。
7) 如果d>D_max,则该Blobi为新当前帧新增加的目标,将其赋予一个新的ID;如果d≤D_max,则该Blobi为由上一帧的目标运动得到的,将其ID更新为ArrayL数组中与其距离最短的目标的ID,并将其对应元素在ArrayL数组中删除。
8) 遍历结束后,ArrayL数组中余下的Blobi即为上一帧存在但当前帧消失的目标,将其删除。
9) 将当前帧数组ArrayN中的元素更新到ArrayN数组中。
10) 循环执行步骤3)～9)过程,直到程序结束。
随着视频帧数据的不断采集,循环进行上述过程,即实现了目标的检测与跟踪。流程图如图3所示。
3 目标跟踪实验
采用三轴云台固定摄像机进行实验,视频图像分辨力为640×480,背景模型建立过程累积了35帧图像,在普通PC上目标检测与跟踪的速度可以达到25 f/s(帧/秒)。
图4分别为第4,6,26,150帧时目标跟踪的情况,可以看到,目标被完整地检测出来,在目标物像素尺寸相对整个视频帧图像的比例较大的时候,没有出现单一目标被误检测成多个目标的现象,且目标的运动能够被较好地跟踪。
4 结论
本文讨论了几种目标检测中背景建模的方法,并重点说明了背景差分的建模方法,对差分后的图像进行滤波和形态学处理之后,可以得到较完整的目标轮廓,并且通过KD-Tree算法对目标进行跟踪,大幅度提高了跟踪效率。
参考文献
[1]蔡荣太,吴元昊,王明佳,等.视频目标跟踪算法综述[J].电视技术,2010,34(12):125-127.
[2]潘翔鹤,赵曙光,柳宗浦,等.一种基于梯度图像帧间差分和背景差分的运动目标检测新方法[J].光电子技术,2009,29(1):34-36.
[3]SPROULL R F.Refinements to nearest-neighbor searching in K-dimen-sional trees[J].Algorithmica,1991,6(4):579-589.
[4]KIM K,CHALIDABHONGSE T H,HARWOOD D,et al.Real-time fore-ground-background segmentation using codebook model[J].Real-TimeImage,2005,11(3):172-185.
多目标视频跟踪技术 篇5
视频目标跟踪是计算机视觉领域的一个核心问题,在武器制导、视频监控、机器人视觉导航、人机交互,以及医疗诊断等许多方面有着广阔的应用前景。视频目标跟踪的研究目的是模拟人类视觉运动感知功能,赋予机器辨识序列图像中运动目标的能力,为视频分析和理解提供重要的数据依据。多年来,人们对视频目标跟踪进行了大量的研究,并取得了一些重要的研究成果,形成了两大类以均值移位算法为代表的目标描述与定位跟踪技术[1]和以粒子滤波为代表的滤波和数据关联跟踪技术[2]。滤波和数据关联的目标跟踪技术,将跟踪看作是状态空间中离散动态系统建模与状态估计问题,视频目标被看作随时间演化的动态过程方程指定的状态序列,目标跟踪就是根据直到某时刻的所有测量来估计目标状态[3,4]。
粒子滤波因其能够处理非线性、非高斯噪声问题及具有多假设的特性,被广泛地应用于视觉目标跟踪领域[5,6]。但是由于粒子滤波算法本身具有粒子退化和粒子多样性丧失等固有缺陷,所以在一般的粒子滤波跟踪算法中往往需要大量的粒子以确保准确逼近后验概率分布,同时需要采用重采样技术以改进粒子的多样性[7,8]。本文提出的视频序列图像目标跟踪算法,将遗传进化思想引入到传统的粒子滤波中,使粒子能有效地分布到后验概率的局部模式上,并且隐含重采样,从而可以较少的粒子(个体)通过遗传操作算子不断迭代,来维持粒子集的多模式,进而消除粒子退化问题。
1 粒子滤波
近年来,为了更好地处理视觉跟踪中的非线性、非高斯的动态系统状态估计问题,人们将粒子滤波(Particle Filter)算法应用到计算机视觉领域。它以Monte Carlo随机模拟理论为基础,用一组加权随机采样{xki,wki}i=1N表示系统状态后验概率分布p(Xk|Z1:k)。
视觉目标跟踪的一般描述为:利用一组视频序列图像观测数据,估计目标在特定时刻的状态,等效为求目标状态后验概率分布函数。假定目标状态演化是马尔科夫过程p(Xk|Xk-1)且观测值{z1,z2,…,zk}相互独立,给定状态转移先验概率p(Xk|Xk-1)和观测似然函数p(Xk|Z1:k),根据贝叶斯理论可以求得后验概率分布:
通常式(1)表示的状态后验概率很难得到其解析解,所以人们提出采用提议分布q(Xk|Xk-1,Z1:k)近似后验分布,从中采样得到一组粒子(样本),并通过加权和的形式逼近状态后验概率分布。粒子重要性权值迭代更新如下:
后验分布p(Xk|Z1:k)可以近似为
2 基于遗传进化策略的粒子滤波跟踪算法
2.1 目标状态空间描述
视觉目标跟踪中,被跟踪的目标一般限定于规则的几何形状(如长方形、圆形)中,被跟踪的目标通常表示为矩形r=(x,y,w,h),其中(x,y)表示图像中目标中心的位置,(w,h)表示目标(矩形)的长和宽。因此,上述四个参数可作为目标状态矢量,以自适应随机游走模型描述文中目标状态演化过程,即:
其中:表示k时刻第i粒子的状态矢量,是k-1时刻的随机变量,β(⋅)是随遗传代数(generation)单调减函数。
给定k时刻目标模板图像和粒子i的状态矢量rki,定义该时刻第i粒子的测量(观测)值
其中是rki确定的候选目标区域与目标模板之间的MAD(Mean Absolute Difference)距离,该距离值越小,表明目标候选区域与目标模板匹配越好,该候选区域是目标区域的可能性越大;反之,该候选区域是目标区域的可能性越小。
2.2 遗传进化粒子滤波跟踪算法
遗传算法是一种随机优化方法,所求问题的解,通过染色体迭代执行选择和遗传操作进化得到。在每次更新时,所有的粒子作为遗传操作的初始种群。遗传迭代操作实现了迭代搜索次优模式和隐含地迭代重采样。迭代搜索次优模式可以使新粒子重新分布到后验概率的局部模式,从而产生对后验概率的准确局部表达。粒子被重新分配到它们的局部模式后,可以只采用较少的粒子来维持粒子滤波的多模式。本文提出的遗传进化粒子滤波的主要动机是在每一帧图像中根据粒子滤波的基本思路,采用一组加权粒子{rki,wki}i=1N描述目标在图像平面内的后验分布,通过遗传进化机制对粒子rki进行遗传操作,选择性态优良(MAD距离小于特定阈值)的个体,对性态较差(未选中)的粒子进行交叉、变异操作然后依据设定的评价函数获得一组优秀粒子以准确逼近目标状态后验分布。
选取固定大小的种群P⊃{r ki,i=1…N},以候选目标区域与模板之间的MAD距离z(rki)作为评价函数,参照一般的遗传算法思想,首先选择出初始种群内(定义其中个体为rki,old)的优良个体,选择的标准为评价函数小于特定阈值,并将其作为新生种群(个体为rki,new)的一部分;其次对未选中的个体随机抽取两个作为父母进行交叉产生子女;最后为丰富种群的多样性以小概率对未选中的个体进行变异操作产生变异后的个体,并把遗传变异产生的新个体重组为新的种群。三种遗传操作(选择、交叉、变异)的详细过程如下:
1)选择算子Φs:在当前种群中选择优良个体作为新一代种群的新个体,对于给定粒子rki,old∈Rk由映射Φs:Rk→ℜs,k且ℜs,k⊂Rk,定义为ℜs,k的补集,全集为Rk=P。选择本代优良个体rki,new∈ℜs,k。假定选择的满意粒子数为Ns。
其中τ是预定阈值,可根据当前种群中个体的观测值,以一定的概率ps(Ns/N)进行选择。
2)交叉算子cΦ:对未选中的个体进行排序并编号,产生1~(N-Ns)之间两个随机数iA,iB取出对应的两个体将其作为父母,以概率pc交叉产生子女,其中。若则接受,否则重复上面过程,循环直到产生Nc个新的个体。
3)变异算子Φm:同交叉算子一样,对未选中的个体以变异概率pm产生新生个体其中,若则接受否则重复该过程直到产生Nm=N-Ns-Nc个新生个体。
在每一帧图像中,初始种群P中的个体{rki,i=1…N}经过选择、交叉、变异后得到了新生种群,而新生个体i的归一化权值可由MAD距离按式(7)、(8)计算得到。
从而得到状态后验分布的预测形式为
2.3 目标模板更新策略
采用固定模板不能较好的处理跟踪过程中由于目标运动或姿态变化所引起的目标表观变化。实际中需要对目标模板进行自适应更新,以更准确地表征目标。本文采用了多模板自适应更新策略,跟踪过程中根据输入帧的跟踪结果对模板进行动态更新。设计含有M个目标模板的模板库,并以库中模板的平均值作为当前模板。在每帧图像中,将与目标模板最匹配的目标候选区域I(rk*i)(其中)添加到模板,库同时删除最早存入的目标模板,从而实现目标自适应更新。本文提出的视觉跟踪算法如下:
输入:每帧图像中目标状态初始种群{rki,wki}i=1N和目标模板;输出:目标在图像中的最优状态估计
1)初始化。
按式(4)设定当前帧(第k帧)N个目标候选区域为初始种群{rk,0i,wk,0i}i=1N,目标模板,选择概率ps遗传变异概率pc,pm,遗传进化终止条件参数ε。
2)似然计算。
按式(5)计算当前初始种群中个体形成的目标候选区域与当前模板的MAD距离z(rki)。
3)遗传操作。
首先根据step2的计算结果以概率ps选择Ns个优良个体,然后对未选中的个体分别以概率pc,pm依照文中的交叉,变异算子不断迭代产生优良子代,同时按式(5),式(7),式(8),式(9)计算出新生个体的适应度权值及本代个体确定的目标状态估计,其中,终止条件为件为
4)模板更新。
从当前所有的优良个体中搜索得到最优粒子(个体)形成的候选模板I(rk*i)(其中),添加到模板库同时删除最早的模板始终保持M不变,求均值得到更新后的新模板作为k+1帧的目标模板,返回2)处理第k+1帧图像。
3 实验结果与分析
本实验采用的图像序列是在实验室环境下,通过laptop自带的VGA Video Camera拍摄的。视频中被跟踪的目标是运动的人手,视频中手在图像平面中作无规则的随机游走运动,实验时设定粒子数Ns=100,ps=pc=0.5,pm=0.05函数β(⋅)取反比函数且β(0)=1,进化终止参数ε=0.2,模板数量M=3。跟踪开始前的初始化模板是通过手动选择三个目标区域完成的,随后启动跟踪算法获得的跟踪结果如图1所示。
实验中考虑到计算效率,我们取目标矩形尺寸大小恒定,所以状态变量只包含了目标的位置信息。若选取更多的状态变量(如目标区域的宽和高等),虽然从算法本身来说,不会有太多的难度,但是在实现跟踪时速度将变得比较缓慢。跟踪过程中手中握着手机不断地变换着姿势,再加上人的身体不断的晃动引起目标亮度的变化,都给跟踪带来一定的难度,但是从实验的结果来看,在每帧图像中,本文提出的算法都给出了满意的跟踪结果。图1(b)给出了本文算法对第45帧图像中目标的最终跟踪结果,图1(e)给出了第45帧图像跟踪中每个粒子重要性权重的分布,从中可以清楚地发现距离目标中心位置越近的粒子具有越大的权重。图1(c)给出了采用本文提出的算法跟踪在第50帧中的跟踪效果,其中蓝色星号(*密集的粒子集合)表示本帧图像中各个粒子(Ns个粒子)的状态,绿色星号加Pos(*-Pos)所指示的位置是本文提出的基于遗传进化粒子滤波算法的最终跟踪结果(所有粒子加权和)。图1(d)给出了传统粒子滤波算法在第50帧时粒子的分布(Ns个粒子蓝色星号表示的粒子集)与最终的跟踪结果(*-Pos)。实验中我们保持粒子数不变,在第50帧图像中分别采用本文提出的跟踪算法和传统的粒子滤波算法,虽然从运算时间来看,本文提出的算法运算时间相比传统粒子滤波算法较长,但是从图1(c)和(d)可明显地看到本文提出的跟踪算法准确地实现了目标跟踪而传统的粒子滤波算法却存在较大的跟踪误差。由此可见,在粒子滤波算法中嵌入遗传进化操作通过不断迭代改善粒子的性态进而获得次优粒子,之后以次优粒子和恰当的权值准确地逼近了目标在图像中的真实位置,给出了目标状态的最优估计,有效减小了跟踪中由于粒子贫化和退化引起的跟踪误差,而传统粒子滤波没有对粒子进行优化处理,所以在逼近目标状态时引入了较大误差。
4 结论
为克服传统粒子滤波跟踪算法自身的不足,本文提出的基于遗传进化策略的粒子滤波技术,以较少的粒子,利用遗传进化策略,通过选择、交叉、变异算子迭代选择次优粒子使这些优良粒子尽可能准确地分布到后验模态上,从而有效地解决了粒子的退化问题。同时考虑到跟踪过程中,目标受光照、姿态变化等影响采用了多模板自适应更新策略以保证跟踪的鲁棒性,实时视频序列实验表明,本文提出的跟踪算法能准确跟踪室内环境下的运动目标,并对目标运动过程中的姿态、光照变化具有良好的鲁棒性。
参考文献
[1]Dorin Comaniciu,Visvanathan Ramesh,Peter Meer.Kernel-based object tracking[J].IEEE Trans.Pattern Anal.Mach.Intell(S0162-8828),2003,25(5):564-577.
[2]Michael Isard,Andrew Blake.CONDENSATION Conditional Density Propagation for Visual Tracking[J].International Journal of Computer Vision(S0920-5691),1998,29(1):5-28.
[3]Fatih Porikli,Oncel Tuzel.Multi-kernel object tracking[C]//IEEE International Conference on Multimedia and Expo,Amsterdam,Netherlands,July6,2005:1234-1237.
[4]LI Pei-hua,ZHANG Tian-wen.Visual Contour Tracking based on Particle Filters[J].Image and Vision Computing(S0262-8856),2003,21:111-123.
[5]Cody Kwok,Dieter Fox,Marina Meil.Adaptive Real-Time Particle Filter for Robot Localization[C]//Proceedings of Robotics and Automation,Taipei,Taiwan,Sept14-19,2003,2:2836-2841.
[6]Shan Caifeng,Wei Yucheng,Tan Tieniu.Real-time hand tracking using a mean shift embedded particle filter[J].Pattern Recognition(S0031-3203),2007,40:1958-1970.
[7]Paul Brasnett,Lyudmila Mihaylova,Nishan Canagarajah,et al.Particle Filtering with Multiple Cues for Object Tracking in Video Sequences[J].Proc.of SPIE(S0277-786X),2005,5685:430-441.
多目标视频跟踪技术 篇6
目标跟踪是图像处理和计算机视觉领域的热点研究内容之一, 它在智能人机交互、医疗诊断、智能视频监控等领域中有着广泛的应用。目标跟踪方法一般分为基于相关的目标跟踪和基于特征的目标跟踪两类。在视频监控场景中, 对运动目标的跟踪大多采用的是基于特征的跟踪方法[1]。
经典的Kalman滤波方法[2]适用于处理线性、高斯型的问题。然而实际视频监控场景中许多因素可能导致非线性、非高斯分布的出现, 比如图像噪声、目标复杂运动、光照变化、相似干扰等, 跟踪问题往往是非线性、非高斯的。因此经典的K a l m a n滤波方法对于行人、车辆等运动目标的跟踪具有局限性, 一些新的跟踪方法不断被提出来。其中基于Mean Shift的目标跟踪算法因具有实时性、鲁棒性和易于实现等特点, 在对行人及车辆等运动目标的跟踪中取得了较为理想的效果[3]。
Mean Shift采用核概率密度来描述目标的特征, 其本质上是一种具有线性收敛性的梯度下降算法。Fukunaga等最早提出了Mean Shift的概念[4]。Cheng在1995年对它进行了改进, 定义了一簇核函数, 使得不同的样本点对均值偏移向量的贡献不一样[5]。Comaniciu等成功将它应用到图像分割和目标跟踪领域[6]。本文采用改进的自适应Mean Shift算法对运动目标进行跟踪, 并与传统的Kalman滤波方法进行对比。实验验证表明, 本文方法对刚体与非刚体目标跟踪都具有较好的实时性、准确性。实际道路车辆检测结果表明, 本文方法对车辆目标的跟踪的准确率比传统的Kalman滤波方法要高。
1 Mean Shift原理
1.1 基本Mean Shift
Mean Shift算法一般可以描述为:给定d维空间Rd中的n个样本点, x i, i=1…n, x点的Mean Shift向量则定义为:
式中, Sh是一个半径为h且满足以下关系的y点集合的高维球形区域:
其中, k指的是在样本点xi中落在Sh区域内点的个数。Sh是样本点ix相对于点x的偏移向量。如图1所示, 假设Sh表示大圆圈所在的区域, 小圆圈表示样本点xiSh, 黑点表示Mean Shift的基准点x, 箭头则描述了样本点相对于基准点x的偏移向量。均值向量Mh (x) 即表示对这k个样本点x相对于点的偏移向量求和后的平均, 因而它指向样本分布最多的区域, 也就是指向概率密度函数的梯度方向。
1.2 扩展的Mean Shift
从式 (1) 中容易看出, 落入Sh内的所有采样点对Mh (x) 计算的贡献均一样。然而由于离x越近的采样点对估计x周围的统计特性越有效, 在计算Mh (x) 时要考虑到距离的因素, 因而引进核函数 (如图2所示) 的概念。由于所有的样本点ix的重要性并不一样, 对每个样本ix引入一个相应的权重系数, 从而基本的Mean Shift形式扩展为:
其中, GH (xi-x) =H-1/2G (H-1/2 (xi-x) ) , G (x) 是一个单位核函数, w (x i) 0是指定到某个采样点ix的权重, H是一个正定的对称矩阵, 也被称为带宽矩阵, 它往往被取为正比于单位矩阵, 即H (28) h2 I。这里仅需确定一个系数h, 因此式 (3) 又可以变换为:
将式 (4) 中的x提到求和号的外面来, 得到式 (5) 的形式:
我们把上式右边的第一项记为hm (x) , 即:
具体应用中, 假设给定一个初始点x, 核函数G (X) , 为容许误差, Mean Shift算法按下面三步循环执行[5,6], 直至满足结束条件:
1) 计算hm (x) ;
2) 若, 循环结束, 否则继续;
3) 把mh (x) 赋给x, 转步骤 (1) 循环继续进行。
当满足一定条件时, Mean Shift算法必收敛到选定点附近的峰值[7]。
2 基于改进Mean Shift运动目标跟踪
2.1 模型表达
Comaniciu等把Mean Shift应用于图像分割和目标跟踪, 提出了用Bhattacharrya系数来定义相似性度量[6], 能够对机动目标进行较好的跟踪。对于视频监控系统中运动目标的实时跟踪, 我们采用目标的灰度或色彩分布[8,9]来描述此目标, 假设目标的中心位置为x0, 则该目标可以表示为:
位于y的候选目标可以表示为:
上式在点进行泰勒展开可得:
其中:
我们可以利用Mean Shift算法, 对 (10) 式右边的第二项进行最优化。
2.2 自适应跟踪窗口
根据Mean Shift向量所得的搜索窗口零阶矩和一阶矩, 目标的质心位置坐标为:
其中:
相应的二阶矩为:
如图3所示, 设椭圆的长轴长为length, 短轴长为width, 它们在水平方向上的投影分别为t1、t2, 在垂直方向上的投影分别为t4、3t, 轴向角为, 那么:
相应的匹配窗口的长和宽分别为:
本文算法是对传统Mean Shift算法的改进。核函数带宽[10]是个非常重要的参数, 图2所示即为一个高斯核函数的曲线图, 对目标的搜索窗口一般也选择为这个大小区域。在实际的跟踪过程中, 跟踪窗口的大小会随着目标区域的变化而自动调整[11]。从图4容易看出, 传统的矩形搜索窗口只能大概确定运动目标的位置, 本文方法根据椭圆长短轴在水平与垂直方向上的投影自动调整搜索窗口大小, 能够精确定位到运动目标区域, 提高了对运动目标跟踪的实时性和准确性。
3 实验结果及分析
实验在Visual C++6.0编程环境下, 主频为2.81GHz、内存为2.00G的PC机上调试通过。图5与图6分别给出了利用Kalman滤波法和本文方法对行人目标的跟踪结果。行人图像序列是在实验楼走廊中采集得到的, 包括170帧。图5的Kalman滤波法中, 在第104帧两人握手时跟踪出现重叠, 在第132帧时出现部分目标的跟踪丢失。对比图5与图6, 本文方法对行人目标的跟踪效果较为理想。
车辆跟踪实验采用的是Long Road视频序列。对比图7与图8, Kalman滤波法对车辆的跟踪容易受到噪声干扰, 跟踪过程中出现误跟踪。
表1为市区某干道白天上午3小时内车辆检测的结果。在车流比较密集的情况下, 两种方法的车辆检测准确率均可达到90%以上, 但是本文方法的漏检的个数明显要少于Kalman滤波法, 对车流信息的表达更为准确。由于车辆图像之间相互遮挡、粘连以及个别车辆速度较快等导致少数车辆无法有效统计上。
4 结束语
本文首先简要介绍了Mean Shift算法基本原理, 重点研究了应用改进的Mean Shift算法实现复杂背景下的多运动目标跟踪。针对传统Kalman滤波法在多目标跟踪上的不足, 提出了一种改进的自适应Mean Shift算法。该算法采用一种自适应椭圆形搜索窗口, 能够准确定位到运动目标区域, 有效弥补了传统Mean Shift算法中跟踪窗口大小不能随跟踪目标的形变实时改变的缺陷。
通过与传统的Kalman滤波法进行对比实验, 本文方法对行人及车辆目标的跟踪具有更好的鲁棒性。实际道路测试结果表明, 本文方法对目标的跟踪具有较高的准确性, 对复杂环境的适应性好, 能够较好满足未来智能监控系统的应用需求。
摘要：由于传统的Kalman滤波方法在非线性、非高斯跟踪问题上的不足, 为满足智能监控系统对运动目标准确跟踪的需求, 提出了一种改进的自适应Mean Shift算法。该算法利用Bhattacharrya距离来度量颜色模型之间的相似度, 通过几次迭代运算定位目标并实现目标的准确跟踪, 通过自适应调整跟踪窗口大小, 提高了跟踪的实时性和鲁棒性。利用改进的MeanShift算法对行人与车辆目标分别进行了跟踪实验, 实验结果表明, 本文方法对刚体与非刚体目标的跟踪比传统的Kalman滤波方法具有更好的实时性和准确性。
关键词：目标跟踪,Kalman滤波,Mean,Shift,跟踪窗
参考文献
[1]Agbinya J I, Rees D.Multi-object tracking in video[J].Real-Time Imaging.1999, 5 (5) :295-304.
[2]K a l m a n R E, O t h e r s.A n e w a p p r o a c h t o l i n e a rfiltering and prediction problems[J].Journal of basicEngineering.1960, 82 (1) :35-45.
[3]宋新, 沈振康, 王平, 等.Mean shift在目标跟踪中的应用[J].系统工程与电子技术.2007 (9) :1405-1409.
[4]Fukunaga K, Hostetler L.The estimation of the gradient of adensity function, with applications in pattern recognition[J].Information Theory, IEEE Transactions on.1975, 21 (1) :32-40.
[5]Cheng Y.Mean shift, mode seeking, and clustering[J].PatternAnalysis and Machine Intelligence, IEEE Transactionson.1995, 17 (8) :790-799.
[6]Comaniciu D, Ramesh V, Meer P.Real-time tracking ofnon-rigid objects using mean shift:Computer Vision andPattern Recognition, 2000.Proceedings.IEEE Conferenceon[Z].2000:2, 142-149.
[7]李乡儒, 吴福朝, 胡占义.均值漂移算法的收敛性[J].软件学报.2005 (3) :365-374.
[8]张涛, 费树岷, 李晓东, 等.基于色彩相关直方图的粒子滤波跟踪算法[J].系统仿真学报.2009 (17) :5423-5426.
[9]李培华.一种改进的Mean Shift跟踪算法[J].自动化学报.2007 (4) :347-354.
[10]彭宁嵩, 杨杰, 刘志, 等.Mean-Shift跟踪算法中核函数窗宽的自动选取[J].软件学报.2005 (9) :1542-1550.
改进的航迹分叉多目标跟踪方法 篇7
将测量数据与目标航迹相关联, 即点迹-航迹关联问题, 是滤波及航迹维持的前提条件。点迹-航迹关联可以通过设置跟踪门来实现, 这一技术在很多经典的文献中都已讨论过[3—5]。在实际工程应用中, 构建跟踪门的方法有很多, 但都不能避免同一跟踪门内出现两个或两个以上量测数据的情况。这是因为:第一, 杂波在空间的分布是不确定的;第二, 在多目标跟踪场景中, 除当前被跟踪目标以外的其他目标的量测数据也等同于杂波的性质。针对杂波环境中的单目标跟踪方法有很多, 从早期的最近邻滤波 (NNF, nearest neighbor filter) 、航迹分叉方法 (TF, tracks splitting) , 发展到当前广泛使用的概率数据关联滤波 (probabilistic data association filtering, PDAF) [6]。针对多目标的情况, 应用较为成熟的方法有联合概率数据关联滤波 (joint probabilistic data association filtering, JPDAF) , 多假设跟踪 (multiple hypothesis tracking, MHT) [7]等。
航迹分叉方法[8—10]是较早出现的杂波环境下的单目标跟踪方法。它假设当前时刻落入跟踪门内的每一个量测数据都是目标的真实量测, 从而目标航迹被分成多条新的航迹。对于任意一条新航迹, 在下一时刻的量测数据到来后也使用同样的方法处理。在航迹分叉的同时, 通过计算每条航迹的似然函数并与设定的门限值比较, 丢弃可能性小的目标航迹。这种方法的最大问题在于需要大量的存储空间并消耗过多的系统资源, 介于早期计算机性能相对较低且花费较高, 使得航迹分叉方法没有得到进一步发展。概率数据关联滤波是早期较为成熟的一种目标跟踪方法, 它将落入跟踪门内的多个有效量测数据都依概率看作目标的真实量测, 对于每一个量测值, 计算相应的概率, 然后使用全部量测以概率加权的形式更新目标状态及协方差。概率数据关联方法在目标航迹更新时只利用当前一个扫描周期内的量测数据, 在系统模型与目标实际运动模型的误差不大时不失为一种有效的目标跟踪方法。当目标的机动性较强或传感器的测量误差较大时, 跟踪门内的有效量测数据很可能不是真实的目标量测而是杂波, 在这种情况下, 使用概率数据关联滤波显然不能得到正确的目标航迹, 从而导致滤波发散或航迹的提前终止。
考虑到目标跟踪中的上述问题, 论文引入航迹似然度的概念, 即对应当前系统中的每条航迹, 赋予相应的航迹似然度。航迹似然度从概率的意义上给出了该条航迹为实际目标航迹的可能性。航迹似然度随系统的扫描周期实时更新。更新后的航迹似然度反映当前周期的测量数据对上一时刻的航迹似然度的影响。提出的基于航迹分叉的目标跟踪方法也是基于这一思想的。它有两方面的特征:第一, 每一时刻都可能生成新航迹, 生成的新航迹数量由当前时刻有效量测数据个数决定;第二, 每条航迹从一开始即赋予相应的航迹似然度, 航迹似然度贯穿于目标的整个跟踪过程。如果航迹似然度小于给定的门限值, 对应的目标航迹则被认为是虚假航迹而加以删除。在每个扫描周期结束进行一次系统更新, 系统更新包括航迹状态更新与航迹似然度更新两个方面。航迹状态更新即是通常所说的目标状态及协方差更新;本文主要讨论航迹似然度的概念及如何更新航迹似然度。
1 系统模型
1.1 量测模型
假定传感器跟踪监视区内多个目标。在数据预处理阶段, 测量信号都已转化为笛卡儿坐标系下的标准量测数据。在时刻k落入跟踪门Gi (k) 的测量数据集用Zk, i表示, 则
式 (1) 中, zi (k, j) 表示第j个量测, mi (k) 表示落入跟踪门Gi (k) 的量测个数 (称落入跟踪门内的量测为有效量测, 如无特殊说明, 下面所说的量测数据都是指有效的量测数据) 。用Zk表示k时刻的全体量测数据集, 则
式 (2) 中, n (k) 为k时刻的跟踪门个数。传感器检测概率PD<1, 即在某个扫描周期传感器可能检测不到目标。环境杂波在传感器的探测空间是随机分布的, 通常将其建模为均匀分布;系统杂波通常是由系统热噪声引起的, 通常将其看作泊松过程。目标的状态方程为
式 (3) 中, xk表示目标在k时刻的航迹状态, Fk为状态转移矩阵, vk为高斯过程噪声序列。Fk及vk的值取决于传感器的测量周期及模型假设。目标量测方程
式 (4) 中, yk表示目标的量测向量, Hk为量测矩阵, wk为量测噪声。具体的设置可参考文献[11]。
1.2 航迹分叉法
当目标航迹跟踪门内出现多于一个量测数据时, 有两种处理方法:航迹分叉与概率数据关联[9,10]。概率数据关联是当前应用较为广泛的方法, 尤其是在密集杂波环境下, 这种方法的优势更明显。但概率数据关联只考虑一个扫描周期内的有效量测数据, 这使得系统相对目标状态模型的改变不够敏感。多模型概率数据关联滤波 (multiple model PDAF, MMPDAF) 可以较好的适应目标模型的变化, 但前提是系统必须首先给定目标的运动模型集, 随着模型集的增加, 算法的复杂度会呈指数上升。
本文采用了航迹分叉法。因为k时刻第i条航迹Tri (k) 对应的有效量测数据有mi (k) 个, 这样, 由Tri (k) 派生出的新航迹为mi (k) 条。如果k时刻的系统航迹数为n (k) , 经过航迹分叉, 新的系统航迹数
子航迹根据各自量测数据与滤波算法独立更新, 并计算下一时刻的跟踪门。
2 航迹更新
2.1 航迹似然度
航迹似然度从概率的意义上给出了一条航迹为真实目标航迹的可能性。设k时刻航迹i的航迹似然度为Λi (k) , 根据k+1时刻的量测数据, 分3种情况讨论
1) 没有量测数据。此时, 传感器未检测到目标的概率为1-PD。根据贝叶斯公式, k时刻航迹i的航迹似然度
式 (6) 中, PD表示目标的检测概率;PR表示航迹为假航迹时检测到目标的概率。
2) 一个量测数据。该量测数据可能是真实目标的量测, 也可能是杂波。通常情况下根据系统的先验信息可以得到该量测数据为真实目标量测的概率PTrue。这些先验信息包括传感器的检测概率, 杂波的统计分布特征, 传感器探测到的目标属性信息 (如多普勒频率) 等, 从而k时刻航迹i的航迹似然度
3) mi (k) 个量测数据[mi (k) >1]。同样根据先验信息求出每个量测点为真实量测的概率PTrue, j, j=1, 2, …, mi (k) 。由于多个量测数据会产生多条子航迹, 对每一条子航迹, k时刻的航迹似然度
由上面的讨论可以看出, 航迹似然度的更新与目标的状态更新是彼此独立的, 航迹似然度的值更新依赖于系统对目标的检测能力。也就是说, 目标的检测概率越高, 杂波越少, 航迹为真实航迹的概率就越大。这与实际情况是相符的。此外, 航迹似然度还反映多个扫描周期的目标检测情况。如果目标的检测概率不高, 即便连续几个周期内没有量测数据发现, 航迹似然度也不会降低太快, 从而航迹可以被认为仍然是“真实”的, 避免了因连续检测不到数据就终止航迹的错误发生。
2.2 动态门限计算
为了使系统维持的航迹数不至于无限增长, 必须为航迹设定某一评价指标 (即门限) , 当该指标超过给定的门限时, 则将该航迹作为虚假航迹从系统中删除。定义k时刻第i条航迹Tri的似然函数
式 (9) 中, θi, k表示相应的量测序列为真实航迹。使用公式 (9) 的定义, 似然函数λ (Tri) 可表示为
在线性高斯系统假设下, (10) 式中的航迹似然函数服从高斯分布, 即
从而,
式 (12) 中, ck为归一化常数。由于常数ck不影响函数的性质, 且指数函数为单增函数, 故取 (12) 式的指数部分作为航迹的评价指标, 令
根据新息协方差的性质, γk可通过下式递归计算
当k时刻的航迹似然度Λi (k) ≤akγk, γk≥1/akΛi (k) 时, 则认为该航迹为虚假航迹。ak为比例因子, 通过设置ak可以调整系统当前维持航迹数的多少。
3 算法实现
基于航迹似然度的目标跟踪方法不需要单独的航迹起始过程。在传感器的第一个扫描周期直接根据每一个量测数据起始一条新的航迹。然后根据先验知识建立跟踪门, 在得到该条航迹的第二个有效量测数据之后, 就可以使用通常的滤波算法进行滤波及跟踪门的计算了。航迹的终止也是由航迹似然度的值决定的。当某条航迹的航迹似然度小于给定的门限, 则从系统中删除该航迹。
使用航迹似然度的目标跟踪方法在每一时刻的系统更新包括航迹状态更新与航迹可信度更新。航迹状态更新也就是通常所说的目标状态及协方差更新;航迹似然度更新则使用上面讨论的贝叶斯后验概率公式计算。每条系统航迹对应的航迹似然度给出了当前时刻最接近真实目标航迹的系统航迹。在每一时刻的航迹状态更新与似然度更新完成后, 通过与给定的门限γk比较, 丢弃可能性小的航迹。算法流程图如图1所示。
图1的左侧和右侧分别对应目标航迹的状态更新与目标航迹的似然度更新。当前时刻的量测数决定了分叉后的系统航迹数, 动态门限则决定了系统更新后的航迹数。一个更新周期后的系统航迹数
式 (15) 中, Sdel (k) 为丢弃的小于门限的系统航迹。算法流程也表明系统航迹的生成与删除是一个动态的过程, 实际工程应用中采用链表结构来存储与更新系统航迹是较为合理有效的。门限中比例因子的选择更多依赖于工程实践, 通常可以根据系统的性能与实时性的要求动态改变ak的值。
4 仿真结果及分析
假定如下的仿真场景:传感器监视二维空间内的2个运动目标, 目标的检测概率PD=0.9。扫描周期为6 s, 杂波密度为0.5个/km2。量测数据已转化为笛卡儿坐标系下的x, y坐标, x轴与y轴上的量测标准差分别设置为50 m。航迹状态更新使用标准卡尔曼滤波器。目标的真实航迹由图2给出。为了使系统维持的航迹数不至于过多而降低跟踪性能, 仿真中采用了动态门限调整技术。即当系统航迹数目过多时, 提高比例因子以删除更多似然度低的航迹。单次仿真持续时间为600 s, 即100个仿真时刻。Monte-Carlo仿真次数为50次。系统维持的平均航迹数如图3所示。从图中可以看出, 前10个周期左右系统维持的航迹数呈上升趋势, 这是由于在初始阶段, 各航迹的似然度在很大程度上依赖量测数据的先验信息, 从而随着各时刻量测数的增加, 航迹数几乎呈指数增长。系统航迹数最后保持在每个目标5条左右, 这对于现代计算机系统, 并不需要消耗太多的资源。仿真结束后, 选择似然度最大的两条航迹作为目标的估计航迹, 第i条航迹的平均航迹似然度为
式 (16) 中, Λi (k) 为该航迹在k时刻的航迹似然度。图4为一次仿真场景中Λavg (i) 最大的两条系统航迹在各时刻的似然度值。
5 结论
论文陈述了一种使用航迹似然度的目标跟踪方法。在传感器的每个扫描周期关联多个量测与目标航迹时, 因为采用了航迹分叉方法, 使得系统维持的航迹数通常多于实际目标航迹数。随着扫描周期的增多, 系统可能由于不能维持过多的航迹而导致跟踪无法继续。航迹似然度的引入解决了这一问题。当一条新的系统航迹生成时, 通过计算贝叶斯概率给出该航迹的似然度。航迹似然度同航迹状态一样, 每个滤波周期更新一次, 且与航迹状态更新是彼此独立的。更新后的航迹似然度如果小于计算的门限值, 从当前的系统中删除该航迹。同时, 航迹似然度的引入还避免了额外的航迹初始与航迹终止过程。航迹似然度与每个扫描周期传感器量测数据的先验信息相关, 而要获取精确的量测先验信息通常是比较困难的。本文的重点在于说明如何借助航迹可信度来跟踪目标, 对量测先验信息的计算还只采用了较为粗劣的手段, 这也是论文讨论的目标跟踪方法有待进一步研究的地方。
摘要：针对杂波环境中多目标跟踪问题, 引入了航迹似然度的概念, 航迹似然度从概率的意义上给出了该航迹为实际目标航迹的可能性。在目标跟踪过程中, 采用了将传统的航迹状态更新与提出的航迹似然度更新同时进行的方式, 有效的解决了航迹分叉方法中由于系统维持的航迹数过多导致的系统资源不足的问题。航迹似然度的引入还避免了额外的航迹初始与航迹终止过程。通过合理选择及动态调整门限可以较好的满足跟踪实时性, 仿真实例进一步验证了算法的有效性。
关键词：目标跟踪,航迹分叉,似然度,卡尔曼滤波
参考文献
[1] Bar-Shalom Y, Li X R.Multitarget-multisensor tracking:principles and techniques.Storrs, CT:YBS, 1995
[2] Musicki D, Challa S.Surorova S.Automatic track initiation of maneuvering targets in clutter.5th Asian Control Conference, Melbourne Australia, 2004
[3] 彭冬亮, 文成林, 薛安克.多传感器多源信息融合理论及应用.科学出版社, 2010Peng Dongliang, Wen Chenglin, Xue Anke.Multisensor multisource information fusion theory with applications.Beijing:Science Press, 2010
[4] Bar-Shalom Y, Daum F, Huang J.The probabilistic data association filter.IEEE Control Systems Magazine, 2009;29 (6) :82—100
[5] 段哲民, 李辉, 张安, 等.多回波环境中多机动目标跟踪的新算法.传感技术学报, 2007;20 (6) :1330—1334Duan Zhemin, Li Hui, Zhang An, et al.Multiple maneuvering targets tracking in cluttered environment.Chinese Journal of Sensors and Actuators, 2007;20 (6) :1330—1334
[6] Bar-Shalom Y, Fortman T E.Tracking and Data Association.New York:Academic Press, 1998
[7] Li C P, Sun J P, Mao S Y.Tracking ground targets with road constraint using multiple hypotheses tracking.2nd International Conference on Signal Processing Systems, .2010:265—269
[8] Gul E.On the track similarity test in track splitting algorithm.IEEE Transactions on Aerospace and Electronic Systems, 1994;30 (2) :604 —606
[9] Musicki D, Evans R J.Multiscan multitarget tracking in clutter with integrated track splitting Filter.IEEE Transactions on Aerospace and Electronic Systems, 2009;45 (4) :1432—1447
[10] Musicki D, Evans R J, La-Scala B F.Integrated track splitting suite of target tracking filters.6th International Conference on Information Fusion, Cairns, Australia, 2003