多目标跟踪（共11篇）
多目标跟踪 篇1
目标跟踪的目的在于获得传感器监视区域内的完整的目标航迹[1]"。传统的目标跟踪方法将这一过程分成三个阶段:航迹形成[2]、航迹维持与航迹终止。在航迹形成阶段, 无论是基于扫描周期积累的多周期航迹起始, 还是基于量测数据积累的多量测航迹起始, 累积的周期数或点迹数通常是确定的。当规定的积累数目达到时, 系统根据航迹起始条件判断目标是否存在, 如果目标存在, 则建立相应的目标航迹并进入航迹维持阶段。在航迹维持阶段, 选择适当的滤波器, 根据每一时刻的量测数据实时更新目标航迹。由于杂波及虚警的存在, 也可能因为目标离开探测区或其他原因没有获得量测数据。最后, 当目标因为离开监视区域或其他原因而不再产生新的量测数据, 则系统进入航迹终止阶段。
将测量数据与目标航迹相关联, 即点迹-航迹关联问题, 是滤波及航迹维持的前提条件。点迹-航迹关联可以通过设置跟踪门来实现, 这一技术在很多经典的文献中都已讨论过[3—5]。在实际工程应用中, 构建跟踪门的方法有很多, 但都不能避免同一跟踪门内出现两个或两个以上量测数据的情况。这是因为:第一, 杂波在空间的分布是不确定的;第二, 在多目标跟踪场景中, 除当前被跟踪目标以外的其他目标的量测数据也等同于杂波的性质。针对杂波环境中的单目标跟踪方法有很多, 从早期的最近邻滤波 (NNF, nearest neighbor filter) 、航迹分叉方法 (TF, tracks splitting) , 发展到当前广泛使用的概率数据关联滤波 (probabilistic data association filtering, PDAF) [6]。针对多目标的情况, 应用较为成熟的方法有联合概率数据关联滤波 (joint probabilistic data association filtering, JPDAF) , 多假设跟踪 (multiple hypothesis tracking, MHT) [7]等。
航迹分叉方法[8—10]是较早出现的杂波环境下的单目标跟踪方法。它假设当前时刻落入跟踪门内的每一个量测数据都是目标的真实量测, 从而目标航迹被分成多条新的航迹。对于任意一条新航迹, 在下一时刻的量测数据到来后也使用同样的方法处理。在航迹分叉的同时, 通过计算每条航迹的似然函数并与设定的门限值比较, 丢弃可能性小的目标航迹。这种方法的最大问题在于需要大量的存储空间并消耗过多的系统资源, 介于早期计算机性能相对较低且花费较高, 使得航迹分叉方法没有得到进一步发展。概率数据关联滤波是早期较为成熟的一种目标跟踪方法, 它将落入跟踪门内的多个有效量测数据都依概率看作目标的真实量测, 对于每一个量测值, 计算相应的概率, 然后使用全部量测以概率加权的形式更新目标状态及协方差。概率数据关联方法在目标航迹更新时只利用当前一个扫描周期内的量测数据, 在系统模型与目标实际运动模型的误差不大时不失为一种有效的目标跟踪方法。当目标的机动性较强或传感器的测量误差较大时, 跟踪门内的有效量测数据很可能不是真实的目标量测而是杂波, 在这种情况下, 使用概率数据关联滤波显然不能得到正确的目标航迹, 从而导致滤波发散或航迹的提前终止。
考虑到目标跟踪中的上述问题, 论文引入航迹似然度的概念, 即对应当前系统中的每条航迹, 赋予相应的航迹似然度。航迹似然度从概率的意义上给出了该条航迹为实际目标航迹的可能性。航迹似然度随系统的扫描周期实时更新。更新后的航迹似然度反映当前周期的测量数据对上一时刻的航迹似然度的影响。提出的基于航迹分叉的目标跟踪方法也是基于这一思想的。它有两方面的特征:第一, 每一时刻都可能生成新航迹, 生成的新航迹数量由当前时刻有效量测数据个数决定;第二, 每条航迹从一开始即赋予相应的航迹似然度, 航迹似然度贯穿于目标的整个跟踪过程。如果航迹似然度小于给定的门限值, 对应的目标航迹则被认为是虚假航迹而加以删除。在每个扫描周期结束进行一次系统更新, 系统更新包括航迹状态更新与航迹似然度更新两个方面。航迹状态更新即是通常所说的目标状态及协方差更新;本文主要讨论航迹似然度的概念及如何更新航迹似然度。
1 系统模型
1.1 量测模型
假定传感器跟踪监视区内多个目标。在数据预处理阶段, 测量信号都已转化为笛卡儿坐标系下的标准量测数据。在时刻k落入跟踪门Gi (k) 的测量数据集用Zk, i表示, 则
式 (1) 中, zi (k, j) 表示第j个量测, mi (k) 表示落入跟踪门Gi (k) 的量测个数 (称落入跟踪门内的量测为有效量测, 如无特殊说明, 下面所说的量测数据都是指有效的量测数据) 。用Zk表示k时刻的全体量测数据集, 则
式 (2) 中, n (k) 为k时刻的跟踪门个数。传感器检测概率PD<1, 即在某个扫描周期传感器可能检测不到目标。环境杂波在传感器的探测空间是随机分布的, 通常将其建模为均匀分布;系统杂波通常是由系统热噪声引起的, 通常将其看作泊松过程。目标的状态方程为
式 (3) 中, xk表示目标在k时刻的航迹状态, Fk为状态转移矩阵, vk为高斯过程噪声序列。Fk及vk的值取决于传感器的测量周期及模型假设。目标量测方程
式 (4) 中, yk表示目标的量测向量, Hk为量测矩阵, wk为量测噪声。具体的设置可参考文献[11]。
1.2 航迹分叉法
当目标航迹跟踪门内出现多于一个量测数据时, 有两种处理方法:航迹分叉与概率数据关联[9,10]。概率数据关联是当前应用较为广泛的方法, 尤其是在密集杂波环境下, 这种方法的优势更明显。但概率数据关联只考虑一个扫描周期内的有效量测数据, 这使得系统相对目标状态模型的改变不够敏感。多模型概率数据关联滤波 (multiple model PDAF, MMPDAF) 可以较好的适应目标模型的变化, 但前提是系统必须首先给定目标的运动模型集, 随着模型集的增加, 算法的复杂度会呈指数上升。
本文采用了航迹分叉法。因为k时刻第i条航迹Tri (k) 对应的有效量测数据有mi (k) 个, 这样, 由Tri (k) 派生出的新航迹为mi (k) 条。如果k时刻的系统航迹数为n (k) , 经过航迹分叉, 新的系统航迹数
子航迹根据各自量测数据与滤波算法独立更新, 并计算下一时刻的跟踪门。
2 航迹更新
2.1 航迹似然度
航迹似然度从概率的意义上给出了一条航迹为真实目标航迹的可能性。设k时刻航迹i的航迹似然度为Λi (k) , 根据k+1时刻的量测数据, 分3种情况讨论
1) 没有量测数据。此时, 传感器未检测到目标的概率为1-PD。根据贝叶斯公式, k时刻航迹i的航迹似然度
式 (6) 中, PD表示目标的检测概率;PR表示航迹为假航迹时检测到目标的概率。
2) 一个量测数据。该量测数据可能是真实目标的量测, 也可能是杂波。通常情况下根据系统的先验信息可以得到该量测数据为真实目标量测的概率PTrue。这些先验信息包括传感器的检测概率, 杂波的统计分布特征, 传感器探测到的目标属性信息 (如多普勒频率) 等, 从而k时刻航迹i的航迹似然度
3) mi (k) 个量测数据[mi (k) >1]。同样根据先验信息求出每个量测点为真实量测的概率PTrue, j, j=1, 2, …, mi (k) 。由于多个量测数据会产生多条子航迹, 对每一条子航迹, k时刻的航迹似然度
由上面的讨论可以看出, 航迹似然度的更新与目标的状态更新是彼此独立的, 航迹似然度的值更新依赖于系统对目标的检测能力。也就是说, 目标的检测概率越高, 杂波越少, 航迹为真实航迹的概率就越大。这与实际情况是相符的。此外, 航迹似然度还反映多个扫描周期的目标检测情况。如果目标的检测概率不高, 即便连续几个周期内没有量测数据发现, 航迹似然度也不会降低太快, 从而航迹可以被认为仍然是“真实”的, 避免了因连续检测不到数据就终止航迹的错误发生。
2.2 动态门限计算
为了使系统维持的航迹数不至于无限增长, 必须为航迹设定某一评价指标 (即门限) , 当该指标超过给定的门限时, 则将该航迹作为虚假航迹从系统中删除。定义k时刻第i条航迹Tri的似然函数
式 (9) 中, θi, k表示相应的量测序列为真实航迹。使用公式 (9) 的定义, 似然函数λ (Tri) 可表示为
在线性高斯系统假设下, (10) 式中的航迹似然函数服从高斯分布, 即
从而,
式 (12) 中, ck为归一化常数。由于常数ck不影响函数的性质, 且指数函数为单增函数, 故取 (12) 式的指数部分作为航迹的评价指标, 令
根据新息协方差的性质, γk可通过下式递归计算
当k时刻的航迹似然度Λi (k) ≤akγk, γk≥1/akΛi (k) 时, 则认为该航迹为虚假航迹。ak为比例因子, 通过设置ak可以调整系统当前维持航迹数的多少。
3 算法实现
基于航迹似然度的目标跟踪方法不需要单独的航迹起始过程。在传感器的第一个扫描周期直接根据每一个量测数据起始一条新的航迹。然后根据先验知识建立跟踪门, 在得到该条航迹的第二个有效量测数据之后, 就可以使用通常的滤波算法进行滤波及跟踪门的计算了。航迹的终止也是由航迹似然度的值决定的。当某条航迹的航迹似然度小于给定的门限, 则从系统中删除该航迹。
使用航迹似然度的目标跟踪方法在每一时刻的系统更新包括航迹状态更新与航迹可信度更新。航迹状态更新也就是通常所说的目标状态及协方差更新;航迹似然度更新则使用上面讨论的贝叶斯后验概率公式计算。每条系统航迹对应的航迹似然度给出了当前时刻最接近真实目标航迹的系统航迹。在每一时刻的航迹状态更新与似然度更新完成后, 通过与给定的门限γk比较, 丢弃可能性小的航迹。算法流程图如图1所示。
图1的左侧和右侧分别对应目标航迹的状态更新与目标航迹的似然度更新。当前时刻的量测数决定了分叉后的系统航迹数, 动态门限则决定了系统更新后的航迹数。一个更新周期后的系统航迹数
式 (15) 中, Sdel (k) 为丢弃的小于门限的系统航迹。算法流程也表明系统航迹的生成与删除是一个动态的过程, 实际工程应用中采用链表结构来存储与更新系统航迹是较为合理有效的。门限中比例因子的选择更多依赖于工程实践, 通常可以根据系统的性能与实时性的要求动态改变ak的值。
4 仿真结果及分析
假定如下的仿真场景:传感器监视二维空间内的2个运动目标, 目标的检测概率PD=0.9。扫描周期为6 s, 杂波密度为0.5个/km2。量测数据已转化为笛卡儿坐标系下的x, y坐标, x轴与y轴上的量测标准差分别设置为50 m。航迹状态更新使用标准卡尔曼滤波器。目标的真实航迹由图2给出。为了使系统维持的航迹数不至于过多而降低跟踪性能, 仿真中采用了动态门限调整技术。即当系统航迹数目过多时, 提高比例因子以删除更多似然度低的航迹。单次仿真持续时间为600 s, 即100个仿真时刻。Monte-Carlo仿真次数为50次。系统维持的平均航迹数如图3所示。从图中可以看出, 前10个周期左右系统维持的航迹数呈上升趋势, 这是由于在初始阶段, 各航迹的似然度在很大程度上依赖量测数据的先验信息, 从而随着各时刻量测数的增加, 航迹数几乎呈指数增长。系统航迹数最后保持在每个目标5条左右, 这对于现代计算机系统, 并不需要消耗太多的资源。仿真结束后, 选择似然度最大的两条航迹作为目标的估计航迹, 第i条航迹的平均航迹似然度为
式 (16) 中, Λi (k) 为该航迹在k时刻的航迹似然度。图4为一次仿真场景中Λavg (i) 最大的两条系统航迹在各时刻的似然度值。
5 结论
论文陈述了一种使用航迹似然度的目标跟踪方法。在传感器的每个扫描周期关联多个量测与目标航迹时, 因为采用了航迹分叉方法, 使得系统维持的航迹数通常多于实际目标航迹数。随着扫描周期的增多, 系统可能由于不能维持过多的航迹而导致跟踪无法继续。航迹似然度的引入解决了这一问题。当一条新的系统航迹生成时, 通过计算贝叶斯概率给出该航迹的似然度。航迹似然度同航迹状态一样, 每个滤波周期更新一次, 且与航迹状态更新是彼此独立的。更新后的航迹似然度如果小于计算的门限值, 从当前的系统中删除该航迹。同时, 航迹似然度的引入还避免了额外的航迹初始与航迹终止过程。航迹似然度与每个扫描周期传感器量测数据的先验信息相关, 而要获取精确的量测先验信息通常是比较困难的。本文的重点在于说明如何借助航迹可信度来跟踪目标, 对量测先验信息的计算还只采用了较为粗劣的手段, 这也是论文讨论的目标跟踪方法有待进一步研究的地方。
摘要：针对杂波环境中多目标跟踪问题, 引入了航迹似然度的概念, 航迹似然度从概率的意义上给出了该航迹为实际目标航迹的可能性。在目标跟踪过程中, 采用了将传统的航迹状态更新与提出的航迹似然度更新同时进行的方式, 有效的解决了航迹分叉方法中由于系统维持的航迹数过多导致的系统资源不足的问题。航迹似然度的引入还避免了额外的航迹初始与航迹终止过程。通过合理选择及动态调整门限可以较好的满足跟踪实时性, 仿真实例进一步验证了算法的有效性。
关键词：目标跟踪,航迹分叉,似然度,卡尔曼滤波
参考文献
[1] Bar-Shalom Y, Li X R.Multitarget-multisensor tracking:principles and techniques.Storrs, CT:YBS, 1995
[2] Musicki D, Challa S.Surorova S.Automatic track initiation of maneuvering targets in clutter.5th Asian Control Conference, Melbourne Australia, 2004
[3] 彭冬亮, 文成林, 薛安克.多传感器多源信息融合理论及应用.科学出版社, 2010Peng Dongliang, Wen Chenglin, Xue Anke.Multisensor multisource information fusion theory with applications.Beijing:Science Press, 2010
[4] Bar-Shalom Y, Daum F, Huang J.The probabilistic data association filter.IEEE Control Systems Magazine, 2009;29 (6) :82—100
[5] 段哲民, 李辉, 张安, 等.多回波环境中多机动目标跟踪的新算法.传感技术学报, 2007;20 (6) :1330—1334Duan Zhemin, Li Hui, Zhang An, et al.Multiple maneuvering targets tracking in cluttered environment.Chinese Journal of Sensors and Actuators, 2007;20 (6) :1330—1334
[6] Bar-Shalom Y, Fortman T E.Tracking and Data Association.New York:Academic Press, 1998
[7] Li C P, Sun J P, Mao S Y.Tracking ground targets with road constraint using multiple hypotheses tracking.2nd International Conference on Signal Processing Systems, .2010:265—269
[8] Gul E.On the track similarity test in track splitting algorithm.IEEE Transactions on Aerospace and Electronic Systems, 1994;30 (2) :604 —606
[9] Musicki D, Evans R J.Multiscan multitarget tracking in clutter with integrated track splitting Filter.IEEE Transactions on Aerospace and Electronic Systems, 2009;45 (4) :1432—1447
[10] Musicki D, Evans R J, La-Scala B F.Integrated track splitting suite of target tracking filters.6th International Conference on Information Fusion, Cairns, Australia, 2003
[11] Bar-Shalom Y, Li X R, Kirubarajan T.Estimation with applications to tracking and navigation.New York:Academic Press, 2001
多目标跟踪 篇2
本文提出了弱小目标检测和跟踪算法的性能评估框架,并针对弱小目标检测和跟踪的特点,从背景特性、目标特性和跟踪干扰特性等方面对弱小目标序列图像的仿真进行了分析.通过分析弱小目标跟踪中可能遇到的不同的目标情况和由此产生的正确跟踪轨迹、正常轨迹消失、错误跟踪轨迹、遗漏轨迹和虚假跟踪轨迹等目标跟踪状况,以弱小目标仿真模块提供的.目标原始真值为基础,采用了有效跟踪评价和有效跟踪精度评价的方法对跟踪算法进行评估.试验表明,该方法能够有效地评估弱小目标跟踪算法.
作 者：周进 吴钦章 ZHOU Jin WU Qin-zhang 作者单位：周进,ZHOU Jin(中国科学院光电技术研究所,四川,成都,610209;中国科学院研究生院,北京,100039)
吴钦章,WU Qin-zhang(中国科学院光电技术研究所,四川,成都,610209)
基于双目视觉的目标跟踪算法研究 篇3
关键词：双目视觉，Kinect摄像头，骨骼跟踪，导航
1概述
双目视觉技术是当前计算机视觉研究的重点和热点，双目视觉对物体的感知过程主要是模仿人眼对物体的感知过程，简便可靠，具有较大的应用前景，一直以来也是受到国内外专家学者的重视。由于双目视觉技术直接模仿人眼，并且可以满足实时性要求，所以越来越广泛的运用到计算机视觉，机器人跟踪识别，车导航等领域，实现未知场景感知，空间位置定位灯功能。因此对于双目视觉的跟踪算法的研究具有十分重要的现实意义。
本项目的研究是在Windows7的系统中，利用VS2010设计出的双目视觉跟踪技术程序。这里主要是运用到了基于Kinect摄像头的骨骼跟踪技术，可以实现动态物体的跟踪。本研究的成果也可以很好地移植到机器人的平台上去实现机器人的目标跟踪。
本文中首先介绍了相关的背景，之后介绍了双目视觉技术，随后对于程序中运用到的Kinect摄像头，骨骼跟踪技术进行了介绍。之后对于具体的程序实现做了一个分析，主要是整个代码编写的原理，并着重阐述了骨骼跟踪技术的核心代码。然后是整个程序的运行效果进行一个展示，保证了程序的有效性。
2双目视觉
双目视觉（Binocular Vision）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
双目视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此视觉方法是一种更有效的测量方法。双目视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。
双目视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是上世纪80年代初，Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得视觉已成为计算机视觉中一个非常重要的分支。经过几十年来的发展，视觉在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等领域中的运用越来越广。
3、Kinect摄像头
3.1相关介绍
Kinect是微软在2009年6月2日的E3大展上。正式公布的XBOX360体感周边外设。Kinect彻底颠覆了游戏的单一操作。使人机互动的理念更加彻底的展现出来。网友普遍称其中文名为“啃奶特”
它是一种3D体感摄影机（开发代号“Project Natal”），同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。
玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。
3.2原理介绍
黑色的Kinect设备如下图：基座和感应器之间有一个电动的马达，通过程序能够调整俯仰角度，在上面的感应器中有一个红外投影仪，两个摄像头，四个麦克风和一个风扇。打开外面的盖子可以看到里面的构造：这些感应器用来捕捉RGB和深度数据，面对Kinect，从左往右看。最左边是红外光源，其次是LED指示灯，再次是彩色摄像头，用来收集RGB数据，最右边是红外摄像头用来采集景深数据。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。
在感应器的下方是麦克风阵列，他包括四个不同的麦克风，一个在左边的红外发射器下面，另外3个在右边景深摄像头下面。
Kinect工作原理，摄像头起到了很大的作用，它负责捕捉人肢体的动作，然后微软的工程师就可以设计程序教它如何去识别、记忆、分析处理这些动作。Kinect摄像头可以捕捉到用户的手势动作，再把这些手势语言转换成游戏控制。具体来说，Kinect借助PrimeSense软件和摄像头侦测、捕捉用户手势动作，然后再将捕捉到的影像与本身内部存有的人体模型相对照。每一个符合内部已存人体模型的物体就会被创造成相关的骨骼模型，系统再将该模型转换成虚拟角色，该角色通过识别该人体骨骼模型的关键部位进行动作触发。在虚拟骨骼模型的帮助下，系统可识别人体的25个关键部位。此基础上加入了识别人体站立/坐姿的新技术。使用红外定位Kinect比一般的摄像头更为智能。首先，它能够发射红外线，从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，配合着Xbox 360上的一些高端软件，便可以对人体的48个部位进行实时追踪。该设备最多可以同时对两个玩家进行实时追踪。除此之外，这款产品不仅能够通过红外线识别人体，还可以识别出完整的RGB色彩，并借助面部识别技术自动为用户登录。
4骨骼跟踪技术
骨骼追踪技术通过处理景深数据来建立人体各个关节的坐标，骨骼追踪能够确定人体的各个部分，如哪部分是手，头部，以及身体。骨骼追踪产生X，Y，Z数据来确定这些骨骼点。骨骼追踪系统采用的景深图像处理技术使用更复杂的算法如矩阵变换，机器学习及其他方式来确定骨骼点的坐标。
骨骼数据来自SkeletonStream，访问骨骼数据有事件模式和 “拉”模式两种方式。在本项目实验中我们采用基于事件的方式，因为这种方式简单，代码量少，并且是一种很普通基本的方法。KinectSensor对象有一个名为SkeletonFrameReady事件。当SkeletonStream中有新的骨骼数据产生时就会触发该事件。通过AllFramesReady事件也可以获取骨骼数据。SkeletonStream产生的每一帧数据都是一个骨骼对象集合。每一个骨骼对象包含有描述骨骼位置以及骨骼关节的数据。每一个关节有一个唯一标示符如头（head）、肩（shoulder）、肘（dlbow）等信息和3D向量数据。然后把获取到的数据通过设置画笔颜色画出来，就可以实现模拟人体骨骼跟踪的效果。
5原理及实现
本项目的程序是运行在VS2010上的C#WPF程序。下面对程序中的部分代码做一下分析。
（1）由于Kinect能够追踪到的骨骼数量是一个常量。这使得我们在整个应用程序中能够一次性的为数组分配内存。为了方便，Kinect SDK在SkeletonStream对象中定义了一个能够追踪到的骨骼个数常量FrameSkeletonArrayLength，使用这个常量可以方便的对数组进行初始化。具体的代码在程序中是这样的：
this.framesSkelete = new Skeleton[this.kinect.SkeletonStream.FrameSkeletonArrayLength]；
（2）每一次骨骼数据变化的时候就会触发SensorSkeletonFrameReady事件，然后通过调用事件参数的OpenSkeletonFrame方法就能够获取当前的骨骼数据帧。后面的代码是遍历骨骼数据帧的Skeleton数组frameSkeletons，再在UI界面通过关节点将骨骼数据连接起来，用一条直线代表一根骨骼。具体代码参见下面两张截图：
截图一
截图二
（3）上述代码中在循环遍历frameSkeletons对象时，每一次处理一个骨骼，在处理之前都需要判断是否是一个追踪好的骨骼，可以使用Skeleton对象的TrackingState属性来判断，只有骨骼追踪引擎追踪到的骨骼我们才进行绘制，忽略那些不是使用者的骨骼信息即过滤掉那些TrackingState不等于SkeletonTrackingState.Tracked的骨骼数据。Kinect能够探测到6个使用者，但是同时只能够追踪到2个使用者的骨骼关节位置信息。具体代码就是两个if判断中的代码：
if （skel.TrackingState==SkeletonTrackingState.NotTracked）
if （skel.TrackingState == SkeletonTrackingState.Tracked || skel.TrackingState == SkeletonTrackingState.PositionOnly）
（4）处理骨骼数据相对简单，首先，我们根据Kinect追踪到使用者的编号，选择一种颜色笔刷。然后利用这只笔刷绘制曲线。CreateFigure方法为每一根骨骼绘制一条直线。GetJointPoint方法在绘制骨骼曲线中很关键，该方法以关节点的三维坐标作为参数，然后调用KinectSensor对象的MapSkeletonPointToDepth方法将骨骼坐标转换到深度影像坐标上去。下面的代码截图展示了CreateFigure和GetJointPoint这两个方法。
UI界面比较简单，将Grid元素作为根结点，设置背景色为白色，下面是WPF窗口代码：
6实验效果
本程序是运行在VS2010上的一个WPF程序，程序运行之后当我们人站在摄像头前时，可以通过一些肢体动作来获取摄像头的感知，摄像头捕捉到了我们的动作之后，即会在程序中画出我们人体骨骼的大致轮廓，这样就实现了我们骨骼跟踪的目的。我们本次项目的主要研究内容就是基于双目视觉的目标跟踪算法研究，通过这样一个小程序的实例，即实现了目标跟踪算法的编写，而我们整个程序也是可以运用到机器人的平台之上的，用于机器人的跟踪或是导航等等，这就使得我们整个程序更具实际意义，我们的研究也更具应用价值。
参考文献
[1] 贾云德.机器视觉[M].北京：科学出版社，2000
[2] Marr D，姚国正等译.视觉计算理论[M].北京：科学出版社，1988
[3] 潘华，郭戈.立体视觉研究的进展[J].计算机测量与控制.2004，12（12）：59-76
[4] 侯志强，韩崇昭.视觉跟踪技术综述[J].自动化学报.2006，32（4）：603-617
多目标跟踪 篇4
关键词：区处理,中值-平滑滤波,自适应"波门"
引言
武器试验的快速发展对空间多目标跟踪测量提出了迫切需求。本文提出一种基于自适应"波门"识别技术的多目标图像跟踪处理系统, 利用成熟的DSP处理技术和现场可编程技术, 结合上位机控制, 灵活调整系统配置和参数选择, 针对多目标图像进行信息提取和目标识别, 建立多目标运动轨迹, 预测其运动速度, 实现多目标跟踪处理和综合测量。
1 系统组成
系统主要由视频传输单元、图像处理单元、控制台单元组成, 工作原理框图如图1。其中, 图像处理单元是以跟踪处理计算机为主, 包括同步机显示控制处理、预处理程控放大、A/D转换卡、FPGA图像运算、图像实时变换、分目标处理器、通信接口控制等模块的功能单元。同步机显示控制处理实现高精度的数字锁相, 增加跟踪测量精度;FPGA图像运算对图像数据进行卷积运算和中值-平滑滤波;图像实时变换进行实时的二维傅氏变换;跟踪处理计算机及分目标处理器完成目标识别及多"波门"捕获与跟踪。
2 图像区处理
图像区处理采用中值滤波和平滑处理相结合的混合处理方法, 对于提高多目标信号的识别率具有独特效果。
2.1 中值-平滑滤波
中值滤波能有效地降低图像噪声而保护目标图像边缘, 平滑滤波则具有较好的实时性。结合二者之长, 采用中值-平滑滤波进行图像处理。实践表明, 中值-平滑滤波所需时间明显少于同样窗口的二维中值滤波时间, 且降噪效果好[1]。
假设:输入图像为[X]M×N, 输出图像为[Y]M×N, 经过输入中值滤波处理后的图像为[X']M×N, 平滑滤波输出图像为[U]M×N, 列五输入中值滤波后的输出图像为[Y']M×N。那么:
2.2 自适应目标提取
设像素的灰度值时间函数为xk (i, j) , 一场图像的像素排列定义一个灰度矩阵 (k为场数) :
式中, 行矢量xk (i) =[xk (i, 1) , xk (i, 2) , …, xk (i, n) ]。
建立一场无运动目标存在的初始背景图像, 在此之后, 擦除视场中的运动目标, 以区域均值代替运动目标灰度值, 逐次更替背景图像。设背景图像为[G]M×N, k, 同样定义一个灰度背景矩阵:
式中, 行矢量gk (i) =[gk (i, 1) , gk (i, 2) , …, gk (i, n) ]。
为了提取动态目标, 计算实测图像与背景图像的灰度矩阵之差[△X]M×N, k:
设立一个门限值T, 将图像的灰度矩阵转换成图像灰度二值矩阵。由于经过中值-平滑滤波, 以及实测图像与背景图像的灰度差值运算, 目标和背景在灰度上有比较明显的差别。通过分析图像处理过程的数据, 为了动目标提取得实时性, 提出一种简单、快速的算法, 由实测图像的直方图确定灰度最大值xk, max及最小值xk, min, 取门限为
式中, α为常数, α∈{0.3, 0.6}。通过α的调节优化处理的结果, 压制外形边界上出现的干扰。
式中, qk (i, j) 为二值矩阵的元素, 则二值矩阵[Q]M×N, k为:
式中, 行矢量qk (i) =[qk (i, 1) , qk (i, 2) , …, qk (i, N) ]。
矩阵反映了在某距离、某时刻通过视场的动态目标图像的大小和形状。根据二值矩阵就可以进行多目标识别。
3 多目标自适应"波门"识别
由获取的二值特征图像参数, 经二值矩阵分析, 抽取目标图像面积、周长, 再用目标距离信息得到多目标面积、周长的关系;用目标图像中心位置的变化来确定其运动轨迹以及目标横向运动速度, 用目标距离的变化来确定其纵向运动速度, 再加上目标图像复杂度, 从而进行多目标识别[2]。完成对多目标的识别, 关键要建立一个自适应"波门"。
所谓自适应"波门", 是用数字"波门"来形成能够自己调节而适应多种目标的"波门"。该"波门"是将目标信号的前、后沿在视场中的位置量, 分别锁存于寄存器中, 由DSP通过数据采集口将目标的前、后沿位置量采入, 进行一系列判断, 找出目标在视场中上、下、左、右4个边缘, 利用目标图像4个边缘的位置数据, 通过校正后, 形成波门的上、下、左、右4个边。这样, 波门的大小就随目标图像的大小而变化, 如图2。
在这种自适应波门形成电路中, 对数字量进行校正是必要的, 否则, 波门的跟踪精度将难以满足系统要求。校正的方法比较多, 这里是利用前五场的目标位置量, 预测下一场的目标位置。预测值与实际下一场目标的准确值之差即为波门跟踪误差。为此, 应用函数构造理论, 以误差分析为依据, 构造一个自适应权函数, 形成一个综合预测算法:
式中, 表示利用直到k-1场的信息预测k+1场参数y, 其间隔两场是考虑到操作时间的需要, 和分别为线性预测器和二次预测器, ω为自适应权函数。二点线性预测器能较好地跟上动态目标的快速动作。
4 多"波门"系统的捕获与跟踪
在多波门跟踪系统中, 每一个波门的形成和单波门形成类似, 但并不是多个单波门的简单集合。对于单波门环路捕获和跟踪电视视场中的目标时, 单波门环路一般处于3种工作状态:当电视视场中没有目标信号时, 波门环路处于等待或搜索状态;当电视视场中出现目标信号时, 波门环路处于捕获状态;当波门捕获到目标信号时, 波门环路处于跟踪状态。
单波门环路的控制逻辑主要完成3种工作状态变化时, 各状态间信号的相应切换。
在多波门系统中, 各个波门环路不仅要完成上述3种工作状态变化时的各状态间控制信号的相互切换, 而且在多波门系统中各个波门之间的相互控制是必不可少的, 否则各个波门将去捕获同一个目标, 达不到多波门对多目标的跟踪要求。另外, 由于固定大小的波门对于小于波门的目标是没有问题的, 但当目标图像尺寸大于波门时, 会出现几个波门捕获同一个大目标的不同部分的问题, 因而, 各个波门均采用自适应波门。
视场内没有目标时, 系统处于等待状态, 并不断判别有无目标出现。目标出现时, 首先只允许第一波门对先出现的目标进行捕获, 若未捕获到目标, 则禁止其他波门对目标进行捕获;当第一波门捕获到目标后, 处于跟踪状态, 只跟踪波门内的目标, 同时将波门内的目标信号从视场中擦除, 这样, 其它波门环路对第一波门内的区域成为盲区, 再发出允许进行捕获的指令。第二波门在获得允许捕获的指令后, 重复以上类似运算。仅当第一、二波门都处于跟踪状态之后, 才发出允许第三波门对两波门以外的目标进行捕获的指令, 在第三波门获得进行捕获的指令后, 判别两波门以外的区域有无目标信号, 再作相关运算。
当下一场目标图像落在预测波门内, 则表示目标处于正常跟踪状态。对目标逐场的位置储存起来, 建立起目标的轨迹。对整个跟踪系统来说, 跟踪伺服机构是要驱动电视视场跟随目标而运动。
若视场中多个目标呈多元运动时, 采取特定的切选方案, 实现对某一目标的选择跟踪。
5 结束语
目前, 采用多片高速信号处理器构成的微型实时图像处理系统, 可有效解决图像处理系统受到运算速度、体积和成本限制的问题, 同时通过采取软件同步技术和对系统电路进一步优化、降额、温度补偿等[3], 可以提高系统应付复杂背景和处理多目标的能力。
参考文献
[1]王永仲, 琚新军, 胡心.智能光电系统[M].北京:科学出版社, 1999.
[2]宋丰华.现代空间光电系统及应用[M].北京:国防工业出版社, 2004.
多目标跟踪 篇5
机载多传感器跟踪航迹数据融合研究
随着机载传感器的增加和性能的`提高,使目标探测和跟踪信息更加全面,精度也大大提高,但机载显示和火控需求的参数是唯一的,所以需要对不同传感器探测和跟踪的目标信息进行融合.本文针对机载传感器特点和飞机平台参数需求,对多传感器跟踪生成的目标航迹数据融合进行了研究,并给出了相应算法.
作 者：王月星 周德云 田涛 WANG Yue-xing ZHOU De-yun TIAN Tao 作者单位：西北工业大学,西安,710072刊 名：电光与控制 ISTIC PKU英文刊名：ELECTRONICS OPTICS & CONTROL年，卷(期)：200714(1)分类号：V241关键词：数据融合 航迹融合 多传感器跟踪 时间校正 关联算法
多目标跟踪 篇6
摘要：针对军用装备目标探测的应用需求，设计了一种15倍非制冷式红外变焦系统。该变焦系统工作于8～12 μm远红外波段，F数为3，在20～300 mm范围内系统能够连续变焦且像质较好，在最大截止频率为11 lp/mm时，各焦距位置的MTF曲线与衍射极限十分接近。在长焦距、大变倍比的前提下，结构依然紧凑，总长度有效控制在330 mm。在给定公差范围内，像质变化满足实际应用允许的变化范围。最后，该系统与联合变换相关器相结合，完成了对目标的探测实验。实验结果表明，该红外变焦系统能够很好地探测识别目标。
关键词：红外变焦系统；远红外；光学设计；目标探测；目标跟踪；联合变换相关器
中图分类号：TJ760；TN215 文献标识码：A 文章编号：1673-5048（2014）02-0027-05
0、引言
近年来，随着光学相关技术的迅猛发展，越来越多的武器装备将红外变焦系统和联合变换相关器结合在一起对目标进行探测与跟踪。红外变焦系统是武器瞄准系统的重要组成部分，能够连续获取特定焦距范围内目标的红外辐射能量，既可大视场搜索视野区域，也可小视场详察目标。联合变换相关器对变焦系统的成像进行图像处理后可获取目标位置与俯仰角等重要信息，火控跟踪系统以此为依据完成精确制导。可以说，红外变焦系统的成像质量决定着目标识别精度的高低，同时制约着武器装备战斗能力的强弱。
国外对红外变焦系统有相当多的研究，如Barr&Stroud公司针对8～13 μm远红外波段设计了一系列应用于扫描系统的变焦镜头，能够达到10倍最佳变焦比。Wescan公司针对3～5 μm中红外波段设计了一款F数为4的20倍变焦系统，焦距在20～400 mm范围内变化。国内对变焦系统的研究起步较晚，但发展迅速，目前已有多家单位具备红外变焦系统设计和加工的能力。浙江大学光学工程中心设计了一种F数为2的远红外波段变焦系统，变倍比为3，焦距在32～96 mm间连续变化。针对折反式的变焦结构，长春光机所研发了一种远红外波段的大口径变焦系统，焦距在750～3000 mm的范围内变化。
对于红外图像采集的变焦系统来说，存在红外光学材料种类较少且价钱昂贵等限制，在兼顾应用所需变焦比的同时，还要使系统具有大相对孔径，从而获取足够的光通量完成远距离目标探测。本文基于武器装备瞄准系统的需求设计了一款变倍比为15的红外变焦光学系统，F数为3，焦距在20～300 mm范围内连续变化。该系统由七片透镜组成，成像质量较好，结构紧凑。将联合变换相关器和红外变焦物镜结合在一起，突出红外变焦系统连续跟踪目标图像，联合变换相关器精准识别定位目标的优势，完成瞄准系统的设计。
1、原理
1.1 联合变换相关器
联合变换相关器是一种用于目标识别的光电混合系统，整个系统依照光学相关原理进行工作，利用数学方法对所接收信号的波长、相位以及强度等信息进行相关运算，最终得到相关峰输出，从而完成复杂区域内目标的探测跟踪。
图1所示为联合变换相关器工作原理图，激光束经衰减器、准直透镜组、偏振器等装置进行调制得到准直相干光，经半反半透镜分为两条光路，作为两次傅里叶变换的照明光源。PCI中存储着与探测目标相同的参考图像，由光学系统采集到待测区域的图像信息，经电脑制作与参考图像合为一张联合图像后一起写入电寻址液晶EAL-CD1，联合图像经一次傅里叶变换得到联合变换功率谱，由探测器CCD2接收并存储到PC2中，再将联合变换功率谱写入电寻址液晶EALCD2，经傅里叶逆变换，得到相关输出，被探测器CCD3获取传输到PC3中。当联合图像经过衍射现象和傅里叶透镜共同作用之后会得到二者的相关峰输出，通过观察相关峰的强度，确定参考图像与被测目标之间的一致性。若待测区域内不存在被测目标，则没有相关输出。相关输出的两个亮斑越明显，则探测到目标的可能性就越大，反之，则探测范围内存在目标的可能性较小。
1.2 变焦距光学系统
变焦距光学系统的焦距在限定范围内可进行改变，对于不同焦距位置，系统视场角不同，所观测到的景物大小也不同。为了保证变焦过程中像面位置稳定不变，需要某些组元作相对运动来补偿变焦过程产生的像面移动。采用机械补偿方法的变焦系统中，各运动组元按照复杂规律运动实现系统变焦以及像移补偿，在一定焦距范围内能够连续变焦，相对孔径基本不变，像面位置不发生变化。这种光学系统每个组元的光焦度均为定值，通过使运动组元作相对运动而改变各组元空气间隔，从而有效改变系统焦距。
以典型的四组元系统为例对变焦方程进行分析，只讨论产生像面位移的运动组元，变焦方程见式（1）。假设变倍组移动曲的距离，引起整个变焦部分的像面位移量为m23（1-m23）dq，补偿组的非线性移动距离由d△表示，它所引起的像移量为（1-m23）d△。保证系统像面位置稳定不变，两个运动组元产生的像移量之和必须为零。
其中：m2——变倍组的垂轴倍率：
m23——补偿组的垂轴倍率。
对变焦方程求解，得通解：
假设变倍组和补偿组的变焦起始位置位于系统长焦，此时，m2=m2l，m3=m3l，可得
将式（2）和式（3）进行减法运算，得变焦方程特解：
以补偿组的倍率为自变量建立方程：
对式（5）求解，得到互为倒数的两个根，该结果与物像交换原则相一致。
2、红外变焦光学系统设计
2.1 设计参数
本文研究的装备瞄准系统，针对目标的长波红外辐射进行探测识别，既可大视场搜索视野区域，也可小视场详察目标。变焦光学系统接收目标的红外福射能量后，由联合变换相关器对接收信号进行光学相关处理，得到目标与参考图像的一对相关输出，以此为依据完成制导对象的识别和位置判断。
通常来说，红外光学系统尽量采用大相对孔径设计，确保尽量多的光通量进入系统，以此弥补热辐射能量微弱的特点。本文根据瞄准系统的总体指标制定光学参数，该系统以8～12 μm长波红外作为工作波段，主要承担实时获取目标红外辐射的作用。为扩大该瞄准系统的探测范围，提升其远距探测能力，本文设计的光学系统在20～300mm焦距范围内进行15倍连续变焦，采用机械补偿方式补偿变焦过程中产生的像面漂移，相对孔径为3。选用320×240元的非制冷式红外探测器成像，像元尺寸为45 μm×45 μm，参照空间频率计算公式求得，该探测器具有11 lp/mm的极限分辨能力。系统具体参数见表1。
2.2 设计过程
通过查找专利库选取初始结构，该初始结构由九片透镜组成，材料均为锗红外材料。初始系统结构和成像质量如图2所示，MTF曲线比较低，且出现相位反转的伪分辨现象，像质不符合要求。应用Zemax软件作为优化工具，通过人工调校与自动优化相结合的方法修改初始结构，参照软件自带像质评价功能对成像质量进行评估。
红外光学材料价钱昂贵，且光线在经过多片透镜后会有部分能量损耗，从降耗、减重、降本等多方面考虑，将初始结构的九片透镜结构优化为七片式结构，系统总长约束为330 mm，系统紧凑，可在有限空间内进行应用。前固定组选用一片聚焦透镜，有效降低第二个组元（变倍组）上光线的入射高度，增加整个系统的视场角。变倍组在移动过程中承担光线偏角的变化量较大，所以依然保持两片透镜组合形式，正弯月透镜与负弯月透镜相互抵消自身产生的球差，同时也抵消了部分来自于前固定组的负球差。补偿组含一片负弯月透镜，两运动组元相对位置变化，从而完成系统变焦。后固定组总光焦度为正，应用三片透镜较好地校正自身像差和补偿其他透镜组剩余的正球差和轴外像差，同时有效缩短系统总长，并保证足够长的后截距。
色差是影响成像质量的重要因素之一，通常在光学系统中采用两种或两种以上光学材料能够有效校正色差。硫化锌是长波红外比较常见的光学材料，通常会将其作为负透镜材料。系统的初始结构中透镜材料较单一，均为锗材料，无法校正色差，在后固定组中选取一片负透镜替换为硫化锌材料，经优化设计校正系统色差，成像质量得以改善。光学系统镜片个数减少，使得个别透镜曲率增大，各个面承担的光线偏折角也有所增加，由此容易导致过大的高级像差。对系统中较敏感的面引入偶次非球面，以球面作为基底，二次项设置为变量进行优化，校正高级像差。该系统变焦范围较大，在焦距值每隔20 mm的位置便设置多重结构，确保仿真结果不失真，便于拟合平滑的凸轮曲线。经反复优化设计，最终得到符合技术指标、像质较好的光学系统，变焦系统最终设计结果的结构示意图见图3，多重结构参数如表2所示。
2.3 像质分析
通过多种性能指标考量成像系统的像质，兼顾每种类别的像差，将它们优化到一定范围内，则认为符合成像要求。本文通过三种综合评价函数来分析该系统的像质是否理想。
（1）MTF曲线
调制传递函数是能够对像质进行综合评估的性能判别依据，MTF曲线体现了不同空间频率下光学系统具有怎样的对比度传递能力。图4为系统调制传递函数曲线，在11 lp/mm截止频率处观察系统短、中、长焦三个位置，零视场、0.707视场和全视场的MTF曲线均高于0.5，其中中焦位置MTF曲线几乎与衍射极限重合，表明系统的设计结果比较理想。
（2）点列图
实际光学系统没有办法完全消除像差，物点经过光学镜头后在像面呈现许多离散的弥散斑图样，通过观察弥散斑的离散程度可以判别系统像质的高低。图5为不同焦距时变焦系统的点列图，对于短、中、长焦处弥散斑最大均方根半径分别为11.982 μm，11.002 μm和20.225 μm，多数能量聚集在艾里斑之内，且能够落在一个像敏单元内，据此成像质量达到系统要求。
（3）波像差
根据瑞利判据得知，如果波像差的最大值小于四分之一波长，则认为波面偏离程度在允许范围内。图6为设计结果的波像差示意图，短、中、长焦的最大波像差分别为0.0514λ，0.0326λ和0.1587λ，均小于0.25λ。但是由于瑞利判据仅关注波像差的极大值，而忽略了波面上的局部缺陷对整体造成的影响，在某些时候可能会过大估计系统的像差值。所以在对像质评估过程中，往往要综合多种评价函数一起对像质进行正确判断。
2.4 凸轮曲线
凸轮机构带动变倍组和补偿组一起作特定规律的相对运动，实现光学系统连续变焦。在变焦范围内，本文应用插值法对系统构建多个焦距位置，应用Matlab软件绘制拟合曲线，以此作为凸轮加工依据，凸轮曲线如图7所示。此时以20 mm短焦位置作为初始点，纵坐标为变倍组的线性移动距离，横坐标为两运动组元相对于初始点的位置。当系统由20 mm短焦向300 mm长焦位置变化的过程中，位于两端的运动组元逐渐靠近，然后一起向右侧移动，在靠近长焦位置处两组元具有最小空气间隔。
3、实验结果
将红外变焦物镜与联合变换相关器相结合构建实验台，在野外进行红外目标探测性能试验。将红外变焦物镜采集到的实际图像与参考图像经电脑合成为一张联合图像（如图8所示），将其输入联合变换相关器，经一次傅里叶变换得到如图9所示的联合变换功率谱，联合变换功率谱经过傅里叶逆变换，得到图10中二、四象限的一对相关峰输出，表明已探测到目标。根据相关峰相对于坐标的位置，计算目标位置、方位角及俯仰角等重要信息，火控跟踪系统根据实时采集和计算的参数对目标进行精准打击。
4、结论
多目标跟踪 篇7
随着信息技术的快速发展和现代军事及民用需求的不断提高,对目标跟踪的精度也相应地提出了更高的要求。在真实的目标跟踪系统中[1,2],目标的状态总是处在不断变化中,当目标真实运动模型与算法模型不匹配时,跟踪精度会明显下降,此时采用多模型(Multiple Model,MM)机动目标跟踪算法将会成为最佳选择。然而,当今的多模型目标跟踪方法[3]大都停留在理论层面,对于多模型的实际应用价值及各模型的应用场合都需要做进一步的研究。
本文选用当今最为流行、应用最广泛的雷达和红外作为传感器,在红外/雷达双模导引头[4]平台下开展对交互式多模型[5]机动目标跟踪算法的研究,并加入噪声干扰,更接近真实的军事与民用环境。首先搭建红外/雷达双模导引头仿真平台[6],进而设计基于多传感器[7,8]的多模型机动目标跟踪算法,采用扩展卡尔曼滤波[9],最终实现算法的软件仿真及跟踪性能评估[10],验证了所设计方法的有效性和实用性。
1 多传感器平台搭建
雷达和红外传感器是目前常用的两种目标探测和跟踪传感器,采用雷达为主、红外成像传感器探测为辅的信息融合系统进行目标跟踪能够使系统降低对敌方干扰的脆弱性,提高系统可靠性,现已广泛应用于各个领域。因此,本文选取雷达与红外双模导引头作为传感器,模拟生成多传感器的数据生成模块,为多模型机动目标跟踪算法提供良好的检测平台。
毫米波雷达导引头的观测数据包括观测系下的视线方位角、视线俯仰角、弹目距离、多普勒频率、雷达信噪比等信号。经过坐标转换,得到的参考系下的雷达观测数据,建立如下雷达观测方程:
式中:Z1(k)=[φR,θR,r]T,表示雷达导引头的观测向量;φR为雷达视线方位角,θR为雷达视线俯仰角,r为弹目距离。V1(k)是均值为零、协方差阵为R1(k)的白高斯噪声向量。
红外成像导引头的观测数据包括观测系下的视线方位角,视线俯仰角等信号。经坐标转换得到参考系下的红外观测数据,建立如下红外观测方程:
式中:Z2(k)=[φIR,θIR]T,表示红外导引头观测向量,φIR为红外视线方位角,θIR为红外视线俯仰角;V2(k)是均值为零、协方差阵为的白高斯噪声向量。
本文综合应用点迹合并方法和点迹串行处理方法,搭建毫米波雷达和红外数据融合的多传感器平台。假设雷达的扫描周期为5 ms,红外的扫描周期为10 ms,所以首先将雷达和红外点迹数据串行合并成为点迹数据流,进行点迹—航迹相关;对于在10 ms时刻,若雷达点迹和多个红外点迹均与航迹相关上,则对这些点迹进行点迹压缩合并,如图1所示。
2 多模型跟踪算法设计
本文选取目标跟踪中经常使用的几种目标运动模型组成模型集,然后根据模型间的配合规则设计多模型选取算法,如去掉不可能模型,合并相似模型,最可能模型选择算法以及基于期望最大算法的迭代策略等,进而对所得到的融合数据应用扩展卡尔曼滤波算法建立外推点迹,最终形成新航迹。设计框图如图2所示。
2.1 模型集的确定
大部分的跟踪算法都是基于模型的,因此目标运动模型设计是机动目标跟踪的基本要素之一,也是一个关键的问题。在建立机动目标模型时,一般的原则是所建立的模型既要符合实际机动模式,又要便于数据处理。本文选取目标跟踪中常用的几种运动模型组成模型集,包括CV模型、CA模型和当前统计模型。
2.2 配合规则
多模型算法按配合规则基本上可分为三代,静态多模型算法(SMM)、交互式多模型算法(IMM)、变结构多模型算法(FSMM)。以上三代多模型算法跟踪精度逐渐升高,同时算法的复杂度也依次升高、可实现性逐步变差。综合考虑算法的实用性和代价,IMM算法的交互方式更合理有效一些,是目前研究应用最多、被认为是最成功的一种算法。
因此,本文采用IMM算法作为模型之间的配合规则,完成多模型跟踪算法的设计。
2.3 滤波处理
本文选用扩展卡尔曼滤波方法对融合后的数据进行滤波处理。首先建立状态方程和观测方程,根据前一个估计值和最近一个观测数据来估计信号的当前值,并用状态方程和递推方法来进行估计,其解是以估计值形式给出的。由于滤波是采用递推算法,所以数据存储量少,运算量小,非常适合实时处理系统的应用。
3 跟踪效果仿真
选取扫描周期TIR=0.02s对目标进行跟踪模拟。目标初始位置为(1 000,1 000,1 000)m,初始运动速度为(300,300,300)m/s,初始加速度为(10,10,10)m/s2。
图3分别为x方向,y方向,z方向位置估计误差。
图4反映了位置估计误差的RMSE。
图5为目标运动轨迹和跟踪轨迹的三维仿真示意图。
仿真结果显示:在基于雷达/红外双模导引的多传感器仿真平台下,所设计的多模型机动目标跟踪算法跟踪精度相对较高,收敛较快,迟滞较小。
4 结语
本文主要研究基于多传感器的多模型机动目标跟踪算法,在更加接近真实环境的雷达红外双模导引模拟仿真平台下设计了多模型机动目标跟踪算法,并对其跟踪性能进行仿真验证,仿真结果证实了该算法的有效性和实用性。
摘要：多模型目标跟踪算法由于其独特的处理未知结构和可变参数的优点,已成为当前目标跟踪研究领域的一个重要方向。然而当今的多模型目标跟踪方法大都停留在理论层面,因此在实际应用层面上研究并设计多模型目标跟踪算法,并实现稳定、可靠而精确的目标跟踪意义重大。选用当今最为流行、应用最广泛的雷达和红外作为传感器,在红外/雷达双模导引头的多传感器平台下展开研究,设计并仿真实现了更接近真实的军事与民用环境的多模型机动目标跟踪算法。仿真结果验证了该算法跟踪性能的有效性。
关键词：目标跟踪,多模型算法,多传感器平台,数据融合
参考文献
[1]周宏任.机动目标跟踪[M].北京:国防工业出版社,1991.
[2]BAR SHALOM Y.Multitarget multisensor tracking[M].Bos ton:Artech House,1992.
[3]韩宏亮.基于IMM的雷达目标跟踪算法研究[D].南京:南京信息工程大学,2011.
[4]朱志宇.基于红外和雷达数据融合的机动目标跟踪方法[J].激光与红外,2007,37(2):170-174.
[5]BLOM H A P,BLOEM E A.Interacting multiple model jointprobabilistic data association avoiding track coalescence[C]//Proceedings of the 41st IEEE Conference on Decision and Control.Las Vegas,NV,USA:IEEE,2002:3408-3415.
[6]罗寰,于雷,陈中起,等.基于多模型交互的红外目标跟踪方法研究[J].激光与红外,2009,39(7):776-779.
[7]张红霞.基于多源传感器信息融合的目标跟踪算法研究[D].成都:电子科技大学,2011.
[8]潘丽娜.基于扩展卡尔曼滤波的多传感器目标跟踪[J].舰船电子工程,2010,30(12):71-73.
[9]苏峰,王国宏,何友.修正的逻辑航迹起始算法[J].现代防御技术,2004,32(5):66-68.
多目标跟踪 篇8
在航运系统中, 为了保证船舶的行驶安全, 需要对船舶的位置进行实时监测, 常用的监测技术有雷达、GPS、AIS等。在同一时刻同一个传感器 (如雷达) 常常会得到多个船舶的位置信息。这是一个典型的多传感器多目标跟踪问题。在进行数据融合前, 必须对其进行时间对准, 未经对准的数据可能会导致比单独使用一种传感器采集数据的融合性能还差。许多学者针对一些特定情况提出了不同的时间对准方法, 较普遍的方法有数值插值的对准方法和基于位置变化的加权对准方法[1], 但在工程实际中, 由于采集目标的位置和速度实时都会发生变化, 此时仍采用上述方法将会影响数据融合的精度, 显得不够合理。
本文提出一种基于BP神经网络的时间对准算法, 该方法能将不同传感器测得的不同采样周期的数据对准到同一时间点上, 以便进行特征提取, 为后面数据融合做好准备。经过仿真实验, 并和三次样条插值时间对准和基于位置点变化的时间对准方法进行了比较, 基于BP神经网络的多目标数据时间对准方算法能很好地逼近点迹的真实值, 对准精度很高。
1 时间对准
所谓数据时间对准就是对各传感器采集的目标数据进行内插、外推, 将高精度观测时间上的数据推算到低精度观测时间点上。时间对准先要确定一个参考时间序列, 在航运系统应用当中, 为了简化算法, 同时满足一定的精度要求, 通常直接选择低数据率传感器的观测时间序列为基准, 而把高数据率传感器的观测数据推算到其上, 从而达到时间对准的目的。如图1所示, 以低数据率传感器B的某观测时刻tb (j) 为中心, 确定一个时间片T, 高数据率传感器A落入该时间片内的观测时刻为ta (1) 到ta (n) , 按照一定对准原则映射到低数据率传感器上[2]。
在多目标跟踪的情况下, 各个传感器的数据流源于多个不同的目标。基于BP神经网络的多传感器多目标跟踪的数据时间对准算法的基本思想是:在保持拟合误差最小的原则下, 选择其中一个传感器作为基准传感器, 选择基准传感器某一采样间隔的多目标数据作为训练样本, 经过对网络的训练产生合适的阈值 (权值) , 进而对各个目标点迹进行曲线拟合, 得到拟合曲线, 此时把高精度传感器的采样时间统一到该传感器的时间上, 实现目标的时间对准。
2 BP神经网络时间对准计算
2.1 归一化采样间隔T的确定
由于各个传感器的数据传输率和采样频率存在差异, 为了精确以后的航迹关联, 要对采样数据进行时间归一化, 即根据系统的技术要求, 选定归一化对准时间间隔T, 然后对各传感器数据进行压缩或插值处理。时间片T的取值要合适, 取值太小容易导致无法对准;取值太大, 往往导致多个数据对准到同一时刻, 需要进一步的判决。所以通常取Ta≤T≤2Ta。式中:Ta为传感器A的扫描周期[4]。
2.2 BP神将网络算法的学习过程
1) 构造网络拓扑结构, 选取合理的网络学习参数。
2) 置网络各权值和阈值的初始值wij (0) 、θi (0) 为[-1, 1]区间内的随机数。
3) 加载训练用的学习样本:输入向量Xp (p=1, 2, …, k) 和期望输出Yp (p=1, 2, …, k) , 对每个样本重复步骤4) ～8) 。
4) 计算网络的实际输出及隐层单元的状态 (激励函数为Sigmoid函数) 。
5) 计算网络输出误差。
6) 若E<Es (系统平均误差容限) 或Ep≤Eps (单个样本的误差容限) 或达到指定的迭代步数, 学习结束。否则进行误差反向传播, 转向步骤7) 。
7) 计算训练误差。
8) 修正权值和阈值。
9) 转向步骤3) 。
3 仿真实验
3.1 误差指标定义
平均绝对相对误差:
最大绝对相对误差:
均方根误差:
式中:Ypred为经度 (纬度) 时间对准值;Yreal为经度 (纬度) 真实值。
3.2 参数设置
BP神将网络设计为3层, 输入层为长度为49的矢量, 对应一个采样序列T内高精度传感器的采样时间间隔, 隐层的节点数为20个, 输出的节点数同样是一个长度为49的矢量, 对应高精度传感器采样间隔的时间对准数值 (经度、纬度) 。隐层映射设计为S形函数正切函数tansig, 输出层设计为purelin映射。设目标误差为10-5, 最大训练次数为1 000次。
设有2个传感器A和B, A传感器的采样周期是Ta, 采样间隔是0.3 s, 对准采样序列T取为T=2Ta, B传感器的采样周期是Tb, 采样间隔是0.6 s, 。每个传感器在每一采样时刻有一个测量值, 记为 (xi, yi, ti) , 这样每个传感器都可以得到一组测量值。由于传感器的采样周期不同, 各传感器获得数据的时间ti值不尽相同。先假设各传感器在开始工作时已经经过系统对时, 即各传感器在同一时间对目标进行第一次量测。在此后的一段时间内, 每个传感器得到一组基于采样时刻的数据。经过BP神经网络拟合, 可以得到一条平滑曲线, 由该曲线可以求得传感器在任意时刻的值。此时可以根据其他传感器的采样时刻, 把高精度传感器的采样时间统一到该传感器的时间上, 从本条曲线取出相应时刻的测量值, 实现时间对准。BP神经网络时间对准及误差比较见图2。
同样取一组相同的数据 (经度、纬度) , 分别用三次样条插值和基于位置点的变化的方法来实现时间对准。三次样条插值时间对准, 首先已知数据采样步长为0.6 s, 求解0.3 s开始至29.1 s共49个数据点的值, 然后和相应时刻的真实值作比较。基于位置点的加权对准的采样间隔是0.3 s, 用前一点位置数据求解后一点位置的数据, 然后和该点的真实值作比较。3种不同时间对准方法的各项误差指标比较见表1。
由表1可见, 用BP神经网络的时间对准算法能很好的逼近真实值, 该方法的时间对准精度最高。这是因为, 各个样本值的训练使网络能产生合适的阈值 (权值) , 有助于神经网络的快速收敛, 同时多传感器的高频率采样也有助于神经网络更充分的发挥作用。
4 结束语
多传感器多目标跟踪数据时间不统一是数据融合前的一个基础问题, 也是一个关键问题。本文根据BP神经网络的方法提出了时间对准的算法, 实验结果表明:该方法可以将不同传感器测得的不同采样周期的数据对准到同一时间点上, 很好的解决多传感器间测量时间不同步问题, 能更好的进行特征提取与航迹关联, 提高数据融合的精度。BP神经网络的用途十分广泛, 还可用于:函数逼近、模式识别、分类、数据压缩。
摘要：在智能交通系统应用中, 常常需要利用多种传感器对不同的交通目标进行数据采集, 经常遇到时间不同步、数据率不一致的问题。采用BP神经网络算法, 提出了一种基于多传感器多目标数据的时间对准方法, 较好地解决了多目标跟踪的基础问题, 提高了数据融合效率, 并通过仿真实验及与传统时间对准方法的比较给出了该方法的优点。
关键词：BP神经网络,多传感器,时间对准,仿真
参考文献
[1]梁凯, 潘泉, 宋国明.多传感器时间对准方法的研究[J].陕西科技大学学报, 2006, 2 (3) :15-20.
[2]严朝译.系统误差校正中的时间对准问题研究[J].电子对抗技术, 2009, 12 (5) :33-37.
[3]罗素云.AIS与雷达目标位置数据融合方法的研究[D].武汉:武汉理工大学, 2003.
[4]张震龙.不确定性推理与时空对准技术研究[D].西北工业大学, 2005.
[5]Baichuan L U, Meiling H.Traffic flow predict-ionbased on wavelet analysis, genetic algorithm and ar-tificial neural network Proceedings[C]∥2th Inter-national Conference on Intelligent ComputationTechnology and Automation, Zhangjiajie:Changs-haTechnology University, 2009:491-495.
[6]夏伟, 李朝辉, 常春藤.MATLAB控制系统仿真与实例详解[M].北京:人民邮电出版社, 2008.
[7]Jun M A, Li Xiaodong, Meng Ying.Research of ur-ban traffic flow forecasting based on neural network[J].Acta Electronica Sinica, 2009, 37 (5) :1092-1093.
[8]郝勇, 范君晖.系统工程方法与应用[M].北京:科学出版社, 2007.
[9]陈杰.MATLAB宝典[M].北京:电子工业出版社, 2006.
多目标跟踪 篇9
目标跟踪是智能视频分析和计算机视觉中的重要研究课题, 在人机交互、自动控制、交通监管、智能视频分析等领域中得到广泛的应用和发展[1,2]。目标跟踪的任务实质是在当前帧中检测目标的位置, 然后依据在上一帧中建立的目标模型然后从下一帧中搜索目标的最佳位置。因为视频图像总会受到诸如光照、场景变化、遮挡等因素的影响, 为了降低这些因素对目标跟踪精度的影响, 研究者提出了较多的具有鲁棒性的跟踪算法。当前, 目标跟踪技术的难点主要表现在:图像受噪声于扰;目标的运动性复杂;图像场景变化带来的干扰;目标是非刚性的;部分或者全部目标的遮挡;实时性需求等[3,4]。
常见的跟踪系统包括三个部分:外观模型、运动模型和搜索策略。外观模型即研究如何更好地评价一个候选目标位置的相似度似然问题, 如:基于检测的跟踪、多实例学习跟踪、增量式学习跟踪等等。Ramesh和Comaniciu提出了一种几何颜色和梯度信息的跟踪算法, 来增强目标的纹理特征[5]。Zhang等人提出了一种基于稀疏表示和贝叶斯决策分类的目标跟踪算法, 该算法通过实时更新纹理模型并采用稀疏矩阵提取目标和背景的特征, 最后采用贝叶斯分类器进行目标和背景的判别[6]。Avidan提出了基于支持向量机SVM的目标跟踪算法, 该方法把跟踪看成是一个二分类问题, 即为目标或背景, 通过在目标附近采用背景灰度信息, 然后训练SVM得到分类器, 最后通过分类器输出判断是目标还是背景区域[7]。运动模型是一个控制问题, 目前研究的比较少, 比较经典的如卡尔曼滤波方法、自回归滑动平均、粒子滤波中的一阶、二阶马尔可夫过程等。搜索策略就是寻找最匹配位置的寻优算法, 最经典的就是均值漂移算法, 它是一个局部最优化搜索方法[8,9], 也是最速下降法在视觉跟踪上的重要应用。
当前大部分的研究集中于纹理模型和搜索策略, 因此本文研究一种运动模型。本文在研究多示例学习算法的基础上[10], 针对原始的多示例学习目标跟踪算法中使用运动模型的不足, 提出了一种改进的基于在线学习的目标跟踪方法。该方法首先根据HOG特征来描述目标, 然后通过粒子滤波方法对目标位置进行预测, 再用基于Boosting的在线多示例学习方法来建立描述目标的模型和分类器, 最后在下一帧的图像中利用该分类器来跟踪目标, 同时在线更新分类器。通过实验表明, 改进的方法可以有效地提高目标跟踪精度和算法的鲁棒性。
1 基本理论
1.1 粒子滤波
粒子滤波就是寻找一组在状态空间中传播的随机样本来对概率密度函数进行近似, 利用样本均值代替积分运算, 进而获得状态最小方差分布的过程。粒子滤波器具有多模态处理能力, 特别是其在非线性、非高斯系统中所表现的优越性, 使得它在诸多领域中有广泛的应用。
对于最优估计问题, 系统状态的后验概率分布p (X0:k|Z1:k) 可以由蒙特卡罗方法来近似求解, 假设q (X0:k|Z1:k) 是一个被定义在非线性、非高斯状态下且易于抽样的条件概率分布, 从建议的分布样本中随机抽取样本组成的样本集记为{X (i) 0:k}Ni=1, 于是有:
综合以上分析, 状态变量的后验概率分布p (X0:k|Z1:k) 可以由一组加权的随机采样样本来近似, 该方法就是重要性采样方法[11]。由式 (1) 可知:
得到权值更新公式:
对权值wk (i) 进行归一化, 然后通过重采样降低退现象对最优估计值的影响。也就是对后验概率分布重采样N次, 然后产生新的粒子集合, 保留且复制较大权值的粒子, 通过重采样去除那些较小权值的粒子。于是, 后验概率分布可以近似表示为:
其中, δ (·) 是狄拉克函数, N为初始的粒子个数。经过以上分析可以得出, 当N→∞时, 式 (4) 就非常接近真实的后验概率分布。综合以上分析, 粒子滤波算法的基本步骤是:
(1) 设置k=0, 依据先验概率建立粒子集{X (i) k}Ni=1, 初始权值
(2) 对于k>0时刻:
(a) 从状态转移概率分布中获取新的粒子集合{X (i) k}Ni=1;
(b) 根据式 (3) 计算新的粒子权值, 并对其进行归一化:
(3) 根据式 (4) 计算后验概率分布, 得到最优状态估计值是
(4) 进行重采样, 去除权值较小的粒子:依据权值wk (i) 从粒子集中重新抽取N个粒子, 建立新的粒子集合
1.2 HOG特征
方向直方图HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子, 它的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述, 表征局部区域内的梯度分布特征。它是通过计算和统计图像局部区域的的梯度方向直方图来构成特征。通过一些实验数据表明, HOG局部对目标进行描述时明显优于当前的其他局部算子, 比如Harr特征等。对于目标跟踪中, 需要对运动目标进行描述, 首先将其分成互相重叠的图像局部块, 如图1所示。图中每个图像的局部块可以划分为水平方向和垂直方向局部块两种类型[12]。
2 基于多示例学习的目标跟踪算法
2.1 样本采样和运动模型
近年来, 目标跟踪算法的研究热点是把跟踪问题看成一个二分类问题, 即通过采样目标信息作为正样本, 采样背景信息作为负样本, 然后训练正负样本获得一个分类器, 对于下一帧通过分类器获得目标的位置。当前如何采样正负样本以及对样本实时更新是一个挑战的课题, 很多研究者提出了很多方法去采样正负样本。通常的采样方法是把目标当前位置作为正样本, 目标附近的背景信息作为负样本, 如果在跟踪过程中出现误差, 也就会导致后面正样本的选取出现较大偏差, 因此会出现目标跟踪的漂移。Babenko[8]等提出了新的样本采样方法, 该方法是采样当前位置附近的正样本组成一个正样本袋, 该正样本袋至少包含一个正样本即可, 然后在当前位置的邻域内采样负样本组成负样本袋。假设目标在t时刻的当前位置是lt, 让l (x) 标记在当前位置的邻域内采样每个图像子块的位置, 于是我们采集图像子块满足以下条件:
其中, s就是相对于当前目标位置的搜索半径。
对于后续每帧视频图像, 因为无法获知目标的运动分布信息和确切位置信息, 常常采用一个运动模型来估计目标的当前位置。该运动模型描述了在t时刻目标的位置和下一时刻目标位置之间的关系, 运动模型可以被表示为:
2.2 多示例学习算法
传统的分类学习算法是对于一个二分类问题的集合{ (x1, y1) , (x2, y2) , …, (xn, yn) }来估计概率p (y|x) , 其中xi是每个图像块样例, 并且yi∈{0, 1}是对每个样例进行标定。在多示例学习算法中Xi∈{xi1, xi2, …, xim}, 训练数据被表示为{ (X1, y1) , (X2, y2) , …, (Xn, yn) }。yi通过下式计算得到:
每个示例包中包含多个示例, 并带有类型标记。加入包中包含一个正例, 则该示例就被标记为正样本;若包中所有示例都是反例, 则该包被标记为反。学习系统通过对多个包所组成的训练集进行学习, 以尽可能正确地预测训练集之外的包的示例类型进行标记。传统的样本学习算法中, 一个样本就对应一个示例, 即样本和每个示例是一一对应的。但是在多示例学习算法的框架中, 一个样本统筹港行包含了多个示例, 也即是样本和示例是一对多的关系。因此, 多示例学习算法中所有训练样本的歧义性与监督学习、非监督学习以及强化学习的歧义性是完全不同的。
2.3 基于boosting的样本更新算法
以上提到的多示例学习算法是一种离线的学习算法, 也就是在训练时需要所有的训练数据信息。因此, 在目标跟踪框架中, 训练样本是逐帧一次输入的, 即此时每帧样本的训练必须采用在线的方式进行学习。文献[8]采用在线boosting的方法进行多样例学习, 通过优化一个损失函数去学习和训练样本。弱分类器被选取是基于以下优化准则:
其中, Hk-1是由前k-1个弱分类器组成的强分类器, H是所有可能的弱分类组成的集合。在该算法中有M个弱分类, 每次选出最佳的k个弱分类器。基于此, 当有新的样本输入时, 则对所有的弱分类器进行同时在线更新, 然后逐个选出k个最佳的弱分类器, 弱分类器k的选择遵循以下准则:
对上述选取的弱分类器依据权值进行更新后, 就能得到由k个弱分类器加权求和的所得到的强分类器为:
在得到强分类器H (x) 后, 依据之前的分析, 常常采用示例样本袋去表示样本集合, 每个样本示例的概率可以定义为:
其中,
基于在线多示例学习的基本思想就是选取适当的学习算法和在线的学习框架, 然后将二者有效地结合起来。每个弱分类的输出概率被定义为:
其中, pt (fk (x) |y=1) -N (μ1, σ1) , 对于y=0具有类似的概率分布。假设p (y=1) 以及p (y=0) , 然后通过贝叶斯理论去计算上式。对于新输入的样本数据, 采用以下公式进行更新:
其中, γ是一个常数, 它代表了学习参数。对于μ0和σ0的更新与上述更新规则一致。
3 改进的目标跟踪算法
3.1 基于粒子滤波的运动估计
在文献[8]中, 采用一个简单的运动模型来估计目标的位置信息。根据前文分析, 该运动模型可以被表示为:
式 (15) 是利用目标在上一帧的位置信息来预测目标在下一帧可能的位置。也就是依据最近邻的准则在上一帧中目标的位置附近一定邻域范围内估计目标位置。因为目标运动的不确定性, 如果估计的位置与真实位置相差很大, 这样进行候选样本的采样时就会带来较大的误差, 同时增加了计算复杂性。因此, 在本文中采用更精准的粒子滤波来来预测目标在下一帧可能的位置。因为后验概率可以表示为:
依据先验概率建立粒子集{X (i) 0:k}Ni=1, 其中的初始权值然后得到的预测值就是:
3.2 基于多示例学习的目标跟踪
当前, 在线学习被广泛应用在目标跟踪和计算机视觉等领域中。由于在跟踪过程中, 所被跟踪目标的模型会不断在变化, 而且所处的光照或者位置都可能变化。因此, 多数跟踪算法采用一种自适应的目标模型, 也就是在线学习模型。而且, 获取目标在跟踪过程中的正、负示例样本是由模型更新前的每个分类器检测得到的。如果正例的位置出现较大偏差或者不准确, 使之存在歧义性和易受到跟踪器性能的影响。综上所述, 在目标跟踪框架中, 采用在线多示例学习算法可以有效地改善跟踪性能和跟踪算法的鲁棒性。所以, 基于粒子滤波和多示例学习的目标跟踪算法的流程如下:
(1) 对于t-1帧时目标的位置为lt*-1, 采用粒子滤波估计得到在下一帧图像中目标的一组位置集合为l (x) ={l1 (x) , l2 (x) , …, ln (x) }, 根据目标位置得到一组图像块集合:Xs={x∈l (x) }, 然后计算并计算特征向量;
(2) 使用MIL分类器对每一个估计p (y=1|x) ;
(3) 更新目标的最佳位置:
(4) 裁剪两组新的图像块:
(5) 我们更新带有一个1的正的示例样本包Xγ和许多负面的样本包Xγ, β的MIL外观模型。
4 实验结果及分析
为了验证本文中所提出的一种改进跟踪算法的有效性, 对不同的图像视频序列进行实验, 同时比较改进算法和原始多示例学习跟踪算法的跟踪性能。本实验中采用常见的视频图像。实验中的基本参数如下:设置γ=5, 总共产生45个图像示例组成一个正样本袋;设置β=50, 从采样的图片块中随机选取60个组成Xγ, β, 在Adaboost分类器中选择M为250, K为50。
两种方法在不同视频上的跟踪结果如图2和图3所示, 其中上层图像是多示例学习跟踪算法的跟踪结果, 下一层图像是对应的采用改进方法后所得到的跟踪结果。
从实验结果可以看出, 在初始时两种方法基本有相同的跟踪效果, 当目标和背景非常接近时, 原始方法会出现一些误差, 也就是在对目标和背景建立分类器时出现错误, 改进的方法仍然能跟踪到目标, 这里虽然出现了一些小偏差, 但是效果明显比原始方法的性能好。改进的方法因为首先采用了HOG特征, 它可以更好地表征跟踪目标, 同时有效地区分目标与非目标, 然后通过粒子滤波预测目标的位置, 依据预测的目标位置提取多示例样本集建立候选目标模型。因此, 在目标和背景较为接近时, 该方法仍然有好的跟踪效果。
当有光照变化时也就是原始的跟踪算法受到光线影响时, 此时原始算法的跟踪性能将会明显降低, 当采用改进方法时跟踪性能会有提高。在改进方法中采用HOG特征可以降低对光照以及边缘信息对目标的干扰, 同时采用粒子滤波框架进行目标位置的预测, 有效提高了后续候选目标样本的采样精度, 因此能有效地提高目标跟踪性能。
表1反映了对于David视频场景下不同方法的跟踪精度对比。从表1中可以看出, 改进的方法具有较低的跟踪误差。改进的方法因为先提取了LBP的主要纹理特征模式, 有效消除了背景和噪声等因素的干扰, 使得跟踪算法更具有鲁棒性。另外一方面, 改进的跟踪算法结合颜色和纹理信息去建立目标模型, 可以为目标建模提供更丰富的纹理信息, 使得目标表示更为准确, 也使得目标特征更明显区别于目标附近邻域内的背景特征。因此, 改进的跟踪算法能有效提高目标跟踪精度, 使得改进算法具有较好的鲁棒性。
5 结语
当前, 基于多示例学习的目标跟踪算法引起了较多的关注。因此, 在研究多示例学习算法的基础上, 本文针对原始的多示例学习目标跟踪算法中使用运动模型的不足, 提出了一种改进的基于在线学习的目标跟踪方法。该方法首先根据局部特征来描述目标, 然后通过粒子滤波方法对目标位置进行预测, 再用基于Boosting的在线多示例学习方法来建立描述目标的模型和分类器, 最后在下一帧的图像中利用该分类器来跟踪目标, 同时在线更新分类器。改进的方法首先是利用了HOG特征, 可以更有效地表征运动目标, 同时采用粒子滤波预测目标的运动信息替换原始的运动模型, 使得对目标运动位置的预测更为准确, 也就是提取候选示例样本时更为准确, 为后续的提高目标跟踪性能提供了保证。通过实验表明, 本文中改进跟踪方法可以有效地提高目标跟踪精度以及提高该算法的鲁棒性。
参考文献
[1]Yilmaz A, Javed O, Shah M.Object Tracking:A Survey[J].ACM Computing Surveys, 2006, 38 (4) :1-35.
[2]Saravanakumar S, Vadivel A, Saneem Ahmed C G.Multiple human object tracking using background subtraction and shadow removal techniques[C]//The International Conference on Signal and Image Processing (ICSIP) , 2010.
[3]Xue Mei, Haibin Ling.Robust visual tracking using L1 minimization[C].In ICCV, 2009.
[4]Meng G, Jiang Z G, Zhao D P, et al.Real-time illumination robust maneuvering target tracking based on color invariance[C]//Proceedings of the 2nd International Congress on Image and Signal.Washington D C:IEEE Computer Society Press, 2009:1-5.
[5]Dorin Comaniciu, Visvanathan Ramesh, Peter Meer.Kernel-Based Object Tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25 (5) :564-577.
[6]Kaihua Zhang, Lei Zhang, Ming-Hsuan Yang.Real-time compressive tracking[J].Europeon Conference on Computer Vision (ECCV) , 2012.
[7]Shai Avidan.Support vector tracking[J].IEEE Trans.on Pattern Analysis and Machine Intellience, 2004, 26 (8) :1064-1072.
[8]Comaniciu D, Meer P, Mean.Shift:A Robust Approach toward Characteristic Space Analysis[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24 (5) :603-619.
[9]王永忠, 梁彦, 赵春晖, 等.基于多特征自适应融合的核跟踪方法[J].自动化学报, 2008, 34 (1) :393-399.
[10]Boris Babenko, Ming-Hsuan Yang, Derge Belongie.Visual tracking with online multiple instance learning[C]//Proceeding of IEEE computer society conference on computer vision and pattern recognition, 2009:983-990.
[11]Andrieu C, de Freitas N, Doucet A, et al.An introduction to MCMC for machine learning[J].Machine Learning, 2003, 50:5-43.
多目标跟踪 篇10
机动目标跟踪在军事成像制导、视频监控以及空中交通管制等领域有着广泛的应用,其本质是随机动态混合系统中的状态估计问题。基于卡尔曼滤波的交互式多模型算法(IMMKF)[1]及其衍生算法是解决这一问题的经典方法,但这些算法不适应于非线性和非高斯系统。
近年来,粒子滤波[2,3]被广泛用于跟踪领域,文献[4]、[5]将粒子滤波与交互式多模型算法相结合,提出了多模型的粒子滤波算法(IMMPF)。粒子滤波算法用一组随机抽取的带有权值的粒子表示后验概率密度,因此IMMPF算法不受线性系统、高斯噪声假设的限制。IMMPF算法通常采用常速(CV)和常加速(CA)运动模型,各模型均匹配粒子滤波算法。然而,随着现代航空航天技术的发展,各种空中飞行器的运动速度以及机动性越来越高。IMMPF算法所采用的CV和CA模型难以准确描述高度机动目标的运动状态,由于IMMPF算法是一种基于模型的算法,模型的选择对算法的性能有着重要的影响。因此,当传统的IMMPF算法面向复杂应用(高速、高机动)时,其精度较差;另一方面,由于每个模型均需采用数百个甚至上千个粒子来获取运算精度,IMMPF算法运算量很大,难以实现对高机动目标的实时跟踪。
针对以上问题,为了满足快速而准确地跟踪目标的要求,本文根据多速率跟踪(MRT)思想[6],提出了一种高速高机动目标的多速率交互式多模型快速跟踪算法。采用小波变换的方法对序列测量数据进行压缩,建立了多速率交互式多模型算法框架,并对其做了进一步的推广,采用卡尔曼滤波(KF)算法取代IMMPF算法中线性模型所采用的PF算法。同时,使用自适应的“当前”统计(CS)模型对高度机动目标的运动状态进行刻画。理论分析和实验结果表明,该算法不仅具有更低的计算复杂度,而且在跟踪精度方面优于传统的IMMPF算法。
1 多速率跟踪模型
对于非机动或小机动目标,采用全速率更新目标状态是对运算资源的浪费。多速率跟踪的思想是采用与运动模型假定的机动性成比例的速率去更新目标状态,它采用小波变换的方法,将测量空间中的数据压缩映射到模式空间,在模式空间匹配相应滤波算法进行处理。多速率模型不同的分辨率对应相应的数据更新速率,本文给出了1/3n(n=1,2,…)速率常高通(Constant High-pass,CH)模型和常高高通(Constant High-High-pass,CH2)模型的统一表示形式。
1.1 多速率常高通模型
CH模型能够良好地描述非机动或小机动目标的运动,如常速运动。选择二阶Haar小波作为变换函数,1/3n(n=1,2,…)速率CH模型的状态方程可表示为
测量方程为为零均值、方差为kRLH的高斯白噪声。Zk,p为模式空间量测变量:
1.2 多速率常高高通模型
CH2模型主要用于描述具有中等机动性的目标运动,如常加速运动,1/3n,n=1,2,…速率CH2模型的状态方程为
2 算法原理
多模型的模型集Mf采用多速率CH模型、多速率CH2模型和自适应CS模型,它们分别用于描述具有轻度、中度、高度机动性的目标,其中自适应CS模型利用模型概率和状态估计值调整参数amax、a-max和a的取值,更准确地描述了高度机动目标的运动。
对于CH和CH2模型匹配KF算法,在模式空间完成,采用1/3的数据更新速率;自适应CS模型匹配PF算法,在测量空间完成,采用全速率更新数据。算法的原理框图如图1所示。
该算法主要包括输入交互、模型匹配滤波、模型概率更新、数据空间映射和输出交互几部分,下面以k-3到k时刻的一个完整滤波周期为例,给出算法的流程描述。
1)k-3时刻输入交互。已知k-3时刻各模型状态和协方差矩阵{xˆik-[3]k-3,Pik-[3]k-3}∀i∈Mf,可得测量空间内交互后的状态变量和协方差如下:
对于CS模型抽取的N个粒子,将各粒子与其余模型的状态估计值进行交互:
其中:上标t代表粒子序号,i、j表示模型编号,混合概率µk-3i|j=pijµik-3/cjk-3,cjk-3为归一化因子,Pij为马尔可夫模型转移概率矩阵。
2)模型匹配滤波。对于多速率CH和CH2模型,首先将测量空间数据映射到模式空间,在模式空间中采用KF算法处理,由k-3时刻的状态信息可得k时刻的状态和协方差如下:
CS模型在测量空间采用基于SIR的粒子滤波算法,采用全速率更新状态。由k-3时刻信息,经滤波后可得k-2时刻CS模型状态和协方差估计:
其中:kwCS,t为粒子权值,N为粒子总数,上标t为粒子序号。同理,可得CS模型k-1和k时刻模型的状态估计和协方差。
3)模型概率更新其中:似然函数为新息,为协方差残差。
4)为了获得全速率的数据更新速度,必须将模式空间中各模型的状态估计值和协方差矩阵统一映射至量测空间。采用逆小波变换的方法实现模式空间至测量空间的映射:
则全速率的状态估计如下式所示:
以上实现了模式空间和测量空间的混合滤波,这种机制的优点包括:1)由于各模型匹配的滤波算法是构成算法的主体,因此模式空间较低的数据更新速率能够有效地降低算法的时间复杂度和空间复杂度。2)由于综合利用了多帧量测数据,因此,这种算法具有更佳的鲁棒性。3)测量空间的全速率滤波,保证了对高机动目标跟踪的精度。
3 实验及分析
为了便于讨论,假设观测站位于目标的机动平面上。仿真实现了本文算法,作为比较,同时给出了传统的IMMKF和IMMPF算法的实验结果。滤波精度的评价指标采用真值和估计值之间的均方根误差(RMSE),k时刻的RMSE为RMSE(k),一次完整的跟踪过程的均方根误差平均值定义为
其中L为总的采样次数。跟踪过程的初始条件设置如下:
1)目标轨迹。在1～30 T,目标从原点处以300 m/s的速度沿x轴做匀速直线运动;在30～60 T以ax=10m/s2,ay=-10 m/s2的加速度做匀加速运动;在61～90 T以ax=-10 m/s2,ay=10 m/s2的加速度做匀加速运动;在91～120 T又沿x轴方向做匀速运动,最后在121～200 T做匀速率圆周运动。
2)模型选择。IMMEKF和IMMPF算法采用1个CV模型和2个不同加速度的CA模型;本文算法选择CH、CH2和自适应CS模型。
3)初始值设定。对机动目标采样的时间间隔T=40 ms。目标状态为目标位置、x方向速度和y方向速度。初始状态矩阵为X(0)=[0,300,0],初始状态协方差为diag[1],初始模型概率为[1/3,1/3,1/3],粒子数固定为800个,蒙特卡罗次数为60次。
4)假设系统噪声和观测噪声均为零均值的高斯噪声且相互独立。其中系统噪声中的距离均方差为5 m,x方向和y方向速度均方差为2 m/s。观测噪声均方差为0.01。
5)模型转移概率。由于IMM算法对模型转移概率具有较强的鲁棒性,转移概率介于[0.80,095]之间对状态估计结果的影响不大[9],因此状态转移矩阵可选为
从实时性和跟踪精度两个方面对本文算法进行了实验验证,实验选择在基于DM642的DSP硬件开发系统EVM-DM642中采用c语言编程实现,系统工作频率为600 MHz。
本文算法一次完整跟踪过程的实验结果如图2所示,由左到右依次为:目标真实的运动轨迹、位置估计误差(RMSE)、x方向速度估计曲线、y方向速度估计曲线。
利用DSP开发环境CCS提供的实时分析工具计算跟踪过程所用时间,结果示于表1,具体做法如下:在CCS开发环境中程序的开始和结束位置各插入一个探测点(profile print),然后使能CCS界面工具栏中的“Enable Clock”和“view clock”两个选项,在运行程序后即可在view clock窗口中观察到运行一次完整的滤波过程所需的时间和周期(时钟)数。采用这种方法进行测定,本文算法一次完整的滤波需要39 ms的时间,仅为传统的IMMPF算法的41%,接近于结构简单的IMMKF算法。针对25 Hz的电视跟踪系统,本文算法的数据更新频率可大于25 Hz,因此能够实现对于电视跟踪系统不丢帧,满足电视跟踪系统每秒刷新25帧的实时性要求。
以上对运算时间进行测量的过程需要额外占用少量的DSP资源,从而采用这种方法测算得到的运算时间比实际的算法运行时间要大,因此,如果用这种方法测得的时间满足要求的话,可以说明已经达到了实时性要求。
通过列举本文算法的流程所示各步骤的部分中间结果,对本文算法的滤波过程进行了说明。表2给出了部分时刻目标状态的解算过程的中间结果,其中包括各模型的模型概率、测量空间目标状态矩阵、模式空间匹配滤波前后的状态矩阵、最终的状态估计值以及真实值。限于篇幅,表2仅以状态矩阵中的距离为例进行说明,x方向和y方向速度与距离有相似的结果。
为了综合评价本文算法性能,图3给出了一次完整跟踪过程的位置估计RMSE曲线、x和y方向速度估计曲线;数据更新周期和位置误差的平均值如表1所示。由图3和表1可以看出,传统的IMMPF和IMMEKF算法均不能在滤波精度上和实时性上同时取得良好的性能,其中,IMMPF算法的滤波精度接近于本文算法,但巨大的运算量限制了其在工程实际中的应用;IMMKF算法实时性较好,但对高机动目标的定位精度很低。本文算法对性能的提高主要有三方面的原因:1)算法模型集较好地覆盖了目标不同强度的机动状态,其中,自适应CS模型的引入保证了对高机动目标的定位精度;2)综合利用了多帧测量数据,采用小波变换的方法将量测数据进行压缩,在抑制观测噪声的同时降低了运算量,对提高状态估计的精度和实时性均起到重要作用。3)采用结构简单的卡尔曼滤波算法取代IMMPF中线形模型所采用的粒子滤波算法,在有效地提高了算法运行效率的同时,避免了因滤波算法与运动模型的不匹配而引入的系统误差。
综合以上,本文算法在实时性和滤波精度上较传统的算法均有改善,实验结果和理论分析完全一致。
4 结论
本文针对高速高机动目标的跟踪问题,提出了一种基于多速率交互式多模型的快速跟踪算法,该算法采用小波变换的方法对测量数据进行压缩,实现了测量空间和模式空间的混合滤波。对于非机动或弱机动模型,在模式空间匹配卡尔曼滤波算法,并以较低的数据更新速率更新目标状态;对于高度机动模型,首先采用自适应的当前统计模型对其运动状态进行刻画,然后在测量空间匹配粒子滤波算法。最后,各模型滤波结果统一映射到测量空间,从而实现全速率跟踪。实验结果表明,本文算法能够同时提高对高速高机动目标跟踪的实时性和状态估计精度,具有工程实际应用价值。
参考文献
[1]YANG Zheng-bin,ZHONG Dan-xing,GUO Fu-cheng,et al.Maneuvering emitter tracking by a single passive observer using SRUKF based IMM algorithm[C]//International Conference on Wireless Communications,Networking and Mobile Computing,Wuhan,China,Sept21-25,2007:992-995.
[2]Arulampalam M S,Maskell S,Gordon N,et al.A tutorial on particle filters for online nonlinear/nonGaussian Bayesian tracking[J].IEEE Trans on Signal Processing(S1053-587X),2002,50(2):174-188.
[3]马加庆,韩崇昭.一类基于信息融合的粒子滤波跟踪算法[J].光电工程,2007,34(4):22-25.MA Jia-qing,HAN Chong-zhao.Visual tracking using particle filters based on data fusion[J].Opto-Electronic Engineering,2007,34(4):22-25.
[4]Boers Y,Driessen J N.Interacting multiple model particle Filter[J].Radar,Sonar and Navigation,IEE Proceedings(S1350-2395),2003,150(5):344-349.
[5]Pek Hui Foo,Gee Wah Ng.Combining IMM Method with particle filters for3D maneuvering target tracking[C]//Information Fusion,200710th International Conference on,Quebec,Canada,July9-12,2007:1-8.
[6]Hong L,Cui N,Bakich M,et al.Multirate interacting multiple model particle filter for terrain-based ground target tracking[J].Control Theory and Applications,IEE Proceedings(S1350-2379),2006,153(6):721-731.
[7]刘建书,李人厚,刘云龙.基于“当前”统计模型的交互式多模型算法[J].系统工程与电子技术,2008,30(7):1351-1354.LIU Jian-shu,LI Ren-hou,LIU Yun-long.Interacting multiple model algorithm based on the current statistical model[J].Systems Engineering and Electronics,2008,30(7):1351-1354.
[8]王宁,王从庆.基于高斯粒子滤波的当前统计模型跟踪算法[J].光电工程,2007,34(5):15-19.WANG Ning,WANG Cong-qing.Current statistical model tracking algorithm based on gaussian particle filtering[J].Opto-Electronic Engineering,2007,34(5):15-19.
多目标跟踪 篇11
多目标跟踪是计算机视觉领域中颇具挑战性的研究方向, 其难点在于相似目标干扰、目标间遮挡以及目标的出现与消失。粒子滤波器在后验分布中能保持多个峰值, 为基于贝叶斯统计的多目标跟踪提供了有效的解决方案。Mahler提出了概率假设密度 (PHD) , 以多目标状态后验密度分布的一阶矩作为整个目标状态的后验密度分布, 实现对目标状态和目标数的估计[1]。Ba-Ngu Vo等将随机集理论与粒子滤波结合简化了贝叶斯框架下的多目标跟踪[2]。Mac Cormick提出概率排他性原则解决多目标跟踪时的遮挡问题[3], 该方法采用边缘轮廓信息描述目标, 不适用于复杂背景的情况且只能跟踪两到三个目标。Isard等通过贝叶斯Multi-Blob跟踪器处理跟踪中目标数的变化[4], 该算法也只适合处理目标数较少的情况。Okuma等提出了一种增强性粒子滤波器[5], 将混合粒子滤波跟踪器[6]与Ada Boost检测算法[7]结合用检测结果辅助目标跟踪, 处理目标数的变化。这种在目标跟踪中借助目标检测的方法为多目标跟踪提供了一种新的思路[8,9]。
上述方法都只是针对跟踪过程中目标的出现与消失、遮挡引起的观测歧异等具体问题提出了局部的解决方案, 缺乏对这些问题合理的描述, 没有将其统一到多目标跟踪的框架中。基于文献[10]的思想, 本文在介绍了目标出现、消失和遮挡的处理方法的基础上, 详细讨论了目标的运动模型和观测似然函数, 给出了基于粒子滤波多目标跟踪算法的具体实现, 并对两种序列的多目标跟踪结果做了分析和讨论。
1 多目标跟踪
设k时刻场景中第m个目标的状态矢量xm, k= (xk, yk, hk, lk, sk) T, 其中xk、yk为目标中心坐标;hk、lk为目标外接框的高和宽;变量sk∈{0, 1, 2}反映了目标是否发生遮挡以及遮挡时的深度信息, 三种取值分别表示无遮挡、目标为遮挡物或被遮挡物。将多目标状态矢量定义为Xk=[x1, k, …, xm, k, …], 在状态矢量中加入变量mk表示场景中的目标数, 并引入描述目标间遮挡情况的矩阵Ok, 则k时刻的一个粒子可表示为 (mk, Xk, Ok) 。
1.1 目标的出现与消失
假设每帧中允许跟踪的目标最大数目为M。目标数变量m∈{0, …, M}可用M状态的马尔科夫链建模, 其转移概率矩阵 (TPM) 可表示为∏=[πij], πij表示k-1时刻目标数为i到k时刻目标数为j的转移概率, 即
规定每一时刻最多只有一个目标出现或消失, 多个目标同时出现或消失的情况可分解成多步来考虑[10]。
1.2 目标的遮挡
文中只考虑两个目标间遮挡的情况。假设k时刻场景中有mk个运动目标, 则Ok是一个mk×mk的二值矩阵。目标i与j的遮挡关系对应矩阵中的元素Oi, j, 其中Oi, j=0 (i=j) ;Oi, j=1 (i≠j) 表示目标i遮挡了目标j;Oi, j和Oj, i不能同时为1。遮挡只在目标相距足够近的情况下才考虑, 因此, 当两目标间的欧氏距离小于某一阈值时, 则认为目标间可能存在遮挡, 在遮挡关系矩阵中加入它们的深度关系。显然, k时刻目标的状态变量sk取决于Ok。若Oi, j=1, 则si=1、sj=2;Oj, i=1, 则si=2、sj=1;当两目标不存在遮挡时si=sj=0。
1.3 运动模型
若k-1与k时刻场景中分别有i、j个目标, 且各目标的运动相互独立, 则多目标运动模型可描述为
式中p (mk=jmk-1=i) =πij。相邻两帧联合运动模型可表示为各目标运动模型的乘积, 即
其中:p (xm, k|xm, k-1) 为目标的状态转移函数;pb (xm, k) 是目标出现的初始化概率密度;, 它反映了目标消失的先验知识。在缺少先验知识的情况下, 可认为pb (xm, k) 和δm服从均匀分布。
考虑到目标的运动随机性较大, 采用随机扰动模型来描述目标从k-1时刻到k时刻的状态转移, 即
式中:N (.) 为正态密度函数, 其协方差矩阵Σ对角线上的元素对应状态xm, k中四个参数的方差, 即σx2、σy2、σh2、σl2, 实验中σx=σy=4、σh=σl=0.1。
1.4 观测似然
初始帧跟踪窗内中心坐标x0处目标的核函数直方图为
式中:N为目标窗内的像素数;xi是目标窗内第i个像素的坐标;k (·) 是核函数, h表示核函数的带宽。当xi处像素属于第b个区间时δib为1, 否则为0。
为了提高跟踪的鲁棒性, 采用包含像素颜色信息和空间位置信息的空间直方图[11]来强化目标特征描述, 建立目标模型:
式中:B为直方图区间数, µb、Σb分别是各区间内像素坐标所服从高斯分布N (µb, Σb) 的均值向量和协方差矩阵:
式中nb为属于第b个区间的像素数目。
类似地, 后续帧搜索窗内中心坐标y处的候选目标模型可表示为
式中:pb (y) 为侯选核函数直方图模型, pb (y) 、µb (y) 和Σb (y) 具有与式 (5) 、 (7) 相似的形式。
依据Bhattacharyya距离来度量r={rb}和s (y) ={sb (y) }的相似度, 即
Bhattacharyya系数表示系数。
通过混合高斯建模得到的背景图像实现对新出现目标的检测, 目标似然模型p (zm, k|xm, k) 设计如下:
式中:σ2为高斯分布方差, 实验中σ=0.3。r为目标空间直方图模型, r*为背景图像中目标对应区域的空间直方图模型;s (xm, k) 是xm, k处的候选空间直方图模型;d由式 (9) 计算得到。若已知k时刻有mk个目标且相互间没有发生遮挡, 假定各观测之间相互独立, 则多目标跟踪系统的观测模型可表示为
对于没有参与遮挡的目标, 直接按式 (10) 计算观测似然。对于参与遮挡的目标应根据状态矢量中的遮挡关系计算其联合观测似然, 即忽略被遮挡的像素, 只处理可见的目标像素, 保证每个像素只属于一个目标的唯一性原则。若目标i、j发生遮挡, 且Oi, j=1, 则两目标的联合观测似然可写成
其中s (xj, k|xi, k) 对应于目标j未被目标i遮挡区域的直方图模型。
2 算法实现
1) 根据TPM模型调整目标数目, 如果mnk-1=i, 则mkn=j的概率为πij;
2) 根据 (mnk-1, mkn) 对的关系采样得到状态矢量Xk= (x1, k, …, xm, k) , 即
若mnk-1=mkn, 直接从每个目标的状态转移函数p (xk|xnm, k-1) 得到xnm, k;
若mnk-1
若mnk-1>mnk, 等概率的从mnk-1中随机选择mnk个目标, 被选择的目标从对应的p (xk|xnm, k-1) 采样粒子;
未被选中的目标则认为该目标消失。
3) 重要性权重wk~n=w~nk-1p (ZkXkn, mk) , 权重归一化wkn=wk~n∑Nsn=1wk~n;
4) 粒子重采样, {X kn, 1/Ns}n=1, 2…, Ns~{X kn, w kn}n=1, 2, …, Ns;
5) 目标数的估计mˆk=argj=0m1, ax, Mp (mk=jZk) , 其中p (mk=jZk) =1Ns∑Nsn=1δ (mkn, j) ;
6) 目标状态矢量xˆj, k=∑Nsn=1xjn, kδ (mkn, mˆk) ∑Nsn=1δ (mkn, mˆk) , j=1, 2, …, kmˆ。
3 实验结果与分析
为验证算法的有效性, 分别对自拍序列 (320×240) 和标准序列One Stop No Enter2cor (384×288) 进行了实验并与文献[10]的算法作了比较, 目标的跟踪结果用矩形框标注。设定mk=mk-1的概率为0.9, mk=mk-1±1的概率为0.05。跟踪的目标数和新出现目标的先验知识决定了算法的粒子数, 考虑到计算复杂度, 设定最大跟踪目标数M=5, 最大的粒子数Ns=5 000, 场景中目标出现和消失的确认帧数为5。
自拍序列涉及两个目标的检测与跟踪, 实验中粒子数为Ns=600。图1从左到右列举了第275, 325, 330, 369, 373和417帧的目标跟踪结果, 其中图1 (a) 、图1 (b) 分别为本文与文献[10]中算法的跟踪结果。由图1 (a) 可知, 本文算法能对目标2的出现和目标1的消失做出准确的判断和正确的处理;图1 (b) 表明文献[10]的算法也能实现目标的连续跟踪。值得注意的是, 目标1上衣与背景中花草颜色相近, 由于采用空间直方图对目标建模增强了目标的可区分性, 因此本文算法的跟踪结果没有受到影响, 矩形框定位准确, 而文献[10]的方法对目标1的跟踪却出现了较大偏差。图2 (a) 是本文跟踪算法得到的目标运动轨迹, 与实际运动轨迹一致。图2 (b) 给出了两种算法跟踪目标2时中心坐标的均方根误差。实验结果表明, 虽然两种算法都能正确估计目标状态与目标数, 但本文算法在跟踪精度上明显占优。
One Stop No Enter2cor序列包含了目标的出现、消失以及目标间遮挡的情况, 图3 (a) 、 (b) 分别是本文与文献[10]所述算法对序列的跟踪结果, 其中从左到右依次为528, 799, 887, 1 052, 1 065和1 133帧。场景中共有四个目标先后出现或消失, 从第501帧开始场景中只有目标1和2;在第795帧目标3从下部进入场景;在第883帧目标2从左侧消失;在1 025帧中目标1从下部离开了场景;在第1 048帧目标4从左侧进入场景中, 而在第1 133帧中又从场景右侧消失;从第1 155帧目标2又重新出现在场景里;在第1 184帧目标3离开了场景。由图3 (a) 可知, 本文算法在目标3和目标4先后在场景中出现时能准确地判断目标的出现;当目标2、目标1和目标4先后从场景中消失, 也能准确地判断目标的消失并做出了正确的处理;在第1 065帧前后目标3和目标4发生了交叉运动, 目标4被遮挡, 但从跟踪结果来看, 基于唯一性原则的观测似然能有效处理目标间交错、重叠的情况。图3 (b) 的结果显示, 由于缺少遮挡关系与深度信息当目标3、4发生遮挡后目标4跟踪丢失, 而二者分离后目标4被初始化为一个新的目标重新进行跟踪。
图4 (a) 、 (b) 分别给出了由本文算法得到的从501帧到1 270帧的目标运动轨迹和目标数估计。由于目标2先消失后又出现, 图中目标2有两段轨迹, 其中从第501帧到第887帧对应图中的stage1, 从第1 155帧到第1 270帧对应图中的stage2。图4 (a) 中记录的四个目标的运动轨迹反映了算法对各运动目标的跟踪情况, 对比图3可知, 目标跟踪轨迹与实际运动情况一致。图4 (b) 表明本文算法可以准确估计出目标数目, 但存在一定帧数的延迟。主要原因是为了有效抑止跟踪目标的丢失以及防止杂波干扰出现错误的跟踪, 算法通过连续多帧来确认目标的消失与出现。当检测到目标消失时, 并不立刻将其从目标状态矢量中删除, 而是继续保留直至确认目标消失;对于新出现的目标, 在估计目标数时没有将其计算在内, 而只是对其进行状态估计, 直到它最终被确认为真实目标才将其加入到粒子状态矢量中。
4 结论
针对复杂环境中多目标跟踪, 给出了目标的运动模型、观测似然以及目标出现、消失和遮挡等特殊情况的处理方法, 提出了一种有效的多目标粒子滤波跟踪算法。实验结果证明, 本文算法能准确估计目标状态和数目, 能正确处理目标的出现和消失, 较好地解决多目标跟踪过程中目标数变化与相互遮挡的问题。理论上, 该方法可直接用于对大量目标的跟踪, 然而, 实际应用中因多目标跟踪的维数灾难问题限制了算法跟踪的目标数。因此, 如何准确建立动态模型、降低状态空间维数以减少粒子数有待进一步研究。
参考文献
[1]Mahler R.Multi-target Bayes filtering via first-order multi-target moments[J].IEEE Transactions on Aerospace and Electronic Systems (S0018-9251) , 2003, 39 (4) :1152-1178.
[2]Ba-Ngu Vo, Singh S, Doucet A.Sequential Monte Carlo methods for multi-target filtering with random finite sets[J].IEEE Transactions on Aerospace and Electronic Systems (S0018-9251) , 2005, 41 (4) :1224-1245.
[3]MacCormick J, Blake A.A probabilistic exclusion principle for tracking multiple objects[J].International Journal of Computer Vision (S0920-5691) , 2000, 39 (1) :57-71.
[4]Isard M, MacCormick J.BraMBLe:A Bayesian multiple-blob tracker[C]//International Conference on Computer Vision, Vancouver, Canada, Jul7-14, 2001, 2:34-41.
[5]Okuma K, Taleghani A, De Freitas N, et al.A boosted particle filter:Multitarget detection and tracking[J].Lecture Notes in Computer Science (S0302-9743) , 2004, 1:28-39.
[6]Vermaak J, Doucet A, Perez P.Maintaining multi-modality through mixture tracking[C]//International Conference on Computer Vision, Nice, France, Oct13-16, 2003, 2:1110-1116.
[7]Viola P, Jones M.Robust real time object detection[J].International Journal of Computer Vision (S0920-5691) , 2004, 57 (2) :137-154.
[8]Cheng C, Ansari R, Khokhar A.Multiple object tracking with kernel particle filter[J].Computer Vision and Pattern Recognition (S1063-6919) , 2005, 1:20-25.
[9]Vermaak J, Maskell S, Briers M, et al.A unifying framework for multi-target tracking and existence[C]//8th International Conference on Information Fusion, Philadelphia, USA, Jul25-28, 2005, 1:250-258.
[10]Czyz J, Ristic B, Macq B.A particle filter for joint detection and tracking of color objects[J].Image and Vision Computing (S0262-8856) , 2006, 25 (8) :1271-1281.