匹配跟踪(共5篇)
匹配跟踪 篇1
0 引言
在检测过程中, 可以利用目标航迹的特征来提高系统的检测性能, 即所谓的检测前跟踪 ( TrackBefore Detect, TBD) 方法。常见的TBD方法包括Hough变换[1]、动态规划[2]及最大似然估计[3]等, 这些方法基于多帧数据沿目标的运动方向对信号进行积累, 所需的计算量较大, 且不能以迭代的方式进行处理, 很难处理复杂的目标运动模型。贝叶斯检测前跟踪算法直接对观测数据进行处理, 计算目标在各分辨单元存在的后验概率密度函数, 在这些后验概率密度函数的基础上, 对目标进行检测和跟踪, 能够以迭代的方式进行计算, 且能够处理任意的目标运动模型[4,5]。然而, 在雷达等系统的TBD应用中, 大多数文献考虑目标观测模型的方式同先检测后跟踪系统中目标的观测模型一样, 仅针对单个的分辨单元对目标的观测建立相应的概率模型[6,7], 而没有根据观测信号产生的机理建立目标的观测模型。文献[8]在雷达等系统的TBD应用中考虑了扫描波束对观测数据的影响, 即有限宽度的扫描波束能够在多个波束范围内产生目标回波, 接着应用Viterbi方法对目标进行检测。在实际的雷达等系统中, 观测数据同波束方向图及其扫描方式和匹配滤波器的时频域特性有关[9,10,11]。考虑匹配滤波器的时频域特性, 目标会在多个距离—多普勒单元产生回波, 其回波大小与信号带宽及匹配滤波器的特性有关。即一个点目标可能会分布在多个距离—多普勒分辨单元内, 在这些分辨单元内的回波也都是目标回波能量的一部分, 利用这些回波能量及对应分辨单元位置的关系可以提高系统的检测和跟踪性能, 也使得目标的观测模型与实际的观测数据更加吻合, 从而避免由于模型失配所带来的性能损失。
在贝叶斯检测前跟踪算法中, 考虑雷达等系统中匹配滤波器时频域特性对观测数据产生的影响, 并建立相应的模型, 以使目标的观测模型更符合实际观测数据, 避免由于模型失配所带来的性能损失;利用目标在多个距离—多普勒分辨单元扩散的能量及对应位置的相互关系能够提高系统的检测和跟踪性能。下面首先对贝叶斯检测前跟踪算法进行描述, 之后建立目标的状态转移方程及目标的观测模型, 其中对目标的观测模型进行详细叙述, 最后进行仿真验证。
1 贝叶斯检测前跟踪算法
利用贝叶斯理论对目标进行检测和跟踪, 其主要过程是基于观测到的每一帧数据、目标的运动模型、噪声和目标的统计特性计算每一分辨单元存在目标的后验概率密度函数, 在这些后验概率密度函数的基础上对目标检测和跟踪。贝叶斯检测前跟踪算法能够在帧数据间以概率的形式对信号进行积累, 从而可以对低信噪比的目标进行检测和跟踪[4]。
1. 1 系统模型
首先定义目标的状态矢量xk, 下标k表示采样时刻, 目标的状态转移方程可以表示为:
式中, fk - 1 ( ·) 表示相邻时刻目标状态转移的函数关系; vk表示k时刻目标动态模型的噪声, 用来衡量在两相邻时刻目标状态转移的不确定性。
在雷达等系统中, 目标回波大小是未知的, 在检测和跟踪过程中需要将目标回波的幅度Ik作为目标状态的一个分量。为了实现跟踪和检测过程的一体化处理, 需要在状态中引入一个分量Ek用来表示目标是否存在的情况 ( Ek= H1表示目标存在的情况; Ek= H0表示目标不存在的情况; H1表示目标存在的假设; H0表示目标不存在的假设) 。由此, 目标的状态矢量可以表示为xk= [mTk, Ik, Ek]T, 其中mk表示k时刻目标状态的运动分量 ( 在直角坐标系中, 当不考虑加速度时, mk=[xk, yk, zk, x·k, y·k, z·k]T, 其中mk中前3项表示目标在空间中的位置, 后3项表示目标对应的速度分量; 考虑加速度时, mk中还需加入对应的加速度分量) , 上标T表示向量或矩阵的转置。
在雷达等系统中, 针对贝叶斯检测前跟踪算法, 由于直接对原始观测数据进行处理, 处理的观测量为整个观测空域的一个多维观测数据矩阵, 下面对距离维和多普勒维进行考虑, 观测数据zk= { zrk, d} ( r, d分别为距离分辨单元和多普勒分辨单元的索引) 。由此, 对于某一分辨单元, 目标的观测模型为:
式中, wrk, d表示分辨单元的观测噪声; hk (·) 表示目标状态同观测值之间的关系。
1. 2 预测和滤波
为了以一种迭代的方式计算目标状态的后验概率密度函数, 可以分预测和滤波来进行。
预测是根据目标现在的状态, 以及目标状态的转移方程预测目标下一时刻的状态, 其计算过程为[4]:
目标状态的转移模型设定为一阶马尔可夫模型, 即目标在下一时刻的状态只与目标当前时刻的状态有关。设定系统噪声和观测噪声相互独立, 式 ( 3) 可以变为:
式 ( 3) 和式 ( 4) 中, p (xk- 1Zk- 1) 为上一时刻目标状态的后验概率密度函数; Zk - 1= ( zk - 1, …, z1) 表示直到k -1时刻所有的观测数据; p ( xk| xk - 1) 为目标状态转移概率密度函数, 根据式 ( 1) 进行求解。
滤波主要是根据系统当前时刻的观测值, 对预测值进行修正。其计算过程为[8]:
从式 ( 2) 可以看出, 目标当前时刻的观测只与目标当前时刻的状态有关。因此, 式 ( 5) 可以写为:
1. 3 检测和跟踪
在得到目标状态的后验概率密度函数之后, 就可以利用它来对目标进行检测和跟踪。在贝叶斯理论下, 检测不是必需的, 检测只是人为地设定阈值对目标是否存在进行判断。其过程可以描述为[5]:
在雷达等系统中, 检测常采用Neyman-Pearson准则, 即在系统满足一定虚警概率的情况下, 使得系统的检测概率最大。由此, 检测阈值γk要根据系统要求的虚警概率进行设定。
在检测到目标的情况下, 就需要对目标的状态进行估计, 在贝叶斯理论中, 常见的估计方法有2种: ①按照最大后验概率方法进行估计; ②按照贝叶斯最小均方误差方法进行估计。方法①对目标的状态进行估计, 即选择使得目标状态后验概率最大的目标状态作为估计值, 可以表示为:
按照方法②对目标状态进行估计, 即选择使得贝叶斯均方误差最小的目标状态作为目标状态的估计值, 可以表示为:
按照式 ( 9) 对目标状态进行估计需要进行积分或求和运算, 按照式 ( 8) 对目标状态进行估计则只需要确定目标状态后验概率密度函数最大值所对应的位置。
2 目标观测模型
从式 ( 4) 和式 ( 6) 中可以看出, 为了迭代计算目标状态的后验概率密度函数, 首先需要根据目标的动态方程对目标的状态进行预测, 接着需要根据目标的观测模型及实际观测值对预测进行修正。由此可见, 目标动态模型和观测模型直接影响着系统的性能。目标的动态方程常建立在直角坐标系下, 根据目标的机动能力按照匀速运动模型或匀加速运动模型建立动态方程[11,12]。为了使观测数据与目标的观测模型相吻合, 需要针对观测数据产生的机理建立目标的观测模型, 以避免由于目标观测模型失配所带来的损失。下面具体分析匹配滤波器的时频域特性对目标回波信号的影响。
在雷达等系统中, 为了充分利用时域信号的能量, 使输出某时刻的瞬时信噪比最大, 需要采用匹配滤波器[11]。信号通过匹配滤波器的输出不为冲激函数, 因此目标通过匹配滤波器的输出也会扩展到多个距离—多普勒单元, 利用目标在这些距离—多普勒单元上的观测, 以及它们位置的相关信息, 可以改善系统的检测和跟踪性能, 避免由于观测数据与观测模型不匹配所带到的性能损失。模糊函数表示匹配滤波器的输出, 对于带宽为5 MHz, 时宽为20μs的线性调频信号, 时延为0时的模糊函数如图1所示, 频延为0时的模糊函数如图2所示。
从图1和图2中可以看出, 目标经匹配滤波器后会分布在不同的距离—多普勒单元, 充分考虑它们之间的关系可以使系统的观测模型与实际观测数据更加吻合, 从而充分利用目标的散射能量, 提高系统的检测性能。
下面以目标在时域或距离维的扩展为例进行说明, 与目标在频域维的扩展情况类似。为了较充分利用目标在时域上分布的散射能量, 同时不显著增加系统的计算复杂度, 考虑到匹配滤波器的时域特性, 仅需考虑匹配滤波器输出主瓣的范围。考虑到信号的分辨能力, 在时域上常按照距离分辨力对匹配滤波后的信号进行采样。由此, 仅需考虑与目标位置最近的2个时域采样单元。在这2个时域采样单元上, 目标回波幅度受匹配滤波器的输出特性决定。设定匹配滤波器的时域输出归一化波形为so ( t) , 其对应的等效距离维输出波形为so ( R) , 目标位置为RT, 离目标位置最近的2个时域采样单元对应的距离分别为R1和R2, 有R1≤RT≤R2, 则目标在采样单元R1和R2对应的幅度调制因子分别为so ( RT- R1) 和so ( R2- RT) 。匹配滤波器输出为sinc函数时, 按照距离分辨力进行采样示意图如图3所示。
3 处理流程
匹配滤波器对波形相同而幅值不同的时延信号具有自适应性, 而对频移信号不具有自适应性[11]。结合匹配滤波器的上述性质及信号的模糊函数, 为了使得观测数据与目标的观测模型相吻合, 目标状态中的速度分量有2种处理方式。
第1种处理方式是直接结合匹配滤波器的时频域特性计算式 ( 6) 中的似然函数值p (zkx k) , 处理方式如图4所示。
图4中, 系统处理的对象为脉冲压缩后的信号, 针对匹配滤波器的时频域特性, 在不同的目标状态下计算观测似然函数。利用匹配滤波器的时频域特性和扫描方向图建立观测模型, 能够使观测数据与观测模型更吻合, 从而减小由于模型失配所带来的性能损失。
第2种处理方式利用目标状态中的速度分量调整匹配滤波器的冲激响应, 避免由于目标运动所带来的失配损失; 之后利用匹配滤波器的时域特性在不同的目标状态下计算似然函数, 如图5所示。
图5中, 系统处理的对象为脉冲压缩前的信号, 在不同的目标状态下, 利用目标状态的速度分量调制匹配滤波器的冲激响应, 使匹配滤波器与目标回波信号匹配, 从而避免由于匹配滤波器失配所带来的损失。脉冲压缩之后, 针对匹配滤波器的时域特性计算观测似然函数。
第1种处理方式直接处理脉冲压缩后的数据, 根据匹配滤波器的时频域特性建立目标的观测模型, 使观测数据能够与观测模型很好地吻合, 减小系统性能的损失。
第2种处理方式需要处理脉冲压缩前的数据, 根据目标的状态设置匹配滤波器的参数, 使匹配滤波器能够与回波信号匹配, 减小由于回波信号频移所带来的失配损失, 提高回波信号的信噪比; 另外, 对于时域频域耦合的信号 ( 如线性调频信号) , 能够在脉冲压缩阶段除去时域和频域之间的耦合性, 使距离测量更加准确。
两种处理方式都针对回波信号的模型建立目标的观测模型, 使观测数据能够与目标的观测模型较好地吻合, 减小由于模型失配所带来的损失。第2种处理方式相对于第1种处理方式, 能够减小由于回波信号频移所带来的匹配损失, 进一步提高脉冲压缩后的信噪比。另外, 第2种处理方式在脉压阶段也解决了回波信号时域和频域耦合的问题; 而对于第1种处理方式, 则需要在计算观测似然函数阶段考虑回波信号时域频域的耦合。然而, 第2种处理方式需要在目标所有的状态情况下对原始观测数据进行脉冲压缩处理, 计算量较大。
4 数值仿真及分析
下面对上述模型进行仿真分析, 以验证系统的跟踪性能。在贝叶斯检测前跟踪算法中, 从式 ( 2) 中可以看出, 观测与目标状态之间呈现高度非线性关系, 由此很难用一般的跟踪滤波方法进行处理。对于贝叶斯检测前跟踪算法, 为了求解式 ( 4) 和式 ( 6) , 通常有两种近似方法: 第1种方法是采用网格近似方法, 即将目标的状态离散化, 由此式 ( 4) 所示的积分运算就可以转变为求和运算; 第2种方法是采用粒子滤波方法, 用大量粒子的随机运动来近似目标状态的后验概率密度[4]。
下面采用粒子滤波的方法对目标状态的后验概率密度进行近似, 在SIR滤波器的基础上, 采用MCMC方法解决SIR粒子滤波器中粒子的多样性, 采用Auxiliary SIR滤波器的方法使得粒子更集中在目标可能出现的位置附近[4]。
考虑距离维和多普勒维, 目标在雷达的射线范围做直线运动, 速度分量受到一个随机扰动, 目标在连续时间状态下的状态方程可以表示为:
式中, 表示距离和多普勒;w ( t) 为零均值的高斯系统噪声。设定目标的初始状态为[100 km, 250 m/s]', w ( t) 的功率谱密度设为5。
发射带宽为5 MHz, 时宽为20μs的线性调频信号, 脉冲压缩前按照2倍信号带宽进行采样, 脉冲压缩后按照1倍带宽进行重采样, 由此可知, 距离分辨率为30 m。
脉冲压缩后的信噪比设定为SNR =9 dB, 考虑匹配滤波器时频域特性前后, 贝叶斯检测前跟踪算法目标位置的均方根误差如图6所示, 其中实线表示考虑匹配滤波器时频域特性时目标位置的均方根误差, 虚线表示不考虑匹配滤波器时频域特性时目标位置的均方根误差。
从图6中可以看出, 考虑匹配滤波器时频域特性时目标位置的均方根误差要小于不考虑匹配滤波器时频域特性时目标位置的均方根误差, 这主要是因为考虑匹配滤波器时频域特性时, 目标的观测模型与处理的数据更加吻合, 减小了由于目标观测模型失配引起的性能损失, 改善了贝叶斯检测前跟踪算法的性能。
5 结束语
目标通过匹配滤波器的输出会扩展到多个距离—多普勒单元, 利用目标在这些距离—多普勒单元上的观测以及它们位置的相关信息, 可以改善贝叶斯检测前跟踪算法的性能。本文详细分析了观测信号的产生机理, 根据匹配滤波器时频域特性建立合适的观测模型, 给出了利用匹配滤波器时频域特性的贝叶斯检测前跟踪算法的处理流程, 从而避免由于观测数据与观测模型不匹配所带来的性能损失, 改善了贝叶斯检测前跟踪算法的性能。本文的结论对贝叶斯检测前跟踪算法在实际工程中的应用有一定的指导意义。
参考文献
[1]CARLSONB D, WILSON S L.Search Radar Detection and Track with the Hough Transform Part III:Detection Performance with Binary Integration[J].IEEE Trans on AES, 1994, 30 (1) :116-125.
[2]李涛, 吴嗣亮, 曾海彬, 等.基于动态规划的雷达检测前跟踪新算法[J].电子学报, 2008, 36 (9) :1 824-1 828.
[3]TONISSEN S, SHALOM Y B.Maximum Likelihood TrackBefore-Detect with Fluctuating Target Amplitude[J].IEEE Trans on AES, 1998, 34 (3) :796-809.
[4]RISTIC B, GORDON N.Beyond the Kalman Filter:Particle Filters for Tracking Applications[M].London:Artech House, 2004.
[5]吴孙勇, 廖桂生, 杨志伟.改进粒子滤波的弱目标跟踪与检测[J].宇航学报, 2010, 31 (10) :2 395-2 401.
[6]MORELANDE M R, KASTELLA K.A Bayesian Approach to Multiple Target Detection and Tracking[J].IEEE Trans on SP, 2007, 55 (5) :1 589-1 604.
[7]ORLANDO D, LOPS M, RICCI G.Track-Before-Detect Strategies for STAP Radars[J].IEEE Trans on SP, 2010, 58 (2) :933-938.
[8]BUZZIS, VENTURINO L.Track-Before-Detect Procedures for Early Detection of Moving Target from Airborne Radars[J].IEEE Trans on AES, 2005, 41 (3) :937-954.
[9]焦子朋, 耿哲, 周思玥.MTI在连续波雷达中的应用研究[J].无线电工程, 2012, 42 (11) :62-64.
[10]丁静.稳健数字波束形成算法研究[J].无线电通信技术, 2012, 38 (6) :30-32.
[11]吴顺君, 梅晓春.雷达信号处理与数据处理技术[M].北京:电子工业出版社, 2008.
[12]李文静.机动目标跟踪算法[J].无线电工程, 2012, 42 (1) :58-61.
匹配跟踪 篇2
随着光电探测器件的发展, 高帧频可见光探测器在光电跟踪系统中的应用越来越广泛, 而传统的模板匹配跟踪算法在视频跟踪实时处理中也随之成为难点问题。因此, 研究一种新的快速特征匹配跟踪算法成为一个亟待解决的问题。本文设计了一套基于DSP的图像模板匹配跟踪设备, 算法通过边缘增强、统计分割等去除背景影响, 分割出具有特征目标的图像信息, 再进行模板图像快速匹配。
2 硬件组成
硬件系统结构如图1所示, 前端光电探测设备是一台Camera-link接口的高帧频电视摄像机, 可以给本设备提供一路分辨率为640×480、100帧/秒的数字图像。
算法实现处理电路主要由TI公司DSP芯片TMS320C6418、ACTEL公司FPGA芯片APA750、DA器件ADV7123、SDRAM、FLASH、Camera-link转换器件等芯片组成。首先由高帧频摄像机采集电视视频, 通过Camera-link接口芯片、FPGA芯片导入到DSP缓存或SDRAM中, DSP是实现算法的核心器件, 解算出的跟踪波门叠加到视频数据后, 再由DSP传输到FPGA内部, 然后由DA转换器件把最终的数字视频转换为VGA视频信号在显示器上显示。
DSP处理器先将数字图像进行边缘增强, 然后进行统计阈值分割等算法对图像进行特征提取, 从而将背景分离;再采用特征相关匹配算法选取目标模板, 对处理过的图像进行特征点匹配, 从而实现跟踪目标。这样便解决了复杂视频相关匹配跟踪时实时性和稳定性的问题。
3 特征匹配跟踪算法
传统的相关匹配算法, 一般都是图像经过滤波后, 选取目标模板, 然后对全视场图像进行模板内逐点匹配度积分, 算法不但耗时多, 而且模板内背景变化也会对最终跟踪效果产生很大的影响。本文提出的特征匹配跟踪算法是把目标分割出来后再选取模板, 在全视场匹配时不是模板逐点匹配度积分, 而是采用对模板内图像的特征点进行匹配度积分, 很大程度上消除了背景的影响, 也大幅降低了算法运算时间。
3.1 算法流程
如图2所示。
3.2 边缘增强
前期边缘增强的好坏直接影响后期处理的精度, 因此在本算法试验过程中检验了多种边缘增强算法, 如差分边缘检测、Reborts算子、Sobel算子、Prewitt算子、Kirsch算子、Laplace算子、Canny算子等等。由于需要在处理时间上和图像特征信息完整性上取一个折中点, 本设备最终选择使用Sobel算子对视频图像进行边缘增强。
3.3 统计分割
经过了前期的边缘增强后, 对视频数据进行直方图统计分割。
(1) 图像直方图统计后, 求图像灰度均值:
i为图像灰度, H (i) 为直方图统计值, M为图像列数, N为图像行数。
(2) 求取图像数据的均方差:
(3) 计算分割门限:
τ1、τ2分别为灰度高低分割门限, k1、k2分别为计算高低分割门限的均方差因数常量, 可以根据适应不同视频场景需要取值。
(4) 图像目标二值像分割:
G (m, n) 为边缘增强处理后的图像数据。
(5) 二值像滤波降噪:
3.4 选取模板进行特征匹配
选取目标模板后, 对模板内特征点 (二值像为1的点) 的信息做记录, 记录特征点的总数N、每个特征点的序号数组L[N]、行坐标数组R[N]、列坐标数组C[N], 以备在特征匹配中使用。
对统计分割后的图像数据进行模板特征匹配:
式中Di为:
则 (m, n) 图像对模板的匹配度为:
匹配度越高越好, 本设备中设定匹配度在70%以上的为匹配成功, 如果全视场图像没有>70%匹配度的图像, 则认为目标跟踪丢失, 波门设定为记忆最后一帧跟踪位置状态, 直到有匹配度符合的, 或者手动重新选取目标模板。
4 结论
快速特征匹配算法对传统的匹配算法进行了改进, 边缘增强、统计分割二值像后再进行模板匹配, 不仅提升了匹配算法的运算速度, 还增强了目标跟踪稳定性。本文设计的视频跟踪设备选取64×64像素的模板, 对640×480的视频图像进行匹配时, 运算时间在4ms~8ms, 完全能满足高帧频摄像机 (100帧/S) 图像处理实时性要求。在跟踪试验中, 对复杂背景下运动目标跟踪时, 采用自动更新目标模板, 可以实现对目标有效的跟踪。
摘要:以TMS320C6418芯片 (DSP) 为主体, 设计了一套视频模板匹配跟踪设备, 实现一种稳定快速跟踪复杂背景下目标的算法。算法通过边缘增强、统计分割等去除背景影响, 分割出具有特征目标图像信息, 再进行模板图像快速特征匹配。本文提出的算法对传统的匹配算法进行了改进, 不仅提升了匹配算法的运算速度, 还增强了目标跟踪稳定性。
关键词:边缘增强,统计分割,相关匹配,图像跟踪
参考文献
[1]David G Lowe.Distinctive image features from scale invariant key points[J].International Journal of Computer Vision, 2004.
匹配跟踪 篇3
对目标物体进行跟踪是战争中夜间战斗必不可少的技术, 对运动物体识别和跟踪的技术提高, 就可以对重点区域的目标进行跟踪。
1 目标跟踪技术
1.1 概述
图像跟踪技术是图像处理与视觉技术的分支, 被应用在军事、航空、工程等方面。对目标的定位若处理目标表面变化则用自下而上的处理方法;处理目标动态变化则用自上而下的处理方法, 在此之前还要对其背景技术知识进行学习。两部分相互独立但又相互结合。
1.2 影响因素
目标的实际环境是复杂且容易受到影响的。主要的影响因素有几个方面:
1.2.1 背景
目标在运动时造成场景的背景发生变化或者物体发生变化;背景受到光照的影响或者受到雨雪等恶劣天气影响;特征空间为RGB颜色模型;背景与目标颜色相近这四点时, 都会使跟踪失效。
1.2.2 阴影
在灰度图像中有两种主要类型的阴影, 一是背景上的整体阴影;二是物体上的内部阴影。这两种类型的阴影对跟踪匹配问题有很大的影响, 特别是当阴影较大较长的时候, 可能将不同的目标物体阴影连接到一起。
1.2.3 遮挡
跟踪过程中, 遮挡的情况比较常见, 可能是目标的一部分挡住自己的另一部分, 或者是目标被其他的背景或目标所遮挡。有效处理跟踪过程中关于遮挡问题, 一直是研究中的难点和重点。
1.2.4 目标外观
目标在运动的时候外观是在不断变化的, 对于目标形状的变化、视觉的改变或者目标尺度的变化都会影响外观的变化, 所以要对目标进行有效的实时跟踪, 正确合理的处理这些变化。
1.2.5 实时性
需要满足对目标实时跟踪的需求, 所以降低算法的复杂性是一定要考虑的问题。
影响目标跟踪的因素有很多, 使跟踪更加困难。所以, 设计出在各种复杂情况下能够快速准确跟踪的方法是一项具有挑战性的任务。
2 灰度匹配的跟踪原理
2.1 实现过程
首先将要进行跟踪的区域选出, 也就是将兴趣区域选出, 然后依照匹配算法, 计算出兴趣区域与下一帧图像所在的各个区域的指标值, 观察得出的指标值的极大值和极小值, 对兴趣区域在现在时刻图像帧的位置的变化进行确定, 然后对每一帧进行计算, 来进行对目标的跟踪, 如图1所示
2.2 灰度匹配的算法原理
基于灰度的匹配影像是通过对数字影像在局部范围内的分布特征和灰度值进行匹配, 并作为匹配实体的, 运用相似性测度的计算来确定其共轭实体影像的匹配方法。其中对相似性测度的计算方法是根据其局部灰度值的度量函数。其度量函数包括协方差函数、相关系数、相关函数、差平方和、差绝对和等测试形式, 这篇文章中所运用的是相关函数测度方法。
基于灰度匹配, 这种算法就是在目标影像选出目标点, 也就是待匹配的点, 围绕目标点为中心选出一定大小的目标窗口, 根据专业技术知识与已知的约束条件对可能在右影像上存在的目标点的共轭点进行确定, 将这确定的范围称为搜索区域。将搜索区域中每一个点作为个体, 为中心创造一个大小相同的窗口, 这些窗口叫做搜索窗口。如图2所示
计算每个搜索窗口和目标窗口之间的相关系数, 根据相关系数找出大于某阈值的中心点, 结合其他指标或者条件, 在找出的中心点中确定出最终的配准点或者最大相关系数的搜索窗口, 成为所得的配准窗口, 这一中心点就是配准点。
3 Matlab 视频处理及跟踪实验
3.1 视频处理
数字视频的格式有很多种, 每种视频都可以将其分解成相关联的静止帧组成的图像。我们常见的没有经过压缩的视频格式为YUV, 但是由于视频中数据量过大, 我们经常见到的视频是经过压缩后进行储存和传输的。视频压缩进行传播储存的常见的格式有n AVI、AVI、MPEG、RM等。
Matlab有专门处理视频函数的工具箱, 但是其对数字视频的处理手段还是非常有限, 只能对少量的没有经过压缩的视频进行处理。对AVI和MPEC等格式的视频, 只能通过其他现开发的程序进行处理。如果是必须要通过Matlab这种视频处理方式的其他格式的压缩视频, 就需要通过利用一些软件将视频转换格式, 成为没有压缩的AVI视频文件。
在图像处理中, 有与很多无压缩的文件相关的函数, 通过对其应用, 就能很容易的进行编程进行跟踪实验。
3.2 跟踪实验
进行实验的视频应该为简单背景下单目标的红外视频。由于所用计算机的影像处理能力和对实验的初步要求, 截取75帧红外视频, 对其运用相关系数法开始进行实验。
在第一帧图像中选择出待跟踪目标, 记其坐标位置为 (x, y) , 从这一点出发向外延伸10像素, 也就是说匹配区域是21*21像素, 此时, 利用这个区域内的图像与后续图像相互匹配, 作为后续图像的模板。在第二帧图像中, 将 (x, y) 为中心点向四周略扩大一些, 作为搜索区域。将这个区域中的每一点都分别作为中心点作出与匹配区域相同面积的矩形边框。每一帧图像都重复上述步骤, 观察显示出的图像。跟踪实验的截图如图3所示。
观察屏幕截图, 图3 (a) 是没有进行跟踪区域选定的第一帧的原始图像;图3 (b) 是选取的经过人工干预的待匹配窗口, 选框的大小是由人工进行制定的;图3 (c) 和 (d) 是在进行区域选定之后, 进行系数匹配后得出的影像跟踪结果。
前后两帧进行匹配之后, 将白框更新与后一帧相叠加, 它的大小与人工选取的匹配区域相同, 用来显示跟踪结果。根据跟踪的结果, 运用相关系数法, 对简单背景的红外线视频中的点状目标进行较为稳定的跟踪。
这一实验中对简单背景的单目标视频进行特定目标的跟踪性实验, 选取运动速度为匀速的点状目标作为跟踪目标。如果使用复杂运动目标进行实验, 就会使准确性降低。
如果在跟踪目标并不匀速的情况下, 要选取固定大小的搜索区域, 就要考虑目标最大运动速度值。如图4所示, 匹配窗口的大小为21*21像素, 搜索区域的大小为60*60像素, 相邻两帧中特定目标的垂直移动速度或者水平移动速度大于30的情况下, 特定目标就将会脱离指定搜索区域, 匹配算法就无法发挥作用。所以, 在确定搜索区域范围的同时还要考虑目标的运动速度, 搜索范围越大就说明在匹配的过程中目标离开搜索区域的可能性越大。由于上文的研究可知, 搜索区域增大对其运算速度有很大的影响, 所以在移动的过程中, 目标速度在少数的几帧中发生变化突然加速, 则这种方法就不能够有效的用于目标跟踪。
除此之外, 在背景复杂、目标形状不规则或者目标在运动的过程中外形突然发生变化的情况下, 这种相关系数法在使用的过程中跟踪率和准确性都会降低。
4 结语
通过实验过程, 基于灰度匹配的算法在平台上可以实现对简单背景下的简单目标进行跟踪, 而且效果比较稳定。但是从整体上来说, 这种算法的运算速度较慢, 适用的范围也比较有局限性, 需要进一步的改进和优化, 提高匹配的精度。目前的匹配算法中, 除了文章所研究的基于灰度匹配还有特征匹配和关系匹配两种, 各种匹配形式都有一定的不足, 需要我们通过更多的努力改进。
参考文献
[1]陈卫兵.几种图像相似性度量的匹配性能比较[J].计算机应用, 2010 (01) .
[2]刘云海, 全晓臣.基于多线索融合的抗遮挡目标跟踪算法[J].浙江大学学报 (工学版) , 2009 (07) .
[3]郭海涛, 刘继双, 卢俊.基于相关系数的高层建筑物区域综合检测[J].测绘科学技术学报, 2009 (02) .
[4]李春生, 龚晓峰.视频序列中的运动目标检测与跟踪[J].现代电子技术, 2009 (23) .
[5]宗亮, 邬延辉.基于集群系统的并行图像灰度匹配[J].宁波大学学报 (理工版) , 2009 (01) .
[6]王赫, 徐克红, 王永富.广义立体像对匹配方法研究[J].测绘工程, 2011 (04) .
[7]郑喜, 吕永桂.基于灰度的环形块匹配算法[J].机电工程, 2010 (10) .
[8]王春涛.基于背景差分法和光流法的视频动态目标检测与跟踪[J].软件导刊, 2011 (06) .
匹配跟踪 篇4
关键词:Mean Shift算法,主动跟踪,目标跟踪,灰度模板匹配
主动跟踪的目的是使摄像机实时的跟随目标运动,让运动目标始终处于摄像机的视野中。目前比较常见的处理方法有两种,一种方法是基于目标检测的方法,通过图像稳像技术稳定背景[1],稳像后就可以使用在固定摄像机上的方法检测运动目标并进行跟踪。另一种方法是不进行稳像处理,先在摄像机静止的情况下进行运动目标检测,得到目标的位置和尺寸信息,然后将包含目标的前后两帧图像进行拼接[2],在拼接后的图像中,对运动目标进行跟踪。这两种方法的计算量都很大,很难实现实时跟踪。
本文提出了一种不依赖于图像稳像技术和图片拼接技术的主动跟踪方法。该方法在静止背景的前几帧中检测运动目标,然后选择感兴趣的运动目标作为跟踪对象,保存目标的信息并结束检测。开始对运动目标进行跟踪,得到运动目标在图像中的坐标,计算出目标到图像中心的距离,根据这个距离判断摄像头是否需要转动。这种方法因为没有使用稳像和拼接技术,计算量比较小,能控制摄像机云台进行实时的跟踪。本文的方法需要用到跟踪方法,目前比较常用的跟踪方法包括粒子滤波器[3],Kalman滤波器[4],Mean Shift算法[5]等。这些算法用于运动目标跟踪都取得了较好的效果。其中,Mean Shift算法由于计算量比较小,在目标区域已知的情况下可以做到实时跟踪。并且Mean Shift是一个无参数密度估计算法,可以作为一个模块和其它方法集成[6]。但是Mean Shift算法缺乏必要的模板更新算法,而且目标位置发生突变时可能导致跟踪失败。在主动跟踪时摄像机的转动会导致目标位置发生突变,而灰度模板匹配方法不依赖目标在前面几帧图像中的位置也能找到目标,因此可以结合Mean Shift算法和模板匹配方法完成主动跟踪。
1 主动跟踪
本文提出的主动跟踪方法流程如图1。
其中Mean Shift算法是本文在摄像机转动之前使用的跟踪方法。灰度模板匹配算法是在摄像机改变视角后的一帧中,搜索位置发生突变的目标的方法,并用灰度模板匹配的结果更新Mean Shift算法的搜索窗口,更新搜索窗口之后Mean Shift算法就可以继续跟踪摄像机转动之前的目标。
2 基于Mean Shift的目标跟踪
选定感兴趣的目标之后,根据提取出来的目标信息建立跟踪模型,通过在前后两帧中对目标和候选目标进行匹配,获得运动目标的运动轨迹,从而实现对运动目标的实时跟踪。
2.1 建立跟踪模型
在选定感兴趣的目标之后,可以根据提取出来的目标建立目标颜色概率直方图模型。将目标中心标记为y0,候选目标中心为y,则可确定目标与候选目标的直方图模式分别为:
目标直方图模式是包含感兴趣目标的各个成像灰度级所对应的概率密度。假设候选目标中心点为y,感兴趣目标区域是以y为中心、窗宽为h的矩形,像素位置以{xi}i=1,…,n表示,其灰度值表示为b(xi)并将其值量化为m级,则各级灰度的概率密度为:
式中C为归一化常数,k为像素位置的权值分配函数,h为窗宽,由于目标周边像素的可靠性较低,所以离中心越远的像素分配的权值应该越小。
2.2 相似度计算
建立好跟踪模型之后,就可以对候选目标和目标进行相似度计算。本文采用Bhattacharyya系数[7]度量目标与候选目标直方图的相似性,则目标与候选目标的相似性表示为:
2.3 目标定位
基于颜色直方图的跟踪就是在当前帧中找到Bhattacharyya系数ρy最大的候选目标区域。将ρy在Pu(y1)处(其中y1为搜索的起始点)进行泰勒展开并整理得:
其中
对于确定的y1,在式(5)中的第一项是定值,要使目标模型与后选目标模型区域的相似性ρy最大,就要使式(5)中的第二项取最大值。第二项是加权的非参数核密度估计,可以通过Mean Shift算法来求得此密度估计的最近邻众数,从而获得新的候选目标的位置
通过循环迭代式(7)直至收敛点到正确的目标位置,从而实现对目标的跟踪。
3 灰度模板匹配
在实际运动目标跟踪中,常用的相关匹配算法有两类:其中一类强调景物之间的差别程度,即最小误差法。最小误差法的思想是,将模板图像T在搜索图像S上平移,在每个位置上求模板覆盖下的子图Si,j的绝对差:
模板图像大小为M×N,E(i,j)为最小值时认为匹配成功。
4 实验结果和分析
实验采用Microsoft visual 2005可视化软件开发工具和OpenCV 2.0开源计算机视觉库。处理的图像序列大小为702×576(像素)。
选择感兴趣的目标之后,提取出目标图像。
对提取出来的目标建立颜色概率直方图,并运行Mean Shift算法跟踪目标。
在摄像机视角发生变化时,本文提出的基于Mean Shift算法和灰度模板匹配的主动跟踪方法如图4所示。
图4在第156帧图像中采用Mean Shift算法进行跟踪(红色椭圆画出了跟踪结果),并计算目标的位置到图像中心位置的距离,如果距离大于50(像素)则控制摄像机云台转动。第157帧图像是在云台转动后用灰度模板进行搜索(蓝色矩形区域是匹配结果),并用匹配结果更新Mean Shift算法的搜索窗口。第158帧图像是根据灰度模板匹配结果更新Mean Shift搜索窗口之后的Mean Shift跟踪结果。
表1中分别是Mean Shift算法、灰度模板匹配和本文的结合Mean Shift算法和灰度模板匹配方法在两帧图像中的处理时间。如果在帧频为也就是每40ms一帧的情况下,本文的方法可以满足实时的需求。
从实验结果可以看出,结合Mean Shift算法和灰度模板匹配方法能主动的跟踪运动目标。在跟踪过程中灰度模板能搜索到改变了视角的目标,并正确的更新Mean Shift搜索窗口,辅助Mean Shift进行实时跟踪。
5 结束语
本文提出了结合Mean Shift算法和灰度模板匹配方法,可以在摄像头改变视角后利用灰度模板搜索结果更新Mean Shift搜索窗口,实验验证了方法的有效性。进一步的工作将把灰度模板匹配改成彩色模板或是跟踪准确性更高的方法。
参考文献
[1]黄亚博,焦建彬,叶齐祥,陈志国.一种鲁棒的抖动视频稳像算法[J].光电子·激光,2008,19(3):394-399.
[2]胡社教,葛西旺,陈宗海.基于角点特征的KLT跟踪全景图像拼接算法[J].系统仿真学报,2007,19(8):1742-1745.
[3]Doucet A,Gordon N,Krishnamurthy V.Particle filter for nonlinear problems[J].IEEE Proc Radar,Sonar,Naving,1999,2(1):216-228.
[4]Welch G,Bishop G.An Introduction to the Kalman Filter[M].SIGGRAPH,2001:1-81.
[5]Dorin C,Peter M.Mean Shift:A Robust Approach Toward Feature Space Analysis[J].IEEE.Transactions on Pattern Analysis and Ma-chine Intelligence,2002,24(5):603-619.
[6]欧静,林宏基.基于Mean Shift算法和粒子滤波器的目标跟踪[J].福建电脑,2008(1):19-20.
匹配跟踪 篇5
在计算机视觉和模式识别领域,运动目标跟踪一直是研究的热点问题,在智能视频监控、智能交通系统(ITS)、精确制导系统及机器人视觉导航等领域都有广泛的应用[1]。目标跟踪是在连续的图像序列中检测和识别感兴趣的运动目标,从而得到目标的运动轨迹。跟踪算法的好坏取决于算法的鲁棒性、准确性和实时性。目前运动目标跟踪算法有基于目标检测的跟踪算法,如帧间差分跟踪算法、背景差分跟踪算法、基于光流场估计的跟踪算法等;基于目标检测的跟踪算法是对整幅图像的信息进行处理,故跟踪的稳定性较高,但对整幅图像进行运算,一般计算量很大,尤其是基于光流场估计的跟踪算法为达到一定的跟踪效果,必须有特定硬件的支持,而且实现起来相当复杂。还有的运动跟踪算法是为了解决跟踪过程中观测和模型存在的不确定性,在目标状态估计中引入统计学模型,将运动目标抽象为具有相关运动信息的质点,如Kalman滤波,扩展卡尔曼滤波和粒子滤波等[2,3]。常用的目标跟踪算法还有基于模板匹配的算法、基于特征点的相关算法等[4],这些跟踪算法计算量小,实现比较简单,所以得到广泛应用。
点匹配算法是基于目标特征点的跟踪方法,能较好地解决目标的旋转和遮挡的问题[5];但对于做加速和高速运动的目标,其跟踪的鲁棒性较差,难以实现正确跟踪。卡尔曼滤波可方便地预测目标的位置,该算法稳定性好,计算量小,但单独使用Kalman滤波的跟踪算法准确性较低。综上考虑,针对Kalman滤波的实时性和点模式匹配能有效解决目标旋转和遮挡问题,本文提出一种基于Kalman预测和点模式匹配的多目标跟踪方法。首先介绍点模式匹配算法和Kalman滤波算法,其次给出了两种算法的结合算法的思想和具体实现过程,最后实验结果表明本文的算法能够有效解决遮挡问题,且跟踪的实时性和稳定性较好。
1 点模式匹配算法
点模式匹配是将同一背景的两幅图像中满足一定几何变换关系的点匹配成对,从而完成目标的识别和定位[6,7,8]。
在二维图像中,特征点用(x,y)坐标表示,M={p}1,p2,...,pm表示模版图像中特征点的集合,S={q}1,q2,...,qm表示待匹配图像中特征点的集合。其中点集M和S进行匹配,就是要确定一个配准函数Ts,θ,tx,ty,使得M中的尽可能多的点经过T(M)变换后匹配S中的子集。配准函数Ts,θ,tx,ty实质上是一个4参数的仿射变换,其中s是两幅图像的伸缩系数,θ是偏转角度,tx,ty分别是沿x轴,y轴的位移。
2 卡尔曼滤波算法
卡尔曼滤波是采用最小方差估计的动态系统的最优化自回归数据处理算法[9,10,11,12],通过动态的状态方程和观测方程来描述系统,如下所示:
状态方程:
观测方程:
式中A为系统状态x从k-1时刻到k时刻的转移矩阵;H为观测矩阵;B称为系统的作用矩阵;wk是协方差矩阵;vk是具有协方差R的零均值、白噪声序列,Q是零均值白噪声序列。
Kalman滤波器包含预测和修正两部分,Kalman滤波算法如下:
预测方程:
误差协方差预测方程:
式中Q为零值白噪声序列。
Kalman增益系数方程:
状态修正方程:
误差协方差修正方程:
预测部分得到的是先验估计,修正部分得到的是后验估计,完成每次的预测和修正之后,均由后验估计值预测下一时刻的先验估计值,重复执行以上的步骤,完成Kalman滤波的递归过程。
3 Kalman滤波与点模式匹配的组合算法
本文结合卡尔曼滤波算法和点模式匹配算法的优缺点,提出一种Kalman预测与点模式匹配相结合的多运动目标跟踪方法,流程如图1所示。
文章中采用Kalman滤波来预测与修正目标的旋转角度,同时还采取一种基于置信度二级判决门限的目标稳定跟踪策略。具体的算法如下所述:
在实际的目标跟踪中,相邻的两帧图像的时间间隔较短,所以每个目标的运动状态变化不大,故可假定目标在两帧图像的时间间隔内做匀速运动,定义目标的运动状态为一个四维向量Xk=(xk,yk,vx,vy)。其中:xk和yk表示在k时刻目标的x轴和y轴的坐标;vx,vy表示目标在x方向和y方向的运动速度。所以定义二维观测向量zk为(xk,yk),表示匹配得到的目标坐标。
定义状态转移矩阵A为:
式中Δt表示相邻的两帧图像间的时间间隔。
观测矩阵为:
wk和vk的协方差矩阵为:
第一步:初始化系统对初始帧进行处理,获得初始模版信息,采用鼠标手工选定初始模板(矩形区域)。得到目标的中心位置x0,将x0赋初值为目标的初始位置和速度。一般速度未知,可以设为零,并记录当前图像时刻,同时设P0=0。
第二步:利用Kalman滤波预测跟踪目标:
(1)预测。在每帧图像进行匹配搜索之前,记录与上一帧图像的时间间隔Δt,将Δt、状态转移矩阵A、x0代入式(4),计算出k时刻的目标运动状态的先验估计x(k|k-1)。将式(9)和式(11)一起代入误差协方差预测方程式(5),对误差协方差进行预测。
(2)匹配。设定搜索区域为以x(k|k-1)中的(x̂k,ŷk)为中心的区域,在该区域内寻找最佳匹配位置,得到(xk,yk)。
(3)修正。按式(6)求出Kalman滤波器增益系数。将zk=(xk,yk)代入式(7)中,得到由当前实际观测修正后的状态向量,同时按式(8)对误差协方差矩阵进行修正。
第三步:点模式匹配点模式匹配算法流程如下:
输入:模板图像点集M,待匹配图像点集S,参数k、匹配可靠度ρ∈[0,1]和门限系数λ:
步骤1:确定与点集M和S中的每一个点最临近的k个点,并按临近的远近程度组成链表。
步骤2:由S的分布来确定r,利用ρ和λ由公式求出匹配误差门限t∈R+。
步骤3:在模板图像的点集M中任意的选择的一点p,for j=1,2,⋯,n,确定点p∈M的k个最临近点是否是匹配点q∈S的k个最临近点,如果匹配,所求得的配准函数即为局部配准函数T̂s,θ,tx,ty。
步骤4:求配准函数Ts,θ,tx,ty,由于相邻两帧图像的时间间隔很短,一般认为输入图像和模板图像的大小不变,因此参数s应始终为1;参数tx,ty可由s,θ来确定,对配准函数来说只有一个参数θ。由于运动目标的形状相近和面积不大,故目标自身旋转角度θ不会发生突变,因此可以利用Kalman滤波器来预测与修正旋转角度θ(步骤同第一步)。然后进一步确定T̂s,θ,tx,ty是否为全局配准函数Ts,θ,tx,ty。如果得到了Ts,θ,tx,ty,进行步骤5。如果没找到Ts,θ,tx,ty,重复步骤3。
步骤5:输出Ts,θ,tx,ty。
完成上述步骤,可确定目标的像素的坐标位置及两帧相邻图像间的目标的旋转角度,计算得到目标的置信度。
第四步:首先对第一帧图像得到的信息进行点模式匹配计算出目标置信度。通过置信度与门限TargetGate进行比较,来判断Kalman跟踪正确与否。如果所得目标置信度小于门限Target Gate时,表示没有找到目标或目标短暂跟丢,则进入Kalman预测跟踪状态,扩大跟踪门进行下一帧的搜索跟踪,如果重新跟踪目标,则系统再次进入自动跟踪状态,跟踪门转为正常状态。如果连续数帧还未跟踪上目标,则超出了目标丢失时间,此时跟踪结束。当大于门限Target Gate时表示Kalman跟踪正确,对目标的位置信息进行更新,当置信度大于门限Real Gate时,首先对目标特征参数和目标模板进行更新处理,然后读入下一帧图像。当置信度大于门限Real Gate,不对目标的特征参数和模板信息进行更新,直接进入目标预测跟踪,目标位置信息由预测的位置点坐标来代替。因此一帧跟踪结束,进行目标模板更新,读入下一帧图像反复进行该过程。
4 实验结果与分析
为了验证新算法的效果,使用爆炸复杂环境下的碎片的图像序列进行了实验。图2为单目标的跟踪结果,粉红色框为目标跟踪框,在第51帧,当目标灰度值与背景布灰度值比较接近是,仍可以正确识别和跟踪目标。在第79帧,运动目标被标杆遮挡时,也能无误的跟踪目标,而没有跟丢目标。因此该算法不论在遮挡前后还是在遮挡中均能准确的跟踪目标。
图3为多目标跟踪结果,目标1的跟踪框为红色,目标2的跟踪框为黄色,目标3的跟踪框为普兰色。第1帧和第30帧中目标1和目标3的距离很近,形状基本相同,仍能搜索到目标,正常跟踪,目标1与目标2、3的距离较远能正确跟踪;在第79帧中三个目标比较分散,虽然目标2被标杆遮挡,但三个目标的跟踪效果相当于对三个单目标在复杂背景下的分别跟踪。
5 结语
给出了Kalman滤波和点模式匹配的实现的基本框架,针对两者的优缺点,提出兼具稳定性和实时性的跟踪算法,该算法有效解决目标的遮挡问题。仿真结果表明,本文的算法通过点模式匹配的算法得出的置信度对卡尔曼跟踪的效果进行判断,从而调整跟踪门的大小,保证跟踪的稳定性,从而实现运动目标在背景遮挡下还是目标遮挡下均能准确跟踪。
参考文献
[1]WELCH G,BISHOP G.An introduction to the Kalman filter[R].Chapel Hill,Carolina:University of North Carolina,1997.
[2]虞旦,韦巍,张远辉.一种基于卡尔曼预测的动态目标跟踪算法研究[J].光电工程,2009,36(1):52-56.
[3]李晶,范九伦.一种基于卡尔曼滤波的运动物体跟踪算法[J].计算机应用研究,2010(8):3162-3164.
[4]谭磊,张桦,薛彦斌.一种基于特征点的图像匹配算法[J].天津理工大学学报,2006(6):66-69.
[5]欧阳宁,游锦海,莫建文,等.遮挡情况下的多目标跟踪算法[J].计算机应用研究,2010(5):1984-1986.
[6]YIN Peng Yeng.Particle swarm optimi zation for point patternmatching[J].Vis.Commun.Image R,2006,17:143-162.
[7]YANG Shu ying,GE Wei min,ZHANG Cheng.Tracking un known moving targets on omnidirectional vision[J].Vision Re search,2009,49:362-367.
[8]ADAM A,RIVLIN E,SHIMSHONI I.Robust fragments basedtracking using the integral histogram[C]//Processings of theIEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2006:798-805.
[9]赵树杰,赵建勋.信号检测与估计理论[M].北京:清华大学出版社,2008.
[10]谭树人,林高鹏,张茂军.基于卡尔曼滤波的折反射全向图像目标跟踪.[J].电子学报,2011(2):464-470.
[11]COMANICIU D,RAMESH V,MEER P.Real time trackingof nonrigid objects using mean shift[C]//Proceedings of theIEEE Conf.on Computer Vision and Pattern Recogition(CVPR).[S.l.]:IEEE,2000:142-149.