异常轨迹识别（精选6篇）
异常轨迹识别 篇1
人体行为识别指对人体运动的模式进行分析和识别,是计算机视觉领域被广泛关注的研究热点。异常行为识别是人体行为识别的一个重要研究方向,主要对跳、跑、呼救、弯腰、挥手5种异常行为进行识别。这项研究在智能安全监控领域有着广泛的应用价值。
智能安全监控主要包括检测、追踪、识别和分析4个部分。在分析识别上Haritaoglu[1]等人使用灰度的影像或红外线装置,利用轮廓的信息来定位人体的细部模块,并能处理异常情况的发生。布朗大学的Sidenbladh和Block[2]将人类行为的步骤分成3个部分,并进行了一系列的研究。提出一种以人类为目标的视频监控系统,利用人移动的轨迹特征,来判断是否发生异常行为。实验结果表明本算法可以准确有效地检测行人的各种异常行为、性能稳定。
1 前景目标检测与追踪
1.1 目标检测
目标的检测与追踪是监视系统最重要的部分。传统方法有:连续影像相减法、背景相减法、光流检测法3种。采用渐进式背景构建法。流程图如图1。
首先建立背景模型,然后将目前取得的影像与所建立的背景模型进行相减运算,并设定一阀值,以区分前景与背景的像素点。接着利用形态学运算来去除影像中的伪影及进行前景区域的修补。再使用连通成分将二元化影像中的连结的区域标示成相同的标记。
1.2 目标追踪
在检测出目标后就可以利用追踪模块持续的追踪监控。目标追踪方法有:对比法和预测法。使用文献[3]预测方式的追踪法,利用目标在之前数帧中的移动向量,预测出目标的最小边界矩形在下一帧中的位置与大小,并将目前帧中检测到的目标与预测的目标做比较,以找到目标之间的对应关系。利用目标的位置、大小与颜色特征来设定适当的条件,以找出正确的目标对应关系。
2 异常行为分析
2.1 目标特征的提取
在序列视频影像中要根据目标的移动轨迹取出其可供辨识的特征,判断目标现在的状态是否属于所设定的正常行为范围之内,若不则视为异常行为。把提取的特征分为3种:速度Vi、区域长宽比例lw_ratio、轨迹曲线K。
2.2 行为识别
异常行为包括跑步、跌倒、爬行等等。不符合设定的预设条件,即认为发生异常行为。当目标进入场景后,系统记录目标移动的轨迹特征,判断是否属于正常走路状态。一旦系统根据所提取的移动轨迹特征判断有异常行为发生时立刻报警。
3 轨迹检索
当检测到异常行为时,除了发出警告还得针对特定事件的轨迹做检索,找出资料库里相关信息进行进一步判断。首先利用主成份分析,对提取的轨迹特征做一次特征空间的投影转换,得到一组转换过的特征向量后才能进行后续的1检索。
3.1 取样
在进行轨迹对比前必须保证每一条轨迹对比部分的长度一致。首先找出每一条轨迹的控制点,如图2。
其中i、j为此条轨迹上的控制点,控制点代表的是此条轨迹角度的变化量相对于其他点较大的区段。首先计算每一点和相邻两点之间的角度,如图3。
假设在第i个点到第j点之间要取出n个点,取样公式如式(1):
取出全部所需轨迹点后,接着要将这些点的特征投影到特征空间进行转换。
3.2 主成份分析
主成份分析是一种用来识别一群资料中各种样本的方法,能够强调不同样本之间的相似性以及差异性。可分成六个步骤:(1)选取要做PCA转换的样本。(2)将同一维度的每一笔样本减去其平均值。(3)计算共变异矩阵。(4)计算步骤3得到的共变异矩阵的特征向量及特征值。(5)选取不为0的特征值所对应的向量构成一组特征向量。(6)将步骤2所得到的样本点投影到步骤5得到的主轴上,得到最后的特征,此特征即是之后用来做轨迹对比的输入样本。
3.3 轨迹对比
取得各条轨迹的特征向量后,就是轨迹间的对比。采用文献[4]提出的两种曲线配对的算法进行比较。一种是以最小投影距离为基础的平衡矩阵,另一种是以差异影像为基础的平衡矩阵。
3.3.1 以最小投影距离为基础的平衡矩阵
为精确计算输入轨迹与样本库所有轨迹的相似度首先计
算两者之间的投影距离。假设代表样本库里n条轨迹的特征向量,输入轨迹的特征向量则以表示,T和D在d维空间中的投影距离计算如下:
设定一个合适的阀值d0,若,则判定两者为相似轨迹。
重复上述步骤,直到输入轨迹和样本库里每一条轨迹对比过后停止。如此便可完成轨迹的检索。
3.3.2 以差异影像为基础的平衡矩阵
先计算每一条轨迹本身的差异痕迹,以表示,计算之后可得到样本库里全部轨迹各自的差异痕迹,以表示,要做检索的轨迹差异痕迹以表示。接下来计算LT和LD之间的平方根误差距离:
最后设定合适的阀值d0,若,则判定两者为相似轨迹。上述步骤直到输入轨迹和样本库里每一条轨迹对比过后停止。
4 实验结果与分析
为验证算法的可行性及优越性,整个实验的环境为Intel P4 3.0G,内存1G,使用Visual C++6.0开发。在进行检测之前先建立背景模板,利用背景相减检测出场景中的目标,经图像出理后得到每一个完整的前景区域。部分结果如图4(a)为背景模板,(b)为目标进入,(c)为背景相减结果,(d)为目标形态。
为了计算系统的准确性,输入几段实验视频,分别为正常走路行为和模拟各种异常行为的视频准确度计算的方式一每段视频的每一帧之前的景物状态判断结果为基础。表1为实验样本数目,正常行为的有130帧,异常行为140帧,判断正确率为91.48%。
行为分析实验结果如表2,在两段长度总共为270帧的视频中本算法在各种行为的分类正确率分别为82.93%~91.56%,全部行为的平均分类正确率为90.3%。
利用两种不同的曲线配对算法将欲检索的轨迹和样本库中的轨迹做对比,结果如表3。其中FRR(错误拒绝率)指其为相关联的样本欲被系统拒绝;FAR(错误接受率)指不相关的样本被系统接受,FRR和FAR愈低,表示系统的性能越好。
5 结语
由于人体运动是一个复杂的运动系统,具有很大的自由度和高度的非线性特点,以及关于行为、事件的定义有着不同的概念,如何选择充分有效的表达方式来描述场景中人的行为是非常困难的。提出了一个完整的视频监控系统,首先提取行人移动的轨迹特征,用以训练各种状态的模型,根据模型及其他条件判定是否发生异常行为,最后把每次异常行为发生的轨迹存储并建立索引,作为后续轨迹检索的查询资料。实验表明算法的鲁棒性。
摘要：提出一个以行人为目标的视频监控系统,利用行人的移动轨迹特征来判断是否发生异常行为。利用背景相减法来检测是否有目标的存在,并利用目标的各种信息来追踪行人;建立目标行为模型,利用模型有效地识别目标的各种行为;利用轨迹对比的方式完成相关事件的轨迹检索,并供后续查询。实验表明,本算法可行、性能稳定。
关键词：目标检测,轨迹特征,异常行为,主成份分析
参考文献
[1]I.Haritaoglu,D.Harwood,L.S.Davis.Real-Time Surveillance of People and Their Activities[J],IEEE Trans.Pattern Anal-ysis and Machine Intelligence,2000,22(8):809-830.
[2]H.Sidenbladh and M.J.Black.Learning the statistics of people in images and video,international Journal of Computer Vision.2003,54(1-3):183-209,2003.
[3]F.Bremond and M.Thonnat,Tracking multiple nonrigid ob jects in video sequences[J],IEEE Trans.Circuits and Sys-tems for Video Technology,1998,8(5):575-584.
[4]Z.Li,A.K.Katsaggelos and B.Gandhi,Fast video retrieval based on trace geometry matching[J],IEEE Proc.Vision,Image and Signal Processing,2005,152(3):367-373.
测量阻抗的振荡轨迹识别 篇2
关键词：系统振荡,继电保护,测量阻抗,振荡轨迹,电势幅值
0 引言
电力系统中的很多扰动, 比如电力系统故障、负荷的突然变动、输电线路的切换等都可能造成系统振荡。系统振荡是一种严重的不正常运行状态, 而不是故障状态。但是振荡时电流、电压不断发生变化, 造成了测量阻抗很可能落入距离保护的动作区内而引起保护的误动作[1,2]。因此现阶段继电保护中有关振荡问题的研究主要集中在振荡与故障的识别以及振荡轨迹的研究2个方面[3,4,5,6,7,8,9,10,11,12,13,14,15]。
文献[3-5]分别提出了不同的识别系统振荡模式的方法;文献[6]分析了三相故障距离继电器在系统振荡及振荡中再故障时的动作性能;文献[7]利用广域相量测量技术提出了一种根据系统实时参数自适应调整保护动作门槛值的新算法, 该算法能识别振荡中再发生的各种故障;文献[8]基于小波变化以及神经网络的优点, 构建了一种新型的小波神经网络模型, 该小波网络能够正确、快速识别振荡和各种故障情况;文献[9]提出了一种用级联多分辨率形态梯度变化 (SMMG) 的方法识别振荡中的故障和改进的故障选相方案;文献[10]提出了一种基于阻抗变化率的适用于振荡的新型选相方法;文献[11]提出了一种基于U cosφ波形特征快速识别振荡和对称性故障的方法;文献[12]提出了一种通过电阻元件检测振荡速度实时改变三相故障解锁判据延时的方法;文献[13]提出了一种基于小波变换识别振荡、故障、振荡中再故障的新方法;文献[14]基于振荡中心电压频率和电流频率是否相等, 提出了一种基于电气量频率差异的振荡识别方法;文献[15]基于电压频率的特征提出了一种不受系统结构变化和运行方式变化影响的区分同步振荡和失步振荡的方法。上述文献集中分析振荡和短路识别的问题, 但对于振荡轨迹这一基础问题却研究不足。
经典的振荡轨迹分析方法一般都是基于系统两侧电势幅值相等这一假设条件进行分析的。有时为了方便地确定振荡中心的位置, 还会假定系统各元件阻抗角相同[1]。文献[16]提出了两侧电势不等情况下测量阻抗的振荡轨迹, 结果表明:当两侧电势幅值不等时, 振荡轨迹为圆;两侧电势幅值相等时是圆半径为无穷大和中心无穷大偏移的特殊情况。但文中对轨迹的分析不够详实, 而且理论推导过程比较复杂, 不易掌握。
本文提出了一种全新的分析方法, 即不考虑上述假设条件, 对两侧电势幅值不等和阻抗角任意的情况进行了分析, 得出了两侧电势幅值不等、相角任意时测量阻抗的振荡轨迹, 同时在阻抗平面上确定了振荡轨迹的圆心与半径, 并对2种分析方法进行了比较。由于本文的分析方法没有运用到假设条件, 所以分析结果更具参考价值和应用价值。
1 传统的振荡轨迹分析方法
图1为双电源系统。图中, ZM为保护安装处背后的系统阻抗;ZL为线路阻抗;为系统综合阻抗, 对应于图1中的全部阻抗值之和, 即。在进行振荡轨迹的分析时, 为了方便地给出具有一定指导意义的结论和简洁的公式, 通常引入以下假设条件:
其中, δ为ES和EW间的相位差。
在上述假设条件下, 文献[1]推导了振荡时M处测量阻抗轨迹的经典公式如下:
其中, 。
通常为了更加简便地分析振荡中心的位置, 还会引入一假设条件, 即全系统阻抗角相同。在此假设条件下, 振荡中心的位置位于全阻抗中心处。
在传统的假设条件下, 其振荡轨迹如图2中虚线所示。由图2 (a) 、 (b) 的对比可以看出, 系统阻抗角是否相同, 会影响振荡轨迹的具体位置, 但不会影响到振荡轨迹的形状。
2 本文振荡轨迹分析方法
为了方便叙述, 将图1等效为图3所表示的电路图, 且设:
则保护安装处M的测量阻抗为:
将式 (2) 代入式 (3) 可得:
对式 (4) 进一步整理可得:
由于Zm是复数, 可以将其表示为:Zm=a+j b, 其中, a表示实部, b表示虚部。令
需要注意的是, 上述推导过程并不要求系统各元件的阻抗角相同, 即、arctan (XN/RN) 、arctan (XL/RL) 与arctan (XM/RM) 可为任意值。
将Zm、、ZM代入式 (5) 可得:
对式 (6) 两边取模值:
2.1 m=1时的振荡轨迹分析
当m=1时, 式 (7) 可以化简为:
在ZM、一定的情况下, 式 (8) 所表示的轨迹为一条直线, 如图4中虚线所示。图4中实线表示的是式 (1) 所形成的曲线。通过2条曲线的比较可以看出, 当两侧电势幅值相同时, 2种分析方法所得的振荡轨迹相同。
2.2 m≠1时的振荡轨迹分析
当m≠1时, 对式 (7) 等式两边平方并化简可得:
显然, 在a、b为变量时, 式 (9) 是一个标准的圆方程。
因此, 通过上面的分析可以得出以下结论:
a.当m=1时, 振荡轨迹是一条直线, 见图4。
b.当m≠1时, 振荡轨迹为圆, 并且振荡轨迹的圆心为, 半径
c.当m<1时, 振荡圆心处于复平面的第一象限, 振荡轨迹如图5中虚线所示;当m>1时, 振荡圆心处于复平面的第三象限, 振荡轨迹如图5中实线所示。
需要指出的是, 上述推导过程中对系统阻抗角并无要求, 因此推导得出的结论无论阻抗角是否相同都成立。
为验证推导过程的正确性, 在、ZM=0.8+j3Ω、m=1/1.1的情况下, 利用MATLAB画出式 (4) 所表示的轨迹, 如图6 (a) 所示。由图6 (a) 可以得出, 此时振荡轨迹的圆心为 (10.72, 89.19) , 半径为84.46, 这与理论计算结果相仿, 因此可以说明上述推导的结果是可信的。需要指出的是, 当系统振荡时, 如果两侧功角不能摆到360°, 那么其振荡轨迹是一个圆弧, 见图6 (b) 。
2.3 2种分析方法的对比
分析振荡轨迹是为了发现距离保护是否受振荡的影响。图7为在不同参数下本文方法和传统方法得到的局部放大的振荡轨迹与阻抗方向圆之间的关系, 其中方向圆的直径取为线路全长的1.1倍。
由图7中虚线椭圆中的轨迹可知, 在分析距离保护是否受振荡影响的局部轨迹中, 本文方法和传统方法得到的2种轨迹相差不大, 所以2种方法得到的结论也大致相仿, 如图7 (a) 所示, 2种方法得到轨迹都不受振荡的影响, 因此传统的分析方法在大部分情况下是满足工程需要的。但在某些情形下, 如图7 (b) 所示, 利用本文分析方法得到的轨迹不受振荡的影响, 而传统的分析方法得到的结论是受影响的, 此时2种方法得到的结论相悖。因此传统分析方法虽然具有较强的工程价值, 但其假设条件还是对分析得到的结论产生了一定的影响, 而本文的轨迹分析方法更具有理论指导意义。
3 仿真验证
仿真系统采用图1所示双电源系统, 电压等级为220 k V, 系统参数中, ZM 1=2.42+j 24.91Ω, ZN1=2.18+j 24.91Ω, ZM0=j 8.25Ω, ZN0=j 8.02Ω;线路参数中, 线路全长200 km, ZL1=0.037 6+j 0.423 4Ω/km, ZL0=0.301 0+j 1.270 2Ω/km;下标1、0分别表示正序和零序。振荡周期为1.5 s, 采用全周傅氏算法对保护安装处测量阻抗进行计算。
图8为系统两侧电势幅值比k=0.97时的电压、电流和功率波形, 由图8的波形可以看出此时系统发生了振荡。
图9 (a) 、 (b) 分别给出了k=0.97和k=1.03时测量阻抗的计算结果, 图中同时绘出了测量阻抗的理论值。
表1为测量阻抗的理论值与计算值比较的结果, 定义圆心相对误差为实测圆心与理论圆心之间的距离相对理论半径的百分比。
由表1数据可见, 电力系统发生振荡时, 测量阻抗轨迹近似为一标准圆。仿真过程未采取即时跟踪的算法, 考虑振荡中由系统两侧电动势幅值和频率波动引起的误差后, 认为仿真结果与理论值相符合。
4 结论
异常轨迹识别 篇3
关键词：Kinect,手势识别,黄金分割搜索,样本轨迹,算法
0引言
在人机交互中,手势具有直观性、自然性的特点,其已成为人机交互的一种重要手段[1,2]。手势轨迹是按照某种规则识别出挥动手臂所要表达的含义,手势轨迹信息应用有很强的可移植性和可扩展性。然而,基于视觉的手势轨迹识别的前期分割易受光照、背景、摄像头特性等因素影响,识别率不高。微软的Kinect体感设备 通过传感 器识别人体关节的位置坐标,获取有关数据,为手势轨迹识别提供了良好的基 础[3,4]。利用Kinect坐标信息 轨迹对深度图像进行手势分割和识别,不受光照、背景等因素的影响,从而提高了手势轨迹识别的稳定性和鲁棒性。
1基于样本的动作检测
假设动作可以被记录并序列化,如果当前动作是已发生动作中的一个,那么其就可以被检测出来。主要方式是快速比较两个动作的数据是否匹配[5,6]。动作是一系列坐标序列,通过坐标记录其到传感器的距离,因此需要研究数据比较算法,将规格化数据变换到一个统一的参考空间下。
假设:当前坐标序列为:
(1)生成具有特定数量的坐标点的动作。假设样本数量为M,定义采样间距Lavg= (n-1)/(M -1),pi-1与pi之间的距离为Li,i-1。在根据样本数量对坐标序列进行采样的过程中,需要重新计算采样点的新坐标。做法是遍历坐标序列的点,如当前点与前一个采样点的距离达不到采样间距,继续往前遍历,当达到或者超过采样间距时,则计算新的坐标点。定义遍历时累计的距离变量Lcur,当Lcur+LI,i-1>=Lavgcur 时,计算新的坐标点:
得到新的坐标序列:
(2)旋转坐标点,使得第一个点的方向角度为0。为使匹配的两个序列有统一的起点,将坐标序列旋转,从而使第一个坐标点的方向角度为0。计算坐标序列的中心坐标,并得到第一个坐标点相对于中心坐标的方向角。以此方向角为旋转角度,利用二维空间旋转矩阵得到新的坐标序列。
(3)将坐标值映射到[0,1]区间。如得到的坐标序列的数值范围不统一,将带来匹配的不准确性。为此,需要将坐标范围统一到[0,1]区间内。
(4)规格化动作序列点的原点。经过上述处理,动作轨迹的序列点具备了统一的方向和坐标,还需对原点进行处理,以便具有与样本相同的参考点。规格化步骤如图1所示。
经过规格化操作,即可进行匹配。将长度一样的坐标点序列规格化为统一的尺度、方向和中心。
黄金分割搜索(GoldenSectionSearch)[7]是一种通过不断缩小单调连续函数极值的范围,找到极值的方法。利用黄金分割搜索方法不需使用导数求取函数的极值,具有很强的实时性和便捷性。
假设函数f(x)在[a,b]上连续,并且是单调函数,即f(x)在[a,b]间只有一个极小值,或者只有一个极大值。使用对分方法,通过比较 函数值将 包含极值 的区间变小。所设计的算法 需满足两 个目标:一是在区 间检索中能够找到最优的区间 减小因子;二是减少 函数调用 的次数。
计算中间点m = (a+b)/2,求x1和x2,定义x1= m-δ/2,x2= m+δ/2,使得f(x1)≠f(x2)。如果f(x1)<f(x2),那么可以保留[a,x1],否则令[x2,b]为新的搜索区间。
图2为找出最小值的步骤。F(x)的函数值位于垂直坐标轴上,参数x位于水平坐标轴。可以看出,有3个位于函数f(x)上的值被计算出来:x1,x2和x3。可见f(x2)小于f(x1)和f(x3),所以很明显的,最小值处于x1和x3之间。
接下来的步骤是计算函数位于另一个点x4的值。从图2可以看出,如果函数值落在f4a,最小值则在x1和x4之间新的点将是x1,x2或x4;如果函数值为f4a,新的点将是x2,x4或x3。因此,无论是哪种情况,都可以建立一个新的更狭窄的区间,用于搜索函数的最小值。
为提高算法效率,只在每个步骤中只求一次函数值。相对于当前检索区间,需要设立一个常数因子,称为c。在区间[a,b]中的为x1和x2,有以下两种情况:
(1)如f(x1)<f(x2),为使[a,b]= [a,x2],区间作如下调整:
(2)如果f(x1)>f(x2),为使[a,b]= [x1,b],区间作如下调整:
这样,只要求出C,就可以得到位置x1和x2。不失一般性,考虑f(x1)<f(x2)。为计算简便,假设[a,b]= [0,1]。
如果f(x1)<f(x2),循环设置x1=1-c,并确定是在1-c的左边还是右边求取下一个值。
(1)假设在x1=1-c的左边得到新的函数值,那么x1是区间[0,c]右边界,由式(2)得
(2)假设在x1=1-c的右边得到新的函数值,那么x1是区间[0,c]的左边界。
由式(5)得c=1,这样区间就没有减小,排除这种可能性,有规则如下:如果f(x1)<f(x2),使用式(3)计算新的x1值;如果f(x1)>f(x2),使用式(2)计算新的x2值。
2实验结果
利用本文算法进行测试实验,完成两种手势:一个是左右挥动,一个是圆形手势。分别采集了5个人的手势轨迹,每个手势每个人做10次。如图3所示,左图手向左运动代表向左挥动,右图代表圆形手势,图中的虚线为手运动轨迹。
表1给出了5个实验者和2种手势的识别率,可以看出,本文算法具有很高的识别率,满足应用需求。
3结语
异常轨迹识别 篇4
通过动态手势识别等方案实现智能人机交互已经成为未来科技产品的重要趋势。当前国内外关于手势识别的相关研究工作主要集中于对RGB视频序列进行分析识别,研究人员提出了许多识别方案及相关应用。武汇岳等[1]提出了3D动态手势状态转移模型,解决了Midas Touch问题,并使用一种基于小样本学习的动态手势识别方法,解决了传统手势识别方法的缺点;杨波等[2]根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法,在环境光照相对稳定的条件下,能够实现鲁棒的实时手势识别。
虽然以上研究也能达到较好的性能,但是由于利用自然光图像的手势识别常遭遇光照变化及复杂环境背景等因素的限制,当光照发生变化时,识别率通常会降低,当环境背景变复杂,识别率一般大大减小。因此,获取鲁棒性强的视频源很有必要。深度图像代表的是摄像机与物体的远近距离,并用不同的灰度值表示出来。深度图像不仅具有空间颜色无关性,不受光照和环境背景等因素的影响,而且由于其代表的特殊含义,很容易将前景与背景分开,这对于机器视觉领 域人体目 标的检测 提取具有 重要意义。
目前,研究者们利用深度数据的研究大多关注在整体的动作识别,如Lin等[3]分块提取深度视频序列划分成的时空特征,然后利用相似串匹配识别行为;Li等[4]使用动作图谱将行为模型化,再使用3D特征点词袋描述一系列姿势,使用隐马尔可夫模型识别行为。基于深度数据的整体行为识别在近些年已取得一定进展,在一些公开的数据集上测试的识别率逐步提高,但实现的方式都比较复杂,计算量大。
针对上述存在的问题,本文介绍了一种不受情景影响的动态手势识别方法,将深度数据经过视频图像处理算法检测到目标,提取手势关键特征点运动轨迹,利用支持向量机(Support Vector Machine,SVM)对公开的DHA数据集[5,6]中有关手势动作数据进行识别评估。通过实验验证,该方法具有较好的鲁棒性,较高的准确率。
1 运动目标检测
本文采用的手势识别可以分为三大模块,分别是运动目标检测、关键特征点提取和识别评估,其中目标检测是识别方案的基础。目前已有方案对手势识别的基础大多是建立在RGB图像序列中对手臂特征全部提取,或者是对手掌特征[7]全部提取,这样虽然有利于提高识别率,但更加增大了计算量,复杂程度随着特征点的增多而剧烈增大。
为了保持实验处理的效果,在并不影响实验结果的情况下,可以首先提取人体目标。将深度数据经过自适应阈值算法,得到二值化的人体目标。以DHA数据集中arm-swing中的某一帧为例,效果如图1(b)所示。可以看出,人的整体目标已经明朗,并且简化后的目标可以有效的去除背景等因素对识别的影响。
2 关键特征点提取
在得到简化后的人体目标后,关键特征点的提取可以采用文献[8]中的方法,以手掌的重心点作为特征点,跟踪此特征点得到运动轨迹,但是手掌重心点的获取并不是一件简单的事,需要在跟踪的过程中,一直计算,且计算复杂,容易存在误差。鉴于上述问题,本文将简化后的人体目标经过细化等算法,得到单像素的人体骨架,如图1(c)所示。
单像素骨架虽然去除了大量特征点,但是关于手势运动轨迹的特征点并没有去除,手臂上每一个像素的运动轨迹都与手势运动相关联,其中处于手臂末端的端点就是手势关键特征点。
设像素点I(Ix,Iy)为某一帧单像素骨架图中的任意一个像素,其中,Ix,Iy分别代表I的横坐轴和纵坐标,≤X,≤Y,X,Y分别表示图像的长和宽。In(Ix,Iy)为后续第n帧单像素骨架图,n=0,1,2…。像素点示意图如图2所示。
以提取图1(c)中右边手臂末端的角点为例,算法实现的步骤如下:
步骤1:判断(Ix,Iy)是否为0,若是,去除点像素点I;若不是,保存像素点I,得到骨架完整像素,进入步骤2;
步骤2:判断(Ix,Iy1)+(Ix1,Iy)+(Ix1,Iy1)是否为1,若不是,去除像素点I;若是,保存像素点I,得到五个角点I′(I′x,I′y),进入步骤3;
步骤3:判断(Ix,Iy1)+(Ix1,Iy)+(Ix1,Iy1)是否大于等于3,若是,保存像素点,得到躯干骨架的特征点,取纵坐标最小的,设为I″(I″x,I″y)进入步骤4;
步骤4 : 如果X>I′ x >I″ x , I″ y <I′ y <Y成立 ,则I′(I′x,I′y)为图2中右边手臂末端的角点。
得到手势动作关键特征点后,就可以提取关键特征点的坐标,然后获取每一帧关键特征点的数据,得到手势运 动轨迹。 以 “one-hand-wave(单臂挥动)”动态手势序列图为例,将获取的数据经过处理得到的运动轨迹示意图如图3所示。
3 识别和评估
为了验证本文采用的基于关键特征点运动轨迹的动态手势识别 方法的有 效性,本文采用 公开的DHA数据集中有关动态手势进行识别评估。
3.1 实验设置
3.1.1 测试数据
DHA数据集包括17类人体行为,每一类动作都由21个人分别完成。其中动态手势主要有9种:One-hand-wave(单臂挥手 )、Arm-swing(手臂摆动)、Front-box(正面拳击)、Side-box(侧面拳击)、Golf-swing(高尔夫挥杆)、Pitch(抛物)、Two-handwave(双臂挥手)、Arm-curl(曲臂)、Side-clap(侧拍)。它们的部分序列图如图4所示。
另外8种人体行为不属于本文研究的动态手势识别内容。
3.1.2 分类器
动作识别技术最后一步就是分类识别,目前常用的有支持向量机[9]、隐马尔可夫模型[10]等方法。隐马尔可夫模型需要更多的训练数据,对动作数据库的要求更高,相比之下,SVM能够较好解决小样本非线性的分类问题,因此采用SVM作为分类模型。
3.1.3评估方法
等分法和留一法[11]是目前最常用的评估方法。其中由于等分法在小样本情况下存在一定的巧合性,而留一法将全部样本分成N份,每次取其中1份作为测试集,用其他的N-1份构建预测模型,最后取N次实验平均性能最为最后的评估结果,更具说服力,有鉴于此,本文采用留一法作为评估方法。
3.2 实验结果及分析
根据动态手势关键特征点的提取方法,本文在得到手势特征点运动轨迹的情况下,按照实验设置,采用留一法进行识别和评估。图5给出了基于关键特征点运动轨迹的手势识别性能的混淆矩阵。
由于深度数据反映的只是物体距离摄像头的远近,因此深度数据经过二值化后得到的目标图保留的信息将减少。从“front-box”和“arm-curl”之间的误识别可以看出,当目标正对深度摄像机采集动态手势时,二值化后的深度图不能区分前后运动轨迹,只能反映相应的上下运动轨迹,这就导致了“frontbox”和“arm-curl”的误识别较大,但本文采用的基于关键特征点运动轨迹对以上9种动态手势识别平均获得了82.5%的准确率,这也说明了本文的方法对动态手势识别具有较高的鲁棒性。
4 总 结
本文利用深度摄像机获取复杂环境下的人体目标,经过简化处理,得到骨架图,然后采用关键特征点运动轨迹作为动态手势的描述子,结合SVM对公开的DHA数据集中的动态手势进行识别与评估。实验结果表明,本文采用的方法具有较大的识别率。在已有较高识别率的情况下,结合现实生活,为实现对某些简单操作的控制打下基础。
摘要：为实现基于运动轨迹信息的动态手势识别,本文介绍了一种基于手势关键特征点轨迹识别的方法。将深度摄像机获取的深度信息经过自适应阈值算法提取人体目标,经过细化等算法得到人体骨架,并提取手势关键特征点轨迹,利用支持向量机在公开的、具有挑战性的DHA数据集中有关手势数据进行识别和评估。实验证明该方法可以实现复杂背景下的多种手势的识别,鲁棒性强。
异常轨迹识别 篇5
关键词：CMOS摄像头,FPGA,帧差法,运动轨迹,模板匹配算法,模糊算法
一、概述
运动轨迹识别是近年来研究的热门话题, 在交通, 人工智能方面有很大的应用潜力。CMOS摄像头和FPGA搭建的视频采集系统系统成本低, 处理速度高, 利于数据的进一步处理。本系统基于ov7670摄像头与ALTERA CYCLONE3系列构建, 使用三帧法和简单滤波以满足抓取动作轨迹的实时性要求。实验证明, 获取的运动轨迹配合模板匹配算法能很好地实现信息录入和简单控制。
二、系统结构分析
系统整体分为四个部分, 摄像头数据采集和存储, 数据处理以及VGA显示模块。
系统整体思路如下:FPGA通过SCCB总线对摄像头初始化后, 不断从摄像头读取数据, 实时通过VGA显示, 并对俩片SRAM进行乒乓操作, 轮流读取与写入图像数据, 以实现最快的处理速度。
数据处理完成后, 将轨迹通过VGA显示, 并与预先存储在ROM中的模板进行对比, 作为控制信号返回FPGA。系统结构功能简图如下:
三、运动物体质心的检测算法
3.1图像预处理
图像预处理主要包括彩色图像灰度化及图像噪声前处理。彩色图像灰度化是指将从摄像头中获得的RGB565格式像素数据转换为32级灰度数据, 其公式如下:
噪声处理是对图像进行简单空间滤波, 以消除摄像头噪声及其他干扰。为兼顾滤波性能以及系统的实时性, 我们选择了3*3的中值滤波算法, 通过对某点周围的八个点及其本身的灰度进行排序, 取出序列中位于中间位的长度作为中心像素的灰度。在有效滤除离散型杂点的同时, 还能防止高斯滤波及简单滤波造成的图像模糊。中值滤波的数学表示为:
关于使用FPGA进行中值滤波的详细情况, 请参考参考文献中的《基于FPGA的快速中值滤波器设计》[1]。
3.2三帧差分法
三帧法利用了三幅图像序列相同像素之间俩俩差分, 并做二值化处理之后相与, 有效地消除了使用帧间差分法时物体遮挡和背景显露的问题。其优点在于简单易行, 运行速度较快, 对动态背景的适应能力好。但与此同时, 三帧差分法对二值化时阈值的选取有较高的要求, 这对编程人员提出了更高的要求。
三帧法的数学表达如下:
3.3简单空间滤波
三帧法有力地解决了在时间轴上图像灰度的变化问题, 却没有将同一时间空间相临像素灰度连续性的问题考虑进去, 单纯采用三帧法检测求得的运动轨迹存在着大量孤立随机杂点, 将对后续处理造成很大影响, 因此对处理所得的二值图进行进一步处理是必不可少的。考虑到仅需确定运动刚体的质心位置, 我们采取了一种较为严格的滤波方法, 即判断某点周围3*3范围内动点的个数, 如小于4, 将改点的值改为0做去杂点处理。尽管这一算法可能会将部分动点作为杂点去除, 但其严格的去杂能力保证了轨迹的稳定, 且对最终计算得到的质心位置影响不大。数学表达式如下:
以下是使用matlab仿真算法得到的动作轨迹图像, 可以明显看到俩次滤波算法可有效消除杂点。
四、基于模板匹配的的轨迹识别
4.1模版的获取
为了实现对计算机得简单控制, 我们需要对两种形状即正方形, 三角形以及九个阿拉伯数字进行识别。模版的获取采用了简单的经验算法, 即对每一种形状, 采集十次轨迹, 根据模版匹配的基本公式:
其中I (m, n) 是待检测图像, T (m, n) 是模板。
选取另外九次轨迹作为待检测图像时, 某一轨迹的D (i, j) 的平均值最小的作为该形状的模板。
4.2简单分类
为了更好地进行模板匹配, 可以先根据不同图形的集合特性进行初步分类。例如, 正方形, 三角形, 0, 1, 8左半平面与右半平面所包含的轨迹点数应该近似相等;正方形, 三角形以及数字0的轨迹中间所包含的点数较少;数字中除了8以外都不是封闭图形。通过初步对轨迹的判断, 我们可以区分图形与数字, 缩小下一步需要匹配的模板数目, 从而减少匹配时间, 提高匹配成功率。
4.3模版的匹配
分类之后, 可进行归一化操作保证轨迹的大小与模板一致, 然后根据公式 (5) 与已知模板进行匹配。其中, 王欣, 殷肖川, 周翔翔提出了结构特征提取算法[2], 可有效减少运算量, 加快运算速度。
五、系统处理效果验证
为了验证轨迹识别与模板匹配的成功率, 我们制作了基于该系统的水果忍者游戏。实验证明, 图形的识别率达到了100%, 数字的识别率超过80%。
六、结束语
针对人机交互领域热门的手势动态识别与轨迹追踪, 提出了基于FPGA与CMOS摄像头的解决方案。该方案具有以下特点:
1. 实时性好, 无需进行大量复杂数据处理。
2. 通过两次滤波, 较好地解决了传统动作识别中杂点影响判断的问题, 提高了识别的成功率。
3. 借助了学习算法, 模糊理论, 以及结构特征提取算法, 提高了识别速度。
笔者今后的工作将继续致力于改进模板获取的学习算法以及模版的匹配。
参考文献
[1]李轶博, 李小兵.基于FPGA的快速中值滤波器设计与实现[J].液晶与显示, 2010, 25 (4) :293-296.
[2]王欣, 殷肖川, 周翔翔.一种改进模板匹配的数字识别算法[J].计算机工程与应用, 2007, 36.
[3]Lipton A, Fujiyoshi H, Patil R.Moving target classification and tracking from realtime vedio.IEEE Workshop on Application of Computer Vision, Princeton, NJ, 1998, 8, 14.
[4]刘静.固定场景下的运动目标检测算法与实现[D].湖南:湖南大学, 2010.
异常轨迹识别 篇6
运动轨迹识别是近年来研究的热门话题, 在交通, 人工智能方面有很大的应用潜力。CMOS摄像头和FPGA搭建的视频采集系统系统成本低, 处理速度高, 利于数据的进一步处理。本系统基于ov7670摄像头与ALTERA CYCLONE3系列构建, 使用三帧法和简单滤波以满足抓取动作轨迹的实时性要求。实验证明, 获取的运动轨迹配合模板匹配算法能很好地实现信息录入和简单控制。
二、系统结构分析
系统整体分为四个部分, 摄像头数据采集和存储, 数据处理以及VGA显示模块。
系统整体思路如下:FPGA通过SCCB总线对摄像头初始化后, 不断从摄像头读取数据, 实时通过VGA显示, 并对俩片SRAM进行乒乓操作, 轮流读取与写入图像数据, 以实现最快的处理速度。
数据处理完成后, 将轨迹通过VGA显示, 并与预先存储在ROM中的模板进行对比, 作为控制信号返回FPGA。系统结构功能简图如下:
三、运动物体质心的检测算法
3.1图像预处理
图像预处理主要包括彩色图像灰度化及图像噪声前处理。彩色图像灰度化是指将从摄像头中获得的RGB565格式像素数据转换为32级灰度数据, 其公式如下:
噪声处理是对图像进行简单空间滤波, 以消除摄像头噪声及其他干扰。为兼顾滤波性能以及系统的实时性, 我们选择了3*3的中值滤波算法, 通过对某点周围的八个点及其本身的灰度进行排序, 取出序列中位于中间位的长度作为中心像素的灰度。在有效滤除离散型杂点的同时, 还能防止高斯滤波及简单滤波造成的图像模糊。中值滤波的数学表示为:
关于使用FPGA进行中值滤波的详细情况, 请参考参考文献中的《基于FPGA的快速中值滤波器设计》[1]。
3.2三帧差分法
三帧法利用了三幅图像序列相同像素之间俩俩差分, 并做二值化处理之后相遇, 有效地消除了使用帧间差分法时物体遮挡和背景显露的问题。其优点在于简单易行, 运行速度较快, 对动态背景的适应能力好。但与此同时, 三帧差分法对二值化时阈值的选取有较高的要求, 这对编程人员提出了更高的要求。
三帧法的数学表达如下:
3.3简单空间滤波
三帧法有力地解决了在时间轴上图像灰度的变化问题, 却没有将同一时间空间相临像素灰度连续性的问题考虑进去, 单纯采用三帧法检测求得的运动轨迹存在着大量孤立随机杂点, 将对后续处理造成很大影响, 因此对处理所得的二值图进行进一步处理是必不可少的。考虑到仅需确定运动刚体的质心位置, 我们采取了一种较为严格的滤波方法, 即判断某点周围3*3范围内动点的个数, 如小于4, 将改点的值改为0做去杂点处理。尽管这一算法可能会将部分动点作为杂点去除, 但其严格的去杂能力保证了轨迹的稳定, 且对最终计算得到的质心位置影响不大。数学表达式如下:
以下是使用matlab仿真算法得到的动作轨迹图像, 可以明显看到俩次滤波算法可有效消除杂点。
四、基于模板匹配的的轨迹识别
4.1模版的获取
为了实现对计算机得简单控制, 我们需要对两种形状即正方形, 三角形以及九个阿拉伯数字进行识别。模版的获取采用了简单的经验算法, 即对每一种形状, 采集十次轨迹, 根据模版匹配的基本公式:
其中I (m, n) 是待检测图像, T (m, n) 是模板。
选取另外九次轨迹作为待检测图像时, 某一轨迹的D (i, j) 的平均值最小的作为该形状的模板。
4.2简单分类
为了更好地进行模板匹配, 可以先根据不同图形的集合特性进行初步分类。例如, 正方形, 三角形, 0, 1, 8左半平面与右半平面所包含的轨迹点数应该近似相等;正方形, 三角形以及数字0的轨迹中间所包含的点数较少;数字中除了8以外都不是封闭图形。通过初步对轨迹的判断, 我们可以区分图形与数字, 缩小下一步需要匹配的模板数目, 从而减少匹配时间, 提高匹配成功率。
4.3模版的匹配
分类之后, 可进行归一化操作保证轨迹的大小与模板一致, 然后根据公式 (5) 与已知模板进行匹配。其中, 王欣, 殷肖川, 周翔翔提出了结构特征提取算法[2], 可有效减少运算量, 加快运算速度。
五、系统处理效果验证
为了验证轨迹识别与模板匹配的成功率, 我们制作了基于该系统的水果忍者游戏。实验证明, 图形的识别率达到了100%, 数字的识别率超过80%。
六、结束语
针对人机交互领域热门的手势动态识别与轨迹追踪, 提出了基于FPGA与CMOS摄像头的解决方案。该方案具有以下几个特点。
1. 实时性好, 无需进行大量复杂数据处理。
2. 通过两次滤波, 较好地解决了传统动作识别中杂点影响判断的问题, 提高了识别的成功率。
3. 借助了学习算法, 模糊理论, 以及结构特征提取算法, 提高了识别速度。
笔者今后的工作将继续致力于改进模板获取的学习算法以及模版的匹配。
摘要：提出了构建基于CMOS摄像头及FPGA的实时视频采集处理显示系统。并在使用三帧法确定物体运动轨迹的基础上, 综合中值滤波和简单空间滤波, 最终确定了一种快速, 效果良好的俩次滤波算法, 解决了三帧法难以克服的随机噪声干扰。最后, 采用一种快速优化过模糊的模板算法, 使计算机可以识别动作轨迹所传递的信息, 达到通过手的运动对计算机进行控制。
关键词：CMOS摄像头,FPGA,帧差法,运动轨迹,模板匹配算法,模糊算法
参考文献
[1]李轶博, 李小兵.基于FPGA的快速中值滤波器设计与实现[J].液晶与显示, 2010, 25 (4) :293-296.
[2]王欣, 殷肖川, 周翔翔.一种改进模板匹配的数字识别算法[J].计算机工程与应用, 2007, 36.
[3]Lipton A, Fujiyoshi H, Patil R.Moving target classificationand tracking from realtime vedio.IEEE Workshop on Application ofComputer Vision, Princeton, NJ, 1998, 8, 14.
[4]刘静.固定场景下的运动目标检测算法与实现[D].湖南:湖南大学, 2010.