摄像头定位跟踪

摄像头定位跟踪（共6篇）

摄像头定位跟踪 篇1

摘要：虚拟课堂演播室是现阶段我国现代化远程教育建设的重要对象, 在这个领域广泛地应用了广播电视领域较为成熟的虚拟演播室技术。虚拟课堂演播室应用了虚拟演播室技术后将提高课堂教学效果, 进而培养出全新的高素质人才。本文重点阐述了虚拟课堂演播室中摄像机定位技术的重要性及该技术的作用和任务, 并对各种摄像机跟踪技术进行了比较。

关键词：虚拟课堂,摄像机定位跟踪技术,虚拟演播室,比较

现代远程教育是教育改革的一个重要课题。在广大教育工作着和科技人员的不懈努力下, 目前我国的现代远程教育已经有了极大的发展。在经历了三代远程教育后, 国内外的教育研究专家都将目光集中到了虚拟课堂的设计与研究上。虚拟课堂主要是通过计算机网络和多媒体技术构建一个虚拟的教学环境, 这个教学环境就是模拟现实中课堂来设计的。虽然虚拟课堂的发展迅速, 也取得了一些成果, 但其中也存在着许多的缺陷。目前主要的问题就是学生看到老师的表情过于单一化, 没有现实中的那样富于变化, 这样就不能够形象的、具体的展现教师所讲述的内容, 为此确定虚拟课堂中摄像机的状态信息是很关键的, 这也是虚拟课堂的核心技术。研究虚拟课堂演播室摄像机定位跟踪技术将会进一步推动现代远程教育的发展, 同时对虚拟课堂构建有着不容忽视的作用。

1 虚拟课堂摄像机定位跟踪技术的重要性

虚拟课堂演播室系统中一种适合EFP/ENG镜头的特殊编码器, 这种编码器可以精确的测量镜头的推拉及聚焦的相关设置参数。利用这些设置参数可以把摄像机和一台高性能计算机连接在一起, 计算机可以变换出很多不同的背景, 背景的制作的一些应用型软件将根据相关的参数来对虚拟摄像机的位置、镜头和方向进行适当的调整, 进而让虚拟场景产生与之相对应的变化。这些技术的实现将促进虚拟课堂演播室的制作和推动远程教育的发展。

在虚拟课堂演播室系统中, 摄像机定位跟踪技术主要是图形识别和机械传感器两种。摄像机定位跟踪技术是获取摄像机在虚拟课堂演播室中的实际位置的相关参数和一些动作参数。所谓的图形识别就是一个特殊的蓝色背景幕布, 它的作用是将摄像机所拍摄到的画面输送到相关的数字视频处理器中进行处理, 并通过对拍摄的画面的关系进行相关性的计算, 目的在于得到摄像机的动作参数, 实现和控制虚拟背景的产生。机械传感器是通过安装在摄像机的云台及镜头上的传感器来获取摄像机的动作参数。主要是从液压摇头编码器得到摄像机上下左右的位置参数。有了摄像机的实际位置参数及动作参数后, 就能够实现整个系统的定位跟踪, 从而将整个课堂的每一个环节都形象、具体的展现出来。因此, 摄像机定位跟踪技术在虚拟课堂演播室中有着重要的作用。

2 几种摄像机定位跟踪技术的比较

2.1 机械定位跟踪技术

机械定位跟踪技术主要是通过摄像机在运动时, 每个传感器可以快速的检测到齿轮旋转角的变化, 并对这些变化量进行编码, 编码后的数据将通过相关的接口输送到虚拟课堂演播室的主机上。虚拟课堂演播室的主机是根据演播室中摄像机的位置, 在虚拟场景中计算出这个位置的虚拟背景, 再通过虚拟背景叠加真实的任务, 这样就能制作出虚拟课堂演播室的全部内容了。

摄像机机身有运动的, 可以在安装摄像机的云台下安装滑轨, 通过一些机械传感器监测出摄像机云台的位置变化。最后由摄像机镜头的最终拍摄与摄像机的机身进行叠加。这种技术在传感器方面, 对传感器的精度有着很高的要求。这种技术有着一定的缺陷和优点。缺陷主要体现在每次在开机后, 都要进行摄像机初始位置的锁定, 并且需要对每台摄像机都要安装多个传感器, 安装传感器的成本太高。其次就是对摄像机的镜头需要经常地校正。优点就是能够快速的知道摄像机的位置, 而且摄像机的相关位置参数很精确。

2.2 图像识别技术

图像识别技术需要在蓝背景的面板上绘制具有特征的深蓝色的格子。计算机将通过摄像机拍摄的特征图像进行识别, 经过计算机的识别, 可以获取摄像机的的推拉和方向的变化情况。对于摄像机机身有运动的情况, 摄像机向前移动与摄像机的变焦都可以产生图像放大的效果, 但是不同的移动产生的透视效果是不一样的。作为图像识别技术的一种补充, 可以在图像识别的基础上, 在应用红外线定位技术, 这样就能够很好的确定摄像机的位置。这种技术也存在着一些缺点和优点。主要的缺点是:计算机需要对网格中的图像进行匹配和识别, 这样就会延长数据处理的时间, 其次在对摄像机定位时, 没有机械定位的精度高, 同时对图像的处理存在着一定的局限性。它的优点主要表现在:不需要传感器, 降低了设备的成本, 在开机后不需要进行摄像机初始位置的调整就能够进行定位跟踪拍摄。

虚拟课堂演播室在选择摄像机定位跟踪技术时, 需要根据具体的环境特点选择合适的定位跟踪技术, 这样才能实现摄像机定位跟踪技术的功能, 将课堂内容完整、形象的展现给学生。

3 虚拟课堂摄像机定位跟踪技术的作用及任务

虚拟课堂摄像机定位跟踪技术的主要任务是对课堂中每一个环节都拍摄下来, 将这些拍摄下来的图像通过计算机进行一定的处理, 再经过其他的技术手段, 将拍摄的图片进行叠加, 形成与真实情况极为相似的场景, 最后将这些场景融合到一起就会制作出符合虚拟课堂演播室的节目。完成这个任务是需要很多技术的相互协调, 共同发挥各自的优点, 最后制作出好的关于课堂内容的节目。它的作用就是为整个虚拟课堂演播室提供技术支持, 有了这种技术, 就能够实现虚拟课堂演播室的建设, 同时他的出现还能够进一步推动现代网络教育的步伐, 实现远程教育。

4 结语

虚拟课堂演播室中的摄像机定位跟踪技术是整个虚拟课堂演播室系统中的一个极为重要的技术, 也是系统中的核心技术。为此研究这种技术在虚拟课堂中的应用, 将会极大的促进现代远程教育的发展, 更能够创造出高品质的教育资源, 为广大的学习爱好提供良好的视频课件, 丰富课堂教学的形式。总而言之, 虚拟课堂演播室摄像机定位跟踪技术将被更多的领域采用, 也将快速的发展起来。

参考文献

[1]栗曦坤.虚拟演播室在教学中的应用研究[D].辽宁师范大学, 2005..

[2]吴开杨.电视台演播室建设项目的科学管理[J].现代电视技术, 2010.

[3]许五龙, 李育林, 方拥军.高校简约型演播室节目制作系统的构建[J].演艺科技, 2010.

摄像头定位跟踪 篇2

近年来,随着计算机技术和数字多媒体技术的迅速发展,计算机视觉技术也取得了长足的进步,研究人员提出了很多有关目标检测、跟踪等方面的算法。智能视频监控[1,2,3](Intelligent Video Surveillance,IVS)逐渐成为计算机视觉领域的研究热点,它的目标就是要在没有人工干预的情况下,自动对视频进行分析并作出反应。其中,多个摄像机的协同跟踪是智能视频监控的一个重要组成部分。

对于多摄像机协同跟踪的研究,可以解决两大方面的问题:1)获取更广范围监控,单个智能摄像机即使具有运动镜头(PTZ)功能,仍然会受到拍摄空间的限制,多点监控最直接的效果就是扩大监控系统的监控范围;2)增强监控系统主动跟踪能力,使监控据有智能化特征,根据智能摄像机对图像的分析信息进行系统中其他摄像机的调度,如何管理监控系统中各智能摄像机之间的信息交互、共享、协作是智能视频监控中重要的研究课题。

对于多摄像头之间的协同跟踪,国内外很多学者进行了相关方面的研究,提出了多种实现方式[4,5,6,7]。本文主要在CamShift跟踪算法基础上,利用网络通信来实现各摄像机之间的信息交互,从而达到智能监控的效果。

1 系统设计

系统采用C/S的软件架构方式,前端摄像头运行目标检测和跟踪算法,服务器存储待跟踪物体的颜色、大小等特征信息,服务器与前端摄像头保持通信状态,并对摄像头上报的检测结果进行判断,调度摄像头进行物体跟踪。系统的结构如图1所示。

本系统的实现框图如图2所示,左边为各摄像头的运行流程,右边是服务器的运行流程,摄像头与服务器通过socket进行数据传输。首先在区域1拍摄到的图像画面中选取感兴趣的物体,摄像头1保持对物体的跟踪,并将此物体的颜色、区域等特征信息传送给服务器。此后,服务器通知其他各摄像头进行协同跟踪。其他摄像头同时运行背景相减算法进行物体检测,并将检测的结果(这里指的是背景相减后得到的当前帧与背景帧的差值)反馈给服务器,服务器根据各个摄像头反馈上来的数据,判断由哪台摄像头继续进行跟踪。

系统通过OpenCV和Visual C++等开发工具来实现跟踪算法和socket网络数据通信,通过USB摄像头来采集图像数据和进行目标跟踪。

1.1 CamShift跟踪算法及其在MFC上的实现

CamShift算法[8]是对MeanShift算法的改进,它将MeanShift算法应用于连续的图像序列,主要通过视频图像中运动物体的颜色信息来达到跟踪的目的。CamShift算法的一般步骤如下:

1)初始化搜索窗的大小和位置;

2)计算搜索窗内的颜色概率分布;

3)运行MeanShift,获得搜索窗新的大小和位置;

4)在下一帧图像中用步骤3)中的值重新初始化搜索窗的位置和大小,跳转到步骤3)继续运行;

5)计算跟踪目标的方向和尺度。

本文中算法主要通过OpenCV中自带的库函数来实现,先通过USB摄像头来获取视频,在MFC框架下实现视频的采集、显示与处理。用到的OpenCV库函数有:

1)CvCapture*cv CaptureFromCAM(int index);

cvCaptureFromCAM函数给从摄像头的视频流分配和初始化CvCapture结构。

2)IplImage*cvCreateImage(CvSize size, depth,int channels);

CvHistogram*cvCreateHist(int dims,int*sizes,int type,Float**ranges=NULL,int uniform=1);

cvCreateImage用于创建图像头并分配数据,cvCreateHist用于创建指定尺寸的直方图;

3)int cvCamShift(const CvArr*prob_image,,Comp*comp,CvBox2D*box CV_DEFAULT(NULL));

cvCamShift函数实现了CamShift跟踪算法,需要将色彩概率分布图像、搜索窗口的初始值等参数赋给此函数。

1.2 引入背景相减法改进CamShift跟踪算法

在完全采用CamShift算法的情况下,会发生当物体已经离开跟踪区域但是跟踪算法会继续找到一个最近似的区域进行跟踪,大大降低了跟踪算法的实际效果。因此,实验中在运行CamShift算法之前加入了背景相减的运动检测算法。

背景相减法是一种在摄像头固定的情况下常用的目标检测的方法,其基本思想就是将当前帧图像与之前存储的背景图像的各像素点进行相减,将各像素点差值的绝对值相加,得到的值如果大于事先设定的阈值,则判定物体在此区域运动了。

在引入了背景相减法之后,程序有效地克服了单纯使用CamShift在实际目标丢失时继续跟踪的缺陷。

1.3 基于socket的协同跟踪数据传输

结合前面两节的研究结果,本系统的数据传输可分为下行(服务器向摄像头传输数据)和上行(摄像头向服务器传输数据)两个部分。

系统运行时,首先由服务器将要跟踪的物体的信息(跟踪物体的直方图信息、初始搜索窗口大小)下发给各摄像头对应的控制程序,控制程序存储此信息。各摄像头收到服务器的消息后,开始运行背景相减算法,每隔1 s向服务器上报1次检测结果,服务器判定各摄像头背景相减后得到的差值最大的区域即为被跟踪目标所在的摄像头区域。根据此结果,服务器向此摄像头下发跟踪命令。

2 实验与结果分析

2.1 引入背景相减法的CamShift跟踪算法运行效果

未引入背景相减法时CamShift跟踪算法的实现效果如图3所示。当被跟踪物体离开跟踪区域后,CamShift会继续搜索到当前帧中与被跟踪物体最近似的物体进行跟踪,从而大大降低了跟踪的实际效果。引入背景相减法后的效果如图4所示。

从图4可以看出,在引入背景相减法后,当被跟踪离开该区域,程序就停止运行跟踪算法,达到了改进CamShift跟踪算法的效果。

2.2 系统总体运行效果

将以上CamShift和背景相减法相结合,得到的协同跟踪系统效果如图5所示,反应了被跟踪物体(实验室中某位同学)由区域1走到区域4的跟踪情况。从结果中可以看出,本系统达到了预定的协同跟踪的效果。经过试验证明,笔者提出的多摄像头协同跟踪的运行机制可行。

3 小结

笔者研究了CamShift目标跟踪算法,并在MFC平台上成功实现。如果在大规模的视频监控系统中进行目标跟踪,只靠单个摄像头是远远不够的。因此,多摄像头协同跟踪可以解决单个摄像头跟踪范围小的劣势。

本实验是通过USB摄像头和PC机实现的,下一步的目标就是将目标跟踪程序移植到DSP智能摄像机上,将摄像机分布在各监控点,通过网络与服务器相连,由服务器调度摄像机进行协同跟踪。

摘要：研究了CamShift跟踪算法,并在CamShift算法的基础上引入了背景相减法实现对物体的检测。现有的目标跟踪系统都是通过单个摄像机和控制单元来实现的,无法进行大范围的目标跟踪。因此引入了网络传输机制,通过socket将待跟踪物体的特征数据传输给其他可以同时进行跟踪的摄像机,从而实现了多个摄像机对目标的协同跟踪。实验表明,本系统不仅可以进行单个摄像机的对象跟踪,而且能够顺利地进行协同跟踪,达到较好的协同跟踪的效果。

关键词：目标跟踪,CamShift算法,背景相减法

参考文献

[1]LIU Xiaodong,SU Guangda.A new network-based intelligent surveil-lance system[C]//Proc.5th International Conference on Signal Processing,WCCC-ICSP2000.Beijing:[s.n.],2000,2:1187-1192.

[2]REMAGNINO P,SHIHAB A I,JONES G A.Distributed intelligence for multi-camera visual surveillance[J].Pattern Recognition,2004,37(4):675-689.

[3]HAERING N,VENETIANER P L,LIPTON A.The evolution of video surveillance:an overview[J].Machine Vision and Application,2008,19(5-6):279-290.

[4]NGUYEN N T,VENKATESH S,WEST G,et al.Multiple camera coordination in a surveillance system[J].ACTA Automatica Sinica,2003,29:408-422.

[5]MIYAKI T,YAMASAKI T,AIZAWA K.Multi-sensor fusion tracking using visual information and WI-FI location estimation[C]//Proc.2007 First ACM IEEE International Conference on Distributed SmartC ameras.[S.l.]:IEEE Press,2007:275-282.

[6]MICHELONI C,FORESTI G L,SNIDARO L.A network of cooperative cameras for visual surveillance[J].IEEE Proceedings-Vision,Image and Signal Processing,2005,152(2):205-212.

[7]AMIT K,CHOWDBURY R,SONG B,et al.Distributed multi-target tracking in a self-configuring camera network[EB/OL].[2010-05-15].http://www.sciweavers.org/publications/distributed-multi-target-tracking-self-configuring-camera-network.

摄像头定位跟踪 篇3

智能视频监控已成为计算机视觉领域研究的热点问题[1]。其中,PTZ(Pan, Tilt, zoom)摄像头被认为是最有用的传感器之一[2,3]。在监控系统中,PTZ摄像头主要用来做目标检测和目标跟踪[4,5],从PTZ摄像头采集的图像中提取出运动目标区域非常重要。摄像头的运动导致了背景的变化,使得这一工作面临很大的挑战。如何解决背景运动问题,国内外就这一难题展开广泛的研究,主要归为以下两类:一是将PTZ摄像头和静态摄像头联合,组成主从控制系统进行跟踪;二是直接采用单一PTZ摄像头对目标跟踪。

1.1 静态摄像头和PTZ联合跟踪

近年很多学者采用PTZ摄像头和静态摄像头来组成主从控制系统解决背景运动问题[6,7,8]。摄像头联合跟踪的难点在于确定这些摄像头视场FOV(Field of View)间几何位置关系。文献[6,8]采用摄像头标定的方法来解决这一问题。这类方法通常采用静态摄像头对运动目标进行检测和跟踪,根据其跟踪的结果控制PTZ摄像头的运动,进而追踪运动目标。文献[7]设计了一个实时动态多摄像头的控制系统。该系统通过静态摄像头采用基于形状的方法跟踪运动目标,使用通用的世界坐标系统来进行摄像机间的标定,通过几何变换将运动目标的坐标转化为PTZ摄像头运动相应的水平旋转(pan) 和垂直旋转(tilt)值。文献[9,11]结合人脸检测提出了类似方法。

1.2 单一PTZ摄像头的目标跟踪

摄像头PTZ控制的目标跟踪通常是指仅使用一台PTZ摄像头对感兴趣目标进行实时跟踪,并根据跟踪结果控制PTZ摄像头运动来追踪目标,以保持感兴趣目标始终位于摄像头视场中心区域。由于摄像头运动导致背景随之变化,通常采用背景减和特征匹配的方法来实现摄像头PTZ控制的目标检测与跟踪。

1.2.1 背景减方法

背景减方法被广泛应用于静态摄像头下的运动物体检测,具有很高的准确性。很多国内外的学者就背景减方法应用于摄像头PTZ控制的运动物体检测做了广泛研究。文献[12,13]通过学习摄像头在不同位置和拉伸镜头(zoom)下的背景建立监控场所的马赛克(Mosaic)背景模型,利用背景减的方法来定位运动物体。文献[14]提出一种基于单PTZ摄像头的视频监控系统框架。 该框架分为两部分:线下部分和在线部分。线下部分利用SIFT特征和光束法生成整个监控区域的马赛克背景模型。在线部分,利用SIFT特征和光束法将实时视频流中的当前帧映射到马赛克背景上对应的位置,并利用背景减检测出运动目标。

另一类改进背景减的方法是,利用背景补偿技术来解决背景的运动问题。背景补偿技术分为基于硬件的背景补偿[15]和基于图像的背景补偿[16,17]两类。基于硬件的背景补偿运算量小且与图像背景的复杂度无关,但需要实时查询摄像头当前的水平角度、垂直角度、镜头的拉伸倍数,且这些参数的获取和图像的时间同步问题很难解决。基于图像的背景补偿通过提取连续图像帧的特征,来统计连续图像帧的运动参数。基于图像的背景补偿不需要特殊的摄像头,但是其性能会受背景环境复杂度的影响,计算复杂度也相对较高。文献[16]将连续图像帧的全局运动逼近为六参的仿射变换,通过角点检测和对应块匹配技术来获取相邻图像帧的对应特征点,应用全局运动估计算法来计算这些参数。但是该方法对运动导致的模糊(motion blur)和含有很少角点的背景非常敏感。文献[17]提出将连续图像帧的全局运动逼近为四参的仿射变换,利用多尺度的霍夫变换做参数估计,解决了运动导致的模糊问题。

上述这些方法均需要对运动背景进行建模,背景模型需随环境的变化而改变,其鲁棒性较差且计算复杂性较高,难于做到实时处理。

1.2.2 基于特征匹配的方法

基于特征匹配的方法也是一种常用的摄像头PTZ控制的检测跟踪方法。文献[18]提出了一种使用单PTZ摄像头实时跟踪非刚体目标的方法。该方法提出了一种综合考虑前景和背景目标表述模型,通过贝叶斯假设验证来确定每个像素是否为目标像素,并用CAMSHIFT来进行跟踪。文献[19]提出了一种单PTZ摄像头下的快速运动物体的实时跟踪方法。该方法通过卡尔曼滤波来预测均值漂移算法初始搜索窗口的位置,并引入感兴趣区域(ROI)来降低复杂度,达到跟踪快速运动目标的效果。文献[20]提出了一种使用单PTZ摄像头在大范围复杂场景下的目标跟踪方法。该方法使用基于三维带权重的HSV直方图特征的均值漂移算法进行跟踪,引入模板匹配的方法来跟踪同一目标,并引入运动历史图(MHI)解决目标跟丢的问题。文献[21,22,23]提出了网络PTZ摄像头在低帧率条件下的人体跟踪算法。该方法在PTZ摄像头静止时做运动检测,并对检测出的运动块采样,利用分类器筛选出跟踪目标。

本文提出了一种基于颜色和局部二进制模型LBP(local binary patterns)[24]纹理的多特征融合目标相似度匹配算法,并建立了基于候选区匹配的摄像头PTZ控制的目标跟踪方法。 在对PTZ摄像头的目标检测和跟踪算法进行研究和分析的基础上,提出了改进的对称差分运动目标检测算法,以此来确定目标运动候选区域。考虑摄像头命令的传输和执行延时,利用目标运动轨迹对目标位置加以预测,并根据目标的预测位置自动控制PTZ摄像头主动追踪目标,实现了支持帕尔高协议和雅安行业标准协议的摄像头控制方法。

2 PTZ摄像头的目标跟踪方法

2.1 系统结构流程

基于PTZ摄像头的目标跟踪,需要解决摄像头运动导致的背景运动问题。由于摄像头运动导致的背景变化复杂,要达到实时效果比较困难,因此考虑将PTZ摄像头分为运动和静止两种状态。当摄像头高速运动时,采集到的图像具有明显的晃动,所以,在摄像头处于运动状态时不处理视频数据,静止状态进行视频分析,即智能视频分析和摄像头运动交替进行。基于此,本文提出一种基于候选区匹配的摄像头PTZ控制的目标跟踪方法,该方法的系统流程如图1所示。

其中,图像获取模块主要负责前端摄像头监控视频的图像采集,将PTZ静止状态所获取的视频图像传递给目标定位部分进行分析处理。目标定位部分主要将视频图像进行实时分析,确定目标在图像中的准确位置,并将目标的位置信息提供给后续的目标运动估计模块。目标运动估计部分根据每帧图像所在的位置坐标计算目标的运动轨迹和运动速度。同时考虑摄像头的运动和网络传输延时,以及视频分析所需时间,预测目标在这些延迟时间之后的位置坐标,并传给摄像头控制部分。摄像头控制部分根据预测的目标位置,自动控制PTZ摄像头主动追踪目标,保证目标处于摄像头视场的中心区域。下面分别进行叙述。

2.2 目标检测跟踪

本文提出PTZ摄像头下基于候选区匹配和对称差分相结合对目标进行检测与跟踪。使用颜色和纹理特征相结合的方式来对目标进行表示,利用基于候选区匹配的模板匹配方法来定位目标的位置。考虑到摄像头命令的传输和执行延时,根据目标运动的历史信息对目标的位置加以预测。通过目标的预测位置来计算PTZ摄像头的运动方向、运动速度和运动时间,自动控制摄像头主动追踪目标。从而使目标处于摄像头视场的中心区域,达到较大范围和较长时间追踪目标的目的。我们将此部分分为目标定位和目标运动估计两部分。

其目标定位工作流程如图2 所示。其中,初始化阶段由人手动标定需要跟踪的感兴趣目标。此方法通过自动控制PTZ摄像头来主动追踪目标,所以目标在大部分时间内都将处于摄像头视场的中心范围内。为了减少计算量,初始时只在图像的中心区域范围内采用基于候选区匹配的方法搜索目标。当图像中心区域的候选区与目标匹配成功时,完成目标定位,输出目标的位置。当在图像的中心区域没有匹配成功,说明目标已走出图像的中心区域。此时,在整幅图像中采用对称差分的运动目标检测方法确定前景目标,以此来确定目标的大致区域,从而减少了匹配搜索的范围,并在这些区域采用候选区匹配的方法定位目标的位置。若依然没有匹配到合适的目标,说明目标被遮挡或已完全走出摄像头的监控视场,此时则不输出目标的位置。对实时的视频流中的每一帧图像重复上述步骤,直到手动取消要跟踪的感兴趣目标或重新标定要跟踪的感兴趣目标。如果连续跟踪失败次数达到规定上限,则跟踪失败。为了实现此过程,需要确定目标的表示形式、候选区的选取方法、目标与候选区的相似性度量、运动区域的估计方法,以及摄像头PTZ控制方法,下面分别叙述。

2.2.1 目标表示

在PTZ摄像头对目标跟踪过程中,跟踪目标表面形状通常用椭圆或矩形框来表示,本文采用矩形框表示。目标在第t帧图像中表示为Pt,其形式如下

Pt=(c(t),h(t),w(t)) (1)

其中,c(t)表示目标中心坐标,h(t)矩形高,w(t)表示矩形宽。

为了定位感兴趣目标在图像中的位置,需要对候选区与感兴趣目标进行相似性度量。为此,首先选取合适的特征来对目标进行表示。本文使用归一化的LBP直方图和归一化的HSV颜色直方图来表示感兴趣运动目标。

2.2.2 候选区的选取

当目标运动速度较慢时,通过自动控制PTZ摄像头,使目标处于摄像头视场的中心区域。当目标速度较快时,摄像头的运动可能滞后于目标,或者预测目标出现较大偏差,使目标处于摄像头视场的中心区域之外。此时,如果目标仍处于视场内,采用运动目标检测方法能确定目标所在视场的大致区域。

以上分析表明目标或者处于图像的中心区域Rcenter,或者处于检测到的目标运动区域Rmove。为了获得更加准确的目标位置,将检测到的运动前景向四周扩展,得到包含目标的运动区域Rmove。因此,只需在Rcenter和Rmove这两个区域搜索目标,以此减少搜索范围,降低目标定位的计算量。

通常,匹配算法采用以像素为单位来滑动搜索窗口进行匹配搜索,这样能准确得到目标位置,但是计算量大,难以实时应用。本文采用将搜索区域划分为若干矩形候选区RRi的方法来减少运算量,获得目标位置。矩形候选区RRi的大小与目标表示大小Pt大小一致。

当目标处于图像的中心区域Rcenter时,在图像中考虑N个矩形候选区RRi(i=1,2,…,N)。图3(a)将将候选区分割成3×5共15个无重叠矩形区域。其中,黑色为图像背景,白色矩形框为候选区。矩形候选区数目N的选取与目标的运动速度有关。目标的运动速度越快,目标越容易出现在图像的中心区域之外,则选取更大的N覆盖更大范围的中心区域;若目标的运动速度较慢,则选取较小的N。

(a) 无重叠矩形候选区示意图(将候 (b) 图像划分9个子区域示意图选区分割成3×5区域,对每个区域进行相似性匹配)

2.2.3 目标与候选区的相似性度量

确定了目标的候选区域后,通过目标与候选区的相似性度量选择候选区,来定位目标位置。为了提高跟踪的鲁棒性,我们采用多特征融合的方法对目标跟踪,将每个候选矩形区域RRi与初始选定跟踪目标M间的多个特征的相似性以一定的权重组合成多特征融合的相似度量ScoreRRi,选取相似度量ScoreRRi最大的候选区为目标。多个特征间的权重与实际应用的场景有关。

设H${}_{d\times dLB{\rm P}}^{RRi}$为候选区域RRi的归一化的d×d邻域的LBP直方图,H${}_{d\times dLB{\rm P}}^{RRi}$为初始阶段选定目标M的归一化的d×d邻域的LBP直方图,则候选区域与目标的归一化的d×d邻域的LBP直方图距离为$[0,\sqrt{2}]$:

$d{}_{d\times dLB{\rm P}}({\rm H}{}_{d\times dLB{\rm P}}^{RRi},{\rm H}{}_{d\times dLB{\rm P}}^m)=\sqrt{{\displaystyle \sum _n(}{\rm H}{}_{d\times dLB{\rm P}}^{RRi}[n]-{\rm H}{}_{d\times dLB{\rm P}}^m[n]){}^2}(2)$

其中,n为归一化LBP颜色直方图的块编号。dd×dLBP的取值范围为$[0,\sqrt{2}]$。

直方图间的相似性与距离成反比,因此定义LBP直方图间的相似性为:

$\mu {}_{d\times dLB{\rm P}}(d{}_{d\times dLB{\rm P}})=1-\frac{d{}_{d\times dLB{\rm P}}}{\sqrt{2}}(3)$

考虑实际跟踪过程中目标尺度变化的影响,采用3×3邻域和5×5邻域的归一化LBP直方图,则纹理相似性度量为:

$\mu {}_{LB{\rm P}}=\frac{\mu {}_{3\times 3LB{\rm P}}+\mu {}_{5\times 5LB{\rm P}}}{2}(4)$

其中μLBP取值范围为[0,1]。μLBP越大说明候选区域与目标的纹理越相近,则该候选区域包含目标的可能性也就越大。

设H${}_{{\rm H}SV}^{RRi}$,H${}_{{\rm H}SV}^m$分别为候选区域RRi,初始选定目标M的归一化的HSV颜色直方图。则候选区域与目标的归一化HSV颜色直方图间距离dHSV为:

$d{}_{{\rm H}SV}({\rm H}{}_{{\rm H}SV}^{RRi},{\rm H}{}_{{\rm H}SV}^m)=\sqrt{{\displaystyle \sum _n(}{\rm H}{}_{{\rm H}SV}^{RRi}[n]-{\rm H}{}_{{\rm H}SV}^m[n]){}^2}(5)$

其中,n为归一化HSV颜色直方图的bin。dHSV的取值范围为$[0,\sqrt{2}]$,该距离的成员函数μHSV(dHSV)定义为:

$\mu {}_{{\rm H}SV}(d{}_{{\rm H}SV})=1-d{}_{{\rm H}SV}/\sqrt{2}(6)$

直方图间的另一种度量为相关系数。候选区域与目标的归一化HSV颜色直方图的相关系数,即相似性SHSV为:

$\begin{array}{l}S{}_{{\rm H}SV}({\rm H}{}_{{\rm H}SV}^{RRi},{\rm H}{}_{{\rm H}SV}^m)\\ =\frac{{\displaystyle {\sum }_n(}({\rm H}{}_{{\rm H}SV}^{RRi}[n]-\overline{{\rm H}{}_{{\rm H}SV}^{RRi}})({\rm H}{}_{{\rm H}SV}^m[n]-\overline{{\rm H}{}_{{\rm H}SV}^m}))}{\sqrt{{\displaystyle {\sum }_n(}{\rm H}{}_{{\rm H}SV}^{RRi}[n]-\overline{{\rm H}{}_{{\rm H}SV}^{RRi}}){}^2}\cdot \sqrt{{\displaystyle {\sum }_n(}{\rm H}{}_{{\rm H}SV}^m[n]-\stackrel{—————}{{\displaystyle {\rm H}{}_{{\rm H}SV}^m}}){}^2}}\end{array}(7)$

$\text{Η}{}_{\text{Η}\text{S}\text{V}}^{\text{R}\text{R}\text{i}},\text{Η}{}_{\text{Η}\text{S}\text{V}}^{\text{m}}$分别为候选区域与目标的归一化HSV颜色直方图的均值。SHSV的取值范围为[-1,1]。因此该相似性的成员函数μHSV(SHSV)定义为:

$\mu {}_{{\rm H}SV}(S{}_{{\rm H}SV})=(1+\frac{S{}_{{\rm H}SV})}{2}(8)$

μHSV(dHSV)取值范围为[0,1],μHSV(SHSV)取值范围为[0,1]。颜色相似性度量定义为:

$\mu {}_{{\rm H}SV}=\frac{\mu {}_{{\rm H}SV}(d{}_{{\rm H}SV})+\mu {}_{{\rm H}SV}(S{}_{{\rm H}SV})}{2}(9)$

其中μHSV的取值范围为[0,1]。μHSV越大说明候选区域与目标的颜色越相似,则该候选区域包含目标的可能性也越大。

目标整体上的相似性度量,考虑LBP纹理和HSV颜色信息的融合,因此目标M与候选区域RRi的相似性度量为:

ScoreRRi=α×μLBP+(1-α)×μHSV (10)

其中,α表示纹理相似性度量占的权重,取值范围为[0,1]。α的选取应该能较好地表达目标的纹理信息和颜色信息。若目标的纹理信息更加明显,则α越大(大于0.5)。若目标的颜色信息更加明显,则α越小(小于0.5)。本文中取α=0.5。

2.2.4 目标位置的确定

通过上述计算,确定了目标M与候选区(i=1,2,…,N)的相似性度量ScoreRRi。那么,目标与候选区的最大相似性度量Smax为:

Smax=maxi(∀ScoreRRi) (11)

若目标在候选区RRi(i=1,2,…,N)的范围中,则目标必定在满足ScoreRRj=Smax的候选区RRj中。实验表明,目标有时不在候选区RRi(i=1,2,…,N)范围中(如目标被遮挡或不在摄像头视场范围),若选择满足ScoreRRj=Smax的候选区域RRj为目标所在位置,则出现偏差。为解决这一问题,引入置信值K。根据经验,这里取置信值K为0.8。

当在图像的中心区域Rcenter中匹配时,若Smax≥K,则认为目标在图像的中心区域,目标在满足ScoreRRj=Smax的候选区RRj。若Smax<K,则说明目标不在图像的中心区域,此时目标运动速度较大。采用改进的对称差分进行前景目标检测,得到目标运动区域Rmove。

当在图像的运动区域Rmove中做匹配时,若S′max>K,则说明目标在该运动区域中,目标在满足ScoreRRj=S′max的候选区。若S′max<K,则说明目标不在该运动区域。此时无法确定目标的位置,下一帧重新检测。当匹配到目标的位置时,输出目标的位置给摄像头控制模块。

2.2.5 基于对称差分的前景检测和运动区域估计

当在图像的中心区域没有匹配到满足条件的候选区时,通过改进的对称差分进行前景目标检测,得到目标运动区域。基于对称帧差分的运动目标检测方法能在很短的时间内检测到运动目标,满足快速检测的要求。

如图4所示,在检测到运动目标的位置(较小矩形框)后,在其周围向左、向右分别扩展1/2目标宽度,向上、向下分别扩展1/4目标高度,得到运动区域的范围(较大矩形框)。因为检测到的运动目标的位置与实际目标的位置可能会出现偏差,所以扩大前景的范围以保证运动区域包含完整的目标。将此运动区域内划分为若干个与感兴趣目标大小一致的候选区,并在候选区中采用模板匹配的方法定位目标的准确位置。

3 摄像头PTZ的自动控制

为了使感兴趣目标在摄像头视场的中心区域运动,需要根据目标在图像中的位置自动控制PTZ摄像头主动追踪目标。通过实验发现,如果不考虑摄像头的命令传输和执行延时,仅通过目标定位得到目标位置(x,y)估计摄像头的运动参数 (direct, speed, time)并自动控制摄像头运动时,摄像头的运动总是相对滞后于目标的运动。因此,需要综合考虑目标在图像中的坐标位置(x,y)和运动速度Vt,来计算摄像头的运动参数。

3.1 目标位置的预测

根据目标运动历史信息可以得到目标的平均运动速度。

$\begin{array}{l}V{}_x^t=(1-\beta )\times V{}_x^{t-1}+\beta \times ({\rm I}{}_x(t)-{\rm I}{}_x(t-1))\\ V{}_y^t=(1-\beta )\times V{}_y^{t-1}+\beta \times ({\rm I}{}_y(t)-{\rm I}{}_y(t-1))\end{array}(12)$

其中Ix(t),Ix(t-1),Iy(t),Iy(t-1),分别为在第t帧和第t-1帧时目标在x方向和y方向的坐标。V${}_{\text{x}}^{\text{t}}$,V${}_{\text{y}}^{\text{t}}$分别为在第t帧和第t-1帧时目标在x方向和y方向的平均运动速度。β为目标速度的更新速率,当目标的速度跳变比较大时,选取较大的β,反之选取较小的β。

假设摄像头的命令传输和执行具有固定延时Δt。当智能视频分析模块检测到目标在第t帧的位置为 (x,y),根据目标的平均运动速度Vt预测目标在Δt时间后所处的位置(x′,y′)为:

x′=x+V${}_x^t$×Δty′=y+V${}_y^t$×Δt (13)

根据位置(x′,y′),计算得到摄像头的运动参数为(direct, speed, time)。

3.2 摄像头运动参数的确定

在得到了目标的预测位置(x′,y′)后,接下来将根据预测位置来确定摄像头的运动参数(direct, speed, time)。这里将图像分为如图3(b)所示的9个子区域。

(1) 参数direct确定

如果预测位置(x′,y′)属于区域9,则摄像头静止。如果预测位置(x′,y′)属于区域1、区域2、区域3、区域4、区域5、区域6、区域7或区域8,则摄像头需要向方向左上、上、右上、右、右下、下、左下、或左运动。

(2) 参数speed确定

将每个区域(区域1-8)按照离中心区域9的远近划分为4个子区域,这里将摄像头的运动速度也划分为4个等级,当预测位置(x′,y′)落在离中心区域越远的子区域时,速度speed越大。

(3) 参数time确定

为简化计算,假定摄像头每次的运动时间固定为一个常数,根据经验,选取摄像头运动时间为20ms。

在跟踪过程中,当摄像头静止时对视频图像分析处理,每一帧得到一个目标的位置坐标(x,y),预测后得到目标的一个预测坐标(x′,y′)。然后根据预测坐标(x′,y′)计算摄像头的运动参数(direct, speed, time)。

4 实验结果与分析

本实验硬件测试环境:处理器(四核):Intel core i5 cpu 750 @2.67GHz;视频采集卡:海康威视DS-4008HC;摄像头:YAAN-5106。

软件测试环境为:实验程序基于Microsoft Visual Studio 2008工具开发,操作系统为Windows XP,视频的读取和图像处理部分直接调用开源库OpenCV 2.0中的相关函数。摄像头控制支持帕尔高协议和雅安行业标准协议。

本实验测试场景为室内环境,初始时人为标定跟踪的感兴趣目标。图中矩形区域为检测到的目标,矩形区域的大小初始化确定。

图5是目标在多运动前景情况下的跟踪结果。目标从第2029帧开始从图像的中心区域向左运动。在第2029帧到第2069帧中,图像中存在两个运动目标,分别向相反的方向运动。摄像头能够主动追踪正确的目标(初始选定跟踪的目标)向左运动。目标从第2069帧开始进入有部分遮挡的区域,从第2219帧可以看出,当目标在运动过程中被部分遮挡时,基于候选区匹配的目标主动跟踪方法依然能够较好地主动追踪目标。从第2029帧到第2219帧,可以看到摄像头视场(FOV)的变化,摄像头的视场从房间的右边跟随着感兴趣目标移动到房间左边。

图5表明,当监控场景中存在多个目标或有部分遮挡时,基于候选区匹配的目标主动跟踪方法能自动控制摄像头主动追踪感兴趣目标,保证目标处在摄像头的视场范围内,达到了较大范围和较长时间主动跟踪感兴趣目标的效果。

图6表示在夜晚(有光照变化)和完全遮挡时的跟踪结果。如图6所示,第380帧检测到初始选定的感兴趣目标。第390帧时干扰目标进入摄像头视场并从右向左运动,第400帧时感兴趣目标开始从左向右运动。第408帧时,干扰目标和感兴趣目标在摄像头视场的中心区域相遇,感兴趣目标开始被部分遮挡,此时依然检测到感兴趣目标。在第413帧时感兴趣目标被完全遮挡,此时没有检测到感兴趣目标。到第418帧时感兴趣目标走出完全遮挡,此时检测到部分被遮挡的感兴趣目标。

通过图6中的参照物(门),可以看出摄像头的监控视场在逐渐的向右运动。在第380帧时,图像只包含门的左半部分。到第400帧时,图像中已包含了门的所有部分。到第418帧时,门右边的机柜也完全进入了摄像头的视场。在感兴趣目标从左向右的整个运动过程中,摄像头不断地自动向右旋转主动追逐感兴趣目标向右运动。在第413帧时,由于摄像头运动速度较快,还出现了一定的模糊现象。

图6说明,当目标被短时间完全遮挡时,基于候选区匹配的目标主动跟踪方法依然能够自动控制摄像头主动追逐目标。同时该方法在夜晚条件下也能较好地主动追踪目标,这是因为归一化的LBP直方图特征对光照和阴影不敏感,能较好地表示目标。

5 结 语

实验表明,基于候选区匹配的目标主动跟踪方法能在不同光照条件,以及瞬时完全遮挡的多目标环境下,自动控制摄像头主动追踪目标,使目标处于摄像头的监控视场。相比静态摄像头下的目标跟踪,该方法能在更大范围和更长时间内跟踪感兴趣目标,能够满足实时性要求。同时,该方法有些地方尚待改进,如检测到的目标位置与感兴趣目标实际位置之间尚有一定偏差。如何在保证实时性情况下,选择具有更加鲁棒性的特征,扩大其适用范围,尚待进一步研究。

摄像头定位跟踪 篇4

多摄像机目标跟踪在智能监控[1]、视频内容理解[2]等方面有着广泛的应用。目标在一个摄像机中发生遮挡时,在另一摄像机视角观察可能不发生遮挡,因此,使用多摄像机可以很好地解决单摄像机因目标遮挡产生跟踪丢失的问题。但是从不同的摄像机中观察到的目标信息很容易受环境因素(如视角、光线等)的影响,导致观察到的目标信息存在着较大差异,因此多摄像机鲁棒性目标跟踪具有巨大的挑战性。

常见的多摄像机目标跟踪的方法有3类:1)基于特征匹配[3]。如文献[4]采用Mean-shit跟踪法,其通常采用颜色特征对目标进行匹配,计算简单;但是目标颜色受光线影响很大,从不同的角度观察目标时,颜色特征会发生变化,此时容易产生跟踪错误。由于不同摄像机中观察到的目标特征受环境因子影响较大,因此使用特征匹配的鲁棒性较差。2)使用3D几何约束的方法[5,6]。这些算法将目标的特征点映射到同一三维空间中,通过比较这些特征点在世界坐标系中的位置来建立目标的匹配关系。但是这种方法要先对摄像机进行标定,获取摄像机的内外参数,操作较繁琐,并且在实际应用的复杂环境中,难以通过标定获取精确的摄像机内外参数,导致目标匹配的正确率下降。3) SIFT特征点匹配法[7,8,9]。SIFT具有旋转、尺度缩放、亮度变化保持不变性的特征,但是使用SIFT变换时,计算量较大,难以实现实时的目标跟踪。当两个摄像机的观察角度的差异性较大时,各个摄像机观察到的同一目标的特征会存在较大差异,SITF匹配法的准确度也会降低。

综上所述,多摄像机中使用目标底层特征(颜色、特征点等)很容易受到环境的约束,从而引起目标跟踪丢失。因此本文提出了一种新的多摄像机目标跟踪算法,算法模块的框架如图1所示,设摄像机A1,A2,…,An为相邻的摄像机群。

如图1所示,首先获取多个摄像机的视频流,然后使用目标交接获取多摄像机之间目标的对应关系,使得不同摄像机中的同一个目标具有相同的标号。然后提出使用新的多摄像机跟踪算法,当一个摄像机画面的目标发生遮挡事件或分离事件时,与相邻不发生遮挡事件或分离事件的摄像机画面进行目标交接,从而解决目标被遮挡或分离时产生的误匹配问题,实现稳定的目标跟踪。

2 目标交接

首先获取多摄像机画面之间的仿射变换关系,从而计算出多摄像机画面的对应坐标;接着本文提出提取图像中的运动目标坐标,根据目标坐标和仿射变换矩阵计算出与相邻摄像机画面的对应目标,识别出目标标号,从而实现目标交接。

2.1 仿射变换

仿射变换[10]可以实现二维平面到二维平面的线性变换,因此使用仿射变换矩阵可以获取图像平面坐标之间的映射关系。设I1,I2分别为不同视觉观察同一场景ζ的摄像机,目标a和目标b在I1,I2画面中的投影位置如图2所示。

设I1画面到I2画面的仿射变换矩阵记为H[10]

其中,h11～h32是仿射变换矩阵的系数,代表水平、垂直方向上的位移量、旋转因子、缩放因子。

设χ是场景ζ中的任意一点,在I1,I2画面中的投影坐标分别设为(x1,y1)和(x2,y2),则其坐标之间的映射关系满足式(2)。从而根据式(2)可以计算出一个平面中的任一坐标点对应到另一平面的坐标位置。

式(2)展开可得到

通过式(3)可以实现两个平面之间的坐标对应,为目标标号识别打下基础。

2.2 目标标号识别

如图3所示,设水平地面为参考平面,不同视角的摄像机观察到目标c在地面的投影分别设为c1、c2。当目标的世界坐标与参考平面的深度信息不一致时,其投影在参考平面的位置是不一样的,如图3中c1、c2除了脚部部位,其他部位都不重合。因此,本文首先采用高斯背景重建算法[11]对运动目标进行检测,然后使用文献[12,13]的blob算法提取运动目标。由于目标最低点与地面接触,其深度信息相同(都为0),因此本文提出使用运动物体的最低点代表目标坐标的方法,有效地减少了由于特征点的深度信息不一致而引起的变换误差。

设目标ρ在摄像机I1画面中的最低点坐标为,代入式(2)和式(3),计算出其在摄像机I2画面中坐标为;设I2中目标x的像素点坐标集为Area(x),其中,目标x的任一坐标点设为,其中k=0,1,…,n,则Area(x)的定义如式(4)所示;如果满足式(5),则表示目标p与目标x为同一目标,从而识别出目标x的标号,实现目标标号交接。

3 多摄像机跟踪

目标不发生遮挡时,一般使用卡尔曼滤波[14]的方法可得到良好的跟踪效果。当目标之间发生遮挡事件时,多个目标重叠在一起,部分目标的特征信息被遮挡丢失;多目标发生分离事件时,由于目标被遮挡期间目标的特征信息丢失,根据目标的先验知识难以将遮挡后重新出现的目标进行准确地识别,此时稳定的目标跟踪存在着巨大挑战。

因此,当目标之间在某一个摄像机中发生遮挡、分离事件,而在另一摄像机视角观察不发生遮挡、分离事件时,本文提出一种新的目标遮挡事件和分离事件的判别算法,准确地判断事件的发生,并提出使用多摄像机之间的目标交接,获得遮挡或分离目标的标号,实现持续的目标跟踪。

设camA和camB是相邻的摄像机,当多个目标发生遮挡或分离事件时,可使用相同的方法进行分析。目标A和B是camA在t-t0时刻到t+t0时刻观察到的运动物体,如图4a～图4c所示;在camB中观察到的状态如图5a～图5c所示。

图4a～图4c中,目标在t时刻发生遮挡事件,目标在t+t0时刻发生分离事件;图5a～图5c中,目标A和B没有发生遮挡和分离事件。

设在任一时刻,当一个摄像机中发生遮挡或分离事件(如图4的camA),相邻的一个摄像机不发生该事件时(如图5的camB),本文提出使用目标交接从相邻摄像机画面中获取目标的信息,实现目标识别。图6展示了两个摄像机进行目标跟踪算法的流程图,该方法适用于多摄像机中两两摄像机进行多目标跟踪的情况。

图6中,设X={x1,x2,…,xn}∈N为camA中发生遮挡或分离事件的目标集合,当camA中的目标发生遮挡或分离事件时,将其目标信息发送给camB,然后通过式(3)～式(5)识别出目标的标号,并发送给camA,从而实现目标X在camA的目标跟踪。

3.1 OE判断及目标识别算法

当多目标发生遮挡事件时,如图4a～图4c所示,观察到的目标个数由多个变为一个。由于camB中目标无遮挡事件发生,使用卡尔曼滤波的方法可实现准确的跟踪结果。

假设在t时刻,目标A的最低点坐标在camB中的坐标为t(x,y);已知camB中t时刻有目标A和B,HcamB-camA是camB到camA场景的仿射投影矩阵,设t时刻camA中任一点的坐标用表示,目标x1与x2是camA中的任意两点,将其代入式(2)和式(3)可计算出和在camA中的投影坐标,如式(6)所示

设Area(x)为目标所占地区域范围,式(7)的定义为

如果满足式(7),则认为目标x与camB中的目标A,B对应,即x是目标A,B的重叠体,从而识别出遮挡目标,解决目标遮挡时产生跟踪丢失的问题。

3.2 SE判断及目标识别算法

当目标发生分离事件时,如图4b～图4c所示,重叠目标体在图4c中分离成多个目标。此时使用单摄像机跟踪的方法将会把分离出来的目标认为是新出现的目标,造成目标跟踪失败。

设图4c中B'为重叠后分离出来的目标,t+t0时刻,脚点坐标设为;设camA中任一点x的坐标用表示,camB中的目标B的脚点坐标位置设为,则根据式(2)得目标B在camA中的投影坐标为

设εH为允许的投影误差,式(9)的定义为

若目标B'的坐标符合式(9),则表示目标与B'的标号与camB中目标B的标号相同,其为同一目标。通过上述方法即可识别出重叠后产生分离的目标标号,解决了重叠目标分离后产生跟踪丢失的问题。

4 实验结果分析

使用本文算法对两组实验的结果分析如下:

1)与SIFT特征跟踪算法的比较实验

使用本文提出的多摄像跟踪机制和文献[9]的方法使用sift特征点进行目标跟踪的实验效果进行对比。实验一场景选择一个小区的门口,门口的行人较多,很容易引起目标遮挡。本文方法可适用到多个摄像机,但是多摄像机中两两摄像机通信的方法是相同的,因此本次实验展示了使用两个摄像机对目标进行跟踪的效果。两相邻摄像机分别设为camA和camB,camA的焦距大小为camB的1/4,因此camB比camA具有更宽广的视角,并且camA与camB对场景观察角度的夹角为75°,此时,camA与camB的观察到的目标特征信息具有较大的差异。

camB的场景如图7所示,camA的场景如图8～图9所示。camA与camB同时对场景进行监控,监控视频中第201帧到568帧有两个行人经过监控区域。其跟踪效果如图7所示。

目标跟踪的效果用矩形框和标号标识,被认为是相同的目标用同一颜色的矩形框框出,并且标号相同。由图7可以看出,在camB的视野中两个目标的运动过程没有发生遮挡,使用卡尔曼滤波的方法在单摄像机中成功进行跟踪。因此,在目标不发生遮挡的情况下,使用单摄像机跟踪算法可获得良好的效果。

在camA中,第250帧到402帧两个运动目标发生遮挡,用本文提出的根据事件判断机制对camA的目标进行跟踪的效果图如图8所示。可以看到,同一目标的标号、外接矩形框的颜色都相同。由图8c可看到本文算法可以准确地对遮挡目标进行识别,由图8d可看到当目标发生分离事件后可以继续对目标进行跟踪。

文献[9]的方法使用sift特征点进行目标匹配得到的效果图如图9所示。从图9b和图9c中看到,当目标之间发生遮挡时,2号目标特征点跟踪丢失,导致2号目标被认为消失了,跟踪失败。由图9d看到重叠目标分离时,由于历史信息的丢失,2号目标被认为是一个新的目标,外接矩形框的颜色改变并且其标号变成3,不能对目标进行持续跟踪。

因此,由图8和图9可以看出,使用本文的方法能成功地对发生遮挡事件和分离事件的目标进行持续跟踪。

2)遮挡情况下多目标持续跟踪实验

设图10～图11分别为摄像机camC、canD在同一时间段拍摄的画面,其场景比较复杂,存在着较多的运动目标,且运动目标多次发生遮挡、分离事件。使用本文算法的跟踪效果图如图10～图11所示。

图11b～图11d的时间段内,4号目标发生了两次遮挡事件,1次分离事件后,仍能准确进行跟踪;5号目标多次和不同的目标发生遮挡、分离事件后,跟踪标号不发生改变,具有较好的稳定性。因此本文在场景中具有较多运动目标,且发生多次遮挡、分离事件后,仍能准确地实现目标跟踪。

5 结论

摄像头定位跟踪 篇5

虚拟演播室系统相对于传统演播室系统, 在硬件设备方面, 主要增加了摄像机跟踪系统、场景渲染系统和色键系统这三个主要系统, 在虚拟演播室中, 摄像机跟踪系统实时生成了摄像机的位置参数、运动参数及镜头参数, 提供给场景渲染系统来生成与前景三维透视关系一致的场景画面, 并最终将摄像机图像和场景图像在色键系统中进行合成, 形成虚实结合的视频图像, 这三个系统的性能直接决定了合成图像的效果。

解放军电视宣传中心2010年建设完成了一套三讯道全红外高清虚拟演播室系统。其虚拟系统部分由ORAD傲威公司设计搭建, 使用了该公司的XYNC全红外摄像机跟踪系统, HDVG场景渲染服务器等。这套虚拟演播室系统是通过红外摄像头和摄像机镜头数据盒将采集到摄像机跟踪数据, 提供给HDVG渲染服务器进行场景渲染生成, 图像在Ultimatte11高清色键器中合成, 形成节目信号。

这套演播室虚拟系统是使用目前很多先进的虚拟演播室技术, 特别是全红外摄像机跟踪系统, 代表了目前摄像机跟踪系统的一个发展方向。下面阐述一下该摄像机跟踪系统的搭建、调试及校准定位的过程, 供同行参考。

解放军电视宣传中心配置的一套三讯道全红外高清虚拟演播室系统, 采用的是ORAD的Xync全红外摄像机跟踪系统。该系统是在两台三脚架机位的摄像机上安装环形红外发射器, 一台摇臂式摄像机上安装星型红外发射器, 在演播室内安装32个红外摄像头进行红外拍摄, 系统设有4个图像处理单元 (Image Unit) , 每一台负责接收8个红外摄像头传来的红外图像数据, 再经由以太网将这些数据发送到Xync系统主机 (Main Unit) 进行数据处理。最后通过三角测量, 探测到发射器上红外发射器的的状态, 包括3个位置参数 (X、Y、Z) , 3个角度参数 (摇移Pan、俯仰Tilt、倾斜Roll) 。

同时, 齿合在摄像机镜头上的增量式旋转传感器, 实时地接收来自镜头的聚焦 (Focus) 、变焦 (Zoom) 的信息, 传回给摄像机镜头数据盒 (X-Halo Box) 。由镜头数据盒将获取的模拟的镜头跟踪数据转换成数字信号通过RS422数据线传送到系统主机 (Main Unit) 进行数据处理。

这样, 加上红外摄像头获取的6个运动参数, 总计8个运动参数。它们在系统主机 (Main Unit) 中通过一系列的法则运算和数据分析, 被计算出的每个变量的数值, 再通过网络将最终的摄像机运动参数数据传送到场景控制单元 (控制PC) 及图像渲染单元 (HDVG) 中进行图形渲染。

其基本框图如图1。

下面, 我们按全红外摄像机跟踪系统的安装流程, 对该系统中的主要设备的安装、调试逐一地介绍。

一红外发射装置的安装

摄像机红外发射装置分两种, 一种是用于三脚架机位使用的环形发射器, 见图2, ;一种是用于摇臂或肩扛的星型发射器, 见图3。

图中可以看到, 环形发射器和星型发射器上都有多个红外发射点, 以供摄像头拍摄进, 将这些红外发射点在红外摄像头中的成像, 经过数据分析计算, 得出发射器的位置和状态, 从而推算出摄像机 (X、Y、Z) 和 (Pan、Tilt、Roll) 。二者不同之处在于, 环形发射器不能提供摄像机Roll参数, 这与它的红外发射点的平面分布有关。

在选择红外反射器安装位置时, 需要考虑两个问题:即其在摄像机承托设备上的平衡问题和保持与摄像机运动的联动问题。为满足这两点要求, 在安装时要仔细选择位置, 特别在摇臂安装星形红外发射器时, 我们安装的位置在摇臂摄像机的一侧, 通过机械加工的铁板进行连接和固定 (见图3) 。

在安装时, 保持摄像机和发射器的稳定连接也很重要, 这会直接影响到系统使用实时传送的摄像机空间位置 (X、Y、Z) 数据的准确性。安装完成后, 需要确定红外发射器和摄像机中心的相对位置, 提供给跟踪系统的软件用于计算。

二红外摄像头的安装

在安装之前, 我们要了解红外摄像头的一些物理属性。本系统内的红外摄像头最佳拍摄距离为3M~5M, 拍摄角度约为60度。然后, 我们根据摄像机的最大活动范围和主要活动位置, 确定好红外跟踪区域范围, 并对红外摄像头进行安装。在摄像机主要活动区域中, 安装的密度要有所侧重。布置好红外摄像头的初步位置后, 通过摄像头安装云台进行方向和角度的调整, 使红外摄像头尽可能的保证全方位拍摄到更广空间的红外图像。总之, 安装分布的基本原则就是要充分照顾好摄像机活动区域范围的红外拍摄效果, 以保证摄像机在此区域内跟踪的稳定性。

在初步安装后, 将演播室四周 (包括玻璃窗和所有反光的物体) 用黑布遮挡, 确保演播室跟踪空间内没有反射光点的干扰。将演播室摄像机活动的跟踪区域划分成米字形的8个三角区域, 然后用一台装有红外发射器的摄像机进行初步测试。进行的步骤是将测试摄像机沿每个三角区域的三边来回移动, 然后在后台的跟踪软件中观察。为了保证跟踪的可靠性, 每个空间位置上可以拍摄到摄像机上红外发射器的摄像头个数需要在三个以上, 若不足, 需要进一步调整红外摄像头的位置及角度。

一般来说根据主观的观察进行安装, 先要尽量保证没有盲区 (即摄像机至少同时被3台以上红外摄像头覆盖) , 然后再做进一步的微调定位。

三增量式传感器及摄像机数据盒 (X-Halo Box) 的安装与连接

两个增量式旋转传感器通过电缆线分别连接到摄像机数据盒 (X-Halo Box) 正面板的Zoom和Focus端口 (见图7) , 跟踪变焦和聚焦的传感器附在每个镜头上与齿轮咬合 (见图6) , 实时地接收来自镜头的zoom、focus的信息, 传回给X-Halo Box。

数据盒安装相对简单, 找好三脚架或摇臂的平衡点安装固定即可。前后面板接口见图7。

四摄像机跟踪系统的安装布线、及设备连接与设置

红外摄像头通过VGA电缆线连接到图像处理单元 (Image Unit) , 每个图像处理单元 (Image Unit) 负责接收8个红外摄像头传来的红外图像数据。根据红外摄像头安装位置, 进行布线。因红外摄像头位置在灯光设备层, 会与灯光信号线和电源线距离不远, 在条件允许情况下, 建议安装在金属线槽内, 保证信号不受到干扰。

摄像机镜头数据盒 (X-halo Box) 通过RS422电缆连接到主机的RS422主端口, 用以传送摄像机镜头参数。镜头数据盒 (X-halo Box) 的数据线和电源根据摄像机位置而定, 最好与摄像机缆线捆绑联接, 有便于摄像机机位调整。

主机 (Main Unit) 和4个图像处理单元 (Image Unit) 的Internal Network端口通过路由器连接在同一网关中;主机 (Main Unit) 的Global Network端口通过另一路由器与渲染单元 (HDVG) 及控制单元 (控制PC) 连接, 传送运算分析出的每个摄像机参数数据用于场景实时渲染, 有关设备的安装和网络部分的布线, 根据现场情况按照基本的施工要求处理即可。

通过以上步骤, 整个摄像机跟踪系统的安装和布线就基本完成了, 但为保证系统的运行稳定和跟踪准确, 还需要对系统进行基本的设置、校准和定位。因为跟踪系统的设置与生产厂家的硬件和软件有关, 这里不做具体说明, 下面主要说明一下解放军电视宣传中心的全红外跟踪系统的校准与定位。

五全红外摄像机跟踪系统的校准与定位

虚拟演播室进行校准与定位的目的是要确保真实三维空间, 虚拟三维空间和真实视点与虚拟视点之间的正确关系。

真实视点是演播室三维空间里摄像机的视点, 其可由八个参数描述这个视点的运行情况。包括3个摄像机位置参数 (X、Y、Z) 、3个摄像机角度参数 (Tilt、Pan、Roll) 和两个摄像机镜头参数 (Zoom、Focus) , 它用数据描述了摄像机在演播室是如何拍摄的。虚拟视点是指在虚拟的三维空间中的虚拟摄像机视点, 使它可以从不同角度拍摄虚拟场景, 虚拟视点的运动参数是受控于真实视点的运动参数, 所有这些真实场景摄像机的运动参数必须以场频的速度连续不断地采集, 再将采集到的数据输入到图形工作站, 实时控制虚拟视点的运动变化, 使虚拟场景的观察角度和位置与演播室真实视点对前景的观察角度和位置完全一致, 以保证虚拟场景与真实前景景物的同步运动。

定位是将计算机生成的三维背景与摄像机拍摄的前景准确地进行匹配的过程, 即是把虚拟场景与真实空间进行匹配的过程, 其中包括了在各自空间运行的摄像机视点的匹配。

下面从红外摄像头空间相对位置的定位、摄像机镜头及角度变换的校准、摄像机镜头位置测量以及对跟踪系统初始化方面进行一一介绍。

1. 红外摄像头空间相对位置的定位

使用跟踪软件对红外摄像头进行微调定位。打开有红外摄像头拍摄记录功能的软件, 在摄像机工作区域内, 一人手持用于调试的白炽校准灯 (见图11) , 一边走一边保持校准光镜头与地面水平, 以缓慢的步速在演播室拍摄区域内横向来回行走一遍, 确保走完整个拍摄区域, 然后再纵向来回行走一遍, 同时确保走完整个拍摄区域。为了达到最佳效果, 在行走时, 尽量伸展手臂, 摇转用于校准的白炽灯, 摇转中尽量扩大范围, 充分覆盖到摄像机的最低工作高度和最高工作高度。行走完后, 使用跟踪软件对记录的红外图像进行分析, 每台红外摄像头的记录数据必须有2000点以上才为合格 (见图12) 。软件将判别出不符合要求的摄像头, 这就需要对该摄像头进行调整。调整的过程即上述过程的重复, 直到所有红外摄像头都符合测试要求。

在确定了红外摄像头的安装位置和角度后, 要做的是确定摄像头在真实与虚拟空间中的相对位置。具体操作主要分两步:首先, 将调整摄像头位置角度时使用的白炽灯固定在一个平板车上, 在整个拍摄区域内来回拖动;然后, 在设定的虚拟空间原点 (原点定义见注) 的纵向延长线上设置被测定位置的几个点, 依次点亮白炽灯。然后将白炽灯点亮处的纵向坐标位置 (以设定的坐标原点为基准) 等相关数据输入到跟踪软件进行运算即可。

2. 摄像机镜头参数的校准

由于镜头的光学参数与理想参数的偏差, 而且摄像机镜头在变焦和聚焦时是非线性运动, 所以调试系统前需要对镜头进行校准, 以保证虚拟摄像机的镜头视点也按照真实镜头的光学特性变化而变化。这是一个比较复杂的过程, 简单地说是根据摄像机成像的径向约束条件用全面最小二乘法 (TLS) 估算出的一条理论参数曲线与计算机采集到的摄像机参数进行优化后用非线性迭代法生成的一条校准参数曲线相综合, 最终作为摄像机的运动曲线。摄像机PAN、TILT、ROLL的校准过程与镜头校准过程原理相同。

3. 摄像机镜头与红外发射器相对位置测量

摄像机镜头的相对位置根据安装红外发射器类型的不同选择的中心点位置也不同。安装环形发射器的摄像机, 需要用水平仪及卡尺测量镜头光轴与俯仰底座中心轴之间的垂直距离, 及中心轴与成像平面之间的垂直距离, 并把测量出的数值输入校准软件, 设置X、Y和Z轴的偏移。测量这些数值的目的就是让计算机感知摄像机及其镜头的位置及相对关系。对于安装星形发射器的摄像机, 发射器中心体的中心选为中心点以此进行镜头位置的测量。

4. 对摄像机数据盒的初始化操作

摄像机数据盒 (X-Halo Box) 上设有2个复位按钮, 用来重置硬件。为了使系统能够知道摄像机相对于演播室空间的准确方位, 每次使用虚拟演播室时都要在系统运行前对摄像机数据盒进行初始化操作。过程大致如下:将摄像机放置在红外接受网络良好的位置, 镜头对向演播室蓝箱正面墙上, 将镜头焦距拉至最远, 聚焦无穷远, 此时同时按下摄像机数据盒 (X-Halo Box) 上的2个复位按钮3秒以上, 完成对摄像机数据盒的初始化操作。

六结束语

以上是解放军电视宣传中心所使用的虚拟演播室全红外摄像机跟踪的搭建、安装和调试情况。该系统运行一年多, 系统稳定, 一直保证着几个栏目的日常录制。前不久, 我们进行了检测, 系统功能完好, 跟踪系统未出现明显偏移。

摘要：本文通过对虚拟演播室全红外摄像机跟踪系统中红外发射装置、红外摄像头、系统主机 (Main Unit) 及周边硬件设备的布线、安装与调试的介绍, 及对全红外摄像机跟踪系统的校准与定位的阐述, 简单展示了整个全红外摄像机跟踪系统硬件部分的搭建与调试过程。

天网工程前端摄像机定位综述 篇6

关键词：天网工程,摄像机,杆件,定位

0背景

天网工程是指为满足城市治安防控和城市管理需要, 利用GIS地图、图像采集、传输、控制、显示等设备和控制软件组成, 对固定区域进行实时监控和信息记录的视频监控系统。

1 摄像机点位选点、定型规则

1.1 甲方要求

要想选好监控点, 就需要先了解监控点的重要性。我们根据甲方要求确定监控点的重要性, 主要分为以下几类:

一级市公安局确定的核心监控区域及城市的交通枢纽、要害单位等。

二级区级公安分局确定的重点监控区域及区、县辖内的重要公共场所。

三级公安派出所确定的一般治安监控点、街道或镇及各企事业单位、居民社区的治安监控区域。

1.2 杆件选型

在有树木遮挡的非机动车道路摄像机应选用较低的杆件, 如3-3.5m高的杆件。

在无植物绿化的开阔道路路口摄像机可选用4-6m高的杆。

在大的十字路口、人口密集区等监控范围较大的场所宜采用5.3m高的杆件, 在广场适宜4.3m高的杆件。

1.3 摄像机选型

摄像机的成像主要是通过基于光电二极管遇光后会产生强弱不等电流这一原理, 利用光-电可转换特性, 将投射在其感光面上的光像信息收集并转换为与之成相应比例的图像电信号。其成像方式如图2-1所示:

图2-1中的d表示摄像机镜头距离成像位置的距离, 相机在高度方向上的靶面尺寸为m, 镜头的焦距为f, 因此摄像机成像的公式如式 (1) :

1.3.1 卡口摄像机

卡口摄像机, 主要应用在县城城区的进出口、交通要道、高速公路的出入口、重点路段等处, 利用先进的光电、计算机、图像处理、模式识别、远程数据通讯和数据库等技术, 全天候24小时对经过路面上监控区域内的每一辆机动车进行实时、连续、不间断、无遗漏的记录, 获取过往车辆的前部特征图像和车辆全景图像, 计算机根据所拍摄的图像进行车牌自动识别, 并自动记录车辆的车型、颜色、车牌号码、车牌颜色、行驶方向、经过时间等各种参数, 自动采集保存车辆图像, 本地保存并上传保存在中心数据库。

1.3.2 枪机

枪机的特点是单体功能少, 监控方向直观暴露, 不能远程变焦。适合固定方向, 固定区域的不间断的监控任务。在安装调试结束后, 只能够固定监控一个区等场所采用枪机。在监控宽度比较狭窄的地方也可采用枪机 (如巷道内部) 。在仅监视景物的位置或移动时, 也可选用枪式摄像机。

1.3.3 球机

球机的特点是单体功能多, 监控方向隐蔽, 可变向变焦, 可远程操控, 适应多种实战应用需求[4]。球机的主要运用环境:街道各出入口、主干道交叉口、周界等宽广地区, 市场、广场等人流密集的地方采用球机。

1.4 摄像机取电及杆件架设方式

1.4.1 摄像机取电规则

尽量取公共电的原则

供电方能够长期供电原则

就近取电的原则

小区物业及大商铺供电原则

1.4.2 摄像机架设方式

在甲方定制的杆件上架设

采用壁挂形式

采用吊装形式

采用借杆形式

3 点位定位实例

3.1 枪机的选用

图3-1为过街地下通道出口的监控, 对于地下通道这种单一方向的监控首先应该考虑使用枪机, 由于枪机监控都是固定方向, 不仅成本相对于球机便宜得多, 而且通过实际观察, 对于单一方向的监控, 枪机的监控效果要好于球机, 因此, 对于这一类单一方向的监控, 需要首选枪机, 由图中可以看出, 此处监控选择了枪球共杆的方式, 主要是考虑到, 通道出口处有一个广场性质的广阔地带, 人流量大, 因此需要加一个球机来辅助监控。

3.2 球机的选型

如图3-2所示, 图中所监控的范围有小区门口, 有停车位, 有商铺, 使用枪机并不能满足监控要求, 应该选用球机监控。

4 结论

对于前端点位的定位:首先, 需要根据甲方要求对监控的点位进行确定, 在需要监控的地点进行定点, ;其次, 根据各种摄像机的监控特点在定点处选择不同摄像机、镜头等设备, 确定取电及摄像机架设方式等;最后, 对定点处进行验证, 主要是根据杆件高度, 和选择的相机、镜头等方面, 观察周围的视野, 是否达到预期的要求。

参考文献

[1]张红艳, 程允丽.城市视频监控系统的研究[J].电视技术;2012年21期

[2]曾令卉.城市视频监控系统解决方案[J].电视技术;2012年05期

[3]马彬秩, 沈灏.点状监控摄像头的安装和DVR选址问题[J].杭州电子科技大学学报;2012年03期