摄像机跟踪系统

摄像机跟踪系统（精选6篇）

摄像机跟踪系统 篇1

虚拟演播室是指将摄像机在蓝箱中所拍摄的前景视频信号与计算机实时生成的三维虚拟场景, 经过色键合成处理, 最终形成虚实无缝结合的节目影像, 此类演播室称为虚拟演播室。

虚拟演播室系统相对于传统演播室系统, 在硬件设备方面, 主要增加了摄像机跟踪系统、场景渲染系统和色键系统这三个主要系统, 在虚拟演播室中, 摄像机跟踪系统实时生成了摄像机的位置参数、运动参数及镜头参数, 提供给场景渲染系统来生成与前景三维透视关系一致的场景画面, 并最终将摄像机图像和场景图像在色键系统中进行合成, 形成虚实结合的视频图像, 这三个系统的性能直接决定了合成图像的效果。

解放军电视宣传中心2010年建设完成了一套三讯道全红外高清虚拟演播室系统。其虚拟系统部分由ORAD傲威公司设计搭建, 使用了该公司的XYNC全红外摄像机跟踪系统, HDVG场景渲染服务器等。这套虚拟演播室系统是通过红外摄像头和摄像机镜头数据盒将采集到摄像机跟踪数据, 提供给HDVG渲染服务器进行场景渲染生成, 图像在Ultimatte11高清色键器中合成, 形成节目信号。

这套演播室虚拟系统是使用目前很多先进的虚拟演播室技术, 特别是全红外摄像机跟踪系统, 代表了目前摄像机跟踪系统的一个发展方向。下面阐述一下该摄像机跟踪系统的搭建、调试及校准定位的过程, 供同行参考。

解放军电视宣传中心配置的一套三讯道全红外高清虚拟演播室系统, 采用的是ORAD的Xync全红外摄像机跟踪系统。该系统是在两台三脚架机位的摄像机上安装环形红外发射器, 一台摇臂式摄像机上安装星型红外发射器, 在演播室内安装32个红外摄像头进行红外拍摄, 系统设有4个图像处理单元 (Image Unit) , 每一台负责接收8个红外摄像头传来的红外图像数据, 再经由以太网将这些数据发送到Xync系统主机 (Main Unit) 进行数据处理。最后通过三角测量, 探测到发射器上红外发射器的的状态, 包括3个位置参数 (X、Y、Z) , 3个角度参数 (摇移Pan、俯仰Tilt、倾斜Roll) 。

同时, 齿合在摄像机镜头上的增量式旋转传感器, 实时地接收来自镜头的聚焦 (Focus) 、变焦 (Zoom) 的信息, 传回给摄像机镜头数据盒 (X-Halo Box) 。由镜头数据盒将获取的模拟的镜头跟踪数据转换成数字信号通过RS422数据线传送到系统主机 (Main Unit) 进行数据处理。

这样, 加上红外摄像头获取的6个运动参数, 总计8个运动参数。它们在系统主机 (Main Unit) 中通过一系列的法则运算和数据分析, 被计算出的每个变量的数值, 再通过网络将最终的摄像机运动参数数据传送到场景控制单元 (控制PC) 及图像渲染单元 (HDVG) 中进行图形渲染。

其基本框图如图1。

下面, 我们按全红外摄像机跟踪系统的安装流程, 对该系统中的主要设备的安装、调试逐一地介绍。

一红外发射装置的安装

摄像机红外发射装置分两种, 一种是用于三脚架机位使用的环形发射器, 见图2, ;一种是用于摇臂或肩扛的星型发射器, 见图3。

图中可以看到, 环形发射器和星型发射器上都有多个红外发射点, 以供摄像头拍摄进, 将这些红外发射点在红外摄像头中的成像, 经过数据分析计算, 得出发射器的位置和状态, 从而推算出摄像机 (X、Y、Z) 和 (Pan、Tilt、Roll) 。二者不同之处在于, 环形发射器不能提供摄像机Roll参数, 这与它的红外发射点的平面分布有关。

在选择红外反射器安装位置时, 需要考虑两个问题:即其在摄像机承托设备上的平衡问题和保持与摄像机运动的联动问题。为满足这两点要求, 在安装时要仔细选择位置, 特别在摇臂安装星形红外发射器时, 我们安装的位置在摇臂摄像机的一侧, 通过机械加工的铁板进行连接和固定 (见图3) 。

在安装时, 保持摄像机和发射器的稳定连接也很重要, 这会直接影响到系统使用实时传送的摄像机空间位置 (X、Y、Z) 数据的准确性。安装完成后, 需要确定红外发射器和摄像机中心的相对位置, 提供给跟踪系统的软件用于计算。

二红外摄像头的安装

在安装之前, 我们要了解红外摄像头的一些物理属性。本系统内的红外摄像头最佳拍摄距离为3M~5M, 拍摄角度约为60度。然后, 我们根据摄像机的最大活动范围和主要活动位置, 确定好红外跟踪区域范围, 并对红外摄像头进行安装。在摄像机主要活动区域中, 安装的密度要有所侧重。布置好红外摄像头的初步位置后, 通过摄像头安装云台进行方向和角度的调整, 使红外摄像头尽可能的保证全方位拍摄到更广空间的红外图像。总之, 安装分布的基本原则就是要充分照顾好摄像机活动区域范围的红外拍摄效果, 以保证摄像机在此区域内跟踪的稳定性。

在初步安装后, 将演播室四周 (包括玻璃窗和所有反光的物体) 用黑布遮挡, 确保演播室跟踪空间内没有反射光点的干扰。将演播室摄像机活动的跟踪区域划分成米字形的8个三角区域, 然后用一台装有红外发射器的摄像机进行初步测试。进行的步骤是将测试摄像机沿每个三角区域的三边来回移动, 然后在后台的跟踪软件中观察。为了保证跟踪的可靠性, 每个空间位置上可以拍摄到摄像机上红外发射器的摄像头个数需要在三个以上, 若不足, 需要进一步调整红外摄像头的位置及角度。

一般来说根据主观的观察进行安装, 先要尽量保证没有盲区 (即摄像机至少同时被3台以上红外摄像头覆盖) , 然后再做进一步的微调定位。

三增量式传感器及摄像机数据盒 (X-Halo Box) 的安装与连接

两个增量式旋转传感器通过电缆线分别连接到摄像机数据盒 (X-Halo Box) 正面板的Zoom和Focus端口 (见图7) , 跟踪变焦和聚焦的传感器附在每个镜头上与齿轮咬合 (见图6) , 实时地接收来自镜头的zoom、focus的信息, 传回给X-Halo Box。

数据盒安装相对简单, 找好三脚架或摇臂的平衡点安装固定即可。前后面板接口见图7。

四摄像机跟踪系统的安装布线、及设备连接与设置

红外摄像头通过VGA电缆线连接到图像处理单元 (Image Unit) , 每个图像处理单元 (Image Unit) 负责接收8个红外摄像头传来的红外图像数据。根据红外摄像头安装位置, 进行布线。因红外摄像头位置在灯光设备层, 会与灯光信号线和电源线距离不远, 在条件允许情况下, 建议安装在金属线槽内, 保证信号不受到干扰。

摄像机镜头数据盒 (X-halo Box) 通过RS422电缆连接到主机的RS422主端口, 用以传送摄像机镜头参数。镜头数据盒 (X-halo Box) 的数据线和电源根据摄像机位置而定, 最好与摄像机缆线捆绑联接, 有便于摄像机机位调整。

主机 (Main Unit) 和4个图像处理单元 (Image Unit) 的Internal Network端口通过路由器连接在同一网关中;主机 (Main Unit) 的Global Network端口通过另一路由器与渲染单元 (HDVG) 及控制单元 (控制PC) 连接, 传送运算分析出的每个摄像机参数数据用于场景实时渲染, 有关设备的安装和网络部分的布线, 根据现场情况按照基本的施工要求处理即可。

通过以上步骤, 整个摄像机跟踪系统的安装和布线就基本完成了, 但为保证系统的运行稳定和跟踪准确, 还需要对系统进行基本的设置、校准和定位。因为跟踪系统的设置与生产厂家的硬件和软件有关, 这里不做具体说明, 下面主要说明一下解放军电视宣传中心的全红外跟踪系统的校准与定位。

五全红外摄像机跟踪系统的校准与定位

虚拟演播室进行校准与定位的目的是要确保真实三维空间, 虚拟三维空间和真实视点与虚拟视点之间的正确关系。

真实视点是演播室三维空间里摄像机的视点, 其可由八个参数描述这个视点的运行情况。包括3个摄像机位置参数 (X、Y、Z) 、3个摄像机角度参数 (Tilt、Pan、Roll) 和两个摄像机镜头参数 (Zoom、Focus) , 它用数据描述了摄像机在演播室是如何拍摄的。虚拟视点是指在虚拟的三维空间中的虚拟摄像机视点, 使它可以从不同角度拍摄虚拟场景, 虚拟视点的运动参数是受控于真实视点的运动参数, 所有这些真实场景摄像机的运动参数必须以场频的速度连续不断地采集, 再将采集到的数据输入到图形工作站, 实时控制虚拟视点的运动变化, 使虚拟场景的观察角度和位置与演播室真实视点对前景的观察角度和位置完全一致, 以保证虚拟场景与真实前景景物的同步运动。

定位是将计算机生成的三维背景与摄像机拍摄的前景准确地进行匹配的过程, 即是把虚拟场景与真实空间进行匹配的过程, 其中包括了在各自空间运行的摄像机视点的匹配。

下面从红外摄像头空间相对位置的定位、摄像机镜头及角度变换的校准、摄像机镜头位置测量以及对跟踪系统初始化方面进行一一介绍。

1. 红外摄像头空间相对位置的定位

使用跟踪软件对红外摄像头进行微调定位。打开有红外摄像头拍摄记录功能的软件, 在摄像机工作区域内, 一人手持用于调试的白炽校准灯 (见图11) , 一边走一边保持校准光镜头与地面水平, 以缓慢的步速在演播室拍摄区域内横向来回行走一遍, 确保走完整个拍摄区域, 然后再纵向来回行走一遍, 同时确保走完整个拍摄区域。为了达到最佳效果, 在行走时, 尽量伸展手臂, 摇转用于校准的白炽灯, 摇转中尽量扩大范围, 充分覆盖到摄像机的最低工作高度和最高工作高度。行走完后, 使用跟踪软件对记录的红外图像进行分析, 每台红外摄像头的记录数据必须有2000点以上才为合格 (见图12) 。软件将判别出不符合要求的摄像头, 这就需要对该摄像头进行调整。调整的过程即上述过程的重复, 直到所有红外摄像头都符合测试要求。

在确定了红外摄像头的安装位置和角度后, 要做的是确定摄像头在真实与虚拟空间中的相对位置。具体操作主要分两步:首先, 将调整摄像头位置角度时使用的白炽灯固定在一个平板车上, 在整个拍摄区域内来回拖动;然后, 在设定的虚拟空间原点 (原点定义见注) 的纵向延长线上设置被测定位置的几个点, 依次点亮白炽灯。然后将白炽灯点亮处的纵向坐标位置 (以设定的坐标原点为基准) 等相关数据输入到跟踪软件进行运算即可。

2. 摄像机镜头参数的校准

由于镜头的光学参数与理想参数的偏差, 而且摄像机镜头在变焦和聚焦时是非线性运动, 所以调试系统前需要对镜头进行校准, 以保证虚拟摄像机的镜头视点也按照真实镜头的光学特性变化而变化。这是一个比较复杂的过程, 简单地说是根据摄像机成像的径向约束条件用全面最小二乘法 (TLS) 估算出的一条理论参数曲线与计算机采集到的摄像机参数进行优化后用非线性迭代法生成的一条校准参数曲线相综合, 最终作为摄像机的运动曲线。摄像机PAN、TILT、ROLL的校准过程与镜头校准过程原理相同。

3. 摄像机镜头与红外发射器相对位置测量

摄像机镜头的相对位置根据安装红外发射器类型的不同选择的中心点位置也不同。安装环形发射器的摄像机, 需要用水平仪及卡尺测量镜头光轴与俯仰底座中心轴之间的垂直距离, 及中心轴与成像平面之间的垂直距离, 并把测量出的数值输入校准软件, 设置X、Y和Z轴的偏移。测量这些数值的目的就是让计算机感知摄像机及其镜头的位置及相对关系。对于安装星形发射器的摄像机, 发射器中心体的中心选为中心点以此进行镜头位置的测量。

4. 对摄像机数据盒的初始化操作

摄像机数据盒 (X-Halo Box) 上设有2个复位按钮, 用来重置硬件。为了使系统能够知道摄像机相对于演播室空间的准确方位, 每次使用虚拟演播室时都要在系统运行前对摄像机数据盒进行初始化操作。过程大致如下:将摄像机放置在红外接受网络良好的位置, 镜头对向演播室蓝箱正面墙上, 将镜头焦距拉至最远, 聚焦无穷远, 此时同时按下摄像机数据盒 (X-Halo Box) 上的2个复位按钮3秒以上, 完成对摄像机数据盒的初始化操作。

六结束语

以上是解放军电视宣传中心所使用的虚拟演播室全红外摄像机跟踪的搭建、安装和调试情况。该系统运行一年多, 系统稳定, 一直保证着几个栏目的日常录制。前不久, 我们进行了检测, 系统功能完好, 跟踪系统未出现明显偏移。

摘要：本文通过对虚拟演播室全红外摄像机跟踪系统中红外发射装置、红外摄像头、系统主机 (Main Unit) 及周边硬件设备的布线、安装与调试的介绍, 及对全红外摄像机跟踪系统的校准与定位的阐述, 简单展示了整个全红外摄像机跟踪系统硬件部分的搭建与调试过程。

关键词：虚拟演播室,全红外摄像机,跟踪系统,调试

摄像机跟踪系统 篇2

智能车是自动控制、环境感知、模式识别、计算机、机械多个学科领域交叉的综合体现,具有重要的应用价值。飞思卡尔智能汽车竞赛要求参赛车辆能够自主识别行驶路径,控制小车的转角和速度,使小车沿着给定的黑线以最快的速度跑完全程。本文介绍的智能车系统是以MC9S12XS128为核心,采用CMOS摄像头OV6620获取赛道信息,利用合理的算法控制智能车运动,从而实现快速稳定的自动行驶。

1 系统硬件结构

系统总体框图如图1所示。智能车的控制核心是MC9S12XS128。MC9S12XS128是飞思卡尔公司生产的一款16位单片机,标称总线频率40 MHz,片内资源包括8 KB RAM,128 KB FLASH,2 KB E2PROM,SCI,SPI,CAN通信接口模块、脉宽调制(PWM)模块、A/D转换器、周期中断定时器(PIT)模块、增强型捕捉定时器等[1,2]。道路信息采集模块通过CMOS摄像头OV6620获取赛道信息。系统采用欧姆龙E6A2旋转编码器检测小车的行驶速度。电机驱动模块采用2片MC33886芯片并联的工作方式驱动直流电机正反转,实现小车的加减速[3]。舵机转向模块通过MC9S12XS128的PWM模块联合产生一个16位的PWM信号。改变PWM信号的占空比即可改变舵机的转动角度,从而实现智能车的实时转向[2]。系统供电电池的电压为7.2 V,电源模块利用LM2940作为5 V稳压芯片,为单片机、摄像头、编码器和电机驱动模块供电,采用LM1117稳压芯片为舵机提供6 V电源[4]。单片机处理所采集的信息后,形成相应的实时控制策略,调节智能车的速度和转向实现路径跟踪。

2 路径信息的获取

2.1 图像采集

采用摄像头作为路径信息的获取手段,探测距离远,获得的信息丰富,能够尽早地感知前方的路径信息以进行预判断。摄像头主要有CCD和CMOS两种,CCD摄像头的分辨率较高,图像质量好,但是在使用时需要视频同步分离芯片LM1881以及A/D转换器件[5],增加了系统设计的成本和复杂性。CMOS图像传感器通过CMOS技术将像素阵列与外围支持电路(如图像传感器核心、单一时钟、所有的时序逻辑、可编程功能和A/D转换器)集成在同一芯片上,与CCD图像传感器相比,具有体积小,重量轻,功耗低,编程方便等优点[6]。该系统采用了OmniVisipn公司的数字式CMOS摄像头OV6620[7]。OV6620采用5 V电源供电,能够同时提供数字和模拟两路信号,便于接线和调试。OV6620与MC9S12XS128的接线方式如图2所示。

图2中Y[7:0]为OV6620的灰度信号输出,直接与单片机的PA口相连,其灰度数据可以由单片机直接读取。HREF为行中断信号,与单片机的PT1引脚相连,用来判断新的一行数据到来。VSYNC为场中断信号,与单片机的PT2引脚相连,用来判断新的一场数据的开始。OV6620内部集成了356×292的彩色图像阵列,每秒25帧,一帧包括奇偶两场数据,因此单片机每20 ms可读取一场数据。考虑到单片机的处理速度,本智能车系统只保留39行80列作为一场的路径信息。通过试验证明, 39×80分辨率的图像可以完整地反映出道路状况,采集效果如图3所示。

2.2 图像二值化处理和去噪

采集的原始数据包含了黑线的位置信息,为了稳定可靠地提取这些信息,给单片机提供一幅更易判断的赛道图像,还必须对原始图像进行二值化处理和去噪。

二值化处理就是对于输入图像的各个像素,先确定某个灰度值为阈值,当像素的灰度值超过该阈值时,则将对应输出图像的像素值设为1,代表白点;否则为0,代表黑点。原理公式如下[8]:

$g(x,y)=\{\begin{array}{cc}1‚& f(x,y)\ge t\\ 0‚& f(x,y)<t\end{array}$

式中:t为阈值;f(x,y),g(x,y)分别为处理前、处理后图像中处于(x,y)位置上的某个像素点的像素值,x为列号,y为行号。图4为赛道信息二值化后的效果。

二值化后的图像仍有干扰存在,该系统采用文献[9]使用的1×3窗口中值滤波法对噪点进行去除,即将某个像素点和相邻两个像素点的像素值进行比较,若不相同则取反。该方法能够有效抑制脉冲干扰和椒盐噪声,能有效保护图像边缘,并且计算量相比去噪常用的3×3模板要小得多。

2.3 赛道中心线的提取

提取赛道中心部分是小车路径识别系统中最为重要的一个环节,关系到智能小车运行质量的好坏。从去噪后的图像可以看出,除了赛道中心线是黑色以外,铺设赛道的场地也可能呈现黑色,如果算法设计不合理,可能会将比赛场地误认为是赛道而冲出跑道。本系统采用赛道边缘检测的方法来获取赛道中心线。

首先给出在指定列范围[left_limit,right_limt]内搜索第i行图像信息的中心点坐标(center_i,i)的方法,其中left_limit,right_limt表示指定范围的左右极限,center_i为第i行中心点的列值。从左极限left_limit开始向右搜索,当像素值由白变黑时认为到达赛道的左边界,此时的列号记为LeltB;再从右极限right_limit开始向左搜索,当像素值由白变黑时认为到达赛道的右边界,此时的列号记为RightB。由此可得赛道的宽度Width=RightB-LeltB。若Width的值满足赛道宽度范围,认为成功搜索到第i行赛道,若不满足宽度范围,认为第i行赛道搜索失败,这里的赛道宽度范围通过实验获得。若搜索成功,则第i行赛道的中心点列值center_i=(RightB+LeltB)/2。

在提取整场图像的赛道信息时,先对第1行进行整行范围的搜索,若搜索失败,从下一行开始继续搜索,直到成功搜索到一个赛道中心点(center_j,j),则该点为第1个有效中心点。考虑到赛道的连续性,在搜索第j+1行中心点时,搜索范围可以不再是全部列而缩小成为[center_j-L,center_j+L],这里L是预期赛道出现的半径,缩小搜索范围可以减少计算量,同时可以有效地将比赛场地同赛道区分开来。若成功得到下一个赛道中心点,继续由该点搜索下一列的中心点,若不成功,则扩大L后对第j+2行中心点进行搜索。在搜索过程中,若连续5行丢失,认为后续赛道信息丢失严重,停止搜索。若中心点到达图像的边界,认为赛道已经脱离摄像头范围,停止搜索。当对所有的39行搜索完毕后,会得到一个中心点集合,将整个集合的中心点在图上标明后可以得到清晰的赛道信息,如图5中的小方块所示。

从图5可以看出,赛道信息在某些行有丢失现象,赛道局部反光或者遇见十字交叉赛道均有可能造成赛道信息的丢失。为了更好地得到赛道的真实信息,有必要加入断点修补[10]环节填补丢失的赛道信息,本系统采用了简单的线性插值操作来完成这一任务。经过插值后的赛道信息如图6中的小圆圈所示,可以看出经过修补的赛道信息是连续的。

3 控制策略

经过插值后的中心点集合包含了当前赛道的所有信息,充分利用这些信息进行判决,可实现转向和速度的实时控制。

3.1 转向控制

假设经过断点修补后集合含有n个中心点,每个中心点的坐标形如(x,y),其中x为列号,y为行号。利用最小二乘法将这些中心点拟合出一条直线[11]x= ky+b,与如图6中的实线所示,其中:

$\begin{array}{l}k=\frac{n{\displaystyle \sum y}{}_{i}x{}_i-{\displaystyle \sum y}{}_i{\displaystyle \sum x}{}_i}{n{\displaystyle \sum y}{}_i^2-{\displaystyle \sum y}{}_i{\displaystyle \sum y}{}_i}‚\\ b=\frac{{\displaystyle \sum y}{}_i^2{\displaystyle \sum x}{}_i-{\displaystyle \sum y}{}_i{\displaystyle \sum y}{}_{i}x{}_i}{n{\displaystyle \sum y}{}_i^2-{\displaystyle \sum y}{}_i{\displaystyle \sum y}{}_i}\end{array}$

该直线反映出当前赛道的列坐标x随着赛道距离延伸(行号y的增加)的变化趋势,因而包含着小车转向的信息。定义小车转向参考偏差err=k×refer_line+b-40,err值反映了该拟合直线在第refer_line行位置上与小车中轴线的偏差,refer_line称为转向参考行,err为小车的转向控制提供了依据。小车的转角控制采用PD控制算法,其控制量为:

$\theta =\theta {}_0+{\rm K}{}_{\text{Ρ}}\times \text{e}\text{r}\text{r}-{\rm K}{}_{\text{D}}\times (\text{e}\text{r}\text{r}-\text{p}\text{r}\text{e}\_\text{e}\text{r}\text{r})$

式中:θ为舵机控制PWM的占空比;θ0为舵机正位时的占空比;KP为比例控制常数;KD为微分控制常数;pre_err为上一场数据的转向参考偏差。

当KP,KD的取值偏大时,小车转向时角度偏大,转弯时切内道;当KP,KD的取值偏小时,小车转向时角度偏小,转弯时切外道。在比赛中,一般选择较大的参数使小车切内道,以缩短行车路线,减少用时。

3.2 车速控制

为了提高智能车运行的稳定性,必须对速度调节采用闭环控制,本系统采用PID算法实现直流电机的转速闭环调节,PID控制器的输入量为给定车速与实际车速的差值,采用增量式PID算法进行控制[12]。其中,实际转速通过车速检测模块进行测量,给定转速指依据当前赛道信息和小车运行情况所确定的小车期望速度值。小车的期望速度v由下式计算而得:

$v=v\_\max -{\rm P}\times \text{Δ}\theta {}^2$

式中:v_max为小车的最大期望速度;Δθ为本次转向角与上次转向角之间的差值;P为比例系数。式中可以看出,当小车发生转角调整时,小车将减速,保证了小车的平稳行驶。

4 结 语

以MC9S12XS128作为控制核心,采用CMOS摄像头采集赛道信息,通过对赛道信息的提取和分析,通过直线拟合后的相关参数控制舵机转向,利用转向信息决定小车的期望速度,采用增量式PID实现直流电机的闭环控制。实验证明,该智能小车在白底黑线的跑道上能够以较快的速度平稳地跟踪黑线赛道前进,转向和速度控制效果良好,实现了小车智能跟踪的目的。该方案已应用于全国智能车大赛,并取得了西北赛区二等奖。

参考文献

[1]孙同景,陈桂友.十六位单片机原理及嵌入式开发技术[M].北京:机械工业出版社,2008.

[2]卓晴,黄开胜,邵贝贝.学做智能车:挑战“飞思卡尔”杯[M].北京:北京航空航天大学出版社,2007.

[3]梁业宗,李波,赵磊.基于路径识别算法的智能车控制系统的设计[J].自动化技术与应用,2009,28(1):121-123.

[4]魏武,龚树锋.基于MC9S12DG128智能模型车的设计与实现[J].重庆工学院学报:自然科学版,2009,23(9):5-10.

[5]郑建立,黄丽佳,葛鹏飞,等.基于CCD的智能车寻迹方法[J].东华大学学报:自然科学版,2008,34(6):728-731.

[6]刘九维,陈锋,邢岚.数字式CMOS摄像头在智能车中的应用[J].单片机与嵌入式系统应用,2010,10(7):42-44.

[7]周习鹏,吴青,张蕊.标识线导航的智能车路径辨识方法研究[J].交通信息与安全,2009,27(3):142-144.

[8][日]井上诚喜.C语言实用数字图像处理[M].白玉林,译.北京:科学出版社,2003.

[9]吴吟箫,张虹,王新生.基于黑白摄像头的智能小车路径识别系统设计[J].计算机技术及应用,2009,29(2):42-45.

[10]甄红涛,齐晓慧.一种非均匀行采集的智能车路径识别算法[J].电子产品世界,2010,17(11):27-30.

[11]艾宁,瞿少成,刘冬,等.基于CCD摄像头的智能车路径识别及跟踪研究[J].电子测量技术,2009,32(8)77-80.

摄像机跟踪系统 篇3

多摄像机目标跟踪在智能监控[1]、视频内容理解[2]等方面有着广泛的应用。目标在一个摄像机中发生遮挡时,在另一摄像机视角观察可能不发生遮挡,因此,使用多摄像机可以很好地解决单摄像机因目标遮挡产生跟踪丢失的问题。但是从不同的摄像机中观察到的目标信息很容易受环境因素(如视角、光线等)的影响,导致观察到的目标信息存在着较大差异,因此多摄像机鲁棒性目标跟踪具有巨大的挑战性。

常见的多摄像机目标跟踪的方法有3类:1)基于特征匹配[3]。如文献[4]采用Mean-shit跟踪法,其通常采用颜色特征对目标进行匹配,计算简单;但是目标颜色受光线影响很大,从不同的角度观察目标时,颜色特征会发生变化,此时容易产生跟踪错误。由于不同摄像机中观察到的目标特征受环境因子影响较大,因此使用特征匹配的鲁棒性较差。2)使用3D几何约束的方法[5,6]。这些算法将目标的特征点映射到同一三维空间中,通过比较这些特征点在世界坐标系中的位置来建立目标的匹配关系。但是这种方法要先对摄像机进行标定,获取摄像机的内外参数,操作较繁琐,并且在实际应用的复杂环境中,难以通过标定获取精确的摄像机内外参数,导致目标匹配的正确率下降。3) SIFT特征点匹配法[7,8,9]。SIFT具有旋转、尺度缩放、亮度变化保持不变性的特征,但是使用SIFT变换时,计算量较大,难以实现实时的目标跟踪。当两个摄像机的观察角度的差异性较大时,各个摄像机观察到的同一目标的特征会存在较大差异,SITF匹配法的准确度也会降低。

综上所述,多摄像机中使用目标底层特征(颜色、特征点等)很容易受到环境的约束,从而引起目标跟踪丢失。因此本文提出了一种新的多摄像机目标跟踪算法,算法模块的框架如图1所示,设摄像机A1,A2,…,An为相邻的摄像机群。

如图1所示,首先获取多个摄像机的视频流,然后使用目标交接获取多摄像机之间目标的对应关系,使得不同摄像机中的同一个目标具有相同的标号。然后提出使用新的多摄像机跟踪算法,当一个摄像机画面的目标发生遮挡事件或分离事件时,与相邻不发生遮挡事件或分离事件的摄像机画面进行目标交接,从而解决目标被遮挡或分离时产生的误匹配问题,实现稳定的目标跟踪。

2 目标交接

首先获取多摄像机画面之间的仿射变换关系,从而计算出多摄像机画面的对应坐标;接着本文提出提取图像中的运动目标坐标,根据目标坐标和仿射变换矩阵计算出与相邻摄像机画面的对应目标,识别出目标标号,从而实现目标交接。

2.1 仿射变换

仿射变换[10]可以实现二维平面到二维平面的线性变换,因此使用仿射变换矩阵可以获取图像平面坐标之间的映射关系。设I1,I2分别为不同视觉观察同一场景ζ的摄像机,目标a和目标b在I1,I2画面中的投影位置如图2所示。

设I1画面到I2画面的仿射变换矩阵记为H[10]

其中,h11～h32是仿射变换矩阵的系数,代表水平、垂直方向上的位移量、旋转因子、缩放因子。

设χ是场景ζ中的任意一点,在I1,I2画面中的投影坐标分别设为(x1,y1)和(x2,y2),则其坐标之间的映射关系满足式(2)。从而根据式(2)可以计算出一个平面中的任一坐标点对应到另一平面的坐标位置。

式(2)展开可得到

通过式(3)可以实现两个平面之间的坐标对应,为目标标号识别打下基础。

2.2 目标标号识别

如图3所示,设水平地面为参考平面,不同视角的摄像机观察到目标c在地面的投影分别设为c1、c2。当目标的世界坐标与参考平面的深度信息不一致时,其投影在参考平面的位置是不一样的,如图3中c1、c2除了脚部部位,其他部位都不重合。因此,本文首先采用高斯背景重建算法[11]对运动目标进行检测,然后使用文献[12,13]的blob算法提取运动目标。由于目标最低点与地面接触,其深度信息相同(都为0),因此本文提出使用运动物体的最低点代表目标坐标的方法,有效地减少了由于特征点的深度信息不一致而引起的变换误差。

设目标ρ在摄像机I1画面中的最低点坐标为,代入式(2)和式(3),计算出其在摄像机I2画面中坐标为;设I2中目标x的像素点坐标集为Area(x),其中,目标x的任一坐标点设为,其中k=0,1,…,n,则Area(x)的定义如式(4)所示;如果满足式(5),则表示目标p与目标x为同一目标,从而识别出目标x的标号,实现目标标号交接。

3 多摄像机跟踪

目标不发生遮挡时,一般使用卡尔曼滤波[14]的方法可得到良好的跟踪效果。当目标之间发生遮挡事件时,多个目标重叠在一起,部分目标的特征信息被遮挡丢失;多目标发生分离事件时,由于目标被遮挡期间目标的特征信息丢失,根据目标的先验知识难以将遮挡后重新出现的目标进行准确地识别,此时稳定的目标跟踪存在着巨大挑战。

因此,当目标之间在某一个摄像机中发生遮挡、分离事件,而在另一摄像机视角观察不发生遮挡、分离事件时,本文提出一种新的目标遮挡事件和分离事件的判别算法,准确地判断事件的发生,并提出使用多摄像机之间的目标交接,获得遮挡或分离目标的标号,实现持续的目标跟踪。

设camA和camB是相邻的摄像机,当多个目标发生遮挡或分离事件时,可使用相同的方法进行分析。目标A和B是camA在t-t0时刻到t+t0时刻观察到的运动物体,如图4a～图4c所示;在camB中观察到的状态如图5a～图5c所示。

图4a～图4c中,目标在t时刻发生遮挡事件,目标在t+t0时刻发生分离事件;图5a～图5c中,目标A和B没有发生遮挡和分离事件。

设在任一时刻,当一个摄像机中发生遮挡或分离事件(如图4的camA),相邻的一个摄像机不发生该事件时(如图5的camB),本文提出使用目标交接从相邻摄像机画面中获取目标的信息,实现目标识别。图6展示了两个摄像机进行目标跟踪算法的流程图,该方法适用于多摄像机中两两摄像机进行多目标跟踪的情况。

图6中,设X={x1,x2,…,xn}∈N为camA中发生遮挡或分离事件的目标集合,当camA中的目标发生遮挡或分离事件时,将其目标信息发送给camB,然后通过式(3)～式(5)识别出目标的标号,并发送给camA,从而实现目标X在camA的目标跟踪。

3.1 OE判断及目标识别算法

当多目标发生遮挡事件时,如图4a～图4c所示,观察到的目标个数由多个变为一个。由于camB中目标无遮挡事件发生,使用卡尔曼滤波的方法可实现准确的跟踪结果。

假设在t时刻,目标A的最低点坐标在camB中的坐标为t(x,y);已知camB中t时刻有目标A和B,HcamB-camA是camB到camA场景的仿射投影矩阵,设t时刻camA中任一点的坐标用表示,目标x1与x2是camA中的任意两点,将其代入式(2)和式(3)可计算出和在camA中的投影坐标,如式(6)所示

设Area(x)为目标所占地区域范围,式(7)的定义为

如果满足式(7),则认为目标x与camB中的目标A,B对应,即x是目标A,B的重叠体,从而识别出遮挡目标,解决目标遮挡时产生跟踪丢失的问题。

3.2 SE判断及目标识别算法

当目标发生分离事件时,如图4b～图4c所示,重叠目标体在图4c中分离成多个目标。此时使用单摄像机跟踪的方法将会把分离出来的目标认为是新出现的目标,造成目标跟踪失败。

设图4c中B'为重叠后分离出来的目标,t+t0时刻,脚点坐标设为;设camA中任一点x的坐标用表示,camB中的目标B的脚点坐标位置设为,则根据式(2)得目标B在camA中的投影坐标为

设εH为允许的投影误差,式(9)的定义为

若目标B'的坐标符合式(9),则表示目标与B'的标号与camB中目标B的标号相同,其为同一目标。通过上述方法即可识别出重叠后产生分离的目标标号,解决了重叠目标分离后产生跟踪丢失的问题。

4 实验结果分析

使用本文算法对两组实验的结果分析如下:

1)与SIFT特征跟踪算法的比较实验

使用本文提出的多摄像跟踪机制和文献[9]的方法使用sift特征点进行目标跟踪的实验效果进行对比。实验一场景选择一个小区的门口,门口的行人较多,很容易引起目标遮挡。本文方法可适用到多个摄像机,但是多摄像机中两两摄像机通信的方法是相同的,因此本次实验展示了使用两个摄像机对目标进行跟踪的效果。两相邻摄像机分别设为camA和camB,camA的焦距大小为camB的1/4,因此camB比camA具有更宽广的视角,并且camA与camB对场景观察角度的夹角为75°,此时,camA与camB的观察到的目标特征信息具有较大的差异。

camB的场景如图7所示,camA的场景如图8～图9所示。camA与camB同时对场景进行监控,监控视频中第201帧到568帧有两个行人经过监控区域。其跟踪效果如图7所示。

目标跟踪的效果用矩形框和标号标识,被认为是相同的目标用同一颜色的矩形框框出,并且标号相同。由图7可以看出,在camB的视野中两个目标的运动过程没有发生遮挡,使用卡尔曼滤波的方法在单摄像机中成功进行跟踪。因此,在目标不发生遮挡的情况下,使用单摄像机跟踪算法可获得良好的效果。

在camA中,第250帧到402帧两个运动目标发生遮挡,用本文提出的根据事件判断机制对camA的目标进行跟踪的效果图如图8所示。可以看到,同一目标的标号、外接矩形框的颜色都相同。由图8c可看到本文算法可以准确地对遮挡目标进行识别,由图8d可看到当目标发生分离事件后可以继续对目标进行跟踪。

文献[9]的方法使用sift特征点进行目标匹配得到的效果图如图9所示。从图9b和图9c中看到,当目标之间发生遮挡时,2号目标特征点跟踪丢失,导致2号目标被认为消失了,跟踪失败。由图9d看到重叠目标分离时,由于历史信息的丢失,2号目标被认为是一个新的目标,外接矩形框的颜色改变并且其标号变成3,不能对目标进行持续跟踪。

因此,由图8和图9可以看出,使用本文的方法能成功地对发生遮挡事件和分离事件的目标进行持续跟踪。

2)遮挡情况下多目标持续跟踪实验

设图10～图11分别为摄像机camC、canD在同一时间段拍摄的画面,其场景比较复杂,存在着较多的运动目标,且运动目标多次发生遮挡、分离事件。使用本文算法的跟踪效果图如图10～图11所示。

图11b～图11d的时间段内,4号目标发生了两次遮挡事件,1次分离事件后,仍能准确进行跟踪;5号目标多次和不同的目标发生遮挡、分离事件后,跟踪标号不发生改变,具有较好的稳定性。因此本文在场景中具有较多运动目标,且发生多次遮挡、分离事件后,仍能准确地实现目标跟踪。

5 结论

摄像机跟踪系统 篇4

一、摄像机运动轨迹跟踪技术的原理

1.摄像机运动轨迹跟踪技术的诞生

20世纪70年代, 乔治卢卡斯和其他特技先驱最早开创了镜头跟踪技术, 即在制作《星球大战》时设计了一套机械跟踪系统, 主要作用是记录摄影机的运动方式, 并且准确无误地重复这种运动方式, 从而确保多次的影视拍摄都有相同的摄影机运动。后来, 随着计算机技术的飞速发展, 这种技术经过多次改进, 发展成今天的摄像机运动轨迹跟踪技术, 其目的是为了解决二维画面跟踪不可用于三维跟踪合成的问题。换言之, 就是为了解决二维画面跟踪仅能对被拍摄物体进行跟踪, 而对于摄像机的运动则无能为力的问题。从而使得实拍镜头更好地融入计算机生成的三维素材中, 或是将计算机生成的三维素材真实地融入实拍镜头中。

2.摄像机运动轨迹跟踪技术的原理

摄像机运动轨迹跟踪技术的原理, 首先, 工程师需要分析二维画面中的像素检测、画面内的元素的运动轨迹以及对前期拍摄的参数进行匹配运算。比如, 镜头焦距、记录帧率、运动模式等, 从而可以确定现实中的景物在计算机构建的虚拟坐标中前后左右的位置信息以及纵深关系。其次, 通过构建三维虚拟场景可以找出现实拍摄过程中摄像机运动的轨迹;最后, 通过计算机进行相应的运算, 从而在计算机上模拟摄像机原始的运动轨迹。这样一来, 就能使得真实的摄影机和计算机虚拟出来的摄影机可以同步运动, 从而可以精确地还原真实拍摄时的场景。

3.运用摄像机运动轨迹跟踪技术的实例

随着社会的发展, 摄像机运动轨迹跟踪技术涉及的范围越来越广泛, 主要领域有电影、电视、广告、综艺节目等, 下面将通过的具体的范例进行详细地讲解。

其一, 摄像机运动轨迹跟踪技术在电影《长江七号》中的运用, 七仔与小演员的完美结合使得观众叹为观止, 在影片拍摄的过程中, 实拍演员的摄影机参数和路径与拍摄七仔虚拟的摄影机的参数和路径基本一致, 从而确保了实拍的演员和三维软件制作的七仔的完美结合。具体操作:首先, 需要用摄像机实拍演员;其次, 运用三维追踪软件对原有画面进行追踪确定, 进而通过计算机技术计算出摄像机的路径系数;再次, 将摄像机的路径导入进制作七仔三维动画的软件之中, 只有这三个环节相互联系, 共同推动, 才能确保拍摄七仔的虚拟摄像机与实拍画面的摄像机的运动保持一致, 使得观众欣赏到天衣无缝的特效画面。

其二, 摄像机运动轨迹跟踪技术在广告中的运用。我们可以发现, 这项技术运用于百事可乐、雪碧、汽车宣传片、德芙巧克力等广告中, 这里主要阐述这项技术在德芙巧克力广告中的运用, 这项技术使得虚拟的巧克力带与真实的人物完美的结合, 从而使得整个广告的画面非常唯美。

二、摄像机运动轨迹跟踪技术的应用流程

镜头跟踪工程师认为, 摄像机运动轨迹跟踪技术是一项非常重要的技术, 源于用摄像机拍摄现实中的场景, 只是将所拍摄的三维空间转变为二维平面, 而摄像机运动轨迹跟踪技术则要求工程师通过相关软件的准确计算, 把当时摄像机所拍摄的三维场景进行还原, 并且在计算机中模拟出来, 而连接两者的纽带便是摄像机。

摄像机运动轨迹跟踪主要包括四个环节, 下面将逐一进行阐释。

第一, 镜头跟踪工程师通过评估需要跟踪的影片片段, 制定相应的跟踪方案, 然后在摄像机跟踪软件中加入前期拍摄的参数进行匹配运算, 这样一来, 可以使得工程师得到更多的数据和信息, 以便更加准确地还原原有的拍摄场景。

第二, 随着科学技术的发展, 照相测量法技术被广泛地运用, 该技术在软件中的运用提高了软件的智能跟踪水平, 这样一来, 软件可以及时、准确地得到一个运动的虚拟摄像机和三维场景的数据。之后, 工程师可以依据这些数据在二维的平面内重新构建三维空间, 这样, 镜头跟踪工作就算完成了。

第三, 源于失败的镜头跟踪一直存在整个后期制作流水线中, 不到最后的合成输出, 难以发现镜头是否错误跟踪。一旦出现失败的镜头跟踪, 特效艺术家和动画师将不得不重新更改特技, 不仅浪费时间和精力, 而且增加了制作成本。所以, 镜头跟踪工程师需要定期测试跟踪的镜头与真人实拍是否吻合, 计算机所构建的三维空间以及虚拟摄像机与真实世界是否匹配, 具体做法为使用跟踪技术, 在重构的三维空间内摆放自带的测试物体, 如果测试物体发生了移动或者漂移, 则意味着出现了失败的镜头跟踪, 需要特效艺术家和动画师及时有效地进行修复处理。

第四, 一个影视作品从制作到完成需要很多工序, 这就要求每道工序都能保质保量地完成, 从而节省了许多不必要的时间。比如, 跟踪完成之后, 跟踪镜头工程师首先需要制定相应的场景文件, 其主要包括三维场景的坐标及大小、合理的命名规则以及必要的设施等, 然后把这些场景文件转交给工程流程下的其他艺术家们, 从而使得其他艺术家根据这个井然有序的跟踪文件开展下面的工作。

三、结语

摄像机运动轨迹跟踪技术在特效场面中具有不可替代的作用, 主要是因为运动镜头中摄像机轨迹的跟踪匹配是数字技术运用于电影特技亟需解决的问题之一。而在特效镜头中, 要想达到影片所追求的艺术效果, 必须对相应的镜头进行特效合成, 从而使得计算机生成的素材真实地融入在实拍镜头中。所以说, 摄像机运动轨迹跟踪技术对这个行业具有举足轻重的影响。

摘要：在影视制作技术的发展过程中诞生了摄像机运动轨迹技术, 这项技术使得人们在影视作品中可以看到各种各样的特效场面, 而特效场面的生成, 主要是运用摄像机运动轨迹跟踪技术, 将真人实拍画面和计算机制作的三维特效场景进行有效地合成, 从而使得计算机生成场景与实拍镜头合成后就像是真实的表演, 阐述了该技术在影视特效中的应用及其制作流程。

关键词：镜头跟踪,影视制作,特效,技术

参考文献

[1]胜楠.摄像机轨迹反求技术的原理[J].清华大学美术学院学报, 2010, (01) .

[2]任达, 冯雪宁.摄像机运动轨迹跟踪技术在影视制作中的应用[J].中国传媒大学学报, 2011, (06) .

摄像机跟踪系统 篇5

智能视频监控已成为计算机视觉领域研究的热点问题[1]。其中,PTZ(Pan, Tilt, zoom)摄像头被认为是最有用的传感器之一[2,3]。在监控系统中,PTZ摄像头主要用来做目标检测和目标跟踪[4,5],从PTZ摄像头采集的图像中提取出运动目标区域非常重要。摄像头的运动导致了背景的变化,使得这一工作面临很大的挑战。如何解决背景运动问题,国内外就这一难题展开广泛的研究,主要归为以下两类:一是将PTZ摄像头和静态摄像头联合,组成主从控制系统进行跟踪;二是直接采用单一PTZ摄像头对目标跟踪。

1.1 静态摄像头和PTZ联合跟踪

近年很多学者采用PTZ摄像头和静态摄像头来组成主从控制系统解决背景运动问题[6,7,8]。摄像头联合跟踪的难点在于确定这些摄像头视场FOV(Field of View)间几何位置关系。文献[6,8]采用摄像头标定的方法来解决这一问题。这类方法通常采用静态摄像头对运动目标进行检测和跟踪,根据其跟踪的结果控制PTZ摄像头的运动,进而追踪运动目标。文献[7]设计了一个实时动态多摄像头的控制系统。该系统通过静态摄像头采用基于形状的方法跟踪运动目标,使用通用的世界坐标系统来进行摄像机间的标定,通过几何变换将运动目标的坐标转化为PTZ摄像头运动相应的水平旋转(pan) 和垂直旋转(tilt)值。文献[9,11]结合人脸检测提出了类似方法。

1.2 单一PTZ摄像头的目标跟踪

摄像头PTZ控制的目标跟踪通常是指仅使用一台PTZ摄像头对感兴趣目标进行实时跟踪,并根据跟踪结果控制PTZ摄像头运动来追踪目标,以保持感兴趣目标始终位于摄像头视场中心区域。由于摄像头运动导致背景随之变化,通常采用背景减和特征匹配的方法来实现摄像头PTZ控制的目标检测与跟踪。

1.2.1 背景减方法

背景减方法被广泛应用于静态摄像头下的运动物体检测,具有很高的准确性。很多国内外的学者就背景减方法应用于摄像头PTZ控制的运动物体检测做了广泛研究。文献[12,13]通过学习摄像头在不同位置和拉伸镜头(zoom)下的背景建立监控场所的马赛克(Mosaic)背景模型,利用背景减的方法来定位运动物体。文献[14]提出一种基于单PTZ摄像头的视频监控系统框架。 该框架分为两部分:线下部分和在线部分。线下部分利用SIFT特征和光束法生成整个监控区域的马赛克背景模型。在线部分,利用SIFT特征和光束法将实时视频流中的当前帧映射到马赛克背景上对应的位置,并利用背景减检测出运动目标。

另一类改进背景减的方法是,利用背景补偿技术来解决背景的运动问题。背景补偿技术分为基于硬件的背景补偿[15]和基于图像的背景补偿[16,17]两类。基于硬件的背景补偿运算量小且与图像背景的复杂度无关,但需要实时查询摄像头当前的水平角度、垂直角度、镜头的拉伸倍数,且这些参数的获取和图像的时间同步问题很难解决。基于图像的背景补偿通过提取连续图像帧的特征,来统计连续图像帧的运动参数。基于图像的背景补偿不需要特殊的摄像头,但是其性能会受背景环境复杂度的影响,计算复杂度也相对较高。文献[16]将连续图像帧的全局运动逼近为六参的仿射变换,通过角点检测和对应块匹配技术来获取相邻图像帧的对应特征点,应用全局运动估计算法来计算这些参数。但是该方法对运动导致的模糊(motion blur)和含有很少角点的背景非常敏感。文献[17]提出将连续图像帧的全局运动逼近为四参的仿射变换,利用多尺度的霍夫变换做参数估计,解决了运动导致的模糊问题。

上述这些方法均需要对运动背景进行建模,背景模型需随环境的变化而改变,其鲁棒性较差且计算复杂性较高,难于做到实时处理。

1.2.2 基于特征匹配的方法

基于特征匹配的方法也是一种常用的摄像头PTZ控制的检测跟踪方法。文献[18]提出了一种使用单PTZ摄像头实时跟踪非刚体目标的方法。该方法提出了一种综合考虑前景和背景目标表述模型,通过贝叶斯假设验证来确定每个像素是否为目标像素,并用CAMSHIFT来进行跟踪。文献[19]提出了一种单PTZ摄像头下的快速运动物体的实时跟踪方法。该方法通过卡尔曼滤波来预测均值漂移算法初始搜索窗口的位置,并引入感兴趣区域(ROI)来降低复杂度,达到跟踪快速运动目标的效果。文献[20]提出了一种使用单PTZ摄像头在大范围复杂场景下的目标跟踪方法。该方法使用基于三维带权重的HSV直方图特征的均值漂移算法进行跟踪,引入模板匹配的方法来跟踪同一目标,并引入运动历史图(MHI)解决目标跟丢的问题。文献[21,22,23]提出了网络PTZ摄像头在低帧率条件下的人体跟踪算法。该方法在PTZ摄像头静止时做运动检测,并对检测出的运动块采样,利用分类器筛选出跟踪目标。

本文提出了一种基于颜色和局部二进制模型LBP(local binary patterns)[24]纹理的多特征融合目标相似度匹配算法,并建立了基于候选区匹配的摄像头PTZ控制的目标跟踪方法。 在对PTZ摄像头的目标检测和跟踪算法进行研究和分析的基础上,提出了改进的对称差分运动目标检测算法,以此来确定目标运动候选区域。考虑摄像头命令的传输和执行延时,利用目标运动轨迹对目标位置加以预测,并根据目标的预测位置自动控制PTZ摄像头主动追踪目标,实现了支持帕尔高协议和雅安行业标准协议的摄像头控制方法。

2 PTZ摄像头的目标跟踪方法

2.1 系统结构流程

基于PTZ摄像头的目标跟踪,需要解决摄像头运动导致的背景运动问题。由于摄像头运动导致的背景变化复杂,要达到实时效果比较困难,因此考虑将PTZ摄像头分为运动和静止两种状态。当摄像头高速运动时,采集到的图像具有明显的晃动,所以,在摄像头处于运动状态时不处理视频数据,静止状态进行视频分析,即智能视频分析和摄像头运动交替进行。基于此,本文提出一种基于候选区匹配的摄像头PTZ控制的目标跟踪方法,该方法的系统流程如图1所示。

其中,图像获取模块主要负责前端摄像头监控视频的图像采集,将PTZ静止状态所获取的视频图像传递给目标定位部分进行分析处理。目标定位部分主要将视频图像进行实时分析,确定目标在图像中的准确位置,并将目标的位置信息提供给后续的目标运动估计模块。目标运动估计部分根据每帧图像所在的位置坐标计算目标的运动轨迹和运动速度。同时考虑摄像头的运动和网络传输延时,以及视频分析所需时间,预测目标在这些延迟时间之后的位置坐标,并传给摄像头控制部分。摄像头控制部分根据预测的目标位置,自动控制PTZ摄像头主动追踪目标,保证目标处于摄像头视场的中心区域。下面分别进行叙述。

2.2 目标检测跟踪

本文提出PTZ摄像头下基于候选区匹配和对称差分相结合对目标进行检测与跟踪。使用颜色和纹理特征相结合的方式来对目标进行表示,利用基于候选区匹配的模板匹配方法来定位目标的位置。考虑到摄像头命令的传输和执行延时,根据目标运动的历史信息对目标的位置加以预测。通过目标的预测位置来计算PTZ摄像头的运动方向、运动速度和运动时间,自动控制摄像头主动追踪目标。从而使目标处于摄像头视场的中心区域,达到较大范围和较长时间追踪目标的目的。我们将此部分分为目标定位和目标运动估计两部分。

其目标定位工作流程如图2 所示。其中,初始化阶段由人手动标定需要跟踪的感兴趣目标。此方法通过自动控制PTZ摄像头来主动追踪目标,所以目标在大部分时间内都将处于摄像头视场的中心范围内。为了减少计算量,初始时只在图像的中心区域范围内采用基于候选区匹配的方法搜索目标。当图像中心区域的候选区与目标匹配成功时,完成目标定位,输出目标的位置。当在图像的中心区域没有匹配成功,说明目标已走出图像的中心区域。此时,在整幅图像中采用对称差分的运动目标检测方法确定前景目标,以此来确定目标的大致区域,从而减少了匹配搜索的范围,并在这些区域采用候选区匹配的方法定位目标的位置。若依然没有匹配到合适的目标,说明目标被遮挡或已完全走出摄像头的监控视场,此时则不输出目标的位置。对实时的视频流中的每一帧图像重复上述步骤,直到手动取消要跟踪的感兴趣目标或重新标定要跟踪的感兴趣目标。如果连续跟踪失败次数达到规定上限,则跟踪失败。为了实现此过程,需要确定目标的表示形式、候选区的选取方法、目标与候选区的相似性度量、运动区域的估计方法,以及摄像头PTZ控制方法,下面分别叙述。

2.2.1 目标表示

在PTZ摄像头对目标跟踪过程中,跟踪目标表面形状通常用椭圆或矩形框来表示,本文采用矩形框表示。目标在第t帧图像中表示为Pt,其形式如下

Pt=(c(t),h(t),w(t)) (1)

其中,c(t)表示目标中心坐标,h(t)矩形高,w(t)表示矩形宽。

为了定位感兴趣目标在图像中的位置,需要对候选区与感兴趣目标进行相似性度量。为此,首先选取合适的特征来对目标进行表示。本文使用归一化的LBP直方图和归一化的HSV颜色直方图来表示感兴趣运动目标。

2.2.2 候选区的选取

当目标运动速度较慢时,通过自动控制PTZ摄像头,使目标处于摄像头视场的中心区域。当目标速度较快时,摄像头的运动可能滞后于目标,或者预测目标出现较大偏差,使目标处于摄像头视场的中心区域之外。此时,如果目标仍处于视场内,采用运动目标检测方法能确定目标所在视场的大致区域。

以上分析表明目标或者处于图像的中心区域Rcenter,或者处于检测到的目标运动区域Rmove。为了获得更加准确的目标位置,将检测到的运动前景向四周扩展,得到包含目标的运动区域Rmove。因此,只需在Rcenter和Rmove这两个区域搜索目标,以此减少搜索范围,降低目标定位的计算量。

通常,匹配算法采用以像素为单位来滑动搜索窗口进行匹配搜索,这样能准确得到目标位置,但是计算量大,难以实时应用。本文采用将搜索区域划分为若干矩形候选区RRi的方法来减少运算量,获得目标位置。矩形候选区RRi的大小与目标表示大小Pt大小一致。

当目标处于图像的中心区域Rcenter时,在图像中考虑N个矩形候选区RRi(i=1,2,…,N)。图3(a)将将候选区分割成3×5共15个无重叠矩形区域。其中,黑色为图像背景,白色矩形框为候选区。矩形候选区数目N的选取与目标的运动速度有关。目标的运动速度越快,目标越容易出现在图像的中心区域之外,则选取更大的N覆盖更大范围的中心区域;若目标的运动速度较慢,则选取较小的N。

(a) 无重叠矩形候选区示意图(将候 (b) 图像划分9个子区域示意图选区分割成3×5区域,对每个区域进行相似性匹配)

2.2.3 目标与候选区的相似性度量

确定了目标的候选区域后,通过目标与候选区的相似性度量选择候选区,来定位目标位置。为了提高跟踪的鲁棒性,我们采用多特征融合的方法对目标跟踪,将每个候选矩形区域RRi与初始选定跟踪目标M间的多个特征的相似性以一定的权重组合成多特征融合的相似度量ScoreRRi,选取相似度量ScoreRRi最大的候选区为目标。多个特征间的权重与实际应用的场景有关。

设H${}_{d\times dLB{\rm P}}^{RRi}$为候选区域RRi的归一化的d×d邻域的LBP直方图,H${}_{d\times dLB{\rm P}}^{RRi}$为初始阶段选定目标M的归一化的d×d邻域的LBP直方图,则候选区域与目标的归一化的d×d邻域的LBP直方图距离为$[0,\sqrt{2}]$:

$d{}_{d\times dLB{\rm P}}({\rm H}{}_{d\times dLB{\rm P}}^{RRi},{\rm H}{}_{d\times dLB{\rm P}}^m)=\sqrt{{\displaystyle \sum _n(}{\rm H}{}_{d\times dLB{\rm P}}^{RRi}[n]-{\rm H}{}_{d\times dLB{\rm P}}^m[n]){}^2}(2)$

其中,n为归一化LBP颜色直方图的块编号。dd×dLBP的取值范围为$[0,\sqrt{2}]$。

直方图间的相似性与距离成反比,因此定义LBP直方图间的相似性为:

$\mu {}_{d\times dLB{\rm P}}(d{}_{d\times dLB{\rm P}})=1-\frac{d{}_{d\times dLB{\rm P}}}{\sqrt{2}}(3)$

考虑实际跟踪过程中目标尺度变化的影响,采用3×3邻域和5×5邻域的归一化LBP直方图,则纹理相似性度量为:

$\mu {}_{LB{\rm P}}=\frac{\mu {}_{3\times 3LB{\rm P}}+\mu {}_{5\times 5LB{\rm P}}}{2}(4)$

其中μLBP取值范围为[0,1]。μLBP越大说明候选区域与目标的纹理越相近,则该候选区域包含目标的可能性也就越大。

设H${}_{{\rm H}SV}^{RRi}$,H${}_{{\rm H}SV}^m$分别为候选区域RRi,初始选定目标M的归一化的HSV颜色直方图。则候选区域与目标的归一化HSV颜色直方图间距离dHSV为:

$d{}_{{\rm H}SV}({\rm H}{}_{{\rm H}SV}^{RRi},{\rm H}{}_{{\rm H}SV}^m)=\sqrt{{\displaystyle \sum _n(}{\rm H}{}_{{\rm H}SV}^{RRi}[n]-{\rm H}{}_{{\rm H}SV}^m[n]){}^2}(5)$

其中,n为归一化HSV颜色直方图的bin。dHSV的取值范围为$[0,\sqrt{2}]$,该距离的成员函数μHSV(dHSV)定义为:

$\mu {}_{{\rm H}SV}(d{}_{{\rm H}SV})=1-d{}_{{\rm H}SV}/\sqrt{2}(6)$

直方图间的另一种度量为相关系数。候选区域与目标的归一化HSV颜色直方图的相关系数,即相似性SHSV为:

$\begin{array}{l}S{}_{{\rm H}SV}({\rm H}{}_{{\rm H}SV}^{RRi},{\rm H}{}_{{\rm H}SV}^m)\\ =\frac{{\displaystyle {\sum }_n(}({\rm H}{}_{{\rm H}SV}^{RRi}[n]-\overline{{\rm H}{}_{{\rm H}SV}^{RRi}})({\rm H}{}_{{\rm H}SV}^m[n]-\overline{{\rm H}{}_{{\rm H}SV}^m}))}{\sqrt{{\displaystyle {\sum }_n(}{\rm H}{}_{{\rm H}SV}^{RRi}[n]-\overline{{\rm H}{}_{{\rm H}SV}^{RRi}}){}^2}\cdot \sqrt{{\displaystyle {\sum }_n(}{\rm H}{}_{{\rm H}SV}^m[n]-\stackrel{—————}{{\displaystyle {\rm H}{}_{{\rm H}SV}^m}}){}^2}}\end{array}(7)$

$\text{Η}{}_{\text{Η}\text{S}\text{V}}^{\text{R}\text{R}\text{i}},\text{Η}{}_{\text{Η}\text{S}\text{V}}^{\text{m}}$分别为候选区域与目标的归一化HSV颜色直方图的均值。SHSV的取值范围为[-1,1]。因此该相似性的成员函数μHSV(SHSV)定义为:

$\mu {}_{{\rm H}SV}(S{}_{{\rm H}SV})=(1+\frac{S{}_{{\rm H}SV})}{2}(8)$

μHSV(dHSV)取值范围为[0,1],μHSV(SHSV)取值范围为[0,1]。颜色相似性度量定义为:

$\mu {}_{{\rm H}SV}=\frac{\mu {}_{{\rm H}SV}(d{}_{{\rm H}SV})+\mu {}_{{\rm H}SV}(S{}_{{\rm H}SV})}{2}(9)$

其中μHSV的取值范围为[0,1]。μHSV越大说明候选区域与目标的颜色越相似,则该候选区域包含目标的可能性也越大。

目标整体上的相似性度量,考虑LBP纹理和HSV颜色信息的融合,因此目标M与候选区域RRi的相似性度量为:

ScoreRRi=α×μLBP+(1-α)×μHSV (10)

其中,α表示纹理相似性度量占的权重,取值范围为[0,1]。α的选取应该能较好地表达目标的纹理信息和颜色信息。若目标的纹理信息更加明显,则α越大(大于0.5)。若目标的颜色信息更加明显,则α越小(小于0.5)。本文中取α=0.5。

2.2.4 目标位置的确定

通过上述计算,确定了目标M与候选区(i=1,2,…,N)的相似性度量ScoreRRi。那么,目标与候选区的最大相似性度量Smax为:

Smax=maxi(∀ScoreRRi) (11)

若目标在候选区RRi(i=1,2,…,N)的范围中,则目标必定在满足ScoreRRj=Smax的候选区RRj中。实验表明,目标有时不在候选区RRi(i=1,2,…,N)范围中(如目标被遮挡或不在摄像头视场范围),若选择满足ScoreRRj=Smax的候选区域RRj为目标所在位置,则出现偏差。为解决这一问题,引入置信值K。根据经验,这里取置信值K为0.8。

当在图像的中心区域Rcenter中匹配时,若Smax≥K,则认为目标在图像的中心区域,目标在满足ScoreRRj=Smax的候选区RRj。若Smax<K,则说明目标不在图像的中心区域,此时目标运动速度较大。采用改进的对称差分进行前景目标检测,得到目标运动区域Rmove。

当在图像的运动区域Rmove中做匹配时,若S′max>K,则说明目标在该运动区域中,目标在满足ScoreRRj=S′max的候选区。若S′max<K,则说明目标不在该运动区域。此时无法确定目标的位置,下一帧重新检测。当匹配到目标的位置时,输出目标的位置给摄像头控制模块。

2.2.5 基于对称差分的前景检测和运动区域估计

当在图像的中心区域没有匹配到满足条件的候选区时,通过改进的对称差分进行前景目标检测,得到目标运动区域。基于对称帧差分的运动目标检测方法能在很短的时间内检测到运动目标,满足快速检测的要求。

如图4所示,在检测到运动目标的位置(较小矩形框)后,在其周围向左、向右分别扩展1/2目标宽度,向上、向下分别扩展1/4目标高度,得到运动区域的范围(较大矩形框)。因为检测到的运动目标的位置与实际目标的位置可能会出现偏差,所以扩大前景的范围以保证运动区域包含完整的目标。将此运动区域内划分为若干个与感兴趣目标大小一致的候选区,并在候选区中采用模板匹配的方法定位目标的准确位置。

3 摄像头PTZ的自动控制

为了使感兴趣目标在摄像头视场的中心区域运动,需要根据目标在图像中的位置自动控制PTZ摄像头主动追踪目标。通过实验发现,如果不考虑摄像头的命令传输和执行延时,仅通过目标定位得到目标位置(x,y)估计摄像头的运动参数 (direct, speed, time)并自动控制摄像头运动时,摄像头的运动总是相对滞后于目标的运动。因此,需要综合考虑目标在图像中的坐标位置(x,y)和运动速度Vt,来计算摄像头的运动参数。

3.1 目标位置的预测

根据目标运动历史信息可以得到目标的平均运动速度。

$\begin{array}{l}V{}_x^t=(1-\beta )\times V{}_x^{t-1}+\beta \times ({\rm I}{}_x(t)-{\rm I}{}_x(t-1))\\ V{}_y^t=(1-\beta )\times V{}_y^{t-1}+\beta \times ({\rm I}{}_y(t)-{\rm I}{}_y(t-1))\end{array}(12)$

其中Ix(t),Ix(t-1),Iy(t),Iy(t-1),分别为在第t帧和第t-1帧时目标在x方向和y方向的坐标。V${}_{\text{x}}^{\text{t}}$,V${}_{\text{y}}^{\text{t}}$分别为在第t帧和第t-1帧时目标在x方向和y方向的平均运动速度。β为目标速度的更新速率,当目标的速度跳变比较大时,选取较大的β,反之选取较小的β。

假设摄像头的命令传输和执行具有固定延时Δt。当智能视频分析模块检测到目标在第t帧的位置为 (x,y),根据目标的平均运动速度Vt预测目标在Δt时间后所处的位置(x′,y′)为:

x′=x+V${}_x^t$×Δty′=y+V${}_y^t$×Δt (13)

根据位置(x′,y′),计算得到摄像头的运动参数为(direct, speed, time)。

3.2 摄像头运动参数的确定

在得到了目标的预测位置(x′,y′)后,接下来将根据预测位置来确定摄像头的运动参数(direct, speed, time)。这里将图像分为如图3(b)所示的9个子区域。

(1) 参数direct确定

如果预测位置(x′,y′)属于区域9,则摄像头静止。如果预测位置(x′,y′)属于区域1、区域2、区域3、区域4、区域5、区域6、区域7或区域8,则摄像头需要向方向左上、上、右上、右、右下、下、左下、或左运动。

(2) 参数speed确定

将每个区域(区域1-8)按照离中心区域9的远近划分为4个子区域,这里将摄像头的运动速度也划分为4个等级,当预测位置(x′,y′)落在离中心区域越远的子区域时,速度speed越大。

(3) 参数time确定

为简化计算,假定摄像头每次的运动时间固定为一个常数,根据经验,选取摄像头运动时间为20ms。

在跟踪过程中,当摄像头静止时对视频图像分析处理,每一帧得到一个目标的位置坐标(x,y),预测后得到目标的一个预测坐标(x′,y′)。然后根据预测坐标(x′,y′)计算摄像头的运动参数(direct, speed, time)。

4 实验结果与分析

本实验硬件测试环境:处理器(四核):Intel core i5 cpu 750 @2.67GHz;视频采集卡:海康威视DS-4008HC;摄像头:YAAN-5106。

软件测试环境为:实验程序基于Microsoft Visual Studio 2008工具开发,操作系统为Windows XP,视频的读取和图像处理部分直接调用开源库OpenCV 2.0中的相关函数。摄像头控制支持帕尔高协议和雅安行业标准协议。

本实验测试场景为室内环境,初始时人为标定跟踪的感兴趣目标。图中矩形区域为检测到的目标,矩形区域的大小初始化确定。

图5是目标在多运动前景情况下的跟踪结果。目标从第2029帧开始从图像的中心区域向左运动。在第2029帧到第2069帧中,图像中存在两个运动目标,分别向相反的方向运动。摄像头能够主动追踪正确的目标(初始选定跟踪的目标)向左运动。目标从第2069帧开始进入有部分遮挡的区域,从第2219帧可以看出,当目标在运动过程中被部分遮挡时,基于候选区匹配的目标主动跟踪方法依然能够较好地主动追踪目标。从第2029帧到第2219帧,可以看到摄像头视场(FOV)的变化,摄像头的视场从房间的右边跟随着感兴趣目标移动到房间左边。

图5表明,当监控场景中存在多个目标或有部分遮挡时,基于候选区匹配的目标主动跟踪方法能自动控制摄像头主动追踪感兴趣目标,保证目标处在摄像头的视场范围内,达到了较大范围和较长时间主动跟踪感兴趣目标的效果。

图6表示在夜晚(有光照变化)和完全遮挡时的跟踪结果。如图6所示,第380帧检测到初始选定的感兴趣目标。第390帧时干扰目标进入摄像头视场并从右向左运动,第400帧时感兴趣目标开始从左向右运动。第408帧时,干扰目标和感兴趣目标在摄像头视场的中心区域相遇,感兴趣目标开始被部分遮挡,此时依然检测到感兴趣目标。在第413帧时感兴趣目标被完全遮挡,此时没有检测到感兴趣目标。到第418帧时感兴趣目标走出完全遮挡,此时检测到部分被遮挡的感兴趣目标。

通过图6中的参照物(门),可以看出摄像头的监控视场在逐渐的向右运动。在第380帧时,图像只包含门的左半部分。到第400帧时,图像中已包含了门的所有部分。到第418帧时,门右边的机柜也完全进入了摄像头的视场。在感兴趣目标从左向右的整个运动过程中,摄像头不断地自动向右旋转主动追逐感兴趣目标向右运动。在第413帧时,由于摄像头运动速度较快,还出现了一定的模糊现象。

图6说明,当目标被短时间完全遮挡时,基于候选区匹配的目标主动跟踪方法依然能够自动控制摄像头主动追逐目标。同时该方法在夜晚条件下也能较好地主动追踪目标,这是因为归一化的LBP直方图特征对光照和阴影不敏感,能较好地表示目标。

5 结 语

实验表明,基于候选区匹配的目标主动跟踪方法能在不同光照条件,以及瞬时完全遮挡的多目标环境下,自动控制摄像头主动追踪目标,使目标处于摄像头的监控视场。相比静态摄像头下的目标跟踪,该方法能在更大范围和更长时间内跟踪感兴趣目标,能够满足实时性要求。同时,该方法有些地方尚待改进,如检测到的目标位置与感兴趣目标实际位置之间尚有一定偏差。如何在保证实时性情况下,选择具有更加鲁棒性的特征,扩大其适用范围,尚待进一步研究。

摄像机跟踪系统 篇6

DVW-500P磁鼓上共有16个磁头, 且都成对地安装在磁鼓上, 记录磁头两对 (4个) , 重放动态跟踪磁头两对 (4个) , 置信磁头两对 (4个) , 旋消磁头两对 (4个) 。其中记录磁头专门负责将音视频记录在磁带上, 重放动态跟踪磁头专门负责磁带的正常重放和变速重放, 本文将作详细介绍。置信磁头是为了记录图像时同时重放刚刚记录的信号, 以验证记录正确与否。因为记录时如果没有置信磁头, 监视器显示的是磁鼓以前的电-电信号, 一旦磁鼓组件出现故障, 监视器出现的信号虽然正常, 而录制的节目带报废, 对于不可逆转的节目将造成不可估量的损失。置信磁头就是这个问题的解决方案。旋消磁头是为实现插入编辑而设计。

动态跟踪磁头又叫DT磁头, 是专门为重放磁头而设计的, 而记录磁头是固定在磁鼓上的。在重放时磁头不但对磁迹有纵向的扫描运动还有沿磁迹横向的上下振动。以保持对磁迹的正确跟踪 (也有叫追踪的) 。为了让磁头在磁鼓上能够上下振动起来, 把一对磁头先安装在一块双晶板上, 双晶板的全称叫双晶压电陶瓷板, 在一定频率电压的控制下能够产生振动。然后再嵌入磁鼓中。

DT磁头比记录磁头要宽一些, 磁头宽度的剩余部分都伸到每对磁迹的外侧, 这句话对下文的理解很重要, 必须加以明确。每对DT磁头的剩余宽度都伸到每对磁迹而不是每条磁迹的外侧。如图1所示。

回放时, 双晶板不停地摆动而带动DT磁头上下振动, 无论如何振动, 总有一个DT磁头会覆盖整个磁迹, 因为两个DT磁头向同一个方向摆动, 当一个DT磁头向磁迹内侧偏离时, 另一个会向磁迹外侧偏离。向磁迹内侧偏离的那个磁头, 由于磁迹的外部被磁头的剩余部分覆盖, 能产生信息的磁头宽度并没有改变, 因而放像射频信号的幅度并没有改变。向磁迹外侧偏离的那个磁头, 由于磁迹与磁头的接触宽度变小, 因而放像射频信号即通常所说的RF包络幅度会变小。可能会有这样的疑问, DT磁头宽度比磁迹要宽, 摆动时难免要扫描到邻近磁迹, 是不是也把邻近磁迹的信号拾取了?在这里方位角的作用就表现出来了, 磁头扫描与其方位角相同的磁迹时会得到较强的信号, 但即使扫描到邻近的磁迹由于二者的方位角不同也只能产生极其微弱的信号。

由上可知, 一对DT磁头在摆动时, 两个磁头产生的RF包络有差异, 利用这个差异就可以控制DT磁头的摆动。图2是摆动控制电路框图。

DVW-500型录像机的磁鼓组件除了多个磁头以外, 还有DT磁头的驱动信号输入和直流供电输入。我们知道磁鼓是旋转的, 磁头信号通过旋转变压器输出, 交变信号可以通过旋转变压器耦合, 那么直流电源是如何进入旋转着的磁鼓中去的了呢, 为此而采用了滑环-电刷组件。滑环在磁鼓的上方, 用两个螺钉和磁鼓固定在一起, 滑环的触点和磁鼓上的触点也由两个螺钉紧密连在一起。滑环随磁鼓一起旋转, DT磁头的驱动信号和直流电源通过电刷和滑环连在一起, 这样在磁鼓上转动的DT磁头就获得了驱动信号和直流电源。

安装在同一块双晶板上的两个DT磁头, 经过EQ板放大, 输出射频RF信号, 经检波形成半波信号, 两个通道输出的半波整流信号输入到差动放大器以得到差值经低通滤波器后得到一直流电压, 该直流电压的极性和数值就代表了跟踪误差的方向和角度。这个带有极性的电压和摆动基准信号叠加后送往双晶板驱动电路DT-34板, DT-34板的输出信号送给磁鼓组件。

经常出现的故障是电刷与滑环使用久了会接触不良, 表现在图像上是屏幕上有噪波点, 同时声音有失真。录像机前面板的通道指示灯在红黄之间交替闪烁。这种故障出现时, 拆下电刷滑环组件来一看, 电刷与滑环之间会有烧灼的痕迹。换上新的组件, 故障很快就消除。