实时跟踪（精选7篇）
实时跟踪 篇1
据美国癌症学会信息, 在美国男人中, 前列腺癌的发病率在癌症中位居第二, 因此造成的死亡率也是第二, 位肺癌之后。每年新增加的前列腺癌病例数超过20万, 每年接受放疗的病人超过100万。目前摆在放射肿瘤学家和治疗专家面前的困难是治疗中器官的移动问题, 它影响了射向病变区所需放射剂量的精确提供。
器官移动是在正常过程中发生的, 如普遍会有的消化、呼吸和咳嗽;这些活动高度可变且不可预知。跟踪运动的器官, 例如前列腺, 在放疗中非常重要, 只有这样才能确保射线射向目标区, 而不伤及周围的健康组织。通常, 医生采用的办法是增大计划靶区 (PTV) 边缘来确保治疗区在射线路径上, 这实际上是把肿瘤区周围的健康组织也暴露在射线下。这就产生了一种需求:要有一个可靠的器官移动跟踪技术, 以帮助把射线精确地指向靶区, 并因此可缩小PTV的边界, 从而不伤及正常组织。
美国华盛顿州西雅图市的Caplyso Medical公司正在向放疗专家提供一个完全新的器官移动跟踪技术, 该技术被称为“用于身体的定位系统” (GPS for the Body) 。该技术的核心是一个有专利权的定位用电磁应答器, 该定位器在进行放疗前通过手术植入前列腺。就位以后, 定位应答器与卡利普索系统 (Calypso System) 间通过发射安全的射频波实现沟通。卡利普索系统是一个根据GPS定位原理衍生而来的系统, 它可使医生实时地跟踪前列腺的位置和移动情况, 医生可根据运动数据精确而又小心地避开周围健康组织向所需区域提供射线。
这一技术的优点在于它使医生实现了对前列腺的连续实时监测, 在器官移动时实现了目标导向。精确的定位带来快速的病人设置, 这是今日唯一的非电离化的跟踪技术。虽然磁共振成像引导技术即将到来, 但Calypso公司的技术在市场上还是有竞争力的, 它价格低, 也容易使用。Calypso公司的技术也向医生呈现了一个独特的精确地执行低分割辐射技术的机会, 如立体定位放疗[SBRT], 它显著地减少了疗程数量, 最终是便利了病人。
Calypso公司的跟踪系统经美国FDA批准现使用于前列腺放疗, 但该技术也可应用于全身。在《泌尿学杂志》2010年5月号上刊出的题为《边界缩小影响的评估》的临床研究中可以看到, 有关该技术的临床证据越来越多。研究指出, 在调强放疗中, 用于前列腺肿瘤跟踪的Calypso系统允许医生使用较高的放射剂量和较小的计划靶区 (PTV) 边界, 同时减少了与治疗相关的副作用, 如皮肤刺激、呼吸浅短、咳嗽、疲劳和食管炎。
减少副作用的主要好处是治疗副作用的成本的大幅下降。Calypso公司的电磁实时跟踪技术不只给病人带来好处, 也给整个医疗系统带来好处, 它增加了治疗的顺从性, 还允许整个放射剂量增强从而增强了治疗的效力。
Calypso系统已安装在世界上100家以上领先的癌症中心, 包括凯特琳癌症中心、华盛顿大学医疗中心、杜克大学医疗中心。最近, 意大利领先的医院之一特兰托市的圣嘉勒医院也装了该系统。公司坚信, 它们的技术在欧洲和全球将得到广泛采用。公司在放射肿瘤市场上得到放疗主要供应商的良好认可, 该公司也乐意与瓦里安医疗系统公司、西门子医疗、医科达和飞利浦医疗建立战略联系。
目标实时跟踪与预测算法研究 篇2
在经济建设中，实时成像跟踪技术广泛应用于交通运输管理、卫星测控、计算机视觉及生物医学等领域。例如在交通运输过程中，人们能够很好地监控道路的车辆，并对某些车辆进行跟踪监控，这样能够大大增加公路的安全性。实时成像跟踪技术以其技术先进、性能卓越等特点而得到快速发展，这也使得越来越多的科研人员投入到成像跟踪系统的研究中。随着实时成像跟踪技术在各个领域的广泛应用，特别是在军事和科学研究领域，对成像跟踪系统的要求越来越高，要求系统响应更快、精度更高。
1 跟踪阶段的状态及转换条件
跟踪系统捕获目标后，根据不同的目标特征，对视场内的图像信息进行各种处理，通过建立一种智能的跟踪策略，使跟踪系统的跟踪状态随着环境的变化而变化。在整个跟踪过程中，可以分为以下几个阶段:搜索阶段、目标捕获阶段、正常跟踪、不正常跟踪阶段，如图1所示。图中形象地给出了系统在各个状态转换时通过制定合适的跟踪策略使得跟踪系统保持正常的跟踪性能。
系统状态集合S={A,B,C,D}描述如下。
A:目标搜索状态。跟踪系统搜索目标，发生在开始截获或数字识别系统连续若干帧丢失目标的情况下。
B:目标截获状态。跟踪系统捕捉到目标物体，并对目标信息进行提取，从而对目标进行识别分类。
C:正常跟踪状态。跟踪系统开始跟踪且目标处于正常跟踪时的状态。
D:预测、记忆跟踪状态。正常跟踪状态突然出现异常情况，如目标物体被遮挡或出现瞬时丢失时则进入预测、记忆跟踪状态。
状态转换条件。
C1:跟踪系统截获目标
C2:跟踪系统已经确认目标，给定目标跟踪窗口数据或模板。
C3:跟踪系统出现瞬时丢失目标的情况。
C4:跟踪系统在预测记忆阶段又发现并获得瞬时丢失的目标。
C5:跟踪系统丢失目标时间过长，超出预测记忆时间范围。
2 目标跟踪算法的简单介绍
目前被人们常用的跟踪算法[1,2,3]主要有波门跟踪算法、相关跟踪算法、多模跟踪及基于特征光流的跟踪以及活动轮廓的跟踪等。
2.1 波门跟踪算法简介
波门跟踪[4]是指当目标在视场中运动时，由于物体只占市场中的一部分，如果设置一个波门套住目标物体，就能够屏蔽波门外的无用信息如噪声、干扰等，这样能够大大减少计算量。常用的波门跟踪算法包括形心跟踪、边缘跟踪、峰值跟踪。
从整体上来说，波门跟踪利用的图像信息不多，运算量较小，较简单，可以跟踪快速运动的目标，有利于实时性要求的实现，但它要求目标和背景较容易分辨，并且对信噪比的要求也比较高。
2.2 相关跟踪算法简介
相关跟踪[5]是通过测量目标图像相关匹配点的坐标位置得到的。相关跟踪充分利用了包含在目标和背景中的各种信息，由于利用信息较多，因此具有很好的识别能力，可以跟踪背景较复杂的目标，跟踪距离远，可靠性高。相关跟踪算法可分为两类:普通相关跟踪算法和特征相关跟踪算法。
2.3 图像的匹配算法
图像匹配[6]是目标跟踪的关键，在图像处理过程中是一个很重要的方面。两幅图像之间的匹配算法可以看成是二者的某一特征值的相关性度量。即将模板图像与待匹配图像进行相关运算，根据计算得到的相关值的大小来判断二者是否匹配。由于基于灰度值相关的方法简单易行，因此此类方法在图像匹配中仍占据重要地位，但是此类方法时间复杂度较高。常用的方法有:ABS(Absolute Balance Search)、归一化互相关匹配、SSDA算法(序列相似性检测算法)。
3 Kalman滤波器应用于运动目标跟踪
卡尔曼滤波是一种高效率的递归滤波器(自回归滤波器)，它能够从一系列的不完全包含噪声的测量中，在线性无偏最小方差估计准则的基础下，仅仅利用信号的上一次估计值和最近一次的观测值，估计动态系统的状态[7]。
在运动目标跟踪领域Kalman滤波器的应用非常广泛。在对目标进行跟踪时，这个过程可以看成是一个不断的预测并且更新的过程，所以运动目标的状态在不断的变化，其参数也随之改变，此时就需要跟踪算法对目标的属性参数进行不断的更新。
物体的运动方式分为3种情况，它们分别为任速度保持不变的匀速运动，速度稳定变化的匀加速运动，速度不规则变化的变加速运动。众所周知，视频图像的实际采集速度一般是比较快的，比如25帧/秒或30帧/秒。所以在这种情况下，运动物体在相邻的两帧图像中就可以被看成是匀速运动的模型，因此本文将卡尔曼滤波器应用于匀速运动的目标的跟踪。
首先假设运动目标的状态为s(k)，它在坐标轴中的位置分别表示为px(k)和py(k)，在x轴和y轴两个方向上的速度分别标为vx(k)和vy(k)，上一帧图像和下一帧图像的时间间隔为T(一般取1)，并设u1(k)和u2(k)是均值为零，方差分别是σ12和σ22的高斯白噪声，二者之间不相关。也就是说E[u1(k)u2(k)]=0，于是可以表示运动目标的状态方程为:
其中，
如上文所示，把运动目标在坐标轴上的位置标为x1(k)和x2(k)，设观测噪声v1(k)和v1(k)是均值为零，方差分别是σx2和σy2的高斯白噪声，于是运动目标的观测方程即可表示为:
其中，
w(k)和v(k)的协方差矩阵分别为:
从σ12和σ22可以看出运动目标坐标轴的两个方向上的速度变化情况，σx2和σy2则能反映运动目标的实际位置与观测位置之间的误差。
当上述参数确定之后，利用Kalman滤波器对运动目标位置预测的迭代过程如下:
1))
当利用Kalman滤波器进行计算时需要给其中的两个参数赋初值，它们分别是状态向量和预测误差的协方差矩阵P(1|0)。P(1|0)可以由式(12)确定;利用式(14)可以确定的值，也就是说运动目标的最开始的位置被它在第一帧图像中的观测位置所代替，运动目标的起始速度用较小的值(经验值)所代替。
4 目标的预测
在跟踪目标的过程中，由于环境的瞬时改变，可能导致目标的丢失，如目标被遮挡。如果目标被遮挡就认定目标已经丢失而重新搜索，这样会大大减弱系统的性能，这个问题可以采用预测的方法解决。
在目标跟踪过程中，虽然每帧图像中运动物体的位置是不相同的，但运动的物体具有一定的状态性，可以根据目标以前的运动状态来估计下一帧目标所在的位置，然后在预测的位置附近进行搜索，这样能够节省搜索时间，提高效率。
虽然物体时刻在运动，但物体的运动状态一般是有规律可循的，如物体的运动速度、加速度等，一般是时间t的函数，可用f(t)表示，而函数f(t)可用线性函数，平方函数或二者的组合进行逼近。采用线性预测方法进行预测，由于物体在极短时间内可以看作是匀速直线运动，所以可根据前两帧的信息来预测下一帧的位置，比如当前帧的物体位置坐标为(xi,yi)，前一帧的位置为(xi-1,yi-1)，则两帧差值为(a,b)=(xi-xi-1,yi-yi-1)，从而可得下一帧的图像位置为(xi+1,yi+1)=(xi+a,yi+b)。目标预测方法的应用，使系统的实时性得到提高，经证明这种预测能够达到系统的要求。
5 结束语
综上所述，本文提出的运动目标跟踪算法，由于其运算量较小，并且只占用了很小部分的系统资源，因此它可以比较好地适应简单一点或者复杂的监控情景，可以完成对运动目标的快速持续跟踪，并且可以对跟踪过程中出现的问题如目标的瞬时改变，丢失及遮挡等问题进行较好的处理。但是由于实际监控场景的多样性，对于复杂背景下的运动目标检测和跟踪算法，还需要做更加深入的研究，以使算法具有更好的适应性。
摘要：实时成像跟踪系统要求对运动目标能够有较快的响应速度,跟踪的响应时间越短,系统的实时性就越好,从而可靠的跟踪系统显得尤为重要。文中在研究了目前常用几种跟踪算法的基础上,提出一种基于目标特征匹配和Kalman预测相结合的跟踪方法,选取目标的灰度直方图信息做为特征匹配模板,使用Kalman滤波器对目标在下一帧图像中可能出现的位置进行预测,在预测范围内进行搜索及模板匹配,实验结果表明,该跟踪算法能够对目标实现稳定可靠的跟踪。
关键词：实时跟踪,目标预测,Kalman预测
参考文献
[1]罗志强,王耀南.基于DSP的运动目标自动跟踪系统的设计与实现[J].光电子技术与信息,2005,18(1):46-49.
[2]张娟,毛晓波,陈铁军.运动目标跟踪算法研究综述[J].计算机应用研究,2009,26(12):4407-4410.
[3]罗志强,王耀南.基于DSP的运动目标自动跟踪系统的设计与实现[J].光电子技术与信息,2005,18(1):46-49.
[4]王晓卫,吴晓中,王宏宇.基于跟踪微分器的波门跟踪算法的研究[J].激光与红外,2011,41(9):1027-1030.
[5]李涛,郑爱民.图像相关跟踪算法的稳定性分析与设计[J].现代电子工程,2007,1:42-45.
[6]李强,张钹.一种基于图像灰度的快速匹配算法[J].软件学报,2006,17(2):216-222.
低功耗太阳实时跟踪装置的设计 篇3
随着能源短缺、环境污染影响的加剧, 可再生能源的利用日益受到广泛关注。可是在太阳能应用中转换率低始终是人类全面利用太阳能的一大障碍, 其中到达地面的太阳能密度太低, 是一个基本原因, 其峰值也不过每平方米一千瓦左右。由于太阳是按照一定的轨迹运动的, 其空间分布不均, 因此, 对太阳进行实时跟踪是直接提高太阳能利用率的一种有效方法。在太阳能发电中, 相同条件下, 一般采用跟踪技术能够提高发电效率30% 以上[1]。所以, 就必须对太阳进行跟踪, 跟踪方法主要有光电跟踪和视日运动轨迹跟踪[2]。光电跟踪灵敏度高, 结构设计方便, 本文设计出一种利用光电传感器作为光信号的采集器件, 控制舵机角度, 从而改变电池板的角度, 使得电池板平面始终在垂直在太阳光的位置上。
2 硬件设计
低功耗太阳跟踪装置主要包括主控制器电路、光信号采集电路、舵机驱动电路、电源电路、USB转RS232电路五个模块。结构框图如图1所示。
主控芯片选择TI公司生产的16位MSP430F149单片机, 外部电路是由光敏三极管作为光电传感器件将光强信号转换为电信号, 经过放大器电路处理, 通过内部12位AD采集, 将采集的数据实时的送入单片机, 根据光强信号的变化找寻到光强最强点后, 单片机对舵机转动角度进行控制, 直到找到最强光源处, 同时通过USB接口将数据上传到上位机[3]。主控制器电路完成控制并协调各个外围设备工作的功能。其主要是通过软件编程, 按需要从外设获取信号并处理信号, 最终实现控制作用。
(1) 光信号采集电路。光信号采集电路就是通过光敏三极管将光强信号转换为电压信号的电路, 如图3 所示。光敏三极管和普通三极管的结构相类似, 不同之处是光敏三极管有一个对光敏感的PN结作为感光面, 一般用集电结作为受光结, 光敏三极管实质上相当于在基极和集电极之间接光敏二极管, 由于光敏三极管具有半导体三极管的放大作用, 当有光照射时, 光敏三极管产生的光电流就是将光敏二极管的光电流放大了。为了采集效果好一些, 进行简单的运放处理电路后, 再经过由TLC2202 搭接的电压跟随器, 使得电压信号输入到单片机的AD进行采样[4]。为了更好的控制, 在电池板上放置三个不同位置但在同一直线上的光敏三极管, 分为左中右三组。
(2) 舵机和电源电路。采用的是SH14-M数字舵机, 从主控芯片产生的PWM信号作为控制舵机方向的控制信号。舵机的转角达到185 度, 控制精度最大为256, 实际过程中, 将185 度分为250 份, 每份0.74 度, 控制所需宽度为0.5ms-2.5ms, 宽度2ms。DIV:2ms/250=8us。
电源电路需要有三个供电电源, 分别是单片机的3.3V供电、舵机的7.4V供电和光信号采集电路的5V供电。输入为12V电压, 电容进行稳压滤波后, 再接入中等功率的集成MOSFET的开关电源芯片TPS5430, TPS5430 在输出5V时能提供3A的最大负载电流。7.4V电压是由LM2596 稳压芯片及其外围电路完成的。3.3V稳压集成芯片TSP76433 将TPS5430 的5V电压稳压到3.3V供电。在系统供电时, 肖特基二极管D1 和D2 可以有效防止电池电流输入稳压集成芯片, 一则可以保护稳压集成, 二则可以减小一部分电流, 实现更低功耗[5]。
(3) USB转RS232电路。MSP430单片机有RS232接口, 波特率可设。但USB接口现在飞速发展, 现在每一台计算机都有USB接口。并且用串口编上位机软件比较容易实现。MSP430 单片机与计算机通信, USB转RS232 是必要的。我们采用了USB转RS232 芯片CP2102。
3 软件设计
主程序是整个软件的灵魂, 起主导作用。主程序的设计直接影响整个设计的进程。主程序主要通过调用子程序来完成控制命令的。通过软件控制语句, 函数等, 将这些子程序链接起来, 组成整个软件的骨架。当系统进入中断程序后, 首先对采集到的三路电压信号进行比较, 然后找出其中的最大值, 如果是中间值最大, 则不进行操作, 如果是左路值最大, 则调节PWM波的占空比使舵机向左旋转一度, 相反, 如果是右路值最大, 则调节占空比使舵机向右旋转一度, 依次循环, 一直到中间的光敏器件测到的数据最大为止。
4 系统测试及误差分析
本系统低功耗设计包括硬件和软件两方面。硬件方面, 选用了低功耗的芯片, 并且MCU的外设通过降低芯片工作电压及优化电路设计来降低功耗。软件方面, 由于MCU的睡眠模式和空闲模式具有可编程性, 我们使MCU进入休眠模式和空闲模式来降低功耗, 如将空闲的I/O管脚拉低, 采集数据的时候间隔采样等。如果到达采集时间MSP430F149 会定时被唤醒, 若没有, 则直接进入低功耗模式。
以MSP430F247 为控制核心, 用特殊算法对两个感光三极管进行数据采集以及分析, 通过控制舵机实现对点光源的定位和追踪, 能快速稳定的指向点光源。
摘要：为了充分、全面利用太阳能资源, 采用太阳跟踪的方法能够直接获取更多的光能, 设计了一种低功耗太阳跟踪装置, 该装置以TI公司的16位超低功耗单片机MSP430F149为核心, 通过光电传感器作为前向通路, 完成对太阳光源具体方位的实时采集, 同时, 单片机对舵机的PWM控制, 实现对太阳的实时跟踪功能。通过USB接口与上位机的通信, 该装置完成了对数据的实时查询、回放和保存功能的实现。系统测试结果证明了该装置的准确性和低功耗特性。
关键词：低功耗,MSP430F149,太阳能,跟踪装置,光电传感器
参考文献
[1]陈维, 李戬洪.太阳能利用中的跟踪控制方式的研究[J].能源工程, 2003 (03) :10-12.
[2]周希正, 李明.太阳能槽式聚光单轴跟踪的应用设计[J].中国高新技术企业, 2009 (122) :20-21.
[3]魏小龙.MSP430系列单片机接口技术及系统设计实例[M].北京:北京航空航天大学出版社, 2002:34-50.
[4]默少丽, 邓鹏.基于MSP430的低功耗便携式测温仪设计[J].电子工程师, 2008, 34 (03) :18-20.
实时跟踪 篇4
针对现有的虹膜跟踪问题,本文提出了一种基于Camshift[6]算法的虹膜跟踪的方法,首先使用Adboost算法定位人眼,然后使用一种圆形滑动窗口遍历整个人眼区域定位虹膜,建立虹膜的颜色概率图作为初始模板,通过颜色特征完成图像序列的跟踪。整个跟踪过程只使用一个300万像素的摄像头,不需要其他物理设备。
1 系统框架
虹膜是环绕于瞳孔周围有颜色的部分,属于眼球中层部位,约占眼部区域总面积的65%;在黄种人中,虹膜一般呈现为棕色,瞳孔为黑色,而包围在外围的白色物质我们称之为巩膜。由于巩膜与虹膜的灰度值差异很大,利用这个特点可以进行虹膜定位。
本文介绍的跟踪系统主要分为三个部分,分别是人眼定位、虹膜定位以及虹膜跟踪。整个系统的流程图如图1所示。
(1)人眼定位:包括人脸定位和人眼定位两个部分。使用Adaboost[7]算法检测人脸,在人脸检测的基础上重新训练分类器,完成人眼检测。
(2)虹膜定位:在第一步人眼检测的基础上对眼部区域进行灰度分析,使用基于灰度值圆形滑动窗的方法进行虹膜定位。
(3)虹膜跟踪:使用Camshift算法,主要包括建立初始模板颜色概率图、颜色模型匹配、更新跟踪模板三个部分。
2 人眼检测和定位
2.1 人脸检测
在人眼定位前进行人脸检测可以有效地提高人眼定位的精度。目前人脸检测的方法主要分为以下三种:
(1)基于几何特征的人脸正面识别方法。核心思想是,将人脸的面目特征对应为几何图形,通过训练出的分类器识别人脸。该方法适用于简单背景下正面人脸的检测,而在复杂背景或者存在遮挡的情况下则效果不是十分理想。
(2)基于肤色模型的人脸检测方法。将肤色模型作为检测特征判断出人脸的位置。该方法优点是计算简单且结算量小,但是存在误检现象,如易将暴露在外的人体其他部分误检为人脸。
(3)基于统计学理论的人脸检测方法。利用统计分析与机器学习的方法寻找人脸样本与非人脸样本的各自统计特征,再利用各自的特征构建分类器,用分类器完成人脸检测。
综合考虑,基于几何特征的方法算法简单并且适合本文系统的条件,所以选择基于Haar-like[8]特征的Adaboost算法进行人脸识别。文献[7]介绍了Haar-like四种基本的矩形特征,如图2所示。
所谓Haar-like特征即为上述几个基本特征,改变这四类特征的特征模板大小,并在图像的窗口内任意放置,可得到大量的脸部特征。Adaboost算法是1995年Freund和Schapire提出的一种快速人脸检测算法,是人脸检测领域里程碑式的进步。该算法根据弱学习的反馈,适应性地调整假设的错误率,使在效率不降低的情况下,检测正确率得到了很大的提高。Adaboost算法的核心思想是将若干个弱分类器组成一个强分类器。该算法能自动调整样本的权重,并能选取表现较好的弱分类器,使所有的弱分类器按一定的权值组成一个强分类器。Haar-like特征是每个弱分类器的输入,即经过Adaboost算法的训练,由几个Harr-like特征的弱分类器组成一个强分类器。使用级联方式(如图3所示)将训练出的强分类器分级组合,分类器前几级包含的Haar-like特征较少且易识别出来的,过滤出大部分非人脸;后几级特征器包含的特征数目较多,但是能到达这些层的非人脸数目也很少。在任一级的计算中,一旦获得目标“目标不在类别”的结论,则终止计算。由于前几级分类器可以过滤了大部分非人脸区域,大大减少了后几级分类器的计算量,所以这种级联结构可以显著地降低计算量。
2.2 人眼检测
通过上述方法得到了人脸区域,下一步在人脸区域进行人眼定位。本文人眼定位的算法也采用上述人脸定位的算法,具体过程与人脸定位一样,不同的是人眼定位分类器的训练样本变成了眼睛样本。与人脸检测相比人眼误检率较高,因此有必要对该分类器检测出的目标进行进一步的校验。为此将人脸面部的三庭五眼的规律加入人眼检测中,所谓三庭五眼就是将人脸的高度和宽度按比例分成几个等份,利用三庭五眼的思想和我们的实验结论可以得出:由Adaboost分类器检测出的人眼矩形框高度与人脸矩形框高度成一定关系,即
式中,face_height为人脸检测中矩形框的高度,eye_height为人眼检测中眼部矩形框的高度,eye_y和face_y是眼部和脸部检测中分类器矩形框左上角点的纵坐标。人眼定位的效果如图4所示,左图为未加入三庭五眼限制条件时分类器找到的人眼位置,右图为加入三庭五眼的限制条件后找到的人眼位置。
3 虹膜定位
由于白色的巩膜和虹膜以及瞳孔灰度值差异明显,因此可以利用眼睛的灰度信息来检测虹膜。文献[9]提出了一种基于滑动窗的眼睛灰度分析方法定位瞳孔,基本思想是使用一个圆形滑动窗口遍历眼睛灰度图像,其中灰度均值最小的圆形区域就是瞳孔。本文对文献[9]提出的方法运用在虹膜检测中。
首先将眼部图像转换为灰度图像,然后使用直方图均衡化的方式对图像预处理,使虹膜与巩膜的灰度对比更明显。图5中左图为预处理前,右图为预处理后。
在图像预处理的基础上,使用一个圆形滑动窗Ai沿着整个眼睛区域扫描,同时计算圆形滑动窗内所有像素的平均灰度值,比较眼睛区域所有滑动窗口的平均灰度值大小,其中最小值的圆心坐标就是虹膜的中心坐标。假设圆形滑动窗Ai的半径为R,其中心点在眼部图像中的坐标为(xoi,yoi),则该滑动窗口的灰度平均密度pi为[9]:
式(3)中e(x,y)表示滑动窗内该点的灰度值,We表示眼部图像的宽度。通过公式(3)计算出每个滑动窗的平均灰度值,再依次比较所有滑动窗pi的大小,其中pi最小的圆形框就是虹膜的位置。本文经过多次实验,得到滑动窗口的半径一般设定为上一步中眼部定位窗口高度的K倍。其中K值保持在0.15~0.2可达到满意的检测效果,本文所有实验中K值为0.15,图6为实验效果图。
4 虹膜跟踪
上述算法应用在单幅图片中的定位虹膜效果较好,但由于其计算量大、运算速度慢使其不能适用于视频序列,因此本文引入Camshift算法完成在视频序列中的虹膜检测。Camshift算法是利用目标的颜色模型进行跟踪,首先初始化一个搜索窗并建立的颜色概率图,使用颜色信息匹配下一帧的目标位置,并调整搜索窗口的位置和大小。Bradski[6]等人提出的Camshift算法共分为三个步骤:①目标模板颜色概率图的计算;②Meanshift[10]匹配算法;③Camshift算法。整个Camshift算法的流程图如图7所示。
4.1 颜色概率图
颜色概率图又叫做颜色直方图反向投影图。为了减少光照对跟踪目标的影响,使用HSV颜色空间建立颜色概率图。首先对HSV空间中的H分量绘制直方图,其可显示出H分量为某值时的概率或者像素个数。接着将原图像中每个像素的值用其颜色出现的概率进行替换,此时得到的便是该图像的颜色概率分布图,这里的颜色概率图是一个灰度图像,如图8所示。
4.2 Meanshift算法
Meanshift算法是一种非参数概率估计密度方法,它通过不断计算得到最优搜索窗口的位置和大小。对于离散的2D图像,Meanshift算法步骤如下:设搜索窗口为S,I(x,y)是投影图像对应的(x,y)像素点的灰度值。则搜索窗口的零阶矩M00,一阶矩M01和M10分别表示为
则S的质心为;将S的中心移动到质心位置,若移动距离小于所设定的阈值,或者到达了循环运算的最大值,则认为该情况收敛。若不满足收敛则继续计算直到满足收敛条件。
4.3 Camshift算法
Camshift算法是在Meanshift算法基础中衍生出来的,是为了解决连续序列中跟踪物体的形状发生变化而出现的。例如:当视线发生变化或眨眼状态时,虹膜由于眼睑的遮挡而呈现出不完整状态,此时跟踪模板已发生变化,继续使用初始虹膜模板将导致跟踪目标的丢失。而Camshift在应对这种问题时则表现出良好的自适应性,其能在完成前面Meanshift算法的基础上,对下一帧视频的搜索窗口的大小进行重新计算,即重新定义跟踪模板。设M20,M02,M11分别是当前帧搜索窗口的二阶矩,则有:
则下一帧的搜索窗的长度L和宽度W分别为
式中
5 实验结果
本实验使用Core(TM)i5 2.53 GHz PC,采用CMOS 300万像素的摄像头;软件系统采用基于VS2008平台的OPENCV2.0。摄像头固定在距人脸正面的50 cm处。视频每帧大小为640×480,通过改变不同视线角度和不同的眼睑遮挡程度进行实验。为了验证算法的有效性,我们找了10多位测试者,录制了近4 h的视频进行虹膜跟踪。实验所采集的视频有以下要求:①测试者为头部姿态为正脸,并且在测试过程中头部转动角度左右不超过10°;②面部光线分布合理;③眼睛部位不得为头发所遮盖;④眼部区域无化妆或者戴美瞳。
5.1 实验过程
使用Adaboost算法进行人脸和人眼检测,如图9(a)和图10(a)所示。建立初始虹膜跟踪模板后,测试者可任意改变视线方向,如图9和图10所示。为了验证Camshift的自适应性,本文还进行了闭眼测试如图9(d)和10(f)所示,实验证明闭眼之后本算法能够自动恢复目标模板继续跟踪。
5.2 实验分析
实验验证了多种情况下的虹膜跟踪:①光线发生变化时;②背景发生变化时;③虹膜部分区域被眼睑遮挡;④虹膜全遮挡(短时间或长时间闭眼);⑤头部轻微移动(包括旋转和平面移动)。实验证明本算法在以上情况中基本保证了的虹膜跟踪的有效性和实时性。为了进一步验证的算法的准确性,从第二组实验中提取出近600帧的图片进行准确率的验证。经过多次实验,我们认为:若检测到的虹膜中心值与实际值距离差在5个像素以内即认为成功跟踪,由式(12)计算跟踪率。
通过人工标注的方法确定实验中的真实值的位置,数据对比如表1所示,计算后可得左眼的跟踪率为84.7%,右眼跟踪率为84.3%。
为了进一步对比实验二的跟踪准确性,将实验二提取出来的589帧图片虹膜中心坐标值提取出来绘制出三维图形如图11和图12。图中真实值为人工标注值,测量值为程序检测值,图中x、y轴为虹膜中心的坐标值,z轴为帧数。由图可看出除少数区域存在错误点,大部分时间满足跟踪的准确性。图13为虹膜半径的跟踪情况,由于会出现眼睑遮挡情况,所以虹膜的半径也存在检测差异,从图中可以看出在100帧和210帧左右存在长时间的偏差,经过验证此时测试者处于长时间闭眼的状态,其他时间出现的波峰和波谷情况为眨眼状态,说明本算法对闭眼后检虹膜半径的检测存在一定的误检,但闭眼后的跟踪目标的恢复还是较为满意。
6 结束语
本文采用了基于Camshift算法的虹膜跟踪,使用非接触仪器达到了令人较满意的效果。实验表明该算法对于解决闭眼问题和眼睑遮挡问题都达到较好效果,但是仍然存在不足之处。整个跟踪过程允许人脸转动的面向保持在10°以内,使该算法的应用存在局限性。今后的工作可以是加入头部姿态估计,使虹膜跟踪能满足头部的移动,使该算法的应用面能更广一些。
参考文献
[1] Zhao Zheng,Fu Shengbo,Wang Yuchuan.Eye tracking based on the template matching and the pyramidal lucas-Kanade algorithm.International Conference on Computer Science&Service System(CSSS),IEEE,2012:2277—2280
[2] Yanok,Lshiharak,Btakikawa.Detection of eye blinking from video camera with dynamic ROI fixation.Systems,Man,and Cybernetics,IEEE SMC'99 Conference Proceedings,IEEE,1999;6:335—339
[3] 张闯,迟健男,张朝晖.一种新的基于瞳孔-角膜反射技术的视线追踪方法.计算机学报,2010;33(7):1273—1285Zhen C,Chi J N,Zhan C H.A novel eye gaze tracking technique based on pupil center cornea reflection technique.Chinese Journal of Computers,2010;33(7):1273—1285
[4] Mehrübeoglu M,Ha Thi Bui,McLauchlan L.Real-time iris tracking with a smart camera.Electronic Imaging.International Society for Optics and Photonics,2011;787104:1—9
[5] Martinez F,Carbone A,Pissaloux E.Radial symmetry guided particle filter for robust iris tracking.Computer Analysis of Images and Patterns.Springer Berlin Heidelberg,2011:531—539
[6] Bradski G R.Computer vision face tracking for use in a perceptual user interface.Proceedings of IEEE Work-shop Applications of Computer Vision,Princeton,NJ:IEEE,1998:214—219
[7] Violap,Jonesm.Robust real-time face detection.International Journal of Computer Vision,2004;57(2):137—154
[8] Lienhartr,Kuranova,Pisarevskyv.Empirical analysis of detection cascades of boosted classifiers for rapid object detection.Lecture Notes in Computer Science,2002;2781(2003):297—304
[9] 王先梅,杨萍,王志良.多姿态眼球中的瞳孔定位算法.计算机辅助设计与图形学学报,2011;23(8):1428—1432Wang X M,Yang P,Wang Z L.Pupil localization for multi-view eyeballs.Journal of Computer-Aided Design&Computer-Aided Design&Compputer Graphics,2011;23(8):1428—1432
实时跟踪 篇5
对视频序列中感兴趣的目标进行有效的跟踪是计算机视觉中重要的课题。它涉及到图像处理、模式识别、人工智能以及自适应控制等多个领域[1,2,3,4,5,6]。运动目标跟踪就是通过对摄像机拍摄到的序列图像进行分析研究,计算出运动目标在连续帧图像中的位移,给出运动目标速度、加速度等运动参数,从而达到改善运动目标运动环境的目的。近年来,基于Camshift(Continuously Adaptive Mean Shift)的跟踪算法[1,2,3,6]凭借其在实时性和鲁棒性方面良好的表现,正受到越来越多的关注。现阶段Camshift算法已经广泛应用到感知用户界面(Perceptual User Interface)中的人脸跟踪中,以及一些半自动的运动目标跟踪。针对复杂背景下的单目标跟踪,本文采用Camshift算法对目标进行实时跟踪,计算量小,实时性高,并用实验进行了验证。
2 Camshift算法
Camshift算法是一种非参数方法,它是通过聚类的方式搜寻运动目标的,利用区域内的颜色信息对目标进行跟踪。简单的说,Camshift算法利用目标的颜色特征在视频图像中找到运动目标所在的位置和大小,在下一帧视频图像中,用运动目标当前的位置和大小初始化搜寻窗口,重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜寻窗口的初始值设置为运动目标当前的位置和大小,由于搜寻窗口就在运动目标可能出现的区域附近进行搜寻,这样就可以节省大量的搜寻时间,使Camshift算法具有良好的实时性。同时,Camshift算法是通过颜色匹配找到运动目标;在运动目标运动的过程中,颜色信息变化不大,目标的运动在图像序列中具有很大的相似性,所以Camshift算法具有良好的鲁棒性。Camshift算法的流程图如图1所示[7,8]。
下面简述Camshift算法的实现过程。
设(x,y)为搜索窗口中的像素点,I(x,y)是投影图中对应(x,y)点的像素值。定义搜索窗口的零阶矩M00和一阶矩M10,M01如下[9,10]:
可以求得当前搜索窗口的质心位置为:
然后根据M00调整搜索窗口的大小,并将搜索窗口的中心移动到质心,如果移动距离大于预设的固定阈值,则重新计算调整后的窗口质心,直到窗口中心与质心间的移动距离小于预设的固定阈值,或者循环运算的次数达到最大值,则认为满足收敛条件,进入下一帧图像进行新的目标搜索。相对于当前帧,计算搜索窗口的二阶矩M20,M02,M11:
假设:
那么下一帧中搜索窗口的长度(l)和宽度(w)分别为:
当视频序列逐帧变化时,Camshift算法逐帧进行处理,这样就可以完成对运动目标的连续跟踪。
3 跟踪系统构成
基于Camshift算法的系统结构如图2所示。
(1) 将视频采集卡采集到的每一帧RGB视频图像都转化为HSV图像[7]。在常用的颜色空间中,HSV颜色空间较RGB颜色空间更接近人的视觉对颜色的感知能力,而且能够更准确地反映灰度信息和色彩信息,特别对图像中极亮和极暗的物体也能很好地反映出相应的信息。
(2) 若某像素的S分量(饱和度)和V分量(亮度)对H分量(色调)有较大干扰,则去除此像素,再通过H分量的色彩直方图反投影建立色彩概率分布图像。
(3) 由Camshift算法计算跟踪窗口的位置和大小,并把窗口的中心位置通过串口发送给单片机,由单片机来控制云台的转动。
(4) 云台在本系统中的作用是驱动摄像头的转动,由于摄像头固定在云台上,所以只要能够通过串口控制云台就可以实现摄像头的转动,从而改变视场的方向,捕捉运动目标。
4 实验及结论
实验平台的硬件环境:Pentium Ⅳ 2.80 GHz PC,OK视频采集卡,摄像头分辨率为768×576;软件使用Visual C++ 6.0和OpenCV。通过串口发送控制指令到单片机,以控制云台转动。串口通信所选波特率为9 600 b/s,图像采集的帧率是25 f/s,运动目标与摄像头的距离为1~3 m,运动目标的运动速度控制在0.1~0.3 m/s。
本实时跟踪系统要求达到的效果:对于进入摄像头视场中的运动目标能够实时检测出来,计算出目标的质心;当目标移动,可以预测出目标的运动方向,控制云台的转动,使目标始终在摄像头的视场范围内,从而达到跟踪的目的。
跟踪实验结果如图3所示。
5 结 语
本文利用Camshift算法对复杂背景下的单目标物体进行实时跟踪,并通过串口的通信达到控制云台转动的目的,实现云台的水平转动和垂直转动,以保证目标物体始终在摄像头视场内。当跟踪过程中出现遮挡,或者有其他大面积类目标色干扰时,Camshift算法的跟踪效果欠佳。这些问题需要在后续工作中进一步研究。
参考文献
[1]Bradski Gary R.Computer Vision Face Tracking for Use ina Perceptual User Interface[EB/OL].http://developer.in-tel.com/technology/itj/q21998/pdf/camshaft.pdf.
[2]Dorin Comaniciu,Visvanathan Ramesh,Peter Meer.Real-time Tracking of Non rigid Objects using Mean-Shift[J].IEEE Computer Vision and Pattern Recognition,2000(2):1 422-1 429.
[3]Cheng Y.Mean Shift,Mode Seeking,and Clustering[J].IEEETrans.Pattern Anal.Machine Intell.,1995(17):790-799.
[4]Zhai Haiting,Wu Xiaojuan,Han Hui.Research of a Real-timeHand Tracking Algorithm[C].IEEE International Conferenceon Neural Networks and Brain,2005:1 233-1 235.
[5]Pan Feng,Wang Xuanyin,Xiang Guixian,et al.A Kind ofNew Tracking Algorithm of Movement Object[J].OpticsEngineering,2005,32(l):43-46,70.
[6]Nouar OULD-DRIS,Ali Ganoun,Raphael Canals.ImprovedObject Tracking with Camshift Algorithm[C].IEEE Inter-national Conference on Acoustics,Speech and Signal Proces-sion,2006.
[7]Liu Xia,Chu Hongxia,Li Pingjun.Research of the ImprovedCamshift Tracking Algorithm[C].Proceedings of the 2007IEEE International Conference on Mechatronics and Auto-mation,China,2007.
[8]Allen John G,Xu Richard Y D,Jin Jesse S.Object TrackingUsing Camshift Algorithm and Multiple Quantized FeatureSpaces[C].In:Pan-Sydney Area Workshop on Visual Informa-tion Processing VIP2003.Sydney,Australia,2003:1-5.
[9]张宏志,张金换,岳卉,等.基于Camshift的目标跟踪算法[J].计算机工程与设计,2006,27(11):2 012-2 014.
实时跟踪 篇6
新一代测控设备已广泛采用数字基带技术,对于双通道单脉冲比幅鉴相体制的跟踪接收机来说,采用数字鉴相技术的和差通道误差的计算与调整已经变得较为容易。在某测控设备中,围绕相差的自动调整,设计了数相关手动和自动校相流程,但其算法校相精度低、时间长。为此,本文在分析设备工作原理的基础上,提出一种高效率、高精度的可满足实时校相的算法模型,供相关工程技术人员参考。
1 双通道单脉冲体制角误差解调原理
1.1 双通道单脉冲角误差形成原理
和差角误差形成原理如图1所示。θ为目标偏离天线电轴方向的任一空间角;ϕ为天线电轴与目标P构成的平面与水平面的夹角。
在θ很小时,方位角误差εH和俯仰角误差εV可表示为:
εH=Uμθcosϕsinωt ,
εV=Uμθsinϕcosωt 。
式中,ω为接收信号角频率;U为信号强度; μ为归一化差斜率。
1.2 数字跟踪基带角误差解调原理
接收信道送来的70 MHz中频和、差信号。和路信号经过中频采样后,送入FPGA的数字锁相环提取相干载波,经过能量检测单元得到和路的AGC控制信号。和路的AGC控制信号送给差路,完成差路信号的AGC控制。差路信号经过中频采样后,利用和支路载波跟踪结果对差支路信号跟踪,经数字下变频低通滤波,得到2路同相正交信号,对这2路同相正交信号进行数学计算,完成角误差电压的解调。双通道角误差解调原理框图如图2所示。
经归一化A/D采样后的和信号为:
es=cos(ω2t) 。
经归一化A/D采样后的差信号为:
式中,ω2为A/D采样后的信号频率;KD、KS分别为和差信道的增益因子;ϕS、ϕD分别为和差中频信道引入的相移;Δϕ为和差通道调相剩余相差。
和差信号eS、eD经数字相干鉴相,DDS信号相移后与差信号相乘鉴相得到方位误差信号,DDS信号与差信号相乘鉴相得到俯仰误差信号,经过滤波后,方位误差电压为:
UA=KSμθcos(ϕ+Δϕ)。
俯仰误差电压为:
UE=KSμθsin(ϕ+Δϕ)。
式中,KS为鉴相器增益因子。
由上式可以看出,当和差中频信道相移不一致时(即Δϕ≠0时),将会引起交叉耦合。当和差信道相移一致时,即Δϕ=0时,
UA=KSμθcosϕ,UE=KSμθsinϕ。
即方位、俯仰的角误差信号与目标偏离天线电轴的角度θ成正比,而ϕ为相对天线方位俯仰轴的目标空间真实位置。
上式为接收信号为左旋时角误差解调结果,对于接收信号为右旋时,则角误差角调结果为:
UA=KSμθcosϕ ,UE=-KSμθsinϕ 。
即方位轴向左、右旋解调结果相同,而在俯仰轴上则相位相差180°。
2 校相算法建模
2.1 和差通道相差的测量方法
对于采用数字基带技术的中频接收机来说,测量相位差是比较容易的,本文针对该测控设备设计方案,提出2种测量方法。
2.1.1 相位法
如图2所示,在数字接收机中,采集差通道的I、Q支路数据x(k)、y(k),做数学运算
2.1.2 幅度法
在测角天线控制单元中(以下简称ACU),采集方位、俯仰误差电压数据VA、VE,做数学运算
2.2 实时校相算法建模
根据上述原理可以看出,校相的实质是通过调整通道相位误差,使空间目标位置在天线坐标系中得到正确识别,为此,建立如下算法模型。
2.2.1 相对相差计算模型
相对相差计算模型如下:
① 使静止或运行目标落入主天线3 dB波束范围内后,读取初始方位、俯仰误差电压VA0、VE0,方位、俯仰角度A0、E0;
② 天线方位向右或俯仰向上拉偏一定角度,等待一定时间后,读取方位、俯仰误差电压VA1、VE1,方位、俯仰角度A1、E1;
③ 计算通道相对相差:
定向灵敏度系数为:
或
2.2.2绝对相差的计算模型
以方位拉偏为例,方位正偏时:
(1)当天线接收极化为线极化或左旋信号、天线正偏出正电压时,方位、俯仰绝对相差均为:
ΔΦ=(360°-+方位初相差)mod(360);
(2)当天线接收极化为线极化或左旋信号、天线正偏出负电压时,方位、俯仰绝对相差均为:
ΔΦ=(180°-Φ+方位初相差)mod(360);
(3)当天线接收极化为右旋信号、天线正偏出正电压时,方位绝对相差均为:
ΔΦ=(360°-Φ+方位初相差)mod(360),
俯仰绝对相差均为:
ΔΦ=(180°-Φ+方位初相差)mod(360);
(4)当天线接收极化为右旋信号、天线正偏出负电压时方位绝对相差均为
ΔΦ=(180°-Φ+方位初相差)mod(360),
俯仰绝对相差均为:
ΔΦ=(360°-Φ+方位初相差)mod(360)。
2.2.3算法模型的特点
算法模型具有以下特点:
(1)采用单轴拉偏天线即可完成校相,简化了校相过程,整个校相过程一般在5 s内即可完成,大大节省了校相时间,提高校相效率;
(2)整个校相过程均由ACU完成,算法控制过程简单,可消除误差电压的D/A、A/D转换误差,进一步提高校相精度。
3算法模型的应用
在某工程中,运用此算法模型设计了相关的动校相流程,其工程应用相关数据如下:
通道相差测量时间:传统方法自动校相时间为5～10min;新方法在某测控设备校相时间为:对塔5 s,对星2.5 s。
对塔校相精度:传统方法校相方差为4.8°;新方法校相方差为1.2°;
实时校相:校相方差为2.7°;成功概率为100%(在统计圈次内轨道预报误差〈±0.5°〉)。
4结束语
校相是测控设备中一项重要的标校工作,传统的校相方法有时间长、过程复杂和精度偏低的缺点本文提出的实时校相算法具有过程简便、速度快和精度高的优点,很好地解决了传统校相方法的不足,最重要的是能够完成对星校相,使测控设备具备了在跟踪卫星过程中的应急处理能力。
实时校相算法在某测控设备应用取得了比较好的效果,可以在双脉冲单通道测控设备中推广。
摘要：双通道单脉冲角跟踪体制在航天测控设备中应用广泛。通过深入研究国内双通道单脉冲角跟踪体制数字接收机角误差解调原理,提出一种高效率、高精度的实时校相的算法模型,旨在缩短设备任务准备时间,提高设备使用效率,提高设备应急测控能力,同时也为国内测控领域后续设备研制与生产提供相关技术参考。
关键词：数字接收机,角误差解调,校相,天线
参考文献
[1]周智敏,李企舜.现代航天测控原理[M].长沙:国防科技大学出版社,1998.
[2]赵业福.无线电跟踪测量[M].北京:国防工业出版社,2003.
[3]黄玉兰.电磁场与微波技术[M].北京:人民邮电出版社,2007.
实时跟踪 篇7
随着电子化教学、网络会议等应用的日益推广普及,自动音视频录播系统应运而生[4-6]。该类系统能自动锁定随时移动的讲演者画面,进行实时音视频数据采集,实现电子课堂的自动录制和备份,相比较原来全人工方式的录播系统,省时省力,有着广阔的应用前景。
通过将红外目标跟踪技术引入自动录播系统,文中给出了一种视场耦合型双CCD视觉系统结构设计,基于数字图像处理技术对红外目标的图像进行二值化、自动分割处理,构造对既定目标区域的模板匹配算法,实现了对随时移动的讲演者实时跟踪和自动化视频采集。
1 系统设计
1.1 基本组成
系统由特定的红外光源、视场耦合型双CCD视频采集装置两部分组成。其中红外光源由信号发生器、红外LED组成,电池方式供电,笔者在文献[7]对具体的光源实现给出了详细描述。在使用时,将红外光源佩戴于讲演者的身体,随讲演人实时移动,成为持续工作的红外点光源。
视频采集装置基本组成如图1所示。可分为机身机械、执行电机、视场紧密耦合的双CCD光学部件三部分。机身包括下边的底盘和两侧的支架,支撑起整个系统的机电部件;执行电机用于驱动光学部件在水平、垂直两自由度内合成任意轨迹的运动,从而有效跟踪视场目标,其中水平方向的步进电机、主轴及其支撑轴承都固定在地盘顶面,水平电机沿某一方向运动时,通过传动皮带带动中轴旋转,进而调整CCD视场的移动。同理,垂直方向的步进电机带动CCD视场的上下旋转运动。高清CCD用于视频采集,由USB型CCD和红外滤光片组成的红外型CCD用于红外图像采集,两者相对位置固定不变。
1.2 红外成像系统设计
通过对个人计算机通用配置的USB型摄像头进行加装凸透镜、红外滤光片的方式实现了红外成像系统。
选用凸透镜作为物镜,将视场范围内的光源,映射成光线系统内的实像,同时,凸透镜的汇聚特性增强了后续传感器单位感应面积上的光强,提高了系统的光感能力。
如图2所示,P为红外光源,和凸透镜中轴的垂直距离记为H,设凸透镜的焦距为f,直径为D,物距为u,像距为v。位于2f以外的红外点光源的发射光束经过凸透镜后,在透镜后f与2f之间成一个实像P′。在透镜与像点之间放置一成像面,则透镜的出射光束会在成像面上投影成一个光斑,光束的横截面近似为圆形,记直径为d,如图2中NN′所示。
那么,当物距u与焦距f已知时,由透镜成像公式
1/u+1/v=1/f(1)
可得像距为
v=(fu)/(u-f)(2)
作透镜边缘光线(图2中虚线)构成出射光束剖面三角形P′MM′和P′NN′,则MM′//NN′,可得两个三角形相似关系,△PNN′≌△P′MM′,从而得出
(NN′)/(MM′)=d/D=(v-L)/L(3)
进一步可推导出光斑直径为
d=(v-L)D/L(4)
将式(2)结果代入式(4),从而得
d=(fu-L(u-f)D)/fu(5)
设光斑中心坐标与凸透镜中轴垂直距离为a,则得到
a=(HL)/u(6)
由透镜的绕圆不变形可知,此光路推算也具有三维空间的旋转不变性,适用于整个视场,式(5)可用于推算光源离红外成像系统的远近,进而确定CCD的调焦设置,式(6)用于计算被跟踪目标在视场中距离中心点的偏离情况,进而调节执行电机的驱动节拍。
为匹配红外光源的波段,且滤除环境中其他可见光的干扰,采用透光峰值为940 nm的红外滤光片进行光线的预处理。红外滤光片特性见图3。
2 红外图像处理
通过对红外成像系统的精细计算和设计,可以获得接近实用效果的红外图像样本;基于数字图像处理技术的进一步分析,可获得视频采集系统的视场运动、焦点调节等控制参数。
2.1 红外图像样本分析
首先,在红外光源与视频采集设备不同距离情况下,采集红外光源图像并进行样本数据分析,如图4所示。
以1.2 m距离下的成像为例,读取图像缓存数值如图5所示。
由图5可知,所呈现的光斑颜色R分量数值一般大于180,而背景值一般小于60,同样颜色B、G的分量值也呈现出同样的分布规律。另外,在1.2 m处成像光斑直径在22像素,12 m处成像光斑直径约为5像素,根据式(5)的理论计算结果与实际像素对比,可修光斑直径d和物距u的对应关系,作为后续调整对焦景深的依据。
在系统工作过程中,只要实时分析红外光斑的坐标,并调整系统的自身姿态,使得红外光斑保持在图像的中心区域,就能达到被拍摄对象始终在视频画面中间位置的效果。
要检测光斑的中心,通常有三种算法:质心法、Hough变换法、基于模板圆的拟合法。质心法是获取光斑的轮廓坐标,在参考坐标轴方向上进行除2求解得到中心坐标值,该方法依赖于特征区域边缘像素坐标的准确计算;Hough变换的基本原理在于利用点与线的对偶性,将原始图像空间中给定特征的曲线通过曲线表达形式变为参数空间的一个点,然后将原图像空间中的所有点变换到参数空间后,根据参数空间中点的聚集程度就可以判断出图像空间中有没有近似该特征曲线的图形,通常用于直线或圆的特征提取,并可以变化曲线参数方程,推广到任意曲线的检测,适用范围广,但需要将图像中的点进行变换运算,计算量大,占用CPU资源多;基于圆拟合法使用除法、开根方运算较多,通样占用CPU资源,不宜嵌入式计算机实现[8,9,10,11,12,13]。
考虑到在本系统中,红外图像的光斑本身不是一个标准的圆形,图像的兴趣区域和背景区域聚类性较好,而且对光斑质心坐标的计算精度要求不高,但使用嵌入式计算机作为系统控制的核心,计算和存储资源有限,图像处理的实时性压力较大,因此采用质心法来获得光斑的中心坐标,既可以满足特征区域的定位,又节省了计算资源。无论哪种算法,基本流程都包括对图像进行滤波处理、图形分割、二值化,然后提取特征区域的边缘信息等步骤。
2.2 基于平滑窗的图像二值化
由2.1节可知,理想的成像条件下,红外目标成像区域和背景色之间有较好的聚类特性,但受环境光的影响,实际使用中,在背景及红外光斑边缘区域会有较大的数值突变,形成噪声,图像滤波的目的是去除噪声毛刺,二值化的目的是区分特征区域,对图像数据中R、G、B三个分量中的大于某阈值的区域强制赋值为255,标识为白色,其余区域赋值为0,标识为黑色,进一步可得到光斑的轮廓用于下一步处理。
为了加快图像滤波和二值化处理的速度,设计了一种基于平滑窗的滤波与图像二值化两步合一的算法,步骤如下:
(1)初始化大小为n×n的方形滤波器h(n,n),滤波器自适应调节系数α ,二值化比例计数器αi,i∈ (0,4),灰度阈值β =128,βlow=0,βhigh=255;
(2)使用滤波器h(n,n)以步长为n遍历图像设A为图像中某一像素点,行坐标为x,列坐标为y,取像素点A(x,y+n/2),B(x+n/2,y),C(x+n,y+n/2)及D(x+n/2,y+n);
(3)分别比较像素点A、B、C、D的灰度值与阈值的大小,若灰度值大于阈值,则归于集合P,否则归为集合Q;
(4)对滤波器h(n,n)覆盖区域,按集合P、Q中四个特征点坐标所占比例将像素点归类,如P={A,B},Q={C,D},则有像素点
集合P所占滤波器面积相应比例计数器αi加1,同时用P中最小值更新βhigh,用Q中最大值更新βlow;
(5)重复步骤(2)~步骤(4),直至遍历图像;
(6)统计步骤(4)中比例分布,其中α0代表集合P为空的次数,α1代表集合P占25%的次数,依此类推,α4代表集合Q为空集的累加计数,理想的滤波器大小为P、Q各占一半,即α2最大,故调整滤波器大小自适应调整为
二值化的阈值β更新为(βlow+ βhigh)/2。
相比较逐像素遍历图像,该算法不仅节省了滤波处理的时间,二值化的理论效率也提高了n倍,在图像区域聚类性较好的场景中,通过牺牲精度的代价节省了运算开销,该方法可以推广到其他类似的处理场景中,具有工程化方面的实用价值。
2.3 基于递归搜索的目标检测
考虑到环境可见光中的红外成分也会投影在CCD的成像面进而形成噪声,二值化处理后将会形成多个特征区域,因此需要从多个光斑区域中检测出有效的目标区域。
首先要标记出二值化后的连通区域,即将图像中符合某种连通规则的像素标识为同一目标,设计合适的数据结构记录相应连通区域的属性,常用的连通规则有4邻域、8邻域或m邻域连通等,需要统计的属性包括像素点数和质心等。
目前已有很多文献介绍连通标记算法,由于在2.2节二值化步骤中的先验知识,采用局部邻域算法可以快速有效进行标记[9-10],具体过程为:
(1)在二值化后标记为“1”的区域中进行划分,每个子区域选取一个“种子点”;(2)根据二值化过程中滤波器的大小n选择邻域值,如n小于12则采用4邻域,否则采用8邻域;(3)从该像素点出发向周围邻域扩展,若像素为二值化的“1”则写入临时标记,更新该连通区域的边界坐标;(4)根据红外图像样本的先验知识,若搜索过程中发现边界数值过大,超过最大红外光源光斑,则将该区域设置“脏”标记;(5)遍历各区域后,合并等价连通区域,将属于同一目标的多个区域临时标记修正为同一标记。
然后要根据红外图像样本的先验知识逐个判断每个连通区域是否是红外光源的光斑,如图6所示。完成对图像的遍历扫描后找到右侧的长形区域,并贴标签1,在遍历完这个区域后,发现宽和高不满足半径的最大最小范围,则继续遍历到左边的图形,当贴标签2遍历完之后,发现宽和高满足光斑的最大最小范围,则表示已经找到了光斑。
实验过程中发现,基于先验知识的判断算法对于静止物体有很好的识别效果,但当红外光源移动较快时,会在成像面留下带拖尾的长条形光斑,而不是近似圆形,因此单纯依赖该算法虽然计算复杂度小,但很容易导致误判断,从而导致系统对光源的跟踪失步。通过加入前后帧时间相关性的运动预测,适当调节先验知识中光斑轮廓大小,可较好改善此问题。
3 八分法运动判决算法
在通过数字图像处理技术完成对目标区域的判断和运动检测后,基于系统决策可驱动水平和垂直两个方向的执行电机,组合出不同角度、不同速度的运动,实时调整系统姿态,完成对目标的连续跟踪。
运动决策的考量因素有实时性、平稳性两个方面,这最终取决于对图像中目标移动步长的选择,若步长过小,则跟踪实时性强,但运动频繁,产生视频画面“抖动”的现象;若步长过大,则容易产生被拍摄对象不居中的视觉效果。另一方面,也要考虑电机自身的频响特性,应选择颤动噪声较小的运动速度[14,15]。
如图7所示,在图像中间取M×N的区域作为静止观察区,当红外光斑超出此区域后,系统才进行方向判决和运动,否则处于系统静止状态。在该区域之外,设计了八分法的运动规划,当系统感知到红外光斑偏离中心区域一定程度后,会驱动电机形成这八个运动方向的其中之一进行追踪。八个区域的划分取决于视频画面的比例和应用场景中红外光源的移动范围,采用该方法的优势是将原本连续的运动决策空间离散化,减少了运动轨迹的可能性,通过阶梯式的运动使红外光斑逼近画面中心位置,减小系统计算量,继而减小画面的抖动。
4 实验验证
以三星S3C2410 ARM9处理器为核心,通过USB端口连接红外系统的CCD,选择通用I/O口连接步进电机驱动接口,系统主频230 MHz,红外CCD分辨率为320×240,平均每帧图像处理用时为65 ms,实际视频采集效果截图如图8。CCD视场始终跟随红外目标平滑移动,当红外光源信号被墙壁遮挡后系统能继续平稳旋转一定角度并停下,当红外目标光源重新出现时,系统及时回转并重新跟随红外目标。
由实验结果可知,通过已实现的目标检测与跟踪算法,能连续稳定地调节高清CCD的视场方位和远近对焦,并能够有效抵抗目标信号短暂丢失的脉冲式干扰,满足实时视频采集的需求。
(下转第46页)
(上接第19页)
5结论