电子稳像技术

电子稳像技术（共5篇）

电子稳像技术 篇1

1 引言

电子稳像(Electronic Image Stabilization,EIS)是一种新型的视频图像稳定技术,由于它稳像精度高、体积小、重量轻、功耗低以及具有实时处理功能等优点,在国外的武器装备中已获得广泛应用,并成为发达国家在军事领域中竞争的热点之一。

电子稳像技术自提出以来已有二十多年的研究历史。随着计算机技术和大规模集成电路技术的迅猛发展,图像设备价格的持续下降,为数字图像处理的发展提供了良好的条件。美国、加拿大、法国、俄罗斯、英国和以色列等科技发达的国家对电子稳像技术已进行了深入的研究,并已成功地将其应用在车载、机载的摄像系统中,为实现目标的捕获、识别、跟踪和定位提供了稳定的图像序列。在大型制导、火控系统和小型的自寻的导引头等武器系统中也都广泛地采用了稳像技术。

近年来,电子稳像技术受到国内有关学者和研究人员广泛关注,在电子稳像理论研究和实际应用方面进行了有益探索。本文结合国内外电子稳像技术的发展,重点介绍一种国内自主研发的船载电视监视系统中电子稳像器的实现和主要特点。

2 电子稳像基本原理

2.1 电子稳像原理

图1是摄像机成像靶面的示意图,每一格代表一个像素。其中图1(a)是物体在00、01、10、11像素上成像的第一帧图像,图1(b)是物体成像的第二帧图像,由于摄像机安装在动载体上,随着载体运动产生了晃动,因此同一物体成像位置发生了变化,在11、12、21、22像素点上成像,相邻两帧图像不重合。当各帧图像按照视频刷新频率在监视器上显示时,图像就会出现晃动、失稳、模糊。

根据上述分析,要想稳定晃动的图像序列,首先要获取各帧图像间的运动矢量。对于面阵CCD摄像机,由于它每一帧的图像信息是按行输出的,每行又是按像元所排的列序号顺序输出的,所以求出帧间图像的位移量后,再通过对CCD图像传感器的行、列序号重组,使其在监视器屏幕上的图像沿运动矢量反方向等位移量移动,二帧图像在屏幕上重合,这样就可获得清晰稳定的图像,如图1(c)所示。

2.2 电子稳像系统基本结构

电子稳像系统基本结构如图2所示,主要包括运动检测和运动补偿单元,其中运动检测单元通过运动检测算法计算图像序列帧间运动矢量,是实现电子稳像的关键环节;运动补偿单元通过图像像元重组完成对图像运动的补偿功能。

3 船载电视监视系统

3.1 系统组成

船载电视监视系统主要由电视摄像设备、陀螺稳定平台和电子稳像器三部分组成。其中电视摄像设备由长焦距的光学系统和CCD摄像机组成。

舰船受风浪的影响,船体姿态变化大,船身振动剧烈,使电视摄像设备所摄取的图像失稳、模糊不清,分辨率严重下降。图像的稳定已成为制约电视摄像系统作用距离的瓶颈。

陀螺稳定平台采用四框架结构,其中两轴是稳定轴,用于隔离船体横摇和纵摇的影响,保证摄像设备在水平面内稳定。另外两轴是云台结构,便于摄像机方位、俯仰旋转,用于搜索监视滩涂、海面和低空目标。陀螺稳定平台对摄像设备的稳定称为一级稳定。

摄像设备安装在陀螺稳定平台的云台上,稳定平台架设在船体最高处的桅杆上。

电子稳像器安装在船舱内,主要由基于DSP6416的图像处理平台组成,采用稳像算法实时检测图像运动矢量,通过图像补偿处理实现图像序列的稳定输出。电子稳像器对电视图像的稳像处理称为二级稳定。

3.2 图像运动矢量的检测方法

目前,国内外有关学者提出了许多行之有效的图像序列运动检测方法,如代表点匹配法RPM(Representative Point Matching)、灰度投影算法GPA(Gray Projection Algorithm)、位平面匹配法BPM(Bit Plane Matching)、光流法(Optical-flow)、频域法、光度学图像分析法等[1,2,3,4,5,6,7],每种方法有其特定的使用范围,下面简要介绍在船载电子稳像器中所采用的灰度投影算法。

3.2.1 灰度投影算法

灰度投影算法是将一幅M×N图像的二维灰度信息{f(x,y)}映射成两个独立的一维投影序列:

式中:Xk(x)、Yk(y)分别表示第k帧图像{fk(x,y)}第x列和第y行的灰度投影值,m和n分别表示投影区间长度,满足条件0≤m≤M,0≤n≤N。

根据灰度投影数据计算运动量就是通过相关运算,建立当前图像投影数据{Xc(x)}、{Yc(y)}与参考图像投影数据{Xr(x)}、{Yr(y)}的一一对应关系,在当前图像的投影数据中,找出与参考图像最逼近的投影数据。

本文采用最小均方误差(MSE)作为最小匹配准则,构造相关函数如下:

根据上述定义,运动矢量[dx,dy]T估计变成在m-M≤p≤M-m和n-N≤q≤N-n范围内,求C(p)和C(q)R(p,q)的最小值问题。即:

原始图像及其灰度投影曲线如图3所示,其中,图3(a)是原始图像,图3(b)是原始图像在列方向上的投影。

3.2.2 改进的灰度投影算法-亚像元级运动检测

根据图像运动的连续性,灰度投影数据也具有较好的连续性。为了获取高精度的投影数据,对上述灰度投影数据进行D细分线性插值处理[8],计算公式如下:

通过相关运算,可检测到1/D像元精度。

3.3 图像运动补偿

图像序列运动补偿是通过运动检测算法求取的图像运动矢量,对图像像元位置进行重组实现的。

求取图像运动矢量后,图像补偿量可分解为平移运动量[dx,dy]T和图像旋转量θ。由于图像的像元级平移量只涉及到图像单一方向的运动变化,所以补偿方法比较简单,只需按照运动矢量方向等量反向移动图像便可实现。而当图像有亚像元级平移运动量和旋转运动时,补偿方法比较复杂,是图像补偿的重点和难点,要避免在坐标变换时出现“空洞”和“马赛克”现象。

3.3.1 图像运动补偿公式

设图像中心(x0,y0),图像运动矢量[dx,dy]T,图像旋转角度θ,则图像运动补偿公式由式(5)表示:

式中:(x′,y′)、(x,y)分别表示补偿前、后坐标。

采用式(5)进行图像补偿,对于补偿结果图像的每一个像元坐标(x,y),都可以保证在补偿前原始图像中有一个对应的像元点坐标(x′,y′)。除非其对应原图像中的点坐标超出坐标值范围,否则在原图像中都可以找到一个对应点,因此可以避免在结果图像中出现“空洞”。

3.3.2 双线性插值-亚像元补偿及平滑处理

在亚像元级运动量[dx,dy]T和存在旋转运动量θ情况下,按照式(5)进行补偿,得到的(x′,y′)计算值是浮点数,而图像像元点的实际坐标值都是整数,在从浮点数转化为整数的过程中将产生误差,影响图像补偿精度。

为了提高图像补偿质量,在采用式(5)进行图像运动补偿时,通过双线性插值方法对图像像元灰度值进行平滑处理。对任意变换后的图像点(x,y),利用变换公式(5)计算原图像上的点(x′,y′),建立(x,y)与(x′,y′)四邻域像元位置及灰度值的对应关系,采用四邻域灰度值加权平均的方法计算图像点(x,y)的像元灰度值。

双线性插值算法由式(6)表示:

式中:x′、y′分别表示浮点数坐标x′、y′的取整,并且xd′=x′-x′,yd′=y′-y′。

双线性插值结果如图4所示。其中图4(a)为原始图像,图4(b)和图4(c)分别为双线性插值平滑处理前后的旋转图像,为提高视觉效果,对图像进行了局部放大。从图4(b)可以看出,在图像边缘附近出现明显的“马赛克”现象。采用双线性插值处理后的图4(c)图像边缘清晰、完整、无锯齿,基本保持了图像质量。

3.4 电子稳像效果

为检测电子稳像器稳像精度及稳像效果,在实验室进行了精度检测及外场稳像试验。

在实验室通过摇摆台对稳像精度进行检测。根据实际应用情况设定摇摆台运动条件,经检测,电子稳像器稳像精度为一个像元,处理时间≤1/25s,满足实时处理要求。

外场稳像试验在海上进行,对海上试验采集到的图像序列进行电子稳像。输入原始图像如图5所示。在监视器上,原始视频图像出现明显的跳动、模糊。

通过稳像处理,输出稳像结果图像如图6所示。

用均方差MSE评定稳像效果,其结果见表1,稳像后MSE明显减小。由于被稳定的视频是图像序列,实际稳定效果很难从图6的单帧画面上显现。在进行海试时,从稳像前后监视器显示的图像可以看出,经稳像处理的视频图像比原始图像稳定、清晰,稳像效果显著。

4 结论

电子稳像和传统的稳定平台稳像相比,因省去了复杂而昂贵的伺服控制系统而具有体积小、重量轻、功耗低、精度高和价格低廉等优点,在某些应用场合可取代稳定平台进行稳像,也可作为稳定平台的补充,在其基础上进行二级稳定,将进一步提高图像的稳定效果。

电子稳像还可广泛应用在侦察车、边防哨所的监视站点上。应用电子稳像后,可进一步提升监视“桅杆”的高度(如10m),而不用担心因风力造成“桅杆”摇摆使图像质量下降。进一步改进算法和提高处理速度后,可应用于机载电视监视系统中。

摘要：本文简述了电子稳像技术的基本原理,重点介绍了国内自主研发的船载电视监视系统电子稳像器的实现和主要性能特点,以及为满足性能要求而采用的运动检测和补偿技术。该电子稳像器采用灰度投影算法检测序列图像当前帧和参考帧之间的运动矢量,并且通过算法改进实现亚像元检测。在补偿图像运动时,通过采用平滑算法,避免了在图像补偿时出现的马赛克现象,保证了图像补偿精度。实验结果表明,本文提出的电子稳像器具有稳像精度高、实时处理能力强和较好的实际应用效果。

关键词：电子稳像,电视监视系统,运动检测,图像补偿

参考文献

[1]Carlos Morimoto,Rama Chellappa.Fast electronic digital image stabilization[J].IEEE Processings of ICPR,1996,3:284-288.

[2]Paik Joon Ki,Park Yong Chui,Kim Dong Wook.An adaptive motion decision system for digital image stabilizer based on edge pattern matching[J].IEEE Trans.on Consumer Electronic,1992,38(3):607-616.

[3]Vella Filippo,Castorina Alfio,Mancuso Massimo,et al.Digital Image Stabilization By Adaptive Block Motion Vectors Filtering[J].IEEE Trans.on Consumer Electronics,2002,48(3):796-801.

[4]Ko Sung-Jea,Lee Sung-Hee,Jeon Seung-Won,et al.Fast Digital Image Stabilizer Based On Gray-Codes Bit-Plane Matching[J].IEEE Trans.on Consumer Electronics,1999,45(3):598-603.

[5]Ko S-J,Lee S-H,Lee K-H.Digital image stabilizing algorithms based on bit-plane matching[J].IEEE Trans.on Consumer Electronic,1998,44(3):617-622.

[6]李博,王效通,杨常青,等.电子稳像的灰度投影三点局域自适应搜索算法[J].光电工程,2004,31(9):69-72.LI Bo,WANG Xiao-tong,YANG Chang-qing,et al.Three-point locally adaptive searching in gray scale projection algorithm for electronic image stabilization[J].Opto-Electronic Engineering,2004,31(9):69-72.

[7]赵红颖,金宏,熊经武.电子稳像概述[J].光学精密工程,2001,9(4):353-359.ZHAO Hong-ying,JIN Hong,XIONG Jing-wu.Overview of the electronic image stabilization technology[J].Optics and Precision Engineering,2001,9(4):353-359.

[8]孙辉,张永祥,熊经武,等.高分辨率灰度投影算法及其在电子稳像中的应用[J].光学技术,2006,32(3):378-380.SUN Hui,ZHANG Yong-xiang,XIONG Jing-wu,et al.The application of high resolution gray projection algorithm in electronic image stabilization technology[J].Optical Technique,2006,32(3):378-380.

复杂抖动的电子稳像概述 篇2

稳像是从输入的视频图像序列中去除因摄像平台不稳而引入的图像扰动,以获得平稳的适合人观察的图像序列的过程。稳像技术的发展经历了从机械稳像到光学稳像再到目前的电子稳像三个阶段。与其他稳像技术相比,具有稳像精度高、体积小、重量轻、功耗低、灵活性高及成本低等特点,因此是稳像领域发展的主要方向,具有广泛的应用前景。

1 电子稳像基本原理及数学模型

1.1 基本原理

电子稳像是利用某种算法对图像进行处理,用信号处理的方法分离出主体运动和附加的随机抖动运动参量,进而对当前图像做变换进行补偿,从而达到稳像的目的。电子稳像系统主要由运动估计、运动补偿和图像补偿三个模块组成。如图1显示了电子稳像系统处理的基本过程:首先根据图像序列的各种信息进行全局运动估计,找出相邻帧图像之间的随机抖动运动参量;其次利用运动估计的结果来去除随机抖动分量,计算补偿参数,并让其对各帧图像进行矫正变换;最后对补偿区域进行重构,输出清晰稳定的视频序列[1]。

1.2 电子稳像的数学模型[2]

(1)平移模型(Translation模型)

图像只含有平移运动时,可采用Translation模型:

(2)相似模型(Similarity模型)

当图像有旋转和变焦两种运动时,则应采用Similarity模型:

式中s和α分别表示当前帧相对于参考帧的缩放系数和旋转角度。

(3)仿射模型(Affine模型)

当图像出现扭转变化情形时,只能采用Affine模型:

式中a11,a12,a21,a22为旋转参数,s为变焦系数。

以上三式中(x2,y2)、(x1,y1)均分别是当前帧和参考帧上像素点对应的坐标,(Δx,Δy)均分别表示当前帧相对于参考帧在x和y方向上的位移量。

2 电子稳像的关键技术分析

电子稳像系统主要包括运动矢量估计和运动矢量补偿,这两个方面是紧密联系的,影响稳像的速度、质量和精度。

2.1 运动估计方法分析[3,4]

运动估计是结合数字图像处理技术运用某种算法对视频图像进行直接处理,估算出图像序列之间的全局运动偏移量。主要包括:块匹配法(BMA)、位平面匹配法(BPM)、投影法(PA)、特征量跟踪算法(FTA)。

2.2 运动补偿方法分析[5]

运动补偿是根据运动估计获取的全局运动矢量去除不必要的运动,从而达到稳定视频图像的目的。主要有:固定帧补偿、相邻帧补偿和运动滤波补偿方法。

3 复杂抖动的电子稳像分析

对于在实际应用中,摄像载体不仅表现为振动剧烈的平移运动,还存在旋转和缩放运动。因此,针对这种复杂抖动的情况,采用特征量跟踪算法来进行稳像。

3.1 特征量跟踪算法的基本原理[6]

特征量跟踪算法是利用图像序列中的特定标记来进行跟踪和分析。首先在参考图像中确定一组特征作为标识,并在当前图像中寻找对应的匹配特征;其次,根据匹配的特征来确定图像几何变换模型的参数,从而获得图像序列的帧间运动矢量;最后进行运动矢量滤波,得到修正后的补偿参数对当前帧图像进行补偿,达到稳定的效果。

3.2 特征点跟踪算法的关键技术分析

3.2.1 特征点的提取

点特征是最简单也是最易提取的特征量。本文选用具有计算简单和鲁棒性较强的Harris算子来提取图像中的特征点[7]。

Harris角点检测算法是一种基于信号的点特征提取算子,其步骤为:

(1)对图像中的每个像素点的灰度值I(x,y),利用式4计算其在水平方向和垂直方向上的梯度。

(2)构造自相关函数矩阵。

由式中的A、B和C值可得到一个对称矩阵,它是一个二阶实对称矩阵,必然存在两个特征值λ1和λ2,代表自相关函数的主曲率。

(3)提取特征点。如果特征值λ1和λ2是极大值时,则(x,y)处位置的点是一个特征点。即行列式和矩阵M的对角线元素和满足:

式中T是预先设定的阈值。k是参数,通常取k=0.04~0.06。减号后面的部分是为了抑制边缘点的误检而进行的修正。

3.2.2 特征点的匹配

特征点匹配是利用某种匹配准则(特征标识符、相似度测量以及特征间的空域关系),在当前帧中找到与参考帧中的每一特征量对应的唯一匹配点。考虑到抗噪声的能力,本文采用基于模板匹配思想的特征窗匹配法[8]在当前帧图像上搜索最优匹配点。

3.2.3 全局运动参数的估计[9]

本文采用上文提到的Similarity运动模型,将经过预处理后的候选特征点对带入此模型,即确定表征图像序列帧间的平移,绕光轴旋转及变焦运动。

(1)运动参数的确定

对于相邻的两帧图像来说,图像间的旋转运动很小,可将Similarity模型简化成线性形式,简化后的线性形式为:

将N对匹配的特征点代入上式后,可得到含有3个未知参数的2N个线性方程式:

对该方程展开并移项,以矩阵形式表示上式,可得B=Am矩阵形式,其中

该方程实际上是一个实数域上的m×n阶超定线性方程组,在这里m=2N,n=3。我们可用广义矩阵法求解出这一线性方程组的最小二乘解,其解为m=(ATA)-1ATB,则可求出α、dx和dy这三个运动参数。

3.2.4 运动补偿参数的确定

对于运动补偿,采用均值滤波的方法来确定补偿参数,其补偿参数可由下式确定:

其中,N为滤波器的长度,(αi,dxi,dyi)是相邻两帧图像之间的运动参数。通过均值滤波后,即可获得视频图像正常扫描运动分量,则进一步可确定各帧图像的补偿参数。而后,将参数带入确定好的运动数学模型对当前图像进行变换,即可得到稳定后的结果图像。

3.3 仿真实验研究

我们从拍摄的复杂抖动的视频序列中选取了某一帧图像,对基于Harris角点跟踪算法的电子稳像进行仿真实验。本文将原图像分成互不重叠的6×6个区域,然后在每个覆盖的区域内运用Harris算子提取特征点。其中图2(b)为未进行均匀区域的Harris算子提取特征点的结果图,图2(c)为均匀区域的Harris算子提取特征点的结果图像,从这两幅图中可以看出,图2(c)提取的特征点分布均匀,具有较好的独特性,且信息量丰富,能够避免特征点和特征窗口在图像中分布过于集中。在获取特征点后,利用9×9的特征窗在当前图像进行特征点的匹配,找到对应的匹配特征点,其结果如图2(c)所示。最后对图2(c)进行变换,即可得到稳定后的图像,其结果如图2(d)所示。

4 总结

为了直观地评价稳像后的效果,我们给出稳定前后差值图像比较,如图3所示。通过差值图的比较,我们可以看出,稳定后图像差值比原始差值变小,说明补偿图像效果较好。总之,实验结果表明,基于Harris角点的特征量跟踪算法能够有效去除干扰,得到稳像效果。

摘要：利用电子稳像技术实现抖动视频序列稳定是目前稳像技术的发展方向之一。基于此,对电子稳像的基本原理、数学模型、基本方法进行了简要的阐述。在实际应用中摄像载体不仅表现为振动剧烈的平移运动,还存在旋转和缩放运动,因此针对这种复杂抖动的情况,采用特征量跟踪算法进行稳像,并对其进行分析和仿真实验。

关键词：电子稳像,数学模型,特征量跟踪算法

参考文献

[1]钟平.机载电子稳像技术研究[D].长春:中国科学院长春光学精密机械与物理研究所,2003.

[2]关升.几种电子稳像算法的初步研究[D].哈尔滨:哈尔滨工业大学,2006.

[3]王斌,赵跃进,尹德森.基于电子稳像的特征跟踪算法[J].红外与激光工程,2008,37(4):605-614.

[4]朱娟娟.电子稳像理论及其应用研究[D].西安:西安电子科技大学,2009.

[5]朱娟娟,郭宝龙.电子稳像的特征点跟踪算法[J].光学学报,2006,26(4):516-521.

[6]Shi Lei,Su Xiuqin,Xiang Jingbo.An Electronic ImageStabilization Method Based on Feature Block Matching[J].Chinese Optical Society,2008,37(1):202-205.

[7]高晓明.电子稳像系统主要算法研究[D].西安:西安电子科技大学,2008.

[8]孙平.基于改进特征点匹配的电子稳像算法研究[D].江苏:苏州大学,2008.

电子稳像技术 篇3

电子稳像技术是综合电子、计算机、数字信号处理等技术,利用数字图像处理方法直接确定图像序列的偏移并进行补偿的技术[1]。利用电子稳像技术对不稳定的视频序列进行稳定处理,可提高监视质量,便于后续应用处理。电子稳像技术广泛用于机器导航、目标识别与跟踪、安全监控等视频分析和处理领域。实际应用中对电子稳像系统的处理时间、体积、重量、功耗等要求不断提高,基于嵌入式的实时电子稳像系统具有更高的实际应用价值。

鉴于电子稳像技术在军事和民用领域中的重要作用,美国、加拿大、以色列等国家较早地进行了研究和开发,并取得了一定成果。我国在2000年之后开始进行稳像技术研究。中国科学院长春光机所钟平针对具体应用环境特点,采用基于特征跟踪的电子稳像方法用于机载电子稳像,取得了良好的结果[2]。哈尔滨工业大学张博等将基于帧矢量叠加和自适应中止技术的快速运动估计方法用于电子稳像,运算量显著减小[3]。国防科大罗诗途等采用了一种由粗到精、由局部到全局配准的高效匹配策略实现了车载图像匹配,满足了车载图像跟踪系统对电子稳像技术的实时性及精度要求[4]。这些电子稳像系统大多基于VC编程在PC机上实现。北京理工大学赵跃进采用XC95144XL CPLD+DSP6711为处理平台实现了256×256像素图像的实时稳定[5]。中国科学院长春光机所孙辉采用灰度投影法检测序列图像当前帧和参考帧之间的运动矢量实现亚像元检测,并基于DSP6416图像处理平台应用在船载电视监视系统中,但没有讲述硬件实现过程[6]。本文重点研究了基于EP2S30 FPGA+DSP6416架构的电子稳像平台硬件开发流程。采用灰度投影算法,本平台能实时完成25 f/s的标准PAL制视频的稳定。

1 灰度投影算法简介

电子稳像的原理是对不稳定的视频序列图像进行局部运动估计和全局运动估计,并对运动参数进行综合评价得到运动补偿参数,进而对图像进行运动校正得到稳定的输出图像序列。依据上述原理,电子稳像过程分为运动估计、运动滤波、运动补偿3个部分,而关键技术就在于估计视频序列图像相邻两帧之间的全局运动参数。

灰度投影算法的原理是基于行列灰度曲线的变化规律进行运动估计,其方法是将灰度图像的二维图像信息映射成2个独立的一维波形,即获取图像的行列灰度投影曲线,然后进行相关运算,找到相关值曲线中的单峰值即为当前图像相对于参考图像的位移值。灰度投影算法作为一种二维平移模型的算法具有独到的优势,例如计算速度快,易于VLSI实现等。

2 电子稳像平台设计

2.1 平台硬件设计方案

电子稳像平台硬件结构框图如图1所示。平台完成灰度投影法电子稳像的流程为:视频解码器接收模拟视频并将其转换为数字视频数据流送入FPGA内部的图像采集控制模块。图像采集控制模块进行图像处理区域的剪裁和图像数据的YCbCr分解,分解之后的灰度数据分成两路,一路通过视频采集FIFO存入SDRAM进行帧存储;另一路先进行图像预处理,然后进行行列方向的灰度投影数据累加。DSP通过EMIF总线读取这个累加结果,完成运动估计和运动滤波的计算得到运动矢量数据。Nios II处理器通过EMIF总线读取这个运动矢量,在下一帧图像扫描开始时将SDRAM帧存储中的图像数据读入到视频显示FIFO中,经运动补偿模块后得到稳定的数字视频数据流,最后通过图像显示控制模块送到视频编码器输出稳定的模拟视频。

2.2 平台软件设计方案

电子稳像平台的软件设计分为两部分,分别在DSP6416和Nios II处理器中完成,其中DSP6416完成稳像算法的运动估计、运动滤波功能,Nios II处理器完成图像帧存储设计、视频编码器、视频解码器配置等功能。软件框架分为3个层次:

1)顶层管理。利用C6416芯片支持库以及DSP/BI-OS完成系统配置及实时多任务调度[6];

2)设备驱动。利用Nios II处理器的HAL完成编码器、解码器及SDRAM等外设的配置[7];

3)算法应用。利用C6000的Fast RTS函数库完成稳像算法中的浮点运算部分。

2.3 平台整体时序设计

图2是通过FPGA内部的逻辑分析仪采集到的稳像平台硬件设计时序图。

系统上电后FPGA通过内部Nios II处理器完成视频编码器、视频解码器的配置,之后通知DSP配置过程结束,DSP接收到配置结束信号后产生稳像开始信号(图2中信号4)送给FPGA。对于FPGA,接收到这个信号的时间是随机的,而本文的稳像算法是基于帧处理的,所以FPGA必须从稳像开始信号有效之后最新到来的一帧图像开始进行稳像处理。稳像平台的整体时序设计如下:

1)帧起始信号(图2中信号5)代表着稳像开始信号有效后每一帧新图像的到来,本文用这个信号触发Nios II处理器的外部中断来读取DSP计算出来的全局运动矢量。

2)处理区域奇场、偶场行有效信号(图2中信号6和信号7),这2个信号的下降沿分别代表稳像开始后每帧图像中奇场及偶场处理区域的结束,通知DSP通过EDMA通道读取图像灰度投影累加数据。为了完成实时稳像,DSP必须在信号7的下降沿和信号6的上升沿之间完成全局运动矢量的解算。

2.4 图像帧存储时序设计

电子稳像算法中,根据全局运动估计算法复杂程度的不同,需要存储图像的帧数就不同,图像延时的时间也就不同。基于灰度投影法的电子稳像平台需要进行一帧的图像存储,稳定之后的图像有一帧的延时。

在FPGA中利用SOPC_Builder生成SDRAM控制器通过DMA方式将图像存储在外部SDRAM中。同时在FPGA中还分别设计了采集FIFO和显示FIFO对图像采集和显示作行缓存。需要注意的是对于显示FIFO,本文必须提前写入一行数据以防止图像处理区域扫描信号到来时显示FIFO的读空。

图3是逻辑分析仪采集的帧存储时序波形,为了便于显示省略了中间的部分。分析如下:

1)利用处理区域列有效信号(图3中信号3)作为采集FIFO的写使能信号,信号的下降沿代表着一行有效数据采集完毕同时中断通知Nios II处理器通过DMA方式将数据写入SDRAM的采集存储区。采集FIFO的读使能、数据入、数据出分别对应于上图中的信号4,5,6。

2)利用提前一行的列有效信号(图3中信号8)上升沿去触发Nios II处理器的外部中断,通过DMA方式从SDRAM显示存储区中读出一行有效数据写入显示FIFO,而显示FIFO的读使能信号仍然使用信号3,这样便能防止显示FIFO的读空,同时保证显示FIFO中处理区域最后一行的有效数据被读出。显示FIFO的写使能、数据入、数据出分别对应于上图中的信号9,10,11。

由图3可见,上述设计中SDRAM读写操作时序不会出现重叠,完全满足时序要求。进行运动补偿时,上述设计的采集FIFO时序不发生变化,而显示FIFO的输出数据及相应的使能信号会发生变化。具体设计见图像运动补偿时序设计部分。

2.5 灰度投影数据累加时序设计

灰度投影数据累加包括行方向和列方向的数据累加,累加结果存储在FPGA片上的双端口RAM中。由于视频数据流的输入是随着行方向的扫描而来的,因此行方向上只要随着像素时钟对行方向投影数据作累加就可以了。

列方向投影数据累加采用2个双端口RAM,第1个双端口RAM存储图像处理区域内除最后1行图像外的列向投影数据累加结果,当图像扫描到处理区域最后一行时,从第1个双端口RAM读出之前的累加数据、加上图像最后1行当前列的数据、写入到第2个双端口RAM对应于列地址的存储单元中,同时将第1个双端口RAM对应列地址的存储单元清零。为了在1个像素时钟内完成数据读出、累加、写回的操作,本文用像素时钟的4倍频时钟驱动一个具有4个状态的状态机来完成上述的操作。图4为双端口RAM完成列方向投影数据累加过程示意图。

2.6 图像运动补偿设计

图像运动补偿模块的功能就是根据全局运动矢量计算出经过运动补偿之后的图像在SDRAM帧存中的位置并将图像取出来作显示。对于运动补偿之后产生的空白区域,本文作补零处理。

图像运动补偿功能由FPGA逻辑和Nios II处理器共同完成。Nios II处理器接收来自DSP的水平向和垂直向的全局运动矢量dx,dy,计算出运动补偿图像区域的首地址作为DMA的起始源地址。由于本文定义的DMA总线位宽为32位,为了地址对齐,定义每次DMA的数据长度为图像处理区域的长度img_h,为4的整数倍。这样对于每帧图像的运动补偿,实际上启动了(img_v-dy)次DMA传输,而每次DMA传输的数据中包含了dx个无效数据,其中img_h和img_v分别为图像处理区域的长度和宽度。

在FPGA的逻辑设计中,本文产生运动补偿所需的各使能信号控制显示FIFO接收DMA数据,在图像显示控制模块中去除每行的dx个无效数据,并最终将运动补偿图像区域的图像作显示。各使能信号的定义如图5所示。

在图5中,Clip_H为处理区域列有效信号;Clip_V为处理区域行有效信号;Trans_H为图像补偿区域列有效信号;Trans_V为图像补偿区域行有效信号;Trans_H_Fake为提前一行的图像补偿区域列有效信号;Trans_V_Fake为提前一行的图像补偿区域行有效信号。图5在空间位置上定义的图像补偿区域与2.4节中从时序上定义的图像处理区域是一致的,只不过2.4节中是在图像不发生抖动时将全部图像处理区域作显示,而在图像发生抖动时,本文只将运动补偿之后的有效图像区域作显示,无效部分作补零处理。

3 实验结果

为验证稳像平台的稳像效果,本文做了如下实验。通过人为随机设定的水平和垂直偏移量,截取摄像机输出100帧序列图像的512×512区域大小来模拟抖动的视频序列,图像所加偏移量的大小在[-30,+30]个像素之间。在DSP6416程序中记录算法解算出的抖动图像序列的帧间运动矢量。将当前帧前面的所有帧间运动矢量作累加即可得到当前帧图像相对于基准帧图像的运动轨迹。将实际运动轨迹和滤波后的运动轨迹数据通过Matlab软件绘图如图6所示。

a x方向运动轨迹

b y方向运动轨迹

由图6可见稳像算法能正确计算帧间运动矢量,并通过运动滤波去除视频中的无意抖动将摄像机的有意运动提取出来。同时将抖动的图像视频和稳像之后的视频分别在监视器上输出,稳像之后的视频达到了稳定效果。

4 设计总结

本文详细介绍了基于EP2S30 FPGA+DSP6416架构的电子稳像平台的硬件开发流程。采用灰度投影算法,平台能实时对水平向和垂直向抖动的范围为[-30,+30]个像素之间的标准PAL制视频进行稳定,稳像精度为1个像素。表1显示了FPGA中硬件资源的使用情况。

本文没有对稳像算法本身作深入地研究,而将重点放在了稳像平台的硬件架构设计和时序设计上。由表1可见FPGA内部硬件资源的裕量很大,同时在FPGA的外部也扩展了足够的存储器,加之DSP6416的使用,本稳像平台完全有能力完成更复杂的算法。

摘要：研制了基于FPGA+DSP架构的嵌入式实时电子稳像平台。DSP作为主处理器完成灰度投影稳像算法的运动估计和运动滤波,FPGA作为协处理器完成灰度投影数据累加及运动补偿。同时FPGA与内部Nios II处理器还共同完成系统时序控制、视频编码器配置、视频解码器配置、图像采集显示控制、EMIF总线接口控制、图像帧存储等功能。实验表明,平台能实时对25帧/秒(720×576),水平和垂直方向上存在±30个像素之间的抖动视频进行稳定,稳像精度为1个像素。

关键词：电子稳像,灰度投影,现场可编程门阵列,数字信号处理

参考文献

[1]赵红颖,金宏,熊经武.电子稳像技术概述[J].光学精密工程,2001,9(4):353-359.

[2]钟平,于前洋,金光.基于特征点匹配技术的运动估计及补偿方法[J].光电子.激光,20041,5(1):73-77.

[3]张博,吴芝路,张欣宇,等.基于矢量叠加和自适应中止的快速运动估计[J].电视技术,2006,30(4):7-10.

[4]罗诗途,王艳玲,张圮,等.车载图像跟踪系统中电子稳像算法的研究[J].光学精密工程,20051,3(1):95-103.

[5]周渝斌,赵跃进,刘明,等.基于C6711 DSP的实时数字稳像系统[J].北京理工大学学报,2004,24(5):435-438.

电子稳像技术 篇4

1 基于灰度投影的电子稳像算法

1.1 电子稳像基本原理

电子稳像(ElectronicImageStabilization,EIS)是集电子技术、计算机、数字信号处理、视频图像处理等为一体的实现数字图像序列稳定的技术。电子稳像技术中最基本的是像移补偿技术是直接从像面上通过检测参考图像和被比较图像的运动矢量,然后利用算法进行补偿的技术。稳像的基本原理:(1)根据图像序列或视频的各种信息进行局部运动估计。(2)进行全局运动估计。(3)经过运动估计后取得运动参数,然后进行综合评价根据综合评价的结果进行运动补偿,并最终取得稳定的输出序列。由此可知,获得图像的全局运动矢量是电子稳像的前提条件。基本流程如图1所示。对于全局运动矢量可以通过灰度投影算法获得[1]。

1.2 灰度投影算法

灰度投影算法(ProjectionAlgorithm,PA)是利用图像灰度分布变化的特点得到图像帧间运动矢量。对于灰度细节丰富、直方图无明显特征、对比度差的图像难以识别特征量,寻找特征量不仅无法保证所需的稳像精度,更难以满足稳像的实时性要求。针对此种图像序列,用灰度投影法来实现图像运动矢量的准确获取从而达到稳定图像序列的目的视频图像序列是图像的灰度发生变化的图像序列,各种运动矢量估计算法均是以灰度变化为依据。投影算法能充分利用图像的灰度变化这一特点,较准确地估计出图像的运动矢量。此算法的优点是:灰度曲线匹配速度快,从而提高了稳像速度,适用于图像照度变化导致的灰度变化的情况[2]。灰度投影算法是实现只含平移运动或旋转运动较小的图像序列电子稳像的较理想算法。

(1)灰度映射。

灰度映射就是把每一帧输入的初始的二维图像信息映射成为两个独立的一维波形,如下为列投影的映射方法

式(1)～式(3)中,Colk(j)为第k帧图像第j列的灰度值;Curk(i,j)是第k帧图像上(i,j)位置上的像素值;NC是列数,ColProjk(j)是第k帧图像第j列修正后的投影值。行方向灰度投影映射的算法可以同理推出。

(2)投影滤波。

投影滤波是为了降低边界信息的幅值,保留中间区域的幅值,使用滤波器经行滤波。由于边缘信息在互相关计算时会对互相关的峰值产生不利影响,因此要将边界处的投影值去除。由于图像移动量大时,边缘信息在每一幅图像上是惟一的,所以通过对投影值进行滤波可提高算法精度。

(3)互相关运算。

互相关运算就是将当前帧图像的行、列投影曲线与参考帧图像的行、列投影曲线做互相关计算。运算后得到的相关值曲线中的惟一峰值即为补偿运动矢量所求的位移值。得到了水平方向和垂直方向的位移矢量后,就将当前图像向位移矢量的反方向平移相应大小的像素距离,从而实现图像序列的稳定。行、列相关运算的计算如式(4)所示

式(4)中Colk(j)为第k帧图像第j列的灰度投影值;NC为列的长度;m为位移矢量相对于参考帧在一侧的搜索宽度。设wmin为C(w)最小时w的值,则第k帧图像相对于参考帧图像在垂直方向的位移矢量如式(5)所示。

得到了水平方向和垂直方向的位移矢量后,就可以把当前图像向位移矢量的反方向运动,响应大小的像素距离,从而实现图像序列的稳定。

2 基于TMS320DM 642系统的设计

2.1 TMS320DM 642介绍

TMS320DM 642是TI公司推出的一款DSP芯片,这款芯片是专门面向多媒体应用而设计开发的32位定点DSP芯片,是目前业界公认的性能良好的视频处理器。良好的处理性能和丰富的片上外设,可以满足实时视频处理的要求。DM 642采用两级缓存结构,第一级,包括相互独立的L1P(16kB)和L1D(16kB),只能作为高速缓存使用。第二级,L2(256kB)是一个统一的程序、数据空间,可以整体作为SRAM映射到存储空间,也可以整体作为第二级Cache,或是二者按比例的一种组合来使用。DM 642具有64个独立通道的增强型直接存储器访问控制器,负责片内L2与外设之间数据高速传输。具有丰富的外围设备接口:3个可配置的双通道视频端口VideoPort;64bit的外部内存接口EMIF;10/100Mbit以太网MAC;66MHz32bit的PCI接口[3,4]。

2.2 系统设计

本系统的硬件框图如图2所示,仿真图像通过CCD摄像设备取得,对于取得的图像信息,通过数字视频解码器处理,把模拟图像转换成数字图像,再将数字信息存入到DM 642芯片中,经过DM 642芯片的处理,得到相邻帧之间的运动矢量,进而实时准确地对运动矢量经行补偿,得到输出视频序列,最后将处理后的视频图像显示到显示器上。

3 算法仿真结果分析

如图3和图4所示,分别反映的是稳像前后图像的列投影曲线,稳像后的列投影曲线的形状和位置基本一致,说明补偿后图像的相似度提高了,其稳定性也提高了。同时,可以使用峰值信噪比(PeakSiginal toNoiseRatio,PSNR)来评价准确度的品质因子[5]。试验结果表明,准确性达到了好的满足要求,但实时性稍差还需要进行程序优化,以达到较好的效果。

4 结束语

文中使用灰度投影算法,基于TI公司的TMS320DM 642嵌入式系统实现了电子稳像。试验结果表明,文中采用的算法不仅稳像效果好,而且达到了准确性的要求。对于不同的应用场景,具有一定的使用价值

摘要：介绍了一种解决视频图像抖动问题的电子稳像方法,系统利用灰度投影算法和德州仪器公司的定点数字信号处理器芯片TMS320DM642实现电子稳像。文中提出了电子稳像性能的基本要求,介绍了稳像的基本原理,根据要求选择了稳像算法,从而设计了系统的硬件框图,并完成了算法的仿真。实验结果表明,该算法稳效果好,且达到准确性要求。

关键词：电子稳像,灰度投影算法,数字信号处理器

参考文献

[1]李慧娟,郭宝龙.基于DM642的电子稳像的研究与实现[J].微电子学与计算机,2009,26(11):120-123.

[2]赵天云,郭雷,余博.基于灰度投影的快速电子稳像算法[J].微电子学与计算机,2008,25(11):233-237.

[3]Manufacturer,Texas Instruments.TMS320DM642 Video Im-aging Fixed-Point Digital Signal Processor[Z].Texas,USA:Manufacturer,Texas Instruments,2002.

[4]邹彦.DSP原理及应用[M].北京:电子工业出版社,2007.

电子稳像技术 篇5

近年来,红外前视成像设备在工业和民用领域的应用越来越广泛[1,2,3]。其实际应用往往需安装在非固定的平台上,非固定的平台通常会产生随机的非稳态抖动,而红外前视成像设备输出图像的稳定性对整个系统的性能影响至关重要。所以建立稳像系统,克服随机非稳态抖动影响,获取稳定的输出图像,意义十分重要。目前大多数应用成熟的稳像系统比较多的都是采用纯数字图像处理的方法,利用运动矢量估计进行图像配准[4,5,6],其中较为先进的方法是在图像配准算法中加入神经网络的“经验学习型”算法,以获取图像的像移量化数据。纯软件化的方法,实现容易,基本不增加硬件,但易受各种干扰因素的影响。特别是在原始图像对比度较差,或者成像对象浑沌性较强(如无较强目标进入成像区域的多云天空背景),往往难以完成图像配准,导致无法计算出正确的像移数据。同时若安装平台抖动的随机性较强,或抖动频率较高,成像输出不是很有规律的序列图像,纯软件的运动矢量估计算法将可能震荡而无解,从而无法获得正确的像移数据。

传统意义认为,使用光机电传感系统进行像移量化数据的获取和实现图像稳定,虽然具有较高的准确性,但会大大增加系统的体积、重量和设计成本。由于常规的用于姿态测量的机电检测元件(如陀螺等)需要具有较高的安装精度(垂直度和平行度),并需提供精确位置进行周期性检校,这样将大大增大系统的研制难度[7]。

伴随着微机械元件(MEMS)的日趋成熟,微机械加速度计的体积已经达到芯片级水平,用微机械加速度计为核心器件构成相应的图像像移采集系统,实现图像像移的实时测量,不仅体积小重量轻,而且结构简单易于安装。本文介绍的一种以微机械加速度计ADXL335为核心器件构成的“像移采集电路板”,尺寸仅约10 mm×60 mm×5 mm,重量不足5 g,其中ADXL335芯片体积约4 mm×4 mm×1.5 mm,重量不足0.2g,同时提出了一种适用的量化处理方法,只要保证像移测量装置安装面与成像系统光轴基本平行,位置基本刚性不变即可。工作中周期性输出相对像移矢量,以供后续稳像环节处理使用。

1 图像像移产生机理分析

安装红外前视设备的平台抖动会传递到红外前视设备上,表现为图像像移抖动。造成像移抖动的平台的不稳定性在空间上可以分解为六维姿态变化,即相对于空间直角坐标系三个坐标轴的轴向平移(dX,dY,dZ),围绕三个坐标轴的旋转(eX,eY,eZ)。如图1所示。下面分别讨论六维姿态变化对图像像移的影响。典型的红外前视设备中单个像素角分辨率,或者称为瞬时视场为,通常约0.1~0.5 mrad;红外前视设备到观测目标距离L约0.5~20 km。本文中试验所用设备的瞬时视场指标为0.1 mrad。

红外前视安装平台通常有车辆、船舰、飞机和自然人手持,本文以振动强度较大的直升飞机平台作为典型例进行分析讨论。按照GJB150.16A中直升机的典型振动谱,以人眼心理学模型中“注意抖动”200 ms为时间度量Teye,可获知直升机平台在Teye时间内的标准平均振动平移量S约为10 mm,平均旋转振动角度量约为4.2 mrad。

首先讨论平动的影响,其中dY和dZ是沿焦平面行方向和列方向的平移,按同一类情况考虑。其几何关系模型如图2所示。

图中S为红外前视系统振动平移量,L为红外前视系统离观察目标的距离,θ为目标偏移角度。由图2可建立如下的关系式:

由直升机平台在Teye时间内的标准平均平移量S和典型观测距离L可得:

按照光学系统反演理论,可以认为θ等效于像方在焦面上的角位移,转换为焦面的线位移量约θ/a=0.2,即0.2个像素。可认为dY和dZ方向上的平移对图像的稳定性无明显影响。dX是沿光轴方向的平移,表现为红外前视设备与观测目标之间的距离变化,其变化关系如图3所示。

图中S为红外前视设备沿光轴方向的移动量,L为平移发生前红外前视设备与观察目标之间的距离,θ为目标点(与未平移时瞬时视场角对应的目标点)的观测张角,α为瞬时视场角,由图3可获得如下的近似关系式:

由于红外设备距目标的观测距离L远大于红外设备安装平台的抖动平移量S,由此可算得目标观测张角θ约等于α。可认为dX方向上的平移对图像的稳定性基本没有影响。

下面讨论旋转振动影响,其中eY和eZ是红外前视设备产生围绕行和列方向的角位移,由于直升飞机平台平均旋转运动角度量β约为4.2 mrad,试验所用设备的瞬时视场约为0.1 mrad,由此可有如下的近似关系式:

即图像的行方向和列方向的随机移动范围为42个像素(±21个像素),如不对图像进行稳定,图像将在水平和垂直方向产生严重的晃动。

eX为焦面内的平面旋转,旋转关系如图4所示。

按照红外前视成像系统的典型分辨率(M×N≤640×512),以图像中心为旋转参考点,最边缘图像在边缘处的位移可以用以下公式估算:

对直升机平台,可算得hM≤1.344,hN≤1.075,即列方向和行方向边缘处产生约1个像素的轻微像移。

按照以上分析可知:造成图像非稳态像移的主要影响因素是eY、eZ的旋转影响,其次是eX影响,轴向平移(dX、dY、dZ)的影响一般情况下基本可以忽略。

2 采用微机械加速度传感器的像移测量系统

本文中采用空间直角坐标系三轴加速度传感器ADXL335作为核心测量器件,测量系统综合精度约0.11mg(1.08 mm/s2),测量范围约±3.6 g(±35.280 m/s2),测量输出频率P为500 Hz。

根据前面分析,eX仅在最极限的情况下才对图像边缘产生约1个像素的影响,故本文所建立的系统不研究eX的测量问题,仅研究主要影响因素eY、eZ的测量方法。根据研究试验需要,研制的“像移采集电路板”如图5所示。该电路板固定在光学系统中段与光轴平行的位置上,板上两个微机械加速度传感器(计为1号、2号),平行放置,其中心距D为50 mm。

测量系统安装完成后,首先放置在三维加速度平台上,完成两个传感器的归一化和正交化参数采集校正。两个传感器校正后输出的瞬时加速度数据分别计为A1X、A1Y、A1Z,A2X、A2Y、A2Z。其中A1X和A2X输出与光轴同轴,不能用于度量旋转运动,故略去。以下以A1Z和A2Z来讨论像移测量方法的建立。

A1Z和A2Z是两个不同轴、互相平行的矢量,同时又垂直于Y轴,故可用于度量ez。系统本身是运动平台,所以需将系统的正常旋转运动eY0和由非稳定性带来的像移抖动eY区分开来。本文中将直升机平台的正常运动响应时间Tpe计为10 s。则系统的正常旋转运动的角速度应满足以下积分关系:

按照P=500 Hz,Tpe=10 s进行离散化处理:

人眼“注意抖动”Teye=200 ms,在这个时间内求得的瞬时角速度减去系统正常运动的本底角速度weY0,即为产生非稳态像移的瞬时角速度,应满足以下离散化公式:

同理可得:

利用式(7)和式(8)可以计算按照500 Hz频率输出的weY和weZ两个矢量,积分后可得所需的角速度矢量eY,eZ。

3 三维模拟摇摆台上稳像试验研究

本文试验使用的红外前视设备的图像输出帧频为50 Hz,利用ωeY和ωeZ可以计算出每一帧图像(帧间隔周期为0.02 s)的行方向瞬时角位移量KHn和列方向瞬时角位移量KVn。行列方向的角位移量可以通过以下公式计算:

按照计算所得位移量对应像素值反向补偿红外前视设备的视频输出,即可获得稳像后的图像。

将安装了像移采集板的红外前视设备(试验装置)固定到三维模拟摇摆台上,首先在摇摆台固定不动时对着大约400 m的目标“冷却塔”成像,图6为摇摆台静止时所获得的图像。

然后使摇摆台按2º/s的角速度扇形扫描,并在扫描过程中叠加三种不同情况的扰动信号,在扰动过程中对同一目标以Teye为时间段进行成像,分别获得:图6(a)非稳像状态成像图;图6(b)利用成像系统中原有纯软件算法稳像图;图6(c)采用本文方法采集像移矢量进行稳像的成像图。

第一种情况:摇摆台只在行方向叠加固定的周期抖动(±1.2 g,25~200 Hz扫频)时其成像对比如图7所示。

由图7可见,在简单有规律的周期抖动情况下,图7(b)方法经过一段时间的神经网络“经验学习”可以达到较好的稳像效果,但仔细观察不如静止图像锐度高,应该是在复杂边缘没有完全消除半像素混叠(运动配准失调),与摇摆台静止时图像比较,图7(c)方法稳像效果非常明显。

第二种情况:摇摆台仍然在行方向叠加固定的周期抖动,同时增加列方向的随机抖动(±0.2 g,25~400 Hz随机),其成像对比如图8所示。

由图8可见,在简单有规律的周期抖动情况下叠加了正交方向上的随机抖动后,采取图8(b)方法图像稳定性虽有改善,但与静止图像差距较大,而图8(c)方法稳像效果与摇摆台静止时图像无明显差别,表明稳像效果仍然十分理想。

第三种情况:摇摆台在行方向和列方向都叠加固定周期抖动,同时两个方向上也叠加随机抖动,其成像对比如图9所示。

由图9可见,在行和列方向均有简单有规律的周期抖动的情况下,同时叠加随机抖动后,图9(b)方法产生了“算法死区”,不能达到图像稳像效果,而图9(c)方法稳像效果仍然有效,并且很理想。

结束语

本文提出了一种便于实现的、基于加速度传感器对红外前视图像由于安装平台非稳定性抖动产生像移的准确测量方案。研制了相应的“像移采集电路板”,在三维模拟摇摆台上进行了试验研究,验证了其理论的正确性和试验装置的有效性。由于该像移检测系统输出频率达到500 Hz,为此可推广应用到高帧频成像设备的稳像应用,或常规帧频输出、但积分凝视时间超长的成像设备的积分回扫上。

摘要：本文对安装于非固定平台上红外前视设备的像移产生的机理进行了详细分析,在此基础上提出了采用微机械加速度传感器获取像移矢量的方法及算法,并研制了可安装于红外前视设备上的像移矢量测量系统,利用三维摇摆台进行了像移测量和稳像试验,并与纯软件化稳像效果进行了比较,验证了本文提出的理论和方法的正确性,以及试验装置的有效性。

关键词：微机械加速度传感器,稳像,像移,红外图像

参考文献

[1]韩绍坤,赵跃进,刘明奇.电子稳像技术及其发展[J].光学技术,2001,12(8):71-74.HAN Shao-kun,ZHAO Yue-jin,LIU Ming-qi.Electronic image stabilization techniques and development[J].Optical Technique,2001,12(8):71-74.

[2]钟平.机载电子稳像技术研究[D].长春:中国科学院长春光学精密机械与物理研究所,2003:3-7.ZHONG Ping.Study on Electronic Image Stabilization Technology for the Image Sequences of the Aero-Borne Camera System[D].Changchun:Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,2003:3-7.

[3]Carlos Morimoto,Rama Chellappa.Fast electronic digital image stabilization[C]//Proceedings of the13th International Conference on Pattern Recognition,Aug25-29,1996,3:284-288.

[4]赵红颖,晏磊,熊经武.一种稳定船载电视侦察图像序列的灰度投影拟合算法[J].光学技术,2004,30(1):83-88.ZHAO Hong-ying,YAN Lei,XIONG Jing-wu.Gray projection-fit algorithm for stabilizing image sequences acquired from ship-borne TV reconnaissance System[J].Optical Technique,2004,30(1):83-88.

[5]周渝斌,赵跃进.基于C6711DSP的实时数字稳像系统[J].北京理工大学学报,2004,24(5):435-438.ZHOU Yu-bin,ZHAO Yue-jing.Real-Time Digital Image Stabilization System Based on C6711DSP[J].Journal of Beijing Institute of Technology:Natural Science Edition,2004,24(5):435-438.

[6]赵志强,陈盈.一种基于灰度投影与块匹配的视频序列快速稳像算法[J].光电工程,2011,38(6):146-150.ZHAO Zhi-qiang,CHEN Ying.A Fast Electronic Image Stabilization Algorithm of Video Sequences Based on Gray Projection and Block Matching[J].Opto-Electronic Engineering,2011,38(6):146-150.