图像与视频处理（共8篇）
图像与视频处理 篇1
随着社会经济的不断发展, 人们的生活水平得到了巨大的改善, 越来越多的人开始更加重视享受生活的乐趣。而视频图像处理与传输技术在这方面就做出了巨大的贡献, 无论是人们日常生活中所用的数字电视, 还是平时上网所用的计算机都离不开视频图像处理与传输技术的支持。不仅如此, 视频图像处理与传输技术还在公共安全监控、国防建设等领域发挥着重要的作用, 例如生活中最为常见的道路交通监控系统。视频图像处理与传输技术的作用是巨大的, 其在这些年也得到了巨大的发展, 但是在发展的过程中也出现了一些问题, 因此今后还需加大在这方面的研究力度, 以便于早日解决当前发展中遇到的一些问题。
1 视频图像处理与传输技术简介
1.1 视频图像处理概述
视频图像就是运用一些的技术手段和工具观测客观世界所获得的图片, 其实也就是人眼所看到的一些视觉实体。视频图像处理技术就是指对所捕获的图像进行一系列的加工和处理, 以得到操作者所需要的信息。视频图像处理的另外一大任务是对图像的格式等参数进行调整, 以便于其传输, 这对于当今这个需要进行大量数据交流的时代来说是至关重要的, 只有如此其才能满足实际应用的要求。
1.2 视频图像处理与传输技术发展简介
视频图像处理与传输技术在我国已有一段较长的发展历史, 尤其是近几年来, 随着计算机技术的发展, 视频图像与处理技术得到了更加广泛的运用。在二十世纪八九十年代以前, 图像处理技术只能进行二维空间的处理和应用, 其运用范围也比较窄, 一般都只能用在相片处理、电影图像处理等地方, 那时的视频图像传输技术也不高, 传输质量也相当低。到了二十一世纪, 视频图像处理与传输技术发生了巨大的变化, 图像处理技术已经在三维空间里也得到了很好的运用, 其在三维动画技术、电影特效技术等领域都发挥了巨大的作用。视频传输技术在这个阶段发生的变化更为明显, 如今是视频传输技术不仅传输质量提高了, 其实时性也得到了巨大的改善, 还能在传输的过程中对信息进行加密处理, 确保了信息在传输过程中的安全性。
2 视频图像处理与传输的主要工作内容
2.1 视频图像的实时捕捉和压缩
视频图像的捕获是后续一切工作的基础, 只有得到了视频图像才能对其进行处理与传输。随着手机的普及, 可以说现在绝大部分人都已经拥有了视频图像捕捉的工具, 这是是视频图像处理技术能够如此快速发展的原因之一。现在手机、摄像头、数码相机的像素都在不断提高, 其所捕获的图像的质量也越来越高了, 但这也增加了视频图像传输的难度。如果对捕获的图像不加以任何的处理, 那么很难保证传输的实时性, 即使能达到要求其付出的成本也过于昂贵。因此图像压缩工作就相当有必要了, 其能降低传输的成本, 提高传输的效率。
2.2 视频图像的加密
图像加密技术的运用范围并不是十分的广泛, 其主要用在一些对信息安全性要求较高的领域, 例如国防工业、商务机密等。图像加密就是按照一定的算法程序, 对图像进行处理, 以提高安全性。进过加密之后的图像信息, 即使在视频传输的过程中被别人窃取了, 如果窃取者没有解密程序的话, 其仍然无法正常播放所窃取的视频信息, 因此在视频传输之前对图像进行加密也是一项主要的工作。
3 视频图像处理与传输技术的运用实例分析
3.1 视频处理与传输技术在道路监控中的运用分析
视频处理与传输技术在道路监控的中已经运用了相当长的一段时间, 其也发挥了相当重要的作用, 道路监控系统可以帮助监控人员更加全面及时的了解交通情况, 以便于及时的采取应对措施, 在发生道路交通事故时还可以通过视频图像取证, 分析相关人员的额责任。但是随着现在交通系统的日益复杂, 其对视频处理与传输技术的实时性等提出了更高的要求。比如要捕获高速移动的车辆的车牌信息, 即必须提高视频图像的处理技术, 要运用合理的技术手段排除其它干扰因素的干扰, 对图像进行分割处理。如今大部分城市的道路监控系统都建立了自己的视频图像传输网络, 这大大的提高了视频图像的传输范围, 借助互联网技术的发展也极大的改善了视频图像传输的距离。
3.2 视频处理与传输技术在航空航天的运用分析
近些年来我国的航空航天事业得到了巨大的发展, 特别是神州系列飞船、嫦娥系列探月器和天宫一号的升空, 无一不让世界为之震惊。视频处理与传输技术在这些重大的项目中也发挥着不可或缺的作用, 最为直接的就是在直播的过程中所看到的一些实时传输的图像, 那都是采用的视频传输与处理的技术完成的。与道路监控系统相比, 航空航天项目对视频传输与处理的技术要求更高, 特别传输距离。由于航天航空事业的特殊性, 一般都是采用无线传输的方式进行视频图像传输, 其能增加传输过程中的抗干扰能力, 也能提高传输的速度。在航空航天领域的视频图像在传输之前一般都要进行多次的压缩和加密, 一方面是提高信息的安全性, 另一方面是尽可能的在不损害图像质量的前提前减少图像所占用的存储空间, 以提高图像的传输效率。
4 结语
视频图像处理与传输技术在各行各业都得到了广泛的运用, 但是随着科学技术的不断发展, 对视频图像处理与传输技术的要求也在不断提高。在今后的发展过程中, 只有对现有的技术不断的进行改革创新, 才能使视频图像处理与传输技术满足时代发展的需求。
摘要：随着科学技术的不断发展, 视频图像处理与传输技术发挥的作用也日益明显, 其应用已经深入到了每一个普通人的生活当中。本文主要介绍了视频图像处理与传输技术的主要发展历程和视频图像处理与传输技术的主要工作内容, 最后结合相关的实例对其应用进行了分析。
关键词：视频图像,图像处理,信号传输,应用分析
参考文献
[1]秦瑞.现代图像处理技术的发展趋势[J].光机电信息, 2012 (03) :48-50.
[2]周艳玲, 袁鸿, 李博.“视频图像处理技术”课程设计研究[J].公安教育, 2013 (09) :62-64.
[3]史忠科, 曹力.交通图像检测与分析[M].北京:科学出版社, 2007:4-5.
图像与视频处理 篇2
摘要： 主要研究基于表面等离子共振（SPR）技术的纳米级金属膜厚在线测量系统中的视频信号处理问题。由于CCD在动态连续采集图像的过程中会受到环境以及工作台旋转的影响，从而会随机地产生高斯白噪声和图像的扭曲现象，造成视频图像的模糊或者扭曲失效。通过对视频图像进行滑动平均滤波、小波分析以及动态补偿时域滤波的处理，消除了高斯白噪声和避免图像扭曲的发生，确保了CCD获取视频图像的有效性与清晰度，从而提高了从图像中获取的共振角度变化量的准确性，并进一步提高了金属薄膜厚度的测量精确度与可靠性。
关键词： SPR； 纳米级； 膜厚； 在线测量； 滑动平均滤波； 小波分析； 时域滤波
中图分类号： TH 744文献标识码： Adoi： 10.3969/j.issn.1005
引言纳米级金属膜厚的在线精确测量主要是基于等离子体共振技术实现。当入射光以一定角度入射时，因金属对光具有吸收特性，而产生消逝波，使得发生反射现象时反射系数不为1，从而引发全内反射现象[1]。入射光与金属薄膜的表面的自由电子相互作用，在沿着金属介质界面上产生表面等离子振荡，又当入射光的波长与入射角度在一定范围内时，使得消逝波与金属介质表面所产生表面等离子震荡的频率与波矢相同，产生表面等离子体波共振[24]。根据共振角的变化可以得出10 nm以内的金属薄膜厚度，以达到精确测量的目的。本文所提出的在线测量系统主要利用表面等离子体共振（surface plasmon resonance，SPR）技术结合CCD进行动态的视频图像信息采集，以获得SPR共振角度的变化，反演计算金属薄膜厚度。由于整个系统是处于一个动态的工作环境，CCD在进行视频图像采集时容易因为测量环境以及工作台的转动而产生噪声以及图像的扭曲失真，使得获取的SPR共振角度变化信息不够精确而对膜厚测量结果造成干扰。本文提出利用滑动平均滤波与小波分析法对视频图像进行滤噪处理，增强图像的清晰度，以动态补偿时域滤波对视频图像进行动态补偿，以确保图像不会出现细节上的模糊扭曲造成失真，增强视频图像采集的可靠性，达到精确获取SPR共振角的变化量，精确测量纳米级金属膜厚的目的。
1.1Kretschmann结构模型及原理1970年德国物理学者Kretschmann E提出了Kretschmann结构模型[5]。该模型的工作原理是在特定棱镜的底部直接镀上一定厚度的某种金属薄膜，待测定的介质则在金属薄膜下方，倏逝波透过金属薄膜，与其在待测介质表面发生等离子体波共振。依据Kretschman型结构的等离子体波振荡原理，根据SPR的反射光强角度分布，可精确获得纳米级金属薄膜的厚度。Kretschman模型结构图如图1所示[5]。在图1中ε1、ε2、ε3分别为棱镜、金属薄膜以及真空的介电常数；kx1、kx3为激发表面等离子体振荡的光波在X轴方向的波矢分量；kz1、kz2、kz3为入射光在对应介质中垂直于分界面的波矢分量；λ为入射光的波长；d为金属薄膜的厚度；SPW表面等离子体波的波矢为kspr，
等：基于SPR原理的纳米级金属膜厚在线测量系统中的视频图像处理
1.2在线测量系统本文的SPR纳米级金属膜厚在线测量系统主要是利用棱镜适配临界角的典型Kretschman结构，当金属薄膜被大于临界角的光束照射时，在金属膜与真空的界面上将产生表面等离子体震荡，根据SPR反射曲线随着膜厚的变化而变化的原理，利用曲线匹配的方案最终实现金属薄膜厚度的实时在线测量。图2所示为整个系统在线测量的原理图。在图2所示的测量系统中，半导体激光器经过准直扩束之后的输出光，通过柱面透镜转化后，变为有效覆盖角度约为40～57°的较为理想的柱面光，该柱面光经过偏振片后得到P偏振光，P偏振光进入棱镜后，在金属薄膜表面激发等离子体波，形成衰减全反射。实验时以中低速旋转工作平台，可以获得产生等离子共振现象时的共振角。由前面的基本原理可知，当产生SPR现象时，反射光光强最小，该反射光经过成像透镜与CCD接收到的反射光强信号在纵轴方向的分量进行叠加，以消除散斑的影响。该系统中短天线目的是为了CCD接收到的信号与计算机之间的通信，利用短天线通信不仅免除了多线干扰，而且提高了系统的稳定性。在利用短天线进行通信时，考虑到外界其他信号对通信模拟信号的干扰，利用钟罩来避免。整个系统采用二维标准视频CCD，该CCD获取帧率为每秒25帧，在CCD采集到图像之后将其转换成数字信号通过短天线传输到计算机内进行分析和处理。计算机根据所采集的由系统角度自定位所标记的角度与光强数据建立一个供曲线匹配专用的数据库，可反演出CCD所采集的每一帧之间金属薄膜增量，从而达到精确控制膜厚的要求。
由于CCD在采集图像的过程中容易受到环境等因素的影响而随机产生高斯白噪声使得获取到的视频图像不清晰，而在动态采集图像过程中又由于工作台的中低速转动极易造成视频图像扭曲和拖尾，对获取共振角度的准确值造成影响，从而影响反演出的金属薄膜厚度的精确数值，因此需要对获取到的视频图像进行处理。
2视频图像处理在本文中所设计的在线测量纳米级膜厚精密测量系统中，在CCD采集到图像之后，通过短天线进行通信，并将其转换成数字信号传输到计算机内进行分析和处理这一过程中，在系统自定位角度进行标记与曲线进行匹配时，发现所采集到的视频信号会到噪声的影响而上下浮动。经过分析发现该噪声属于高频白噪声，因此需要对视频信号先进行滤波处理。鉴于本系统的特性，结合滑动平均滤波方法的特点，考虑采用该方法对视频信号先进行粗略的滤波处理，再利用小波分析得到平滑的信号。由于系统是一个动态测量过程为了避免由于运动“拖尾”造成影响，提出基于运动补偿的时域滤波方法，更好的保护视频细节。
2.3时域滤波由于本系统的数据采集是一个以中低速转动获取数据的动态过程，而视频信号所带的噪声是随机产生的，因而在某些特定时刻会发生运动图像的扭曲及失真现象造成“拖尾”。为了解决在视频信号采集过程中对静止部分的去噪有效性，以及尽量消除运动图像的失真和扭曲产生的“拖尾”所带来的影响，采用基于运动补偿的时域滤波方法。该方法主要利用运动补偿技术，在时域上跟踪并提取视频信号中的噪声，并沿着物体的运动运动轨迹进行滤波，W表示滤波器的滤波强度，其流程图见图6[9]：
nlc202309011252
运动补偿时域滤波通过空间的相关性和图像序列在时间维上的相关性，不会引入各帧图像在细节上的模糊，并克服了由于运动所引起的时域非平稳方式，利用运动估计与运动补偿技术保证整个滤波过程始终沿着像素运动轨迹进行。
图7中，为某一时刻所采集的视频图像经过滑动平均滤波与小波分析进行除噪处理之后，发现该图像由于运动采集的影响，出现了细节上的模糊。利用运动补偿时域滤波进行图像恢复，实验证明，该方法能够克服由于图像动态采集所引起的图像失真，并能保证视频图像的清晰性与完整性。
所采集的视频图像信息传输至计算机进行图像滤波处理之后，将视频图像信号利用AD转换成离散数据点，通过归一化处理以及Y方向上的数据叠加，进行反射光强峰值点（最高点a）和谐振吸收峰值点（最低点b）的标记，并与计算机内的原始数据库进行数据比对和曲线匹配，从而反演出金属膜层厚度。图8反映的是在三组不同厚度（1 nm、5 nm、10 nm）情况下，入射角度与反射率关系曲线图。随着入射角度的逐步增大，反射光强亦随之增大，当反射光强增至峰值点时，继续增大入射角，反射光强反而降低，增至一定角度时，反射光强最弱，此时所对应的入射角即为SPR共振角。在理论上，所得的关系曲线是平滑的，但在实测中发现，由于CCD的非线性光电响应引起光强误差、金属薄膜在蒸镀上的粗糙、角度定位以及标记点所引起的角度误差导致实测数据曲线会在理论曲线上下浮动。由于金属薄膜较为粗糙，使得所获精度是通过与理论曲线进行对比而得的平均精度，平均误差不超过0.5 nm。在未进行滤波处理前，所对应的实测曲线相对理论曲线浮动较大。滤波之后，可以明显看出实测曲线相对滤波前更为接近理论曲线，同时测量精度有所提升，平均误差不超过0.3 nm。3结论本文研究了基于Kretschmann结构模型的测量10 nm以内的金属膜厚的在线精密测量系统，通过CCD进行动态连续性图像采集，以获取在每一帧之间共振角度的变化量，从而反演出金属薄膜的厚度。但在这个视频图像数据采集过程中，会因工件架转动而随机造成图像扭曲失真现象，以及由于环境等因素而随机产生高斯白噪声造成的图像不清晰的现象，均会造成测量上获取数据的不准确。文章研究了利用滑动平均滤波与小波分析2种方式相结合对所采集的视频图像进行滤波处理，以获得清晰图像，同时，利用运动补偿时域滤波有效地避免了在视频图像采集过程中的图像扭曲，保证图像的有效性。利用三种方式进行视频图像的滤波处理之后，增强了获取共振角变化量的准确性，提高了厚度测量的精确度。
参考文献：
[1]李湘宁.工程光学[M]北京：：科学出版社，2005.
[2]吴英才，顾铮先.表面等离子共振谱半波全宽的算法讨论[J].光子学报，2010，39（1）：53-56.
[3]吴英才，顾铮先.激励表面等离子共振的金属薄膜最佳厚度分析[J].物理学报，2008，57（4）：2295-2299.
[4]牟海维，王宏瑾，王强，等.表面等离子体共振理论与仿真研究[J].光学仪器，2011，33（2）：1-6.
[5]李艳敏，李孟超，刘芳芳，等.基于SPR的类铬型金属膜厚在线纳米测量研究[J].光学技术，2012，38（1）：9-13.
[6]朱彩莲.光纤SPR检测及数据处理[D].南京：东南大学，2005：35-37.
[7]沈兰荪，卓力.小波编码与网络视频传输[M].北京：科学出版社，2005：62-63.
[8]飞思科技产品研发中心.MATLAB6.5辅助小波分析与应用[M].北京：电子工业出版社，2003：42-45.
[9]谢剑斌，徐晖.数字视频处理与显示[M].北京：电子工业出版社，2010：119-120.
图像与视频处理 篇3
而拼接控制器是大屏幕系统中的核心显示控制设备。拼接控制器的核心是其处理能力和稳定性,基于计算机体系构架的传统控制器,其性能和稳定性完全取决于它所依赖的计算机,无论传统控制器如何改进, 最多只能算量的积累,难以获得质的提升。采用大规模FPGA阵列式组合处理构架,全嵌入式硬件设计的拼接控制器集视频信号采集、实时高分辨率数字图像处理、二维高阶数字滤波等高端图像处理技术于一身, 具有强大的处理能力。
本文正是在这种背景下,设计了一种基于FPGA的视频图像处理算法,实现实时数字视频的分割、插值放大,通过并行处理机制,保证了视频的实时处理和画面流畅。
1 系统总体概述
文中将完成一路监控摄像头采集的画面在2 × 2 的液晶拼接屏上显示一幅完整大图的效果。
系统的总体框架图如图1 所示。由网络摄像头采集到的视频信号,经过DVI接收器后,发出数据及控制信号供给FPGA。通过FPGA主控芯片对输入的视频信号进行分割、插值放大等处理; 视频输出模块将FPGA处理后的数据再通过DVI接口输出到屏幕上。
只要数据读出速度高于写入速度,就不会使图像产生突变现象,从而达到实时处理的目的。
2 FPGA模块的实现
FPGA内部系统对视频图像的处理如图2 所示。 主要分为帧存储模块、分割模块、插值模块3 部分。
2. 1 帧模块及存储模块
DVI接口是将显卡中经过处理的待显示R、G、B数字信号与水平同步信号( Hsync,行同步信号) 、垂直同步信号( Vsync,场同步信号) 进行组合,按最小非归零编码,将每个像素点按10 bit( 8 bit像素数据和2 bit控制信号) 的数字信号进行并串转换,把编码后的R、G、B数字流与像素时钟4 组信号按照最小化传输差分信号( Transition Minimized Differential Signal,TMDS) 方式进行传输。
FPGA的分时切换逻辑是依据输入视频流的垂直同步控制信号Vsync发生由高电平到低电平的转换, 以此作为新数据帧到来的标识,如图3 所示。
当FPGA内部的信号控制采集信号［1］为0 时,采集系统停止工作,地址发生器不计数。当其为1 时,系统处于采集状态。首先只有Vsync上升沿到来后,才允许Hsync通过,从而保证采集的图像为完整的一帧图像。当Vsync上升沿到来后,对所有计数器及触发器清零。Vsync上升沿后,场消隐延时用来对Hsync计数,场消隐期后,可以采集图像。行同步计数器对Hsync进行计数。在计数的每一行中,当Hsync上升沿到来时,行消隐延时对其计数。行消隐过后,点同步计数器开始对其计数。当行同步计数停止计数时,一帧图像采集完毕,等待下一个Vsync到来。
数据缓冲区为两片SDRAM,以一帧图像为单位进行切换控制。采用乒乓存储机制完成数据的无缝缓冲与处理。乒乓操作可以通过“输入数据选择控制”和“输出数据选择控制”按节拍、相互配合地进行来回切换,将经过缓冲的数据流没有停顿地送到“后续处理”模块。
2. 2 分割模块
由于一个像素的输出值只取决于输入图像的相应像素值,因此,可通过对每个输入像素依次进行处理这种流水化的处理模式,来实现对图像的点操作。由于每个像素是单独处理的,所以点操作很容易并行实现。 因此,可以把图像分割成若干部分,然后再对每个部分单独进行处理。
视频分割模块实现单帧视频图像的分割剪裁［2］, 得到4 路完整格式的子视频像素流,并控制4 个子视频的相互时序关系,各个拼接屏幕的像素点的扫描规律相同,均为逐行扫描形式,并且子视频像素点显示同步,即行同步和场同步。
2. 3 双线性插值算法的实现
实现图片处理的插值方法有很多,例如最近邻插值、双线性插值、双三次插值等。最近邻插值是最简单的插值方式,但当图像中的像素灰度级有细微变化时, 该方法会在图像中产生人工的痕迹。双三次插值可以得到更平滑的结果,但在存储管理更复杂,并增加了逻辑资源的消耗。因此,选取了双线性插值方法。
与点操作的图像分割不同,双线性插值属于几何变换,其输出的像素通常并不是来自同一个输入像素位置。因此需要一些形式的缓存来处理由几何形状改变而引起的延迟。
本文采用预载入缓存［3］的方法来缓冲图像数据, 并使用双端口RAM来实现行缓冲器的设计方案。
采用双口RAM可在一个时钟周期内同时在每一行上提供两个输入像素,即提供了所有的4 个像素。然后将数据输送到插值计算模块。而整幅图像的存储将保存在外部的帧缓存中,每个时钟周期只能对其进行一次访问。每个像素应仅从外部存储器中读取一次, 然后暂存在片上缓存中用于随后的窗口。将数据预载入缓存,每次访问时直接从缓存中读取像素,如图4所示。共需计算两次: 一次用于载入缓存; 一次用于执行插值。输入和输出像素间的映射采用前向映射。
视频插值模块实现对视频按比例因子进行双线性插值放大处理。双线性插值算法的基本原理如图5 所示,图中的下标i和f表示各自坐标的整数和小数部分。双线性插值是采用可分离的线性插值将4 个最近的像素值组合,如式( 1) 。
线性插值的结果与插值的顺序无关。先进行y方向的插值,然后进行x方向的插值,所得结果相同。将式( 1) 进行分解,则有
当输入分辨率有所变化而引起缩放因子变化时, FPGA内的数字逻辑能实时计算出式( 2) 中的系数xf和yf。而非仅计算几种固定缩放比例,从而提高了算法模块的利用率。
若以将摄像机1 024 × 576 分辨率的图转化为1 366 × 768 的图为例,则水平缩放因子sc_x和垂直缩放因子sc_y均为0. 75。若将水平因子直接带入编写程序,则会报错。采用浮点数表示法,转换后得到的10 位16 进制数,计算出系数xf和yf均为h300。
在实际设计中,为避免运算过于复杂,把复杂的运算分成几个步骤,分别在不同的时钟周期完成。插值计算的逻辑结构模块如图6 所示。
系统包含3 种不同的时钟频率: 原像素点频率clkin［4］、输出像素点频率clkout和系统主时钟频率clksys。令系统主时钟频率为4 倍的原像素点频率,则使用Verilog语言及ModelSim SE 10。1a和Quartus II仿真环境进行编译,得到双线性插值计算模块的仿真波形如图7 所示。为程序书写方便,将采集的4 个像素值标为a、b、c、d,经过插值模块后的输出像素值为p。从仿真波形可看出,完成了双线性插值计算模块的实现。
3结束语
针对大屏幕特点,从拼接控制器入手,提出了一种基于FPGA实现的视频实时处理系统。主要采用双线性插值法,讨论了如何用FPGA实现,并进行逻辑结构的优化,提高系统性能,并对双线性进行仿真,验证了算法在拼接显示系统中的可行性。围绕拼接控制器这个应用方向,还有更多的问题需要进行研究,例如画面自由叠加与漫游,单屏分割,自动图像识别重建等。
摘要：为有效提高视频监控应用领域中多屏幕画面显示的清晰度、分辨度等问题,提出了一种基于FPGA的实时视频图像处理算法。文中介绍了系统的整体结构,然后针对FPGA模块介绍了视频图像的缓存及图像分割,并针对视频的输出显示要求,重点介绍了基于双线性插值算法的实现。ModelSim的仿真结果表明,该算法符合多屏幕显示系统的要求。
视频检测对象的图像预处理研究 篇4
RGB彩色模型是从硬件的角度提出的, HIS彩色模型是根据人眼对颜色的感知特性而形成的, 它的三个分量为:色调、饱和度和亮度。YIQ色彩系统被NTSC系统所采用, 这里的Y指颜色的明视度, 即亮度, 实际上就是图像的灰度值[1]。I和Q指色度, 即描述图像色彩及饱和度的属性。图像处理中经常使用的是灰度图像, 只含亮度信息, 不含色彩信息, 本文中YIQ与RGB之间的转换关系, 即Y分量:
对每个像素进行处理, 值保存到相应得数组空间上, 便得到了需要的灰度图像。
2. 图像灰度修正
图像灰度修正就是以数字图像的二维像素阵列中的单个像素为对象进行增强处理。下面介绍两种常用的图像灰度修正的方法:灰度变换和直方图修正。
2.1 灰度变换
灰度变换是一种最简单、有效的对比度增强的方法, 它是将原图像的灰度动态范围加大, 图像对比度得到扩展, 图像清晰, 特征更加明显, 是图像增强的重要手段。在这里有一种特殊情况, 如果图像中大部分像素的灰度在某个范围内, 少部分像素分布在小于和大于的区间内, 此时可以采用一种被称为截取式线性变换的变换方法, 其变换式如下
利用该算法将图像处理如图2-1所示
从上面的实验结果可以看出, 图2-1 (b) 看起来要比图2-1 (a) 更加清晰, 给人的视觉感觉较好。
2.2 直方图修正
数字图像的直方图是一个离散函数, 它表示数字图像中每一灰度与其出现的概率之间的统计关系, 反映图像灰度分布的统计特征。因而需要把原图像的直方图两端加以扩展, 而中间峰值区域加以压缩, 使得输出图像的概率密度函数所构成的整个直方图呈现均衡分布[2][3]。直方图均衡化是它的一种常用方法, 基本算法过程如下: (1) 统计原始图像各灰度级的概率密度; (2) 计算累积分布函数; (3) 计算最后的输出灰度级; (4) 修改原图像的灰度级, 获得输出图像。按照以上算法, 将图2-1 (a) 处理的实验结果如图2-2所示。
可以得出结论, 对于所要研究的视频图像, 当对其进行图像灰度修正时, 采用灰度变换的方法得到的实验结果在视觉效果上较优于直方图修正的方法。
3. 图像平滑
图像平滑的目的是为了减少和消除图像中的噪声, 以改善图像质量, 有利于抽取对象特征进行分析[4]。
3.1 均值滤波
均值滤波法是一种简单直观、易于实现的空间域局部处理算法, 它一般采用奇数正方形N×N窗口 (N=3, 5, 7, …) , 用窗口的平均值代替中心点的值。实验结果如图3-1所示。
可见, 均值滤波去掉了与周围像素不相符的点, 抑制噪声效果也较明显, 但随着邻域的增大, 抑制噪声效果和边缘模糊效应同时增加。
3.2 中值滤波
中值滤波主要适用在有很强的胡椒粉式或脉冲式的干扰的情况下, 但对于一些细节多, 如点、线、尖顶细节多的图像不宜采用中值滤波[5][6]。其基本原理就是选择一个有奇数点的滑动窗口, 使它在图像的各点上移动, 用窗口像素灰度值的中值代替窗口该点处的像素灰度值。如前面分析一样, 同样对Vehicle图像进行中值滤波处理得到如图3-2所示的实验结果
无论是均值滤波还是中值滤波, 如果模板大, 去噪声效果更加明显, 但是计算复杂, 所涉及的像素多而容易把细节抹去, 造成图像模糊。在实际应用中, 不同的图像内容和不同的应用要求, 应该采用不同的窗口形状和尺寸。
4、图像锐化
在图像摄取、传输和处理的过程中有许多因素会使得图像变得模糊, 图像模糊是常见的图像降质问题。消减图像模糊的图像增强方法称为图像锐化, 其主要目的是加强图像中的目标边界和图像细节, 使边缘和轮廓线模糊的图像变得清晰。值得注意的是锐化处理在增强图像边缘的同时增加了图像的噪声, 故必须小心处理。一般都是先进行图像平滑, 去除或减轻图像中的干扰噪声, 然后才能进行锐化处理, 这里就不多叙述了。
结论
图像增强是数字图像处理的一种重要手段, 为进一步分析处理图像做好了准备。由于图像增强技术的工具大多数都是基于数学和统计学的概念, 根据不同的用途, 它和要面向的问题是紧密联系的。
摘要：在运动目标检测过程中图像预处理尤为重要, 它关系到图像的下一步质量。本文主要针对视频检测对象的图像预处理常用技术, 包括图像灰度化、图像灰度修正、图像滤波、图像锐化, 并对各种图像处理技术的常用方法进行了介绍, 给出了实验结果并进行分析。
关键词：图像预处理,灰度直方图,图像平滑
参考文献
[1]. (美) Yao Wang, J?rn Ostermann, Ya-Qin Zhang著, 侯正信, 杨喜, 王文全等译.视频处理与通信.北京:电子工业出版社, 2003.
[2].李弼程, 彭天强, 彭波等编著.智能图像处理技术.北京:电子工业出版社, 2004.
[3].姚敏等编著.数字图像处理.北京:机械工业出版社, 2006.
[4].四维科技, 胡小锋, 赵辉.Visual C++/MATLAB图像处理与识别实用案例精选.北京:人民邮电出版社, 2004.
[5].Brownrigg D R K.The weighted median filter.Communication of theAssociation for Computing machinery, 1998, 27 (8) :807-818.
图像视频处理中的修复应用分析 篇5
关键词：图像,视频,修复技术
图像的修复技术具有源远流长的历史, 它最早出现在文艺复兴时期, 艺术家们为了恢复被破坏的物作品, 依据人们的想象力对受损部分进行修复。随着科学技术水平的提升人们将艺术作品的修复观念应用在现代图像与视频处理技术上, 得以广泛应用并取得良好的修复效果。
1 修复的概念
图像视频的处理包括很多方面, 其中数字及视频的修复技术就是图像视频处理的重要组成部分。图像视频修复技术是运用科学计算的方法, 通过对图像视频中的受损信息进行补充, 以达到恢复图像或视频的原来面貌的目的。
为了使观察者察觉不到图像或视频的修复, 需要做好以下两方面的工作, 一是确定修复区域。采用人工统计的方法进行确定, 对视频或图像需要修补的部分进行明确标注, 以确定需要修补的范围。二是对确定的区域进行重点修复, 对图像或视频已经标注的修复的范围, 采用可用、有效的信息, 进行重点恢复与重建。
2 修复技术的发展
图像与视频的修复技术的运用, 源于文艺复兴时期艺术家对艺术作品的修复。它与艺术作品的修复技术不同, 不仅能去除图像的干扰与模糊影像, 改善图像的质量, 还能对图像的受损甚至空白区域进行填补与修复。
最早将修复的概念引入图像与视频的处理技术中的是M.Bertalmio, 他通过偏微分方程的使用, 建立了图像修复算法模型, 将图像的信息与构造按一定的方法传递到需要修复的区域。这种算法虽然能对视频内的噪声干扰进行有效去除, 但由于它使用的范围较小, 对大面积的纹理或复杂的区域修复效果不理想, 甚至出现模糊影像的现象。
随后, 经过多个科学家对视频修复技术的完善, 已逐渐形成较为完善的修复概念。由于视频修复是图像修复在时间上的扩充与完善, 因此, 在整个运动修复的过程中, 视频修复是最优的选择, 它不仅可以将图像进行动态背景与静态背景区分, 还可以增强修复过程中的连续性, 在实践过程中具有很好的修复效果。
3 修复技术在图像视频处理的应用
图像的修复步包括以下几方面的内容。一是静态图像修复。静态修复是指对照片或胶片丢失的信息恢复、无线传输信息的修复、图像压缩及马赛克部分的图像处理技术等。二是动态图像修复。动态修复也叫视频修复, 是指对序列中指定标记的去除、划痕污染区的修复处理及视角空白区域的填充等。
3.1 对现存修复算法的改进
随着科学技术的发展, 现存的修复算法技术被广泛应用到各个行业。虽然在应用过程中, 取得了较好的修复效果, 但其自身的缺陷也被逐渐暴露出来。这些缺陷主要分为以下几个方面。一是现存的修复算法修复只能对较小或构造较为简单的一些区域进行修复, 对于面积较大或结构纹理较复杂的区域修复效果不理想。二是空域或时域的承接连续性不强, 尤其在不同的区域进行匹配衔接操作时, 在连续播放过程中会出现模糊甚至闪烁不停的现象, 对视觉效果造成严重的影响。三是复杂性不高。在实际视频修复过程中, 对复杂性较高的序列不能有很好的处理效果。
因此, 针对这种情况, 可以对以下几个方面进行改进。一是在使用微偏分的基础上, 通过引入有效的微偏分方程及约束方程, 对构造特征区域的细节信息进行特殊处理, 使线性结构具有较强的连续性。二是采用纹理合成的方法, 对尺寸及模板进行匹配择优选择。三是在视频修复过程中, 通过对运动轨迹的概念进行引入, 选择更快速的修复算法进行修复处理。
3.2 运用修复算法对视频进行压缩
由于视频的编码端采用的编码方式不同, 一部分编码端在压缩前通常对某些结构和特征信息进行去除处理, 而这些区域通常采用直流分量的方式, 进行MPEG2进行编码。这种方法虽然可以将视频进行压缩, 但效果不佳。因此为了更好的提升恢复效果, 需要对视频丢弃的区域进行重点选择, 从而使视频的压缩效率与压缩质量达到平衡状态。
3.3 对DTV视觉修复度的修复
修复技术对DTV视觉修复度的修复, 主要是指对视频中影响人们观感的标识及字幕进行移除处理。一般情况下, 视频中呈现的字幕或标识只出现在屏幕的特定位置, 通常采用修复方法对需要移除的区域进行重建和保存, 使移除的信息既不会丢失, 也不会受到影响, 更不会产生模糊的影像, 对提高人们的视觉观感效果有很大的帮助作用。
3.4 在三维视频重建的应用修复
近年来, 随着三维电视的出现, 极大的改善了人们观看电视的视觉效果。三维视频的应用是指通过对二维主视觉视频与相应的深度图像进行结合处理, 从而产生三维视频或是其他新视角视频。在二维视频生成三维视频或其他新视角视频过程中, 主要依据深度信息与二维图像映射, 对产生的重复覆盖区域和空白填充区域进行修复处理。修复技术对视频空白区域进行填充, 是一项具有广阔发展前景的应用技术。
4 结束语
随着科学技术的发展与人们生活水平的提高, 图像与视频在生活中随处可见, 但随之也出现了类似于视频的播放不流畅, 图像画面不清晰问题的问题, 严重影响了人们的视觉观感。其他国家相比, 我国的图像视频处理技术还不够发达, 因此, 利用修复技术对视频及图像损坏部分或空白部分进行填充与修复, 对提升图像视频的处理水平具有十分重要的意义。
参考文献
[1]张欢欢.修复在图像视频处理中的应用[D].上海交通大学, 2010, 01 (11) :20-25.
[2]赵明.数字图像及视频修复方法研究[D].湖南大学, 2011, 10 (10) :11-13.
图像与视频处理 篇6
图像是自然生物或人造物理的观测系统对世界的记录, 是以物理为载体, 以介质来记录信息的一种形式。据学者统计, 人类所得的信息有80%以上是来自眼睛摄取的图像。随着人们对视频数据的要求越来越高, 高清晰、实时性视频数据量越来越大, 视频的实时处理难度也在逐渐增大。基于FPGA的实时高速图像信号处理无疑是热门的研究方向, 采用可编程逻辑器件FPGA来控制实时显示系统, 具有高集成度、高速、高可靠性、灵活的编程能力、全新的开发设计思想等特点, 应用这种器件及其支持的硬件描述语言从事电子系统的设计, 它打破了软硬件之间的屏障。本文给出了一款基于FPGA的嵌入式实时视频采集系统的设计方法, 该系统可以广泛应用于公共安全的场所, 如银行、机场、车站、商场等。
1 系统总体设计
整个硬件系统分为视频采集模块、TFTLCD显示模块、SRAM处理缓存模块、串口通信模块和电源模块。经过对要实现的功能和占用资源情况的分析, 本系统FPGA芯片采用了Altera公司的Cyclone I芯片 (EP1C6T144C8) 。该芯片采用TQFP封装, 具有144个管脚以及5980个逻辑单元。在Quartus II、ModelSim和Synplify Pro等EDA软件平台下按照FPGA的设计流程对其进行开发。QuartusII用做模块代码输入以及配置实现, ModelSim用来对各个模块进行功能、时序仿真, Synplify Pro则对各模块进行综合。
2 视频输入解码电路
摄像头所拍摄的信号从SAA7113H的4路模拟信号输入端中的任何一路输入, 经转换后从输出端以VPO方式, 输出视频数据。SAA7113H输出的是隔行视频信号, 一帧图像需要传送两次, 分别记为奇场图像和偶场图像;视频处理的对象是逐行排列的图像信号, 因此必须等待一帧图像 (连续的奇、偶两场信号) 采集完后, 合成到一个图像帧中才能进行后续处理。利用SAA7113H的行、场同步信号, 使用可编程逻辑器件FPGA构建控制器, 可将图像数据写入帧存储器, 解决图像的帧合成问题。为了显示部分提供连续的图像信号, 采用两个图像帧存储器A和B交替存储的方式, 来暂存采集到的图像数据和需要处理的图像数据, 可实现图像的实时连续采集处理。
SAA7113H与FPGA之间的硬件接口如图2.1所示。其中J4为视频输入端口, 与高清摄像头相连;L5、C31、Y2、C32和C33等元件构成振荡电路, 为7113H提供24.567MHZ的时钟参考;VP0~VP7为7113H解码芯片的8位数据输出总线, LCC为数据输出时钟, 数据输出频率为27MHZ;RTC0为行同步信号输出端, RTS0为场同步信号输出端, RTS1则为奇、偶数场信号输出, 三者配合起来以确保图像被还原时的显示同步;7113H的初始化过程, 由FPGA通过SCL和SDA以I2C协议的通信方式配置完成。
3 软件部分
3.1 SAA7113H程序设计
解码芯片初始化模块主要完成对解码芯片SAA7113H的初始化过程。初始化流程图如图3.1所示。初始化模块有四个端口, 分别为:CLK (系统时钟输入线) , SCL (I2C时钟信号输出线) , SDA (I2C数据输出线) 和INI_END (初始化结束信号输出线) 。SAA7113H用I2C通信协议初始化时, 通信速率要求在400Kbit/s以下。本次设计中, 将50MHZ的系统时钟进行200分频得到250K用于I2C通信时钟。
3.2 RAM读写时序控制模块
为了解决视频数据的采集输入和显示输出速率的不匹配问题, 引入了高速RAM作为数据缓存。读写控制模块则是为了完成对视频信号接收、存储和输出等进行时序控制。由于高速RAM的读操作与写操作不能同时进行, 只能采用定时刷新的方式来实现读写控制, 即在一次写入完整的一场数据过后再进行读RAM操作, 这样便避免了时序混乱的情况发生。实际调试过程中, 每接收到50场数据, 写入一帧, 即每秒更新一次图像信息。这样做的缺点就是图像更新速度过于缓慢, 在图像更新时, 显示无数据输出或输出固定值, 这样便产生了显示屏幕闪烁。高速RAM的读、写控制时序如图3.3所示, 其中LCC为7113H的视频数据输出时钟, 即高速RAM的写数据时钟;LYNC为图像行同步输入;HYNC为图像场同步输入;ODD为奇偶场区分信号输入;WEN为写允许信号输出 (内部信号, 高电平有效) , REN读允许信号 (内部信号, 高电平有效) 。
3.3 YUV-RGB格式转换模块
YUV-RGB格式转换模块主要完成视频格式之间的转换功能, 将数据格式整理模块输出的YCRCB分量转换成显示所需的RGB数据并输出。换算公式如下:
FPGA在视频时钟及行场同步信号的控制下将RGB数据输出到TFTLCD进行显示。
4 结束语
本设计采用FPGA作为控制芯片, 很好地解决了高速数据在采样、传输过程中的瓶颈, 并以很短的时延真正实现了高速图像数据的采集。该系统具有体积小、功耗低、速度快、显示效果流畅, 稳定、适应性强、便于维护等特点, 因此, 在图像的实时处理方面具有很好的应用前景。
参考文献
[1]同伟锋, 胡方明, 杨颖飞, 等.基于DSP+FPGA的实时视频采集系统设计[J].电子元器件应用, 2009 (12) .
[2]谭会生, 张昌凡.EDA技术及应用[M].西安:西安电子科技大学出版社, 2008.
[3]陈姚节, 卢建华.基于FPGA的VGA显示接口的研究与设计[J].研究与探讨, 2005:21-30.
[4]视频解码芯片SAA7113H在井下电视中的应用[J].自动化信息, 2005, 12:61-62.
[5]SAA7113H Product specification/Data sheet.PHILIPS, 1999
图像与视频处理 篇7
随着计算机技术和视频技术的快速发展, 基于计算机视频检测技术已经应用在交通监测系统中, 视频检测技术具有安装维护方便、检测效率高等特点, 所以比其他检测方法更有优越性。系统通过安装在现场的摄像机来获取车流量信息, 安装在计算机里的控制软件可以在拍到的现场图上设置虚拟车辆检测域, 当车辆通过虚拟检测域时, 检测器对路口各车道车流量进行实时检测, 获取车辆排队长度信息。
2. 车辆排队长度检测
虚拟检测区域[1]可以对交通道路图像中的部分区域进行处理。随着车辆由近及远, 车辆在图像中所占的面积会逐渐减小, 因此检测区域的面积也逐渐减小。在实际应用中, 我们对图像的一条或多条车道进行视频检测。针对每一条车道, 采用了两种算法进行队列检测:运动检测和车辆存在检测。
2.1 运动检测
对车辆是否运动进行判断的简单有效的方法是邻帧差法[2]。它的基本原理是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先, 将相邻帧图像对应像素值相减得到差分图像, 然后对差分图像二值化, 在环境亮度变化不大的情况下, 如果对应像素值变化小于事先确定的阈值时, 可以认为此处为背景像素:如果图像区域的像素值变化很大, 可以认为这是由于图像中运动物体引起的, 将这些区域标记为前景像素, 利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短, 用前一帧图像作为当前帧的背景模型具有较好的实时性, 其背景不积累, 且更新速度快、算法简单、计算量小。
2.2 车辆存在检测
如果没有检测到虚拟区内的运动车辆, 那么接下来要进行车辆存在检测。本文将背景差别法和边缘检测法这两种算法结合起来来对车辆进行存在检测。下面分别对这两种算法进行介绍。
(1) 背景差值法检测
背景差值法是选取背景中几幅图像的平均灰度值作为背景图像, 并将各帧图像与理想背景相减, 根据相减的结果是否有车。如果结果大于阈值, 则认为有车辆存在。运动目标的二值图像数学表达式为
式中:M为阈值;w1 (x, y) , w2 (x, y) 分别为背景图像和当前输入帧图像。随着场景环境的变化, 必须实时更新背景值, 才能保证检测的精度。
(2) 边缘检测
当用背景差值法检测不到车辆时, 使用边缘检测算法来判断是否为队尾。目前, 学术界有很多种边缘检测的方法, 最常见的有微分算子法、样板匹配法、小波边缘检测等, 本文采用Canny算子[5]进行边缘检测。相对于其它算法, 该方法可以体现更多的边缘细节。
车辆图像的共同点是经过边缘提取后, 车体边缘表现为或多或少、或粗或细的一些直线。因此对于车辆边缘的识别, 本文选用直线检测算法[6]。直线检测算法原理如图1所示, 一个网格代表一幅图像的一个像素。
对图像中检测边缘后的虚拟区, 处理过程是从 (i0, j0) 像素开始, 从左至右, 从下至上, 处理每一个像素。以黑色点像素 (i, j) 为例, 每个像素处理过程为根据参数W、L, 先检测相邻上方的点, 再检测相邻右方的点, 只要在一个方向上检测到直线, 则判定 (i, j) 位于某条直线上, 置标志位为真, 检测到的直线数加1。
显然, L, h参数是控制直线检测精度 (上图中, L=h;L, h也可取相异值) , 一般W/L需小于1 (大于1时会产生重复判断) 。当W/L越大时, 检测到的曲线可能不是近似直线, 而是比较弯曲的线;当W越小, L越大, 即W/L越小时, 检测到的直线精度越高, 尽管有一部分倾斜度较大的直线不易检测到, 但并不影响处理结果。因为在提取边缘后, 汽车边缘直线绝大部分位于垂直或水平方向, 或是稍有偏离, 但倾斜度不会太大。
综上所述, 队列检测算法具体步骤如下:
步骤1检测车队是否存在运动, 如果没有运动, 转步骤2;否则继续步骤1重新检测;
步骤2用背景差值法在可能的队尾对车辆进行存在检测, 如果检测到车辆则向后移动检测区域, 继续进行步骤1;反之进行步骤3。
步骤3当用背景差值法检测不到车辆时, 使用边缘检测算法来判断是否为队尾。若检测到车辆边缘则认为是由于车辆颜色、背景变化等造成漏检, 移动虚拟区, 转步骤1继续检测;若边缘检测搜索不到车辆, 就认为是队列终点, 输出结果。
2.3 车辆排队长度检测
把摄像机架设在车道上方, 就可以采集到车辆图像, 对图像进行实时的分析处理, 可以检测出车辆排队长度。实际应用中, 摄像机应该根据实际道路情况安装在合适的位置。本系统中, 根据上述方法检测到队列终点后, 可得到二维图像上的排队长度, 进而计算实际车辆的排队长度[7]。二维图像中像素点代表的实际长度与摄像机的安装位置有关, 如图3所示。
每个像素点代表的实际长度为
式中:θ为摄像机的视场角度;θ/r为一个像素点对应的角度;L为一个像素点对应的实际长度;r为图像的垂直分辨率 (一幅图像的行数) ;h为摄像机的安装度。
由图3中各参数间的几何关系可知, 摄像机能够监视的最大距离dmax由安装高度h、最小距离dmin和角度θ决定:
实验结果表明, 这种方法能够较准确地计算出车辆长度, 并且能够满足实时性要求。
3. 结束语
图像处理技术利用视频、计算机及通信等技术, 实现了对交通状态的检测。把摄像机安装在路口来采集车辆图像, 再利用计算机进行图像处理, 得到车辆排队长度等交通状态信息, 从而为城市交通的信号控制、信息发布、交通诱导、指挥提供依据。它具有如下特点[8]:
1) 摄像头等视频采集设备易于安装和调试, 不会对路面设施造成破坏;
2) 视频检测应用范围广, 并且投资费用较低;
3) 使用视频检测技术可以采集到更多的交通状态参数。
基于视频图像处理技术可以得到车辆排队长度, 根据车辆排队长度设计的智能交通信号控制系统能对复杂的多路口交通信号进行更有效的控制。
参考文献
[1]姜桂艳.道路交通状态判别技术与应用.北京:人民交通出版社, 2004.11.
[2]袁月明, 关伟, 吴建平.基于视频检测技术的城市快速路交通状态分析研究[J].交通与计算机, 2008, 4.
[5]王伟智, 刘秉瀚.车辆排队长度自动检测新方法.中国体视学与图像分析.2006, 11 (3) :216-221.
[6]贺晓峰, 杨玉珍, 陈阳舟.基于视频图像处理的车辆排队长度检测[J].交通与计算机, 2006, 5.
[7][美]Rafael C.Gonzalez, Richard E.Woods, Steven L.Eddins著, 阮秋琦译.数字图像处理 (MATLAB版本) [M].电子工业出版社, 2007.
图像与视频处理 篇8
智能交通系统(ITS)是一种实时、高效、全方位的综合交通运输管理系统。交通流检测作为其重要组成部分,实时了解路况信息,采集目标参数实现流量与速度检测,为道路智能化信息管理调度与道路规划建设提供依据,同时融合车道划分与道路参数提取对异常行车状况报警。
相较于传统的硬件方法[1],基于视频技术的监控系统仅需要对监控视频进行分析,就能实现多车道全路段的监控,检测准确,设备简单,成本低,便于维护更新,已成为智能交通监控系统的发展趋势。自1978年美国加州帕萨迪纳市喷气推进实验室首次提出使用机器视觉检测车辆以来,视频监控技术在智能交通中得到了快速发展。目前较成熟的系统主要有美国Econolite公司的Autoscope系列[2],比利时Traficon NV公司的Traficon交通视频检测系统,法国Citilog公司的Citilog系列等[3,4],经过验证得到了较好的检测效果。但这些系统大多限于固定摄像机,需要人工标定测试区域,降低了系统的智能性,不适用于摄像机旋转变焦的高速公路云台监控。Citilog系列的Viso Pa D2系统是首个能自适应于场景变换的系统,但没有车流信息统计功能。
笔者基于监控视频处理,改进背景建模与跟踪算法,精确提取运动目标参数,利用道路标志线自动划分检测区域,建立图像路面间坐标映射,实现分车道统计车流量与视频测速。系统适用于高速公路云台监控,当摄像机转动变换视角时,能通过自主学习调整参数而无须人工标定,检测精度高,自适应性强。
2 系统概述及流程
高速公路车流监控系统流程如图1所示,共包括运动目标提取与跟踪、道路检测和车流监控3部分。第1部分通过背景建模提取运动目标,并跟踪获得运动参数;第2部分利用背景建模结果自动划分路面,提取检测区域,获得道路平面坐标与图像平面坐标转换;第3部分融合前两部分信息,实现分车道车流信息统计。系统利用架设在云台上的PTZ摄像机采集视频。
3 运动目标提取与跟踪
3.1 前景提取
前景目标提取算法分为背景建模、帧差和光流场计算。背景建模方法避免了帧差法前景区域提取不完整和光流场的繁琐计算,适用于静止场景的前景提取。
高斯混合模型[5](GMM)相较于其他算法(Kalman滤波算法、平均法、选择更新法)能利用高斯模型更好地给出像素点分布,多模型防止前景点对背景点的建模干扰,消除背景规律性晃动。
针对实际应用,笔者对GMM算法作了以下改进:
1)第n个模型t时刻权重wn,t很小时,均值(μn,t)与方差修正(σ2n,t),β,α是权重和方差的更新参数,为常量,分别计算加速均值的收敛速度
2)方差设定最小阈值△min,防止形成尖峰影响背景判别更新;
3)对运动目标、停车目标和背景采用不同的权重更新参数β,减少静止物体对建模的干扰;
4)背景更新采用像素点轮换更新,减少每帧处理时间。
通过与背景模型匹配获得前景像素,利用形态学滤波去除噪声和碎片。基于阴影像素点HSV空间相对背景路面的变化规律[6]和区域平滑无边界点分布的特点,排除阴影像素点,提取连通域获得前景目标。场景转换时能迅速更新获得背景模型。
3.2 目标跟踪
跟踪算法大致可以分为区域跟踪、动态轮廓跟踪、特征跟踪、模型匹配跟踪[7]。监控场景中多目标跟踪,必须综合考虑准确性与实时性。
Kalman滤波器速度快,适用于刚体目标跟踪,笔者结合Kalman滤波器与区域匹配实现实时跟踪。第t帧物体的Kalman状态为st=(xct,yct,vt,ut,axt,ayt),(xct,yct)为中心坐标,(ut,vt)为平移速度,(axt,ayt)为加速度。当预测位置只有一个前景目标时,采用形心直接匹配;当预测位置有多个目标时,利用前一帧目标图像作为模板,在当前目标中搜索最佳匹配对象。
预测跟踪的另一个优点是通过建立预测矩形判断目标是否遮挡。当目标的预测矩形间有交集时,目标交互,利用前一帧信息补全当前帧交叠矩形内的遮挡部分直到目标重新出现,从而解决了物体的遮挡问题。
4 道路识别与坐标映射
4.1 车道线识别与道路划分
当云台摄像机转动变换视角时,为了获得路面信息实现车流信息统计与行车状态监督,需要对检测区域重新定位划分。
笔者提出一种基于车辆跟踪参数样本的车道线提取法,不易受复杂环境和拍摄视角影响,解决了传统系统固定摄像机需要人工初始化标定的缺点。其特点有:
1)通过运动目标样本提取,获得目标覆盖的路面样本与行车轨迹。
2)统计路面样本特征(边界点分布、灰度、RGB对灰度的偏差)分布建立高斯模型,识别路面。利用窗口滤波预处理,获得细窄明亮的车道线区域。
3)利用轨迹拟合统计消失点分布,得到消失点预测矩形。
4)Sobel边缘检测,增加近区域边界点权重。Hough变换获得候选车道线,二次Hough变换缩小消失点范围排除游离直线。
5)利用车道距离宽度与分布特点,搜索局部最大值划分车道线并修正结果,提取隔离带、停车道、行车道。
二次Hough变换后由交点统计值加权平均获得消失点VP(u0,v0),并划定近景道路区域作为检测区域。
4.2 图像与路面坐标映射
云台监控摄像机架设如图2所示。h为摄像机垂直于路面的架设高度,d为到路边的距离,w为路宽,’为摄像机主轴与路边交角。uv为图像坐标系,x′y′z,xyz为世界坐标系,y′平行于道路方向,绕z轴旋转’得到y轴。xC yCzC为摄像机坐标系,zC为主轴方向,φ为与水平面夹角,f为摄像机焦距。
由小孔成像原理可得u=-fxc/zc,v=-fx0/z0,并利用坐标系转换关系[8]可得路面坐标xyz(z=0)和x′y′z(z=0)与图像坐标uv间映射关系如下
设像平面内沿车道方向从Pin(u1,v1)运动到Pout(u2,v2),对应y′方向上距离为△y′,则向y轴投影距离为△y′cosθ。消失点VP(u0,v0)对应了道路平面上(a,+∞)点,a为常数。由式(4)得
式(5)转化为
平行于u轴的直线与相邻两条车道线交于(u3,v3),(u4,v3)点,得
道路宽度w和云台高度h已知,通过式(6)与式(8)确定参数S,建立像平面与道路平面的坐标映射。
5 交通流检测
交通流检测包括分车道车速检测、车流量统计和行车状态检测。
记录车辆进出检测区域位置为(Pin,tin)和(Pout,tout),vin,vout表示相应的下边界纵坐标(如图3)。时间差!t由帧差换算,得到车速检测结果V为
由式(9)通过行车路径上两点纵坐标能获得沿道路方向的实际距离。这种测速方法不依赖于硬件设备,无须对摄像机参数进行预先标定,实现了灵活的视频测速。监控视频为了获得较大的观测视野,摄像机主轴与路边交角不大,目标底边基本与图像底边平行,可以用矩形下边界(车辆与地面交线)对应的纵坐标直接参与运算。
在车辆跟踪状态参数列表加入计数标签N。目标创建时N=0,当车辆目标第一次碰到测速线时,对所在车道计数,并修改计数标签N=1,表示该目标已经参与计数,实现分车道流量统计。
利用统计学习机制与道路模型识别相结合,根据目标位置、前景占有率、速度检测,实现道路异常状态报警(停车、碰撞、逆向行车、道路拥塞、散落物检测),结合辅助摄像机抓拍超速与慢行车辆。
6 实验结果
系统在PC机上运行,Pentium 4,2.8 GHz,512 Mbyte。视频图像分辨力为352×288,25 f/s(帧/秒)。系统自动调整后,跟踪与检测处理时间为68 ms/f(毫秒/帧),能实时应用。
系统对路面场景进行监控,车道划分如图4a所示。得到车速、车流量的统计结果如图4b和表1。实际速度基于线圈测速,实际流量通过人工统计得到。
车速检测平均误差为3.8%,满足高速公路的测速精度要求。
7 小结
系统通过改进的背景建模与跟踪算法实现了车辆的精确检测跟踪。利用基于目标跟踪轨迹学习的车道线检测算法准确检测区域划分信息,建立了路平面与像平面之间的映射变换,实现了视频测速、分车道车流量统计和行车状态监督。与其他系统相比,能应用于视角、焦距可变的云台摄像机监控,无须人工标定检测区域与测速距离,提高了系统的灵活性。目前系统已在实际工程中投入测试与应用,有较好的准确性和稳定性。
参考文献
[1]马慧明.车速检测技术评述[J].中北大学学报,2007,28:139-144.
[2]MICHALOPOULOS P G.Vehicle detection video through imageprocessing:the autoscope system[J].IEEE Trans.Vehicular Technology,1991,40(1):21-29.
[3]PREVEDOUROS P D,JI Xiaojin,PAOANDEOU K.Video inci-dent detection tests in freeway tunnels[EB/OL].[2007-11-30].http://pubsindex.trb.org/document/view/default.asp?lbid=776527.
[4]HALKIAS B M,PAPANDREOU K,KOPELIAS P.Tests of auto-mated incident detection with video image processors in attica tollway tunnels[C]//Proc.the Ninth International Conference on Applications of Advanced Technology in Transportation.[S.l.]:IEEE Press,2006:220-225.
[5]STAUFFER C,GRISON W.Adaptive background mixture models for real-time tracking[C]//Proc.IEEE Conf.Computer Vision and Pat-ten Recognition.[S.l.]:IEEE Press,1999:246-250.
[6]WANG Shengke,QIN Bo,FANG Zhenghua.Fast shadow detection according to the moving region[C]//Proc.the Sixth International Conferenceon Machine Learning and Cybernetics.[S.l.]:IEEE Press,2007:1590-1596.
[7]杨俊,王润生.智能化交通视频图像处理技术研究[J].电视技术,2006(9):74-77.