车载移动视频（共7篇）
车载移动视频 篇1
0 引言
基于GPS与GIS技术的车载移动视频监控指挥系统。由前端音、视频监控采集、发送与接收、传输网络通道、监控指挥中心等四部分组成,广泛应用于公安、武警、城市管理以及抢险救灾现场指挥等领域。目前一般的移动视频监控系统仅将视频影像利用无线通信平台进行传输,无法获取移动终端的精确定位。而对于在处置突发事件中、如何提高快速反应和救援等方面的能力说,必须给决策部门提供精确的目标位置以及相应的地理空间信息,辅助职能部门或领导做出正确决策。
为此,本文结合GPS(全球卫星定位系统)、GIS(地理信息系统)和计算机网络技术,利用现有移动通信技术,实现车载动态GPS/GIS视频监控系统。该系统可应用于公安、武警、城市管理以及抢险救灾现场指挥等领域。移动终端对现场图像进行实时捕获和数字化采集,采用Motion JPEG或MPEG4标准对视频图像进行编码压缩,同时将GPS信息以脚本的形式与视频实时融合。通过GPRS/CDMA移动通信网络、超短波电台或数字微波传输到监控中心或目的用户,使最终用户在获取移动视频的同时也能得到移动终端在电子地图上的实时位置显示,并可以利用GIS 的空间分析能力提供辅助决策功能。该系统扩大了移动视频监控技术的应用领域,具有广阔的适用范围与发展前景。
1 系统组成和工作原理
系统主要由前端音、视频监控采集、发送与接收、传输网络通道、监控指挥中心等四部分组成。
1.1 视频监控数据采集设备
视频监控数据采集端主要利用数字摄像机(包括其它摄像设备)时实拍摄,通过影像压缩技术把模拟/数字视频信号压缩为Motion JPEG 或MPEG4的数字信号。进行录制存储或传输。
1.2 移动发射与接收设备
移动视频监控系统的移动终端发射与接收设备包括超短波电台、微波传输设备;GSM/GPRS网络终端设备、CDM和WCDMA网络终端设备,如手机、PDA、带无线上网移动手提电脑等。主要是用此设备当作载体,对采集到的视频数据进行远程传输。
1.3 传输网络
系统的数据传输网络一般采用超短波网络传输系统、中国移动的GSM/GPRS网络与中国联通CDMA2000-1x公用移动通信网络实现视频、音频信号的传送,目前正在试验开通的3G,TD-SCDMA手机与网络将提供更加快捷流畅的数据通道。
1.4 监控管理中心
监控管理中心按照逻辑功能可以划分为数据接收设备、数据存储设备(磁盘阵列)、数据处理服务器、管理服务器、流媒体服务器、服务终端、互动指挥系统及相关外围设备等。
(1)数据库服务器提供系统数据的集中管理服务。
(2)管理服务器主要负责与数据库交互,为整个移动监控系统提供业务逻辑控制。
(3)流媒体服务器是移动流媒体业务平台的服务器,是提供流媒体业务的核心设备,主要负责移动流媒体录像的保存、实施流媒体转发和负载均衡控制。
2 GPS/GIS视频监控系统的工作原理及主要功能
车辆在运行(或临时停止)过程中,车载终端通过GPS接收机获取卫星的定位数据,与摄像头采集的视频实时图像,通过无线传输网络和Internet与数据服务器进行连接。数据服务器在接收这些数据后,通过存储设备(或磁盘阵列)进行存储;同时接收数据服务器将GPS数据、视频数据、音频数据传输到监控终端,与监控终端上的电子地图底图匹配,并在地图上显示移动目标的正确位置,从而使监控终端在显示移动视频的同时,也能清楚和直观地掌握移动目标的精确位置。另外,还可以对移动目标的轨迹进行查询以及空间分析操作,便于做出正确决策。
系统主要包括如下功能:
(1)移动视频:时实拍摄、传输、显示监控目标图像的视频图像。
(2)信息显示:显示监控目标的方位(地理空间位置)、时间、运动状态轨迹、速度、跟踪图像。
(3)卫星状态指示:显示提供当前GPS信息的卫星位置以及信号强弱指示。
(4)GIS地理信息系统(含电子地图功能):显示车辆在电子地图上的实时位置,以及通过地图缩放、漫游、图层控制、查询、路径分析、鸟瞰、测距窗监控等基本地图操作,分析现场的实际状况。
(5)车辆实时监控跟踪;现场车辆与指挥中心时刻保持联系、互动,现场车辆的每一个小的运动都在指挥中心掌握之中(包括:车辆的属性、行程跟踪、控制状态、跟踪频率、四周道路情况等。
(6)历史行程跟踪:行程轨迹回放、通过定点/路段/时间段进行行程查询等。
(7)空间分析。通过路径分析、鸟瞰、测距分析,为决策提供支持。
3 主要应用
系统适用于公安、消防、交通、城管/市政监察、抢险救灾等处置突发事件中。特别是系统的车体搭载了多种移动设备(对讲机、手机、GPS、视频/音频监控、计算机网络、UPS等),“麻雀随小,五脏具全”,也可以说它是一个高性能的可视移动指挥系统。
总之,随着3G移动网络的成熟以及下一代基于IPv6协议的通信网络的建立,移动信息的传输速度和效率都会有很大的提高,逐步向着小型化、微型化方向发展。相信,不久的将来将会有更多、更先进的GPS/GIS技术的车载移动视频监控系统应用到相关领域。这也将促进“数字化单人GPS/GIS技术的视频监控综合应用系统”的衍生与快速发展。
摘要：介绍了基于GPS与GIS技术的车载移动视频监控指挥系统在处置突发事件中的应用,分别对该系统的工作原理、主要功能以及在该领域发挥的作用进行论述,最后对该系统的应用前景进行了展望。
关键词：GPS,GIS,移动视频监控,处置突发事件,移动指挥系统
参考文献
[1]丰江帆,张宏,沙月进.GPS车载移动视频监控系统的设计[J].测绘通报,2007(2).
[2]雷玉堂.移动视频监控系统在数字城市中的应用[J].数字安防,2007.
[3]朱得旭.移动视频监控技术及其在道路交通处置突发事件中的应用[J].道路交通与安全,2006(3).
面向车载监控视频的快速检索设计 篇2
当前,对于装载有重要物品的特殊车辆(如油罐车、押款车或军用车等),使用视频监控已成为保障装载物和车辆本身安全的重要手段。随着监控网络规模不断扩大,视频数据呈现海量增长趋势,视频调用查看所耗人力、时间也成倍增长。如何从海量视频信息中获取感兴趣的视频片段,已成为影响网络视频监控性能的一个主要瓶颈。为此,视频检索技术的出现能够很好地解决这一问题。
所谓视频检索技术就是从大量的视频数据中找到所需的视频片段。传统的基于关键字的视频检索方式已无法满足人们对信息检索的高效性和准确性需求。因此,必须根据视频的时间及空间结构,更为合理地组织数据,才能有效地检索视频信息。针对以上问题,专家们提出了一种基于内容的视频检索技术[1](Content-Based Video Retrieval,CBVR),并迅速成为国内外学者研究的热点。在基于内容的视频检索中[2],一般先将图像序列分割为镜头,从镜头中提取关键帧;再提取出镜头的动态特征与关键帧的静态特征并存入数据库;最后,根据这些特征索引对视频实现检索。
针对车载的监控视频,本文以基于内容的视频检索技术为基础,设计了一种包含自动检索和主动检索两种方式的视频快速检索方法,以满足不同用户的检索需求。
1 车载监控视频快速检索设计
本文所处理的视频数据是由固定于车厢外的摄像头所采集。无论车辆处于何种状态,摄像机和车辆之间始终处于一种相对静止状态,其他任何靠近该车辆的人或物均成为运动目标。只不过当车辆运行时,由于车辆颠簸(振动)或加速,视频监测图像会有抖动现象。另外,用户对视频的调用中,关注的重点是监控录像中有活动物体的画面,即“活动”视频片段,对监控录像中大量无活动物体的“静止”画面并不感兴趣。
所以,针对车载监控视频存在抖动的特点和用户对视频检索的准确、高效要求,在检索之前,首先要对视频消除抖动,然后才能对稳像后的视频进行检索。视频检索中,自动检索方式是为了避开一些无大作用的视频画面,使用户不至于由于长时间浏览的疲劳而对一些细节运动视频漏失。实现时以检测出来的运动目标作为“活动”视频的“标记”,提取出只含有运动物体的视频段供一般的用户浏览。而主动检索方式是为了充分提高用户对车载监控视频浏览的效率和准确度,更有针对性地直接提取出用户所需要的视频片段(如为警察等特殊用户有针对性地快速检索出含有某嫌疑车或嫌疑人的视频片段)。该方式的实现首先要从视频中提取出关键帧,并对关键帧进行特征描述,用户可以通过人机交互给定的示例图片与提取出的关键帧进行相似度匹配。当取到相似度距离最小值时,为匹配成功。用户就可以从该关键帧处开始浏览视频。整个设计具体的实现过程如图1所示。
2 视频处理
2.1 快速消除视频抖动
消除视频抖动一般采用的方法中,特征匹配的方法[3]和光流的方法[4]运算量都太大,而块匹配的方法受限于对含有平移和微小旋转的图像序列具有较高的检测精度,但可采用两步搜索法、两维对数下降法等快速搜索算法来大幅度减少运算量[5]。考虑到车载摄像头紧固于车身上,在安装调试后参数固定不变,不存在大幅度旋转或调焦等运动。所以,本文采用改进的基于块匹配的算法消除视频抖动,从速度和效果上都能满足用户需求。
假设每帧图像水平、垂直方向像素数分别为M和N,如图2建立参考帧坐标系OXY,每个小方格为1个像素。在参考帧中选取一个特征明显又不会被遮挡的标示性物体作为匹配模板区域(如倒车镜),将其局部运动矢量直接作为全局运动矢量。图2阴影所示,划定出匹配模板区域,原点位于图2中“*”处,坐标为(X0,Y0)。
根据实际情况,若水平、垂直抖动最大幅度分别为S和V像素。那么,划定模版匹配区域时就要先通过软件将模板匹配区域左上角原点限制在图2中黑色粗线框所示的矩形区域内。此矩形左上角坐标为(S,V),宽为(M-L-2S)像素,高为(N-H-2V)像素。
如图3所示,待匹配区域(图3阴影部分)尺寸与模版区域相同,左上角“*”所在像素在当前帧坐标系中的坐标为(X,Y)。图3中粗线框矩形为搜索范围,此矩形左上角坐标为(X0-S,Y0-V),宽为(2S+1)像素,高为(V+1)像素。
开始处理前设置偏移量(dx,dy)和运动趋势(kx,ky)的初始值分别为(0,0)和(+1,+1)。规定运动趋势kx和ky取+1时分别表示向右、向下运动,取-1时分别表示向左、向上运动。开始处理时,假设已求得上一帧中匹配模板区域的(dx,dy)和(kx,ky),搜索最佳匹配就按照以下步骤进行:
1) 根据上一帧偏移量预测搜索起点。令第1个待匹配区域左上角在当前帧坐标系里的坐标(X,Y)满足X=X0+dx,Y=Y0+dy。然后使用绝对差值和求其与待匹配区域的相似度测量函数值D。
2) 水平方向上的搜索。Y值不变。根据kx预测下一个待匹配区域的X,即令X=X+kx,重新计算测度函数值D。若D值不变大,说明搜索方向正确,则按kx规定的方向继续搜索,直到D值即将变大。若D值变大,说明搜索方向错误,则退回原位置,令kx= -kx,并根据新kx的方向搜索,直到D值即将变大。在搜索过程中若超出如图3中矩形粗线框所示的搜索范围则停止,认为搜索失败。
3) 垂直方向上的搜索与步骤2)类似,只需将X,Y和kx分别换成Y,X和ky。
4) 重复步骤2)和步骤3)直到X和Y不再改变。若重复次数超过给定值,认为搜索失败。
其中,步骤4)中的重复次数需根据软件的运行时间和处理效果来综合确定。若以上步骤搜索成功则继续以下处理:(1)由最后的X和Y求得当前帧的偏移量dx=X-X0和dy=Y-Y0,对当前帧进行平移消除抖动;(2)用最后的X和Y作为新的X0和Y0;(3)根据当前帧偏移量与上一帧偏移量的差别重新确定当前帧的运动趋势kx和ky;(4)利用最佳匹配处的待匹配区域定期更新匹配模板区域。若最佳匹配搜索失败则不再往下进行任何处理。
采用上述方法步骤,视频消除抖动的结果如图4所示。该段是车辆启动时有路人从车旁经过的视频,共306帧。图4a为参考帧,下方粗线矩形框为匹配模板区域,大小为110×35像素。图4b为消除抖动后有路人经过的某一帧图像,图中边缘黑色部分是图像平移的结果,水平方向移动了19像素,垂直方向移动了5像素。图4c为消除抖动前帧间差分结果,此时,静止的自行车也被作为移动物体检测出来。图4d为消除抖动后帧间差分结果,此时,静止的自行车已经看不到了,只有行人被检测出来。
本文用图像序列逼真度的评价标准对视频消除抖动的结果进行评定,评价参数是相邻图像间的峰值信噪比(Peak Signal to Noise Ratio,PSNR),单位为dB。PSNR值越大,两帧图像就越趋于相同。其中,消除图3中视频抖动耗时61 ms。抖动消除前参考帧与当前帧的PSNR值为33.740,抖动消除后PSNR值为38.068。消除抖动后,参考帧与当前帧的PSNR值明显大于消除抖动前。由此可知,该消除抖动方法的效果还是比较好的。
2.2 视频中运动物体检测
车载监控都发生在室外的变化环境中,视频受光照变化和自然场景(如树枝摆动、地面积水波纹等)中一些微小变化的影响,使得差分图像中存在很多“虚假”的运动目标。考虑到差分残留图像中必然存在运动目标的运动重叠区域,所以采用多帧差分相乘的方法使得差分图像中运动边缘的相关峰更加尖锐,再利用阈值,就能有效排除“虚假”运动物体的影响,正确测出运动物体的边缘轮廓。而且,一般情况下,相邻帧的背景只考虑平移变化量,只需简单计算出平移量就能实现配准。所以,综合实时性需要,本文采用相邻四帧配准图像差分相乘的方法检测运动物体,如式(1)所示
式中:f1(x,y),f2(x,y),f3(x,y),f4(x,y)分别为配准后的序列图像像素;M(x,y)为差分相乘图像的像素值。该检测方法具体的实现步骤如下:
1) 将第1帧图像与第3帧图像配准,第2帧图像与第4帧图像配准。
2) 将配准后的图像第1帧与第3帧做差分,第2帧与第4帧做差分,然后将2幅帧差图像相乘。
3) 阈值分割,并利用图像形态学方法增强图像。
如图5所示,对车辆旁边检测出步行路人的结果。其中,图5e和图5f中检测出行人的同时还检测出该人物在车窗、车身上的模糊倒影,还有树枝微小的摆动等一些虚假运动目标,图5g显示出差分相乘后这些虚假运动目标被很好地去除。
2.3 视频中关键帧提取
一般地,在一个长镜头中查找到能凸显出该段视频主要内容的图像帧作为关键帧。利用关键帧技术对视频数据库进行有效的快速查询、检索和浏览,可以大大减轻工作量。实际监控时,通常关注局部运动更多。因为局部运动表达的都是相对重要的物体或人物的运动,且能从中提取中很多更准确的视频内容。所以,针对车载监控视频镜头的移动性、内容的多样性,为避免冗余的同时能有效地选取到有代表性的关键帧,本文借鉴文献[6]中提出的基于粒子群的关键帧提取法,用全局运动特征与局部运动特征作为视频的整体特征,并关注局部运动更多。
该方法首先提取出每帧的全局运动和局部运动特征,然后通过粒子群算法自适应地提取出关键帧。提取效果如图6所示。其中,图6a是某一时刻只有一个行人从车旁路过的段视频,共48帧,提取出1个关键帧,结果反映出该段视频的主要变化内容;
图6b、图6c、图6d是另外某一时刻若干行人在车旁路过的视频段,共97帧,提取出3个关键帧,结果反映出该段视频中各个行人路过的大概过程。
2.4 关键帧低层视觉特征描述
利用图像的低级物理特征(如颜色、纹理、运动等)的检索方法,不仅可以检索出一些视觉上相似的图像,甚至还包含一些语义相关的图像[7]。本文对关键帧图像采用如下描述:
1) 颜色。颜色为可见光的图像提供了有价值的自然属性。对于两个场景不同的视频关键帧,通常从图像主色以及颜色空间分布特性可以有效地区分开来。主导颜色向量Vic定义为HSV(Hue,Saturation,Value)空间Hue分量上的8个主导颜色值,第n个颜色直方图值Hn定义如为
式中:hx,y是像素点(x,y)的Hue分量值;O(i)是分割得到的视频对象i。主导颜色向量Vic由M个主导颜色值[H0,H1,…,HM-1]组成。δ(hx,y)函数定义为
2) 形状。相对于颜色或纹理等底层特征而言,形状信息是图像的中层特征。它可以刻画图像中物体和区域的重要特点。描述对象的形状包括轮廓和大小。视频场景中的视频尺寸与目标实际尺寸成一定比例关系。在本文中,矩形形状被设置为目标对象的尺寸大小,轮廓形状暂不考虑。
3) 边缘直方图。它描述了边缘的空间分布信息,而边缘的空间分布是重要的纹理信息。 尤其当图像中的纹理分布不一致时,该描述可用于图像间的匹配。首先将图像划分为16个互不重叠的矩形区域,对每个图像区域分别按角度0°,45°,90°,135°等4个方向和一个无方向性边缘五类信息进行直方图统计。此描述子具有尺度不变性,支持纹理旋转和旋转不变匹配,适用于非一致纹理图像。
3 实验结果与分析
本文以Microsoft Windows XP Professional,VC++6.0为实验开发平台。实验中,采用主动检索方式。为了验证方法的有效性,选取了不同停车场景、不同时间段视频,视频序列从几十帧到几万帧不等。实验结果如表1所示,其中“活动”视频段占原文件的平均百分比是61.5%。即使用主动检索后平均减少了38.5%的视频帧浏览数量。
图7和图8为快速视频检索方法实现的演示图。图7上边一行图像为原视频帧,下边一行是用户所能浏览到的只包含运动目标的“活动”视频帧。图8是通过左边用户输入的示例图片所提供的信息检索到的与其相似度最大的视频关键帧,点击“播放”按钮,即可从该帧处播放视频。
4 小结
本文设计的车载监控视频快速检索方法通过两种视频检索方式满足用户不同需求。一方面,利用运动目标检测的方法分割原视频,把只含“活动”视频片段信息与视频原文件关联,然后将这些视频片段按时间顺序组织起来,构成一个逻辑视频文件,并实现对该逻辑视频文件进行常规的播放控制功能,同时还可以在“活动”视频片段和原视频文件间平滑切换播放控制,从而减少了需要观看的视频帧数量,让用户集中精力在含有运动物体的重要画面上,实现了自动检索。另一方面,用户若想更加主动、直接地的找到感兴趣的视频片段,可利用提取出的关键帧及其特征,通过与示例图片的特征对比,定位到相似度最高的关键帧处,以此关键帧为起始点浏览视频片段。通过实验证明该方法充分减少了视频浏览的时间,提高了视频浏览的效率,实现对特殊车辆和运输物品实时安全监控。
参考文献
[1]魏维,游静,刘凤玉,等.语义视频检索综述[J].计算机科学,2006,33(2):1-7.
[2]XIONG Ziyou,TIAN Qi,RUI Yong,et al.Semantic retrieval of video-re-view of research on video retrieval in meeting,movies and broadcastnews,and sports[J].IEEE Signal Processing Magazine,2006,23(2):18-27.
[3]HARITAOGLU I,HARWOOD D,DAVIS L S.W4:Real-time surveil-lance of people and their activities[J].IEEE Transactions on Pattern A-nalysis and Machine Intelligence,2000,22(8):809-830.
[4]杨勇,王桥,吴乐南.基于标号场的光流法二维运动估计[J].电子与信息学报,2001,23(12):1321-1325.
[5]徐理东,林行刚.视频抖动矫正中全局运动参数的估计[J].清华大学学报:自然科学版,2007,47(1):92-95.
[6]张建明,蒋兴杰,李广翠,等.基于粒子群的关键帧提取算法[J].计算机应用,2011,31(2):358-361.
车载移动视频 篇3
一、系统架构
(一) 系统主要部分简介
根据系统总体结构, 我们将本系统分为三个部分
1、车载监控部分
车载监控终端部分由摄像头、车载DVR、控制设备和无线路由器组成。摄像头负责采集视频数据并由车载DVR进行编码处理, 把编码后的数据通过模块化的无线路由器传送到远程指挥调度中心。
2、传输部分
传输部分主要采用无线和有线方式进行传输。
(1) 无线方式
在运动车辆上, 主要采用3G (即WCDMA) /Winmax进行视频传送, DVR采集并压缩视频信号后, 通过无线网络把压缩后的视频数据发送到指挥调度中心。而系统中完成DVR与IP网络通讯工作的就是无线路由器。无线路由器最大限度地提高系统的吞吐量, 使无线监控视频更加流畅, 无线路由器支持VPN隧道, 固定IP拨号, 双向认证的功能, 充分保证系统的安全性和稳定性。
(2) 有线方式
有线部分主要对监控中心可进行远程观看。
3、监控中心
在监控中心安装相应的服务器系统和平台软件, 实现对车辆、车场设备的统一管理, 并分发数据流和视频流供工作人员进行监控。实际应用系统中将包含多个服务器, 主要有管理服务器、录像服务器、流媒体转发服务器以及若干应用服务器, 每个应用服务供若干功能。
4、应用软件
工作人员通过客户端软件对本系统进行操作和管理, 根据用户权限获取相应的视频和其他相关信息, 同时也可通过本系统下达指令对司机进行极具现场感的远程指挥, 在紧急情况下可通过本系统对乘客进行指挥和引导。
5、系统互联
为进一步通过本平台和其他系统进行互联, 平台软件预留多个接口, 实现和公安、媒体、物流等行业的信息共享和联动。同时也具备向公众用户进行信息发布的功能。其他业务系统也可接入本系统, 实现各个系统的统一操作和有效联动, 达到1+1〉2的应用效果。
(二) 车载监控终端
车载智能终端 (即车载DVR) 采用专业车载设计, 适应汽车电源并采用高抗震设计 (结合机械减震、电子抗震和软件抗震专利) , 使用可抽取的普通2.5寸硬盘;具有多种模式安防监控录像功能 (手动、定时、报警联动) 和快速方便的查询回放模式, 产品具有高速USB2.0接口, 宽带网络接口, 方便数据备份。
车载智能终端既可以独立使用, 也可利用扩展内置GPS全球定位系统和WCDMA通讯模块, 构造无线视频监管系统, 进行远程调度管理和实时监控。
车载监控终端可以独立完成车上视频录音、录像、监控功能, 更可以进行扩展配置成具有无线网络监控管理的系统, 完善和提高管理部门对车辆的监管能力, 对重点区域、重点路线进行更加及时、紧密的监控。
整个视频监控管理系统软件平台分为两个主要部分:
1、服务器部分
实现对系统的管理和设置, 包含中心管理服务器、设备接入服务器、转发服务器、数据库服务器等, 各个服务器有机结合形成一个服务器组, 用户可根据需要做一定的裁减和部署以适应具体项目要求。
2、客户端软件
实现对系统中车辆视频和轨迹的实时监控、历史回放、报警设置、电子地图等功能。软件采用C/S和B/S兼顾的模式, 一般工作人员可采用B/S方式进行操作, 但功能相对简单, 系统管理人员可采用C/S方式进行操作以体现系统全部功能。可参见软件功能介绍。
(三) 软件功能介绍
1、功能区域
(1) 树状列表区域:在本区域可以获得当前已上报的车辆信息, 该信息由DVR通过无线信道上报。可以实时显示车辆的在线、报警等状态信息。
(2) 地图区域:地图区域用于GIS地图操作, 具有基本操作 (放大, 缩小, 移动、更换) 、地理数据测量、路径匹配、车辆轨迹定位和跟踪等功能。
(3) 视频显示区域:用于显示视频, 可选择多种显示方式, 如六画面、九画面等, 该窗口可以切换成报警设置、事件查询、录像查询等窗口。
(4) 信息显示区域 (窗口) :主要用于显示报警信息, 包含报警源、报警时间、报警类型等信息。
(5) 状态信息区域:提供车辆速度和位置等主要信息。
系统支持双屏显示, 地图和视频可分别显示在不同的屏幕上, 便于用户使用。在单屏时, 用户也可根据关注点的不同自行调整移动窗口的布局, 使视频或地图处于主画面位置。
2、主要功能
(1) 通过无线信道实现对车内、车外情况的视频监控和录像调看。
(2) 提供完善的矢量电子地图, 除基本的地图操作外, 还具备测量、编辑、查询、站点添加等高级功能。
(3) 通过GPS和GIS系统, 实现对车辆运行路线的监控和管理, 提供矢量电子地图供用户进行定位和查询, 系统可根据地图信息告知车辆附近标志性建筑物, 便于用户确定车辆位置。
(4) 对报警和异常迅速响应, 具备完善的视频联动功能, 提供车辆运行信息、轨迹信息和视频信息帮助工作人员进行分析和处理。
(5) 通过录像分析工具, 重现案发时刻的情况, 可根据报警事件进行查询以迅速定位可疑录像。可按照时间进行查询, 将同一辆车的多个通道同时进行播放, 便于工作人员对比分析, 支持快进 (最快高达100倍) 、慢放、倒放、逐帧播放。可以实现对多辆车辆的长时间录像数据进行备份、查找、播放的方便操作。录像本身命名体现出车辆信息、时间信息、通道信息, 在视频播放中也可以直观看到, 方便对文件的管理。
(6) 现有的场站网络资源有限, 大多采用拨号上网的方式, 系统支持DNS (动态域名解析) , 适合公共INTERNET特别是拨号上网的网络环境。
(7) 支持多种类型的普通DVR和IP CAMERA, 可实现在同一平台上对原有车站等处监控系统的接入。
(8) 具有完善的车辆管理信息, 可独立构建车辆和司机数据库, 便于工作人员查找重要信息。
各种车辆运行信息、轨迹信息和视频信息等形成统一报表, 供领导和工作人员定时查询
(四) 无线传输设计
现有无线网络主要有以下几种:
1、微波数据网传输技术
2、卫星通讯网技术
3、基于运营商的无线网络传输技术
4、无线局域网技术 (包含Wi MAX技术)
其中前两种技术由于运行成本过高, 不适合车辆应用。
基于运营商的无线网络传输技术也就是利用现有无线网络运营商的平台进行网络传输, 主要采用中国联通的GSM/WCDMA网络。通过分析数据发送所用时间, 获取无线网络的实时带宽, 并以此对视频编码参数和码流控制策略进行调整。
1、对数据包进行分析和纠错, 以适应无线网络误码高的特点。
2、增加缓冲池容量, 改变缓冲策略, 保证数据的平稳发送和接收。
3、在线路条件允许的情况下, 采用多路GSM/WCMDA信道捆绑的方式传输视频数据, 实现较好的视频效果。
视频数据传输优先采用组播方式, 并具有RTP/RTCP控制功能。在组播受限的场合下, 可通过流媒体转发服务技术, 在两个低带宽连接的子网络之间采用转发服务器以隧道方式进行视频数据的转发, 有效避免网络瓶颈, 流媒体转发服务器可级联并支持无线窄带网络。
二、3G无线监控视频系统
车辆发生事件较多, 车内视频录像的实时传输势在必行。3G业务开展后, 实现车辆3G视频传输, 通过服务器、电视墙进行视频存储和监控。
3G无线视频监控是采用成熟的WCDMA (3G) 无线网络, 集高清晰度变焦彩色摄像机、多功能解码器、无线传输模块于一体的新一代高科技监控产品。人性化的一体式设计减少了系统部件之间的连接, 提高了系统的可靠性, 简化了产品的安装, 轻巧灵活, 操作简单, 使用方便, 只要有WCDMA网络覆盖的地方, 现场用户只要打开电源开关, 多个授权用户便可通过手机、联网电脑同时观看视频图像。
从车辆内部监控存储的考虑, 由于车辆在路上行驶颠簸比较频繁, 间接地影响了监控存储的寿命。如何提高存储设备的寿命就成了重要的问题。
市场上车载监控大致上可以分为三种:1、可实时观看图像, 车内可以进行存储。2、只对车内部存储, 定期由公司人员进行复制和备份。3、采用FLASH盘, 进行存储
三种方式中第一种和第二种存储方式性价比最高, 可大大提高存储的时间。而且第一种而且可以进行实时的观看, 存储的格式可以达到D1格式。如果是第三种方式则存储时间短, 擦写的次数有一定的限制, 不适合视频录像存储。
参考文献
[1]田霞.基于3G网络的新型无线监控系统[J].2010 (, 36) .
[2]朱兆坦.论公共安全视频监控系统的现状及建设方向[J].信息网络安全, 2010, (06) .
[3]杨波, 廖建新, 吕新荣, 王纯, 张天乐.3G网络中流媒体缓存系统的设计与实现[J].计算机工程, 2007, (13) .
车载移动视频 篇4
当前车载电子系统的综合化程度随着计算机和电子技术的发展不断提高,对视频处理的综合化要求也不断提高,如何对多种外视频源进行处理与对输出通路进行控制,是车载视频处理中面临的越来越突出的问题[1]。本文讨论的重点是以DSP+FPGA为核心的视频处理模块的设计与实现,可以完成多路视频的切换选择输出控制和视频缩放显示的功能,同时具备通信控制等功能。
1 视频处理模块系统结构
视频处理模块的系统结构如图1所示,主要包括以下功能电路:
(1)DSP电路;
(2)存储器电路,包括DDRII及FLASH;
(3)FPGA功能电路;
(4)1路高清HDMI接收电路;
(5)1路标清HDMI发送电路;
(6)4路PAL-D接收电路;
(7)1路PAL-D发送电路;
(8)CAN通信接口电路,采用单片机内部集成的CAN通讯控制器实现;
(9)电源转换电路;
(10)时钟电路;
(11)复位及监控电路。
视频处理模块以DSP+FPGA为核心,通过CAN总线对其进行功能控制,支持四路PAL视频输入及1路高清HDMI视频输入,在FPGA内进行视频缩放处理与切换控制,某些复杂、特殊的视频处理功能由DSP来实现,最终输出2路标清视频,其中1路标清数字HDMI视频,1路标清模拟PAL视频。
2 DSP电路设计
DSP选用TI公司的DM648处理器,DM648是T公司为视频处理应用开发的一款高性能低功耗处理器,它集成了5个视频端口和图像协处理器,主要具有以下特性:
(1)处理内部主频1.1GHz,处理速度达到8800MIPS,每个时钟周期可以执行8个32位C64Xx+指令;
(2)具有32kb的L1P Program RAM和32kb的L1D Data RAM;
(3)具有支持512kbyte的L2 Unified Mapped RAM;
(4)支持小端模式;
(5)具有5个可配置的视频口;
(6)集成外部EMIFS存储器管理接口,可管理512Mbytes的DDR2 SDRAM和128Mbytes的FLASH;
本设计中,DSP通过专用的DDRII接口外接512MB的DDRII存储器,通过EMIF接口外接32MB的FLASH。DSP的专用视频口,配置成2个输入视频端口和1个视频输出端口,输入视频端口接收FPGA送来的视频数据,输入视频端口既可以接收16bit的高清YCr Cb数据,也可以接收符合BT656标准的8bit标清YCr Cb数据;输出视频端口输出符合BT656标准的8bit标清YCr Cb数据,DSP将输出的视频数据送给FPGA。
3 FPGA电路设计
FPGA用于接收、转发及处理各种视频信号,实现视频缩放、视频切换等功能。
FPGA共有如下几种功能接口:
(1)外视频PAL-D数字视频接收接口,4路,符合BT656格式的YCr Cb信号,每路视频接口为8位数据信号,1位时钟线,时钟频率27MHz;
(2)外视频高清视频YCr Cb接收接口:1路,16位数据信号,1位时钟线,时钟频率74.25MHz,4位控制线;
(3)接收DSP送来的标清数据:1路,符合BT656格式的YCr Cb信号,8位数据信号,1位时钟线,时钟频率27MHz;
(4)标清数字视频发送接口: 1路,符合BT656格式的YCr Cb信号,8位数据信号,1位时钟线,时钟频率27MHz;
(5)PAL-D数字视频发送接口:1路,符合BT656格式的YCr Cb信号,8位数据信号,1位时钟线,时钟频率27MHz,2位控制信号;
(6)送给DSP的高清数字视频接口:1路,16位数据信号,1位时钟线,时钟频率74.25MHz,4位控制线;
(7)送给DSP的标清数字视频接口:1路,符合BT656格式的YCr Cb信号,8位数据信号,1位时钟线,时钟频率27MHz;
(8)视频缓存接口:3片SRAM存储器。
视频处理模块中,FPGA是其功能控制与处理算法实现的核心器件。随着FPGA工艺和技术的不断发展,其逻辑容量、存储器资源、DSP乘加器、软硬IP核资源都在不断地扩展和丰富[2],使以FPGA为核心完成复杂功能的硬件设计成为可能。FPGA芯片选用Xilinx公司的Spartan6系列低功耗FPGAXC6SLX100,XC6SLX10芯片丰富的逻辑资源与存储器资源允许进行复杂的视频处理逻辑开发[3]。
4 FPGA内部视频处理逻辑设计
FPGA逻辑结构功能框图如图2所示。
高清HDMI的视频信号时序为符合高清规范的16bit颜色深度的YCr Cb信号,经缩放处理模块缩小后送入SRAM缓存,高清视频分辨率经缩小后由1920×1080i变为640×480I,该视频数据经时序重构模块填充成720×576i,并符合BT656标准[4]。高清原始视频和缩放后的视频经2路切换控制模块之后选择性地送入DSP的视频端口。
4路PAL视频解码后图像信号时序为符合BT656格式的8bit宽度YCr Cb信号,分辨率为720×576i[5]。4路PAL视频经过缩放处理后合成1路视频,分别在屏幕的左上、左下、右上及右下四个位置显示4路PAL视频,每一路PAL视频的分辨率缩小为360×288。处理之后的PAL视频与原始4路PAL视频经过5路切换处理之后输入1路PAL视频送给DSP。
DSP处理后的视频送给FPGA,在FPGA内部做1分2处理后输出2路标清视频。
5 结束语
本文介绍基于DSP+FPGA的视频处理模块的设计与实现,FPGA负责完成视频缩放及视频切换的功能,DSP负责视频的特殊处理,提供多路视频任意切换显示,减少了视频显示通道的延迟,较好地满足了车载视频综合显示的需求。
摘要：随着视频图像技术的发展,车载视频系统需要处理视频的种类和数量越来越多,不仅需要处理多路标清PAL视频,还需要处理高清HDMI视频等。文章介绍了一种基于DSP+FPGA的车载视频处理模块,实现对多路外视频的实时处理。
车载移动视频 篇5
近几年, 全国各地发生的多起执法纠纷表明, 现场执法遭遇的问题已越来越趋复杂化。执法部门执法的透明度和公正度越来越受到广大民众的关注, 在应对各类流动性或突发性事件时, 遇的到“取证难”、上级指挥信息沟通难等问题, 其主要表现在以下几个方面。
(1) 网络覆盖不全面。城市治安监控点绝大多数是采用的有线监控, 且存在很多监控盲区。 (2) 现场取证难。无法全程记录执法过程, 容易引发执法纠纷等。 (3) 远程指挥调度难。远程指挥中心无法获取执法现场具体情况 (如照片、视频信息) , 影响了重要事件的快速决策与指挥调度。
2 车载视频监控系统架构
车载视频监控系统设计分为端移动取证设备、传输网络、后端中心管理平台和监控指挥中心4部分构成部分, 车载视频监控系统结构如图1所示。
2.1 前端系统设计
前端硬件子系统是系统的信息节点, 主要由车载主机、摄像机、GPS模块、4G天线、驾驶员报警按钮组成等设备组成。在车顶安装车载云台, 作为目标摄像机, 用于跟踪拍摄事件关键点和采集目标特征信息;在车内安装一个高清摄像机, 作为前景摄像机, 用于记录事件发生的整体行为过程。音视频信息通过车载主机进行编码存储, 同时可通过4G网络, 将信息传输至中心管理平台, 实现前后台的互动。
2.2 视频传输网络
传输网络是系统的纽带, 包含4G无线通信传输链路和IP固网传输链路两部分, 4G网络将不同的固定和无线平台及跨越不同频带的无线网络连接起来, 并支持高速移动环境下高速数据传输能力, 将前端采集的信息等, 由4G无线通信模块经网关送入固网传输到监控中心, 实现前后台实时信息交互。
2.2.1 4G在无线视频监控领域的优势
在无线车载监控应用中, 车辆收集的数据信息必须依赖无线通信技术, 当前无线监控采用WIFI、微波、3G等无线接入方式, 其传输距离小, 灵活性差, 广阔区域覆盖成本高, 带宽有限等局限性, 不具备大规模广域视频监控覆盖能力;4G网络采用了OFDM (正交频分复用技术) 、MIMO (多输入多输出) 、AMC (自适应编码调制) 、SDR (软件无线电) 、IPv6等关键技术, 使得4G网络可以提供更快的接入速率、更低的时延, 这对提高无线视频监控系统的可靠性及视频质量非常重要, 其主要优势如下:
(1) 通信速度更快:传输速率是3G网络的10倍, 下行峰值可达100Mbps、上行峰值可达50Mbps, 比现有的3G网络更加快速、更加稳定, 该速率可以满足多监控终端的数据传输需求, 解决无线视频传输速率的瓶颈。 (2) 全IP核心网:支持有线及无线接入, 采用的无线接入方式和协议与核心网协议、链路层是分离独立的。在高速运动情况下可提供2~100Mbit/s的数据传输速率, 利于保证无线视频监控数据的实时性。 (3) 覆盖区域广:在高速移动时, 提供大于100kbps的接入服务, 满足车载视频的监控应用需求。 (4) 更好的兼容性:4G应该接口开放、能跟多种网络互联、终端多样化以及能从2G平稳过渡等特点, 以完成对多种用户的融合。在不同系统间无缝切换, 传送高速多媒体业务数据。
2.2.2 流量控制
虽然4G的带宽有了很大的提高, 但是总体的网络资源还是比较有限, 且资费还比较昂贵, 为了节约4G资费, 节省网络资源, 更好的使用4G网络。系统采用流媒体技术解决多路并发访问的问题, 降低多路并发访问给前端4G传输造成重复流量和计费, 确保每路视频在任何时候均只输出1路码流。
每路视频需消耗的流量与视频的分辨率和帧率密切相关, 设每路图像占用x Mb码流, 每天有t小时上传图像计算。则每天需要4G流量 (上行) Y=x Mb/s/8*3600秒*t小时*1天/1024, 每路图像所需4G流量对比如表1所示。
2.2.3 网络安全
4G网络无线传播的优势及开放性的特征, 无线传播的数据很可能被截取, 给一些敏感视频数据带来一定风险, 因此, 要保证视频数据在链路上的安全性传输, 主要方法如下: (1) 视频信息加密。对网络传输信息, 采用加密措施, 包括视频信号的加密、控制信令的加密, 保障信息安全。 (2) 专网传输。监控系统通过专网传输, 与外网物理隔离, 避免传输网络遭受攻击和破坏。 (3) 防火墙隔离。对监控中心服务器平台网络接入进行防火墙隔离, 只允许指定端口、指定地址访问指定的服务, 防止非法入侵。
2.3 后端中心管理平台
后端中心管理平台是系统核心所在, 其相关设备安装在监控中心机房, 主要包括流媒体分发子系统、集中存储子系统等构成, 它们共同形成数据运算处理中心, 主要完成各种数据信息的交互, 集管理、交换、处理、存储和转发于一体, 实现视频实时浏览、存储与视频转发如图2所示。
2.3.1 流媒体分发子系统
流媒体服务器作为视频监控联网系统中最主要的视频资源管理服务器, 用于多客户端复用相同现场图像的流媒体转发管理, 缓解网络带宽紧张的区域。
流媒体服务器负责汇聚视频监控前端、显示设备、用户终端调用图像的流媒体转发任务。视频图像调用均从流媒体服务器上获取实时图像视频流, 流媒体服务器直接访问前端图像采集设备, 单节点内部采用流媒体进行视频转发给存储服务器进行存储;同时转发给客户端和解码器, 实现视频流的实时浏览。同级别节点可直接从对方流媒体服务器中获取图像, 也可以从上级节点的流媒体服务器转发获取。
2.3.2 集中存储子系统
存储视频信息由流媒体服务器转发存储, 为确保应急指挥等紧急情况下有效资料的长期保存及统一管理, 考虑系统容量、安全性、稳定性, 流媒体服务器转发给存储服务器的视频信息, 采用磁盘阵列集中存储方式, 并通过磁盘冗余的方式对数据提供安全保障。
2.4 监控指挥中心
2.4.1 显示子系统
显示子系统主要由解码器、大屏控制器、大屏显示器应用软件平台等组成, 实现对高清视频及GIS系统图形的显示、切换和控制。系统可根据图像监控的需要设置显示策略、报警联动策略, 根据时间、各种触发命令设定各种显示方式和轮询方式, 以达到对执勤车辆的分布情况和事发现场全面掌握, 实现远程现场指挥调度、快速高效处理各类突发事件等一系列管理、控制功能。
2.4.2 语音对讲子系统
语音对讲系统是调度指挥系统对于突发事件进行协调处理、信息分析以及指令下达的重要工具, 实现指挥中心与执法人员的直接交流, 成为最有效的信息发布, 协调指挥的手段之一如图3所示。
在一些突发情况下, 指挥中心需要第一时间对现场人员下达指令。领导和中心工作人员可通过麦克风采集语音信息, 经过调音台传输至用户PC, 用户PC通过客户端软件, 将语音信息通过服务器转发至现场车载设备上, 现场人员通过车载设备内置扬声器获取指挥中心发布的语音指令。
通过拾音器将现场人员的语音信息传输至无线车载设备中, 经过数字编码后, 通过4G无线网络传输至中心管理平台的服务器, 监控指挥中心用户PC客户端通过服务器获取现场语音信息, 通过声卡输出后至调音台, 调音台语音信息通过音响进行播放。实现对讲的同时, 可配合GPS定位和电子地图, 指挥中心可向最近的执法人员和车辆下达指令, 实施调度, 进行远程指挥和交流。
3 系统的主要功能设计
(1) 图像实时传输预览:在执法过程中, 通过移动4G网络, 车载系统拍摄的画面可实时上传监控指挥中心, 且随时可远程调取每前端移动取证终端的实时图像在大屏或电脑上显示, 能保证现场情况第一时间传回监控中心;能够在监控中心远程布防、设防、调控前端摄像机角度, 监控画面可单/多画面任意切换预览。
(2) 实时语音对讲功能:车载设备内置麦克风及扬声器, 通过平台与现场人员实现语音对讲, 进行远程指挥和交流。
(3) 电子地图与GPS定位功能:在执法工作中, 对执法车辆的位置掌控是不可或缺的。车载监控设备内置GPS模块, 在依靠4G无线网络向中心传输视频的同时, 可以将GPS信息直接上传到平台数据库中, 加上中心平台的电子地图功能, 可以在电子地图上看到车辆所在具体位置及车速信息, 极大的提高了车辆运行的安全性和调度的便捷性。
(4) 实时监控执行车辆:为了加强执行车辆的管理, 可限定车辆的行驶路线、区域范围、执法过程中不能随意停车。监控中心可能预先设定限制的路线及行驶区域范围, 一旦车辆辆驶出限定的范围或违规停放, 监控中心将自动发出相应报警信息。
(5) 手机监控:手机监控主要是利用手机终端的移动性, 用户可以随时在手机或者PAD上调阅感兴趣的视频资源, 来解决视频监控以往只能在监控中心或者办公室浏览视频的问题, 及时发现问题解决问题。
(6) 报警联动功能:对于执法车辆, 一旦遇到特殊情况, 执法人员只要按下报警开关, 平台监控中心就能同时收到报警信息, 这样, 就能及时地调看前端实时图像, 实现远程指挥决策。
(7) 平台分级管理:系统采用多级权限控制管理, 按实际的管理架构对每个用户赋予不同的权限和级别, 用户的权限主要分为功能操作权限和设备操作权限两部分, 只有被授权的用户方可进行操作, 权限可以被赋予, 也可以被收回。
4 结语
随着4G无线通信技术的发展, 4G车载视频监控将广泛应用于城管、公安、校车、公交、长运、物流等行业。
参考文献
车载数字电视广播移动监测系统 篇6
(1) 监测中波、短波、调频广播的播出质量、效果和覆盖范围; (2) 监测中波、短波、调频、电视伴音的播出质量和进行DRM (数字音频) 广播测试; (3) 监测中波、短波、调频各频率的发射带宽、场强、频谱分析; (4) 测试中短波频率的调幅度和调频信号的频偏容限; (5) 数字广播电视监测, 如对KU波段卫星电视、广播、开路数字电视、广播的误码率、信道功率等的测量、码流分析、画面评估、频谱分析等。数字电视监测系统包括对数字电视无线发射系统 (DVB-T) 、数字有线电视系统 (DVB-C) 、数字卫星电视系统 (DVB-CS) 和数字电视全向微波系统 (DVB-MS/MC) 的监测测量; (6) 传输网络设备监测, 即有线电视电缆传输泄露引起的干扰; (7) 绘制中波、调频、电视场强覆盖图; (8) 广播电视盒通信信号的双极化侧向和定位、搜索截获非法广播电视信号和非法电台; (9) 各种无线电干扰测试盒排查分析; (10) 数据库调用、测试数据储存、分析、打印功能; (11) 超短波无线电通信信号监测; (12) GSM和CDMA两种无线通讯和数字传输方式, 实时传送视音频信号; (13) 数字化地理信息系统 (GIS) , 将相关监测侧向的数据信息, 直接登录和显示在本地或异地的电子地图上。
2 系统组成
数字广播电视移动监测系统主要用于对数字电视、广播及移动电视的监测, 以及对中短波和超短波信号的监测测量、侧向和包括频谱分析在内的信号分析和统计分析。因此该系统应由以下系统组成:
(1) 双极化监测系统:如双极化监测天线、监测监听接收机、天线选择器、宽带低噪声放大器、RF信号处理器等;
(2) 卫星监测系统:如卫星接收天线、馈源、放大器、卫星接收机、频谱仪、控制器、调制解调器、高功放等;
(3) 双向极化侧向系统:如双极化测向天线、双信道测向接收机、天线选择器、宽带低噪声放大器、RF信号处理器、数字中频鉴相器等;
(4) 共用系统:如多信道监测接收、监测测向控制处理器、计算机、电源、GPS、电子罗盘、电子地图等;
(5) 监测测向软件系统:如数字卫星广播电视监测软件、中短波超短波广播电视监测测向软件、无线电信号监测软件、统计分析软件、干扰分析软件、数据库等。
3 系统框图
系统框图如图1所示。
4 主要设备配置
(1) 天线组:包括车载式中短波广播接收天线、车载式调频广播、开路TV接收天线、车载式对数周期天线 (选件) 、车载无线电信号监测天线由2个天线阵组成:1) 垂直极化测向天线阵:工作波段分为2段:低波段天线的工作频率范围是20～1 000 MHz。它们是五单元圆形阵, 低波段天线的直径是1 m, 五付垂直极化的偶极子天线是放置在直径为1 m的内接五边形的顶点, 高波段天线的直径是0.4 m的内接五边形的顶点。2个波段的天线位于同一平面内, 在空间错开一个角度。2) 水平极化测向天线阵:工作频率范围是45～1 000 MHz;也是五单元圆形阵, 天线的直径是1 m, 五付水平极化天线是放置在直径为1 m的内五边的顶点。由于天线单元是一种平面印刷天线, 厚度很薄, 放置高度基本与低波段垂直天线的中心高度相同, 但其占用的空间很小, 故对于垂直极化的测向天线影响非常小 (互相耦合很小) 。
(2) 卫星电视监测系统:工作频率范围:1～18 GHz, 包括天馈系统 (C波段线、圆极化和Ku波段的线极化的0.8 m短轴迂回抛物面天线, 偏馈线和L频段卫星信标跟踪接收机) 、高功率放大器、变频器、调制解调器 (调制方式包括BPSK、QPSK) 、卫星传输下行系统 (LNB放大和变频、频谱仪、调制解调器、接收机等) 、卫星地球站上行射频信号监测系统。
(3) 天线矩阵开关:使用2个天线矩阵开关, 轮流选择需要进行测向天线阵的天线对。低端天线矩阵开关是3×5∶2的组合方式, 高端天线矩阵开关则是2×5∶2的组合方式, 天线矩阵开关的工作由系统中的监测/测向处理设备完成对其的控制。
(4) 双功能放大器:自动实现矩阵开关输出端信号小电平的放大和大电平的直接通过。
(5) 数字中频鉴相器:实现数字鉴相, 将提取的相位信息直接送给计算机, 通过相关算法和测向软件计算给出被测信号源的方位角。
(6) 监测、测向处理单元:是系统中设备的控制和驱动单元, 也是其他各分系统的供电单元。
(7) 中央处理单元 (计算机) :提供友好的用户界面, 并高速完成数据处理, 输出最后结果。
(8) 电源:本系统采用多种供电方式, 确保在任何条件下可以快速安全启动监测设备:220 V交流供电、UPS电池组合供电、汽车发电机逆变器供电。
(9) 各种附加设备:包括车头方位指示器、电子罗盘、GPS接收机。
5 系统主要技术指标
(1) 中短波和调频信号监测:1) 频率范围:9～1 000 MHz (～3 000 MHz无线电信号) ;2) 频率测量分辨率:1 Hz;3) 频率稳定度:5×10-8;4) 信号电平测量分辨率:≤±0.1 dB;5) 场强测量误差:≤±2 dB;6) 二阶截点:>40 dBm;7) 三阶截点:>18 dBm;8) 镜频抑制:>90 dB;9) 中频抑制:>90 dB;10) 动态范围:120 dB;11) 噪声系数:<12 dB;12) 扫描速度:1 000信道/s;13) 驻波系数:<2。
(2) 卫星电视监测:1) 频率范围:1～18 GHz (接收天线) ;2) 卫星监测:C波段:TX 5.85～6.425 GHz;RX 3.625～4.2 GHz;3) Ku波段:TX 13.75～14.5 GHz;RX 10.95～12.75GHz;4) 天线增益:4.0 GHz、28.4 dBi;5) 6.5 GHz、33.7 dBi;6) 8.0GHz、34.4 d Bi;7) 12.0 GHz、38.2 dBi;8) 放大器增益:≥57dB;9) 噪声温度:50°K;10) 频率稳定度:>10-8。
(3) VHF/UHF测向:1) 工作频率:垂直极化20～3 000MHz, 水平极化45～1 000 MHz;2) 测向灵敏度:垂直极化:5～1μV/m、20～1 350 MHz、3～8μV/m、1 350～3 000 MHz、水平极化:6～1μV/m、45～300 MHz、3～10μV/m、300～1 000MHz。
(4) 测向精度:垂直极化:1°rms、100～3 000 MHz;2°rms、20～100 MHz;水平极化:1°rms、100～1 000 MHz;2°rms、45～100 MHz。
(5) 最小测向时间:10 ms。
(6) 带内抗干扰度:<3 dB。
(7) GPS定位误差:≤10 m。
(8) 定北误差:<1°。
6 结语
该系统采用的是全数字多极化多信道数字广播电视 (含KU波段卫星电视) 和无线信号监测及相关干涉仪侧向体质, 并在同一系统中同时实现, 广泛应用于各地广播电视监测台。
参考文献
[1]都世民.实用电视接收天线手册[M].电子工业出版社, 1993
[2]方德葵.卫星数字传输与微波技术[M].中国广播电视出版社, 2004
[3]余华.电波与天线[M].中国电子出版社, 2003
[4]方德葵.电视与调频发送技术[M].中国广播电视出版社, 2005
车载移动视频 篇7
车载视频智能监控是智能交通领域的一个重要研究课题,它能方便用户实时、直观地监控车辆安全情况。传统的车载视频监控系统一般采用固定的PC监控方式,因而需要在指定的地点,并且在有专用网络设备支持的情况下才能对目标现场进行监控,这大大限制了监控系统的应用范围和灵活性[1]。近些年随着移动互联网的普及,市面上也出现了移动车载视频监控的解决方案,但是又存在视频画质不理想、整体用户体验较差的问题,同时车辆的移动性也对网络资源利用率提出了更高的要求。
本文在Android平台下提出了车载视频智能监控的解决方案。利用该方案,通过实现NAT穿透和P2P、C/S混合网络架构,提高了网络健壮性和资源利用率;通过设置缓冲区和调用FFmpeg多媒体解码框架,提高了高清实时监控性能。实践表明该方案能适应不同网络条件,满足了实际项目播放需求,具有良好的用户体验。
1 系统整体结构
本系统是基于Android平台开发的车载视频监控系统。该系统主要由三部分组成,即车载端、视频传输网络和监控端。系统整体框架如图1所示。
车载端基于Android平台开发,首先车载端会采集视频数据,然后对采集的数据进行H.264编码和实时传输协议(Real-time Transport Protocol,RTP)封包处理,最后将处理后的视频数据通过网络传输到监控端;视频传输网络基于点对点网络(peer-to-peer,P2P)和客户机、服务器结构(Client/Server,C/S)的混合网络架构,其传输方式会优先选择P2P连接,当P2P连接无法对网络地址转换(Network Address Translation,NAT)成功穿透而连接失败后,再通过中转服务器进行数据中转,有效节省网络带宽,提高网络资源利用率;监控端基于Android平台开发,首先监控端在异步线程接收到网络传来的包数据,并对这些数据进行RTP解包和FFmpeg解码,最后将解码后得到的图像通过Image View实时更新显示给监控者。
2 系统实现原理
2.1 视频车载端
2.1.1 视频采集和编码
视频采集过程中,预览图像会占用大量内存,内存占用过大会导致内存溢出,严重时会造成程序崩溃,本系统通过Camera.Preview Callback的on Preview Frame回调函数,实时截取每帧视频流数据,并以set Preview CallbackWith Buffer(Camera.Preview Callback)的方式使用上述回调,提供一个字节数组作为缓冲区,用于保存预览图像数据,以有效管理预览图像时内存的分配和销毁。
移动网络的带宽有限,为了呈现高质量的监控画面,需要实现高编码压缩比。H.264充分地利用了各种冗余来达到高效的数据压缩比率,同时还具备高质量流通的图形,采用高度负责的算法,使其成为当前在低码率下压缩比率最高的视频编码标准[2]。所以本系统通过H.264技术来进行数据编码。
2.1.2 视频封包
数据包到达时间随机性是视频数据传输中很关键的问题,本系统采用RTP[3]协议来负责视频数据封包,利用数据包的时间戳、发送序号等字段来控制数据流的传输。
但如果RTP包大于最大传输单元(Maximum Transmission Unit,MTU),会导致底层协议任意拆包,这会使RTP包被分割后丢失的可能性增大,以致影响接收端数据的恢复,因而一般采用对网络抽象层(Network Abstract Layer,NAL)单元进行分类处理,共有单一NAL单元模式、组合封包模式和分片封包模式3种封包策略。
本系统因不存在音频数据,而H.264 NAL单元都含有较大数据量,故没必要采用组合封包模式。本系统将RTP包长设定为1 024 B,将超过1 024 B的NAL单元采用分片封包模式,不超过的采用单一NAL单元模式。
2.2 视频传输网络
视频传输网络在监控系统中占有至关重要的地位,视频数据传输质量的好坏直接影响了监控系统的使用效果。本系统采用面向无连接的用户数据报协议(User Datagram Protocol,UDP)来负责视频传输工作,并在传统C/S模式的基础上混合P2P传输技术,减少网络带宽的消耗,提高网络资源利用率。网络传输的简要工作流程如图2所示。
2.2.1 心跳机制
系统网络传输的数据发送和接收都是通过SOCKET来进行,但倘若此SOCKET是断开状态,则在发送和接收数据时就不能保证数据能有效到达,所以本系统通过搭建状态服务器来管理各车载端和监控端的在线状态(即SOCKET连接状态)。状态服务器会进行如下操作:
(1)启动新线程A1,监听端口4112,接收车载端每隔30 s发来的心跳包,处理心跳包中的JSON数据并更新内存N2中车载端的状态。
(2)启动新线程A2,监听端口4113,接收监控端每隔30 s发来的心跳包,处理心跳包中的JSON数据并更新内存N1中监控端的状态。同步返回监控端对应的车载端的JSON格式的数据集合,以便监控端在界面上更新车载端的状态显示。
(3)启动新线程A3,每隔60 s执行一次,循环N1中的监控端和N2中的车载端,根据时间戳判断监控端或车载端是否已掉线,如掉线则更新对应的内存中的状态。
2.2.2 NAT穿透
在实际网络环境下由于IPv4地址短缺,使得许多客户机都是通过NAT技术来共用一个公网IP地址[4]。NAT隐藏了参与构建P2P网络的大量用户节点,使得NAT穿透往往是制约P2P成功连接的关键。
NAT[5]可分成圆锥型NAT和对称型NAT两种类型。对于圆锥型NAT,本系统采用UDP对NAT的简单穿越(simple traversal of UDP through NAT,STUN)方式能很好地解决UDP穿透问题,但因STUN方式对于对称型NAT不能提供有效的外部IP地址和端口号,所以无法成功穿透。
针对无法穿透对称型NAT的缺陷,本系统采用基于端口预测的方法来解决,能够在较多的场合尽可能地建立P2P连接。本系统对项目中存在的对称型NAT网络环境进行分析发现,对称型NAT对于从内部网络依次接收到的新连接,分配的输出端口大致有两种情况:
依照空闲端口按序连续分配的情况。因为在穿透过程中,车载端两次数据的发送间隔不会很长,NAT为其分配的新输出端口号相对于其原端口号的偏移量是一个较小范围内的正数,因此系统可以在监控端执行端口探测,当收到车载端对该UDP报文的回复就意味着穿透成功。
在一定端口范围内随机分配的情况。虽然车载端NAT两次输出端口号间的偏移量具有随机性,并且不同的设备和网络环境也会产生较大的区别,但实际上每次分配的端口号之间都会具有一定的函数关系或统计上的关联性。因此,可以通过研究其分布特性来预测,实施试探性穿透。
2.3 视频监控端
2.3.1 视频解包
由于网络传输时受到MTU的限制,因此视频数据在发送时被分割成一个个独立的数据包进行传输。监控端收到这些数据包后,必须按一定规则将这些包重新组合还原,然后才能进行解码播放。但当网络传输不稳定时,系统易出现包乱序和丢包现象。
对于包乱序处理,当监控端收到的RTP数据包没有正确排序时,本系统就需要按照包序列号进行重排。本系统在内存中建立双向链表来充当缓冲区,当接收到数据包后就按包头的序列号插入至对应位置。比如,接收到一个序列号SN=3的RTP包,就从链表尾开始搜索并插入到2、4节点中间。本系统缓冲区的最大长度设置为30时,能起到较好的缓冲效果,同时也能避免对设备内存造成较大负担。
对于丢包处理,在H.264编码标准中,共定义了I帧、P帧、B帧3种帧。I帧为关键帧,存放完整的数据;而P、B帧是辅助帧,存放运动矢量或边缘信息,需要对关键帧进行参考。所以,本系统在数据传输过程中,如关键帧数据丢失,对其他的P帧和B帧数据都会造成影响,因此必须将关键帧连同其他相关帧全部舍弃。如果辅助帧数据丢失,只会对当前帧数据产生影响,则只需将当前帧直接舍弃。
2.3.2 视频解码和播放
Android自带的Media Player支持的媒体格式仅局限于Open Core中所支持的媒体格式。FFmpeg是一种包含音视频录制、转换以及编解码等功能的开源解决方案,其支持包括H.264在内的多种编码格式的编解码,具有较高的执行效率。
系统采用交叉编译的方式将FFmpeg引入到Android中来实现H.264解码,FFmpeg编译模块编译生成libffmpeg.so文件之后,供Android系统的Java本地接口(Java Native Interface,JNI)层调用。
libffmpeg.so文件的调用较为复杂,本系统采用重新编译生成一个so文件进行调用。这个so文件包含的是jni方法,这些方法能通过Java层进行调用,而方法中用到的函数则来自于libffmpeg.so文件。
首先需要编辑android.mk文件,文件具体内容如下:
成功编译android.mk文件后需编辑com_act1_H264.c文件,此文件包含本地定义的方法,这些方法调用ffmpeg解码库函数,可解码H.264格式的视频数据。
com_act1_H264.c文件编辑成功后,就可执行ndkbuild语句进行编译,编译完将生成libffmpegutil Decode.so库文件。
在项目中通过如下语句加载libffmpegutil Decode.so库文件。
libffmpegutil Decode.so库文件载入完毕后,就能通过调用本地定义的方法解码视频数据。本地定义解码函数如下所示:
在解码成功后生成的Bitmap需要实时显示,所以Image View作为图像容器类必须进行实时更新。如果实时更新UI界面的大量工作放在主线程进行,可能会造成线程阻塞、视频卡顿等问题。因此本系统另启子线程来完成数据的接收和解码等耗时操作。视频解码播放流程如图3所示。
目前,上海某公司已采用此系统进行试用,监控端显示界面如图4所示。
3 系统性能测试
本系统针对100M带宽Wi Fi、4G、3G这3种不同网络条件进行了系统性能的综合测试,监控端视频图像分辨率为640×480,每种网络条件分别测试20次,计算平均值。以Android监控端统计的网络时延、抖动、丢包率和整体P2P连通率作为系统性能的考量依据。Wi Fi、4G、3G下系统测试结果如表1所示。
从表1可以看出,该系统在3种网络条件下都能实现较低的时延、抖动、丢包率和较高P2P连通率,能满足监控的高清实时性能需求。
4 结论
移动互联网时代的到来为车载视频智能监控系统在智能交通领域的发展升级带来了新的机遇。针对传统车载监控系统存在的高清实时性能较差、网络资源利用率低的问题,本文提出一种基于Android平台的车载视频智能监控解决方案,采用P2P和C/S混合网络架构,并利用多线程分别解决视频的接收、解码,通过缓冲机制解决视频卡顿问题。经过实验测试验证,本系统能适应不同网络条件,能实现以较满意的网络资源利用率和视频监控质量对车辆进行实时监控。
参考文献
[1]李佳毅,徐晓辉,苏彦莽,等.基于Android平台的智能温室视频无线监控系统[J].农机化研究,2013,35(8):188-191.
[2]罗欢,谢云,李丕杉.基于Android智能电视的视频监控的设计[J].电视技术,2013(22):85-87.
[3]PERKINS C.Rtp:Audio and video for the internet[M].Addison-Wesley Professional,2003.
[4]SRISURENSH P,NETWORKS J,EGEVANG K.Traditional IP network address translator(traditional NAT),RFC 3022[Z].IETF,2001.
【车载移动视频】推荐阅读：
无线车载视频监控系统05-11
移动视频应用07-17
移动微视频05-14
移动视频直播07-19
移动视频传输论文07-08
移动网络视频论文07-24
移动互联网视频08-05
移动短视频APP08-23
移动视频工作站09-14
视频通信进入移动终端09-02