海量视频点播（通用3篇）
海量视频点播 篇1
摘要：针对在海量交通监控视频存储应用场景下异构HDFS无法有效利用数据节点性能这一问题, 提出异构HDFS下一种数据节点层次化组织架构。该架构将数据节点按性能进行层次化分组, 将性能接近的数据节点划分在同一分组, 不同性能的数据节点则呈现梯度化组织, 确保在交通监控视频写入时, 关注度较高的事件视频优先存储在高性能数据节点上, 在保证视频数据高效存储的同时, 充分发挥节点性能以提高事件视频检索响应速度。实验表明该架构有效利用了集群资源, 提高了系统吞吐量。
关键词：交通视频,HDFS,交通事件,节点分组,吞吐量
1 引言
随着城市智能交通系统的发展, 高清网络监控设备得到广泛部署, 随之产生的海量交通监控视频数据对传统监控视频存储系统的吞吐量、处理能力、可扩展性等方面提出了严峻挑战。利用HDFS[1,2] (Hadoop Distributed File System) 进行大规模交通监控视频的存储和检索是一种高效、可靠、可扩展的数据存储方案。但默认的HDFS在海量交通监控视频存储和快速检索应用场景下还存在一些不足:随着横向扩展, HDFS集群会由于主机配置参差不齐而变成异构, 默认的HDFS可能会将高访问量的视频数据放置在低性能节点上导致数据访问延迟较高而高性能节点相对空闲, 系统资源无法充分利用的情况。针对以上问题, 本文提出了一种异构HDFS中数据节点层次化组织架构, 达到了更加有效的利用集群资源的目的。
2 异构HDFS的相关背景及研究现状
HDFS采用了典型的主从式架构设计, 实现了文件系统元数据和应用数据存储的分离。每个集群都有一个Namenode的单一实例, 负责HDFS命名空间的管理和实现客户端对文件访问的控制。而每个集群中至少会包含几个作为HDFS从节点的数据节点, 负责响应来自HDFS客户端的读写请求, 完成文件的存储和访问。从Namenode的角度来看, 所有数据节点在逻辑上是一个统一的存储整体。如图1所示。
Namenode认为每一个Datanode都是数据块的集合, 具有统一的特征。Namenode不区分数据节点间的配置差异, 在数据存储时使用基于随机的机架感知策略将数据分布存储在所有的数据节点上, 即HDFS默认Datanode是同构的, 并不考虑节点间的性能差异。在实际的应用中, 如果Hadoop集群里面存在主机配置参差不齐的情况, 则对于那些高配置的主机来说, 它们的很多资源会处于空闲状态, 其工作量相对于那些配置较低的主机来说却已经饱和了, 因而会导致无法充分发挥节点性能的情况。
针对异构Hadoop集群, 国内外已经进行过很多研究工作。文献[3]分析了异构Hadoop中能够影响集群性能的一些问题, 并从集群配置、应用相关逻辑等方面提出了一些指导原则来提高集群性能。文献[4]提出了一种在异构Hadoop集群中的Map Reduce任务调度方法Throughput Scheduler, 通过自动学习机器性能和任务特征, 优化到节点的任务的分配, 减少了总的任务运行时间。类似的, 文献[5]设计了简单而又健壮的调度算法LATE, 利用预测完成时间来推测运行那些耗费应答时间最高的任务。在文献[6]中则提出了一种异构Hadoop中的混合任务调度方法, 通过根据系统的负载和可以资源动态使用切换FIFO、Fair Sharing、COSHH三种任务调度方法提高了系统性能。在数据存储方面, 文献[7]通过将区分数据的热度来选择性的将数据存放在DAS或者NAS上来在提高吞吐率的同时减少存储开销。文献[8]则通过Super Datanode将存储和计算分离来提高集群性能。
3 基于节点性能分组的数据节点层次化组织架构
在海量交通监控视频存储应用场景下, 数据具有显著的按事件分类的特征, 其中事件视频是用户主要关注的数据, 此类数据的用户检索量要明显高于不包含事件的视频数据。使用HDFS作为海量交通监控视频存储系统, 随着集群的扩展, 集群会由不同性能的数据节点组成。在使用异构HDFS集群过程中, 按照HDFS基于数据节点同构的默认节点管理方式, 可能会发生高关注度的事件视频被存储在低性能数据节点上的情况。也因此导致低性能节点响应数据请求较慢而高性能节点却相对空闲, 系统资源无法充分利用的现象。
本文提出了一种HDFS中基于节点性能分组的数据节点组织架构。该架构将数据节点按照节点性能进行分组组织, 让Namenode可以按数据特征选择最合适性能的数据节点放置数据从而优化集群的资源利用率。该架构是一种逻辑上的架构, 分组的成员不受物理距离的限制, 位于不同机架上的节点可以位于同一个分组当中, 如在集群扩展之前的数据节点分布在不同机架上, 而在扩展之后这些节点的相对性能较差, 这些节点可以划分到同一分组。如图2所示为本文提出的数据节点分组的HDFS网络拓扑图, 每一个分组的节点都可能包含了不同机架中的节点, 如Node Group1中的数据节点可能来自与Rack1和Rack2。
基于节点性能分组的数据节点组织架构在默认情况下, 将所有数据节点分为三组:高性能组-缓存数据组-数据存储组, 节点组织架构如图3所示:
假设此图中的Hadoop集群为经过横向扩展后的异构集群, 由3个机架组成, 分别为机架1 (Rack1) 、机架2 (Rack2) 、机架3 (Rack3) , 每个机架都包含多个数据节点。集群中的数据节点按照性能排序可划分成三个层次, 图中3种虚线矩形代表了数据节点分组, 数据节点的分组划分如下:
(1) 机架1和机架2中分别包含集群中相对性能最好的数据节点, 如这些节点配备了SSD存储、更大的内存, 则将这些数据节点分组到高性能组;
(2) 机架3中包含了性能居中的数据节点, 将这些节点划分为缓存数据组;
(3) 集群中剩余的节点相对性能较差, 则将这些节点划分到数据存储节点组;
此处的性能可由管理员按照应用任务的需求, 如计算密集型或者I/O密集型来进行定义。本文所研究的应用场景为交通监控视频的存储, 为I/O密集型, 因此, 此处我们的性能主要是考虑节点的I/O性能, 如配备的SSD的数据节点比配置了普通机械硬盘的节点具有更好的性能。
4 基于节点性能分组架构的交通视频存储
在海量交通监控视频存储应用场景下, 多路高清监控设备产生了大量交通监控数据, 这些数据首先都要被高效可靠的进行存储, 以用于针对智能交通应用的后期处理, 如检索回放、交通流量数据分析等需要。在这些交通监控视频数据当中, 包含交通事件的视频由于价值较大, 用户对其关注度比较高, 往往是用户检索查询的主要目标, 交通监控视频存储系统的用户读取数据请求往往集中于这部分数据上。系统响应用户请求的速度越快, 带给用户的体验越好, 本文在上述HDFS上基于节点性能分组的数据节点层次化组织架构下, 设计了交通视频存储和检索时的数据节点分组选择方法, 以结合交通监控视频的特征进行数据存储, 充分利用系统资源, 提高系统性能。
在以上前提下, 基于节点性能分组的数据节点组织架构在数据写入时根据视频文件的事件类型来为文件选择分组进行放置, 包含高关注度类型事件的监控视频应该在高性能组存有副本, 保证用户在检索查看视频时能够得到较快的响应。为此本文定义了事件类型的分组选择概率P, 表示对于包含某一类型事件的视频文件, 其副本被存放在高性能组的概率为P, 被存放在缓存数据组的概率为1-P, P的定义如下:
假设当前事件类型种类总数为S, 为事件类型关注度从小到大进行排序, 对于事件类型E, 假设其事件关注度的排名为R, 则事件类型为E的分组选择概率为PE:
基于以上设定, 在层次化数据节点组织架构下, 写入交通监控视频数据时的分组选择流程如图4所示。结合图3的基于性能分组的数据节点组织架构, 图4中所示写数据的具体过程阐述如下:
(1) 系统接收写入的视频文件, 并获取视频文件的事件类型以判断视频文件是否为事件视频;
(2) 如果视频文件为非事件视频, 则在数据存储组中放置此文件的所有副本;
(3) 如果视频文件包含交通事件, 按公式1计算此文件的分组选择概率P;
(4) 根据分组选择概率P, 为事件视频的第一个副本选择数据放置节点。概率P的大小决定了此文件时放置在高性能节点组还是在缓存数据组, 如图3中的文件1、文件2事件类型关注度排名较靠前, 所以它们的一个副本放置在了高性能节点组, 而文件3、文件4则被放置在了缓存数据组;
(5) 将文件要写入的副本数减1, 如果剩余要写入的副本数为1份, 则将此副本放置在数据存储组。
(6) 剩余要写入的副本仍大于1时, 如果第一个副本放置在高性能组中, 则从高性能组或者缓存数据组随机选择分组放置第二个副本。否则, 从缓存数据组或者数据存储组中随机选择分组放置第二个副本;
(7) 将事件视频所有剩余的副本选择数据存储组来进行放置;
通过将上述写入过程应用到基于节点性能分组的数据节点组织架构中, 可以将数据量较大但是用户关注度较小的视频数据存储到性能较低的数据节点中进行存储。同时, 将用户关注度较高而数据量相对较少的事件视频文件存储到性能较好的数据节点分组当中去。文件事件类型的用户关注度越高, 则相应存储此文件的数据节点性能越好。因为读取数据的速度通常高于写数据的速度, 通过分离读写压力, 充分发挥了各部分节点的性能, 避免低性能节点写繁忙造成读取数据的延迟。由此, 可以充分利用异构HDFS集群数据节点的资源性能, 用户在检索数据时也可以得到较快的响应。
5 实验与分析
本文按提出架构修改了Hadoop2.2, 在实验集群上分别部署了默认的和改进的Hadoop2.2并进行了对比实验。实验集群包括1个名字节点, 3个数据节点, 节点为异构的, 硬件配置如表1。集群配置时Datanode1被划分在高性能节点组, Datanode2和Datanode3分别划分为缓存数据组和数据存储组。
实验假设视频的事件类型分为4种事件类型, 设为类型A, B, C, D, 事件类型的用户关注度A>B>C>D, 则按照公式1计算得到的分组选择概率为{1, 0.75, 0.5, 0.25}, E为非事件类型的视频。为了模拟实际视频监控系统不断写入视频数据同时系统接受视频数据检索请求的场景, 本文按照表2所列文件读写次数对系统进行了写入读取并发测试, 读写吞吐量对比如图5所示。由于读数据引起的等待影响了写入速度, 使得默认情况下的写入吞吐量低于节点分组架构。而通过分离读写压力, 充分发挥各部分节点的读写性能, 基于节点性能分组架构下的读取吞吐量为默认情况下的1.56倍。
6 结论
在海量交通监控视频存储应用场景下, 本文针对默认HDFS不考虑数据节点的异构性从而无法充分利用数据节点性能这一问题, 提出了一种基节点性能分组的数据节点组织架构, 该架构可以让管理员通过配置, 将不同性能的数据节点划分为不同的分组。在写入和读取数据时, 根据数据特征需求选取合适的数据节点分组从而充分利用HDFS中的节点性能。在此架构下, 本文设计了交通监控视频存储应用场景下的视频数据存储方法, 将不同的事件视频分发到不同的数据节点组中去。最后通过实验证明了该数据节点组织架构提高了系统的吞吐量。
参考文献
[1]Borthakur D.The hadoop distributed file system:Architecture and design[J].Hadoop Project Website, 2007, 11:21.
[2]Shvachko K, Kuang H, Radia S, et al.The hadoop distributed file system[C].Mass Storage Systems and Technologies (MSST) , 2010 IEEE 26th Symposium on.IEEE, 2010:1-10.
[3]Rao B T, Sridevi N V, Reddy V K, et al.Performance issues of heterogeneous Hadoop clusters in cloud computing[J].ar Xiv preprint ar Xiv:1207.0894, 2012.
[4]Gupta S, Fritz C, Price B, et al.Throughput Scheduler:Learning to Schedule on Heterogeneous Hadoop Clusters[C]//ICAC.2013:159-165.
[5]Matei Zaharia A K, Joseph A D, Randy Katz I S.Improving Map Reduce Performance in Heterogeneous Environments[J].2010.
[6]Rasooli A, Down D G.A hybrid scheduling approach for scalable heterogeneous hadoop systems[C]//High Performance Computing, Networking, Storage and Analysis (SCC) , 2012 SC Companion:.IEEE, 2012:1284-1291.
[7]Krish K R, Khasymski A, Butt A R, et al.Apt Store:Dynamic Storage Management for Hadoop[C]//Cloud Computing Technology and Science (Cloud Com) , 2013 IEEE 5th International Conference on.IEEE, 2013, 1:33-41.
[8]Porter G.Decoupling storage and computation in Hadoop with SuperDatanodes[J].ACM SIGOPS Operating Systems Review, 2010, 44 (2) :41-46
海量视频点播 篇2
目前的基于内容的视频检索系统主要是利用视频处理技术, 通过对视频内容进行分析处理, 将视频分割成不同的场景和片段这两个层次, 然后提取出视频片段中的纹理、颜色、形状、运行等全局特征, 最后通过特征的匹配来实现视频的检索。这方面比较有代表性的系统是Fischlar系统[6]和IBM公司的Multimedia Search and Retrieval System[7]。而日常生活中的监控视频与普通视频相比, 有如下特点:1) 监控视频的背景变化缓慢。因为一般监控摄像头都是固定在某一特定的场合, 其录制的监控视频都是在某一特定场合下的视频;2) 监控视频有较大的冗余。监控视频中经常会出现较长的“静止”画面;3) 监控视频中最感兴趣的信息一般是行人、车辆等。因此, 针对监控视频的这些特性, 使用类似于Fischlar系统等系统, 会产生建立索引的计算量太大, 检索效率低以及不能有效检索所需要的感兴趣信息 (行人、车辆等) 等问题。
本文提出了一种基于内容的监控视频检索系统的构建方法。根据监控视频的场景变化缓慢的特点, 使用关键帧提取技术[8,9]来生成视频摘要, 通过精简的关键帧图像来反映监控视频的主要信息。人们通常对监控视频中的行人、人脸以及车辆等信息更感兴趣, 因此利用机器学习方法对这些感兴趣区域进行识别, 然后提取出关键帧图像中的车辆图像、行人甚至人脸图像。将生成的这些图像信息及监控视频之间建立关系映射, 并存储在关系型数据库中。然后利用开源的CBIR (ContentBased Image Retrieval) 工具Lucene Image Retrieval[10,11,12]构建基于内容的图像检索系统。首先分别将生成的关键帧图像、车辆图像、行人图像和人脸图像建立基于颜色、纹理、边缘等特征的索引, 形成多层次的信息数据库。然后根据用户输入的待检测图像, 检索出相同或者相似的目标图像, 再根据关系型数据库中保存的目标图像与监控视频的对应关系找到对应的监控视频。最终完成了根据图像内容检索目标监控视频的目的。因此, 本文提出的基于内容的海量监控视频的多层次检索系统主要包含关键帧提取子系统、车辆检测子系统、行人检测子系统、人脸识别子系统、视频数据库管理子系统、基于内容的图像检索子系统、数据库管理子系统、Web应用和用户交互界面等模块。实验表明, 该系统能够高效准确地检索出所需监控的视频。该系统采用Java Web开发技术, B/S (Browser/Server) 系统架构, 具有很强的实用性、可移植性及可扩展性。
1 相关技术
1.1 关键帧提取
视频摘要技术主要分为两大类, 即关键帧 (Key Frames) 技术和缩略视频 (Video Skim) 或浓缩视频 (Video Synopsis) 技术[13]。结合监控视频的特点, 本文使用的是关键帧技术。常见的关键帧算法有:帧差法 (Frame Difference) , 近似平均法 (Approximate Median) , 混合高斯法 (Mixture of Gaussian) 。本文选取效果较好的混合高斯法。在用混合高斯模型法获得关键帧时, 首先建立混合高斯模板[14,15], 通过计算新建像素模板与已知模板的相符程度判断某一像素属于前景还是背景。学习速率的选择对背景图像的准确性有一定的影响, 更新速度过慢会延长背景建立的时间;更新速度过快又可能将短暂停留的前景目标误当作背景。
1.2 行人检测和车辆检测
基于高斯混合模型, 获得了能够体现视频内容的关键帧集合。由于同一场景下占有视频帧较大比例的背景图像变化不明显, 直接用关键帧进行检索的准确率大大降低, 这就要求对检索范围进一步缩小。在监控视频中, 行人和车辆是主要关注的目标, 因此采用HOG (Histograms of Oriented Gradients) [16]的方法来检测行人与车辆。HOG训练样本时分为两大部分, 包括特征提取和训练方法, 流程图如图1所示。特征提取的流程包括:色彩的伽马归一化, 梯度的计算, 构建以cell为单位的利用梯度幅值作为加权方案的方向直方图, 将多个cell单元的方向直方图组合为更大的区间块block并对block内的直方图向量进行标准化, 最后合并检测窗口内的block直方图向量。训练方法采用的是支持向量机 (Support Vector Machine, SVM) [17]中简单的线性SVM训练得到检测行人和车辆的相关系数, 使用SVM进行目标检测的流程如图1所示。
1.3 人脸检测
对于检索到的行人图像, 对其进行人脸检测, 以提高检索的效率。本文中人脸检测采用的是Viola P等人提出的级联Adaboost方法[18], 利用积分图法来加快Haar矩形特征的计算, 利用多个最佳弱分类器训练到强分类器。在检测人脸时使用级联的方法来加快检测速度达到实时检测的要求。图2是人脸检测中分类器训练的流程图和人脸检测的流程图。
1.4 CBVR框架LIRe
LIRe是使用Java编程语言开发的一个可扩展的开源CBIR库[11]。其中, Lucene是Apache软件基金会项目组下的一个开源的全文检索引擎包, 它使用Java开发, 开发人员很容易对其扩展, 以定制自己的检索引擎。LIRe就是在Lucene的基础上, 结合图像的颜色、边缘、纹理及局部特征, 构建CBIR引擎包。LIRe使用的主要图像特大致可以分为如下几类:
1) 颜色, 如颜色布局 (Color Layout) 、可变长颜色 (Scalable Color) 、自动颜色关联图 (Auto Color Correlogram) 、联合直方图、RGB颜色直方图、Opponent颜色直方图等。
2) 边缘, 如边缘直方图 (Edge Histogram) , 分层梯度方向直方图 (Pyramid Histogram of Oriented Gradients) , 颜色和边缘的方向性描述符 (Color and Edge Directivity Descriptor, CEDD) , 模糊颜色和纹理直方图 (Fuzzy Color and Texture Histogram, FCTH) 等。
3) 纹理, 如Tamura Texture Features (粗糙度、对比度、方向度等心理学上的纹理特征) 、Gabor纹理特征等。
4) 局部特征, 如尺度不变特征变换 (Scale-Invariant Feature Transform, SIFT) 等。
LIRe检索图像分为2个步骤:1) 索引文件的生成, 即特征库;2) 根据用户输入的图像, 从特征库中查询出相同或相似的图像。图3是LIRe对一幅图像生成索引的流程示意图。从图中可以看出, LIRe首先提取图像的颜色、纹理等特征, 然后用对应的直方图数组来表示图像。最后, 按照Lucene的索引格式, 将特征数据写入到索引文件, 形成“特征库”。另外, 索引文件中还保存了图像的其他信息, 如图像的名称、图像所在路径等。
LIRe检索图像的过程示意图如图4所示, 检索图像需要经过如下步骤:
1) 对用户输入的图像进行特征提取, 生成相应的特征向量A;
2) 逐个读取“特征库”中的特征向量B;
3) 计算输入图像的特征向量A与向量B之间的“距离”;
4) 按照“距离”的数值, 从小到大排序。距离越小, 说明两者图像越相近。
不同特征类型的特征向量之间的距离衡量标准是不同的, 比如, 对于边缘特征, 使用l1范数, 即设U, V分别代表2幅图像的边缘特征向量, 它们之间的距离d表示为
式中:L为向量的长度。而且对于特征, 比如颜色特征, 使用l2范数距离, 即
而CEDD特征则使用Tanimoto系数, 然后将Tonim-oto系数转化为距离。Tanimoto系数的定义为
特征之间的距离d与Tanimoto系数之间的转化关系为
总之, 通过计算特征之间距离, 寻找出最相似的图像, 由于之前特征库中保存了图像的名称、路径等信息, 这样就能够找到与之相类似的原图像, 进而完成了“以图搜图”的全过程。
1.5 Java Web开发框架
本系统使用Java Web开发技术, 系统前端使用Java Script、Html和Jquery技术, 系统后端采用Struts2+Spring+Hibernate三大主流开源框架开发。结合LIRe完成基于内容的图像检索子系统。同时, 用Web的方式管理视频库、图像库和特征库。同时为该系统设计了用户管理模块。普通用户可以通过上传图像, 从多个层次检索所需视频。系统管理员拥有普通用户的权限之外, 还可以管理视频库、图像库和特征库, 控制索引文件的分布和存储。整个系统具有图像上传、图像特征选取、监控视频播放等功能。用户只需要使用浏览器就可以使用该系统, 充分体现了B/S架构的优点。
2 系统设计
2.1 多层次信息数据库设计
多层次信息数据库的结构图如图5所示。首先, 通过关键帧提取子系统提取出监控视频中的关键帧图像, 这些关键帧图像能够反映监控视频的主要内容, 在一定程度上去除了监控视频的冗余信息。其次, 使用行人检测子系统和车辆检测子系统对关键帧图像当中的行人和车辆进行提取, 同时, 对于行人图像, 再使用人脸识别子系统提取出行人中的人脸图像, 进一步提取出了监控视频中最感兴趣的部分。最后, 使用LIRe索引生成模块对生成的图像分别建立含有图像特征的特征库, 即Lucene的索引文件, 以备检索。另外, 为了能够根据检索出的图像查找到该图像所在的视频, 将视频与图像的关系保存在关系型数据库中。因此, 最终得到的多层次信息数据库包括视频库、关键帧图像库、行人图像库、车辆图像图、人脸图像库以及它们之间的关系数据库和特征库。
2.2 检索框架设计
系统采用B/S架构, 使用Java Web开发技术, 将系统的各个模块整合成一个多层次的检索系统。图6是系统的检索框架图, 用户可以从监控视频的场景图、行人图像、车辆图像或者人脸图像4个角度对监控视频进行检索。
检索过程如下:
1) 用户使用浏览器, 登录系统的Web页面, 从本地选择1幅图像 (场景、行人、车辆或人脸) , 同时需要选择检索时所需要的图像特征;
2) 浏览器将图像上传到Web服务器后台;
3) 服务器后台调用LIRe检索模块, 根据用户选择的特征, 对图像进行特征提取, 生成特征向量;
4) LIRe模块读取特征库, 将特征库中的特征向量与待检测图像的特征进行对比, 选择最相近的多幅图像, 根据相识度排序, 生成图像集;
5) 根据关系数据库中图像与视频之间的对应关系, 检索到与该图像对应的视频;
6) 后台程序将检索结果和检索时间等信息反馈到前端, 供用户浏览观看。
3 检索实验
整个海量监控视频检索系统部署在4台Sugon天阔I420r-G型流媒体服务器和2台Sugon海量存储服务器上, 系统总存储容量为24 Tbyte, 操作系统版本为Ubuntu Server 12.04LTS, JDK版本为Open JDK6, Web容器为Tomact6, 系统使用的关系型数据库为My SQL数据库。监控视频素材为选自公司内部监控视频、交通路口监控视频以及室内监控视频等, 数据量为15 Gbyte。系统主要分为检索模块、索引管理模块和系统管理模块, 用户在第一次进行检索之前, 需要使用索引管理模块生成对应的特征库。
图7~图9表示了一个检索实例, 其中图7为用户选择CEDD特征作为检索特征的检索入口页面。图8为用户上传的待检索图像。图9为检索结果的页面。从检索结果的页面中可以看到, 用户能够检索出与之相同或相似的行人图像, 并根据检索结果与原图像之间的“距离”依次排序。最右边一列为检索结果图像所属的监控视频, 用户可以对视频进行浏览和播放。同理, 用户也可以上传车辆图像、人脸图像或者场景图像对监控视频进行检索, 同样能够得到相应的监控视频。
图10是系统在当前配置下, 不同特征下的平均检索时间, 横坐标是图像特征, 纵坐标是检索所需要的平均时间。从图中可以看出, 在系统在当前实验环境下, 能够实时地检索出所需要的视频。
4 结束语
海量视频点播 篇3
随着省级变电站视频联网的推进和变电站高清视频技术的应用,视频存储在电力视频监控系统中变的越来越重要,存储的信息量也越来越大。监控视频存储系统可以更好地发挥变电站安全保障作用,值班人员可以能够更准确分析变电站异常状况并进行报警。事故追溯是变电站监控系统的重要功能,因此图像存储是视频监控系统非常重要的一个环节。
视频存储根据存储的画面质量不同对容量需求差别很大,随着画面质量的提升、监控路数的增加,对存储容量的要求会成倍增加。视频存储需要能够满足不间断的数据读写,数据流量大,但访问请求数量不高。目前视频监控数据保存周期短,一般要求为一个月,主要采取自动覆盖的方式。对于一些事故录像要求能长期保存,以便能进行事后分析,为事故预防打下基础。以720p为标准,每小时录像需要的硬盘容量约为4~8 Gbyte,如果要保存1个月,9路监控大约要21~42 Tbyte的容量,与传统的CIF格式相比,存储容量增加近10倍。因此为了使系统能够更好地运行,发挥更大的作用,视频监控系统对系统存储提出了更高的要求。
1 变电站图像监控存储系统的现状
变电站视频监控系统包括变电站子站和监控中心主站。在变电站安装子站系统,主要负责视频信息和报警信息的采集、编码与传输,采用DVR进行编码的子站还具有存储的功能,可进行当地录像存储。主站负责接收子站的图像信息和报警信息并显示,并能实现对子站的控制,有的主站设有存储服务器可以对变电站的信息进行存储。以上是传统的基于CIF或D1分辨力的显示和存储基本模式。根据在多个省的调研,大多数变电站视频监控系统采用分布式存储模式,监控中心很少安装专门的存储服务器。对于新建的基于720p分辨力的变电站视频监控系统在变电站本地都设有专用的存储服务器,在监控中心也安装有存储服务器。目前的存储基本是采用直接存储的方式,都是在服务器上连接几个磁盘,采用点对点的磁盘系统,存储的可扩展性和存储性能很难提高。DVR使用IDE硬盘,没有相应的数据保护机制,一旦硬盘损坏,将造成数据丢失。
随着高清视频监控系统的建设,由数字监控取代传统技术产生出的许多数字监控的新功能正在逐渐成为主流技术。原数字化监控的核心设备DVR逐渐减少,开始被以视频服务器结合IP SAN为核心的监控系统所替代。
2 SAN存储系统
SAN即存储区域网络(Storage Area Network),由存储设备和网络设备构成。它是一种新存储连接拓扑结构,主要用于代替现有的系统和存储系统之间的SCSI/O连接。SAN是一种将数据由数据处理系统传输到数据存储系统的方法。SAN的通信都在一个与应用网络隔离的单独的网络上完成,可以被用来集中和共享存储资源。它和以太网有类似的架构,由服务器、HBA卡、集线器、交换机和存储装置所组成。SAN可分为FC-SAN和IP-SAN,针对视频监控系统对存储的需求,这两种存储框架有各自的特点。
FC-SAN采用光纤通道技术,拥有自己的协议层。光纤通道支持3种拓扑方式:点对点方式,FC-AL方式和FC-SW方式。其中FC-SW即交换式光纤通道连接方式,最为灵活,但需要配备支持交换架构的交换模块或FC交换机。目前的主流FC产品的带宽可达4 Gbit/s,光纤磁盘高性能为FC磁盘阵列提供了存储速度基础。FC-SAN一般要单独组网,不会受到已有IP网络上的不安全因素影响,通过Zoning机制可以对SAN进行分区管理,避免了服务器和存储之间的非法访问,因此FC网络安全系数比较高。FCSAN的高性能对应的是它的成本较高,光纤阵列、光纤磁盘、光纤交换设备和光纤HBA卡等价格都比较高,也相应增加了专业维护成本。
IPSAN采用iSCSI通信协议,SCSI协议被封装于IP包中在LAN/WAN中进行传输,支持数据库应用所需的基于块的存储,iSCSI是基于块的存储。由于通过以太网进行传输,用户可以利用现有的以太网设施来部署iSCSI存储网络,这种部署方式不需要更改用户的网络体系,从而大大降低了部署成本。这种模式不但可以应用在局域网中,也可以跨过路由设备在广域网中实现,从而大大扩展了iSCSI存储网络的部署范围。这种模式的存储系统可以直接在现有的网络系统中进行组建,可以直接使用交换机来连接存储设备,因此iSCSI存储系统具有很高的扩展性,可以广泛应用到中低端的存储应用中。
表1显示的是FC-SAN、IP-SAN的一些性能比较。针对视频监控用户的需求和数据存储应用特点,IP-SAN架构是比较合适的。
3 海量存储技术在变电站图像监控系统的应用方案
现在各省市公司正在进行变电站视频监控系统的联网,按相关要求220 kV及以上电压等级的变电站视频都需要接入省级指挥中心。各部门间统一协调、统一管理的需求正越来越明显,大监控、全局监控的建设逐渐成为电力行业构建新一代监控网络的必然要求。省级变电站视频监控系统建成后,将是分布式、网络化的大型监控平台。系统通过网络连接了子站(变电站)、主站(地市供电公司视频监控中心和省电力公司视频监控中心),为三级架构。
3.1变电站视频监控系统现有的存储方式
3.1.1变电站前端存储
变电站前端存储是在视频监控系统的前端设备进行存储,由站端的远程视频单元(RVU)设备进行监控图像的本地录制和保存。对于前端存储,由于一个变电站安装的监控摄像机数量不多,大部分都在16路以内,存储时间一般在30天左右,所以对存储容量要求不高。用户既可以通过直接登录单个RVU进行录像资料的点播回放,也可以在统一监控平台进行对前端录像资料进行集中的检索和回放。
变电站前端存储具有几个优势:一是可以通过分布式的存储来减轻集控站或地市监控中心集中存储带来的容量压力;二是可以有效缓解集中存储带来的网络流量压力,保证实时视频信息的传输;三是由于图像直接在当地存储,在网络发生故障时仍然可以保存现场的图像信息,存储安全性较高。
3.1.2监控中心存储
在变电站视频监控系统中,有的采取监控中心集中存储的方式。站端设备采集监控点图像信息并编码压缩处理成数字码流,然后通过网络传送到监控中心管理平台,由监控中心管理平台将数据分发给相应的存储服务器进行集中存储。
有些大型变电站视频监控联网系统采用多级分布的中心存储方式,即建立主、分监控中心进行存储。以一个省级的电力视频监控联网系统为例,在省电力公司建立一级存储,在各个地市公司建立市级的存储中心,这样既可降低一个中心点集中存储带来的存储容量和网络流量的压力,同时也提升了系统的可靠性。
使用多级中心存储具有以下几个方面优势:1)检索和调用录像资源更为方便;2)存储内容的完整性更容易保证,对重要的视频信息可以在不同级别的存储中心都进行存储,这样不会因为某个前端设备故障而导致重要内容的丢失;3)有利于制定多样化的存储策略,以满足不同用户的需求,节省资源;4)运行维护更加方便。
3.1.3混合型存储
对于视频监控网络复杂、存储安全性和可靠性要求高的系统,可以采用既有集中存储也有前端存储的建设模式,这样的存储系统兼具二者的优势,提高了系统的安全可靠性,但建设和管理成本也相应增加。
对于大规模的变电站视频联网监控系统,比如全省电力视频联网系统,通常采用多级监控中心体系,每个级别的监控中心管理其辖区内的监控资源并进行存储。省市公司都可以对录像资源进行查询、下载,省级监控中心统一管理所有的视频资源和录像文件。这样的存储系统,以分布式存储作为基础,同时在省级监控中心设置网络存储服务器。短期的数据临时存放在变电站端和地市监控中心的网络存储服务器内,长期重要数据比如事故录像或反事故演习资料等上传到省级监控中心的网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中心的网络存储服务器,也实时传输到省级监控中心的网络存储服务器中作为备份。
3.1.4变电站视频监控系统海量存储解决方案
目前省级变电站视频监控系统采用混合型存储的模式,在变电站端通过硬盘录像机进行录像存储,变电站一般采用移动视频侦测录像或采取24 h自动覆盖录像。在地市监控中心通过采用IP-SAN方式进行存储,遇到发生设备故障、反事故演习或其他安全事件,将所运行维护的110 kV,220 kV,500 k V变电站的相关视频存储到地市监控中心。在地市监控中心制定备份计划,采用定时自动备份的方式,将超过30天的文件资料备份到市监控中心存储服务器相对应的目录中,并定期进行维护。在省级监控中心也采用IP-SAN方式进行存储,如遇到应急演练、重要变电站设备故障或其他安全事件,将省公司所属的重要220 k V变电站、500 kV变电站的视频录像保存到省公司。省监控中心可以随时调用地市监控中心存储的重要视频资料。系统结构如图1所示。
在进行视频监控的存储系统设计时,首先要对系统中摄像头数量、采集视频的格式和码率、视频服务器的数量等参数进行统计和分析,计算出系统中存储的总带宽压力和存储容量要求,设计存储系统的网络架构,然后再根据可选用的存储设备型号及价格成本,最终选定存储设备的型号。
对于存储系统容量,按照标准每路视频都若采用D1格式和定码流方式。D1格式流量为2 Mbit/s。单路和100路视频实际占用带宽分别为
单路视频每天存储容量为
单路视频每月存储容量为
100路视频每月存储容量为
对于高清视频监控系统,按照标准每路视频都若采用720p格式和定码流方式。720p格式流量为6 Mbit/s。单路和100路视频实际占用带宽分别为
单路视频每天存储容量为
单路视频每月存储容量为
100路视频每月存储容量为
4 小结
随着变电站视频监控系统联网的推进和电网全景预警系统的建立,视频监控系统呈现的新特点为:1)监控规模和范围越来越大;2)视频存储周期变长;3)监控视频清晰度越来越高;4)视频监控系统不再只提供简单的安防功能,已和其他电力生产辅助系统相结合,应用范围不断扩大。视频存储与应用在电力系统中的作用越来越重要。视频监控的存储系统随着存储技术的发展而不断进步,在构建存储体系时应综合考虑成本、用户需求、系统性能等因素。网络化、智能化是视频监控系统的发展方向,视频存储应能适应目前的发展趋势,提供基于网络的智能化存储、检索和回放。同时,由于无线系统大多构建在Internet的基础上,而变电站视频监控系统是建立在电力内网上的,如何实现内、外网视频信息的合理利用也是一个重要课题。
摘要：介绍了变电站视频存储系统的应用现状,针对近年来在监控系统中出现的SAN存储技术,介绍了FC-SAN和IP-SAN及其优缺点。重点阐述了视频监控系统的几种存储方式和省级变电站视频监控系统的存储方案及存储容量计算方法,并描述了今后视频监控存储技术的发展方向。
关键词：电力,变电站,视频监控,存储
参考文献
[1]许辉.存储技术在铁路综合视频监控系统的应用[J].铁路通信信号工程技术,2009,6(6):1-3.
[2]唐瑜珅.视频监控系统中的通用视频存储策略[J].硅谷,2010(8):16-17.
[3]陈利,潘正清,吕格莉.流媒体视频存储服务器设计与研究[J].计算机工程与设计,2010,31(4):906-910.
[4]劳定雄,封斌.城市视频监控系统综合网络管理平台的设计[J].广州航海高等专科学校学报,2010,2(18):39-41.
[5]吴玄.NVR,IP视频存储的未来[J].中国公共安全:综合版,2009(6):71-72.
[6]张丽,田银磊.FC SAN+IP SAN综合网络存储架构在数字化校园建设中的应用[J].科学技术与工程,2010,10(10):5098-5100.
[7]杨勇.FC SAN与IP SAN全面比较[J].广播与电视技术,2007,34(12):62-64.