存储系统

存储系统（通用12篇）

存储系统 篇1

在电视节目不断高清化发展的背景下,备播缓存逐渐被人们重视起来,备播缓存库的二级存储系统对高清播出有着重要的作用,随着网络技术的发展,基于网络存储技术的存储系统逐渐被开发出来,在此背景下,本文对基于网络存储技术的高清播出二级存储系统进行了简要的研究。

1 网络存储技术简介

网络存储系统结构经过了直连式存储(DNS)、存储区域网络(SAN)到网络连接存储、SAN+虚拟化存储的发展。当前主要用于高清播出二级存储系统的结构为SAN和SAN+虚拟存储技术,下面对这两种网络存储系统结构进行简要介绍。

1.1 SAN存储区域网

SAN存储区域网中的存储设备与服务器是互相独立的,其主要采用了FC光纤通道等连接设备与服务器主机相连,通过光纤协议实现存储设备数据的共享。在SAN存储区域网结构的基础上能够建立文件级服务器系统,即NAS网络连接存储系统,通过NAS就可以提供网络文件的共享服务,实现了高清播出存储的目的。

1.2 SAN+虚拟化存储技术

SAN+虚拟化存储技术是NAS与SAN的融合,且在存储性能等方面得到了升级,在SAN网络存储中的存储设备与服务器之间引入虚拟的智能存储管理层,这样就能够存储设备的管理,存储设备能够自行对存储设备空间进行管理,从而实现数据的存取与相关数据的条带化管理[1]。SAN+虚拟化存储技术是一种虚拟的存储技术结构,其带内和带外都是虚拟化的存储方式。对于带内虚拟化而言,在控制和管理元数据的时候可以共享存储通道;而带外虚拟化存储不需要数据存储通道,在存储控制器之外,利用第三方软件就能够实现存储服务,能够收集处理数据流中的元数据。

2 高清播出二级存储系统的设计

2.1 容量规划

以中央电视台为例,中央电视台当前共有10高清频道,每个频道要求15天的节目素材,每天节目播出时间计算为12个小时,这样就可以根据高清节目的码流进行计算:

每小时的高清节目素材量=视频数据+音频数据;

单个频道一天的高清节目量=每小时高清节目素材量×12h;

10个频道15天的总素材容量=各频道1天高清节目量×10个×15d。

同时要考虑到30%的存储冗余,因此得出实际的存储容量如下:

存储容量=总素材量÷(1-30%)

2.2 带宽性能

高清频道以3倍速度向二级存储系统中写入素材,若规定每天的节目素材在4个小时之内完成,则高清电视节目的带宽公式为:

高清节目带宽=(高清频道个数×高清视频码率×高清素材写入倍数)÷8

2.3 存储架构设计

二级存储系统是保证备播存储的关键是高清备播系统的核心,其中存储架构设计至关重要,二级存储系统有两个存储区域。(1)接口缓存区:在进入高清播出系统之前,电视台各业务系统的节目文件都要进入接口缓存区节后审核,审核通过的文件进入高清播出系统进行播出,不通过的文件直接删除。(2)备播缓存区:通过接口缓存区审核后确定合格的节目文件会进入到备播缓存区,在备播缓存区要通过工作人员及数字校验的二次审核,在二次审核合格后的节目文件才能作为播出素材进行播出。

3 高清播出二级存储系统的实施策略

3.1 主备存储系统的应用

二级主存储系统的核心任务是播出备播系统,各个业务系统向二级存储系统迁移高清节目文件,服务器迁移高清素材由二级存储系统向各频道播出;二级备存储系统能够备份主存储系统的高清素材文件,备存储系统只需要向审核系统提供待审定的高清目标文件即可,不直接参与高清节目文件的频道播出。

3.2 分区访问

为了满足电视台内部高清业务系统与二级存储之间的业务量以及带宽要求,每项访问二级存储系统的业务都要进行专属的分区,二级存储系统应划分为多个文件系统,每项业务会对应固定的存储分区,这样就不会对其他分区的资源进行挤占。

4 结论

在高清电视不断发展的今天,以网络存储为技术基础的高清二级存储结构对高清节目的缓存、播出有着重要的作用。许多电视台实行高标清同播播出系统,这就对存储设备的容量提出了新的要求,基于网络技术的高清二级存储系统对高清节目存储的优化至关重要,对高清电视时代节目资源存储系统的发展方向有着重要的指导意义。

摘要：当前电视节目不断向网络化、高清化发展,广电技术的不断更新对存储系统有了更高的要求,随着网络技术的发展,网络存储技术逐渐应用到电视节目的存储系统中,本文简要介绍了主要的网络存储技术,研究了基于网络存储技术的高清播出二级存储系统的设计,探讨了高清播出二级存储系统的实施策略。

关键词：网络存储技术,高清播出,二级存储系统

参考文献

[1]贾京蓉.网络存储技术在播出二级存储系统的实践与研究[J].现代电视技术,2009(11).

存储系统 篇2

Katta可用于大量、重复、索引的碎片，以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop mapfiles

让大型高负荷的索引变简单

能为许多具有大型Lucene或Hadoop Mapfile 的索引碎片的服务器提供服务

在不同服务器上复制碎片以保证性能和容错性

支持插件化的网络拓扑

故障管理

快速、轻量级、易于集成

与Hadoop集群工作良好

Apache License,Version 2.0

网络存储系统综合安全研究 篇3

【关键词】网络；存储系统；安全；研究

目前计算机技术和网络技术已经在各个行业领域都发挥了重要作用，极大的提高了信息的传递速度，促进了生产力水平的提升。在这个信息大爆炸的时代，网络要想充分满足现代社会的需要，就要不断的扩大网络存储系统的容量，为人们提供海量的存储服务，并且要保证其安全性。事实上，安全一直以来都是网络技术的关键性问题，这是因为计算机网络具有开放性和自由性。而作为主要的数据中心，网络存储系统的安全与每个用户的切身利益都息息相关，更应该不断提高其安全性能，以免网络存储系统中的数据信息被人恶意破坏、更改或泄露，从而带来一些不必要的损失。在此本文笔者结合自己的理解和体会，对当前网络存储系统的综合安全问题进行深入研究。

一、网络存储系统的安全特点

虽然网络存储系统是以网络技术和存储技术为依托而形成的一种信息产物，但是其对安全性能的要求却与一般的网络安全要求有一定的区别。这是因为网络存储系统中，高速网络只是手段，其重点是利用这一手段来将所有的存储设备连接起来，形成一个集中、共享、统一的巨大数据库。因此其综合安全性能不单单是要保证网络的安全，更重要的是要保证数据库的安全，从而为用户更安全的使用存储资源提供保障。具体来讲，网络存储系统的综合安全具有以下特点：

1、数据保密性。由于网络存储系统可以将很多存储设备都连接起来，同样的，也有很多用户可以访问该存储系统。但是这仅仅只是针对被授权的用户来讲。若没有经过授权的用户侵入该系统，则会造成数据的泄漏，会给正当用户带来一些危害。因此网络存储系统的安全性能中必须要保证数据的保密性，可以通过加密的方式来是避免黑客对其进行攻击。

2、数据完整性。网络存储系统的主要作用就是为用户提供海量的数据信息，用户也是希望通过访问该系统来获取自己所需要的数据。但是若网络存储系统中的数据出现了缺失，则会严重影响到用户的访问质量。因此保证数据的完整性也是网络存储系统安全性能的重要体现，其可以通过Hash函数来检查数据是否完整，从而采取措施加以保护和完善。

3、不可抵赖性。这里所指的不可抵赖性，主要是指网络存储系统中的数据是由哪个设备发出，由哪个用户接收都是有一定记录的，是不能否认或抵赖的，这样可以避免一些不必要的纠纷发生，也能够在很大程度上保证数据使用的安全性。目前网络存储系统在这方面的安全技术主要是以数字签名技术的应用为主。

4、系统性能可用性。由于网络存储系统是一个海量存储系统，因此其用户也很多，系统的访问量很大，对数据加密保护的要求较多。这样就会给使得系统处于较大的负载运行状态下，若系统性能的可用性较差，就会出现瘫痪现象影响到用户的正常访问。为此，在网络存储系统的安全管理中，一定要保证其具有较强的使用和可用性。

二、网络存储系统的安全要素

在对网络存储系统进行综合安全管理的过程中，确定其安全要素是非常关键和重要的。只有明确了其主要的安全要素，才能更有针对性，更有目标的采取安全技术手段来保证网络存储系统的综合安全。在此笔者认为，网络存储系统的安全要素主要应该包括以下四点：

1、实体要素。这里所指的实体要素主要是指一些物理基础设施，如计算机、控制器、网络适配器、各种线路以及运行机房中的其他硬件设施，这是实现网络存储系统运行的保障和基本条件。若这些实体设备的安全都不能得到保障，那么网络存储系统的安全也就无从说起。

2、软件要素。在保证了硬件安全的基础上，要想实现网络存储系统的正常运行，势必离不开各种软件的支持。因此软件也是网络存储系统的主要安全要素。包括操作系统的安全，应用软件和工具软件的安全等。要确保其不会被病毒或黑客攻击侵入，从而避免网络存储系统中的数据被恶意篡改。当然，还要避免一些非法软件安装在网络存储系统中。

3、数据要素。在网络存储系统中，硬件和软件的存在都是为了数据的存储和使用而服务的，若数据的安全无法得到保证，那么网络存储系统也就没有存在的意义了。为此，数据安全是整个网络存储系统安全体系的核心，必须要给予高度重视。数据安全的基本要求是所有用户都能根据自己的权限合理的访问和规范的使用数据，数据的存储都能在正常的秩序下进行。并且还要能够为用户提供一定的私有存储空间。

4、管理要素。要实现良好的网络存储系统综合安全，管理自然是不可缺少的重要手段。在安全管理中，主要可以通过设置一定的安全管理机制和制度，或者对系统的安全现状进行审核和相应的评估来达到安全管理的目的。

三、网络存储系统综合安全实现的关键技术

以往对网络存储系统的安全技术的研究主要着重于容错技术和备份技术两大层面，并且也已经取得了一定的成果，如网络安全技术、信息加密技术和病毒防治技术等都已经相对较为成熟，为网络存储系统安全体系的实现打下良好基础。但是仅仅依靠这些安全技术是远远不够的。笔者认为，网络存储系统安全的实现，还要注重从以下几个技术层面进行研究：

1、操作系统的网络环境安全

由于网络存储系统主要是以网络技术和存储技术为主要依托，因此保证网络和存储设备的安全就显得很有必要。尤其是网络安全，更要引起我们的重视。值得一提的是，在当今先进科技的推动下，网络安全技术已经取得了很大的进展，动态安全策略框架已经基本形成，再结合一些其他的安全策略，网络存储系统的网络环境安全基本上可以得到保证。

nlc202309020631

2、系统访问的有效控制

网络存储系统要实现自身的价值，需要由用户的访问来实现。但是并不是指所有的用户都可以随意访问。而是应该有一定的访问控制。这是出于保护数据安全来考虑的。具体可以通过以下四种手段来实现：

2.1登录访问控制。这是访问控制的第一步，通过登录访问控制，可以将一些不具备访问权限的用户筛选掉，从而降低了访问风险。目前登录访问控制多是利用设置用户名和相应口令的方式来实现，或者是利用数字证书进行相关验证来获取登录访问权限。目前AFS、NASD等系统的登录访问控制就是通过使用由第三方认证的认证服务器来实现。

2.2访问权限控制。一些没有访问权限的非法用户会试图侵入网络存储系统中进行非法操作，而访问权限正是要对这些用户进行控制和拦截。一般合法的用户会根据自己的访问权限被分为不同的组别，不同组别所访问的目标、文件和数据都是固定的，对这些文件的操作权限也是被限制的。一旦超出自身允许范围，就会被访问权限限制。比如CFS系统就采用了用户分组的访问权限控制。

2.3目录级安全控制。针对用户设置的访问控制，控制用户对目录、文件、存储设备的访问。用户在目录一级指定的权限对所有文件和子目录有效，系统还可进一步指定对目录下的子目录和文件的权限。

2.4属性安全控制。在权限安全控制的基础上提供更进一步的安全性。当用户访问文件、目录和网络设备时，系统管理员应该给出文件、目录的访问属性，网络存储系统上的资源都应预先标出安全属性，用户对存储资源的访问权限对应一张访问控制表，用以表明用户对网络存储资源的访问能力。

3、身份认证控制

身份认证也是一道权限控制关卡，其是在用户对网络存储系统进行访问时对用户的身份做进一步的核实，这一层访问控制可以拦截已经进入系统的黑客。其主要是对用户的物理和数字双重身份进行认证，核实两者是否一致，若不一致则禁止继续访问系统内容。一般身份认证控制所采用的认证方法多是使用口令或者智能卡，也有些是通过生物识别技术来实现。身份认证的使用保证每个网络存储系统用户的访问合法性，从而确保系统安全。

4、入侵检测控制

入侵检测技术主要利用入侵者留下的痕迹来检测来自外部或是内部的非法入侵技术。入侵检测技术是防火墙技术的补充，能够从计算机网络系统中的若干关键点收集信息，并对其进行分析。在企业网络存储系统安全中入侵检测技术能够帮助系统对付网络攻击，从而提高信息安全基础结构的完整性，确保存储数据的安全性。

四、结束语

综上所述，在网络存储系统的运行中，一定要保证其安全性能，包括所有与其相关的方面都要确保安全可靠，尤其是认证、授权、数据完整和信息保密等方面，更要给予高度重视，加强对其安全管理。虽然当前网络存储系统的综合安全技术水平还相对较低，但是随着网络存储系统的作用越来越突出，其安全性能研究也势必更加深入。整体来讲，未来的网络存储安全系统技术研究方向主要是朝着层次化、专用化和主动化的方向不断发展，这也是信息时代发展对其提出的必然要求。

参考文献

[1] 高杰. 浅谈网络中身份认证技术的分析[J]. 长春金融高等专科学校学报 2004年01期

[2] 李文红. 网络存储安全技术研究[J]. 武汉理工大学学报（信息与管理工程版）. 2006（08）

[3] 李娜. 网络存储综合安全的安全要素和关键技术[J]. 商业文化（下半月）. 2012（04）

[4] 易胜兰. 大学网络环境下的网络存储系统的设计[J]. 工业设计. 2011（05）

作者简介：刘哲豪（1993-），男，内蒙古锡林浩特市人，周口师范学院计算机科学与技术学院2011级网络工程专业，研究方向为网络工程

存储系统 篇4

关键词：PACS系统,云存储,云计算,数据存储

1 前言

在医学影像领域,数字成像技术的创新促进了医疗影像存储与传输系统(Picture Archiving and Communication System,PACS)的开发。目前,PACS系统已经日益成为各级医院实现信息化建设的重要组成部分。

2 PACS系统的存储特点

1)PACS系统和医院信息系统(HIS)的数据各有特点,在存储容量、访问响应速度、访问频率、存储可扩展性等方面存在差异,需要分别考虑,采用分类存储策略。2)PACS系统中数据保存量大,数据量增长速度快,部分数据将作为归档数据,实现安全保存和随时方便地调用,需采用分级存储策略。3)PACS系统数据以多媒体文档为主,文件尺寸较大,并发访问量小。4)许多影像资料用于科研和教学,重要性高,需要可靠有效的容灾数据保护方案。5)PACS存储系统的设计需要具备高扩展性和灵活性,需要支持容量增长的高度可扩展架构和对异构存储环境的支持,以实现将来无缝扩容,且尽量减少因扩容带来的成本开销。

3 PACS系统存储现状分析

我院由总院、分院、传染病医院三个院区组成,各院区均有影像科室。分院距总院5公里,传染病医院距总院3公里,分别由光纤接入总院服务器,实现三院区HIS系统无缝联接。PACS系统有专用服务器和磁盘存储阵列,采用SAN存储架构;支持DICOM存储和DICOM查询;支持影像数据的长期存储管理(LTSM)和短期存储管理(STSM);提供影像有损和无损压缩;支持多种方式查询检索;在数据库建立病人ID号与影像内容及存储位置对照表;可从Intranet和Web Server上获取DICOM影像;支持影像调出、转存、删除和图像迁移功能。在各院区的影像科建立了科室级的PACS存储服务器,临床医生通过HIS系统的医生工作站访问CT、核磁共振、超声等影像图像和电子报告编辑。

4 基于云存储的PACS系统存储设计

4.1 云存储的概念

云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

4.2 云存储的结构模型

与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。云存储的结构模型由四层组成,如图1所示。

4.3 PACS存储系统的分级存储需求分析与设计

4.3.1 分院区(科室级)存储需求分析与设计

分院区存储容量一般在0.5~5GB/日数据量,以为临床医生提供3个月的在线影像资料查询为例计算,需保存的在线可用容量为0.5GB/日~5GB/日×365=182.5~1825GB;预计存储空间达到总空间的80%时的性能损耗,配置20%的冗余空间,由此得出总空间需求为:182.5~1825GB/80%=228.1~2281GB;按RAID5模式估算:存储裸容量需求为:228.1~2281GB/(3/4)=304.2~3042GB;考虑到数据库空间、文件损失和热备份等因素,配置800GB~4TB的裸容量作为科室级存储。

分院区PACS存储系统应具有良好的性能、可扩展、经济实用等特点。该级存储采用24盘位SAS磁盘阵列插入24块300G的SAS硬盘,提供7.2T裸容量,完全满足了要求的800GB~4TB总裸存储容量,用于PACS的数据库和短近期的医疗图像的存储。

4.3.2 总院区(全院级)存储需求分析与设计

总院级存储容量可在20GB/日数据量以上;在线容量将为临床医生提供1年以内的在线影像资料查询,需保存的在线可用容量为20GB/日×365=7300GB=7.3TB;预计存储空间达到总空间的80%时的性能消耗,配置20%的冗余空间,由此得出总空间需求为:7.3TB/80%=9.125TB;整体上按照RAID5模式估算:存储裸容量需求为9.125TB/(3/4)=12.2TB;考虑到数据库空间、文件损失和热备份等因素,配置15TB的裸容量作为总院级存储。

存储系统在异地建立独立的容灾备份中心,保证在发生灾难时对数据保护。考虑备份存储容量以大于全院10年的影像总量为例,备份存储容量为80TB。

全院级PACS存储系统需具备高性能、高可靠性、高可用性以及高可扩展能力,兼顾容灾功能的考虑。采用24盘位磁盘阵列,使用独立双控制器,包括4个4GB光纤主机接口,总带宽达到1600MB。采用两台扩展柜,使用SAS硬盘共提供7.2×3=21.6TB的裸容量,满足最大15TB的容量需求。容灾采用VTL结合磁带库,增强了备份数据管理特性,提高备份和恢复的速度。

4.4 云存储技术的优点

1)硬件冗余自动故障切换;2)存储设备升级不会导致服务中断;3)容量分配不受物理硬盘限制;4)海量并行扩容;5)负载均衡;6)容易管理。

5 总结

医院PACS系统的存储要求较高,当有异地多院区需通过光纤接入局域网形成全院级的一致性存储需求,同时网络中存在各种不同类型的存储设备时,采用基于云计算的数据存储概念云存储技术实现PACS存储系统,即可满足用户对PACS存储系统的新建、升级、扩容、数据管理和数据安全等需求,也可进一步增强数据应用的灵活性和可靠性。

参考文献

[1]王鹏.云计算的关键技术与应用实例[M].北京:人民邮电出版社,2010:105-111.

[2]陈全,邓倩妮.云计算及其关键技术[J].计算机应用,2009,9.

存储系统 篇5

随着全国各地“和谐社会、平安城市”建设速度的加快，每个平安项目监控点成千上万，甚至数十万，根据政府、公安部门的要求，平安城市监控录像资料至少保存15天以上，因此产生的海量数据是非常惊人的，采用传统的硬盘录像机(DVR/NVR)无法满足实际的需求，但是作为其海量存储的载体——存储系统却往往由于性能、价格、兼容性等多方面因素成为困扰安防厂商的一个难题。视频监控对存储的需求特点 视频监控对存储需求有如下几个特点：

1.对存储的容量需求弹性比较大，存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。

2.对存储的性能要求不高，但是需要能够满足长时间的连续数据读写，数据流量大但访问请求数量低。

3.数据保存周期短，一般的监控场所数据保存一定时间(如1个月)以后便可以删除。要为视频监控方案选择合适的存储设备，首先就要估算存储容量需求。那么根据现在主流的压缩方式来计算如下：

录像保存天数与硬盘的容量(每天24小时连续录像;硬盘容量单位为GB;下列数值的105%为硬盘实际使用容量)从这个表我们基本可以估算出一个视频监控项目中所需存储设备的类型。举例来说，某银行需要4路视频监控系统，7*24小时监控，数据保存3个月便可以覆盖，那么总计容量需求1.7TB。因此我们可以考虑推荐NS3500/NS33/NS35系列的存储设备。

按需提供存储解决之道：那么我们分析了视频监控系统对存储系统的要求，便可以针对不同的需求特点制定不同的解决方法。存储技术及架构分析

传统的数据存储技术较为成熟和完善，目前，主流存储架构有NAS、SAN两种，而SAN又可分为FCSAN和IPSAN两种。下面就针对监控行业对存储的需求特点，结合用户的实际应用，将这三种存储架构进行一个比较和遴选。

一、文件级数据存储

NAS设备最主要的应用就是企业或部门内部的文件共享。由于NAS本身就是一台瘦服务器，有自己的操作系统和文件系统，可以直接与本地局域网连接，提供文件级的数据共享，但NAS设备无法成为服务器的本地硬盘，无法提供数据块的存储。

NAS是在局域网中传输，且有自己的操作系统和文件系统，这些因素都会导致NAS设备的带宽降低，增加NAS设备的读写响应时间。

二、FCSAN存储架构

FCSAN最大的优势在于其出色的性能。目前的主流FC产品的带宽为2Gb/s，4Gb/s产品也已经相当普遍，这是FCSAN高性能的标志。而光纤磁盘本身的高性能，也为FC磁盘阵列提供了高速运转的基础。

FCSAN的高性能带来的另外一个特点就是高成本，从光纤阵列本身到光纤磁盘再到光纤交换设备、光纤HBA卡等周边设备的成本都是最高的，而采用光纤磁盘阵列带来的管理维护成本，也将是用户一笔不小的开支。

三、IPSAN存储架构

IPSAN中所采用iSCSI通信协议实际上是一个互联协议，是SAN结构的一种。通过将SCSI协议封装在IP包中，使得SCSI协议能够在LAN/WAN中进行传输。

1)为存储区域网定义(SANs)。IPSAN是SAN的一种，通过IP实现的SAN，即IPSAN.2)支持数据库应用所需的基于块的存储。虽然是通过IP传输，但iSCSI却是基于块的存储，这有别于NAS的基于文件的存储。

3)基于TCP/IP，iSCSI是被封装在IP包中进行传输的，所以它具有TCP/IP的所有优点，诸如可靠传输，可路由等。

4)建立和管理基于IP的存储设备，主机和客户端之间的连接是建立在广泛使用的，为大家所熟悉的开放标准上的

5)提供高级的IP路由，管理和安全工具。现有的绝大部分网络管理工具都可以用来管理IPSAN.IPSAN的优势 1)低成本

由于通过以太网进行传输，用户可以利用现有的以太网设施来部署iSCSI存储网络，而不需要更改用户的网络体系，所以他的部署成本比较低。2)协议本身没有距离限制 由于使用TCP/IP进行传输，他不但可以在局域网中进行部署，也可以跨过路由设备在广域网中进行部署，大大扩展了iSCSI存储网络的部署范围。3)易于使用

iSCSI结构简单，容易理解，协议通用，不同厂家的产品可以有机的结合起来共同使用，极大地保护了用户的投资。4)易于扩展

由于iSCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，加上运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足，因此，iSCSI存储系统的可扩展性高。

综上所述，针对视频监控用户的需求和数据存储应用特点，IPSAN架构无疑是最合适的，其较FCSAN的成本优势，较NAS的性能优势和数据块级的存储都为IPSAN成为最适合视频监控系统应用的先天性优势。三种存储方式管理 分布式存储集中管理

对于大规模的城市联网监控系统，通常采用多个层次型的监控中心体系，每个基层的监控中心管理其辖区内的监控资源并进行存储，因此会采用分布式存储集中管理的模式进行构建，这种模式有助于减轻网络的压力，同时将资源下沉有助于实战部门掌握更多的资源。一级监控中心统一管理所有的视频资源和录像文件。集中存储分布式管理

对于只有一个集中管理中心的中小规模联网监控系统，如县/地级市，某大城市公安分局，某大型工矿企业，数据一般集中存储在一级监控中心，其他的基层监控中心安装系统平台的分控客户端进行浏览和管理部分前端。在这种情况下，存储服务器集中放置在一级监控中心，通过虚拟卷和网格存储技术，形成一个无限容量的存储池，使存储扩展对用户透明。混合型存储

将前面两种方式进行结合，以分布式存储作为基础，同时在一级监控中心设置网络存储服务器。短期的数据临时存放在基层监控中心的网络存储服务器内，长期的数据存上传一级监控中心的网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中心的网络存储服务器，也实时的传输到一级监控中心的网络存储服务器中作为备份。在基层监控中心建立备份计划，采用定时自动备份的方式，将超过30天的视频文件备份到网络存储服务器相对应的目录中。

海量存储解决方案

一般来说，城市道路交通监控的监控点非常多，需要存储的数据有监控录像、违章照片，还有道路监控指挥中心的管理系统数据。在指挥中心的存储管理服务器，根据硬件配置的高低可以接受100~150个视频流，所以指挥中心配置多台存储管理服务器。如果采用DAS(直连式)架构磁盘阵列的空间利用率会比较低，而且存储系统的升级扩容性相对较差，所以建议用户采用SAN架构。

本方案主要通过使用专业的存储系统，解决了道路交通监控系统的大容量存储问题、监控录像和照片的数据安全问题、存储系统的扩容等问题，而且还能针对不同监控点的数据安全级别要求，定制不同等级的安全存储空间，从而节约了存储空间。1.大容量存储，扩容方便

如果使用数字硬盘录像机和服务器来存储监控录像，最多可提供不到10TB的存储空间。特别是硬盘录像机和服务器内安装的硬盘超过一定数量后，由于散热的因素，整个设备会变得不太稳定。

使用专业的存储设备DC-4000磁盘阵列，单套设备不仅可以提供多达50TB的存储空间，整个SAN系统还可以提供几百甚至上千TB的存储空间。2.实现安全存储

专业的存储设备能够对监控录像提供更高级别的安全保护，例如RAID6可以做到损坏两块硬盘而数据不丢，系统还能正常使用。Roaming功能可以把硬盘从发生故障的设备中拔出，插入到同系列的设备上，但不会丢失硬盘上的数据。另外，独特的散热设计可以保证系统在各种环境下安全运行。

3.选择智能化程度较高的设备

什么是Roaming功能呢?举例说，我有2TB的数据存在5块500GB硬盘作为一组的RAID上，如果设备出现问题时，可以把这5块硬盘拔出来，插入到同一系列的任何一台设备上，照样可以读写这些数据。

这种功能最大限度地保护了用户的数据安全，对于那种购买多台同一品牌设备的用户尤为实用。

网络电视台存储系统架构研究 篇6

【关键词】网络电视；存储系统；架构

【中图分类号】TN711 【文献标识码】A 【文章编号】1672—5158（2012）08—0061-02

1 引言

网络电视台是一个构筑在电信网络、广电网络、互联网络之上的全业务内容运营平台系统，节目通过分发网络向不同地域、不同终端上的用户提供双向的、互动的、交互的内容服务和体验，并最终实现内容的跨平台无缝融合。网络电视台系统由节目制作中心、发布运营平台、传输分发网络和用户终端四个部分组成，由于其问需要存储、调用大量的节目源，这对网络存储系统的构架提出了很高的要求。

2 存储系统解析

2.1 分布式存储

分布式存储就是将数据分散存储在多台独立的客户端上，由客户端通过网络连接将存储的数据共享到网络上或者通过第三方的平台对数据进行集中的处理及共享。分布式存储采用可扩展的系统结构，将存储负荷分担给多台存储服务器，利用位置服务器定位存储的信息。

因为需要通过第三方的平台进行数据的共享和迁移，增加了共享、迁移的复杂性，就造成了数据的共享和迁移不便。

2.2 集中式存储

集中式存储是多个应用系统共享一个存储服务器，所有的客户机IfO请求全部在中央系统进行处理。集中式存储保证了每个终端的使用信息是一致的，在数据共享和负载均匀方面更加有效。客户能够灵活地管理存储资源的规划，统一对数据安全性的访问、备份和恢复等管理，更能对存储空间进行有效的使用。

由于所有的I/O请求都发送到中央系统进行处理，增加了中央系统的存储设备压力。当中央系统处于不同的地理区域，网络处理的延时较大。系统效率不高，存储数据管理灵活性不高，策略单一。

3 存储系统应用比对

3.1 采用分布式存储系统

早期的小型视频网站较多采用分布式存储架构，将其扩展到网络电视台上。在分布式架构的网络电视台的系统中，各个服务器的数据独立存放于服务器自带的硬盘中，或者通过DAS方式连接的独立存储设备中，服务器又通过文件共享的方式使数据在整个網络中得到共享。

这种存储架构带来的问题是十分明显的：一是分布式的存储很难做到负载均衡；二是无法实现集中的高RAID级别保护，可用的存储空间相对减少；三是存储共享困难，要想使某一存储资源在网络中共享，必须为网络中所有的服务器配置此存储资源的挂载点；四是快照、备份、恢复、远程容灾等存储管理功能实现困难且成本较高。

3.2 采用集中式存储系统

目前，很多视频网站采用集中式的存储结构来存放所有媒体数据，一般为NAS架构，通常是一台大容量的文件服务器，而高端的NAS结构是由一个NAS头后面接SAS、SCSI或FC盘阵，还可以是以SAN架构方式连接的磁盘阵列，需要安装共享文件系统，进行块级的数据存储，存储效率更高。集中式存储架构的特点比较明显：一是集中存储使用统一的RAID级别保护、存储空间浪费少；二是便于实现服务的负载均衡，当某台Web服务器繁忙时其他服务器可以提供同一数据的共享访问；三是集中存储同时也是对视频内容的集中管理、减少视频内容的重复存储。

集中式的存储容易解决网络电视台视音频资料的共享难题，但同时也存在I/O瓶颈、容量扩展性差、性能不可扩展、专业高端NAS或SAN存储成本高昂、单点故障等关键问题。

4 网络电视台数据存储特点及构架对策

单纯的集中式存储或分布式存储并不适合网络电视台的存储架构，究其原因是对网络电视台不同应用数据存储的特点没有很好地进行区分。

网络电视台存储和处理的最主要的数据为视音频数据，从视音频数据的生产管理的流程可以将网络电视台的存储分为内容生产平台、内容发布平台、内容管理平台。由于三个平台间对于数据存储和共享性的要求不相同，对于存储设备的选择要求也不相同，应针对各个平台的特点，选择不同特性的存储设备。

4.1 内容生产平台特点与存储对策

内容生产平台主要完成视音频资料的采集、转码、编辑、合成等任务，其保存的数据主要为多种格式、多种高低码流的视音频原始素材。由于其在线制作的需求对存储设备的延时性要求较高，数据位于生产环节，不承担归档备份任务，对存储容量的实时增长要求相对较低。

内容生产平台由于素材格式要求高、高清制作等较高需求同时要求数据I/O精确到帧的高实时性，可以采用高性能的iSCSI或FC存储设备构成SAN结构。但此时需要有共享文件系统的客户端支持，增加了建设成本和存储设备升级维护工作的难度，由于不承担备份、归档等数据管理任务，存储容量增长的实时性不高，采取这种方式的存储设备的代价和维护管理复杂度在可控范围之内。

4.2 内容发布平台特点与存储对策

内容发布平台主要完成多通道的流媒体对外发布，主要由流媒体服务器、Web服务器等构成，存储的数据为多格式可变码流的成品节目，由于节目量和网络带宽迅速增长，对存储设备的带宽和容量宽展都提出了较高的要求。

内容发布平台由于节目量和用户点击量的爆炸性增长，最好采用容量和带宽可线陛增长的存储设备，当前比较流行的集群存储扩展容易、管理简单、共享方便，在扩展容量的同时可线性扩展带宽。但这种存储设备通常由TCP/IP支持，增加了I/O操作的延时性，不论是Web发布、IPTV还是手机电视一般都会采用缓冲的收看方式，对I/O操作的实时性没有太高的要求，可以采用集群存储作为内容发布平台的集中存储。

4.3 内容管理平台特点与存储对策

内容管理平台主要完成生产环节和发布环节的视音频数据的备份、归档以及回迁的服务，由数据备份服务器等构成，有海量的数据存储需求，要求存储设备具有高容量、低价格的特性。

内容管理平台由于承担备份、归档等业务，需要海量的存储设备且扩展方便，可以采用LTO数据流磁带作为存储介质，价格低、能耗小、容量大，虽然采用非线性的读取方式，I/O操作的延时很大，但可以满足备份、归档等业务的非实时性要求。如果网络电视台机房环境相对较差不利于磁带介质的保存，同时对视音频资料的回迁有较高的要求，还要有统计分析等决策支持功能，应当采用D2D的归档策略，使用高容量、低性能的SATA磁盘阵列做磁盘级的归档保存，但购置和运行成本相对于磁带较大。

5 结束语

网络电视台作为一个整体的应用平台，存储系统不应单纯地选择分布式存储架构或集中式存储架构，应根据各种应用数据存储的特点灵活地选择分布加集中的存储方式。DAS、NAS、SAN、集群存储等各种存储设备纷繁复杂，应该根据网络电视台各种应用的特点选择不同特色的存储架构和存储设备，才能做到有的放矢，才能使资源效益最大化。

参考文献

[1]贺松，陆安江，张正平，HE Song，LU An—jiang，ZHANGZheng—ping.农村信息化建设中IPTV系统存储技术研究与应用[J].贵州农业科学.2009，37（6）：239—241

[2]王炎.网络电视台存储系统架构浅析[J].现代电视技术.2010（7）：90-93

利用存储系统恢复服务器系统 篇7

某日早上8点,体检中心来电反映多个体检工作点不能使用从业人员体检系统,体检大厅聚集了300多人,客户怨言很多,要求我部门立刻解决故障。刻不容缓,笔者马上进行故障排查。

1 设备参数及工作环境

本单位的服务器是IBM X460,安装有IBM serverraid-8i RAID卡,并做了RAID5,操作系统是windows 2000 server,数据库系统是SQL 2000,数据库是从业人员体检数据库,有全市4万多从业人员的数据;存储系统是爱数PX1200,该存储系统基于CDP持续数据保护技术,支持Windows平台下的SQL Server及支持完整的RAID级别的实时复制。

IBM服务器和爱数存储系统在本单位局域网中同处于一个VLAN中,同一个网段。IBM服务器的IP是192.168.0.27(以下称为27服务器),爱数存储系统的IP是192.168.0.253,网关都是192.168.0.254。

2 故障原因分析

首先到一个体检工作点检查,发现确实不能登录系统,然后ping 27服务器,网络链路是通的;随后又检查了两个工作点,情况一样。因此断定网络链路没有问题,应该是27服务器出故障,于是回到机房检查,发现27服务器居然是关机状态。问了后勤部门,才知前一天晚上长时间停电,今早6点才恢复供电。笔者估计,单位的在线式UPS一定是有问题了,不能在停电的时候供电给27服务器,致使27服务器关机了。UPS的问题先不处理,当务之急是在最短的时间内安全地把27服务器恢复正常。于是打开27服务器,谁知系统蓝屏,不能进入windows 2000 server!重新启动27服务器两次都是如此。笔者断定,应该是由于突然停电造成windows 2000 server的系统文件损坏,导致不能正常进入系统。

3 故障恢复方案的选择

1)一般的系统软故障恢复

在一般情况下,对于系统产生的软性故障,在开机时按F8快捷键,在BIOS后就会有安全模式等系统选项,其中就有windows最后一次正确配置。选择后等待加载完成后,可正常进入系统。但这次试了两次都不能恢复系统,而且不能进入安全模式,再次证明windows 2000 server的系统文件损坏了,因此必须选择其他方式恢复了。

2)GHOST恢复

对于一般的微机故障,可以用GHOST迅速地恢复系统,但服务器就不一定能由GHOST恢复系统。由于本单位的27服务器安装了IBM serverraid-8i RAID卡,并建立了RAID5,GHOST在DOS下无法加载阵列卡驱动,无法识别阵列卡,因此不能用GHOST软件做27服务器操作系统的备份和恢复。

3)重装系统

重新用Wwindwos 2000 server安装盘安装操作系统肯定是可以解决故障的,但在安装过程中必须解决IBM serverraid-8i RAID卡的驱动问题。由于单位搬家,RAID卡的驱动找不见了,在IBM官网也找不到;之前第一次安装windwos2000 server时,用NLITE制作的整合了RAID卡驱动的windwos 2000 server盘也找不到了。即使找到那张安装光碟,重新安装完操作系统后,还要安装SQL,部署应用系统。整个过程估计要一个工作日才能完成。这是正在等待的300多个客户不能允许的。

4)利用存储系统恢复

之前单位购置了爱数存储系统PX1200,在启用PX1200后,我们用它备份了27服务器的操作系统及应用系统,并对SQL数据库作了实时备份(不包含从业人员体检数据库)。由于27服务器一直在运行关键业务,所以做完备份后,一直没有验证所做的备份是否能成功恢复。

经过分析,对于这次27服务器故障,笔者决定用爱数存储系统PX1200来恢复操作系统,验证一下PX1200是否能在最短时间内安全地将操作系统恢复,无损地恢复数据库,将故障造成的影响降到最小。

4 恢复过程

1)在27服务器上接上外置光驱,并将爱数存储系统自带的系统恢复光盘放入光驱通电开机,选择光驱启动优先,恢复光盘在调用一连串环境参数后,进入“恢复系统”。

2)本地网络配置:在请选择你需要的网络设备中点击eth0,再点击使用下面的网络地址,填写服务器IP地址:192.168.0.25,掩码:255.255.255.0,网关:192.168.0.254。单击“下一步”。

3)设置管理控制台信息:此处应填写介质服务器即爱数存储系统的相关配置信息。填写介质服务器地址,192.168.0.253,端口为9900(此端口为管理端口),登陆账号为admin,密码123456。单击“下一步”。

4)选择需要恢复系统的介质服务器-备份任务-客户端-时间点:在这个设置窗内,依次双击,树型选择项便会层层展开,直至出现所做系统备份的时间点并点击选择。单击“下一步”,在确认恢复窗中,点击OK。

5)创建分区:在这个窗内,会显示27服务器硬盘的相关信息,中间是27服务器硬盘的原有分区,编号从0-TH开始,先选择0号分区,再点击右侧的创建分区,此时会弹出一个分区确认框,点击OK。还原过程中,会提示“是否恢复在系统还原过程中的IO操作”,选择NO,因为考虑到系统已经崩溃,业务系统没有出现数据IO操作,之后会提示恢复完成,是否重启,点击“yes”。

很快27服务器的操作系统恢复完成,整个过程大约20多分钟。等系统进入后,检查了一下SQL 2000,能正常运行。由于此次恢复系统,只是还原27服务器的C盘,不影响之前其他盘的数据,存储在其它盘从业人员体检数据库丝毫不受影响。

5 应用数据库的恢复

由于当时备份系统时,并未在SQL加载从业人员体检数据库,因此在27服务器操作系统恢复后,还得将此应用数据库附加上去。附加数据库过程非常简单。打开SQL2000的企业管理器,右健点击数据库,依次选择所有任务、附加应用数据库即可。随后对应用系统进行了测试,完全能正常运行,而且最后存入的数据也没有丢失。

至此,这次由于操作系统蓝屏而导致27服务器不能正常运行的故障得以完美解决,整个恢复过程大约30分钟。利用爱数存储系统恢复服务器系统确实是一种快捷、安全地方法。

6 总结

在这次27服务器系统故障的解决过程中,由于很快地恢复了应用系统的正常运行,将这次故障的影响降到最低,所以没有演化成重大的工作事故。在这次恢复过程中,笔者常常地感到:1)作为一名运维人员,必须将所有设备的资料和驱动盘保管好;2)故障处理从软到硬,从最简单的情况入手;3)面对故障现象不慌乱,保持头脑清醒,冷静的判断问题并充分利用拥有的资源,选择最优的解决办法,才能在最短的时间内解决故障。4)运维人员要定期检查各设备的运行状态,熟悉各设备的功能及各设备的配置参数,发现问题要及时处理。本次故障的产生就是没有及时发现在线式UPS不能在停电时供电而引起的。

摘要：在安装RAID5的单服务器的工作环境中,迅速安全地恢复崩溃的操作系统是十分必要的。利用存储系统恢复崩溃的操作系统和业务数据库,是一种安全可行、用时最少的恢复方法。

高清播出节目存储系统 篇8

存储系统是高清播出系统中的一个重要组成部分, 存储系统设计是整个系统框架和结构设计的前提, 选择一款好的存储设备能够保证整个系统的安全、稳定和高效的运行。

1 实现功能

高清节目存储系统功能主要有两个, 一是为高清节目的长期存储, 二是为播出系统提供二级缓存区。

(1) 高清节目的长期存储

建立存储管理系统, 实现数字节目内容存储与再利用, 将解决大量素材节目存储、查询、再利用的现实问题, 并提供可靠的技术平台和应用途径;同时也将提供业务不断发展、管理手段先进的业务环境。

在标清数字化网络里, 要处理比标清数据量大几倍的高清数据文件是能够信任的, 但节目资料可能涉及高清素材、多轨多语言音频文件、分离字幕等, 需要更精细的文件组织管理结构。

(2) 播出系统二级缓存

播出视频服务器自带有存储体, 考虑到节目重播的可能性, 可以将需要重播的节目素材从播出视频服务器迁移到高清节目存储系统中, 在重播前回迁到播出视频服务器, 避免重复上下载。

另外考虑到, 从高清非编制作网制作好的待播高清节目先存到该储存系统中, 在需要播出前再传到播出视频服务器中, 这样既可以减轻播出视频服务器的存储压力, 也可使播出视频服务器与其他系统有一定的隔离, 防止外网的客户端直接访问播出服务器, 保障它的独立性和安全性, 保证播出系统的安全。

2 系统要求

(1) 高清格式和码率

分析使用的环境及要求, 结合目前网络带宽和存储设备带宽技术发展的现状, 并基于对码率大小和与码率所对应的系统带宽占用等方面的考虑, 高清编辑制作格式为MPEG-2标准中的MP@HL类级, 1920×1080/50i扫描格式, 16:9宽高比, I帧4:2:2, 高清编辑制作码率为100Mb/s, 足以满足节目制作和播出的需要。

播出使用的高清格式是MPEG-2标准中的MP@HL类级, 1920×1080/50i扫描格式, 1 6:9宽高比, I B P帧L o n g G O P (1 5/3) 4:2:2, 码率为50Mb/s。

高清编辑制作的节目需转码成高清播出的格式和码率, 以进行播出和存储。

(2) 容量

高清节目采用以下格式和码率存储:

格式MPEG-2标准中的MP@HL类级, 1920×1080/50i扫描格式, 16:9宽高比, IBP帧LongGOP (15/3) 4:2:2, 视频码率为50Mb/s, 音频码率为3Mb/s

每小时素材所占容量: (50+3) Mb/s*3600秒/8bit/1024M=23GB。

(3) 带宽

设计存储系统时首先要做的就是计算整个网络所需要的总带宽, 总带宽是存储设备选型的重要参考因素。在标清时代数字化网络化技术被普遍采用, 2Gb SAN或千兆到桌面的单网和双网系统规模越来越大, 最近的4Gb FC技术和更高性能存储产品可提供更大的网络带宽、存储带和存储容量, 这些都为建立高清网络系统提供了可靠的平台。

3 存储架构

广电行业的存储系统, 长期以来一直是“FC+以太”的SAN双网结构为主, 其中视音频数据通过FC网络进行传输, 近几年来IP存储技术高速发展, iSCSI、NAS等技术在性能、稳定性等方面有了大幅度提高, 并且其采用的单网结构具有比较明显的成本优势, 也开始在很多中小项目中得到应用。

(1) SAN双网存储结构

为了满足海量视音频素材数字化存储和再利用的需求, 存储区域网SAN (Storage Area Network) 技术以其灵活、稳定高效的特点, 在广电行业内得到了大量的应用。经过了大量项目实践的考验, “FC+以太”的双网结构这种技术的成熟度是比较高的。

在视音频应用中, 一个重要的特点就是共享。为了实现SAN上的数据共享, 目前通常使用SAN共享文件系统软件, 如IBM Tivoli SANergy来完成。为保证SANergy软件的正常工作, 除建立FC网络, 还须要建立以太网用于传递控制信息, 这就是所谓的双网结构。它由基于FC协议的光纤通道网和基于TCP/IP协议的以太网组成, 其中以太网主要传输控制信息和数据库信息, FC网络主要传输高码率的视音频素材数据。

SAN的优缺点

基于“FC+以太”的SAN双网结构的系统, 最大的优点在于高性能, 可以保证大数据量的并发访问情况下主机读写带宽的稳定。目前2Gb/s的光纤通道已经可以提供200MB/s的数据读写带宽。而且4Gb/s的FC产品也已经发布, 10Gb/s产品的开发工作正在进行中;它还可以实现大容量存储设备数据共享;高速计算机与高速存储设备的高速互联;灵活的存储设备配置要求;数据快速备份;提高了数据的可靠性和安全性。

但这种架构也存在着相当的不足。最主要的不足就是造价十分高昂, 与以太网交换机相比, 相同端口数的FC交换机的价格会高出几倍甚至十几倍;而在主机端安装FC HBA卡、为工作站铺设光纤等同样价格不菲。在视音频系统中, 经常需要十几台甚至几十台、近百台工作站和服务器同时通过FC接入网络, 这就造成系统成本的急剧上升。系统需要划分多个分区, 分区限制导致磁盘利用率低下;UNIX、Windows、Linux不同操作系统之间不能共享数据;需要大量的人工管理工作, 对FC设备进行管理维护的复杂度仍然偏高。

(2) 单网结构存储系统

近年来, 基于IP的存储技术发展迅猛。许多业界的领导企业包括微软、思科等纷纷推出其基于IP存储的产品, 传统的主流存储设备供应商如HDS、EMC、IBM、NetApp等, 也都提供了基于NAS或iSCSI技术的产品供用户使用。

目前几种常见的基于单网的解决方案主要包括NAS技术、iSCSI技术和GPFS系统等三类。在此仅简单介绍NAS技术及其优缺点。

网络附加存储NAS (NetworkAttached Storage) 是一种直接连接到IP网络之中的任务优化高性能存储设备, 包括存储器件 (例如硬盘驱动器阵列、磁带驱动器或可移动的存储介质) , 和一台专用于数据存储设备管理和数据存储的文件服务器 (NAS服务器) 。NAS服务器上装有专门的操作系统。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS, 充当远程文件服务器, 对外提供文件级的访问。

与传统存储技术相比, NAS主要有以下优点:

NAS设备的安装非常简单, 不需要任何其他专业操作就可以很容易地集成到网络中。NAS产品内置专门用于数据存储的简化操作系统和网络协议, 可以直接挂到网络上。只需将NAS服务器连接到交换机上, 分配一个IP地址即可, 几分钟内就可完成安装并运行。

NAS设备的物理位置是灵活的。它们可放置在网络中心局域网内, 靠近数据中心的应用服务器;也可放在其他地点, 通过物理链路与网络连接起来。用户可根据需要来确定NAS的物理位置, 一般将其放置在访问频率最高的地方, 以进一步缩短用户的访问时间并提高网络吞吐量。

客户不需安装任何额外软件, NAS服务器的设置、升级及管理均可通过Web浏览器远程实现。NAS服务器与网络直连 (直接连接在网络核心交换机) , 当增加或移去NAS设备时不会中断网络的运行。

无需应用服务器的干预, NAS设备允许用户在网络上存取数据;这样既可减小CPU的开销, 也能显著改善网络的性能。

基于T C P/I P的数据传输使N A S可以支持多种网络文件系统, 如N F S、C I F S、N C P和A F P等。N A S独立于操作系统平台, 可以支持Windows、UNIX、Mac、Linux。

为了获得高可用性, 可将存储阵列与中等NAS服务器群集用缆线连接起来, 使其中一台服务器出现故障时, 另一台能够接替传送数据, 这样做的好处在于消除了单点故障, 为将用于关键业务的重要信息提供了更大的安全保证。另外, 采用多个NAS服务器组成的NAS群集架构, 可以提供很好的负载均衡的网络带宽保障。

因为NAS的投资仅限于一两台NAS服务器和存储体, 而不像SAN是整个存储网络, 同时, NAS服务器的价格往往是针对中小企业定位的, 所以成本较低。

但NAS有以下的缺点:

从性能上看, 由于与应用使用同一网络, NAS会增加网络拥塞, 反过来, NAS性能也受制于网络传输数据能力;NAS服务器通过NFS或CIFS协议进行网络文件共享时, 效率降低;从数据安全性看, 由于通过网络协议的访问方式, NAS一般只提供两级用户安全机制, 虽然这能简化使用, 但还需要用户额外增加适当级别的文件安全手段。

(3) 存储架构的选择

在广电行业内, 国内外主要的非线性设备供应商都提出了基于单网的解决方案, 也已经有很多系统采用了这种纯以太的单网结构。在这些应用环境中, 单网结构高性价比的优点发挥的尤其明显。而随着万兆以太网的出现, 以太网的性能又将出现大幅度的提升。届时, 以太网和FC网之间的性能差距将进一步缩小, 单网结构将能够支撑更大规模的标清应用, 甚至是高清应用。因此, 从长远的角度看, 单网结构将是一种更具有发展前景的技术趋势, 在未来一段时间内, 它将在越来越广泛的领域内, 不断对传统的“FC+以太网”的双网结构带来冲击, 成为数字媒体网络化存储的标准方案之一。

本文高清播出节目存储系统以使用NAS的单网存储结构为例。

4 系统方案

根据需求可以制定不同的数据迁移策略, 非编网制作好的节目先迁移到播出的存储盘阵, 然后进行审片检查迁移是否成功, 内容是否合格。审片合格后提交到播出系统, 审片不合格再重新上传。播出收到其他网络发来的文件后, 将素材从存储盘阵迁移至播出服务器。之后通过播出服务器的审片通道检查素材是否迁移成功, 内容是否合格。

(1) 存储系统组成

存储系统主要由以下设备组成:存储体1台;EMB服务器1台;ESB服务器1台;2台迁移服务器。

网络结构图如图1:

盘阵采用了Isilon的IQ12000x集群NAS存储体, 采用OneFS操作系统。此存储系统采用多NAS头集群技术, 即多个NAS头 (节点) 组成一个逻辑存储, 每个NAS头下挂有独立的存储体, 存储的文件平均分布在所有存储体中, 存储体后端使用InfiniBand进行数据交换。任何一个NAS头故障都不会影响其他的节点工作, 而且数据不会丢失。每个NAS都可以提供独立的访问带宽, 随着NAS头的增加, 即容量的增加, 带宽可以一直线性扩充下去, 轻松达到上GB的访问带宽。这是当今比较先进的存储技术, 与其类似的有AVID公司的ISIS, OMNEON公司的MEDIAGRID。既拥有了廉价的存储空间, 又拥有了光纤级的访问带宽。

Isilon IQ使用基于Web的管理界面来设置、监控和管理Isilon IQ集群。通过一个基于Web的中心控制台, 实时管è”Ã理集群的性能、空间利用率、配额、监控、检测复制作业, 还能增加或者减少集群的节点。

设计中采用了3个存储节点, 每个节点下挂24TB存储空间, 共72TB物理容量, 做N+1冗余, 有效空间为48TB。访问带宽可以达到300Mbps。

未来扩充容量的同时, 带宽自然线性提高。保护现有投资。

数据的传输通过交换系统完成, 交换系统包括2台千兆以太交换机, 此系统中的存储、迁移服务器连接播出服务器网络, 实现素材的存储与迁移。

(2) 系统功能扩充

设计中配置了2台迁移服务器。将来系统在扩展时, 能够增加存储服务器、迁移服务器的个数, 能够将服务器分别独立出, 提高系统的性能, 增加系统的利用率、安全性。

为播出系统提供了分级存储架构, 将来可以在该基础上建立播出内部媒资系统。系统将来可与台内媒资系统互联, 使用大容量磁带库存储文件, 大大提高了硬盘播出系统的优势, 避免了大量的重复的上下载工作。节目部门可以检索媒资中的节目, 如果有可以直接播出的片子, 可以提交迁移申请, 从媒资的带库中, 自动迁移到存储体。同时播出的编单软件可以调用媒资的检索界面, 在编单的同时就可以检索待播的节目是否在媒资系统中, 从而判断是否需要从磁带上载。

数据存储系统安全浅析 篇9

关键词：企业存储,数据安全,防护监测

0 引言

随着信息化建设的快速发展以及生产量的增加,企业数据库中系统数据量增长迅速。为保障不断快速增长的数据量的存储安全,保障数据的可用性、可靠性,确保业务的持续性,必须规划可靠的安全方案和防护措施来适应用户的需要。

企业存储数据遭受的破坏,除了硬件故障造成的损失外,更多的来自于系统故障和应用错误。而对于数据攻击和泄露,源自内部的数据失窃和破坏更是远远高于外部黑客的攻击。传统的基于外网安全理论的产品如防火墙、IDS和漏洞扫描等,仅仅解决了信息安全的一个方面,对于内部用户攻击和环境威胁是无能为力的。从某种意义上来说,内网安全是外网安全的一种扩展和提升,它是基于更加科学和客观的信任模型建立起来的。内网安全集中关注的对象包括了引起信息安全威胁的内部网络用户、应用环境、内网通信安全和灾难恢复机制,从更加全面和完整的角度对信息安全威胁的途径进行了分析、处理和控制,使信息安全成为一个完整的整体,而不是一个片面堵漏的解决方案。本文将对内网数据安全防范进行浅析。

1 数据存储系统安全面临的挑战

1.1 硬件故障

硬件故障是指服务器设备故障造成的停机及数据存储介质故障造成的数据系统无法访问或数据大量丢失,从而影响到数据的可用性和安全性。这种故障概率最低,但破坏性极大。

1.2 系统故障

系统故障是指造成系统忽然停机,从而要求系统重新启动或无法启动的任何事件,包括各种类型的硬件错误、系统程序损坏、突然停电等。这种故障影响存储系统正在运行的所有事务,对已有的原始数据不具有破坏性,但因事务的非正常中止,极有可能造成新数据的丢失,或修改数据的不一致性,还有可能造成数据库处于不正确状态。

1.3 数据库程序故障

数据库程序故障是指软件系统故障造成的数据库无法访问或访问受限以及运行速度非正常降低等,影响数据的可用性和业务程序的持续性。

1.4 计算机病毒

计算机病毒是人为的破坏系统、数据正常运行的恶意程序,能够像微生物一样迅速传播,从而影响到数据的可用性和可靠性。

1.5 非法攻击或误操作

在内网中,信息资源的访问通常仅仅是通过用户名+口令的方式进行认证,非授权用户一旦获得了授权用户的用户名和口令,就可以访问网络服务器资源,极易造成非授权更改数据。此外,内部人员攻击数据库,以及权限内的误操作,都会对数据存储系统造成损害。

数据存储系统面临的威胁除了上述以外,还包括其他许多类型,如电源故障、自然灾害、强电磁干扰等,所以数据存储系统的安全防范以及灾难恢复机制至关重要。

2 数据存储系统安全措施

2.1 安全方案的设计

安全方案的好坏直接关系着企业的数据安全能否真正得到解决。一个不合适的方案不仅浪费了企业宝贵的财力、物力和人力,而且还无法达到保护企业信息资源的效果,而一个好的安全方案,则能够用合适的投入带来最佳的安全回报。首先我们确定哪些信息数据需要保护,然后分析网络结构及应用情况,发现可能存在安全隐患的地方,以便在安全策略里面加以解决。从系统工程角度,通过策略、管理和技术几个方面进行具体设计,将信息安全措施有机地集成在一起,互相配合、互相补充,从不同的层面防御数据存储系统的安全。针对用户访问权限、安全需求、计算机病毒防范的需求、数据传输存储的安全需求等进行分析,制订对应的安全策略,做到有的放矢,确保数据安全。

2.2 完善管理制度

技术与管理要相结合,数据存储系统安全不仅仅是一个技术问题,也是一个管理问题。制订完善各类微机网络安全管理规定,为各级员工树立牢固的安全防护意识,严格界定工作权责,制订标准的操作规范和奖惩制度,才能做到主动防御,而不是被动维护。

2.3 确保运行环境安全

确保运行环境安全是指保护机房、路由器、交换机、工作站、服务器等硬件实体和通信链路免受自然灾害、人为破坏和搭线窃听攻击,确保系统软件和数据库平台的正常运行,以及非IT设备(UPS、空调、水浸等)、机房温度、湿度等环境状况的监控维护,确保满足数据安全需求。根据地理环境,恶劣环境下还应加装整套的防雷措施,确保运行环境安全。通过主动或被动两种模式,搭建可靠的故障管理模块,实时监测各运行设备及机房的状态,通过对设备的各项运行参数进行实时修改配置来满足数据安全的需要,并在故障情况下通过监测、隔离和排除快速恢复数据应用。

2.4 搭建集群

由于服务器系统和数据库平台是企业数据可靠性的重要保证,必须实现其较高的可用性,保证系统不间断的运行。通过集群来实现系统的高可用性是目前非常成熟的技术。

2.5 加强数据库程序管理

通过定期监测数据库的运行状态;端口是否正常;验证指定用户的登陆情况;数据文件的大小;日志文件的大小;CPU利用率;用户连接数;表空间分析;指定表视图的使用率;是否有未经授权的IP地址访问数据库系统等,来确保数据库程序的可靠性以保障数据安全。

2.6 网络反病毒

应经常关注了解最新的防病毒信息,根据最新病毒的特点制订有针对性的防御方案,如及时升级防病毒程序、安装操作系统补丁程序、封掉不必要的通讯端口等措施,及时有效地防止病毒的入侵。

2.7 权限控制

从数据安全的角度考虑,不同级别的用户应设定不同的角色,严格定义各角色的操作权限,防止越权操作,保护数据的安全性。

2.8 安全监控

通过日常监控服务器资源、主干网络连接以及各类日志等,防御可能造成灾难的攻击,其目的主要是监控主机和网络系统上发生的一切事件,定期收集网络设备、应用、数据库和各种服务器的运行数据,一旦发现有攻击的迹象或其他不正常现象就采取截断、报警等方式进行处理并通知管理员,以便及早发现安全问题或系统性能问题,同时详细记录有关的事件日志,以备分析取证。通过实时监控和即时反应能够大大增强数据存储系统的安全性,确保数据安全可靠。

2.9 数据备份

单纯的拷贝、集群和磁盘陈列不等于数据备份,备份的特点主要是可保留文件的历史记录、可保存重要的系统信息、可实现异地的灾难恢复等,养成良好的数据备份习惯,在计算机系统失效或数据丢失时,能依靠备份尽快地恢复数据存储系统的可用性,保护关键数据的安全,确保数据不丢失。备份的方式主要有完全备份、增量备份和差异备份,备份的存储目标分为本地、网络、其他存储介质等,可根据需要进行选择,以达到灾难环境下的快速恢复。

3 结束语

数据安全是整体的、动态的,是一个没有终点的旅程,在追逐安全的道路上,新的安全威胁会不断出现。安全的整体性是指一个安全系统的建立,既包括采用相应的安全设备,又包括相应的管理手段和技术措施。安全设备不是指单一的某种安全设备,而是指几种安全设备的综合。数据安全的动态性是指,数据安全是随着环境、时间的变化而变化的,在一定环境下是安全的系统,环境发生变化了(如更换了某个机器),原来安全的系统就变得不安全了;在一段时间里安全的系统,时间发生变化了(如今天是安全的系统,可能因为黑客发现了某种系统的漏洞,明天就会变得不安全了),原来的系统就会变的不安全。所以,建立数据安全系统不是一劳永逸的事情。安全体系随时都可能出现真正的裂痕,修补的角度和速度将决定数据是否真的安全。只有制订详细的方案和措施,不断更新现有的知识和方法,做好安全监控和防范,才能始终确保数据存储系统的安全可靠。

参考文献

[1]Database System Concepts,Sixth Edition.2012,3.

[2]刘晖,彭智勇.数据库安全[M].武汉:武汉大学出版社,2007,10.

[3]Computer Networking A Top-down Approach.2011,12.

[4]陈庄,巫茜.计算机网络安全工程师宝典[M].重庆:重庆出版社,2010,11.

iVDR安全存储系统研究 篇10

2002年, 日立、先锋、三洋电机和夏普等日本家电制造业和IT业的厂商联合成立联盟, 研发推广iVDR移动硬盘新标准, 其设计目标是以一种安全的方式存储和传送数字内容。2009年, iVDR获得批准成为国际标准媒体, 使其在存储领域的兼容性得到保障[1]。

iVDR是Information Versatile Device for Removable usage (可移动信息多功能硬盘) 的英文缩写。iVDR是数字时代的大容量可移动存储媒体, 其目标是成为家电、移动设备、汽车和计算机间共享视频、音乐以及软件的标准存储媒体。目前市场上最大容量iVDR内置硬盘为500GB, 预计2011推出1TB容量的内置硬盘[3]。

目前市场上有两种类型的iVDR, 分别是普通型iVDR和安全型iVDR (iVDR–Secure, iVDR-S) [3]。iVDR-S具有安全存储和传输数字内容功能。iVDR-S磁盘划分为两个存储区域, 分别是安全区域 (Qualified Storage, QST) 和开放区域 (Open Storage, OST) , 从硬件上区分安全数据和普通数据的存储。开放区域支持一般ATA命令访问可以作为普通存储介质使用。安全区域是iVDR-S存储有特殊安全要求数据的区域, 只有通过iVDR-S的身份识别机制认证后才能访问安全区域, 并且需要使用专门的安全扩展命令。在实际应用中安全区域通常用于存储内容密钥和使用规则 (Usage Rule) 等信息, 开放区域 (Open Storage) 则用来存储加密后密文信息。图1为iVDR-S内部结构示意图。

2. iVDR-S安全存储系统构成

iVDR-S安全存储系统由两部分组成:iVDR-S本身和主机 (Host Device) 。主机是指运行安全存储系统软件部分的计算机或嵌入式设备。iVDR-S和主机构成了一个安全域, 在域内的所有信息交换都是被保护的。iVDR-S在系统中扮演存储设备的角色, 所有和内容相关的信息都存储在iVDR-S上。主机是iVDR-S磁盘和外界交换信息的通道, 所有和安全存储相关的信息必须通过主机上运行的系统软件才能和外界进行交换, 其他软件或硬件无法访问iVDR-S的安全区域。

iVDR-S和主机间进行数据安全传输和存储要经过以下几个步骤:首先主机会确认连接到主机接口的硬盘是否符合iVDR标准, 确认之后进行身份识别, 识别过程是相互的, 只有iVDR-S和主机相互认证通过之后才能进行安全数据传输。主机从其他存储设备读取待写入iVDR-S硬盘的文件和使用规则, 主机上的软件负责对待写入文件和使用规则进行加密处理后传输给iVDR-S磁盘。当要从iVDR-S读取加密内容时, 首先系统会检查使用规则是否允许加密内容输出, 在允许的情况下, 系统会加密后的数据传输到显示模块进行处理。

3. iVDR-S安全存储系统模块

对于商业应用, 特别是音视频和软件的离线发行, 选择什么样的存储介质作为发行介质首先要考虑的因素就是安全问题。现在内容保护技术种类繁多, 使用较多的有加密技术、数字水印、数字指纹、安全容器等等。iVDR-S安全存储系统采用128位AES加密算法对存储在磁盘上的内容进行加密, 从而达到保护的目的。AES的密钥和对应的内容使用规则存储在iVDR-S的安全区域 (QST) , 加密后的密文存储在开放区域 (OST) 中, 这样就能保证密钥和使用规则不被非法访问。为了便于管理和使用系统把密钥和使用规则放到一个数据结构中存储, 该结构称为Usage Pass (UP) , 一个加密内容可以对应多个UP。系统是把UP存储在QST中的。UP中除了密钥和使用规则外, 还记录密钥的作用区间和UP的标示符等其他信息。系统为UP的存取操作设有专门的功能单元, 该单元称为UP传输单元 (Usage Pass Transfer Unit, UPTU) , 所有和UP有关的操作都要由UPTU完成。当然还有UP的创建单元和解释单元, UP创建单元 (Usage Pass Creator, UPC) 负责创建一个有实际意义的UP, 其中AES加密用的密钥由UPC随机产生, UPC把用户定义的控制信息转换成特定的格式和密钥绑定后一同放入新创建的UP中, 然后把创建好的UP通过UPTU传输到iVDR-S中。UP解释单元 (Usage Pass Extractor, UPE) 负责分析UP并提取密钥和使用规则。

从功能角度来看系统一共分为四个功能模块, 其中软件部分可以分为三个功能模块, 输出模块 (Export Module) , 输入模块 (Import Module) 和传输模块 (Transmit Module) 。另外一个模块是存储模块 (Storage Module) , 在iVDR-S上实现。

输出模块 (Export Module) 的主要功能是在使用规则允许的情况下解密数字内容, 它包括UPE, UPTU和内容解密单元 (Content Decryptor, CD) 。UPE从UPTU得到UP, 并分析其中的使用规则判断是否允许输出。如果允许输出, 那么UPE把分析得到的密钥发送到内容解密单元, 由内容解密单元解密数字内容。

输入模块 (Import Module) 把用户输入的内容和使用规则存储到iVDR-S中。输入模块包括UPC, UPTU和内容加密单元 (Content Encryptor, CE) 。UPC会创建一个UP, 同时把生成的密钥传输到内容加密单元 (CE) , 由内容加密单元完成明文加密, 并把密文存入开放区域 (OST) 。UPC把创建好的UP通过UPTU传送给iVDS-是上的存储模块。

传输模块 (Transmit Module) 完成在内容复制和内容移动时UP的安全传输工作。传输模块中除了UPTU以外还有UP发送器 (Usage Pass Transmitter, UPT) , UPT从UPTU中获取UP, 判断该UP是否可以被转移或复制到其他iVDR-S中。如果允许, 就通过UPTU把UP直接发送到其他i VDR-S中。

iVDR-S作为存储设备, 包含一个存储模块 (Storage Module) 。存储模块负责存取UP, 上面提到的Qualified Storage (QST) 也是该模块的一部分。除此之外还有UPTU和安全存储控制器 (Qualified Storage Controller, QSTC) 两个功能单元, QSTC是和QST打交道的单元, 它的主要功能是在UPTU和QST之间传输UP。在该模块中UPTU负责和其他模块的UPTU交换UP。图2为iVDR-S存储模块结构图和储存流程。

4. iVDR-S加密策略设计

加密技术是数字版权保护的基础和起点之一, 通过对明文进行一系列的算法变换, 使得在执行逆变换之前, 内容是不可读的或不可理解的。上面提到iVDR-S安全存储系统选择AES加密是因为AES加密强度高且加密速度快功耗低, 适合在移动设备和手持设备上应用。下面说明iVDR-S安全存储系统的加密策略。

iVDR-S把内容按照特定的字节长度划分成分定位单元 (Allocation Unit, ALU) 。ALU是UP作用的基本单位, 一个UP对应一个或多个ALU。在同一个UP作用范围内的ALU都有编号 (ALU NO) , 从1开始按序往后编号。ALU NO将作为一个AES算法的一个加密参数。UP和ALU对应关系如图3所示。

在本系统中采用了AES算法的两种模式CBC (Cipher Block Chaining) 和ECB (Electronic Code Book) 相互配合的方式加密。ECB模式的下的IV (Initial Vector) Seed和CBC模式下的加密密钥 (key) 都是根据一定随机算法产生的128位随机数。ECB模式函数定义如下:

其中st_number是要加密的内容, 由ALU NO高位补零得到。随机产生的IV_Seed被保存在UP中。输出IV是用于CBC模式加密的初始化向量。图4为ECB模式流程图。

CBC模式加密和解密函数如下:

其中key是加密用的密钥, 被保存到相应的UP中。IV由上面的ECB模式生成, Data是要加密的数字内容, eData是加密后数字内容密文。加密时Data以128bit为单位分成块, 以块为单位加密, 将前面一个加密块输出的密文与下一个要加密的明文块进行XOR (异或) 操作计算, 将计算结果再用密钥进行加密得到密文, 第一加密块和IV做XOR (异或) 操作计算。解密过程和加密过程类似, eData以128bit为单位分成块, 以块为单位解密, 解密后明文和前面一个加密块输出的密文进行XOR (异或) 操作计算, 其结果就是解密的结果了, 第一加密块解密后和IV做XOR (异或) 得到第一块的明文。

5. iVDR应用前景

iVDR在PC与信息家电的融合中做出了巨大贡献, iVDR硬盘在外观上延续传统硬盘的风格, 同时采用独特的缓冲结构加强抗震性。iVDR最大传输速率可达875Mbps[3], 远高于光盘的传输速率。iVDR组织成员不断推出基于iVDR应用的产品, 在日本市场已有日立iVDR录放机、三洋对应盒带式HDD (硬盘) 数字调节器等等。日立消费电子推出了多个系列内置iVDR-S接口的高清数字电视和等离子电视, 使iVDR在家电领域的应用迈出了重要的一步。目前适合国内市场的产品也在研究开发当中。iVDR除了被用于地面数字高清电视和高清录像机、PC外设等民用设备, 也逐渐被用于电视台高清摄像机、高清传输储存编辑系统等商用设备[1]。2008年中央电视台采用了支持iVDR的电视播放系统。

随着数字产业的发展, 消费者对电子类产品的要求也越来越高, 从掌上娱乐终端到高清数字电视, 从家用数码相机到专业高清摄像机, 从手机到汽车娱乐导航系统, 硬盘几乎融入到所有的产品中。不管用何种存储介质, 数据安全一直是厂家和使用者最关心的问题之一, iVDR-S安全存储功能为数字安全提供了保障。随着技术发展, iVDR容量将会增加、价格也将更低。在这种趋势下, iVDR将更能满足未来数字设备的应用需求。

参考文献

[1]iVDR Consortium.iVDR is approved as International Standardmedia[EB][2010-6-10].http://www.ivdr.org/en/business/news/2009/1028.html

[2]Hitachi, Ltd.Security.Architecture for Intelligent AttachmentDevice Specifications, Version 1.20[S].2008

[3]iVDR Consortium.iVDR is approved as International Standardmedia[EB][2010-6-10].http://www.ivdr.org/en/

[4]iVDR Consortium.iVDR Hard Disk Drive TV RecordingSpecification, Version 2.30[S].2008

[5]Hitachi Maxell.Hitachi Maxell Releases New iVDR[EB][2010-6-10].http://www.cdrinfo.com/sections/news/Details.aspx?NewsId=26421

[6]Hitachi, Ltd.Recording and Playback Device for iVDR-TVRecording Specification[S], Version 1.20[S].2008

[7]ONO RYOJI.iVDR:Trends and Technologies[J].Sharp TechnicalJournal, 2004, 90:51-54

[8] Hitachi, Ltd., JPN.iVDR Offers a New Solution for ContentsAccess[J].Hitachi Hyoron, 2006, 88 (3) :255-258

构建可持续发展的存储系统 篇11

有效利用存储资产降低总体拥有成本（TCO）

虽然许多企业的存储成本都在不断攀升，却存在着一个有趣的现象：这些企业的存储规模往往与其实际消耗不符。在大多数情况下，各个企业只使用了其存储容量的30%，而余下的70%处于闲置状态。这种现象说明了什么？首先，这意味着现有的存储容量还有很大的增长和资源利用空间；更重要的是，这意味着企业不应该承受价格上涨带来的损失。这些企业完全可以利用其现有的存储资产来提高存储利用率，来实现更高的容量效率和更低的总体拥有成本（TCO），而不是购买昂贵的新存储介质。

如何获得提升容量效率

获得高水平的容量效率需要在两个关键方面实现存储最大化：分配效率和利用效率。分配效率是指消除过度分配造成的浪费，另一方面，利用效率主要在于以有效方式使用现有容量，从而降低成本并提高性能和可用性。

分配效率

磁盘资源的过度分配是存在于许多IT系统中的普遍问题。IT人员通常会分配多于用户请求的容量，并保存所有数据的10至15个副本，以确保服务水平和避免容量意外耗尽。目前，为了提高分配效率，更需要运用自动精简配置的方式，通过根据分配请求提供虚拟空间，并仅配置实际使用容量，从而消除这种过度分配。这种方法还支持文件系统的API，如VMFS和赛门铁克文件系统等，当文件被删除时可以通知存储系统回收为其分配的空间，由此实现存储空间的自动高效配置。通过消除未使用的空间分配，制作副本所需的容量和时间都得以减少。在这个过程中，写入时复制可以减少副本的数量，只有一些新的更改会被复制。这样以此来提高分配效率的方式，已经得到越来越多的企业认可。

利用效率

利用效率即指数据在最适合的存储层级被合理放置，利用效率建立在对数据的访问频率、商业价值和存储成本这些因素的考虑基础之上。对于提高利用效率，被认可为最有效的方式是自动化分层，而特定的分层策略由特定的时期或者事件而决定。数据自动分层有两种类型，即文件卷分层和页面分层，但利用效率只能通过“页面分层”来实现。这是因为文件卷分层需要在所有存储层中移动整个卷，这比只需在各层间移动访问热点页面，从而只占据全部卷大约5%～10%的页面分层需要更多的空间。

存储虚拟化：提高容量效率的基石

存储虚拟化是目前为止提高容量效率最重要最有效的解决方案，它为缺乏这些能力的现有存储系统拓展了自动分层和精简配置等存储效率的工具。拥有了虚拟化存储，便可以将来自内部、外部和多厂商存储的结构化和非结构化数据的文件、内容和块存储等所有的数据类型，整合到一个单一的存储平台上。当所有存储资产成为一个单一的存储资源池时，自动分层和精简配置功能就可以扩大到整个存储基础设施，从而可以轻松实现容量回收和利用最大化，甚至达到重用现有资产以延长使用，显著提高IT灵活性和容量效率，以满足非结构化数据增长的需求。

存储虚拟化还带来了颇具竞争力的多厂商存储采购策略的好处。拥有了虚拟化的自由度，便可以实现外部存储的有效商品化。企业或者组织可以为不同存储层设计不同价格范围的存储系统：在适当情况下选择出价最低的系统，为中低层存储配置价位更具竞争力的介质，为高层次存储使用高端磁盘，借助这种投资组合获得最大的投资回报。这也意味着企业不再需要担心有可能出现的硬盘短缺和价格上涨，最终他们可以根据自己的具体需要和实际消费模式，灵活选择他们的长期存储采购策略。

独立的存储控制器以较低的成本实现存储性能最大化

为了以最高的效率优化存储性能，理想的存储基础设施需要借助独立的存储控制器来分隔磁盘容量。这是因为动态页面分层需要处理更多的元数据，同时，独立的存储控制器也可以获得存储系统内更高的处理能力。通过设置单独的处理器池支持这些扩展功能，可以在不影响基本I /O性能和吞吐量的情况下实现数据移动效率的最大化。

磁盘容量与存储系统控制器分离的另一个优点是获得了管理存储介质的自由。目前存储系统控制器通常与系统技术保持一个三年的更新周期，分离后磁盘容量不再需要与存储系统控制器保持同样的更新速度。这意味着企业可以根据自己的需要，将现有磁盘容量的使用寿命延长到5至7年。由于存储介质仍然占新存储系统整体成本的主要部分，更长的折旧周期将显著降低资金成本。此外，企业还可以享受外部存储的多供应商采购策略，从而获得更具竞争力的中、低端存储价格。

以最小的运营成本（OPEX）和资本支出（CAPEX）实现容量效率最大化

日立数据系统的Hitachi Virtual Storage Platform (VSP)可以说是新一代存储基础设施的代表性产品，它可以通过存储虚拟化来提供最大化容量效率的所有关键部件。VSP不仅具备业界领先的精简配置、动态分层和复制等存储功能，而且还拥有独立于磁盘容量的强大存储控制单元，通过在一组管理工具下创建动态共享资源的通用虚拟池来实现。

VSP可以显著优化存储资产的利用率，将其从20～30%的历史水平提高到50～60%。如果现有的存储系统不提供自动精简配置功能，VSP可以回收40%或更多已分配但未使用的存储容量。其独立的控制器还能够自动以适当的成本把正确的数据放置在同一存储基础设施内合适的存储层，而无需任何的人为干预或也不会造成任何对性能的干扰。

通过将VSP配置到传统存储、低成本的模块化存储和多供应商存储系统之中，整个存储容量可以得到更长时间和更充分的使用。此外，企业或者组织还可以享受到灵活的媒介采购策略和更少的新容量需求。以占用空间为例，部署VSP可以使空间需求减少高达40%。通过提高容量效率，整体存储成本还能够以最小化的人力、地面空间以及电源和冷却成本实现资本盈利，从而显著降低存储的资本支出（CAPEX）和运营成本（OPEX）。

存储系统 篇12

1视频编码压缩技术是数字存储的基础

视频编码技术主要由ITU-T和ISO/IEC开发。前者已经发布了视频会议标准H.261、H.261、H.263、H.263+、H.263++、H.264;而ISO/IEC的标准则是MPEG系列, 得益于CCIR601的4:2:2的采样标准使电视信号的数字化在不同电视制式当中采样得以统一, 在CCIR601中的4:2:2采样标准规定每个采样点为8bit我们可以算出数字视频的数据量为13.5 (MHZ) ×8 (bit) ) +2×6.75 (MHZ) ×8 (bit) =27Mbyte/s。本台的高标清数字视频信号采用MPEG2的标准, 将标清电视数字信号以12Mbps的码流进行编码压缩, 高清电视数字信号以50Mbps的码流进行编码压缩, 转化成数据文件存储在播出的硬盘存储系统中。

2固态硬盘较机械硬盘的性能更有优势

目前, 电视节目的播出和非编主要还是使用以硬盘为载体的存储构架, 而硬盘目前又分为机械硬盘、固态硬盘、混合硬盘, 在目前广电的硬盘存储系统中所采用的还是传统的机械硬盘, 机械硬盘的全名为温彻斯特式硬盘。

机械硬盘在提升自身的读写性能的过程中, 通过提高单碟磁盘的数据存储容量, 提升硬盘的转速, 增大硬盘缓存的同时还通过改革接口总线, 来提升读写速率;机械硬盘的接口有IDE/ATA、SATA、SATAⅡ、SATAⅢ、SCSI、FC、SAS。

个人电脑的机械硬盘多以SATA1、2、3的接口为主, 服务器与专业存储则是以SCSI、FC、SAS、SATA的接口为主, 我们现在非编网和播出存储环境中, 需要对大量的数字视频数据进行处理, 为了解决大容量的视频数据和并发的数据读写请求, 我们则采用DAS、NAS、SAN的存储构架结合RAID技术来满足我们对数据的需求, 目前在非线性编辑网和播出网中主要以SAN的存储构架结合RAID3或者RAID5技术来实现视频的在非编网和播出系统中的存储。虽然通过SAN的存储构架和RAID技术可以提供更大的数据吞吐量和数据的冗余, 但作为非编网和播出网存储系统的核心设备的硬盘, 主流7500rpm的平均读写速率一般分别在100MB/S左右, 15000rpm的企业级硬盘平均的读写速率一般分别都在180MB/S, 160MB/S左右, 而机械硬盘在持续读写数据时, 其读写速率将会下降;机械硬盘的平均访问时间为10-14ms左右, 其IOPS即使是15000rpm的硬盘值也不高, 其值在175-210iops之间。传统的机械硬盘平均的读写速率不高, 毫秒级的延迟, 与低IOPS这些自身的性能瓶颈在面对并发的大量视频数据读写要求时, 和将来面临大量的数字高清视频业务时将会严重影响非编网和播出网存储系统的性能。

固态硬盘是目前热门的硬盘产品, 是用固态电子存储芯片阵列而制成的硬盘, 由控制单元和存储单元组成。

目前, 大多数固态硬盘的体积为2.5英寸, 并且采用与传统的机械硬盘SATA3.SATA2相同的接口, 但是也有些固态硬盘采用PCI-E或是Express Card作为接口可以达到惊人的2GB/S的读取与1GB/S的写入速率。主流的固态硬盘采用FLASH芯片作为存储介质, 高端的固态硬盘采用单层式存储闪存芯片, 其结构简单每个单元只有1bit, 却有着高达10万次P/E的擦写寿命, 和更快的速度表现, 并且有接近于0的寻道时间和上万次的IOPS值。

在本台播出网中的视频素材通过上载工作站迁移到二级存储中, 根据本台的实际需求采用了8台以12Mbps的码流编码的标清上载工作站, 2台以50Mbps的码流编码的高清上载工作站, 当它们并发工作时就会有实时24.5MBps左右的写入带宽, 再加上本系统有4台网关每台允许最大并发5个以4倍速由二级存储向视频服务器迁移视频素材的任务, 这样在满载负荷下对二级存储来说就有560MBps左右的读写带宽, 然而当长时间的进行这样大的数据量读写时, 目前使用的机械硬盘受本身的物理结构的限制其持续的读写速率会下降, 这样会对二级存储带来很大的负担, 这时如有应急突发的数据读写要求时可能会出现掉盘或者二级存储网关迁移软件无法响应, 这样就增大二级存储故障的风险。然而, 如在二级存储的磁盘存储阵列中使用固态硬盘, 就算面对大量视频素材上载, 和向视频服务器迁移视频素材这样的满负荷的读写数据要求时, 目前主流的120G固态硬盘凭借着其400MB/S左右的持续读写速率完全能胜任, 在将来高清成为主流的播出标准时, 有理由相信固态硬盘可以凭借其出色的读写性能取代传统的机械硬盘作为存储系统的标准配置。

非编网内的非编工作站在对视频进行编辑时, 在时间轴上对视频素材进行频繁的操作, 会增加对非编网存储系统中硬盘读写操作次数, 磁盘阵列中的磁盘的iops在高峰的时候, 其相应的时间就会变长, 从而导致其响应的速度会变得很慢, 在编辑视频素材的时候有可能会出现卡、延迟、停顿、丢帧等情况, 这样就会影响正常的非线性编辑的操作;而固态硬盘的iops很高, 最高可达到60.000iops, 一般的也在400-20.000iops之间, 如若在相同的iops时固态硬盘的响应速度会是很快的, 延迟是纳秒级别的, 这样会更利于我们对视频进行非线性的编辑, 提高工作效率。由此可以看出, 传统的机械硬盘将会成为瓶颈制约整个播出网和非编网中存储系统的性能, 在将来面对大量的高清视频素材时机械硬盘自身读写性能的缺点将会尤为的凸显。

在节能方面, 由于播出网和非编网中的存储系统需长时间在线, 以机械硬盘为核心的存储系统因为机械硬盘的物理特性使它的功耗高, 磁盘高速旋转而带来的噪音和发热量需要其所在的环境承担额外的噪音和制冷的负担;而固体硬盘却只有2.5W左右的功耗, 零噪音, 低发热量, 在长时间的运行环境中将更加节能环保。虽然固态硬盘在性能上相对于机械硬盘有着很大的优势, 但是也不得不承认其存储成本很高, P/E的擦写寿命较少, 随着固态硬盘产业的提升, 固态硬盘控制器技术不断的完善。我们有理由相信, 固态硬盘会克服其缺点成为制播网存储系统中数据存储的载体。

参考文献