数字存储技术论文

数字存储技术论文（精选12篇）

数字存储技术论文 篇1

摘要：针对现在数字图书馆的海量数据存储的现状和需求,构建一个安全、高效的存储后台已经成为数字图书馆建设中的重要任务。本文介绍了数字图书馆的存储体系架构(DAS、NAS、SAN和IP-SAN),并进行了全面的比较分析,指出了适用的图书馆类型,并提出结合了SAN与NAS的IPStorage是未来存储的发展趋势。

关键词：数字图书馆,网络存储

一个完整的数字图书馆系统包括通讯体系架构、应用体系架构和多媒体数据库体系等,要求系统支持并行机制,以加速系统运行,支持可扩展的海量数据资源存储,支持海量资源快速搜索和调度。在支撑整个体系的硬件平台中,存储系统是最为核心的部分,它必须能够满足不断增长的海量存储空间的需求,提供高速的数据传输能力和对于复杂的异构数据存储环境的管理、备份等能力。可以说建设数字图书馆的关键技术在于存储系统,一个良好的存储系统解决方案应能适应数字资源的海量存储和不断增长,同时能够满足当今网络环境复杂性和扩展性的不断提高。

1 概述

目前数字图书馆收藏的数字资源主要有以下几类:(1)书目数据库:包括馆藏书目数据库、联合目录数据库、电子期刊目录数据库等,这类资源占用的存储空间较少,增长量也不大,对存储空间要求较低。(2)全文数据库:如CNKI学术期刊全文数据库、维普科技期刊全文数据库、学位论文全文数据库、万方数据库、超星、书生之家等电子期刊与图书。这类资源占用存储空间很大,而且增长迅速。(3)文摘题录数据库:包括各种商业化的检索数据库和自建的特色数据库。这类资源占用的存储空间不太大,增长平稳。(4)光存储资源:包括光盘版的数据库、应用软件光盘、教学光盘、随书光盘以及CD、VCD、DVD等多媒体教学、娱乐资源。如果这类资源收藏很多的话,会占用大量的存储空间。

2 海量数据存储技术分析

数字图书馆作为一个海量信息资源和高速宽带传输的计算机网络系统,需要许多先进的信息技术的支撑。其中海量数字信息的存储是一个十分重要的基本问题,是系统设计的核心任务之一。对于存储设备的规划和设计,一般是根据数字图书馆的规模和经费预算而定并预留扩展的空间。对于数字图书馆的存储方案，一般应满足现实可用性、可靠性、可扩展性、成本有效利用性、可管理性等五个方面。目前比较常用的存储技术有直接附加存储(DAS)、网络附加存储(NAS)、存储区域网络(SAN)和IP-SAN等。

2.1 直接附加存储(DAS)

直接附加存储(Direct Attached Storage,DAS)是最常见的传统的存储方式。它利用SCSI总线将磁盘阵列等存储设备直接连接到计算机服务器,相当于服务器外挂的大容量硬盘。直接附加存储技术与SCSI技术和RAID技术关系密切,目前常用的有Ultra3 SCSI和RAID5。

SCSI(Small Computer Standard Interface，小型机标准外设接口)是用于连接主机与外设的标准接口。一个SCSI控制卡可以连接15个外部设备,如磁带机,光驱,磁盘阵列等。Ultra3SCSI的总线宽度为16位,最大总线速度可以达到160MB/S。RAID(Redundant Array of Inexpensive Disks)是由多个硬盘组成的磁盘阵列系统,采用数据条的方式存储数据,可以提升读写速度和数据的安全性。目前被广泛应用的RAID5由3个以上的硬盘组成,它的奇偶校验信息不是存储在专用的硬盘上,而是分散存储在所有的硬盘上,如果某个磁盘损坏或数据丢失,可以利用其他磁盘通过校验数据恢复或重新生成丢失的数据;由N个硬盘组成的RAID5磁盘阵列的容量可以达到N-1个硬盘容量的总和,具有存储空间利用率高、读写速度快等优点。

2.1.1 工作原理

直接附加存储是以服务器为中心,各种存储设备通过SCSI等I/O总线与服务器相连的存储模式。当客户机访问服务器时,首先发送一个请求信号,服务器接受后从硬盘读取数据,再通过网络将数据传送给客户机。在DAS存储技术中,服务器起到储存并转发数据的功能。由于储存转发要协调各种不同速度部件之间的I/O操作,需要消耗服务器许多CPU、内存和总线的系统资源,限制了服务器的数据吞吐能力、响应时间和每秒事务处理量,当并发访问的用户数量过多时,必然造成服务器过载,甚至中断服务。DAS的工作原理如图一所示。

2.1.2 优缺点

DAS的优点是显而易见的,设备安装简单,只须与服务器直接连接即可,不需要复杂的软件和技术;前期投资较低,因为是直连式,对存储设备的要求不高,也不需要其他附设;维护成本较低,技术成熟,标准统一,兼容性较好。因此,DAS在应用服务不多、数据量不是很大、存储资源共享的要求不高的数字图书馆发展早期应用较为普遍。

随着人们对网络服务要求的提高,DAS存储技术无法承担大量的数据传输和并发用户数,因此,更先进的NAS和SAN技术应运而生。

2.2 网络附加存储(NAS)

网络附加存储(Network Attached Storage,NAS)是由美国硅谷首先提出的。网络附加存储突破了传统的存储模式,不再以服务器为中心,而是以数据为中心,存储设备不是服务器的附属设备。因此,NAS存储系统在文件共享、数据管理和扩展性能方面均优于DAS存储系统。

2.2.1 工作原理

网络附加存储是将存储系统通过网络接口直接与LAN相连,不通过I/O总线附属于服务器。由于数据不通过服务器转发,直接在客户机和存储设备之间传送,避免了延迟和阻塞;服务器只起管理和控制的功能,因此具有更高的响应速率。NAS存储系统在网络上拥有唯一的IP地址。在网络附加存储系统中,客户机、服务器和NAS存储设备的数据访问过程如下：首先,客户机向服务器发出连接请求,服务器确认后,将NAS存储设备中的文件目录传给客户机。接着,客户机发出数据访问请求,服务器返回文件的地址信息。然后,客户机向NAS存储设备发出连接请求,NAS存储设备确认后,等待客户机的读写命令。最后,NAS存储设备向客户机发送数据,完成数据传输过程。

2.2.2 优缺点

NAS的优点在于:设备可以连接到以太网的任何位置,为网络上的客户机或服务器提供文件服务、数据存储;具有扩展性好、数据吞吐量大、访问性能好、价位低等特点,减轻了应用服务器的I/O负载,提高了网络性能,还支持异构平台;NAS没有使用新的网络协议,不改变现有网络结构就可使用;还具有即插即用功能,安装简单。NAS在中小型图书馆有较好的应用前景。

虽然网络附加存储(NAS)比直接附加存储(DAS)先进,但仍然存在一些问题。一是扩容问题,可增加的磁盘数量有一定的限制,所以存储容量的增加也是有限的;二是带宽问题,虽然NAS解决了服务器I/O带宽的问题,但是它的数据读写占用网络的带宽,特别是对大量数据进行备份的时候,容易导致网络的堵塞;三是对数据库的支持问题,因为NAS主要针对文件格式的数据访问,对数据块的访问比较困难,所以无法支持数据库服务;四是安全问题,由于NAS设备直接连接在网络上,存在一定的网络安全隐患。

2.3 存储区域网络(SAN)

存储区域网络(Storage Area Network,SAN)是独立于LAN的专用存储网络,采用高速光纤通道(Fibre Channel,FC)作为传输媒介,通过FC Switch和FC HUB将服务器与存储设备相连。

2.3.1 工作原理

SAN底层使用光纤通道协议(Fibre Channel Protocol,FCP)进行数据传输,网络中的主机通过主机总线适配器(HBA)访问网络中的各种存储设备。在存储区域网络中存储设备不再是某个特定主机的附属设备,而是相互连接形成存储网络系统，统一向多个主机提供服务。SAN中数据访问的过程如下:首先,在IP网络中客户机通过TCP/IP协议向服务器发送数据访问请求;服务器收到访问请求后通过FCP协议在SAN网络中向目标存储设备发送读写命令;然后,目标存储设备将封装在FCP协议中的数据帧传往服务器;最后,服务器上的HBA将FC数据帧转换为IP数据报,再通过TCP/IP协议传给客户机。

2.3.2 优缺点

SAN主要有以下优点:与现有网络连接简易并且通过同一物理通道支持广泛使用的SCSI和IP协议;允许用户独立增加它们的存储容量,提高了网络存储系统的可扩展性和可伸缩性;支持异构服务器的访问;数据存储的集中化,减少系统管理时间;网络数据备份和恢复不占用网络带宽,改善了网络传输的拥挤现象;能方便地实现高性能的服务器集群、负载均衡、双机热备、异地容灾等应用,大大提高系统的性能和可靠性;连接距离长(最长10公里),可为远程客户提供镜像存储,降低数据被破坏的损失。SAN技术将成为数字图书馆理想的存储管理和应用模式。由于标准尚未统一,不同厂商的产品兼容性较差,加上成本高,价格昂贵,安装困难,管理维护复杂,一定程度上限制了SAN的广泛应用。为了更好地说明DAS、NAS、SAN三者的区别,现列表如下。

3 S AN-NAS系统

SAN技术和NAS技术的结合,发挥了SAN技术中处理数据块操作的优势,提供对数据库的高速访问;而NAS引擎锐化的专用文件服务设计,能够快速向客户端提供文件服务,弥补了SAN系统所缺乏的对文件级数据的访问服务。这两种技术的结合大大提高了系统的整体性能。在数字图书馆的存储应用中,数据采集、封装和备份的操作可以在SAN的后端网络中进行,数据的访问、管理操作通过LAN进行。

3.1 数据访问流程

基于SAN-NAS存储网络的数字图书馆的数据访问流程如下:(1)读者从局域网或互联网登入到数字图书馆的Web服务器,通过Web交互界面提交查询和检索请求。(2)Web服务器将读者请求转给检索服务器,由检索服务器执行检索操作并对检索结果进行判断,分析是否属于跨平台数据访问。(3)如果是跨平台数据访问,则将检索结果交由NAS引擎处理;否则交由SAN服务器处理。(4)NAS引擎或SAN服务器根据元数据库所提供的地址信息对目标存储设备发送数据访问请求。(5)对于相同的系统文件格式的数据,目标系统将数据块发送到相应的SAN应用服务器,由该服务器对数据块按文件格式组合后发送给客户端。(6)对于跨平台数据访问,目标系统将数据块发送至NAS引擎,由NAS引擎对数据块进行组合,依照NFS或CIFS协议将文件传送至客户端。

3.2 SAN-NAS存储系统的管理

SAN-NAS系统的管理分为带内管理(in-band)和带外管理(out-of-band)。常用的带内管理协议是SES(SCSI Enclosure Service),由于无需额外的LAN连接,带内管理简化了存储网络的安装。Faber交换机利用SES查询命令,获取相连的HBA和磁盘阵列的详细信息,组成整个SAN的管理结构图。数字图书馆日常主要依靠带外管理,通过LAN通道来管理SAN-NAS存储系统,其管理查询及管理命令包含在SN-MP、TELNET和HTTP协议中。

3.3 LAN-Free数据备份

LAN-Free的SAN-NAS备份解决方案以光纤通道交换机或集线器为核心,各主机服务器和存储设备相连形成大规模数据传输存储网络,需备份的数据通过光纤通道直接传输到备份存储设备上,利用光纤通道的高带宽,达到高效高速的备份功能;同时各主机服务器可共享备份设备,减少设备投资。由于避免了备份数据在LAN上的传输,不会影响数字图书馆在线服务。

4 IP-S AN

IP-SAN是一种基于ISCSI存储技术的存储产品,也是基于IP协议的存储网络,是IP协议和SAN的结合。IP-SAN其实是在FC-SAN的基础上再进一步,它把SCSI协议完全封装在IP协议之中。简单来说,IP-SAN就是把FCSAN中光纤通道解决的问题通过更为成熟的以太网实现了。从逻辑上讲,它是彻底的SAN架构,即为服务器提供块级服务。基于IP-SAN的存储设备是连接到一个TCP/IP网络的直接寻址的设备,通过块I/O SCSI指令对其进行访问。对这一产品的另外一种描述是,它是连接到TCP/IP网络的存储设备,但可以使用与DAS和SAN存储设备一样的I/O指令对其进行访问。

4.1 ISCSI协议

ISCSI(互联网小型计算机系统接口)是一种在Internet协议网络上,特别是以太网上进行数据传输的标准,是IETF(Internet Engineering Task Force,互联网工程任务组)制定并于2003年2月正式发布的标准协议。ISCSI可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择,实现了SCSI和TCP/IP协议的连接。

ISCSI技术出现之前,构建存储区域网的唯一技术是利用光纤通道,但是其架构需要高昂的建设成本。ISCSI技术的出现对于以局域网为网络环境的用户来说,它只需要不多的投资,就可以方便、快捷地对信息和数据进行交互式传输和管理。ISCSI存储技术具有硬件成本低廉、操作简单、扩充性强、数据传输速度快等特点,它的出现让小型企业也可以组建自己的数据存储系统,让大中型企业也能在投入少量的资金情况下,获得更大的存储空间。

ISCSI协议定义了在TCP/IP网络发送、接收数据块级的存储数据的规则和方法。发送端将SCSI命令和数据封装到TCP/IP包中再通过网络转发,接收端接收到TCP/IP包之后,将其还原为SCSI命令和数据并执行,完成之后将返回的SCSI命令和数据再封装到TCP/IP包中,再传送回发送端。而整个过程在用户看来,使用远端的存储设备就像访问本地的SCSI设备一样简单。ISCSI其实就是在TCP/IP上面传输SCSI。

4.2 FC-SAN与IP-SAN的比较

如图二所示，在FC-SAN中,服务器和存储设备采用FC协议组成FC-SAN,而用户和服务器采用IP协议组成LAN或WAN,存储设备通过FC-SAN为服务器提供块I/O服务。而IP-SAN继承了FC-SAN的体系结构,用户和服务器采用IP协议组成LAN或WAN。所不同的是,服务器和存储设备采用IP协议组成IP-SAN。由于存域网和用户网都是用IP协议构成的,尽管它们在逻辑上是两个不同的网络,但在物理上它们是同一网络,存储设备通过IP-SAN为服务器提供块I/O服务。

在FC-SAN中存域网和用户网是用两种不同的协议实现的,用户对存储设备的访问通过服务器转换是必要的,服务器实现两种协议的转换。在IP-SAN中,存域网和用户网是采用相同的TCP/IP协议实现的,用户与存储设备间的数据传输可以直接进行而不必经过服务器转换;同时存域网和用户网在物理上是同一网络,用户与存储设备间存在着不通过服务器的直连通道。它们的主要特点如表二所示。

5 结束语

DAS是图书馆采用的传统的数据存储模式,但是对于数字图书馆的海量数据,这种存储模式已无法满足系统的要求随着时间的推移和技术的进步逐渐被淘汰。取而代之的是NAS和SAN模式,这两种模式较DAS有更多的灵活性和扩展性。

NAS实现异构环境下的文件共享和非密集型数据应用服务,但不适宜对数据库的快速I/O存取,由于数据完全依靠LAN传送,所以传输速度较慢,容易造成网络堵塞。

SAN是独立于LAN的数据存储网络,实现数据资源的存储、合并、转移、备份以及共享,可满足密集型数据服务的需求。SAN-NAS存储模式结合了这两种技术的优势,弥补了两者的不足,实现了更加快速、高效、灵活和易于管理和扩展的存储网络,是当前数字图书馆建设的重要技术之一。

基于图书馆数据的特性,IP-SAN是数字图书馆网络存储的最佳选择。图书馆的数据增长非常快,IP-SAN可以很容易地实现低成本扩容;图书馆的网络系统基本上都是基于TCP/IP的以太网,采用IP-SAN将大大减少建设和维护成本;图书馆的存储设备大多配有比较落后的IDE、SCSI硬盘的DAS或磁盘阵列、NAS、SAN等,IP-SAN能将这些存储整合成统一的存储池,保护已有的投资;IP-SAN能方便地进行异地容灾、备份,保障馆藏数据的安全,这也能很好地满足多校区馆的需求;IP-SAN不仅能满足读者对数据量不大的书目数据、Web数据、全文数据的访问,同时也能满足对数据量大、I/O带宽需求大的多媒体数据的访问要求。

参考文献

[1]张继征.NAS与SAN的融合[J].计算机应用研究,2009,(05).

[2]陈芙蓉.海量存储体系在数字档案馆建设中的作用[J].中国档案,2009,(06).

[3]罗宁.SAN与NAS融合技术研究[J].计算机应用与软件,2004,(10).

[4]李华.SAN在数字图书馆的应用研究[J].现代情报,2005,(04).

[5]杨子伍.基于IP-SAN的Windows终端系统在图书馆的应用[J].图书馆学研究,2006,(04).

[6]徐革,李宁.基于FC SAN和IP-SAN架构的数字图书馆综合网络存储应用[J].计算机应用研究,2005,(06).

[7]董唯元.IP存储前沿:ISCSI技术之彻底剖析篇[EB/OL].http:∥stor.51cto.com/art/200603/23250.html.

数字存储技术论文 篇2

基于1M60数字CCD相机的数字图像存储系统

传统光电经纬仪是通过高速同步摄影机拍摄胶片来获取实时测量信息,测量的数据处理通常只能依靠胶片的事后判读,存在着操作复杂、人工判读误差大,无法实现实时数据处理等诸多不利因素.通过对数字CCD相机应用的研究,设计了以Pantera TF 1M60相机为数据录取器件,工控机为数据存储处理平台的数字化数据采集记录系统,实现了光电经纬仪数据、图像的.数字化存储和处理.结果表明系统的软硬件设计满足光电经纬仪性能要求.

作 者：赵云峰 王秋颖 ZHAO Yun-feng WANG Qiu-ying 作者单位：中国人民解放军91245部队,辽宁,葫芦岛,125004刊 名：电光与控制 ISTIC PKU英文刊名：ELECTRONICS OPTICS & CONTROL年，卷(期)：14(5)分类号：V245.6关键词：数字CCD 动态目标测量 无压缩存储 光电经纬仪

数字存储技术论文 篇3

关键词数字校园；SAN；SAN存储

中图分类号G4 文献标识码A 文章编号1673—9671—(2009)122—0084—01

“数字校园”是指学校在开展教学、科研和信息服务及对外交流过程中通过校园网络网实现学校教学的数字化、办学的信息化和信息服务智能化等等。数字校园是以校园网络为基础，实现从环境(如教室、实验室、设备等)、资源(如图书、档案、公文、讲义、课件等)到活动(如教学、科研、管理、服务、办公等)的全部数字化，在传统信息校园的基础上构建一个数字空间，实现教育过程的全面信息化从而达到提高教育管理水平和效率的目的。

1SAN在数字校园网络应用平台建设中的背景

自上世纪90年代以来，我国高校数字校园经过三十年的建设，在信息化建设方面取得了长足的进步。现在高校的网络与硬件基础设施日益完善，应用系统蓬勃发展(如学生选课系统、教师人事信息系统、图书馆信息自动化系统、档案馆信息自动化系统、学校mis系统等)，信息资源(如期刊全文数据库、光盘书籍库、电子书、自建的特色数据库、学校新闻网站等)日益丰富。随着高校数字校园的快速发展，用户对于信息化的需求越来越高，从原来的局部信息管理发展到跨部门的业务流程整合与决策支持，从简单的信息发布发展到整体的个性化的主动的信息服务，高校数字校园开始进入信息集成阶段。 信息集成阶段的数字校园必须解决问题很多，如系统集成和应用集成等，而且数字校园的建设会产生各种各样的有用的元数据。这些元数据需要安全的储存和共享。SAN存储技术在数字校园建设中的应用就是在这种需求的背景下产生。 存储区域网络SAN(storage Area Network)是指独立于服务器网络系统之外的高速光纤存储网络，采用高速光纤通道(Fibre Channel，FC)作为传输媒介，通过光纤交换机将服务器与存储设备相连。SAN存储根据采用的协议不同分为FC SAN和IP SAN两种技术。 从实际使用看。数字校园网络SAN存储系统一般应具有以下性能特点：全天24小时不间断可访问，访问响应速度快，数据和信息内容飞速增长的可扩展，数据使用开放的可共享，数据安全可靠，系统的抗灾、容灾能力及恢复能力，方便的操作界面和灵活的管理模式等等。

2SAN存储技术在数字校园建设中的应用

SAN存储技术在数字校园建设中的应用广泛，使用光纤通道技术构建的SAN称为Fc SAN，使用ISCSI技术构建的SAN称为IPSAN。FC SAN存储技术在数字校园建设中是一种高性能的存储方案，但存在着一些不足，如必须使用专用的光纤通道产品，这些产品往往价格昂贵，而且这些光纤通道产品传输距离有限，限制了远程存储系统的构建。相对于FC SAN，ISCSl技术支挣TCP／lP协议，可以使用传统的以太网交换机构建，在数字校园建设中成本低且可以通过传统的以太网进行传输，传播距离理论上没有限制。目前千兆以太网技术日益成熟，传输线路和网络设备的日益完善，稳定性大大提高，可以说基于ISCS啦术的FC SAN在数字校园建设中是一种更经济的存储解决方案。实际上在使用中可以将FC,SAN和IPSAN两种存储技术混合起来使用。

为了防止黑客和病毒的攻击，管理SAN存储网络的技术人员需要不断地提高自己的计算机水平，熟悉SAN存储技术的知识和相关的管理软件知识。SAN存储的管理软件，一般都支持图形界面。这种图形界面管理工具一方面方便了管理员，但同时也提供了一个溢出漏洞。所以管理员一定要管理好自己的个人计算机并关闭一些不必要的溢出端口。

为了防止SAN存储数据的丢失，制定相应的安全管理及备份策略和措施是很重要的。在SAN存储网络中，交换机是很重要的设备，一般要求要有冗余。不可因为一个交换机的故障导致整个SAN存储网络的瘫痪。对SAN存储的操作一般要求由系统管理员完成，密码和权限不可随意给予他人，而且系统管理员在对SAN存储时最好有两人操作，避免出现误操作。 SAN存储网络故障造成数据丢失常见原因有硬盘损坏、电源故障、计算机病毒感染、黑客攻击、人为误操作、自然灾害等。为了保证信息系统能够从灾难中以最快的速度恢复工作，降低系统停机时间，最大程度恢复数据，备份是一个最为简单可靠的方法。在SAN系统模式中，磁带驱动器和磁带库通过一个高速光纤通道网络连到各个主机。每个主机可以看到一个似乎是其专用的磁带启动器。安装在每个主机上的备份软件管理着对磁带驱动器的访问，将来自多个主机的备份任务按顺序放人可用的磁带驱动器。SAN为存储系统提供了高速的光通道连接网络，因此使磁盘的数据向磁带库的直接备份成为可能。在SAN系统模式中，备份软件采用可以目前国际流行的网络数据存储备份管理软件，一般要求软件功能强、速度快，能完成自动备份管理，且具有多种供用户定制的备份策略。

3SAN存储技术在数字校园建设中意义

数字存储技术论文 篇4

数字射频存储器 (DRFM) 是现代电子对抗系统中有源雷达干扰机的主要组成部分, 用于将接收到的雷达信号精确地复制后再返回该雷达系统, 以此来混淆该系统。正是应用DRFM的精确复制雷达信号的特点, DRFM技术已经广泛应用于各种雷达回波信号发生器、雷达综合测试仪和各类通用信号源的研制。

为了更好地保真复制各类信号, 为研究数字射频存储器提供可靠的仿真理论依据是本文的主要研究内容[1]。

1基本原理

数字射频存储 (DRFM) 的基本工作原理:首先将输入射频信号下变频为中频信号, 经A/D变换后成为数字信号, 写入高速存储器中。当需要重发这一信号时, 在控制器控制下读出此数字信号并由D/A变换为模拟信号。然后用同一本振作上变频, 得到射频输出信号, 完成对输人信号的存储转发[2,3]。

首先对量化过程进行分析, 现假设基带输入信号为一个正弦信号gi (t) =Esin ωit, 量化位数为N, 经过量化后的信号可用阶梯波y (t) 表示, y (t) 可以被认为是N对矩形波的叠加。如果A/D变换的量化位数为m, 那么正或负半周的量化台阶数为N=2m-1。

阶梯波的表达式为:

$\begin{array}{l}y(t)={\displaystyle \sum _{k=1}^{{\rm N}}y}{}_k(t)\\ ={\displaystyle \sum _{k=1}^{{\rm N}}{\displaystyle \sum _{n=0}^{\infty }\frac{4E}{\text{π}{\rm N}(2n+1)}}}\cos \left[(2n+1)\sin {}^{-1}\left(\frac{k-1}{{\rm N}}\right)\right]\cdot \\ \sin [(2n+1)\omega {}_{\text{i}}t]\\ ={\displaystyle \sum _{n=0}^{\infty }E}{}_{2n+1}\sin [(2n+1)\omega {}_{\text{i}}t](1)\end{array}$

其中:

$E{}_{2n+1}=\frac{4E}{\text{π}{\rm N}(2n+1)}{\displaystyle \sum _{k=1}^{{\rm N}}\text{c}}\text{o}\text{s}\left[(2n+1)\sin {}^{-1}\left(\frac{k-1}{{\rm N}}\right)\right](2)$

E2n+1就是量化产生的谐波分量幅度, 可由该式计算各阶谐波的功率。

在采样的过程中, 为简便起见, 以一位量化信号作为输入, 则输入信号为:

$f{}_{\text{i}}(t)={\displaystyle \sum _{n=1}^{\infty }\text{S}}\text{a}(n\text{π}/2)\cos n\omega {}_{\text{i}}t(3)$

式中:E, ωi分别为输入信号的幅度和角频率。设采样脉冲信号为fs (t) , 采样后的信号为fo (t) , 则采样过程在时域上的数学表示式为fo (t) =fi (t) fs (t) , 在DRFM中采用等间隔均匀采样, 采样周期为Ts, 采样时钟频率ωs=2πfs。在实际电路中, 采样是在采样脉冲上升的瞬间完成的。因此采样脉冲的宽度可以看成一个窄脉宽, 用τs来表示。采样脉冲的傅里叶级数为:

$f{}_{\text{s}}(t)=\frac{E{}_{\text{s}}}{{\rm T}{}_{\text{s}}}\tau {}_{\text{s}}+\frac{2E{}_{\text{s}}}{{\rm T}{}_{\text{s}}}\tau {}_{\text{s}}{\displaystyle \sum _{m=1}^{\infty }\text{S}}\text{a}\left(\frac{m\text{π}\tau {}_{\text{s}}}{{\rm T}{}_{\text{s}}}\right)\cos m\omega {}_{\text{s}}t(4)$

式中:Es, τs, Ts和ωs分别为采样信号的幅度、脉宽、周期和角频率。则:

$\begin{array}{l}f{}_{\text{o}}(t)=f{}_{\text{i}}(t)f{}_{\text{s}}(t)\\ =E{\displaystyle \sum _{n=1}^{\infty }\text{S}}\text{a}\left(\frac{n\text{π}}{2}\right)\cos n\omega {}_{\text{i}}t\frac{E{}_{\text{s}}}{{\rm T}{}_{\text{s}}}\tau {}_{\text{s}}\cdot \\ \left[1+2{\displaystyle \sum _{m=1}^{\infty }\text{S}}\text{a}\left(\frac{m\text{π}\tau {}_{\text{s}}}{{\rm T}{}_{\text{s}}}\right)\cos m\omega {}_{\text{s}}t\right]\\ =E{\displaystyle \sum _{n=1}^{\infty }\text{S}}\text{a}\left(\frac{n\text{π}}{2}\right)\cos n\omega {}_{\text{i}}t\frac{E{}_{\text{s}}}{{\rm T}{}_{\text{s}}}\tau {}_s\cdot \\ \left[1+2{\displaystyle \sum _{m=1}^{\infty }\text{S}}\text{a}\left(\frac{m\omega {}_{\text{s}}\tau {}_{\text{s}}}{2}\right)\cos m\omega {}_{\text{s}}t\right](5)\end{array}$

整理, 得:

在式 (6) 中, 第一项是基带的谐波信号, 是由量化所产生的频谱成分, 只有在基带滤波器内, 谐波将成为寄生信号, 所有nωi>ωs/2的项将被滤除 (n取奇数) ;第二项则完全在滤波器外, 不用考虑;第三项是交调信号, 满足 (mωs-nωi) <ωs/2的所有成分, 将成为交调寄生信号, 它们是信号谐波与时钟谐波的交叉调制引起的。若以D表示脉冲信号占空比, 且忽略第二项, 则式 (6) 变为:

式 (8) , 式 (9) 即为计算1 b量化DRFM的高次谐波和交调信号幅度的方法。

2仿真模型

通过建立数学模型, 应用当前功能强大的Matlab中Simulink工具箱可以很好地实现该系统的仿真。采样与量化过程的仿真建模如图1所示[4,5]。

信号发生部分采用Signal Generator模块产生正弦波;噪声源采用Gaussian Noise Generator, Zero-Order Hold模块实现采样功能。Compare To Zero模块实现单比特量化, Uniform Encoder模块实现多比特量化。各路信号分别经Data Type Conversion转换为合适的数据格式, 送入Spectrum Scope显示频谱[6,7,8]。

该模型同时显示四路信号经处理后的频谱, 四路信号由同一信号源产生, 以使得结果更具可比较性。为了尽量模拟实际环境, 加入了均值为0、方差为0.01的高斯噪声。

3仿真分析

(1) 输入信号频率fi=10 MHz, 经理论分析计算得到表1。

对模型进行仿真得到结果如图2所示 ( (a) ～ (d) 分别对应于仿真模型的四个支路) 。

(2) 输入信号频率fi=20MHz。

经理论分析计算得到表2;对模型进行仿真结得到结果如图3所示 ( (a) ～ (d) 分别对应于仿真模型的四个支路) 。

由理论图表及仿真图形可知, 该组仿真方案没有谐波产生, 频谱图中仅有45 MHz处的基波和15 MHz, 75 MHz处的交调, 这一现象是由于信号频率过高, 以致于谐波频率过高而被基带滤波器除去。尽管没有谐波产生, 但是交调的功率很大, 对系统的高性能工作同样是一个不利因素[9,10]。

4结语

综上所述, 根据采样与量化过程仿真分析可以得出:

(1) 采样和量化使信号频谱发生变化, 出现了新的频率分量——谐波和交调, 降低了DRFM的有效发射功率, 使得系统的工作能力变差。

(2) 噪声污染会使频谱变得更加复杂, 对于一个系统, 输出信噪比取决于输入信噪比和系统内部信噪比, 因此噪声的存在必将降低DRFM的信噪比。

(3) 总的来讲, 谐波分量随频率增加降低, 而交调分量随频率增加升高, 也就是说高次谐波幅度较低次的小, 而高次交调幅度较低次的大。

(4) 当信号频率和采样率一定时, 提高采样率或增加量化位数都可以起到抑制寄生信号的作用。具体来讲, 提高采样率对交调有很好的抑制作用, 而对谐波作用不明显;增加量化位数对交调和谐波都有很好抑制作用。

参考文献

[1]施阳.Matlab语言精要及动态仿真工具Simulink[M].西安:西北工业大学出版社, 1998.

[2]冯存前.数字射频存储 (DRFM) 技术的研究[D].西安:空军工程大学, 2000.

[3]赵书志, 潘明海.基于FPGA的数字射频存储器设计[J].电子测量技术, 2007 (2) :118-120.

[4]王海龙, 钟睿, 王渝.某型数字射频存储器的设计研究[J].微计算机信息, 2007, 23 (1) :111-112.

[5]Li Tingjun.Data Acquiring System Based on Vxi Bus[A].2nd International Conference on Active Media Technology[C].2004 (5) :688-692.

[6]Li Tingjun.Automatic Measuring Mode of a Reciprocal Two-port Network[A].5th International Symposium on Test andMeasurement[C].2003 (6) :905-907.

[7]Li Tingjun.The System of Long-range Monitor and Mea-surement Based on Common Telephone[A].5th InternationalSymposium on Test and Measurement[C].2003 (6) :1 490-1 493.

[8]Li Tingjun.Design of Computer Management System[A].3rd International Conference on Wavelet Analysis and Ap-plications[C].2004 (5) :744-749.

[9]李廷军.利用铷钟实现组合导航系统研究[J].通信学报, 2006, 27 (8) :144-147.

数字存储技术论文 篇5

摘要：介绍嵌入式μClinux操作系统；在该操作系统上使用Motorola MC68VZ328 CPU、FIFO存储器，设计实现一种数字存储示波器；在软件实现上，利用μUlinux的多任务特性。系统最大采样频率为40MHz，具有LCD显示和触摸屏界面。

关键词：嵌入式系统 数字存储示波器 FIFO 多任务

数字存储示波器是一种具有数据存储、预触发、波形存储、便于与PC机通信等特点和优点的便携式智能仪器，广泛应用于机械故障检查、野外作业、工业现场等。本文介绍的.便携式数字存储示波器构建于嵌入式μClinux操作系统平台之上，采用Motorola公司的龙珠系列MC68VZ328（以下简称VZ328）芯片作为处理器，采样频率与放大幅度可通过触摸屏调节；系统成本低、操作简单，可实现采集、存储和分析功能，具有实际应用前景。

1 嵌入式系统简介

1.1 嵌入式μClinux系统

嵌入式系统是以应用为中心，以计算机为基础，软硬件可裁减，适用于系统对功能、可靠性、成本、功耗严格要求的专用计算机系统。嵌入式Linux(Embedded Linux)是指对Linux经过小型化裁减后，能够固化在容量只有几百K字节存储器芯片或单片机中，应用于特定嵌入式场合的专用Linux操作系统。嵌入式Linux的开发和研究是目前操作系统领域的一个热点。

本文介绍的系统采用一种优秀的嵌入式操作系统――μClinux。它主要面对non-MMU的处理器，其主要特征为[1]：

①是一个多任务的嵌入式操作系统；

②内核小，只有512K左右；

③同Linux系统的API保持一致；

④继承了Linux系统成熟的网络协议栈；

⑤支持一些主要的文件系统，如：FAT、EXT2、ROMFS、JFFS。

1.2 处理器简介

图2 FIFO工作时序

VZ328是Motorola公司MC68328 CPU家庭龙珠系列中的第一款。VZ328基于Motorola FLX68K核，内部还集成了控制逻辑和SDRAM、LCD、SPI、UART、定时器/PWM和多达76位的通用I/O（GPIO）。运行在33MHz时，VZ328处理能力为5.4MIPS。该处理器主要针对外部设备较少的手持设备，工作电压为3.3V。

2 系统构成

2.1 系统组成

系统组成框图如图

数字图书馆资源云存储模型研究 篇6

〔关键词〕数字图书馆；资源存储；云存储

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１２．０２．０１２

〔中图分类号〕Ｇ２５０.７６ 〔文献标识码〕Ａ 〔文章编号〕１００８－０８２１（２０１２）０２－００４８－０３

Cloud Storage Model Research of Digital Library ResourcesLi Aiqin Bao Lingyun Feng Xiaona

（Library，Shandong University of Technology，Zibo 255049，China）

〔Ａｂｓｔｒａｃｔ〕On the basis of the introduction of related concepts and unique advantage of cloud storage,the article brought cloud storage into digital library resources storage,moreover,it established a system structure from the topology structure and function modules of the three aspects of the digital library resources and pointed out the defects of cloud storage in the secure storage and the library intellectual property rights.

〔Ｋｅｙ ｗｏｒｄｓ〕digital library;resources storage;cloud storage model

１ 云存储

１.１ 云存储概念与特征

云计算（Cloud Computing）作为IT产业继个人计算机和因特网之后的第三次变革，在社会各界引起了轩然大波。而云计算的资源存储即云存储（Cloud Storage），它是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统［１］。

与以往存储方式不同的是，云存储中不仅仅是硬件的整合，更多的融合了网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序。通过结合应用软件与存储设备，云存储为用户提供的不只是单纯云端存储设备的存储服务，而是整个云存储系统带给用户的一种数据访问服务［２］。此外，由于集成统一，云存储更是具有其他存储所不具有的的规模经济性、资源虚拟性、弹性收缩性、高安全性、高可靠性以及可根据自身需要即买即用的云存储服务。

１.２ 常见的云存储服务

云存储提倡的是利用云服务厂商的系统而不是本地系统来存储资源，用户则需要接入互联网，通过网络来访问存储在云上的数据。目前，国内外已经有数百种不同的云存储服务，如专门面向特定环境、特定用户的，专门存储电子邮件或数字图片的，专门负责存储视频、音频文件的等等。目前较常见的一些云存储服务有：

（1）电子邮件提供商，如Google的Hotmail和Yahoo!Mail，他们可以允许用户在厂商服务器上存储电子邮件消息。用户只要接入互联网就可以随时随地访问自己的电子邮件。

（2）YouTube为用户提供了在线的存储服务器，方便用户上传视频文件；而Flickr和Picasa，则是让用户通过创建自己的在线图库，任意上传数字图片。

（3）社交类网站，如Facebook和人人网、博客等则建立大型的服务器中心，方便其用户将文字、图片、视频、音频等各种数据存储在云存储厂商的服务器上。

（4）Amazon的ES3是一种可扩展、高速、低成本的基于Web的存储服务，可以为个人和企业用户提供各种数据及应用程序的在线备份和存档。

（5）IBM的Smart Business Storage和MicroSoft的Windows Azure则是一种基于私有云技术，为企业用户提供应用程序存储支持的云存储服务。

（6）金山的快盘，华为的DBANK数据银行，也都做到了以用户为中心，以企业服务器集群为基础，为用户提供方便快捷的在线云存储服务。

２ 数字图书馆资源云存储研究

２.１ 数字图书馆资源云存储体系结构

云存储的理念就是尽可能的整合资源，实现资源的共享利用。在利用各大高校图书馆原有资源的基础上，整合搭建可以共享的云数字图书馆，能够有效减少图书馆的硬件费用支出，最大程度上实现图书馆资源的有效利用。结合云存储的结构模型，本文构建了针对数字图书馆应用的数字资源云存储体系结构，如图１所示。

访问层数字图书馆用户各类存储应用统计访问入口、用户认证授权管理应用层数字图书馆资源存储平台、数字图书馆各种Ｗｅｂ服务基础管理层集群系统、分布式文件系统、网络计算ＣＤＮ、Ｐ２Ｐ、重复数据删除、數据压缩数据加密、数据备份、数据容灾存储层文件系统、数据库、元数据集存储设备、存储虚拟化、存储管理设备图１ 数字图书馆云存储体系结构

２０１２年２月第３２卷第２期数字图书馆资源云存储模型研究Ｆｅｂ.，２０１２Ｖｏｌ.３２ Ｎｏ.２系统模型体系结构共分4层，从底层依次是存储层、基础管理层、服务应用层和访问层［３］。

最底层是存储层，也是数字图书馆云存储体系的硬件层。该层为整个云存储系统提供基本的网络环境、物理存储资源和逻辑存储资源，包括存储设备（磁盘阵列、光盘库和磁带库、FC光纤通道存储设备、NAS和iSCSI等IP存储设备、SCSI或SAN、DAS等存储设备）、存储管理设备、数据逻辑存储系统（文件系统、数据库和元数据集）等。其中云存储系统中的存储设备大部分是现有的存储设备通过网络连接整合形成。而统一的存储设备管理系统，可以实现所整合存储设备的逻辑虚拟化管理、多链路冗余管理，以及各种硬件设备的状态实时监控和故障维护。

第二层是基础管理层，是数字图书馆云存储体系的核心层。该层通过集群、分布式文件系统、网格计算等技术，实现云存储中的多个存储设备间的协同工作，包括存储监控、调度、副本管理等，可以根据数字图书馆的需求在某个时刻对外提供同一种服务，并提供更大更强更好的数据访问性能，保证众多用户可以同时访问使用数字图书馆资源。此外，该层还采用CDN内容分发、数据加密技术保证云存储中的数据不会被未授权的用户所访问，还利用数据备份和数据容灾技术保证数字图书馆云存储系统中数据的自身安全和稳定。

第三层是服务应用层，为用户提供了数字图书馆资源云存储平台和数字图书馆各类Web服务，包括信息采集、加工、管理所需的存储；信息的发布与服务所需的存储以及容灾备份等所需的存储。同时，数字图书馆中的业务管理、书目管理OPAC等，通过应用层共享云端平台，图书馆管理人员都可以更方便地访问与管理。

最上层是访问层。任何一个获得授权的用户，只要拥有能够接入互联网的终端设备，诸如PC、手机、移动多媒体等，就可以在任何时候任何地点通过应用层的数字图书馆资源存储平台使用数字图书馆资源的云存储服务，满足自己的信息需求。

２.２ 数字图书馆资源云存储模型

２.２.１ 数字图书馆资源云存储模型拓扑结构

图书馆的职责就是为社会公众提供他们所需要的知识服务，数字图书馆的出现更是将图书馆的服务进一步提升。在构建数字图书馆资源云存储模型时，可以借鉴IT界著名的服务管理最佳实践——ITIL（IT Infrastructure Library），ITIL最新版本三主要包含5個部分的流程：服务策略、服务设计、服务转移、服务运营和持续服务改善［４］。根据实际需求，在构建的云存储模型系统中并没有集成所有的ITIL流程，具体的系统拓扑结构如图２所示。

２.２.２ 数字图书馆云存储模型功能模块

云存储的核心就是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。在构建的数字图书馆云存储系统中，图书馆所使用的云存储不仅仅是单纯的存储设备的集合体，而是由众多存储设备集合带来的数据访问服务。从功能上划分，可以将整个数字图书馆云存储模型系统分成七大模块：物理存储设备和管理模块，虚拟化存储管理模块，存储网络连接设备管理模块，资源管理模块，存储管理模块，备份管理模块和I/O管理模块［５］。

（1）物理存储设备和管理模块。利用该模块可以对云存储系统中所有的物理设备监控，实时收集、管理各个设备的运行信息，保证云存储系统中各设备能联合起来协同工作，为数字图书馆工作的正常运行作保障。

（2）虚拟化存储管理模块。此模块作为数字图书馆资源云存储系统中的关键模块，它在物理设备整合的基础之上，对形成的巨大的逻辑资源池进行管理。

（3）存储网络连接设备管理模块。利用该模块，当整个云存储系统中某个设备不能正常工作或遇到某个设备被集中访问时，则可以及时地将任务转移到其他设备，来保证云存储服务的可靠。

（4）资源管理模块。该模块可以通过对所存储的信息资源进行合理调配和规划，根据用户的访问需求，自动地查找云存储系统中的可用资源来及时响应应用程序需求。图２ 数字图书馆云存储模型系统拓扑结构

（5）存储管理模块。用户向存储管理模块提供的应用程序接口（API）提出数据访问请求后，此模块利用元数据目录中的信息进行协议转接，并将转接后的数据访问请求发向不同的存储设备，利用虚拟化存储实现对异构存储资源的统一访问。

（6）备份管理模块。云存储系统中数据是被集中存储在云数据中心，云数据中心的构建又是集合了数量庞大的服务器、存储设备等，设备的出故障率自然明显提高。为了在某个或某些设备出现故障，而不影响图书馆数据的安全、可靠及服务的正常提供，云存储提供中的备份管理模块发挥了很大作用。

（7）I/O管理模块。在云存储中，动态存储给数字图书馆带来了解决途径，通过I/O管理模块，可以很好的分配图书馆存储系统中的服务器资源，为用户提供实时不间断的服务。

３ 结束语

随着计算机性能的不断提高和网络通信技术的迅猛发展，应用需求日益朝着高性能、大规模、多样性、多功能的方向发展，要求将地理上分布的、异构的各种高性能计算资源、存储资源、数据资源和其他特殊资源通过高速网络连接起来，实现高性能联合计算，共同完成重大应用问题。云计算和云存储的提出，使得高性能运算、大范围共享和低成本运营成为可能。

可以说，云计算与云存储的出现，不仅是IT界的又一个里程碑，也给图书馆界带来新的发展活力，尤其是将会带动互联网下数字图书馆的新发展。利用云存储来构建数字图书馆的资源存储系统，可以实现近乎无限的系统容量扩展，便于集中式统一管理，能有效减少图书馆的成本支出，满足众多用户并发访问的实时响应等。它能够在资源分布较广的范围内实现大范围联合为更多用户提供服务，真正消除数字图书馆的信息孤岛，实现数字图书馆资源的共享，发挥数字图书馆知识宝藏的潜能。但是由于云存储是通过硬件设备的共用以及虚拟存储等技术来完成存储，数据的安全性以及图书馆中资源的版权等问题还需要进一步探讨。

参考文献

［１］Anthony T etc.Cloud Computing:A Practical Approach［Ｍ］.The McGraw-Hill Companies,Inc,2010:106-111.

［２］Mesnier M,Ganger G R,Riedel E.Object-based Storage:Pushing More Functionality into Storage［Ｊ］.Potentials,IEEE,2005,24(2).

［３］刘文云,鲍凌云.“云”下的数字图书馆资源存储研究［Ｊ］.情报资料工作,2011，（2）：51-54．

［４］余智敏.深圳图书馆的存储技术的研究［Ｄ］.武汉:武汉理工大学,2006.

［５］鲍凌云.基于云计算的数字图书馆资源存储研究［Ｄ］.淄博:山东理工大学,2011.

数字存储技术论文 篇7

数字图书馆建设的重点之一是实现数字资源的共享和协同服务, 随着用户需求的日益变化及数据信息量的爆炸性增长, 原有的数据存储方式越来越不能满足数字图书馆发展的需要。

网格存储是一种全新的数据存储技术, 它不仅可以扩展存储容量, 还具有更高的容错与冗余度, 在负载波动的情况下可以保持高性能和低成本。构建基于网格技术的数字图书馆存储环境, 不仅能够有效解决资源存储问题, 而且为网格用户方便、快速、高效访问数据提供了保障。

1 数字图书馆资源存储现状

1.1 数字图书馆资源特点及对存储的要求

从存储的角度来看, 数字图书馆资源具有如下特点:

(1) 存储容量大。随着流媒体、数据仓库等技术的发展, 数据资源呈几何倍数增长, 度量单位从MB、GB向TB、PB转变。

(2) 媒体形式多样。既有文本信息, 还具有声音、图像、影视等多种媒体形式。

(3) 分布广泛。既有本地存储, 也有远程存储, 物理路径相当复杂;存储设备也分为磁盘阵列、磁带库、光盘库等。

(4) 环境的异构性。数据的资源类型不统一、存储的数据库环境不尽相同, 系统主机及网络环境也有区别。

可见, 数字图书馆对数据存储有着特殊的要求, 主要概括为:

(1) 海量存储, 24小时可用;

(2) 提供跨平台、跨部门、跨区域的数据存取与管理机制, 用户可以在给定权限内自由访问;

(3) 面向多用户的并发处理机制, 可以实现远程监测及流量控制;

(4) 满足用户的各种要求, 且确保数据安全;

(5) 良好的交互性和容错能力。

1.2 传统的资源存储方案及不足

传统的数字图书馆资源存储方式主要有:直接附加存储 (DAS, Direct Attached Storage) 、网络附加存储 (NAS, Network Attached Storage) 、存储区域网络 (SAN, Storage Area Network) 和互联网小型计算机系统接口 (ISCSI, Intemet Small Computer system Interface) 。如表1, 是4种存储方案的比较。

由表1可见, 上述4种存储方案虽然在一定程度上解决了数据集中和共享问题, 但也存在一些不足, 如:扩充性能差, 难以满足数据资源爆炸式增长要求;兼容性与共享性差, 难以适应多用户、异构性环境和跨平台的要求;存储的智能性差, 不能满足动态存储、按需存储的要求;存储速率小, 不能满足大数据量、大并发访问的要求。

鉴于此, 本文提出用网格存储方式全面解决数字图书馆的存储问题。

2 网格存储技术

2.1 网格存储的概念

网格是一种信息社会的网络基础设施, 它将实现互联网上所有资源的互联互通, 包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。从应用角度看, 主要分为网络网格、计算网格和存储网格3类, 其中存储网格是基础。

网格存储是网格技术的主要组成部分, 它以节点为基础, 可以在多重节点上进行内容管理与存储, 也可以在存储环境的多重节点进行数据转移与传输。基于此, 它可以将NAS、SAN两种不同的技术、不同的管理工具、不同的存储应用融合在一起, 实现各类资源的自动优化、自动配置、自动保护和自动恢复功能。

目前, 主要有两种典型的网格存储架构:Net App网格存储层次结构、惠普的智能网格存储架构。如图1所示, 是Net App网格存储层次结构。

可见, Net App网格存储共分4层:最底层是为用户实际存放数据使用的存储设备;第二层为网络管理层, 使用文件服务器与全局命名空间对整个存储网格进行管理;第三层是存储网络层, 提供各类设备的连接;最上层为用户的各类业务应用。

惠普存储网格技术的核心是一个个的智能单元 (Smart Cell) , 每个智能单元都是一个“计算机+存储”的模块, 可与外界直接沟通。这种网格存储也是架构在SAN架构上的, 可以通过增加智能单元提升系统性能, 通过增加磁带、磁盘等设备增加系统功能。如图2即是惠普的网格存储结构。

2.2 网格存储的优势

网格存储整合了SAN和NAS等存储系统的优点, 并结合网格计算技术、虚拟化技术、智能存储技术和开放性标准, 不仅能满足大容量、网络化、容错性和高效性这些基本存储要求, 还能满足非集中控制、透明访问、异构性、协调性等特殊存储要求。与传统的存储方式相比, 网格存储的优势主要体现在如下3个方面:

(1) 可靠性:一个设计良好的网格极具弹性。网格不只是在任何两个节点之间提供通道, 而是在每个存储节点之间提供多个通道。这使得维护服务和出故障时更换部件更容易, 对系统的可用性或宕机时间影响最小。

(2) 性能:导致高可靠性的因素同样也能改善性能。不需要有大量端口的集中式交换机, 消除了潜在的性能瓶颈, 并能将负载平衡技术应用于可使用的多个通道, 为整个网络提供一致的性能。

(3) 可扩展性:利用端口数不多的廉价交换机, 就能很容易地扩展网格网络, 故很容易实现网格的升级。

3 网格存储在数字图书馆中的应用

3.1 网格存储的主要应用点

数字图书馆资源存储面临的主要问题有3个:海量存储问题、异构存储问题和动态存储问题。网格存储在这3方面的应用为:

(1) 海量存储问题。在网格环境中, 可以采用第3代P2P混合网络体系的存储结构, 这种结构可以将以前的一个NAS或SAN作为网格存储的一个节点进行管理, 将以数据为中心的集中式存储管理转换为分布式存储管理, 从而大大提高了存储容量, 解决了海量存储问题。

(2) 异构存储问题。数字图书馆资源中数据来源多样, 不同来源的存储格式不同, 加之用途多样, 存在大量的异构存储问题。采用网格与虚拟存储技术相结合的方式, 可以将物理上分布的各类存储系统和设备虚拟成单一系统, 对外提供统一的、透明的、安全的访问和管理机制, 在网格应用层形成统一的访问接口。

(3) 动态存储问题。网格存储可以有效解决数字图书馆资源动态存储和按需存储的问题。首先, 网格存储采用分布式结构化的P2P体系结构, 每台计算机既是客户机, 也是服务器, 系统规模扩大和缩小非常方便, 性能基本不受影响;其次, 采用网格存储, 其存储的物理层和逻辑层是分离的, 使得数据移动不依赖于主机和应用, 而且可以实现存储数据的动态转移。

3.2 网格存储在数字图书馆中的应用

数字图书馆的网格存储结构, 旨在构造一个整合存储资源, 即将现有的不同来源、不同格式、不同性能的图书资源进行整合, 屏蔽底层异构存储细节, 对用户提供具有统一逻辑视图的高性能虚拟存储系统。本文采用网格沙漏结构和开放网格服务体系构建服务模型, 如图3所示, 是网格存储在数字图书馆中的应用模型。

该模型为4层体系结构, 从下向上分别为:

基本构造层:为网格存储提供物理存储位置、网络环境等, 主要包括存储设备 (光盘库、磁带库、磁盘阵列) 、存储系统 (DAS、SAN、IP-Storage和集群存储) 、逻辑存储系统 (文件系统、数据库、档案库、元数据集) 。

连接层:为下层的物理存储资源和逻辑存储资源提供安全、高效的数据通讯能力。主要包括安全的数据传输通道、各种网络协议和文件传输协议。

存储服务层:整个体系的核心, 通过全局命名服务器和存储资源代理, 将应用层的各种请求映射为分布式、异构存储环境中的底层存取操作, 并可以进行有效的存储监控、调度、作业、备份和迁移等管理。

应用层:为所有用户的应用提供服务。包括资源的采集、组织、管理;资源发布与服务所需的存储。用户可以通过存取入口、经过网络授权认证, 向下层发出存取要求。

4 结束语

将网格技术应用于数字图书馆, 不仅能够有效降低成本、提高效率, 而且能够对分布广泛的图书资源加以整合, 消除资源孤岛, 实现资源共享, 代表了数字图书馆资源存储的发展方向。为了更充分地发挥网格存储的优势, 今后需要进一步研究其安全性、容错性及知识产权保护等问题。

参考文献

[1]黄河清, 宋晓华, 曹元大.网格存储中的自适应负载平衡策略[J].北京理工大学学报, 2007 (4) .

[2]董晓莉, 张建刚.虚拟存储技术在未来数字图书馆中的应用[J].现代图书情报技术, 2006 (8) .

[3]王达.网管员必读——服务器与数据存储[M].北京:电子工业出版社, 2005.

[4]张炳武.存储网格成熟进行时[J].中国计算机用户, 2006 (5) .

数字存储技术论文 篇8

关键词：数字图书馆,网络存储,DAS,NAS,SAN

1 概述

随着信息技术的迅速发展也及我校的发展规模扩大, 我校图书馆也开始向着自动化、网络化、数字化方向发展, 而且数字资源量越来越大。目前需求如下:

1.1

需要实现中国期刊全文数据库 (CNKI) 、博硕论文数据库、全文图书数据库、监控录像、VOD视频、馆藏书目数据库、地方特色数据库、网站数据库、自动化管理数据库等数据集中管理、存储。

1.2

考虑到未来3~5年的发展, 初步规划共需存储可用容量12TB, 其中备份的数据量有2.6TB。

1.3

目前需要接入存储系统的服务器有6台, 未来会扩展到16台, 需保证操作系统、数据库和存储阵列之间能良好兼容。

1.4

需对核心数据库及其操作系统进行备份和快速恢复。

如何达到以上目标, 构建合适的网络存储方式, 实现存储网络数据共享和保护是最根本的方法。下面通过对几种网络存储技术的介绍, 分析如何选择适合我馆的网络存储架构。

2 几种常见的存储技术的比较

2.1 DAS

过去, 为了存储不断膨胀的数据, 我们会不停地添置磁盘, 直到服务器容纳不下为止, 然后, 再重新购置一台新的服务器。即使如此, 仍然无法满足发展需求。这就是DAS (Direct Attached Storage, 直接连接存储) 存储方式, 而且, DAS方式的存储在数据达到数百GB以上时, 其在备份、恢复、扩展等方面的问题变得日益困扰系统管理员。DAS依赖服务器主机操作系统进行数据的IO读写和存储维护管理, 数据备份和恢复要求占用服务器主机资源 (包括CPU、系统IO等) , 数据流需要回流主机再到服务器连接着的磁带机 (库) , 数据备份通常占用服务器主机资源20%~30%, 因此许多用户的日常数据备份常常在深夜或业务系统不繁忙时进行, 以免影响正常业务系统的运行。直连式存储的数据量越大, 备份和恢复的时间就越长, 对服务器硬件的依赖性和影响就越大。因此, 从数据的角度考虑, DAS并不适合数字图书馆的发展。

2.2 NAS

NAs (Network Attached Storage, 网络附加存储) 是一种专业的网络文件存储及文件备份设备。NAS适用于通过网络将文件数据传送到多台客户机上的应用, 尤其在数据长距离传送的环境中优势明显;NAS应用于高效的文件共享任务中, 例如Unix中的NFS和windows NT中的CIFS。NAS设备的安装、调试、使用和管理非常简单, 采用NAS可以节省一定的设备管理与维护费用。NAS设备提供RJ-45接口和单独的IP地址, 可以将其直接挂接在主干网的交换机或其它局域网的Hub上, 通过简单的设置 (如设置机器的IP地址等) 就可以在网络即插即用地使用NAS设备, 而且进行网络数据在线扩容时也无需停顿, 从而保证数据流畅存储。

2.3 SAN

SAN (Storage Area Network, 存储区域网络) 又分为FC-SAN和IP-SAN, 其中FC-SAN是指光纤通道技术的存储区域网络[4,5]。是ANSI为网络和通道I/O接口建立的一个标准集成, 支持HIP-PI、IPI、SCSI、IP、ATM等多种高级协议, 它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开。这样多种协议可在同一个物理连接上同时传送, 高性能存储体和宽带网络使用单I/O接口, 使得系统的成本和复杂程度大大降低, 并且其可以支持点到点 (Links) 、仲裁环 (FC-AL) 、交换式网络等多种拓扑结构。FC使用全双工串行通信原理传输数据, 在IGB标准下, 传输速率高达1062.5, 即为100MB/s, 双环可达200MB/s, 2Gb下, 上述数字将翻倍。FC标准下可以通过同轴线、光纤介质进行设备间的信号传物, 使用同轴线传输距离为30米, 使用单模光纤传输距离可达10公里以上, 这使得在SAN模式下实现物理上分离的、不在机房的存储变得非常容易[6]。

而IP-SAN就是指i SCSI-SAN。i SCSI (Internet Small Computer System Interface, 互联网小型计算机系统接口) 是由互联网工程任务组开发的基于互联网协议 (IP) 的存储网络协议。IP-SAN服务器通常使用专用SCSI连接以及块级接口实现与本地连接的存储系统的通信。i SCSI将SCSL块存储命令封装到以太网数据包中, 以便通过IP网络进行传输。这样, 服务器就能够使用标准的SCSI存储命令通过标准的IP基础设施与共享的存储设备进行通信。i SCSI就是透过IP网络, 将SCSL块数据转换成网络封包的一种传输标准, 它和NAS一样透过IP网络来传输数据, 但在数据存取方式上, 则采用与NAS不同、却与FC-SAN相同的块协议。

3 改进的混合型存储方式

我国的数字图书馆发展时间不长, 而且在资金上相对紧张, 购入高成本的存储设备对于图书馆的整体生存和发展来说是不经济的。在选择存储方式时, 应该从实用性和经济性两个方面进行综合考虑, 在三种方法中选取性价比最高的存储技术和存储方式。通过以上对三种方式相关技术参数的对比分析, 笔者认为选择NAS和FAN两者的组合作为我国数字图书馆的网络存储技术是比较合适的。这种组合方式成为统一存储网——USN。该方案综合了上述两方案的优点。USN采用TCP/IP作为存储网络的构建技术, 通过IP互联设备将应用服务器、存储设备等互联成一个基于IP的SAN, 从体系结构的角度来说, 具备了传统SAN高性能、易扩展等特点;同时, 通过附网高速通道将存储子系统直接联入LAN, 从而形成一个广义的NAS。

和单一的NAS或SAN存储方案相比, USN具有如下优点:其一, 支持块设备和文件设备的同时接入, 并进行统一管理, 形成单一的命名空间;其二, 在存储网络中, 由于文件设备的引入, USN可以同时提供块I/O服务和文件I/O服务;其三, USN能同时提供服务器通道和附网高速通道向客户机提供数据, 减少了服务器瓶颈, 提高系统的I/O速度。

USN由NAS设备、i SCSI设备和SAN设备, 以及元数据服务器和图书馆应用服务器组成。用户可以文件I/O的方式访问USN中的NAS设备和经过NASGateway访问SAN中的存储设备, 也可以块I/O的方式访问USN中的i SCSI设备和SAN中的存储设备。USN同时向用户提供服务器通道和附网高速通道, 对于元数据和小数据请求都经过服务器通道完成, 对于大数据请求则经过附网高速通道完成, 这样大大提高了整个系统的I/O速度, 减少了服务器瓶颈。整个USN是用基于IP的技术构建, 可以兼容现有的存储系统, 添加和删除存储设备都很方便。USN真正实现了NAS和SAN的统一, 即同一存储网络中既有NAS设备, 又有SAN结构;实现文件I/O和块I/O的统一, 即用户可以文件I/O方式, 也可以块I/O方式访问USN中的设备;实现了文件协议和块协议在TCP/IP上的统一, 用户可以NFS (Unix用户) 和CIFS (Windows用户) 访问USN, 也可以SCSI (i SCSI用户) 访问USN。

4 结论

随着图书馆数字化进程的加快, 图书馆需要存储的数字化资源越来越多, 数据总容量达到几十个TB, 这就要求提高存储设备的数据安全性、响应速度以及可扩展性。网络存储技术的发展为图书馆海量存储系统提供了良好的解决办法, 而SAN/NAS组合技术会是当前和未来一段时间内图书馆数字资源存储的理想方案之一。

参考文献

[1]周敬利, 余胜生等.网络存储原理与技术[M].北京:清华大学出版社, 2005:.23-28

[2]韩德志, 谢长生, 等.一种基于iSCSI的附网存储服务器系统的设计与实现[J].计算机研究与发展, 2004, 41 (1) :14-17

[3]李华.SAN在数字图书馆的应用研究[J].现代情报, 2005 (4) :32-33

[4]袁文莉.数字图书馆存储体系架构探析[J].图书馆论坛, 2004 (4) :46-50

数字存储技术论文 篇9

因此, 对数字电视节目的存储与管理这个问题坚持不懈的深入研究, 对未来全国各地不同阶段的数字电视标准统一规范, 与采编人员的队伍建设, 从业人员素质的提高, 以及数字电视节目制作系统持续、稳定、健康地发展, 有着重要的现实意义。

1 数字电视概念

全世界范围内数字电视标准投入使用的有3种:美国的ATSC (先进电视系统委员会) ;欧洲的DVB (数字视频广播) ;日本的ISDB (综合服务数字广播) 。

传输方式有地面无线传输数字电视 (地面数字电视) ;卫星传输数字电视 (卫星数字电视) ;有线传输数字电视 (有线数字电视) 。

数字电视是电视数字化和网络化后的产物。数字电视是一个系统, 是指从电视节目采集、制作、编辑、播出、传输、用户端接收、显示等全过程的数字化, 换句话说就是系统所有过程信号全是由0、1组成的数字流。

数字电视已不仅仅是传统意义上的电视, 而是能提供包括图像、数据、语音等全方位的服务, 是3C融合的一个典范, 是计算机、传输平台、消费电子3个环节的聚焦点。

2 数字电视与模拟电视相比的技术优势

现有模拟电视频道带宽为8MHz, 只能传送一套普通的模拟电视节目。采用数字电视后一个频道内就传送1~8套数字电视节目 (随着编码技术的改进, 传送数量还会进一步提高) , 电视频道利用率大大提高。

清晰度高、音频效果好、抗干扰能力强。在同样覆盖范围内, 数字电视的发射功率要比模拟电视小一个数量级。

可以实现移动接收、便携接收及各种数据增值业务, 实现视频点播等各种互动电视业务, 实现加密/解密和加扰/解扰功能, 保证通信的隐秘性及收费业务。

系统采用了开放的中间件技术, 能实现各种交互式应用, 可与计算机网络及互联网等的互通互连。

易于实现信号存储, 而且存储时间与信号的特性无关, 易于开展多种增值业务。

由于保留了现有模拟电视视频格式, 用户端仅需加装数字电视机顶盒即可接收数字电视节目, 利于系统的平稳过渡, 减少消费者的经济负担。

2.1 数字电视的应用范围

基本业务:只要节目源许可, 用户可以收看数百套数字电视节目, 以及几十套调频广播节目和数字音频广播 (DAB) 节目。

扩展业务:可提供如图文电视、电视会议、数据信息广播、加密电视、视频点播等。

增值业务:可通过双向传输系统进行交互式的多功能应用, 如互联网接入、远程教学、远程医疗、电子邮件、计算机联网、数据通讯、家庭保安监控等多媒体信息服务。

3 数字电视节目的存储

电视台对电视节目的存储目前主要还是采用传统的磁带存储方式, 这种原始的方式有很多的弊端:易损, 占地大, 成本高, 难于重新使用。更重要的是难于长期保存, 通常在满足磁带保存环境的要求下, 磁带的寿命一般在10年左右, 到期只能淘汰, 再也不能使用。另外, 对于长期积存的磁带, 各电视台也没有非常有效的管理工具去管理, 开发, 利用这些越积越多的资源, 记者与节目制作人员尽管知道台里有丰富的资料, 却由于难于查找所需的节目, 而放弃使用这些几乎免费的资源素材, 更不用说向社会开放这些资源, 满足日益发展的电视节目资源的全球化共享。

随着数字电视技术的逐步普及与计算机信息、视频技术的发展, 出现了稳定高效的数据压缩方式, 高速宽带计算机网络, 以及大容量数据存储系统, 而且国际互联网及企业内部网的超前发展也给电视台节目挡案的网络化存储, 查询, 共享, 交流提供了可能。宽带网络技术及视音频压缩技术的成熟, 为电视台数字化、网络化铺平了道路, 今后传统意义上的电视节目制作, 播出设备及带库管理将逐步向多媒体网络设备过渡, 网络所具有的高效率与灵活性等优势, 会充分体现在电视台的节目传输, 分配, 制作, 播出及存储领域。

3.1 存储方式的选择

数字化后的电视节目所存储的内容以视音频素材为主, 在选择存储方式时, 应综合考虑过去, 现在, 将来已经使用或将要使用的方式, 选择高质量, 高效率, 便于利用的方式存储各种不同类型数据。只要要求有:

图像质量足够高, 满足记录重放复用的要求。

压缩效率高, 在保证图像质量的前提下, 降低存储成本和维护费用, 减少网络传输压力。

较好的兼容性。兼容hdtv和dtv等数字电视的飞速发展, 压缩格式应较易向数字电视过渡且损失较小。

良好的互操作性, 压缩格式必须可应用于节目制作及传输播出的全过程, 以减少格式转换带来的损失。

较长的技术生命周期。

在专业视频应用领域, 不管是压缩还是非压缩, 大都集中在分量格式领域, 因此在做格式选择时要特别注意。根据具体应用情况, 不同阶段选用相适应的信号格式, 使整个生产流程平滑过渡, 尽量减少信号转换造成的损失, 以达到最佳质量效果。

若信号采用不压缩方式记录存储, 信号质量最好, 无损失。但存储数据量非常大, 以1h无压缩数字视频信号d1计算, 其数据量就达100gb以上, 对电视台数以万计盘的磁带来说, 如此庞大的数据量会使存储成本, 管理费用及日维护费用非常高。随着压缩技术的成熟, 由压缩所带来的信号损失也越来越小, 已完全达到了制作及播出要求, 因此选择适合的压缩技术和格式, 对信号进行压缩后再存储, 降低存储成本是必然的选择。

mpeg-2是目前全球电视行业都普遍接受的专业视音频信号压缩格式。已经广泛应用于信号传输中, 且在高清晰度电视, 数字电视中也已采用了mpeg-2压缩技术, 同时mpeg-2在前期素材采集, 后期节目制作领域的应用技术也在不断发展成熟。

利用存储的节目进行二次编辑时, 无论何种压缩格式, 一般均要求采用4∶2∶2取样格式, 因为4∶1∶1或4∶2∶0取样格式做二次编辑时, 色度还原性较差。

对于现存的jpeg, m-jpeg和mpeg-2压缩方式而言, 只有i帧的mpeg-2实际上与jpeg编码相仿, 两者均采用dct (离散余弦变换) 算法, 但两者在内部处理上有所不同, mpeg-2更加专注于视频信号的处理, 而jpeg对图片处理拥有更大的灵活性, 而对于电视编辑人员及众多电视观众, 这种灵活性对他们是没有意义的。mpeg-2在处理单帧视频信号的压缩效率稍高于jpeg约15%~20%左右, 由于两者压缩算法不完全相同, 当由m-jpeg转换为mpeg-2时, 不单要进行再压缩, 同时还要进行压缩格式转换, 这种格式的级连转换会造成较大损伤, 而对于mpeg-2之间格式转换来说, i帧不必再进行格式转换, 仅需进行再压缩即可, 因此损失比mpeg与jpeg之间转换小, 这就是整个链路最好采用一种格式的原因。

由于目前技术条件的限制, 长gop结构的mpeg-2做编辑尚不成熟, 但只有i帧或ib帧的gop结构的编辑技术已步入实用阶段, 随着逐帧mpeg-2编辑技术的逐步完善, 从素材采集一直到存储播出整个链路均采用mpeg-2一种大格式成为可能。在不同的应用场合, 采用不同的“级”和“类”组合, 配以合适的码率, 可满足不同的使用要求, 如在采集, 编辑, 制作阶段采用只有i帧和ib帧的短gop结构组合的mpeg-2 4∶2∶2编码方式, 码率选择30~50mb/s, 重点保证编辑质量与编辑精度;传输播出时可根据使用场合要求的不同选用有ibp帧的gop (12帧) 结构组合的mpeg-2 4∶2∶2或4∶2∶0编码方式, 码率选择4~10 mb/s的低码率;存储时也可采用长gop结构的mpeg-2 4∶2∶2编码方式, 码率选择15~20 mb/s。这样一来, 整个链路均采用mpeg-2一种格式, 最大限度地减少了由于数据格式转换带来的图像质量劣化, 使系统组合更为合理统一。

3.2 存储介质的比较

计算机技术的飞速发展, 也使其拥有的成熟技术及先进理念, 迅速渗透进其他行业与领域, 存储技术就是如此。计算机的存储系统是由内存, 硬盘及辅助海量存储器 (硬盘阵列, 光盘库, 数据流磁带机) 构成。根据不同的应用场合, 大中小型计算机应用系统配备不同的数据存储设备。我们知道各种存储介质有其各自不同的特点和适用范围, 其容量, 性能, 价格关系构成一金字塔结构, 塔尖为内存即芯片级存储, 以下依次为硬盘, 光盘, 数据流磁带。内存由于是芯片级的存储, 完全为计算机CPU专用, 不能用于大容量视频数据的存储, 本文不再详述。下面重点对其他几种介质的性能, 价格及其在电视领域的应用前景进行分析比较。

硬盘:硬盘在计算机的硬件配置中是不可缺少的部分, 主要用于计算机数据, 程序, 软件的存储。

硬盘的容量决定于盘片数与面密度, 问题是盘片数的增加会使硬盘体积增厚。目前高端硬盘产品scsi硬盘采用的是正反面都记录的多盘片结构, 都有磁头用于数据的读写, 存储密度可以达到每盘片1820mb。

硬盘的数据传输分为CPU通过总线在内存与硬盘之间进行数据传输, 以及硬盘管理系统驱动磁头寻道并将数据读出或写入盘片。其中后者是决定硬盘总体数据传输率的关键。scsi硬盘的最小寻道时间为6.5ms。至于CPU与scsi硬盘之间的数据传输率目前已能达到80mb/s, 而且传输距离也可达到12m (采用68芯或50芯扁平电缆) 。

尽管单个scsi硬盘的容量与数据传输率已相当可观, 但为了支持海量存储, 业界一直在研究开发独立硬盘阵列冗余技术即raid技术, 将多个scsi硬盘做为一个逻辑硬盘, 保证大型数据文件存储的整体性。raid技术是目前提高硬盘阵列速度和冗余的主要手段。

硬盘虽然具有读写速度快, 数据容量大的特点, 但是是否就适应于电视台的各个环节的节目信息存储呢?做个简单的计算就可以得出结论:以中型电视台10万盘磁带的存储量为例, 大约需要近20万gb的信息存储量, 如果采用18gb的scsi硬盘, 售价9000元, 将需要约10000个以上硬盘组成阵列, 造价也成了天文数字, 显然是不现实的。因此在少量的信息存储应用中硬盘的确有较大的优势, 比如在制作领域就大量用于非线性编辑设备, 在播出环节也有硬盘录象机大量用于自动播出, 以fibre channel构造的新型新闻制作网也多采用硬盘阵列作为节目存储的硬平台。

3.2.1 光盘

最新一代的大容量存储设备是DVD, 其存储数据的格式为mpeg-2, 完全能够满足广播级视音频信号的要求, 它达到了目前技术上最理想的容量。DVD光盘的几何尺寸与普通cd相同, 但其容量却是cd的8倍-15倍。对于单层DVD, 其容量是4.7gb, 可存放132min的mpeg-2影片, 这意味着标准长度的电影和数字音频都可以记录在一张DVD光盘上。要实现必须将所有数据按一定的格式存放在DVD盘上, DVD播放机才能读出这些数据, 播放出高品质的画面和优美动听的音乐。其中影像采用mpeg-2压缩, 音效可采用mpeg-2 audio、dolby ac-3、lpcm及dts, 基本上是把视频讯号压缩至1/40左右, 但是mpeg-2的压缩率是可变的, mpeg-2速率平均为3.5mbps, 最高约11mbps, DVD的分辨率为720×480, 35万像素, 水平扫描超过500条, 而且还有多国字幕。那么132分钟是怎么算出来的呢?它是mpeg-2 3.5mbps+ac-3 5.1ch 384kbps×3+字幕10kbps×4=0.59m/s除以单面单层4.7g, 大约就是132min了, 其中ac-3 5.1ch表示6个声道。而采用双层双面技术的DVD盘存储容量达17gb, 能连续播放8h的广播级节目。

通常说的DVD实际上可分为只读 (DVD-rom, DVD-video, DVD-audio) , 只写一次 (DVD-r (recordable) ) 和可重写三种规格。DVD—video和DVD—audio多用于影音电视设备, 而DVD—rom、DVD—r、可重写DVD则多用于计算机设备中。其中DVD—video和DVD—rom标准已经统一。

从使用的角度看, DVD光盘具有广阔的市场前景, 它也应该代表了高速大容量存储设备的发展方向。但目前它所面临的主要问题在于格式的统一, 速度与容量的提高, 价格的降低等。其中格式的不统一, 制约了DVD的发展应用, 也给用户带来了风险。同时传输速率还是比较低。对于专业视音频领域要求的大容量, 高速度, 低价格存储来说, 目前光存储技术发展的程度, 容量及读/写速度, 价格等指标均显勉强。

3.2.2 数据流磁带机

数据流磁带机也是利用磁记录技术保存数据的, 是目前工业系统广泛应用的一种备份设备, 例如银行业, 证券业, 气象台等。它与电视台使用的传统磁带很相似, 可以说是由其发展而来的。只不过它是配属于计算机的存储外设, 记录的数据不是以帧为单位的图像信息, 而是以计算机文件形式存在的数字信息。与前面介绍过的硬盘, 光盘记录方式相比, 磁带备份具有下列优势:

1) 成本低, 每gb的存储成本低于1.3美元;

2) 易于存储, 保管, 可通过更换磁带无限扩充容量;

3) 可靠性高, 存储时间超过30年;

4) 允许无人操作的自动备份;

5) 容量高, 一盒磁带中可以存储高达70gb的数据;

6) 传输率高, 压缩后可以达到10mb/s。

磁带备份技术一直在发展。更有效的磁带方法, 更新的格式一直在不断涌现, 1/4英寸盒带 (qic) 是为数据储存应用而专门设计的。在1/4英寸磁带上, 数据可以以连续迂回的方式记录在最多为144个轨道上。traven技术是qic格式的一种体现。

数字视频技术 (dat) 最初是为数字视频记录而设计的。当在4mm磁带上实现了大容量的数字数据存储、快速的数据传输速率和可靠性之后, dat就被用作磁带备份的媒质。

8mm磁带技术最初是为视频工业而设计的。其最初目的是将高质量的彩色图象传输到磁带上, 供存储和检索。现在, 8mm技术也被计算机工业所采纳, 成为储存大量计算机数据的可靠方法。

数字线性磁带 (dlt) 是磁带备份技术的最新进展。它采用对称相位记录技术, 交替改变磁头的角度, 帮助消除磁道间干扰。

不同型号数据流磁带之间的记录格式不同, 因此互不兼容。使用数据压缩技术的数据流磁带机的存储容量, 将取决于该驱动器是工作在自然模式 (未压缩) 还是压缩模式。压缩技术一般能将储存在媒质上的数据量加倍, 实际获得的压缩程度对被压缩数据的特点很敏感。

为了满足大容量存储以及备份的需要, 业界还推出有能够自动备份数据的数据流磁带库, 通过使用存储管理软件, 来实现自动按时备份。这种磁带库一般带有多个dlt驱动器和两个以上scsi数据通道。容量可达到tb级 (万亿字节以上) , 传输率可达10~20mb/s。由这些分析可以看出, 数据流磁带应该是目前最经济合理的大容量, 高速度存储媒介, 也比较适合于电视台节目资料的长期保存。

4 数字电视的前景

数字电视的技术优势必然会取代模拟电视, 数字技术的应用会使电视技术开辟一个新天地。当然模拟技术在局部小范围的电视技术上也会占有一定市场。总之数字电视为电子信息产业提供了一个难得机遇。从模拟电视广播向数字电视广播的过渡, 将带来上万亿元的市场, 它必将成为我国新的经济增长点。

参考文献

[1]鲁业频.数字电视技术[M].合肥工业大学出版社, 2006.

[2]拜路.浅谈数字电视节目的存储及管理方法[J].广播电视信息, 2012, 11 (2) :131-132.

[3]杨晓宏.数字电视节目制作技术[M].北京:国防工业出版社, 2013.

[4]李宏虹.电视节目制作与非线性编辑[M].中国广播电视出版社, 2008.

数字存储技术论文 篇10

电视传媒机构视音频资料数字化存储工作的概念

可以说, 以光盘、磁带、硬盘等形式保存的视音频素材和节目资料是全国各级电视台在日益激烈的市场竞争中占有一席之地的基础, 是电视节目得以持续发展和保持领先地位的重要资本, 是不可或缺的宝贵财富。当前, 随着电视台节目收录、编辑、播出的数字化网络化改造日益完善, 计算机技术和通信技术的不断发展和融合, 计算机网络的应用也越来越普及。广电数字化网络化技术发展迅猛, 频道等相关资源得到了很大的扩展。数字视音频网络和数据网络的大量应用成为电视行业发展的必然趋势。网络存储技术无疑为我们提供了一个很好的选择。要想做到快速地响应市场需求, 必须具备掌握迅速调整节目编播的能力。只有这样, 电视台才能够提供比现在多几倍的节目内容来适应市场的变化。

现阶段我国电视视音频资料存储大部分还处于手工初级管理模式, 其办法是各种视音频视频进库以后, 将基本情况和相关信息登记, 然后将磁带存档, 管理人员通常只使用报表、简单统计等传统管理方法。而近年来, 我国影视、新闻业发展速度迅猛, 节目中积累的的视音频资料素材成倍地增长, 原来的存储管理方式已经不能适应当前应用的需要, 如何更好地存储、管理视音频资料, 成为一个巨大的挑战。

在这种形势下, 对电视传媒机构的视音频资料存储管理方式进行改造变得十分迫切, 我们急需寻求一种无损、方便检索、高效共享的存储方式, 以此来满足不断增长的业务需要。而数字化存储能够很好的符合以上几点要求:一方面它存储容量大、无损耗、检索简单, 有利于视音频信息的互联互通、资源共享, 实现海量节目的生产加工能力;另一方面则可以降低电视节目制作的成本, 同时能够提高信息存量, 巩固开发拓展信息增量;由于视音频档案存储管理方式的改变, 使得这些宝贵的信息资源能够实实在在的转化为媒体电视资产, 而电视台也将逐渐发展成为内容更为丰富、更加开放的综合性节目平台, 这就要求提供更大、更快、更有力的网络数据存储和共享途径。

电视台视音频资料数字化存储的应用特点

电视台视音频资料数字化存储的目标可以通过构建一个高效、可靠的视音频资料数字化媒资管理系统来实现。该系统对内具备为节目制作播出实时提供视音频资料素材的信息服务与支持, 对外则可随时为公众和其他媒体提供相关电视视音频资料的查询、检索、在线点播等各类信息服务。

电视行业所处理的视音频信息同时具备以下特殊性:信息量巨大、存储量巨大、存储效率及传输质量要求较高, 实时查询效率则比普通数据存储的性能要求高得多。因此, 只有将更先进的存储技术与产品引入才能更好地满足以上需求。

通过对计算机数字化存储前沿科技的查阅了解, 目前该领域相关存储区域网 (SAN) 技术的发展态势良好, 相对于传统的交换机加RAID阵列, 这种方式的优势在于能够达到最大限度降低各级用户和系统管理人员的工作难度。普通用户在访问系统时可以随心所欲的查询调取数据, 而不必去关心后台存储设备的配置参数、物理位置及容量等繁杂因素, 能够较好的实现检索方便、高效共享。

1.电视数字化技术设备改造是重要基础

电视数字化的技术设备是电视台能否顺利进行视音频数字化存储节目制作的重要物质基础, 是电视台实现节目生产数字化的一个重要组成部分。由于其涉及较多步骤, 不仅仅是简单的存储方式、存储介质的改变, 更主要的是有压缩、存储、网络传输、管理等多种信息处理技术并存, 包含了多项当前最先进的技术, 势必将对电视台的传统工作模式带来冲击, 产生巨大的改变。

2.数字视频网络对电视行业数字化进程起到至关重要的作用

当前, 各种现代电视数字化技术设备的普及率正在逐步增加, 数字视频网络的概念早已提出, 它对电视行业来说算不上陌生, 但电视数字化装备管理部门对数字视频网络的建设、管理使用等方面的工作却没有足够重视。从对国内部分传媒机构的现状了解来看, 现阶段数字视频网络和数字化技术设备同步发展的效果并不理想。鉴于它在广播电视技术数字化进程中正日益发挥着至关重要的作用, 国内各级电视台已经开始意识到并开始构造和应用这类系统。

3.数字化技术设备管理水平的高低直接影响着电视台的发展速度和规模

如何加强电视数字化技术设备的管理, 对于提高电视台的工作效率, 防止视音频资料流失, 具有十分重要的意义。当前, 在各种现代广电数字化技术设备逐步增加的情况下, 广电数字化装备管理部门对技术装备的建设、配备、管理使用等方面的工作发展仍存在诸多问题。

电视音频资料数字化存储工作中应注意的问题

从技术上看, 要想实现视音频视频资料数字化存储的各项功能必须注意以下几个问题。

1.正确选择存储方式

目前, 常见的大容量存储介质主要包括硬盘阵列、光盘库, 还有刚刚推出的数据流磁带。以上存储介质本身各自具有不同的性能和特点, 可适用于不同的应用方式。由于电视台的存储对象更多的集中在视音频素材和节目上, 现阶段电视台视音频资料往往大量存储于磁盘库、光盘库以及新形式的数据流磁带库, 在线存储系统则可采用高码率视音频和低码率视音频分离存储的方式。

2.做好数据存储压缩

这里的数据压缩主要指视音频资料的压缩。因为视音频资料的数字化就是将传统模拟信号进行抽样、量化, 进而转换成二进制码的过程。数字视频信号编码主要有复合编码和分量编码两种编码方式。复合编码是将复合彩色信号直接编码成PCM形式。分量编码是将三基色信号R、G、B分量或亮度和色差信号Y、 (B-Y) 、 (R-Y) 分别编码成PCM形式。对于复合编码数码率为142兆比特/秒, 分量编码更是高到212兆比特/秒。如此高的数码率, 对存储设备与网络传输都是很大的负担。因此有必要在保证视频质量的前提下, 对数字视频信号进行最大限度的压缩。目前针对视频的压缩标准比较流行的有M-JPEG和MPEG。M-JPEG采用帧内压缩方式, 适于视频编辑, 如果采用高压缩比视频质量会严重降低。MPEG采用帧间压缩方式, 在高压缩比下可以获得较高的图像质量, 因此针对电视的资料存储的视频压缩方式, MPEG是比较理想的选择。

3.网络传输不可或缺

在信息化社会, 作为大众主要传播媒体之一的电视台来说, 实现全台计算机化、网络化是必然趋势。因此我们在设计数字化资料存储方案时, 必须考虑其网络高质量视频实时传输功能。

结语

数字存储技术论文 篇11

【关键词】云存储；数字版权；冲突；法制；协同

【作者单位】牛春燕，包头医学院人文社会科学学院。

伴随着互联网技术和互联网经济的高速发展，云存储成为当前互联网云计算应用的主要内容，用户可以借助互联网企业提供的网盘介质进行文件的上传、下载和分享。在给用户提供便利、给版权产业带来机遇的同时，云存储也给数字版权的侵权认定和法律保护提出了新的课题。在云存储环境下，数字版权呈现版权主体难以确定、版权客体范围扩大、版权内容的网络个性明显等特征，加上我国当前数字版权领域的法律规范相对滞后，云存储模式下数字版权保护陷入困境，寻求云存储与数字版权的协同发展路径成为亟须解决的问题。

一、云存储环境下数字版权侵权的典型案例表现

1.云存储下数字版权侵权的典型案例

以“剑网2015”专项打击网络侵权盗版行动为例，全国各地共查处行政案件383件，行政罚款450万元，移送司法机关刑事处理59件，涉案金额3845万元，关闭网站113家。在此过程中，全国各地版权执法部门查处了一批侵权盗版案件，如北京金图创联国际科技有限公司侵犯信息网络传播权案、广东“DJ020网”侵犯音乐作品著作权案、北京天盈九州网络技术有限公司侵犯文字作品著作权案、“人人影视网”侵犯影视作品著作权案、江苏“速酷电影网”侵犯影视作品著作权案、浙江郑某等复制并通过网络销售盗版图书和软件案、四川“风云丝路网”侵犯著作权案等。一些犯罪分子大肆利用网络云存储进行数字侵权活动。例如备受关注的“人人影视网”涉嫌侵犯著作权案，网站域名所有人和负责人未经著作权人授权，组织他人将包括《地心引力》在内的467部影视作品上传网站，供用户观看、下载和使用，侵害了相关作品版权人的合法权益。

通过这些典型案例我们可以看出，在互联网云存储环境下，数字版权侵权案件日益增多，不仅侵犯了当事人权益，也破坏了社会公共秩序，由此引发激烈的讨论。云存储的侵权特征有哪些，由此造成的数字版权侵权的法律特征表现在哪里，两者在法律规范下如何协同发展，当前我国的立法、司法、社会系统如何科学应对等问题，都需要业界进行科学分析并付诸相应的法治实践。

2.云存储下数字版权侵权的法律特征表现

一是数字版权作品的“出租权”和“信息网络传播权”难以认定。以云存储最常用的SAAS模式（软件即服务）为例，用户只需要登录云存储服务网站，就能够使用云存储平台上的所有资源，而不需要将网络资源下载到电脑上。这种虚拟主机的云存储模式，突破了传统版权中的“出租权”和“信息网络传播权”的法律内涵，也不符合版权侵权认定中的“提供” “获得” “公众”等法律要素[1]，因此需要法律及时跟进完善。

二是很难界定版权侵权中的复制行为。根據著作权法规定，复制不具有劳动作品的创造性，主要表现出来的是作品内容和表现形式的重复性、再现性。但在云存储环境下，网络复制作为一种更加便捷、高效、快速的云端电子复制方式，具有远程性、隐蔽性等特点，从而使得在司法实践中，很难对数字版权侵权行为进行认定，进而影响了相应的法律规制效果。

二、云存储下数字版权侵权的法理分析

1.云存储下数字版权侵权的特殊性法理分析

一是云存储下数字版权法律关系的主体发生了变化。在一般网络环境下，版权侵权主要涉及版权作者、传播者和社会公众，而在云存储下，则增加了云服务提供商这一重要的法律主体。根据现代法理上的权责理论，用户在使用云存储时，一般需要支付一定的费用，这种收费性质的云服务提供商自然要承担起网络资源的版权合法性，如果其中存在网络资源的版权侵权行为，云服务提供商必然要承担相应的法律责任[2]。但用户利用云存储服务进行的线上或线下版权传播侵权，则需要根据各自在版权侵权中的责任大小和范围来进行科学认定和担责。

二是云存储下数字版权侵权的司法管辖相对固定。在一般网络版权侵权环境下，由于网络的虚拟性和不确定性，上传者所在地或网络服务器所在地都可能成为侵权行为发生地，特别是服务器之间的彼此共享、数据传输连接等，使得服务器所在地的认定存在很大困难。而在云存储环境下，由于网络资源属于云服务提供商，并且服务器位置相对固定，这样就为云存储版权侵权行为提供了相对明确的场所，在具体侵权认定时也相对容易一些[3]。

2.云存储下数字版权侵权的排除性法理分析

一是合理使用。为了保障版权经济效益和社会效益的平衡，法律允许社会公众合理使用版权作品，这在我国著作权法第22条中进行了明确规定。合理使用主要集中在社会公众的个人学习、研究、欣赏等用途，既不可向社会传播，也不可用来营利，否则就构成版权侵权。

二是避风港规则。在云存储服务下，云服务提供商需要承担相应的版权侵权责任，但也不是绝对的。《侵权责任法》和《信息网络传播权保护条例》规定，一些用户利用云存储上传内容，如果云服务提供商没有从中获取相应的版权收益，而且主观上不存在过错，并且在收到实际版权人的相应请求后能够及时履行删除义务，那么，云服务提供商就可以进入避风港，不承担相应的法律责任。这是根据云存储的技术特征而设计的，也符合责、权、利相一致的法制理念[4]。

三、云存储与数字版权的协同演进

云存储代表了互联网络技术创新发展的最新方向之一，我国要紧紧围绕依法治国的大政方针，对云存储所带来的一些版权侵权新情况、新问题制定相应的法制对策，以实现云存储与数字版权的协同发展与进步。

1.立法路径

在互联网环境下，资源的共享比独享更具价值，云存储技术打破了“所有权才是王道”的社会认识。在我国现行著作权法中，已经明确了电子软件作品的网络出租权，但在云存储环境下，我国还需要不断调整和补充“电子出租”的法律内涵，建立并完善“电子出租”的法律概念。一方面要对“电子出租”进行相应的立法解释，体现其与普通网络下软件出租权的差异性，给予相应的法律规制；另一方面，要进一步明确 SAAS 模式的创新内涵，并注重强化SAAS 模式下新型“电子出租”的法律保护。此外，建议将数字化复制作为著作权法中“复制权”的新型内容，以更好地保障版权人的合法权益。同时，将云存储下的网络传播权纳入“法定许可”的范畴，对不加限制的时政内容、用户自愿上网传播的原创内容，应该保障其自由传播的权利，但对某些需要“法定许可”的版权，未经许可不得传播[5]。

2.司法路径

根据我国司法管理的法制理论和权利义务的辩证关系，云存储下数字版权案件的司法管辖权，除侵权人所在地外，还要将云存储服务器所在地纳入司法管辖范围，重点强化云服务提供商的版权义务。结合法律的利益平衡原则，维护版权的法律权益，既要严厉打击数字版权侵权行为，也要从互联网创新的角度出发，对一些网络版权适当限制，防止权利过度扩张。如何把握好两者之间的度，核心在于建立健全并及时修改相关法律法规，以明确的法律制度来推进司法执行规范。

3.社会协同路径

云存储下数字版权侵权问题涉及国家、企业、用户等诸多行为主体，基于这些主体的不同权责和诉求，需要在依法治国的总体设计下，借助法制的力量，对各利益主体进行差异化的规制：一是从国家角度，要制定促进云计算、云存储产业发展的知识产权保护战略，借助当前“互联网+”的顶层设计，努力实现“互联网+创新” “互联网+数字版权”的协同发展，必要时可以考虑设立专门的互联网监管机构，全面推行云存储实名制等，在推进依法治理互联网信息方面进行有益的政策尝试。二是从企业角度，应增强版权保护意识，聘请专业的知识产权律师，将版权等知识产权的科学管理与技术创新紧密结合，推进企业创新与法治协同发展。三是从用户角度，要强化版权意识，自觉学习和运用相关的数字版权保护知识，在严格做到不侵犯他人版权的同时，也要积极保护自己的版权利益，勇于同侵权行为做斗争，必要时运用法律手段来维护自己的合法权益。

[1]王异，周二翠，马英等.基于云服务的动态数字出版研究[J].科技与出版，2015（10）.

[2]邱洪华，郭宇.云计算环境下数字图书馆的版权保护研究[J].图书馆，2014 （1）.

[3]相丽玲，刘红丽.云时代数字资源开放存取的法律关系与问责机制[J].情报理论与实践，2014 （7）.

[4]刘青，黎宇贞.数字图书馆版权利益平衡机制探讨[J] .图书与情报，2007 （1）.

[5]刘依庆，刘家林，陈之荣等.云计算网络技术条件下的版权管理与对策探析[J].出版发行研究，2013 （2）.

数字存储技术论文 篇12

随着云计算技术的飞速发展和大数据时代的到来,越来越多的企业和个人将自己的业务及数据迁入云端,以解决爆炸式增长的数据存储问题,同时满足用户随时随地通过可连网设备获取云端数据的需求[1]。云计算以其高效率、低成本等优势越来越受到大众的欢迎,在各个行业都能感受到云计算给人们带来的便利。伴随着云存储技术的快速发展,云端的安全问题也受到越来越多的关注[2]。黑客攻击、信息泄露、数据篡改等安全隐患接踵而来,这在很大程度上影响了用户将数据迁入云端的选择[3]。这些安全隐患也给云存储的发展带来极大的挑战,新的云存储安全解决方案亟待被提出[4]。

针对云存储的安全问题,虽然目前许多云存储服务商都有使用加密技术保护用户的数据,但是在方便高效方面还存在新的挑战。例如,i Disk不支持用户数据在客户端进行加密,这意味着上传到i Disk的数据是明文[5];Dropbox[6]服务商支持用户在上传数据到云端之前进行加密,但是必须使用云服务商提供的加密机制进行加密,意味着密钥必须由云服务商进行保管,这无疑增加了数据被服务商利用的风险,并给用户选择云计算带来顾虑;Spider Oak、Wuala等服务商允许用户在本地进行数据加密,用户保存根密钥,其他密钥则以密文的形式被保存在云服务器中,虽然这样的方式能够在一定程度上保证云端数据的安全,但是它们提供的一些功能让用户产生疑虑,如“在线重置数据密钥”等功能威胁到了密钥的安全性[7]。

为了解决以上云存储的安全问题,文献[8]提出了基于双线性对密文策略的属性加密机制CP-ABE-WP(Ciphertext-Policy Attribute-Based Encryption with pairing)。该方案通过对CP-ABE-WP提高云存储的安全性和加解密效率,但是该方案在属性个数较多时显得效率不高,且对数据的访问控制较复杂。为实现高效保证云存储数据安全,本文提出一种结合数字信封技术的改进的密文策略的属性加密机制CP-ABE(Ciphertext-Policy Attribute-Based Encryption)[9]云存储安全模型。通过动态口令OTP(One Time Password)[10]对用户进行登录校验,数据在上传之前进行本地加密,加密密钥通过CP-ABE进行加密,结合数字信封技术将数据和加密密钥同时上传至云端存储;当用户下载数据至本地时,根据用户属性及账户信息自动解密数据供用户使用。数据分析与对比表明,新模型能够在不影响云服务性能的前提下高效地保护云端数据的安全。

1 云安全相关技术

1.1 数据加密技术

针对数据存储及传输的安全问题,目前大多数云服务商还是采用传统的数据加密方式保护用户数据的传输及存储安全[11]。例如亚马逊的简单存储服务[12]要求用户在上传数据之前自行加密数据。传统的数据存储和传输方法如图1所示。

图1 传统的数据存储和传输方法

图1中涉及数据交换的主体有云服务器、数据拥有者和普通用户,主要由以下几个步骤完成:

(1)数据拥有者在本地加密数据之后上传至云服务器进行存储;

(2)普通用户注册成为数据拥有者的合法用户;

(3)数据拥有者分发数据加密密钥给注册用户;

(4)注册用户访问云端数据;

(5)使用从数据拥有者处获得加密密钥下载并解密所需数据;

(6)数据拥有者可直接下载自己已上传至云端的数据。

存在的安全隐患:在传统的数据存储和传输方法中,如果注册用户发生变化,数据拥有者需要更新数据密钥以便分发给最新注册的用户,并及时删除原用户信息;在数据拥有者传输密钥给注册用户时,面临着密钥在不安全信道被截取和篡改的威胁。这些不安全隐患都表明传统的数据存储和传输方法不再适应于云存储安全。

目前主流的数据加密技术包括对称加密和非对称加密。主流的对称加密算法[13]包括DES、3DES、IDE-A、AES、RC4、RC6等,主流的非对称加密算法[14]包括RSA、DSA、ECC等。虽然这些主流的加密技术能够在一定程度上保护用户的数据机密性和完整性,但运用在云安全中其效率方面还有待进一步提高。另一方面,这些加密操作都是在云端完成的,用户很难做到完全信任云服务商不会泄露自己上传的隐私数据,这也是导致大部分用户对云存储持怀疑态度的原因。

1.2 CP-ABE算法

CP-ABE[15,16]是将用户的身份表示为一个属性集合,而加密数据则与访问控制结构相关联,用户访问数据取决于用户的属性集是否满足访问控制结构的要求。与传统的公钥加密相比,CP-ABE不需要关注信息共享体中成员的规模和身份信息,具有高效性、抗串联性和策略表示灵活性等优点,使其拥有更强的访问控制能力。

1.2.1 CP-ABE算法结构

CP-ABE算法中相关术语定义如下:

定义1属性:设A={P1,P2,…,Pn}为所有属性的集合,则每个用户的属性集Au是A的一个非空子集,Au⊆{P1,P2,…,Pn}。

定义2访问结构:访问结构T是全集{P1,P2,…,Pn}的一个非空子集,。T代表一个属性判断条件,即在T中的属性集合称为授权集,不在T中的属性集合称为非授权集。

定义3访问树:用来描述一个访问结构,树的每个叶节点代表一个属性项,每个内部节点代表一个关系函数,关系函数可以是“与”、“或”以及“至少满足”等。

例如,假设属性集合A={现居地:北京,现居地:广州,职业:老师,学历:博士};

用户1的属性集Au1={现居地:北京,职业:老师,学历:硕士};

用户2的属性集Au2={现居地:北京,职业:老师,学历:博士};

用户3的属性集Au3={现居地:天津,职业:老师,学历:博士};

访问结构T={{现居地:北京,职业:老师,学历:博士},{现居地:广州,职业:老师,学历:博士},{现居地:北京},{现居地:广州}}。

根据CP-ABE算法机制,分别判断用户是否满足访问结构要求:

用户1的“{学历:硕士}”属性不满足访问结构中的“{职业:老师,学历:博士}”的“与”操作;

用户2满足访问结构要求,可以访问数据;

用户3的属性“{现居地:天津}”不满足“{现居地:北京,现居地:广州}”的“至少满足一个”门限操作。

图2为根据以上假设的一个CP-ABE算法访问控制结构实例示意图。

图2 CP-ABE访问控制结构实例示意图

1.2.2 CP-ABE算法实现步骤

CP-ABE算法主要包含四个步骤:

(1)Setup(Au),授权中心执行:当用户发送访问请求给云服务器时,由授权中心执行该算法,授权中心根据用户的属性Au判断当前用户需要获取的数据,输出系统公共参数PK和主密钥MK,即(PK,MK)=Setup(Au)。

(2)Key Gen(PK,MK,Au),授权中心执行:密钥生成算法以系统公共密钥PK、主密钥MK和用户属性集Au作为输入参数,输出对应于Au的解密密钥SK,即SK=Key Gen(PK,MK,Au)。授权中心在用户发送请求时根据用户属性生成对应于当前用户的解密密钥SK,并通过安全信道发送给用户秘密保存。

(3)Encrypt(PK,M,T),数据拥有者执行:根据授权中心生成的公共参数PK决定具体加密哪个数据,输入系统公共参数PK、数据拥有者的明文M以及访问结构T,加密之后得到密文C,即C=Encrypt(PK,M,T),且该密文只有在满足访问结构的集合属性时才能被解密。

(4)Decrypt(C,SK,PK),普通用户执行:它的输入参数是用访问结构T加密的密文C,以及对应于用户属性集Au的解密密钥SK和系统公共参数PK。如果用户属性集Au满足访问结构T,则输出明文M,即M=Decrypt(C,SK,PK)。

CP-ABE加密机制[17]如图3所示,用户在本地使用对称加密算法对要上传到云端的数据进行加密。其生成的密钥由CP-ABE算法进行加密,用户密钥与用户属性集Au相关,只有Au满足访问结构T时才能解密密文。在云存储中,用户在上传数据之前对数据进行加密的密钥通过CP-ABE进行加密,在传输密钥过程中,即使密钥被黑客截取也无法破解密钥内容,因为只有满足访问控制集合中的属性才能解密密文[18]。通过CP-ABE对密钥加密能够有效防止密钥被截取,其加密方式不会影响数据传输效率。

图3 CP-ABE机制示意图

1.3 数字信封技术

数字信封[19]是一种综合利用了对称加密技术和非对称加密技术两者的优点进行信息安全传输的一种技术。数字信封既拥有对称加密技术的速度快、安全性高等优点,又发挥了非对称加密算法密钥管理方便的优点。

数字信封的功能类似于纸质信封,纸质信封保证了只有收件人才能阅读信的内容。数字信封则采用成熟的密码技术保证只有规定的接收方才能获取发送者的内容,发送者必须知道接收者的数字证书的公钥。图4、图5为数字信封技术加密、解密过程图。

图4 数字信封加密过程

图5 数字信封解密过程

其执行步骤如下:

(1)明文M通过对称密钥K1进行加密,加密函数为Encrypt(K1,M),得到密文C;

(2)对称密钥K1通过接受者的公钥PK进行加密,加密函数为Encrypt(PK,K1),得到加密密钥K2;

(3)将密文C和加密密钥K2同时发送给接收者或上传至云服务器;

(4)接收者接收到密文和加密密钥之后对数据进行拆分,分为密文C和解密密钥K2;

(5)接收者通过私钥SK解密出加密密钥里面的对称密钥,其解密函数为Decrypt(SK,K2),得到对称密钥K1;

(6)使用对称密钥K1解密密文C,解密函数为Decrypt(K1,C),从而恢复出明文M。

数字信封技术的加密过程类似于纸质信封中的信件封装,并指定了具体的收件人,解密过程类似于纸质信封中合法收件人才能拆封并阅读信件。整个信封传递过程都是处于保密状态,确保了数据的安全性。

2 CP-ABE融合技术的云存储安全模型

安全模型主要解决用户数据在云端的上传和存储安全问题。它能够有效解决用户数据在上传中被截获和被篡改的安全问题及数据在云端存储被非授权用户和云服务提供商利用的问题。

2.1 安全模型系统架构

新模型使用三层不同的安全系统架构,层次图如图6所示。

图6 新模型安全层次图

第一层通过短信校验码结合用户信息生成动态口令OTP对用户进行登录校验,有效阻止非授权用户的登录对云服务造成安全威胁。

第二层用户登录成功之后就能够上传数据至云端,在上传之前,用户可以根据安全模型提供的加密方法对数据加密,并使用CP-ABE算法对加密密钥加密,确保只有满足访问结构属性的用户才能解密数据。被加密的密钥和数据通过数字信封技术进行加密上传。数据加密的过程如图7所示,其中本地加密数据的算法以AES算法为例。

图7 基于AES和改进的CP-ABE的数据加密过程

第三层用户从云端下载数字信封封装的数据到本地,模型根据用户的登录信息及账户信息判断当前用户是否为合法用户。如果符合判断要求,则通过模型自动解密数字信封的加密密钥和密文,即根据CP-ABE的属性进行判断用户是否能够解密密钥,从而解密密文供用户使用,数据解密过程如图8所示。

图8 基于AES和改进的CP-ABE的数据解密过程

安全模型在整个数据传输与存储过程中的作用相当于一个网关的作用,用户所有的数据都是经过该模型进行过滤之后再上传到云服务器或者从云服务器下载。模型主要完成以下安全任务:

(1)数据未上传至云端之前对隐私数据加密;

(2)非授权用户从云存储服务器获得数据,只能看到加密形式的数据,无法解密密文数据;

(3)合法用户从云端获得数据,则在用户端自动解密供用户使用;

(4)阻止恶意用户访问服务器,同时检测恶意软件攻击。

图7中为了更好地融合CP-ABE和信封融合技术,将经过CP-ABE加密的加密密钥和密文数据整合成一个数据包同时上传至云端。由于加密密钥和密文数据在数字信封里是属于分开存储的,所以不会造成加密之间的冲突,能够兼容不同的加密技术对数据进行加密,确保数据的机密性。

2.2 登录动态口令OTP设计

模型中的动态口令OTP对用户的账户安全起着至关重要的作用,其主要实现方法是通过接收短信校验码,校验成功之后根据用户名、密码和短信校验码生成一个OTP。用户使用生成的OTP登录云服务器获取数据。短信校验码生成与使用场景是物理隔绝的,因此将校验码在通路上被截取的概率降至最低。OTP总体设计架构图如图9所示。

图9 OTP总体设计架构图

用户首先通过注册时的用户名和密码登录云服务器,登录成功之后,云服务器发送短信校验码到用户手机。用户使用接收到的短信校验码生成OTP,并将OTP存入到云服务器的临时数据库中,存储的时候根据用户信息相应存储。用户再使用用户名、密码及OTP获得云端的隐私数据并自动解密数据,在每次获取数据的时候都需要输入OTP,直到用户退出程序为止。用户再次登录云端服务器的时候需要再获得短信校验码生成OTP。

2.3 用户与云服务器数据交互

图10详细描述了用户和云服务器之间的数据交互过程。用户在上传数据时需要通过CP-ABE密钥授权中心设置访问策略用于加密密钥;用户需要从云存储服务器下载数据时,需要通过CP-ABE密钥授权中心判断用户属性是否满足设置的访问策略。

图1 0 用户和云服务器数据交互序列图

数据使用主流加密技术进行本地加密,在模型的第二层中为了确保数据的完整性,通过对数字信封的检验确定数据有没有被第三方篡改。在模型中数据的密钥是通过CP-ABE加密的,这是为了防止密钥在传输过程中被黑客截获,要想获得密钥必须要满足CP-ABE的访问结构。

3 改进模型仿真实验及性能分析

为了评估本方案的效率和在云环境下的可行性,本文采用模拟的云环境进行仿真实验,同时参考文献[22]所使用的实验方案进行验证。软硬件实验环境为:Vmware Workstation虚拟机及搭建在该虚拟机上的Red Hat Enterprise Linux 6.2操作系统,分布式系统基础架构Hadoop 1.0.4,百度云,实验代码基于cpabe-0.10库[23]实现改进的CP-ABE方案。

3.1 仿真模型及参数描述

本仿真实现由安全模型进行数据的上传和下载,并采用百度云为云端服务器进行数据的存储。仿真模型的三层主要功能包括用户进行OTP登录校验、数据和密钥在传输过程中使用信封技术保证传输的安全性、使用CP-ABE进行密钥的加密传输。在上传时进行数据本地加密和下载时实现模型对数据的自动解密,提高系统的效率。

首先用户通过在百度云注册成功的用户名和密码登录仿真系统,登录校验成功之后服务器会发送短信校验码到注册时填写的手机上。获取到短信校验码之后填入仿真系统中,系统将根据用户名、密码和短信校验码生成动态口令OTP。OTP的展现形式为128 bit MD5加密的文本内容,并被存储在临时数据库中,用户在使用OTP时需要和临时数据库存储的OTP进行比对校验。用户将使用此OTP获取云端的数据。图11即为用户登录校验成功并输入短信校验码之后生成的动态口令OTP。

图1 1 生成动态口令OTP

生成动态口令OTP之后即可进入系统进行文件的上传和下载。在进行文件上传的时候需要设置用户属性集合,用来实现CP-ABE对密钥的加密,属性集合将会保留在系统的数据库中。在上传数据之前,用户需要使用主流的加密算法对数据进行本地加密。本系统采用的主流算法有:AES、DES、3DES、RC4和RC6,用户根据需要进行加密算法的选择。在上传数据的时候需要输入OTP来验证是否为当前用户在操作,确保系统的安全性。图12即为用户上传数据的演示界面。

图1 2 上传数据演示界面

系统通过对接百度云的接口,可以在仿真系统中输入数据的网络地址。在进行文件下载的时候需要选择正确的解密方式,输入解密密钥和OTP,系统将会自动解密需要下载的数据供用户使用。图13为用户从云端下载数据的演示界面。

图1 3 下载数据演示界面

如仿真系统所示,当恶意用户访问云服务器时,OTP校验会阻止恶意用户的访问请求;假如恶意用户非法获得OTP,也会在校验用户属性的时候阻止恶意用户的访问。新模型使用三层不同的安全系统架构,安全有效地保护用户云端的隐私数据。

3.2 改进CP-ABE模型性能分析

本文提出的安全模型是通过OTP校验、数字信封技术和CP-ABE算法保证数据的传输和存储安全。通过给定不同个数的属性来分析CP-ABE算法私钥生成的时间及其加密和解密同等大小的密钥的加密时间变化。图14为CP-ABE算法中用户私钥生成所需时间,从图中可知,用户私钥生成的时间是随着私钥绑定的属性个数增加而增加的。

图1 4 用户私钥生成时间

图15给出了在相同长度对称密钥的前提下,给定不同的属性策略中的属性个数,CP-ABE加密和解密时间对比。从中可以看出随着属性策略中的属性个数的增加,加密和解密时间都相应增加。

图1 5 CP-ABE加密和解密时间

表1通过给定不同大小的文件对不同算法进行加密速度的测试,其中改进模型中CP-ABE算法属性数为10个。从表中可以看出AES的加密速度是最快的,其次是RC4加密算法,改进的CP-ABE模型的加密时间变化和数据加密时间成正比。

表1 加密时间性能比较

图16给出了改进的CP-ABE和文献[8]提出的改进方案CP-ABE-WP加密时间性能对比情况。从图中可以看出改进的CP-ABE的加密时间性能在属性个数较大时得到较大提升。图17给出了其解密时间对比情况,在属性个数增大时其解密时间性能明显提升。

图1 6 改进模型和CP-ABE-WP加密时间对比

图1 7 改进模型和CP-ABE-WP解密时间对比

图18给出了改进的CP-ABE和CBHAC算法[20]权限变更时间性能对比,CBHAC算法通过对称加密方法进行数据加密,能够简单有效地保护数据的机密性。仿真实验设定属性个数为10,用户数目为300,从图中可以看出,权限变更时间改进的CP-ABE比CBHAC小得多,时间性能提升明显。

图1 8 权限变更时间对比

本文还对动态口令OTP的安全性能进行了仿真模拟测试。系统采用模拟攻击的方法分别对OTP和传统静态密码进行字典攻击暴力破解测试,并取1000次暴力破解数据的平均值作为最终结果。数据结果表明,OTP的安全性能明显高于传统的静态密码方法。

4 改进CP-ABE模型安全性分析

本文改进的CP-ABE模型主要解决云端数据的存储和传输安全问题。下面对该模型的安全性进行分析:

(1)OTP校验登录。用户需要通过OTP登录校验才能获得云端数据,阻止了非授权用户对系统的非法访问,确保云服务器的安全。

(2)端到端的加密。允许用户在客户端进行数据的加密解密,确保了数据在存储和传输中的机密性[21]。

(3)数字信封技术。在传输过程中通过数字信封技术将加密密钥和密文一起上传至云端服务器,即使中途被黑客截取也无法获得明文数据,保证了数据的传输安全。

(4)加密密钥的安全管理。通过CP-ABE对密钥进行加密传输和存储,只有符合访问结构属性的用户才能得到其中的密钥,确保密钥不被非法用户获取。

5 结语