存储管理技术（通用10篇）
存储管理技术 篇1
Vista，它被微软称为有史以来最重要的操作系统。微软声称,在开发Vista过程中共计投入了6 000名软件工程师和近90亿美元的开发资金，Vista相对于上一代操作系统XP做了大大小小一千余项改进[1]。
在这一千余项改进中，存储管理技术的革新占有重要地位。SuperFetch、ReadyBoost及ReadyDrive技术，磁盘I/O优先化技术，Bit Locker技术等都是从Vista开始采用的、重要的存储管理技术。
1 Vista存储管理新技术分析
(1）使用SuperFetch、ReadyBoost、ReadyDrive技术加速电脑
SuperFetch是一个创新的内存管理器，用于分析随时间变化的计算机使用模式，以优化保存在内存中的数据，提高系统工作效率。具体地说，SuperFetch可以记录或者说“学习”用户对于操作系统和应用程序在每一天中的使用时段、操作流程。经过一段时间的“学习”之后，系统在用户执行这些常规操作之前，将操作相关的文件信息加载到物理内存的备用页面列表中去，当这种操作启动时，系统可直接从内存备用页表中调用文件数据，而无需从硬盘载入，于是，这种经常性工作得以提速，系统工作效率得以提高。
SuperFetch不但继承了Windows XP预取技术的全部优点，还进一步具备了监视程序运行状况、运行时间等功能。但是SuperFetch要提前加载程序信息至内存备用页，增加了系统对内存的需求。ReadyBoost技术就是为克服系统内存不足而设计的。
ReadyBoost技术使系统可以采用外部存储器件(如闪盘、SD/CF卡等电子器件)为缓存，在内存与硬盘之间建立闪存缓冲区，这个缓冲区能够作为SuperFetch内存备用区。尽管它的读写速度不如主内存，但在随机存取时比机械式硬盘的存取速度要快得多。当Vista系统检测到插入USB存储设备时，若系统允许“自动播放”则自动播放对话框被弹出，见图1所示(与XP不同的是该对话框提供了“加速我的系统”选项)，选择“加速我的系统”，进入ReadyBoost属性对话框，见图2，通过该属性对话框即可完成系统加速设置。
微软声称：用于ReadyBoost的USB存储设备的容量要达到计算机上安装的随机存取内存(RAM)容量的一至三倍;用于Ready Boost的USB存储设备空闲读写速度最低要求为2.5MB/s(随机读4KB以上文件)、1.75MB/s(随机写512KB以上文件)。当今主流的、正规厂家所产闪存设备已经达到或超过了此要求。
ReadyBoost技术不仅克服了某些计算机扩充内存的不便和因扩充内存所需的花费，而且实际上也增加了USB存储设备的使用寿命[2,3]。
ReadyDrive技术则使系统支持混合式磁盘驱动器(hybrid hard disk drive,H-HDD)。H-HDD相比传统磁盘增加了较大容量的非易失快闪存储芯片(nonvolatile cache,NV cache)作为缓存(见图3)。
ReadyDrive技术能够巧妙利用H-HDD硬盘的NV cache改善系统性能。当系统需要H-HDD提供随机I/O操作服务，在数据量较少的情况下，读写H-HDD时，可以将随机读写数据缓存到盘内NV Cache中，读写速度较传统硬盘可以提高10倍。
ReadyDrive技术使带有H-HDD的系统引导速度更快。系统在关闭前，可以将启动所需要的一些数据读入到H-HDD的NV cache中去;系统重新启动时，从NV cache中读入这些数据比从硬盘上读入要快得多。
ReadyDrive技术延长了笔记本电脑的电池的使用时间和寿命。读写H-HDD的NV cache,勿需旋转HDD盘片，可以节省系统的电池能量，延长电池和磁盘驱动器的使用寿命，提高笔记本电脑的续航能力[4]。
考虑到固态硬盘技术的发展，微软公司将ReadyDrive技术在Windows 7中演变成了对固态硬盘SSD的有效支持。
(2）设计磁盘I/O优先级，克服磁盘I/O瓶颈，提高系统响应能力
多任务的计算机操作系统给用户带来了方便，但是也带来了资源的争夺。用户打开多个应用程序，执行多种工作任务，操作系统自动执行“计划任务”等后台程序。各类应用程序都要使用CPU，读写磁盘，占用内存，争夺资源。在CPU、内存、磁盘这些主要的争夺资源中，磁盘I/O往往不能满足需求。近十年来，CPU速度越来越快，核心越来越多，CPU的计算速度不成问题;而内存容量和速度也增加很快，尤其是速度。若内存容量不足，Vista采用前已述及的ReadyBoost技术使用USB存储设备替代部分内存可以解决。但是，机械式磁盘设备的性能提升没有CPU和内存组件那么显著。当今流行的机械式磁盘设备的I/O带宽比内存的I/O带宽要低一个数量级，在传输低于4KB的小文件时，速度还要下降!磁盘I/O成了瓶颈，如何解决?
Vista一方面使用ReadyDrive技术实现支持混合式磁盘，提高I/O带宽，另一方面对磁盘I/O请求加以分类，设计优先级，以满足当前用户较紧迫的I/O请求，提高系统响应能力，缓解I/O瓶颈。Vista根据I/O请求模式和对象，设计了I/O层次优先化策略，I/O空闲优先化策略及I/O带宽预留优先化策略，满足系统不同层次、不同时间段对磁盘I/O的请求。例如：当病毒扫描程序在后台运行时，此时用户启动Word字表处理程序。系统会自动将Word程序对磁盘的I/O请求设为正常优先级，而将病毒扫描程序设为低优先级，及时响应了用户请求。这种磁盘I/O的优先级在系统资源监视器中可以查看，Windwos 7已将正常优先级改称为标准优先级[5]。
(3）使用Bit Locker和改进后的加密文件系统EFS，提高数据存储安全性
Bit Locker又称为安全启动,它用来加密Windows操作系统卷。该功能可防止未授权用户突破丢失或者失窃计算机上的Windows文件。
Bit Locker使用TPM(Trusted Platform Module，受信任的平台模块，一个内置在计算机中的微芯片)存储加密信息，如加密密钥。存储在TPM上的信息可以避免外部软件攻击和物理盗窃。和以往的软件登录密码相比，它集成硬件和软件保护机制于一身，因此极大提高了安全性能。
Bit Locker还可以在系统没有TPM的情况下使用。此时，应调整系统组策略，更改Bit Locker安装向导的默认行为，或使用脚本配置Bit Locker，将所需加密密钥存储在USB闪存驱动器中。解锁存储在卷上的数据必须提供该驱动器。
为了增强安全性，还可以将TPM与用户输入的PIN或存储在USB闪存驱动器上的启动密钥组合使用，Bit Locker通过结合使用TPM和启动密钥(来自USB闪存驱动器)，来获取Bit Locker加密卷的访问权限[6]。
Vista中的EFS与XP相比，得以改进。Vista下的EFS更简便易用，而且具备全加密功能。Vista下的加密和解除加密操作在文件或文件夹的高级属性对话框可以解决。至于全加密，是指Vista克服了在XP中仅对数据文件进行加密的局限性，能对系统数据加密。例如，Vista能对系统产生的临时文件和虚拟内存的页面文件等可能包括用户重要信息的文件进行加密。
EFS加密各类文件数据，Bit Loker加密驱动器卷，此二者配合，可满足各类用户对数据存储安全性保障需求。不过，Bit Locker技术仅在Vista的Ultimate(旗舰版)和Enterprise(企业版)得以采用，而EFS文件系统在各版本中都可以使用，但对于Home Basic(家庭基础版)和Home Premium(家庭高级版)需要命令行程序Cipher.exe配合，虽然操作不简便，但相比XP的Home Edition不支持EFS还是有进步。
Bit Locker技术在Windows 7中操作起来更简便。
2 Vista的许多技术是革命性的，研究Vista具有十分重要的意义
虽然，微软推出了新一代的Windows 7,Vista再也难以成为主流操作系统，但是，作为微软投资了最为巨大的人力和财力，费时近10年开发的一个重量级操作系统，它的许多技术是革命性。本文所阐述的SuperFetch、ReadyBoost、ReadyDrive、磁盘I/O优先级调度、Bit Locker等存储领域技术就是很好的实例。不仅如此，这些革命性的技术大多在Windows 7中被继承和发展[7]。对比Vista和Windows 7我们会发现更多，不用说Vista的实用性，单是研究Vista就具有十分重要的意义。
摘要：微软在Vista中采用了较多的存储管理新技术。使用SuperFetch、ReadyBoost、ReadyDrive三大存储管理新技术加速系统,提升系统性能。设计磁盘I/O优先级策略,区别对待磁盘I/O请求,提高系统响应能力,克服磁盘I/O瓶颈。利用BitLocker磁盘驱动器加密技术,配合改良的加密文件系统EFS,满足磁盘数据存储的安全性需求。Vista采用了许多类似的新技术,而且大多数技术在Windows7中得到了继承和发展,研究Vista具有十分重要的意义。
关键词：SuperFetch,ReadyBoost,ReadyDrive,I/O优先化,BitLocker
参考文献
[1]Cbsi中国.Windows Vista新闻发布会现场实录[EB/OL].电脑之家,2007-01-30,http://article.pchome.net/content-160241-1.html.
[2]Ed Bott,Carl Siechert,and Craig Stinson周靖译.Windows Vista官方攻略[M].清华大学出版社,2008.
[3]Microsoft Corporation.Windows PC Accelerators:Performance Technol-ogy for Windows Vista[S/OL],WHDC Home,2006-12.http://www.microsoft.com/whdc/system/sysperf/accelerator.mspx.
[4]Microsoft Corporation.Windows ReadyDriveTMand Hybrid Hard DiskDrives[S/OL],WHDCHome,2006-12,http://www.microsoft.com/whdc/2006.
[5]Microsoft Corporation.I/O Prioritization in Windows Vista[S/OL],WHDCHome,2006-5-10 http://www.microsoft.com/china/whdc/driver/priorityio.mspx.
[6]褚诚云.Windows Vista安全特性分析:改进和局限(下)[J].程序员,2007(3):110-113.
[7]刘晖.Windows 7盛晏[J].个人电脑,2009(10):60-89.R
存储管理技术 篇2
矢量地图数据存储与管理技术是嵌入式GIS系统的重要研究内容,结合电子地图工作模式和地图数据访问特点,在常见的图幅分块和数据分级基础上,提出建立实体附加检索数据区和实体详细属性数据区;同时引入超块单元,并对超块内地图数据重新组织,从而使得人机交互时,数据定位时间缩短,数据读取冗余量减少,矢量地图操作性能表现更好.
作 者：胡泽明 岳春生 王志刚 HU Ze-ming YUE Chun-sheng WANG Zhi-gang 作者单位：信息工程大学信息工程学院,郑州,450002刊 名：测绘科学 ISTIC PKU英文刊名：SCIENCE OF SURVEYING AND MAPPING年，卷(期)：200934(4)分类号：P282关键词：嵌入式地理信息系统 图幅分块 数据分级 超块单元
★ linux系统备份MySql数据库的方法(MyISAM和InnoDB)linux操作系统
★ iOS开发:用SQLite3存储和读取数据
★ 如何结合云存储来做数据分析和数据挖掘?
★ MySQL 5.0新特性教程 存储过程:第一讲MySQL5
★ 土壤电导特性及影响因素试验研究
★ 高效降氰菌的筛选及其特性研究
★ 无法枚举证书存储
★ 电视节目的存储及管理
★ 物流车辆监控系统的数据组织研究
浅谈网络存储技术 篇3
关键词：网络存储；直接连接存储；网络连接存储；存储区域网络
中图分类号：TP333 文献标识码：A文章编号：1007-9599(2011)07-0000-01
Network Storage Technology
Zhou Xin (Huazhong University Of Scince and Technology Wenhua College,Wuhan430074,China)
Abstract:The rapid development of today's information age,network storage to people living and working to bring more convenience.This article describes several key technologies of network storage and the development trends are put forward.
Keywords:Network storage ;Direct attached storage;Network attached storage;Storage area network
一、网络存储技术概述
信息时代的来临给人们带来了新问题：海量数据的产生、存储和访问，因此，网络存储技术应运而生。网络存储技术是基于数据存储的一种通用网络术语。网络存储技术的出现，使人们对海量数据的存储、数据的共享和分析以及数据的安全和备份等要求得到了满足。但如何有效的保证这些数据的安全，保证这些数据访问的及时性以及在系统出现故障的时候数据能够快速恢复，成为当前的的一个重要课题和难题。
二、网络存储主要技术分析
（一）直接连接存储。直接连接存储，是将磁盘阵列、磁带库等数据存储设备通过扩展接口直接连接到服务器或者客户端。DAS以服务器为中心，不带有存储操作系统，即存储设备是服务器的一部分，I/O请求将直接发送到存储设备。这种方式的优点是实施简单、成本低、见效快。但是存储管理工作繁琐而重复，容量很难再分配，当服务器忙的时候，响应速度会减慢，而且扩充性能比较差。（二）网络连接存储。网络连接存储。NAS与DAS不同，它的存储设备不是直接连接到服务器，而是直接连接到网络，通过标准的网络拓扑结构连接到服务器。在这种存储方式中，应用和数据存储部分在不同的服务器上，分别为应用服务器和数据服务器。数据服务器拥有自己的操作系统，可以将借到到的应用服务器的“File.I/O”文件存储请求转换为“Block.I/O”，发送到内部磁盘。不同的应用服务器可以通过局域网的接口访问数据服务器，从而实现了在异构服务器之间的数据共享。NAS具有存储独立、协议独立、易于管理和性价比优的特点，但是由于NAS和正常业务访问使用同一个网络，因此会造成相互影响。当NAS的数据量比较大时，可以通过NDMP减少对网络资源的需求，而且可以实现本地备份和灾难恢复。NDMP是一种基于企业级数据管理的开放协议，它定义了一种基于网络的协议和机制，用于控制备份、恢复，以及在主要和次要存储器之间的数据传输。NDMP结构基于客户端/服务器模型，其中数据生产者和消费者被认为是服务器或服务提供者，也可以叫做数据服务提供者（DSP）；备份管理软件被认为是客户端。每一次NDMP会话只能有一个客户，但可以有多个服务器。（三）存储区域网络。1.存储区域网络概念。存储区域网络。SAN是一种通过专用传输通道连接存储设备和相关服务器的存储结构[1]。SAN主要由三部分组成：存储设备、专用传输通道和服务器。和NAS一样，SAN也支持异构服务器之间的数据共享，而且SAN存储设备既可以处于同意地理位置，也可以扩展到不同的其他地方。SAN和服务器之间是各自独立、地位对等的，通过高带宽的集线器或者交换机相互通信。服务器可以通过专用传输通道访问SAN中的任何存储设备并将其当做本地存储设备使用。存储设备之间、存储设备和SAN交换机之间也可以不通过服务器直接进行通信。各工作站通过局域网访问服务器，服务器通过专用传输通道向存储设备发送“Block.I/O”数据请求，和存储设备进行通信，SAN存储技术把存储设备从局域网中隔离出来，成为独立的存储网络，避免了大流量的数据传输时占用局域网带宽而带来的阻塞和冲突。SAN的具体优点有：
（1）利用专用传输通道，SAN可以在存储设备和服务器之间高校地传输海量数据，减少了用于数据备份和恢复的时间开销和对局域网网络资源的占用。（2）SAN具有很好的扩展性，可以在不中断与服务器连接的情况下增加存储而不影响网络性能。（3）通过独立的区域存储，在几种的存储设备上共享数据，SAN可以对存储设备和数据进行几种的管理和控制，实现无人情况下的远程管理。（4）SAN可以实现异地存储，提高了容灾能力[2]。
2.SAN和NAS对比。相对于传统的存储技术，在数据共享、存储容量的扩展性还是数据的安全性方面，SAN和NAS都有着明显的优势。SAN和NAS共同点有：对数据进行集中存储和管理，提高了说数据高可用性；允许数据从应用服务器中独立出来，并在异构服务器之间共享；通过冗余结构实现高效率数据备份，保证了数据的完整性[3]。SAN和NAS的不同点有：在设备管理方面，NAS必须对每个节点的存储设备进行独立管理，而SAN则是对所有存储设备进行集中刮泥，较为方便；在性能方面，NAS利用局域网和服务器通信，占用了一定的网络资源，增加了网络负荷，同时性能也受到网络带宽限制。如果要提高性能，就必须增加带宽，这增加了成本。SAN是通过光纤通道技术，无须占用局域网的带宽，而且在连接扩展和I/O性能方面都优于NAS。尽管NAS性能不如SAN，但NAS的技术已经成熟且相对便宜；在实施和维护方面，NAS只要将存储设备直接与局域网相连即可使用，且NAS支持即插即用。而SAN的存储设备是通过专用交换机和客户端连接，如果要增加客户端，必须对交换机进行级联。因此，NAS比SAN容易维护。从这些对比可以看出，NAS和SAN各有长短，在实际应用中，可以将两种存储技术结合使用，进行优势互补。
（四）网络存储新技术。由于以上这些技术都存在不足，因此，出现了新一代的SAN，即SDD（SAN Data Director）.SDD在扩展客户端时，采用的是交换机并联而不是级联，无须改动以前的连接，提高了可维护性。使用交换机并联，减少了连接节点，简化了结构，提高了稳定性和安全性。而且SDD改变了传统的RIAD存储结构，采用两级RAID并且在盘塔之间做RAID，存储容量和容错能力都有大的改善。
三、总结
网络存储技术朝着高容量、高速度、高安全性方面发展，取得了较大成效。相信在不久的将来，网络存储技术定会得到更大发展，为人们生活、工作带来更大便利。
参考文献：
[1]刘艳.SAN环境下数据备份系统的设计与实现[D].重庆大学,2008
[2]黄荣安.基于网络存储的安全性研究与设计[D].上海交通大学,2008
存储管理技术 篇4
近年来,云计算无疑是最热门的研究热点之一。2006年谷歌最先提出“云计算”想法,同年又推出了“Google 101计划”,并正式提出了“云”的概念和理论。随后各大知名IT企业都大力开发和推进云计划,如亚马逊的AWS[1],IBM的“蓝云”计划,微软的Windows Azure计划。这些都对云计算的商业价值给予了巨大肯定。学术界也纷纷掀起了云计算研究的热潮。在企业及学术界的共同推动下,一些初步的云计算产品目前已经投入使用了,但云计算还处在发展阶段,各项技术还不是很成熟。
随着互联网的普遍应用,计算机产生的数据量正急剧增加,用户对计算机的要求也越来越高,如何提高普通计算机的存储能力和计算能力成为一个亟待解决的问题,而云计算的出现为这个问题提供了一个很好的解决办法。云计算改变了用户使用计算机的模式,云服务提供商把存储资源、计算资源、基础设施以及其它资源通过互联网以服务的形式提供给用户,用户可以根据需要购买相应的服务。这不仅打破了个人计算机在存储空间和计算能力上的局限性,还大大降低用户的软、硬件采购费用。
2 云计算
2.1 云计算的概念
云计算是网格计算、分布式计算、并行计算、网络存储等传统计算机技术和网络技术发展融合的产物,是一种新兴的商业化计算模型。人们对于云计算的理解仍在不断发展变化,至今还没有一个标准的定义。
美国Argonne国家实验室的资深科学家Ian Foster定义云计算为:云计算是由规模经济拖动,为互联网上的外部用户提供一组抽象的、虚拟化的、动态可扩展的、可管理的计算资源能力、存储能力、平台和服务的一种大规模分布式计算的聚合体[2]。
维基百科的定义:云计算将IT相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下,通过Internet获取需要的服务[3]。
云计算的定义还有很多,不同的人可以根据自己的理解给出不同的定义。综合不同的定义,我们可以看到云计算定义的共同点就是均认为云计算就是将计算资源、存储资源、网络资源以及其它一些资源以服务的形式提供给用户,云计算的最终目的是服务用户。
下面根据个人理解给出一种定义。云计算是基于网络的超级计算模式,它融合了网格计算、并行计算、分布式计算、数据存储与管理技术、网络技术等。它将硬件、数据存储、计算分析、软件等以服务的方式提供给用户,允许用户在不了解技术的情况下,通过网络采用付费的方式获取需要的服务。云计算通过网络将大量的数据和计算分拆成无数个较小的数据片和计算,然后由多个计算机所组成的计算机群搜索、计算、分析之后再将处理结果返回给用户。
2.2 云计算的特点
云计算环境下的数据存储、管理方式和传统的数据存储、管理方式相比,有很多新的特点。
首先,购买方式更加灵活。用户可以根据需求,灵活的选择自己需要的服务,并按照使用的服务来支付一定的费用,这样用户就不再需要因为需求变化而不断购买新的硬件设备和软件资源。
其次,云计算环境下企业可以很好的应对突发的大量访问。使用云计算系统,企业可以随时根据突发情况临时调用云端的计算和存储资源。
第三,云服务提供商负责存储设备的升级和数据的有效管理。云服务提供商负责完成存储设备的升级和日常管理,并通过一定存储机制保证数据的安全。
第四,云存储可靠性高。云服务提供商采用分布式存储和冗余存储来保证服务的高可靠性。
第五,可扩展性强。云服务提供商可以根据不断变化的需求不断开发新的云服务,扩展云计算系统的功能。
最后,存储能力和计算能力是前所未有的。云计算系统把数据存储在多个计算机上,把计算任务分配给多个计算机并行进行,因而它提供的存储能力和计算能力都是普通计算机无法比拟的。
3 云计算数据存储及管理技术
云计算的核心问题是海量数据的存储与管理,因此云计算的关键技术主要包括数据如何存储在云端以及如何对云端的数据进行高效的管理。另外云计算还需要其他一些技术的支持,例如需要分布式并行编程技术实现任务的并行执行和任务调度,需要虚拟化技术实现服务器资源的动态分配等。
3.1 数据存储技术
在云计算系统中,云端存在着海量的数据,为了保证数据的可靠性和可用性,云计算采用了分布式存储方式,并采用了冗余的方式(为一份数据保存多个副本)来保证数据的可靠性。所谓分布式存储,就是把一份数据分割成多个数据块,存储在不同的服务器上。下面以谷歌的GFS为例介绍一下典型的云计算存储技术。
GFS是一个管理大量分布式数据的可扩展性良好的分布式文件系统,一个GFS集群通常由一个Master服务器和多个块服务器构成。Master服务器主要负责存放文件系统中与数据文件相关的所有元数据,元数据包括文件和块的名字空间、访问控制信息、文件与块的映射信息以及块副本的位置等。简单地说,元数据就是管理文件的目录结构。另外,Master服务器还负责创建新块与副本、回收垃圾块、在块服务器间负载平衡等。
GFS将文件分割成64MB的块存储在各个块服务器上,在每个块创建时,服务器会为它分配一个不变的、唯一的64位的标识符对其进行标识。GFS默认为每份数据保存3个备份,一个为主块,其余的为副本。为了保证数据的一致性,对于数据的修改需在所有的备份上进行。读数据时先读取主服务器上的元数据获取数据块的位置,然后再根据数据块的位置信息到相应的块服务器上读取数据,这可以避免大量读操作对Master服务器带来的拥挤。
GFS的写操作将控制流和数据流分开。具体的讲,就是客户端在得到Master服务器的写授权后,先将数据传输给所有的数据副本,只有在所有的数据副本都收到修改的数据后,客户端才发出写请求控制信号。在所有的数据副本更新完数据后,再由主副本向客户端发出写操作完成控制信号。向GFS写数据的过程如下[4]。
(1)GFS客户端向主服务器请求块服务器用于增加或修改现有数据。如果是增加数据,主服务器就分配块服务器;如果是修改现有数据,主服务器则查找请求文件所在的块服务器的位置。
(2)Master服务器向客户端返回主块的标识符和其他副本的位置。
(3)客户机得到主服务器授权后将数据发送到所有备份所在的块服务器上,每个备份所在的块服务器会把这些数据保存在其内部的缓冲器内。
(4)客户端在所有数据发送结束后向主服务器发送写主块请求,由主服务器负责将数据写入所有备份。
(5)所有备份在写入数据后发送消息给主块。
(6)最后主块向客户端回复写入操作已经完成。
3.2 数据管理技术
云计算需要对大数据集进行处理和分析,因此所采用的数据管理技术必须能够高效地管理大规模的数据。在云计算环境下,数据的读操作频率远远大于数据的更新频率,云计算的主要任务是读取数据后进行大量的数据分析。因此,云计算系统的数据管理往往采用按列存储的模式。下面以谷歌的Big Table为例来介绍云计算环境下的数据管理技术[5]。
Big Table是建立在GFS之上的一个大型分布式数据库,它把所有的数据都作为对象来处理,从而形成一个巨大的表格来分布地存储大量结构化的数据。Big Table采用多级映射的数据结构,从结构上可以把Big Table看成是一个有序、稀疏、多维度的映射表,每个Cell由行关键字、列关键字和时间戳三个维度来进行定位。行是划分数据对象的标准,将多个行组成一个小表保存到同一个服务器节点中,这样的一个小表称为Tablet。列关键字的命名规则是列族:限定词,一组列关键字组成“列族”,列族是访问控制的基本单位,在创建之后很少改变。时间戳用来标识不同时刻数据的不同版本,不同版本的表项内容按时间戳倒序排列。
Big Table分为三个部分:一是Master节点,负责给Tablet服务器分配任务并使其达到负载平衡,监测Tablet服务器的状态,垃圾回收等。二是Tablet节点,负责处理Tablet的读写请求,并将大的Tablet进行分割。三是一个链接到每个客户端的库。其基本架构如图1[6]。
3.3 编程模型
为了让用户能快速使用编程模型编写程序来实现特定的目的,方便地使用云平台提供的服务,云计算系统使用的编程模型必须十分简单,并要保证后台复杂的并行执行和任务调度向用户及编程人员透明。大部分云计算系统采用了一种非常简单的Map-Reduce分布式编程模型,它最早是由Google提出的。Map-Reduce主要用于数据的并行运算和并行任务的调度处理,它在处理T级别以上的大规模数据集的运算方面具有明显的优势。
Map-Reduce编程模型通过Map(映射)及Reduce(化简)两个步骤来并行处理数据,它先把分割不相关的数据块文件通过Map程序进行高度的并行处理和计算,再通过Reduce程序将结果汇集整理输出。Map-Reduce的模型图如图2所示。
用户使用Map-Reduce时需要定义两个函数Map和Reduce。程序员需要在Map函数中指定对各分块数据的处理过程,在Reduce函数中指定如何对分块数据处理的中间结果进行归约。执行时,首先将数据分割为多个片段并分配给多个服务器进行Map操作,不同的Map操作之间是高度并行执行的。Map函数接收
4 云计算的发展趋势
云计算有着广阔的发展前景,与之相关的各项技术也在迅速发展。未来云计算的发展会向构建大规模、能与应用程序密切结合的底层基础设施的方向发展。由于现有的云存储系统大都存在着缺陷,设计新一代的云存储和云数据管理系统是迫切需要解决的问题。另外,由于云存储和云数据管理通常要用于很多种不同的场景,云系统还需针对各种应用场景分别做出优化。因此,云计算的发展还有很长的路要走。
5 结束语
云计算是一种新兴的商业计算模式,由云服务公司搭建计算机存储、计算中心,用户通过网络就可以很方便的享受云端的服务。云计算所带来的资源共享和应用模式,必将能为云计算提供更广泛的市场和应用场景。但目前云计算还存在很多问题,如数据的安全性、可用性等,这些问题将随着学术界和商界的研究和应用逐步得到解决,云计算的相关技术也会越来越成熟。未来云计算将会在越来越多的应用中发挥重要作用,给我们的生活带来更多便捷。
参考文献
[1]VARIA J.Cloud architectures-AmazonWebservices[EB/OL].[2009-03-01].http://acmbangalore.org/events/monthly-talk/may-2008——cloud-architectures——ama-zon-web-services.htm.l.
[2]Ian Foster,Yong Zhao,Ioan Raicu,et a.lCloud Computing andGrid Computing 360-Degree Compared[C]∥Proceedings of IEEEGrid Computing Environments workshop(GCE08).USA:IEEE ComputerSociety,2008:1-10.
[3]维基百科.Cloud computing[EB/OL].[2009-03-10].http://en.wikipedia.org/wiki/Cloud_computing.
[4]Ghemawat S,Gobioff H,Leung S T.The GoogleFile System[C]//Proceedings of 19th ACMSymposium on Operating Systems Principles,2003:20-43.
[5]CHANG F,DEAN J,GHEMAWATS,etal.Big-Table:A distributed storage system for struc-tured data[J].ACM Transactions on Comput-erSystems,2008,26(2):1-26.
网络存储技术论文 篇5
[摘要]网络数据信息爆炸性的增长，使网络存储技术变得越来越重要，已成为Internet及其相关行业进一步发展的关键。本文详细介绍了常见的三种网络存储技术的优缺点及应用范围，并介绍了几种新的网络存储技术，使读者对网络存储技术有一个全面的了解。
[关键词]网络存储直接连接存储网络附加存储存储区域网络
一、引言
信息是一个企业可持续发展的核心动力之一，信息的可靠存储是一个企业得以正常运作和发展壮大的根本所在。随着越来越多的关键信息转化为数字形式并存储在可管理的介质中，用户对存储和管理信息的能力产生了新的需求。为更有效地使用和管理信息，用户对信息系统的搭建、数据中心的建设、数据的管理模式、数据的有效使用、信息存储介质的选择以及信息的安全存储等方面，提出多样化的要求，以达到数据的最佳利用。
网络存储设备提供网络信息系统的信息存取和共享服务，其主要特征体现在：超大存储容量、大数据传输率以及高可用性。要实现存储设备的性能特征，采用RAID作为存储实体是必然选择。传统的网络存储设备都是将RAID硬盘阵列直接连接到网络系统的服务器上，这种形式的网络存储结构称为(DASDirectAttachedStorage)，目前，按照信息存储系统的构成，SAN(StorageAreaNet-work)和NAS(NetworkAttachedStorage)是最常见的两种选择。本文将详细介绍这三种存储技术的优缺点和应用范围，并将介绍几种新的网络存储技术。
二、传统网络存储技术
1.DAS存储
直接连接存储(DAS——DirectAttachedStorage)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中，主要优点是存储容量扩展的实施简单，投入成本少、见效快。
DAS适用于以下几种情况：(1)服务器在地理分布上很分散，通过SAN或NAS在它们之间进行互连非常困难时;(2)存储系统必须被直接连接到应用服务器，如某些数据库使用的“原始分区”上时;(3)包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储器上。
当服务器在地理上比较分散很难通过远程连接进行互连时，或传输速率并不很高的网络系统，直接连接存储是比较好的解决方案，甚至可能是唯一的解决方案，但是由于DAS存储没有网络结构，存在许多缺点：一方面该技术不具备共享性，每种客户机类型都需要一个服务器，从而增加了存储管理和维护的难度;另一方面，当存储容量增加时，扩容变得十分困难，而且当服务器发生故障时，数据也难以获取。因此，难以满足现今的存储要求。
2.NAS存储
网络附加存储(NAS——NetworkAttachedStorage)即将存储设备通过标准的网络拓扑结构例如(以太网)，连接到一群计算机上，提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。简单的说，NAS是通过与网络直接连接的磁盘阵列，它具备了磁盘阵列的所有主要特征：高容量、高效能、高可靠。
NAS由于其较好的可扩展性、可访问性、低价位、安装简单、易于管理等优点，广泛应用于电子出版、CAD、图像、教育、银行、政府、法律环境等那些对数据量有较大需求的应用中。多媒体、Internet下载以及在线数据的增长，特别是那些要求存储器能随着公司文件大小规模而增长的企业、小型公司、大型组织的部门网络，更需要这样一个简单的可扩展的方案。
但在实际应用中，NAS也存在着以下不足：(1)在文件访问的速度方面。NAS采用的是FileI/O方式，这带来巨大的网络协议开销。正是因为这个原因，NAS不适合在对访问速度要求高的应用场合，如数据库应用、在线事务处理。(2)在数据备份方面。需要占用LAN的带宽，浪费宝贵的网络资源，严重时甚至影响客户应用的顺利进行。(3)在资源的整合和NAS的管理方面。NAS只能对单个存储(单个NAS内部)设备之中的磁盘进行资源的整合，目前还无法跨越不同的NAS设备，难以将多个NAS设备整合成一个统一的存储池，因而难以对多个NAS设备进行统一的集中管理，只能进行单独管理。
3.SAN存储
存储区域网络(SAN--StorageAreaNetwork)是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用SAN的接入点。SAN是一种特殊的高速网络，连接网络服务器和诸如大磁盘阵列或备份磁带库的`存储设备，SAN置于LAN之下，而不涉及LAN。利用SAN，不仅可以提供大容量的存储数据，而且地域上可以分散，并缓解了大量数据传输对于局域网的影响。SAN的结构允许任何服务器连接到任何存储阵列，不管数据置放在哪里，服务器都可直接存取所需的数据。
SAN的应用主要可以归纳为下面集中应用：构造群集环境，利用存储局域网可以很方便地通过光纤通道把各种服务器、存储设备连接在一起构成一个具有高性能、较好的数据可用性、可扩展的群集环境。(1)数据保护，存储局域网可以做到无服务器的数据备份，数据也可以后台的方式在存储局域网上传递，大大减少了主要网络和服务器上的负载，所以存储局域网可以很方便地实现诸如磁盘冗余、关键数据备份、远程群集、远程镜像等许多防止数据丢失的数据保护技术;(2)数据迁移，可以方便地进行两个存储设备之间的数据移动;(3)灾难恢复，特别是远程的灾难恢复;(4)数据仓库，用来构建一个网络系统的存储仓库，使得整个存储系统可以很好地共享。
在实际应用中，SAN也存在着一些不足：(1)设备的互操作性较差。目前采用最早和最多的SAN互连技术还是FibreChannel，对于不同的制造商，光纤通道协议的具体实现是不同的，这在客观上造成不同厂商的产品之间难以互相操作。(2)构建和维护SAN需要有丰富经验的、并接受过专门训练的专业人员，这大大增加了构建和维护费用。(3)在异构环境下的文件共享方面，SAN中存储资源的共享一般指的是不同平台下的存储空间的共享，而非数据文件的共享。(4)连接距离限制在10km左右等。更为重要的是，目前的存储区域网采用的光纤通道的网络互连设备都非常昂贵。这些都阻碍了SAN技术的普及应用和推广。
三、新的网络存储技术
1.NAS网关技术
NAS网关与NAS专用设备不同，它不是直接与安装在专用设备中的存储相连接，而是经由外置的交换设备，连接到存储阵列上——无论是交换设备还是磁盘阵列，通常都是采用光纤通道接口——正因为如此，NAS网关可以访问SAN上连接的多个存储阵列中的存储资源。它使得IP连接的客户机可以以文件的方式访问SAN上的块级存储，并通过标准的文件共享协议(如NFS和CIFS)处理来自客户机的请求。当网关收到客户机请求后，便将该请求转换为向存储阵列发出的块数据请求。存储阵列处理这个请求，并将处理结果发回给网关。然后网关将这个块信息转换为文件数据，再将它发给客户机。对于终端用户而言，整个过程是无缝和透明的。NAS网关技术使得管理人员能够将分散的NASfilers整合在一起，增强了系统的灵活性与可伸缩性，为企业升级文件系统、管理后端的存储阵列提供了方便。
2.IP-SAN技术
网络存储的发展产生了一种新技术IP-SAN。IP-SAN是以IP为基础的SAN存储方案，是一种可共同使用SAN与NAS，并遵循各项标准的纯软件解决方案。IP-SAN可让用户同时使用GigabitEthernetSCSI与FibreChannel，建立以IP为基础的网络存储基本架构，由于IP在局域网和广域网上的应用以及良好的技术支持，在IP网络中也可实现远距离的块级存储，以IP协议替代光纤通道协议，IP协议用于网络中实现用户和服务器连接，随着用于执行IP协议的计算机的速度的提高及G比特的以太网的出现，基于IP协议的存储网络实现方案成为SAN的更佳选择。IP-SAN不仅成本低，而且可以解决FC的传播距离有限、互操作性较差等问题。
四、结束语
存储管理技术 篇6
1设备档案管理
1.1 设备档案的分类及含义
目前设备档案分为两种, 一种是包括设备的使用分配情况、维护保养过程以及报废转让信息等因素档案, 主要针对硬件应用方面;另一种则是根据仪器设备的相关文字说明、合格证、装箱单、软件驱动等纸质或可读光盘及软盘、电子文档等资料信息来设立的, 主要用于前期的安装调试以及后期的维修养护。这两类档案在实际工作中通常被统称为设备档案, 本文将其分别定义为固定资产档案和设备技术资料档案。
准确来说, 固定资产档案是指设备在规划、设计、制造、安装、调试、使用、维修、改造、更新以及报废等全过程中所形成的图纸、文字说明、凭证和记录等文件资料, 是由生产厂家将设备发送给购买方后, 由购买方通过不断收集、整理、鉴定等工作建立的档案[1,2]。固定资产档案是设备管理当中一个主要组成部分, 其具有使用周期长、参与人员多、信息多元化等特点。在日常的设备管理工作中, 确保设备高效有序运行并为维护保养工作提供准确的基本技术支持是其基本任务。
设备技术资料档案, 是在接收、登记、借阅由生产厂家所提供的设备说明书、设计图纸、图册、底图、维修养护操作规程、装箱单、合格证等文件资料时所构成信息档案[3], 这部分资料通常是作为设备的技术资料档案由设备资料室或管理部门保管并对其他使用部门提供借阅和复印。其管理周期的长短直接与设备的使用周期相关, 当设备发生折旧拍卖或报废等情况时, 设备技术资料及其档案也将随之销毁。
1.2 设备档案管理的主要内容
目前, 设备档案多为企业在购置设备过程中形成的以纸质为载体的文字和图片材料, 个别会出现可读性光、软盘等电子存储文件以及软件驱动程序。在整个设备档案管理过程中, 主要管理的档案内容包括:①文件:如设备申请材料、可行性论证报告、相关调查材料、批复文件等;②记录:如谈判记录、招标记录、定货合同、协议等;③开箱报告、安装调试记录、验收记录、验收报告等;④设备使用操作章程、维修管理办法、制度等;⑤设备报废申请及处置结果等;⑥人员培训记录、设备布置平面图、线路图纸、故障维修记录等;⑦原始凭证:如到货通知、提货单、发票影印件;装箱清单、操作使用说明书、厂家提供的安装图纸等[3,4]。因此, 设备档案管理员首先要解决的问题就是对资料信息进行分类整理、妥善保存, 及时响应不同部门的不同需求, 为日常的生产、管理、维修等环节提供有效的服务。
1.3 设备档案的管理方法及存在的一些问题
目前, 对设备档案的管理方式并没有一个明确的标准, 由于这两类信息相互关联却又具有各自独立性, 若将其整合, 信息量必定庞大且杂乱, 因此, 通常会根据企业需求的不同, 对这两方面信息进行不同的整理与利用, 即:将设备档案管理划分为固定资产信息管理和设备技术资料信息管理两个方面, 分别由专人进行管理和保存, 并根据GMP认证体系对生物制药企业设备档案管理的相关要求, 建立健全的归档制度, 制定统一的管理原则。
对于企业设备档案管理而言, 通常管理人员可以按照本企业的实际要求, 按各部门对设备的使用情况、范围以及设备价格等来进行分类: (1) 价值万元以上的仪器设备或生产线将采用独立建档标准, 使每台设备都有自己的独立档案, 同时设定对应的设备编号及其设备技术资料编号, 并将设备技术资料单独成套登记、保存。 (2) 千元至万元以内的设备, 采用一类一建档的方式进行存档, 使相同种类、相同规格的同批设备, 归于一份档案, 但与万元以上设备相同的是, 该类设备也将分别定制设备编号、标明使用部门及购置时间, 并使每台设备都具有与其对应的固定资产卡片。而对应的设备技术资料, 仅需要保留归档版及借阅版一式两份, 其他原件可由使用部门保管。 (3) 千元以下的设备及低值消耗品将不建立档案[5], 但一些用于生物实验室的精密仪器设备, 如计量仪器、精密仪表、生物天平等, 虽不具备入档条件, 但可视其重要程度划入贵重精密仪器设备行列, 以千元至万元区设备的规格建档。全部档案将均由电子版和实体账本两种格式分开保存[5,6]。
然而设备档案的整个管理过程, 涉及从设备立项申请到最终报废, 从设备资料建档、编目, 到提供阅览、复制以及外借等多项工作构成。其时间周期长, 中间环节多, 参与人员复杂, 想要保证档案信息的绝对完整性和准确性, 就需要消耗大量的人力和物力资源去完成记录、储存、调用等各项职能。在科技飞速发展的今天, 设备档案的管理工作若完全依靠人工记录的方法, 虽然具备较好的随机调整性, 但相对耗时、耗力且工作量大, 容易出现信息错误及丢失等情况, 不利于设备档案信息的长期持久保存和管理。因此, 若能将计算机和网络技术有效融入到管理工作中, 并利用其运算速度快、检索能力强和易于存储等特点来实现设备档案的信息化管理, 则必将大大提高档案管理及其存储的精确性。
2设备档案管理中的信息存储方法
在信息化管理的过程中, 信息是企、事业单位的核心, 信息存储的安全性是一个单位得以正常运作和发展壮大的根本所在。随着越来越多的关键信息转化为数字形式并存储在可管理的介质中, 设备档案也对其存储和管理信息的能力产生了新的需求。想要更有效地使用和管理设备档案, 达到数据的最佳利用, 就必须搭建相应的信息系统、建立数据中心、设定数据管理模式, 并对选择正确的信息存储介质以及正确使用、安全存储等方面提出更多要求[7]。总之, 对目前的企、事业单位而言, 其各类专项的系统管理软件种类繁多, 且已相对成型, 因此, 设备档案管理中的信息存储技术显得尤为重要。
2.1 适用于企业设备档案管理的主要存储技术及其利弊
随着信息存储应用领域的不断扩展, 企业级用户对存储技术也提出了多样化的需求。
2.1.1 虚拟化存储
存储虚拟化 (storage virtualization) 是将大量不同的物理存储设备, 通过网络来实现从逻辑上的整合管理过程。虚拟化存储不但可以有效地整合、简化对信息资源的管理, 还广泛适用于多平台, 有效降低企业运行成本, 是最大限度挖掘物理存储设备使用效率、提升其实用性的重要技术[8]。在该运行系统中, 单个存储设备的容量、速度等物理特性将全部屏蔽, 服务器和应用系统看到的将是物理设备的一个逻辑映像, 管理人员只需直接管理该逻辑存储空间, 由此也降低了操作难度, 使存储管理相对简单方便。总之, 存储虚拟化主要实现的是:①屏蔽已有系统环境及其复杂度;②满足原有的不同的存储访问需求;③整合原独立存储的存储资源;④增加提升可靠性和可用性的个性功能[9]。但该方法同样具有存储信息不易被删除、数据安全性较差等缺点。
2.1.2 网络存储
以网络存储为核心的存储技术改变了共享信息的方法。由网络存储技术按其发展分为4个阶段, 即:直接附属存储 (DAS) 、网络附属存储 (NAS) 、存储区域网 (SAN) 和IP存储 (IP SAN) 。
SAN是允许在存储设备和处理器之间建立直接的高速网络连接的拓扑结构, 通过连接可实现只受光纤线路长度限制的集中式存储模式。该存储模式可以被看作存储总路线概念的一个扩展, 它使用局域网和广域网中相似的单元, 实现存储设备和服务器之间的互联, 其传输速度高、距离远, 并且支持多设备同时运行。目前, 大多数的SAN都采用光纤通道技术, 即FC-SAN[9]。SAN具有易备份恢复, 可扩充性强, 且即插即用, 存储利用率高等特点。当数据被整合存放在相同或不同的存储器上时, SAN仍可提供统一的用户访问界面, 但它不支持不同操作系统的访问, 且技术成本相对昂贵, 需要长时间的设计和安装, 较难维护。
IP SAN存储技术就是以高速以太网连接为基础, 通过IP协议进行数据交换的存储技术。它将SCSI协议映射到TCP/IP协议上, 使得SCSI的命令、数据和状态可以在传统的IP网上传输, 其支持数据块形式的I/O访问和共享存储。它采用IFCP和ISCSI协议, 由于光纤通道已经包含了SCSI协议, 因此这种方法无需重大技术改造, 就能满足协议的要求[8,9]。
IP SAN的技术特点与SAN十分相似, 不同的是, 在兼顾SAN技术有点的同时, 它还能够支持不同操作系统的访问, 且技术成本低廉, 易于安装和维护。对于网络存储而言, 存储的基础结构无论是采用SAN还是IP SAN, 其连接速度并不是惟一的取舍判据, 最佳的解决方案取决于企业的存储现状、性能需求、可扩展性要求和投资预算等;也可通过增加及提升物理磁盘驱动器的数量和转速来提升存储系统的整体性能。
2.2 设备档案信息化存储建设中的几点想法
随着企业数字信息存储量不断增长, 数据中心的能耗和空间是企业面临的一个严峻挑战, 扩展存储系统的规模已成为必然选择。为确保存储系统对企业发展的持续支持, 还需注意以下几个问题: (1) 在存储设备使用效率低、设备量庞大、型号复杂等方面, 笔者可以利用虚拟存储技术中将不同类别的硬件存储设备进行虚拟整合的方法来提高系统整体利用率, 并结合信息删除技术中的重复信息删除及压缩调用来解决大量重复信息占用过多存储空间的问题。 (2) 在能源及资源节约等方面, 可以选用大容量的磁盘驱动器来减少磁盘驱动器的总数量。典型的SATA磁盘驱动器比相同容量的光纤通道磁盘驱动器节省大约一半的能源, 且可提供较高的可用存储密度, 进一步减少能源消耗。根据实际需要更新容错算法, 也可以减少冗余量[9]。 (3) 在提高数据利用率方面, 我们可以采取优化数据管理策略的方法, 根据使用特性的统计结果, 将热点数据迁移到更高效的存储层次, 把不太频繁使用的数据转移到下一层次存储设备中, 以降低主存储的负荷, 充分发挥存储系统的效能[8,9]。 (4) 在信息的安全管理方面, 可以对存储设备中的重要数据进行加密, 这样一来, 即使保存这些敏感信息的设备遗失或被盗, 也不会引起信息的泄露。但需要注意的是, 由于破解技术的发展, 单一的数据加密方法并不是万无一失的, 这就需要结合身份认证、授权、审计等多种加密模式来确保数据的安全有效。
3结论
综上所述, 对于企业而言, 在总结以往先进设备档案管理经验的同时, 充分利用当前的先进技术, 在诸多信息存储方法中寻找到适用于本企业的存储技术, 并将其正确应用到我们的管理工作中, 为设备档案管理工作提供更好的技术支持, 是未来企业发展的必然趋势。然而, 设备档案管理是一项任务量大且需要较高准确性的工作, 在计算机及其存储技术为管理工作奠定了良好基础的同时, 也向设备档案管理人员提出了更高的要求。即, 除具备较强的责任心和事业心, 还应具备丰富的档案管理知识和良好的计算机操作能力, 具备较好的自觉学习意识, 不断提高自身技术水平, 关注新信息、新技术, 才能适应社会发展, 使企业在竞争中立于不败之地。
参考文献
(1) 吴效杰, 孙圣杰.设备档案管理的几点做法 (J) .设备管理与维修, 1998, 31 (9) :7-8.
(2) 杨丽.设备综合管理平台的建设 (J) .中国设备工程, 2010, 27 (5) :28-29.
(3) 刘欣.浅谈医疗设备档案管理工作 (J) .中国医疗设备, 2009, 26 (7) :96-97.
(4) 余强.医院档案管理存在的问题与对策 (J) .安徽卫生职业技术学院学报, 2011, 10 (7) :15-16.
(5) 丁秋波.项目设备档案管理的现状与应对措施 (J) .浙江电力, 2011, 35 (11) :59-61.
(6) 王松梅.规范档案管理推进档案管理精细化-修购专项仪器设备档案管理经验交流材料 (J) .农业科研经济管理, 2011, 19 (2) :24-26.
(7) 徐谨, 郭子新.设备档案管理与计算机技术相结合 (J) .邯郸职业技术学院学报, 2007, 17 (3) :98-99.
(8) 张立.信息存储技术的现状及发展 (J) .信息记录材料, 2006, 34 (5) :49-56.
存储管理技术 篇7
建设智能化电力调度系统是建设统一坚强智能电网的关键环节, 是保障智能电网运行和发展的重要手段[1,2,3]。智能调度的关键技术之一是电网模型管理技术。电网模型管理遵循IEC 61970标准, 以公共信息模型 (CIM) 可扩展置标语言 (XML) 或CIM/E文件作为交换模型的方式, 以模型维护和生成、模型版本管理为主要内容, 实现跨区域、跨层次、跨应用的模型共享[4]。目前, 模型维护、模型拆分/合并技术发展已比较成熟[5,6,7,8,9], 主要集中于模型维护与模型建立, 而模型版本管理技术方面有待完善。
电网模型具有时间、空间、应用多维度特征:首先, 在生产环境中, 物理设备发生变更时模型需要进行相应的修改, 并在完成一系列校验后将合法的模型及其对应的数据库、画面、索引表等投入在线运行, 从而在时间维度上产生许多版本的电网模型;其次, 中国互联电网广域分布的特点决定了电网管理采用分层分布的管理模式, 各调度中心单独维护各自电网模型, 同时, 为了掌握整个电力系统运行状态, 需要由模型拼接生成全网模型, 拼接形成的全网模型作为模型版本管理的初始输入, 这样在空间维度上就有各地区电网模型及全网模型;最后, CIM是电网基础信息的特殊子集, 除此之外, 在调度中心内部, 不同的应用系统对模型的建模范围、包含的类及类属性需求不同, 建模的侧重点也不同, 在应用维度上会产生面向应用的个性化电网模型。
文献[10]提出了一种基于模型集和差异模型的电网模型多版本管理方法, 根据各应用模型与基础模型差异对基础模型、应用模型进行了统一管理;文献[11-12]提出了一种基于目录的方式实现模型时间、空间维度的多维管理, 版本信息维护复杂, 且非增量存储, 冗余信息多;文献[13]提出了一种基于逻辑版本树在时间、应用维度上管理电网模型的方法, 支持增量和全量存储, 但是该方法不能对各地区、全网模型进行统一存储与管理。
模型维护、模型拆分/合并、面向应用个性化模型定制技术需求使得各调控中心积累了大量不同版本的模型, 为模型的版本管理技术奠定了基础, 而现有模型全量高冗余、全库表机构化的存储方式与模型管理维度已经不能满足模型管理的需求。在此基础之上, 本文提出了一种基于分布式数据库的多维度电网模型一体化存储与管理机制。首先介绍了模型数据一体化存储与管理机制, 其次详细阐述了模型库表设计, 时间、空间、应用三维度上的管理, 增量存储等关键技术, 最后给出了该模型存储与管理方法在一省多地实施的应用案例, 并指出了其对满足新时期智能电网与用户需求的优势与实际效果。
1 方法概述
随着电网的互联, 不同区域之间的电网联系越来越紧密, 对大电网的控制由原有的独立调度模式转变为现有的协调调度模式。不同地区电网的协调需要各地区的模型作为基础, 因此, 对不同地区的电网模型进行管理成为电网协调控制的先决条件。
智能电网的迅速发展使得电网日新月异, 电网的快速变化使得电网模型也会变化较快, 因此, 把不同历史时刻模型及时存储下来并进行管理, 将有利于借助历史模型研究电网的发展, 这使得管理不同时间版本的电网模型成为重要需求。
电网调控系统的逐步发展完善使得调控应用越来越丰富, 另外, 不同应用之间的信息共享与交互变得越来越重要, 这使得不同应用维度的模型管理变成模型管理的重要方面。
图1是本文提出的多维度电网模型一体化存储与管理机制, 以CIM/E作为模型交换规范, 各时间、各地区、各应用的电网模型统一存储在基于版本化分布式存储方式的多维度模型版本库中。
在某个时刻, 当某地区发布某应用一个新的CIM/E格式的电网模型后, 全网模型会随之产生一个新的版本, 新版本的CIM/E将与当前版本的CIM/E进行比对生成结构化查询语言 (SQL) 增量, 之后分布式数据库执行SQL增量, 新版本CIM/E将在分布式数据库中只存储其相对于上一版本变化的数据。同时, 分布式数据库维护了地区、应用类型、版本等信息, 多维度模型管理机制基于此提供了按地区、按应用查询任意历史版本的电网模型接口, 并支持单表、地区、全网模型加载。
2 关键技术
2.1 版本化分布式数据库
随着海量数据存储技术的发展, 一种分布式、版本化、高可靠性、高性能、可伸缩的开源数据库HBase[14]广泛应用于互联网数据存储中, 文献[15]提出用HBase存储电网历史采样数据。HBase是Google BigTable[16]的开源实现, 以表的形式存储数据, 由行和列组成, 列划分为若干个列簇, 表的索引是行关键字、列关键字和时间戳, 每个值是一个不解释的字符数组。一个表可以想象成一个大的映射关系, 通过主键, 或者主键+时间戳, 可以定位一行数据。关键字、列关键字和时间戳的索引机制能够较好地满足各时间、各地区、各应用电网模型的管理要求。
另外, Hbase底层基于分布式文件系统Hdfs[17]存储, 每个文件都被切割成相同大小数据块进行存储, 数据库中数据的访问都是以数据块作为最小单位, 因此可以达到高度的并行, 能够满足电网模型数据的高速访问要求。另外, 为了保证数据的可靠性, 以数据块为单位备份, 备份数目可设置, 通常为3, 这样同样数据块在同一机架不同机器和不同机架上都会存储, 某一块数据被损坏, 可以由其他备份恢复。考虑到电网模型作为系统的最底层的基础数据, 其作用非常重要, 因此在系统设计中, 备份数目设置为3, 这样能够保障任意两台备用机器故障的情况下系统对模型的访问依然正常。
2.2 模型库表设计
2.2.1 元数据管理
分布式数据库HBase中每个值都是字符串形式, 无类型, 因此在分布式数据库中创建模型库表时, 需要维护模型表的数据类型。本文通过在分布式数据库中建立了一张模型库表的信息表tableInfo来实现, 如图2所示。
在tableInfo中, 主关键字RowKey为模型库表名+列名, 列簇一个, 名为Columns。列簇下的列标识了模型库表中各列的属性, 包括能否为空、数据类型、数据长度、是否为主键等关键信息。在分布式数据库中创建某模型库表时, 不但会在分布式数据库中增加一张表, 同时在tableInfo中会添加相应若干行描述表信息。
2.2.2 多维度版本信息管理
电网模型具有时间、空间、应用多维度特征, 多维度的模型管理不但能够针对各种不同的应用提供不同特点的模型, 而且能够根据模型的变化形成不同的模型版本, 同时统一维护各调度中心的模型, 要实现此种管理就必须同时对这三维度信息进行管理。本文通过存储于分布式数据库中的一张表VersionInfo来实现, VersionInfo记录了版本号、地区、应用对应关系, 见表1。
表中各列的说明如下。
1) RowKey:主键, 从0自增长。
2) Ts:时间戳, HBase自动生成。
3) CF:列簇, 一个。
4) verNo:版本号, 全局统一。
5) subTime:记录版本提交时间, 格式如20130516092200, 通常该时间由CIM/E解析获得。
6) area:记录了是哪个地区模型, 全网模型视为特殊地区, 标记为xxx_quan, 如fujian_quan, 代表的是福建的全网模型。
7) appName:记录了是哪个应用的模型, 如scada, public, pas等, 基础模型视为特殊应用模型。
8) verName:版本名。
9) descrip:版本描述信息。
10) delFlag:删除标志, 默认为FALSE, 表示版本未删除, 版本被删除时, 置为TRUE, 查询该版本信息时该版本将不再显示, 在数据库里并未被真正删除掉。
2.2.3 模型数据在分布式数据库表中存储
由于模型库的库表结构固定, 一般会预先在分布式数据库中建立一套模型库表, 基于标准SQL语句, 表映射如下。
1) 分布式数据库表名:域名.原表名。
2) 列簇:一个, 统一命名为Columns, 列簇下列名和建表语句中的列名一一对应。
现有电网模型数据有存储于CIM/E中的, 也有存储于商业库中的, 无论哪种存储方式, 在分布式数据库中映射原则都统一如下。
1) 主键 (RowKey) :自增长。
2) 时间戳 (Ts) :每次更新某表数据时, 统一打时间戳, 时间戳为当前时间或来源于CIM/E文件, 精确到秒, 格式如20130509160320。
3) 表数据:更新列簇下相应列数据。
图3展示了CIM/E格式电网模型数据在分布式数据库中的存储方式。
2.2.4 增量存储
不同版本模型的存储主要有全量与增量两种方式, 这两种方式的比较如表2所示。
原有的系统大多采用模型的全量存储方式, 为了做到模型的精细化管理, 也为了更好地做到模型的树状版本管理与可追溯管理, 从而做到谁维护谁负责, 使得模型质量的可控, 这里采用模型的增量存储方式。在传统商业数据库中, 因为系统的单机管理架构, 使得增量模型存储后对全量模型的访问能力大打折扣。采用分布式数据库之后, 由于其并行访问机制, 能够在达到模型更细粒度管理的同时, 保证模型全量与增量访问的效率。
在生产环境中, 一个地区某应用的模型, 经常需要进行修改, 在时间维度上会生成一系列版本, 如果每次对所有表进行存储, 必然会造成数据大量冗余。因此, 在提交新的版本时需要和旧版本进行比较, 比对增加了哪些记录、删除了哪些记录、或修改了哪些记录。
本文提出的方法中, 用SQL语句来描述这些变化, 之后对分布式数据库执行SQL增量, 并打统一时间戳, 新版本将以增量方式存储于分布式数据库之中, 同时, VersionInfo会维护版本提交时间和版本号的映射关系。由于新版本只存储了相比上一个版本变化的记录, 数据的冗余度大大降低。
2.3 模型的时间、空间、应用三维版本管理
2.3.1 时间维度
HBase提供了一个特殊的列Ts进行数据版本的管理。本文提出的方法中正是利用Ts实现了时间维度上电网模型版本的管理。在进行新版本的入库操作时, 给新版本的增量数据打上统一的时间戳, 并由另一张表VersionInfo维护版本提交时间和版本号的映射关系。同时, 在分布式数据库中提供按版本提交时间或版本号查询版本的接口, 支持对任一历史时刻电网模型的下载、发布、计算和其他服务。
通过时间维度进行电网模型可追溯管理过程中, 先访问VersionInfo, 查询版本号对应的提交时间, 然后基于版本提交时间对分布式数据库中对应的模型库表的时间戳列进行数据扫描, 与版本提交时间最近的数据即为所查询版本的模型数据。图4展示了电网模型在时间维度上的管理方式。图中:v1, v2, v11为版本号。
2.3.2 空间维度
长期以来, 电力系统各级调度中心对电网模型的维护是分散的。本文提出的方法中, 各地区和全网模型统一存储于分布式数据库中。一个版本的模型数据包含各个地区的所有数据, 而全网模型为各地区模型的“并集”。模型的空间维度管理要求支持对不同地区和全网模型的访问, 如前面在模型库表映射中所述, 原模型库表映射到分布式数据库后, 在表名前加了地区信息, 此信息可以用于空间维度模型管理, 另外, VersionInfo中也有地区信息的记录, 也可以用于空间维度管理。当访问某个地区模型时, 扫描VersionInfo的area列, 即可获得该地区的模型。图5展示了电网模型在空间维度上的管理方式。
2.3.3 应用维度
在同一调度中心各应用系统之间, 对电网模型的需求各不相同, 建模侧重点也不相同, 如能量管理系统强调的是电网模型拓扑的正确和设备参数的完备;调度管理信息系统关注电网模型设备对象的建立以及资产设备的完整;计划模型则要求能够反映未来的时间段内模型的变化情况。由于侧重点不同, 在过去相当长的时间内, 各个应用系统需要的私有模型是在通用信息模型的基础上各自独立维护的, 随着电网运行管理的一体化, 应用之间协调交互的增多使得模型原有的管理方式无法较好地满足其交互与共享要求, 因此, 需要提供统一的模型维护和管理机制, 为各应用系统提供符合其需求的各类模型。
分布式数据库多维度模型版本信息管理表VersionInfo中列appName记录了模型属于哪个应用的私有或公共模型, 通过标识位来区分, 形成不同的版本分支, 不同应用模型的私有信息进行增量存储, 具有较高的兼容性来应对不同应用的模型信息协调交互, 能够支持模型版本的应用维度追溯。以此来实现应用维度的模型版本统一管理。
2.4 模型多维版本管理应用
不同维度模型版本管理的原因、方法与应用如表3所示。
在时间维度上, 基于不同时间的模型版本管理, 可以支撑电网时序仿真、断面管理、态势感知等应用场景, 使得用户能够更好地了解电网的变化, 认识其规律, 保障电网的安全运行。在空间维度上, 基于不同地区的模型版本管理, 可以支撑联合反事故演习、电网的协调调度等应用场景, 使得相邻不同地区电网、上下级电网以及其他关联电网用户能够较好地进行电网的协调调度, 这能够很好地克服电网责任边界的协调问题。在应用维度上, 基于不同应用的模型版本管理, 可以支撑电网规划运行一体化、一体化运营监控等应用场景, 一方面能够为不同应用对模型的个性化私有信息存储访问提供支撑, 另一方面还能够为不同应用之间的信息交互与协调提供统一管理平台, 这为不同应用的一体化交互提供了信息支撑。
3 应用案例
本文提出的多维度电网模型一体化存储与管理技术已成功应用于“福建电网一体化互备支撑技术研究与开发”项目中, 该项目基于云计算技术在厦门云中心建立福建省调、福州地调、莆田地调备用, 是一种多主一备的备用方式, 项目中福建、福州、莆田地区模型及全网模型统一存储于本文所设计分布式数据库表中。通过此系统, 可以获得某个地区、某个应用、任一历史版本的电网模型, 并能用CIM/E格式文件导出, 实现时间维度、空间维度、应用维度三维管理, 且导出时间在1min以内, 能够较好地为各地区调度自动化备用系统提供统一的模型服务支撑。按照原有系统的方式需要维护不同地区、不同应用的多套模型, 借助多维度模型管理系统, 只需要对一套全模型进行统一维护, 然后抽取、生成、分发不同地区不同应用的模型供各地区各应用使用, 还能对不同时间的版本进行追溯与服务。另外, 由于是增量存储, 100个历史版本的福州模型在分布式数据库中所占空间约为原来的1/10, 这里备份数目为3。
4 结语
本文提出了一种基于分布式数据库的多维度电网模型一体化存储与管理方法。该方法不但可以实现电网模型在时间维度上的可追溯管理, 而且在空间上实现了各地区和全网模型一体化存储, 此外, 在应用维度上支持个性化电网模型存储与管理。该方法能有效解决电网模型“孤岛”问题, 并支持未来大电网模型存储, 未来可以与云计算技术进一步结合, 建立电网“模型云”, 支持电网模型的发布与订阅, 电网模型以服务的方式提供, 用户可以按需获取。
摘要：智能调度要求完整、一致、准确、及时、可靠的电网模型数据支持。文中提出了一种多维度电网模型一体化存储与管理方法, 以满足“横向集成、纵向贯通”和调度中心基于全电网模型的分析、计算以及智能调度等新型业务需要。该方法基于版本化分布式数据库建立了一体化存储与管理机制, 将不同历史版本、不同地区、不同应用CIM/E格式电网模型数据统一存储于分布式数据库中。文中所提出的方法不但可以在时间维度上进行电网模型可追溯管理、在空间维度上实现各地区与全网模型统一存储, 而且可以满足公共信息模型和私有应用模型存储与管理需求, 此外, 电网模型在分布式数据库中以增量方式存储, 大大减少了冗余数据。
存储管理技术 篇8
关键词：虚拟存储,媒体资产管理,应用
引言
虽然虚拟存储技术已经有了很长的发展历史,但目前人们对其关注程度正不断加强。从SUN公司提出的“存储就是计算机”这句口号很容易可以了解其原因。虚拟存储技术可以解决海量信息科学管理的需求,可以解决提高存储空间利用率的需求,同时能够满足屏蔽异构操作环境的需求和自动与智能存储管理的需求。因此,虚拟存储不已仅仅是研究机构和产品开发商所关注的领域,也成为了各个与数据信息存储相关行业所关注的焦点。
时至今日,虽然对虚拟存储的研究已经得到了长足的发展,应用也越来越普及,但是仍然没有制定出一个统一的标准,各个厂商对虚拟存储的看法和理解也各有不同。综合各方观点,大致可以得出:虚拟存储是指将不同类型的存储物理媒介和不同层面的存储子系统通过软硬件技术转化到统一的用户存储应用界面的技术。它实际上是逻辑化存储,是一种高效、智能地管理数据的方式。它对实际设备进行逻辑化处理,并将逻辑视图呈现给用户,既可充分利用设备的优势,又可克服设备的局限性。目前,虚拟存储技术主要应用于企业级存储用户和存储网络。它对硬盘驱动器、RAID、磁带库和光盘库等存储设备进行虚拟,使用户能够在存储容量、性能、可靠性、连通性和易管理性方面更随心所欲地使用存储系统。
1 虚拟存储的实现方式
下面,我们从虚拟化存储的实现方式上来分析不同的虚拟存储技术:
1.1 主机级虚拟存储
外部设备都被转化成连续顺序的逻辑存储区间。设备的逻辑视图在服务器上实现,除了容量大小,其他的物理存储属性都被屏蔽。用户可利用虚拟管理软件对它们进行管理,最终将实际设备转化为逻辑卷的形式使用。此种虚拟存储技术的优点是可在不需要硬件支持的条件下实现形式多样的存储管理,如多种级别的软阵列。它还可以通过集群技术将共享存储空间扩展到多台服务器。这对于改善存储系统的可管理性,提高存储的安全性和可靠性很有益处。其缺点是扩展性差,调度工作会影响服务器的应用性能。
1.2 设备级虚拟存储
设备级虚拟技术包含两个方面。一个是对存储设备物理特性的仿真,它主要包括磁盘仿真技术和磁带仿真技术。磁盘仿真技术主要指利用磁带设备仿真实现磁盘设备的技术。管理软件将磁带介质视作线性连续的逻辑块区间,并利用它来构建虚拟磁盘。在读写时,程序将发往虚拟磁盘的I/O命令调度到磁带驱动器执行。这种处理方式可以通过增加磁带容量的方式来扩展磁盘存储容量,从而降低存储系统的成本。磁带仿真技术主要指利用磁盘存储空间仿真实现磁带设备的技术。管理软件将磁盘设备的逻辑块空间视作线性连续的字节流空间,或者磁带设备支持的大小可变的块空间,并将它划分为多条磁带进行处理。由于磁盘设备的I/O速率比磁带设备要快得多,因此它可以加快磁带备份的速度。这种方法有利于提高磁盘或者磁带的利用率,但是技术还不太成熟,仍有许多问题需要研究。设备级虚拟技术的另一个方面是实现虚拟存储设备。它可将磁盘驱动器、RAID、SAN设备等组合成新的存储设备。由于虚拟化管理软件嵌入在硬件实现,可提高虚拟化处理和虚拟设备I/O的效率。例如可利用压缩算法的嵌入式处理模块,对写入/读出存储设备的数据进行压缩/解压处理,从而既增大了设备的存储容量,又提高了存储设备的I/O速率。可在内部集成高性能的I/O通道控制器和Buffer/Cache模块实现I/O操作的并行处理和缓冲调度。
1.3 网络级虚拟存储
网络级虚拟存储通过在主机、交换机或路由器上执行虚拟化模块实现。网络是实现虚拟存储中最具有逻辑含义的部分,被认为能实现最为“开放”的虚拟化。当管理费用成为关注的焦点时,网络级虚拟方法要比通过纯软件实现的主机级虚拟方法好得多。主机级虚拟方法需要在每台主机上安装、配置和维护软件,其费用取决于共享存储的主机数量,因而在投资和管理上都比较累赘。网络级虚拟存储可以提供一种中央虚拟化方式将网络中的存储资源集中起来进行管理,仅需要少量的管理人员。
三种虚拟存储技术可以单独使用,也可以在同一个存储系统中配合使用。对于一个大型的存储环境,综合应用三种虚拟方法能发挥整体优势,取得最好的效益。
2 虚拟存储系统特点及应用分析
目前我国的虚拟化存储尚处在应用阶段。虽然还没有到自主开发的阶段,但是技术应用已经达到了一个比较高的层次。虚拟化存储在许多领域得到了深入的应用。下面就该技术应用相对比较广泛和深入的电视节目存储系统做一具体介绍和分析。随着数字化技术在电视领域不断深入的应用,电视节目数字化程度不断提高,对节目存储的需求也产生了很大的变化,目前各电视机构新建的新闻资源共享系统和节目非线性编辑网络系统都着重使用了虚拟存储技术。随之而来的流媒体管理系统更是在虚拟存储基础上建立的海量节目数据信息管理共享系统。
下面分别就两种基于不同结构的虚拟存储系统在流媒体管理系统中的应用进行分析。
2.1 基于对称式存储器池结构
如图1所示,虚拟存储的控制交换设备直接存在于服务器和存储设备之间,用运行在虚拟存储控制设备中的管理软件来管理和配置所有的存储设备,组成一个大型的存储池,其中的若干存储设备以一个逻辑分区的形式被系统中所有的服务器访问。
该结构的优点在于:
a.虚拟存储控制设备有多个数据通道与存储设备连接,多个存储设备并发工作,所以系统总的存储设备访问速度可以达到较高的水平。b.设备非常集中,因此系统的安装和管理非常简便。c.存储设备对主机是透明的。
但是,这种结构也有它的不足之处,主要体现在以下几个方面:
a.所有服务器对存储设备的访问都要经过控制交换设备的通道。控制交换设备容易成为整个系统的带宽瓶颈。b.数据传输和控制设备在整个系统中是一个单点失效点,它的故障将导致整个系统的瘫痪。c.系统扩展性相对较差。
在该流媒体管理系统的设计中大量地使用了IT技术。其中大容量、高速共享存储网络、虚拟存储技术及分级存储管理技术是组成该存储子系统的核心技术。由于媒体数据存储共享系统中视音频资料所具有的巨大数据量,使得存储子系统的成本问题显得十分突出。SDD(SAN Data Director,简称SDD)是一种新型的集中存储设备,它的核心技术是SAN技术,其实质是对称式虚拟存储技术。它将交换、缓存、RAID、I/O、ASIC以及数据和文件的管理集于一身,并可以完成数据和网络的管理,为数据交换提供高带宽、高容错的集中存储访问。SDD内部有二个完全相同的组件,称之为HSTD(High Speed Traffic Directors)。每个HSTD有四个100MB/s带宽流量的数据交换端口,称之为HOST。一个SDD拥有二个HSTD的800MB/s带宽。HOST端口可直接与服务器、工作站相连,也可与光通道交换机相连。每个HSTD还有一个60芯的数据总线用于和硬盘阵列相连完成数据交换。SDD具有5GB容量的数据缓存能力,为整个系统读写公用,从而保证大量数据的持续读写性能。如图2是使用IBM存储服务的基于SDD的媒体资产网络结构图。
2.2 非对称式虚拟存储技术
非对称式虚拟存储技术又称通道外虚拟存储技术。如图3所示。主要通过软件手段实现虚拟存储控制,其虚拟存储控制器独立于数据传输通道之外,数据和控制信息在传输通道上分离虚拟存储控制器不直接参与数据的传输,运行在其上的虚拟存储控制软件对存储设备进行统一管理和配置并形成逻辑存储单元和存储设备映射表,任何服务器在初始化时,均要通过虚拟存储控制器获得存储设备的映射表并实现对虚拟存储单元的访问。
非对称式虚拟存储系统的优点:
a.可将不同物理硬盘阵列进行逻辑组合以实现虚拟存储,并可将多个硬盘阵列控制器端口绑定提高系统的可用带宽。b.在交换机端口数量足够的情况下,可在一个网络内安装冗余备份的两台虚拟存储设备。c.系统配置非常灵活,具有较高的开放性和可扩展性。d.系统的安全性较高,虚拟存储控制器位于数据传输通道之外虚拟存储控制器出现故障,不会引起存储系统的数据传输通道阻塞。e.由于服务器通过连接设备直接访问存储设备,因此存储虚拟化后不会带来任何延迟。f.存储系统对于操作系统和应用系统都是透明的,因此存储系统的管理比较方便。
但是非对称式虚拟存储系统也存在着一些缺点:
a.由于虚拟存储控制器保存有存储设备信息映射表,如果虚拟存储控制器发生故障,则新加入设备无法获得映射表,无法访问存储系统。b.需要FC光纤通道接口卡来实现与存储设备的数据读写。c.该方案本质上属于磁盘阵列群结构一旦磁盘阵列群中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径失效,都会导致相应的虚拟存储控制器离线并丢失其数据。d.可用带宽的提高通过磁盘阵列端口绑定来实现,因此很难实现几百兆以上的可用带宽。e.由于不同品牌或型号的磁盘阵列的性能不完全相同,出于虚拟化的目的将不同品脾或型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。
结束语
虚拟存储是存储技术发展的重要方向之一。目前,虚拟存储技术取得了很大进展,很多产品化的解决方案已经出现。通过对虚拟存储技术特征的分析,有助于我们更好地理解虚拟存储技术,并为我们在流媒体管理系统的应用设计中提供有益的帮助。
参考文献
[1]吴卫东.存储虚拟化技术[C].中国电影电视技术学会论文,2004.
[2]张江陵,冯丹.海量信息存储[M].北京:科学出版社,2003.
[3]谭毓安,曹元大.SAN存储虚拟化技术[R].NCIS2002第十二届全国信息存储学术会议.
[4]S2A9500 WHITE PAPER,Data Direct Net-works,2005.
存储管理技术 篇9
网络化环境下, 如何科学地管理随书光盘、提高其利用率、使其更好地为读者提供便捷的服务, 成为图书馆界研究的新课题。
一、随书光盘管理的几种常见模式
1.书盘一体, 光盘随书外借。这种方式的优点是书盘一起编目, 方便而简单;缺点是光盘容易刮花、弄丢, 光盘损坏或丢失后将无法修复和找回。
2.书盘分离, 集中管理。将书与盘分开编目、分别管理。光盘存放于指定场所, 由专人管理。学生可凭索书号查询该书配套光盘的馆藏号借阅光盘, 也可单独借阅。这样做的优点是光盘不易损坏和丢失, 借阅方式更灵活;缺点是需要专人进行管理, 并且随着光盘的增多, 还需不断购置配套设施, 给图书馆增加了额外的开支。
3.网络化管理。这种方法就是通过购买专门的随书光盘管理软件来建立光盘镜像服务器, 把随书光盘中的数据制作成光盘镜像文件并上传到专用服务器上, 然后提供链接供读者下载。目前这种方式被大多数高校图书馆采纳, 但也不能从根本上解决大量的光盘数据存储和管理问题。
二、云存储模式下的随书光盘管理系统
(一) 云存储的概念
云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念, 是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时, 云计算系统中就需要配置大量的存储设备, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统。
(二) 云存储的优势
1. 以最低的成本构建海量数据存储空间。
目前主流的服务器所采取的海量数据设备主要是由SAN和NAS两种方式构建, 与之相比, 云存储构建成本低廉, 在构建随书光盘镜像服务器上优势非常明显。首先, SAN和NAS为了保证数据传输的效率, 往往会对数据存储设备有一定的硬件要求, 否则会严重影响系统的性能;其次, SAN或NAS基本都需要专用的数据连接设备连接各个数据存储设备, 这些设备的价格往往也比较昂贵。云存储主要的构建成本是数据存储设备, 而云存储的设计原理对数据存储设备没有定性的要求, 不同容量、品牌、型号的硬盘和数据存储架构都可以协同工作, 这对图书馆来说无疑是一个福音, 各个图书馆可以最大限度地利用现有的设备共同构建云存储架构, 满足目前和未来的随书光盘数据库的使用需求。
2. 在维护和使用上优势明显。
云存储与SAN、NAS相比在维护和使用上的优势更为明显, 主要表现在以下几方面:首先, 充分保证存储数据的安全性。常见的NAS和SAN往往都是集中在一个范围内统一构建的, 数据的存储设备与备份设备在一区域, 没有实现数据的异地备份, 服务器内存储的数据在某些环境下存在着一定的服务缺陷和安全空白, 如图书馆备用电源故障、图书馆受到水火等灾害影响, 可能对数据造成永久性的损失。云存储技术将文件复制并且存在不同服务器中, 通过广域网真正实现数据的异地备份, 解决了通过NAS和SAN存储和备份数据潜在的安全隐患。当某一服务器发生故障时, 云存储系统知道文件存放的位置, 系统会自动将使用者的读写指令导向存放在另一台存储服务器上的文件, 保持服务的持续性, 也最大限度地增强了数据存储的安全性。其次, 保证各台服务器以整体的形式对用户提供高质量的服务。当有多台数据存储设备共同向用户提供服务时, 不可避免会有工作量分配不均的现象。如各个图书馆的数据存储设备在没有组成云架构的情况下, 有些图书馆采用FC-SAN数据存储架构向用户读者提供光盘下载服务, 可以达到极高的服务质量, 而有些图书馆采用普通DAS设备存储光盘数据, 随着使用人数的增多, 很容易造成服务器崩溃。与之相比, 若通过云存储技术将以上设备进行整体的整合, 云存储技术会将工作量均匀分配到不同存储服务器, 避免个别存储服务器工作量过大造成瓶颈, 以使得存储系统的效能得以最大的发挥。
(三) 云存储模式下的随书光盘管理系统
1. 系统架构。
在云存储服务模式中, 其是由数据加工中心、私有云、公共云、云控制中心以及客户端五个部分组成。云控制中心是整个系统的核心, 是整个系统的总控制中心。私有云和公共云主要负责资源的存储和管理。五个部分作为一个有机整体, 相互配合协调有序的工作。各部分具体任务分工如下:
数据加工中心是整个系统的运行基础, 为系统正常运行提供资源保障。各成员馆的数据加工中心相互独立工作, 按照馆际联盟的分工要求, 利用随书光盘管理系统, 按照统一的著录规范对其负责的类型的随书光盘进行加工、著录并上传到私有云平台上。
云控制中心作为整个系统的核心, 协调各部分有序工作。其不仅要提供目录服务、寻址服务、收割服务, 而且要具有推送功能和链路聚合功能。云控制中心需要将收割整理以后的目录信息定期的推送给私有云平台, 用户通过本地OPAC即可实现对全部数据的一站式快速检索, 有效地减轻了云控制中心的负载, 提高了对用户需求的响应速度。通过提供链路聚合服务有效提高了带宽, 读者的下载速度得到很大的提升, 从而更加方便读者的使用。
私有云是运用虚拟化等云计算技术的网络或数据中心。私有云能够充分利用现有本地硬件资源和软件资源, 从而降低成本。由于它是内部可控制的, 能够更好地控制其安全性。
公共云在此系统应用中作为私有云的补充, 是由云存储服务提供商对存储基础设施进行管理, 集中空间来适应多用户的需求。用户往往通过互联网连接来访问其公共存储的数据。在公共云存储中, 通过为存储池增加服务器, 可以快速、方便地实现存储空间的增长。公共云存储主要负责管理和存储年代较早的、使用率较低的数据资源, 或者为保证各成员馆数据资源的安全, 为各成员馆提供数据备份服务。
客户端采用先进的基于云计算的P2SP下载技术提供读者下载随书光盘, 不像传统方式只能依赖单个服务器 (而是对服务器群进行链路聚合) , 内容的传递可以在网络上的云 (各终端机器) 中进行。
2. 工作流程。
为完整介绍其工作流程, 分别以数据加工存储和读者使用两个视角进行说明。数据加工人员在系统投入使用时, 按照馆际联盟的协定, 负责加工其所负责的某类图书所配光盘资源, 将资源进行编目, 同时将数据上传到私有云平台中, 并进行发布。在系统使用过程中, 如若读者没有从系统平台中检索到图书所配资源, 读者即可进行网络申请开放, 这是同样由读者所在馆数据加工人员进行加工、上传、发布。这些数据会被云控制中心定时的收割、整理, 同时, 云控制中心将整理后的信息资源的目录与对应链接地址分发到各成员馆的私有云平台之上。读者在使用过程中, 直接访问本地OPAC系统进行资源查询, 如有则直接利用P2SP技术进行在线浏览和下载, 否则提交申请, 等待数据加工人员的处理后再进行使用。
(四) 运用云存储技术应当注意的问题
1. 建立云存储架构光盘服务器需要一定的技术含量, 在建设过程中需要其他图书馆共同参与。
其中一些图书馆在技术上可能面临技术瓶颈, 因此需要对相关技术人员进行培训, 充分提高他们的理论知识和动手能力。
2. 应提供较大的网络带宽专供管理服务器使用。
因为一张光盘的镜像文件即使经过压缩, 平均算下来也有好几百兆, 大的甚至几千兆, 如果同一时间读者登录服务器下载文件, 极易造成带宽拥堵而发生服务器死机、系统瘫痪等故障。有了充足的带宽, 使用者才能获得足够大的数据传输速度, 实现大容量数据的传输, 真正享受到云存储服务。
3. 选择公有云存储应当选择技术全面、服务到位的服务商。
由于存储空间是由云存储的服务商掌控, 数据的稳定性、持久性和安全性难以保证, 他们有可能面临企业亏损等问题而关闭服务供应, 因此不能完全依赖于服务商。我们应当利用服务商提供的共建平台, 自建有特色的数据库, 而不需要将整个图书馆资源放置“云”中。
三、结束语
基于云存储服务模式的随书光盘馆际共享系统是一种创新服务模式, 它不仅能够实现资源的共建共享, 而且避免了重复建设, 有效地节约了图书馆经费。同时, 可以为读者提供方便、快捷、稳定、优质的服务。随着现代科学技术的发展, 图书馆应改善服务理念, 不断探索, 积极创造条件提高图书馆资源的利用率, 为教学和科研提供有力的资源保障。
参考文献
[1]边根庆, 高松, 邵必林.面向分散式存储的云存储安全架构[J].西安交通大学学报, 2011, (4) :41-45.
[2]徐忻.高校图书馆随书光盘的网络化管理利用[J].图书馆理论与实践, 2009, (8) :83-85.
[3]孙坦.基于云服务的图书馆建设与服务策略[J].图书馆建设, 2009, (9) :3-5.
[4]深度剖析云存储[EB/OL].http://www.sansky.net/article/2008-09-17-depth-analysis-of-storage.Html, 2008-09-17.
[5]陶蕾.云下的图书馆网络存储探讨[J].图书馆学研究, 2010, (7) :67.
存储管理技术 篇10
1 EES综合应用的市场潜力
本部分介绍了两项研究实例和一项专业模拟:美国桑迪亚国家实验室的研究评估了EES能带来的盈利和美国境内所有EES应用的最大市场潜力;美国波士顿咨询集团的研究预测了EES技术的成本降低和评估EES应用投资的盈利能力, 从而判断其在世界市场上的潜力;还有一项是由日本松下公司作出的对未来锂离子电池市场的模拟。
1.1 美国桑迪亚国家实验室 (SNL) 对EES市场的评估
桑迪亚国家实验室评估了美国不同EES应用的市场潜力。该评估分别展示了每项应用的市场规模和每千瓦电能储存的成本效益的盈亏平衡。虽然这项研究只限于目前的市场潜力和只考虑了一个 (大) 市场, 但它对未来的EES市场提供了非常有用的建议。研究结果表明, 目前还不存在同时具有高价值和大市场潜力的应用市场。例如, “变电站现场” (即将应急电源安装在变电站上) 展现出了相当高的价值, 但它的市场潜力小。另一方面, “峰谷分时电价能源” (即由用户根据需求调整供给) 这项应用预期有一个很大的市场规模, 但它的价值不高。
该研究还表明, 未来每项应用的价值和市场规模将根据实地情况而不断发生变化, 同时每项EES设施可能会用于多种应用, 这可以增加投资的盈利。影响未来市场的一个因素是新安装的可再生能源的规模。
1.2 波士顿咨询公司 (BCG) 对EES市场的评估
该研究预测了到2030年EES技术的成本降低情况, 同时还评估了EES应用的投资收益情况。此外, 还对八组应用进行了明确的定义。为了帮助对未来EES应用的市场潜力进行判定, 该项研究还对执行应用的可行性进行了评估, 即要评估现存的常规技术、EES技术发展的技术难点、与现有相关业务的兼容性以及社会环境影响等。
最有前途的市场是“传统能源输出增稳”, 其市场大且具有很高的可预期的收益, 如抽水蓄能和压缩空气储能。“传统能源输出增稳”包括常规发电的错峰削谷和效率的提高。随着可再生能源的广泛引入, 错峰削谷提高输出电能的稳定性的需求急剧增长, 因而使得该应用具有良好的应用前景。
另外一个非常有吸引力的市场是“平衡新能源输出”, 它可以在短时间内调整电源供应, 以满足需求的波动。在该应用中, 大容量的电能储存技术如抽水蓄能和压缩空气蓄能在经济上已经可行, 其它EES技术也有了投资应用的价值。由于可再生能源对供应方供能的增加会使得“平衡能源输出”的需求增加, 越来越多的电力市场将引入成熟的市场机制, 未来用于优化能源输出的EES会被采购。这项研究推断总的市场潜力是330 GW。
1.3 松下集团对EES市场中锂离子电池的评估
松下集团 (三洋) 已经对EES市场中锂离子电池的市场潜力进行了评估。该评估是通过一项模拟得到的, 该模拟基于以下假设:
(1) 电力的交易价格将持续按照市场调查得到的趋势变化, 并与未来的锂离子电池价格进行比较;
(2) 对于公用设施, 假设社区能量储存和输配电投资部分替换;
(3) 对于UPS, 假设为便于维护和节省空间, 用锂离子电池替代铅酸电池;
(4) 电动车充电站将和电动汽车数量同比增长;
(5) 并无锂资源的短缺。
结果表明, 锂离子电池市场将稳步增长, 特别是与住行相关的市场将在2017年开始迅速增长。未来将会有各种从小到大的不同型号的锂离子电池应用于实际生活。
2 EES市场广泛引入可再生能源的潜力评估
可再生能源进入电网和与电网整合可能会导致电能输出的波动和一些不可预测的问题。当连接到电网中可再生能源的总量超过一定值时, 这些问题将变得突出, 此时需要寻求解决这些问题的对策。在一些市场上 (特别是欧盟) 存在一些规模宏大的引入可再生能源激励机制的计划, 因此预计EES将会是实现这些计划的一个关键因素。因此, 需要研究确定EES的需求量来计划引入多少可再生能源。
2.1 弗劳恩霍夫对德国EES市场潜力的评估
德国是众所周知的首先引进可再生能源的领先国家, 因此其EES应用具有巨大的市场。德国已经预设了一个目标, 到2030年, 其可再生能源的份额要从目前的不足20%增长到大约60%~80%。
这表明, 在过去和未来预计需要大量的EES来及时处理可再生能源的整合。对于短期或者长期需求来说, 都需要大量的EES来提供所需峰值功率。到2030年, 需要达到以下的值 (峰值功率乘以时间) :
每小时:16 GWh;
每天:170 GWh;
每周:3.2 TWh (即3.2×109 k Wh) ;
每月:5 T Wh;
总量:大约8.4 TWh。
目前已安装的存储容量为40 GWh的PHS只能满足若干小时的电能需求量和部分满足若干天的电能需求量。为了弥补额外的每小时和每天的电能需求量, 可以使用电化学储能EES (如电池) 。为了满足每周和每月的电能需求, 预计可以使用压缩空气蓄能、氢气 (H2) 和合成天然气 (SNG) 储能技术。
2.2 天然气网络中存储的大量能量
对于储能巨大的电化学储能来说, EES将会过于昂贵, 并且需要太多的空间。另外一种储能方法是将电能转化为氢气或合成天然气, 储存并分配在现有的天然气管道系统中。全周期的电能转化为氢储存的效率为55%~75%, 转化为合成天然气 (SNG) 储存的效率为50%~70%。德国现有天然气网络的存储容量是非常大的, 约为200 TWh (整个配电网储能量约有400 TWh) 。从技术角度来看, 它是将10%的氢气加入到天然气中而不影响天然气的质量。 (由于氢气含有的能量是天然气的三分之一, 因此可以将含能量为7 TWh的氢气输入到天然气网络中。) 任何时候, 天然气网络中的天然气可转化为电能, 转化效率大于60%。到2030年, 德国每周和每月的EES需求量将约为8.2 TWh, 而通过将氢气输入到合成天然气输气网络中的储能方式完全可以满足这样的需求。但该解决方案只能用在有着完整的天然气输气网络的国家;否则, 必须将氢气或者合成天然气存储在外加高压容器 (通常没有困难) 或器皿中。
2.3 西门子公司对EES在欧洲的市场潜力的评估
该研究是为了解决由大量引入可再生能源引起的问题。这项研究涵盖了整个欧洲并采取了一个极端的假设, 假设所有的电力供应都来自于可再生能源 (65%的风能和35%的太阳能) 。
由于可再生能源在性质上是无法控制的, 其在地理区域和时间范围内都可能发生供需之间的不匹配。当供给和需求之间发生不匹配时, 供应短缺通常由一个可靠的电源如化石燃料发电机 (火力发电机) 来弥补。为了解决供需不匹配的问题, 对于地理不匹配, 可以通过加强和邻近区域的相互联接, 对于时间的不匹配, 可以使用EES的时移功能来解决。为了确定在不与周围互联的条件下EES的需求量, 西门子公司完成了一项模拟研究, 用来减少建设电站的存储容量。整个欧洲被划分成了83个区域, 每个地区都有一个不同组合的可再生能源。整个欧洲总的供能是由65%的风能和35%的太阳能组成。模拟结果表明, 如果没有EES, 30%~50%的负荷需求需要由化石燃料发电机提供。如果EES的量能够满足一周的负荷需求, 额外的供能需求可以减少10%~20%, 这相当于60 TWh的EES或者2%的年供能需求量 (3 200 TWh) 。
在实际中, 对于100%由可再生能源供能的EES来说, 加强邻近区域之间联系和增加EES的容量来满足2%~8%的年需求供能量是必需的。能够满足的需求量取决于加大了多少电网联接和扩大可再生能源的供给量。对于每小时和每日的需求, 研究建议使用抽水蓄能 (PHS) 和电化学储能EES (如钠硫电池、锂离子电池、铅酸电池 (LA) 或者氧化还原液流电池 (RFB) 。对于每周和每月的需求, 推荐使用压缩空气储能 (CAES) 和氢 (H2) 储能。对于每周和每月的需求, 斯堪的纳维亚国家 (瑞典、挪威) 对大而新的PHS在TWh范围内的储能性能进行了讨论。然而, 加强与邻近区域的联接需要长距离的传输线, 但从今天的角度来看, 筹集资金并设置这种传输线似乎很难。
2.4 国际能源署 (IEA) 对EES的市场潜力的评估
国际能源署也对EES市场潜力进行了研究, 以应对在整个世界范围内大规模地引进可再生能源。在这项研究中, 计算了EES的需求量与可再生能源的输出量的变化关系。EES的需求量随着可再生能源的输出的增加而增加。例如, 如果假定风力发电的净输出变化率为30%, 在西欧EES的输出量将由2010年的3 GW增加到2050年的90 GW, 以与风力发电量的预测升幅相匹配。若假定在2050年风力发电的净输出变化率为15%~30%之间, 则EES的需求量在50 GW到90 GW之间。
估计EES的需求量是在预计的可再生能源的引入量的基础上完成的。由于预计在西欧和中国可再生能源的普及率将会相当高, 因而EES在这两个地区的市场潜力也是比较大的。到2050年, 整个世界上的EES的需求量将达到189~305 GW之间, 相应的可再生能源的净输出变化率为15%~30%。
当前的EES (主要是PHS) 总量为100 GW, 假定地理分布较好, 可用EES的需求量将会增加一到两倍, 否则, EES需求量将会更多。
3 车辆到电网的概念
随着电动汽车的发展和普及, 将汽车的电源从电池反馈到电网将有巨大的潜力。根据德国联邦政府的预测, 到2020年电动汽车的数量将达到一百万辆。包括混合动力汽车和纯电动汽车在内, 每辆车的平均容量大约是20 k Wh。在实际应用中如果使用总容量的30%, 就具有约6 GWh的可存储电能。在德国, 相比于2011年40 GWh的水力发电储能, 这将多出15%的额外的电能存储。国际能源机构也进行了关于在全球范围内使用电动车电池来缓解可再生能源的输出的研究。如果电动汽车电池使用车辆-电网技术 (V2G) , 用来调整供电时间和稳定短期波动, 在这两种情况下, EES的需求量将分别由189 GW减少到122 GW, 或者由305 GW减少到280 GW。如果将来使用这些储存容量, 电网运营商将有更多的短期时移范围和更高的安全水平来保证电力供应。
低电压电网是有待加强发展的一个领域, 其用来给电动汽车充电的基础设施未能与电动车的数量相匹配, 因而电网的有限的传输容量将会捉襟见肘。根据需要, 电网运营商还可以为消费者提供一个价格可以接受的车辆和运营商之间智能通信系统。消费者的接受能力将在车辆到电网技术的成功应用中扮演一个重要角色。目前正在讨论一些不同的商业模式, 例如, 一个车主不是车中的电池的所有者, 但他可以出租或者租赁汽车, 但同时他也需要以一定的比率为包含电池成本的电能付费。
4 未来市场上EES的潜力
在本章中介绍了一些关于EES的市场潜力的研究, 得到了以下的结论:
(1) 未来EES的潜在市场比已存在的市场要大很多, 该市场主要由扩展的可再生能源和能源行业的转型来驱动, 包括一些新的应用, 例如电动代步。市场的容量与 (未来) 可再生能源比率及区域位置相关。
(2) 如果能更进一步降低成本, 提高技术, EES体系将会得到更为广泛的发展和应用, 例如调整需求时间、稳定可再生能源的输出、提高现有的发电效率等。
(3) 欧洲的研究表明, 可以期望通过EES技术应对可再生能源的输出波动巨大的问题。大型风力涡轮机和太阳能光伏发电的安装可以保证从两个小时到一天时间的电能输送。因此, 传统的大规模EES市场, 如PHS和绝热CAES还是具有很大的吸引力的。
(4) 在MW-MWh (兆瓦—兆瓦时) 范围内广泛地引进电化学储能EES, 如钠硫电池、锂离子电池和RFB, 它们的放电时间在数小时至数天。
(5) 长期的能源存储是必不可少的, 以实现可再生能源的高比例。国际能源署 (IEA) 的报告显示, 进一步输出可再生能源将导致火力发电机的能源控制的不足, 造成短时间内的电能输出波动。预计这种情况可能会发生在西欧和中国这两个都设定了高可再生能源输出目标的区域。
(6) 为了保证从几天到几个月的输电, 需要开发氢气和合成天然气技术。在一些具有完善的合成天然气输气网络和地下储能系统的地区 (如欧洲) , 可以用来存储 (或部分用来存储) 氢气和合成天然气。
(7) 智能电网技术使用许多小的、分散的电池, 如电动汽车电池, 这对于许多应用具有很大的吸引力。但是, 即使所有的电动汽车的电池都被用于该目标, 也不足以满足未来市场对EES的需求。
研究结果还表明, 一些EES技术或将使一些应用变得可行, 同时, 进一步的研究和发展是必需的。
【存储管理技术】推荐阅读：
多级存储技术在媒体资产管理系统中的应用07-19
存储管理05-12
资料存储管理论文07-12
存储器管理09-25
对象存储系统的管理09-12
数据存储与数据管理07-05
第4章存储管理答案08-18
散装水泥存储管理制度09-09
移动存储设备保密管理规定09-16
海量存储技术05-17