虚拟存储(精选12篇)
虚拟存储 篇1
1 引言
随着计算机技术的飞速发展和普及,各种围绕数字化、网络化开展的多媒体处理业务也随之不断增加,企业的信息量正在日益膨胀,而传统的NAS(Network Attached Storage,网络附加存储)、SDA(Server Direct Attached,服务器直接附加)、SI(Server Internal,服务器内部)和SAN(Storage Area Network,存储区域网络)等存储形式已无法满足以上对存储设备的需求。因此,如何能在节省预算的前提下存储海量的数据和提高数据的运作效率,变成了新的难题。
虚拟存储(Virtual Storage)不仅可以满足海量数字信息的存储需求,提高存储空间利用率,同时还能够屏蔽异构操作环境,实现自动与智能化的存储管理。可以说,虚拟存储技术正是解决以上难题的灵丹妙药,它也因此越来越受到人们的青睐。
2 虚拟存储的概念
2.1 虚拟存储技术的定义
所谓虚拟存储技术就是把若干个不同接口协议(如SCSI、FC、i SCSI等)的网络存储设备(如JBOD、RAID和磁带库等)整合成一个虚拟的存储池,根据实际需要为主机创建和提供虚拟存储卷。虚拟存储实际上是逻辑存储,它是一种智能、有效地管理存储数据的方式,它克服了物理存储的局限性,能够充分利用异构平台的存储空间,从而为用户提供一个大容量、高数据传输性能的存储系统。2.2虚拟存储技术的特性
虚拟存储系统一般具有如下特性:
1)能通过虚拟层的动态介接,整合不同品牌、不同等级的异构存储设备,从而提供一种易于管理、富有弹性的存储环境;
2)具有灵活的资源调配机制,从而能有效提高存储设备的空间利用率;
3)支持FC、i SCSI、CIFS、NFS等多种不同协议,从而实现对异构的存储和服务器环境的支持;
4)拥有高可用性机制,服务器之间互为备援,能够自动触发故障设备的接替功能;
5)能通过TCP/IP协议,在网络上实现对存储器的各种远程同步操作。
2虚拟存储的实现方式
2.1 服务器级虚拟存储
服务器级虚拟存储是一种相对简单的实现形式,它通过在服务器上安装虚拟存储管理软件,然后将镜像映射到外围存储设备上,服务器端除了分配数据外,对外围存储设备不再有任何控制。这种虚拟存储方式的优点是:可以在不需要硬件支持的条件下实现形式多样的存储管理,并能够很好地改善存储系统的可管理性、安全性和可靠性。缺点是:扩展性差,且兼容性不好,调度工作会影响服务器的应用性能。
2.2 存储设备级虚拟存储
存储设备级虚拟存储是目前相对常用的一种虚拟存储方式。它的实现过程是在阵列控制器上将一个存储阵列从逻辑上划分为多个存储空间,供不同的主机访问。存储设备级虚拟存储的存储设备主要通过大规模的RAID子系统和多个I/O通道连接到服务器上,智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种虚拟存储方式的优点是:能够高效地利用磁盘容量,便于对存储设备的控制,并且可以方便地调整硬件参数。缺点是:系统的兼容性不好,尤其是当系统存储体异构时表现更为明显。
2.3 网络级虚拟存储
网络级虚拟存储一般是利用软件和硬件相结合的手段通过网络将逻辑镜像映射到外围存储设备,除了分配数据外,对外围存储设备没有任何控制。它通过提供一种中央虚拟化的方式将网络中的存储资源集中起来管理,从而有效降低了TCO(总所有成本)。从技术上讲,网络级虚拟存储又可分为带内(in-band)虚拟存储和带外(out-of-band)虚拟存储。这两种虚拟方式的主要区别在于存储网络中数据I/O与控制信息是否使用同一通道。
2.3.1 带内虚拟存储
带内虚拟存储又称为对称式(Symmetrical)虚拟存储,其结构如图1所示。
对称式虚拟存储的控制交换设备直接存在于服务器和存储设备之间,存储数据和控制信号使用同一通道,用运行在虚拟存储控制设备上的软件来管理和配置所有的存储设备,组成一个大型的存储池,其中的若干个存储设备以一个逻辑分区的形式供服务器访问。
这种虚拟方式的优点主要有:
1)设备集中,系统的安装和管理十分简便,并且具有较强的协同工作能力;
2)存储设备对于主机是透明的;
3)数据的访问具有极高的安全性。
缺点主要有:
1)所有服务器对于存储设备的访问都要经过虚拟存储控制交换设备的通道,容易造成网络拥塞;
2)容易产生带宽瓶颈和单点故障;
3)系统的扩展性能相对较差。
2.3.2 带外虚拟存储
带外虚拟存储又称为非对称式(Asymmetrical)虚拟存储,其结构如图2所示。
非对称式虚拟存储的控制交换设备位于服务器与存储设备数据传输的通道之外,运行在其上的软件对存储设备进行统一管理和配置并形成逻辑存储单元和存储设备映射表,任何主机在初始化时,均要通过虚拟控制器获得存储设备的映射表,并实现对虚拟存储单元的访问。
这种虚拟方式的优点主要有:
1)主机可以直接访问存储设备,不会带来延迟,提高了性能;
2)系统的安全性较高,不会造成带宽瓶颈和单点故障;
3)可将多个硬盘阵列控制器端口绑定,从而提高系统的可用带宽;
4)系统的配置灵活,开放性和扩展性能好。
缺点主要有:
1)每个主机服务器都需要安装客户端软件或者特殊的主机适配卡驱动来支持数据的读写,实施难度较大,投资成本比较高;
2)一旦磁盘阵列中的某个阵列控制器损坏,或者这个阵列到交换机路径失效,都会导致相应的虚拟存储控制器离线并丢失其数据;
3)另外,数据访问的安全性难以控制。
3 虚拟存储的现状
3.1 虚拟存储技术的优势
1)提高存储系统的存储效率和访问带宽
虚拟存储技术很好地解决了目前用户所面临的物理存储效率低及存储空间使用上浪费的问题,用户几乎可以100%地使用磁盘容量,因为它只存储真正写入的数据。虚拟存储是一种智能化的系统,它可以实现物理资源和资源池的动态共享,有效地提高了存储资源的利用率。虚拟存储系统还可以很好地进行负载平衡,把每一次数据访问所需要的带宽合理地分配到各个存储模块上,从而大大提高存储系统的整体访问带宽。
2)简化存储管理的复杂性,降低存储管理和运行的成本
在虚拟存储环境下,无论后端物理存储是什么设备,服务器识别的都是其存储设备的逻辑镜像。即使物理存储发生变化,也不会改变逻辑镜像,这使得系统管理员不必关心后端存储设备,只需专注于管理存储空间,所有的存储管理操作,如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等比从前的任何设备都容易,存储管理变得轻松简单。而使用一般的存储系统,当增加新的存储设备时,整个系统都需要重新进行烦琐的配置工作,还有可能造成数据的丢失,从而影响客户业务的正常运行。
3)增强存储系统的灵活性、可用性、安全性及扩展性
虚拟存储技术可以实现动态的资源部署和重配置,可在不影响用户的情况下对物理资源进行删除、升级或改变,从而满足了不断变化的业务需求,提高了存储系统的灵活性和可用性。根据不同的产品,资源分区和汇聚,虚拟存储系统可支持实现比个体物理资源小得多或大得多的虚拟资源,也就是说它可以在不改变物理资源配置的情况下进行规模调整,这使得存储系统具有更高的扩展性能。虚拟存储技术还可实现普通共享机制无法实现的隔离和划分,这样就可以对数据和服务进行可控和安全的访问。
3.2 虚拟存储技术面临的困难
首先,虚拟存储技术没有妥善解决人们普遍关心的数据安全和隐私问题。虚拟存储把所有的数据放在了同一个系统环境下,这就好比把鸡蛋全都放在一个篮子里,一旦打翻,所有鸡蛋都会损失。所以一旦数据被存放进虚拟存储环境中,就不能被轻易删除,这就从一定程度上加大了数据管理的风险性,同时在安全投资上也要相应的加大。
其次,虚拟存储技术专注于高端用户,这些用户存储系统庞大,不仅设备多,所采用的软件也很复杂,在这种情况下,虚拟存储技术可以带来管理,成本上的诸多优势。而目前中小企业是企业市场的主力军,虚拟存储技术忽略了中小企业用户的需求,从而使得这个技术没有很好的普及和推广。
第三,虚拟存储产品价格比较昂贵,这也正是它专注高端市场的弊端。而多数的中小企业用户面对存储空间不足,大都选择直接购买大容量硬盘来解决问题,因为即使在存储空间上有所浪费,但相比使用虚拟化存储架构,直接购买大容量的硬盘还是比较合算,此外中小企业存储系统不复杂,管理起来也没有太大难度,这些都导致虚拟存储技术在普及上存在着一定的困难。
4 小结及前景展望
虚拟存储技术在其诞生几年的时间里取得了很大的进展。目前,基于服务器和基于存储设备的虚拟技术已经相对成熟,如磁带虚拟、磁盘资源管理、跨卷多级管理等技术,已经发展出了一大批产品和相应的解决方案,用户可以充分享受到它们所带来的好处。而基于网络的虚拟存储技术是一种相对较新的技术,因其独立于主机和存储设备,具有很大的灵活性,它未来更是有着很大的发展空间。
尽管虚拟存储技术目前尚未妥善解决其自身遇到的种种问题,但随着厂商、用户和技术标准机构各方面,对这一技术方向与日俱增的关注度,相信在不久的将来,它一定会为企业数据处理的一种标准和存储管理的主流技术。
摘要:虚拟存储是一门新兴的技术,它的产生对于解决急剧增长数据存储需求问题具有重要意义。文章首先介绍了虚拟存储的概念及其特性,接着详细分析了虚拟存储的三种实现方式,最后论述了虚拟存储技术的现状和发展前景。
关键词:虚拟存储,SAN,虚拟层,对称式,非对称式
参考文献
[1]戴梅萼,史嘉权.微型计算机技术及应用[M].北京:清华大学出版社,2008.
[2]赵文辉,徐俊,周加林,等.网络存储技术(硅谷精英科技丛书)[M].北京:清华大学出版社,2005.
[3]王爱英.计算机组成与结构[M].北京:清华大学出版社,2007.
[4]刘玉山.虚拟存储技术及其应用[J].有线电视技术,2003,10(12):47-50.
[5]白翠琴,王建,李旭伟.存储虚拟化技术的研究与比较[J].计算机与信息技术,2008(7).
[6]谢川,虞勤.虚拟存储及应用分析[J].电脑知识与技术,2007,1(3):630-631,683.
虚拟存储 篇2
存储虚拟化技术主要分为两大阵营:一方致力于研发基于网络层的存储虚拟化技术,代表厂商有 IBM和EMC等;另一方致力于基于存储控制器的存储虚拟化技术,代表厂商有HDS和HP等。两种存储虚拟化技术各具特色,并且会在相当长的时间内共存。近期,IBM发布了最新版的虚拟化产品SVC 4.2.1,其性能比上一代产品提高75%。IBM于推出第一版SVC,这之后的4年中,IBM对SVC进行了多次升级,目前在全球已销售出1 万套SVC。HDS的存储虚拟化产品独具特色,其主打产品USP V能够提供3个层次的存储虚拟化,支持247PB的存储容量,其外部存储的虚拟化端口性能也比上一代产品提高了5倍。
存储虚拟化的好处显而易见,比如可以实现存储系统的整合,提高存储空间的利用率,简化系统的管理,保护原有投资等。越来越多的厂商正积极投身于存储虚拟化领域,比如数据复制、自动精简配置等技术也用到了虚拟化技术。虚拟化并不是一个单独的产品,而是存储系统的一项基本功能。它对于整合异构存储环境、降低系统整体拥有成本是十分有效的,
此外,存储虚拟化技术与现在全社会倡导的绿色节能也有千丝万缕的联系。IDC的一项研究表明,从到,全球数字信息总量将增长6倍。20已经出现了信息总量超出现有存储能力的现象。面对业务和数据量的快速增长,企业用户在不断增加IT设备,以满足用户对性能、存储空间和可用性等要求的同时,还不得不面对数据中心空间有限、能源成本不断增加等挑战。据APC的研究,服务器与存储设备的能耗已占整个数据中心设备能耗的50%左右。存储设备应该如何节能降耗呢?除了采用更节能、环保的材料以外,虚拟化等相关技术的应用可以更有效地利用服务器和存储系统,把物理设备整合成一个逻辑存储池,从而减少了企业所需的物理服务器和存储系统,相应地减少了电力需求。有专家指出,使用效率最高的存储就是绿色存储,而虚拟化正是提升设备使用效率的利器。
存储虚拟化实现智慧管控 篇3
盛大在线的总部位于上海浦东张江高科技园区。
存储需要统一
盛大在线的业务是提供一个开放平台,不仅支持游戏、文学、视频、音乐和影视作品,同时,还将涉足无线、旅游等方面的业务,并将把这些资源整合在一起,通过服务的形式开放给第三方。因此,盛大在线首席技术官朱敬说,很显然,盛大在线目前和未来的业务对存储的需求非常大。
另外,盛大在线日常业务本身也会产生很多存储的需求,比如每天的用户访问量达到10亿,而这些流量都会在后台产生日志,其存储量很快就会达到TB级。这些日志数据都需要保存下来,盛大在线通过对这些数据的分析,既能对今后的业务有指导作用,同时还能更好地为用户服务,例如,有针对性地给用户推荐一些内容等。
据朱敬介绍,为应对存储需求,盛大在线近几年陆续购置了不少存储设备。朱敬说:“我们的需求就是将不同的存储设备能够统一管理起来,并在以后的扩容和数据备份方面有一个统一的体系,可以比较灵活地增加存储设备,而不是一定要绑定在某一家厂商或者某一种存储设备中。”
看中三大优势
針对盛大在线的存储需求,朱敬决定采用虚拟化存储来解决目前遇到的问题。他们先后考察和比较了三四家存储虚拟化厂商的产品,最终,他们把目光集中在了IBM的存储虚拟化解决方案SVC上,并选定了这款产品。
朱敬说,他们看中SVC的原因主要有三方面。一是SVC非常灵活,具有高可用性。“用了IBM的SVC,我不一定非要采购IBM的存储设备。SVC的兼容性非常好,而且SVC能将现有的存储设备和以后需要扩容的存储设备统一管理起来,避免了对某一个厂商或者某一个终端设备的绑定。这是我们看中SVC的一个最重要的原因。”
二是SVC在性能和功能方面具有领先性。它的快照、备份功能在业界有非常好的口碑,通过它的缓存,可以实现性能优化和性能加速,这是其他厂商的产品没有的功能。“一般来说,在存储设备上增加一个虚拟化层会对性能有较大的影响,但SVC所使用的技术在很多情况下不仅对性能没有影响,而且还会对性能有提高,这是我们看中SVC的一个重要因素。”
三是IBM的品牌、服务及稳定性。“IBM的售前、售后服务以及在业界的口碑,让我们对采购它的产品有较高的信任度。我们希望产品有很好的稳定性,不会因为产品不稳定而影响业务。”朱敬介绍说,他们选择IBM的SVC还有一个地理上的优势,因为IBM与存储相关的实验室就在张江高科技园区内。实验室的专家们从幕后走向了台前,与盛大在线的相关人员进行了很好的交流,不但在售前为他们答疑解惑,还为他们讲述了SVC的未来发展路线,并根据盛大在线的业务特点对SVC存储产品进行配置,用高质专业的技术服务达到了客户的项目需求。
云计算是未来
以上三点优势使朱敬最终选择了IBM SVC产品作为其IT建设支撑平台的一部分。
实施SVC后,盛大在线是否降低了存储成本?对此,朱敬表示,在采购成本上,第一是充分利用了原有的设备,从而减少了对存储设备的采购;第二是将节省今后的采购成本,因为不用绑定任何一款产品,可选择的范围变大了;在管理成本上,管理变得简单了,特别是可以考虑对中低高端存储设备的配置,通过SVC可以智能管理数据,自动分层存储。
在谈到存储效率的提升时,朱敬表示:“我们不再担心应用层面的任何变化可能遇到的障碍,IBM SVC虚拟化产品可以在虚拟层进行数据迁移,消除过去数据迁移的逻辑隐患。同时它能灵活扩展存储空间,在业务峰值时段灵活调配存储资源,有效降低服务器和存储成本,实现资源的最大利用率。”
目前,SVC的优势逐渐显现出来。朱敬表示:“SVC在项目中正在处于稳步成长期,SVC性能稳定、灵活,效率高、总体投入成本相对较低。未来,我们会逐渐把更多主营业务全部转移到SVC存储产品上,逐步实现云存储,最终实现按需分配的美好愿景。”
朱敬透露说,他非常关注云计算和云存储的发展,并做了很多工作,而实施SVC是其中重要的组成部分。他表示,目前盛大在线在这方面还处于开发阶段。
朱敬在就职盛大在线CTO之前,曾在美国雅虎工作8年多,先后负责雅虎邮箱的技术和业务,以及广告业务(非搜索上下文匹配业务)。在他负责雅虎邮箱业务期间,雅虎的邮箱成长为全球第一品牌。这些背景和经历使朱敬对目前在美国已经流行的云计算和云存储有一个较全面的了解和认识。他认为,在美国,亚马逊、Google、Facebook等都是最主要的、成功地对外提供云存储的厂商,在它们上面有很多游戏开发商或创业型的公司。这些公司人员少,没有IT的技术能力,也不可能去购买大量的服务器和存储,他们更多地是采用亚马逊或Google的云计算、云存储的功能来帮他们起步,用最低的开发成本把他们的应用推出去,并能在成功后继续通过亚马逊或Google对存储进行扩容,而不需要一开始就买一大堆服务器和一大堆存储放在自己的机房里。
朱敬认为,云计算相关的业务是今后IT业迅速发展的一个方向,不仅在美国,在中国也会非常流行。这也是盛大在线今后希望提供的服务,即通过盛大在线的开放平台,为中国的中小企业、创业公司提供云计算、云存储服
务,帮他们实现梦想。
链接
虚拟化技术SVC五大特点
IBM虚拟化技术最早是在主机上实现的,之后延续到了服务器和存储设备上。目前在存储虚拟化方面,IBM采用的是基于SAN的方式,在交换机层面实现虚拟化。在磁盘虚拟化中,不同厂商一般采用不同的方式,而基于SAN是目前主流的虚拟化方式。SVC(SAN Volume Controller)就是IBM主打的产品,有以下五大特点。
IBM在构建动态的虚拟存储架构中,首先是利用SVC在物理磁盘和服务器之间构造了一个虚拟化的存储环境,将不同的磁盘系统组成了一个大的存储池,其中包括所有IBM不同系列的磁盘阵列以及非IBM磁盘阵列,目前可支持120种第三方磁盘阵列。
其次,虚拟化存储解决方案提供了单一的管理平台,从一个点管理所有存储系统,根据应用的需要进行动态分配。
第三,在虚拟化环境下提供了一套拷贝系统,适用于所有存储系统,这一般是高端磁盘阵列才具备的功能。
第四,在云计算虚拟化存储架构中,有一点非常重要,就是存储的改变不会影响应用,SVC就可以做到这一点,后端存储的变化不会影响到前端的任何应用。
虚拟存储 篇4
关键词:云存储,虚拟化,网络,安全
一、引言
云存储是以存储设备为核心, 通过应用软件对外提供数据存储和业务访问服务[1]。云存储安全的关键技术研究中, 又以虚拟化安全技术和存储网络的安全技术为研究核心之一。
二、云存储技术之虚拟化的安全
虚拟化技术在逻辑上分离了物理设备与操作系统和应用软件, 基于虚拟化的计算资源调配可使有限的硬件和软件资源按需重新规划分配, 灵活扩展硬件容量, 简化软件配置和资源的访问与管理, 提高硬件与软件的综合效率和应用能力[2]。
基于虚拟化的云存储应用环境中, VM Hopping可以访问被接入宿主机的存储和内存;VM Escape攻击可获得Hypervisor的访问权限, 从而对其他虚拟机进行攻击[3];通过管理平台进行跨站脚本攻击、SQL入侵;拒绝服务攻击会获取宿主机资源, 造成系统拒绝客户所有请求;Rootkit能够获得Hypervisor的管理员级访问控制权, 进而取得整个物理机器的控制权[4];在虚拟机迁移过程中, 随着虚拟磁盘的重建, 攻击者可改变源配置文件和虚拟机特性[3];虚拟机的镜像安全漏洞、生命周期的复杂性和故障会导致其承载的数据和服务不可用和控制难度。
因此, 可以将所有虚拟机全部安装防毒软件或杀毒软件;提高容错监视服务器的利用率, 避免服务器过载;在数据库和应用层之间设置防火墙, 防止虚拟机溢出;使用可信平台模块;为虚拟服务器分配独立硬盘分区, 并使用VLAN技术和网段划分, 对虚拟服务器逻辑隔离;使用VPN在虚拟服务器间通信;按计划备份, 进行虚拟化的灾难恢复;监测分析网络流量确保存储网络安全运行;通过可信第三方机构的安全认证和监管。
三、云存储的安全网络
云存储服务的应用中, 其网络防护不当会导致用户私密数据被非法访问;云存储网络应用在服务提供商的控制下, 用户无法通过网络监管自己的程序和数据的使用情况;网络传输协议和数据移动过程容易被窃听和分析;云存储服务平台中的软硬件故障和其他灾难会导致服务的异常终止和数据丢失;云存储集中存储的大量数据容易引起攻击者的注意;基于虚拟化技术的访问控制、认证和授权的实现更为困难;云存储中大量廉价计算资源和数据资源可能成为攻击者的工具。
由虚拟机监控器实现基于存储区域网络及应用层的域分割为寻址提供了逻辑隔离, 可以在虚拟的网络域执行全面的状态监视以及其他网络安全监测;如能承担足够资源开销, 可由服务提供商完成网络访问控制和安全防火墙服务;使用SSL、IPSec、数字签名等技术对传输中的数据进行有效加密;选择使用安全传输协议;加强安全日志审计和应用基于网络的入侵检测和防御系统;及时修补虚拟机实例配置和迁移中的管理漏洞和补丁;实现存储网络信任边界的通信控制;限制访问管理程序及其他虚拟化层面;阻止所有到虚拟服务器的端口;限制应用程序栈功能, 加固镜像, 限制主机所有攻击面;防止未授权访问;在镜像中除解密文件系统的密钥外, 不包含其他身份认证作证[5];保护访问主机私钥, 从数据所在的平台中隔离密钥;关闭不必要的服务。
四、结束语
随着云服务层次的提高, 基于云存储的虚拟化安全技术与网络存储安全技术为云存储的发展提供了有效的保障。研究可信的虚拟化云存储将是提高云存储服务的主要方向之一。
参考文献
[1]黄晓云.基于HDFS的云存储服务系统研究.大连海事大学.硕士论文.2010年6月
[2]黄振华.基于云计算的虚拟化存储技术研究.硅谷.2012年第20期.24, 71
[3]房晶等.云计算的虚拟化安全问题.电信科学.2012年第4期.135-140
[4]Hanqian Wu, Yi Ding, Winer Chuck, et al.Network security for virtual machine in cloud computing.Proceedings of 5th International Conferenceon Computer, Sciences and Convergence Information Technology (ICCIT) .Seoul, Korea.2010.18-21
虚拟存储 篇5
新疆油田公司是新疆油田中国西部最大的石油生产企业,隶属于中国石 油天然气集团公司,主要从事准噶尔盆地及其外围盆地油气资源的勘探开发、集输、销售等业务。
新疆油田是新中国成立后开发建设的第一个大油田,原油产量居中国陆上油田第四位、连续25年保持稳定增长,累计产油2亿多吨。原油年产突破1000万吨,成为中国西部第一个千万吨大油田。
当前,新疆油田的发展目标是数字油田、绿色油田、人文油田,其中数字油田就是实现管理现代化、达到管理系统化、生产自动化、信息网络化、分析智能化。公司领导历来十分重视信息化建设,加大了在信息方面的投入,经过信息化持续建设,于12月31日实现了数字新疆油田。
两个数据孤岛
自20以来,新疆油田的信息化建设取得了长足进展,确立了“急用先建、边建边用、建用结合、以用促进”的工作思路,建立了由决策层、管理层、执行层和支撑层构成信息化管理体系,成功研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台。
,在《油田公司数据中心软件建设规划》指导下,油田公司数据中心软硬件建设取得了长足进展,先后购置了1台容量为6TB的HDS9585数据存储和3台Sun E4900数据库服务器,实现了中心数据库集群,数据处理能力达64个CPU和128GbMEM,公司勘探、开发、经营、管理数据已实现集中管理。
数据中心的硬件架构为SAN架构,且以数据存储为中心,所有系统都从HDS9585存取数据,服务器自身没有数据存储硬盘。目前,有10台服务器数据存储在HSD9595上,共有近70套应用系统从这些服务器上提取数据。HDS裸存容量为6TB,系统做了RAID和热备后可用容量为4.5TB,存储空间已经分配完毕,没有剩下多余的空间。
另外,由股份公司组织实施的地球科学与钻井系统和上游生产信息系统,由6台套设备组成,总价值超过3000万元。A1A2系统架构也是SAN架构,以EMC CX700数据存储为中心,所有系统皆从EMC CX700存取数据,服务器自身没有数据存储硬盘,目前有15台设备连接到该存储系统上,A1A2系统也从该存储上存储数据。EMC CX700裸存容量为24TB,系统做了RAID和热备后可用容量为16TB,存储空间也已分配完毕,已经没有剩余空间。
整体而言,目前油田公司数据中心存储设备共4套,除了容量为6TB的HDS9585和容量为24TB的EMC CX700外,还有一套IBM3584自动带库和一套IBM3494自动带库。由于HDS9585和EMC CX700分属不同的存储厂商,因而形成了两个数据孤岛,资源不能互通和有效利用,同时为系统的维护管理、性能优化、故障排查、数据迁移、容灾备份等都带来了不便和困难。
集中管理“六大原则”
最近,新疆油田公司收集整理了过去五十年以来的油田生产数据,目前公司拥有78TB海量数据,各类应用系统120套及强大的数据库服务器公司和应用服务器。为了实现油田数据的共享,充分发挥数据在油田各行业的作用,各二级单位数据和应用需要逐渐实现集中管理,需要对现有资源进行整合。
但是,目前的数据资源呈现两个孤立分散的岛屿,如何通过技术途径把两者整合到一起,形成一个统一的数据资源池,成为新疆油田现实而迫切的考量。
由于HDS9585和EMC CX700存储设备相互独立,并且各个系统发展不均衡性,导致某些系统建设之初规划了很大的容量和很高的性能,但是实际运行过程中却没有那么大的需要。如中心集群数据库建设之初规划了2TB,但目前只使用了822Gb,未来3年可能使用2TB,A1A2系统中LMK项目环境服务器规划了6TB,未来3年实际可能使用1.5Tb;而另一些应用建设之初却是陷入了容量和性能不足的困境,其他系统有富裕的资源却不能拿来使用,导致HDS9585存储必须升级扩容而EMC CX700存储资源却被闲置的局面,各存储资源不能做到统一规划,协调利用。
因此,油田公司需要建设一套集中统一的高性能高可靠性的存储平台。新平台必须能够对原有的异构存储环境进行整合,能够将原有的存储设备作为新存储平台的外部存储设备,使新的存储设备和原有的存储设备形成一个统一完整的存储池,由新的存储设备进行统一管理,最大限度发挥原有存储资源的再利用能力,
新的平台能够提高原有存储环境的整体运行性能,整个存储环境对各个业务透明,存储平台可以根据各个业务的特性和需要,灵活的分配存储容量、处理能力等各种资源,确保关键业务的稳定可靠运行。同时借助新的存储平台,存储设备能方便扩容,各个存储设备能够方便进行无缝的数据迁移,并且实现集中的存储备份和未来的容灾需要。
应该说,存储整合为油田公司数据的大规模集中奠定了基础,所以对整合后存储的性能、安全性、容量动态分配等指标提出了很高要求,因此在整合过程中,需要着重考虑以下六大原则。
平台整合:整合不但要满足数据中心目前和未来开展油田公司数据中心集中存储需要,还要对已有系统的存储环境进行最大限度的整合,实现服务器的集中访问、数据资源的集中存储和处理、存储设备的集中管理和维护。
高性能:新的存储平台整合了所有的应用之后,必须具备强大的处理能力,能够消除原有存储设备的性能瓶颈。
可扩充性:在系统设计时应充分考虑可扩充性,从而确保新功能、新业务的增加在原有的系统平台上扩展和实现。
高可靠性:存储平台具有高可靠性,支持服务器平台的高可用性集群技术;具备先进的容灾的设计;充分保证系统的高扩展能力和高容错能力,具有通道负载自动均衡能力和存储系统性能调节能力,提供极为充分的可靠性各项指标设计。
高可用性:在尽量不停存储和其它应用系统情况下,实现扩容、维护、升级等服务,提高性能以满足新的业务需求,具备7×24连续工作的能力,系统的可用性应能达到100%,可以实现磁盘数据的在线不停机备份。
可管理性:要求配置实时性能监测管理软件。可对CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控、管理和调配。
技术先进性:系统设计采用当前先进而成熟的技术,不仅可以满足现实工作的需求,也应把握未来存储整合的发展方向。
“虚拟化”整合
基于以上要求,新疆油田采用了HDS的TagmaStore NSC55 网络存储控制器或Universal Storage Platform. V作为数据中心存储整合的核心设备,同时,配合 HDS的存储管理软件、数据快照镜像软件形成一套完整的存储整合解决方案。由于该存储系统具备嵌入式虚拟化功能,因此可以不依赖于外部交换机、设备或基于主机的软件,支持异构存储。
项目采用了存储区域网——SAN 架构进行整个存储系统的建设,整个存储网络将分为服务器层、网络交换层和集中存储平台三个层次。
服务器层:需要对现在油田公司数据中心各个业务系统的服务器进行改造,增加光纤通道主机卡——HBA,使这些主机具有访问存储网络的能力;为保证链路的冗余消除单点故障,每台主机最少配置2块HBA卡;对于那些业务特别繁忙的主机系统可以配置更多的HBA卡和多路经管理软件以实现O/I负载的均衡分配。
网络交换层:采用Brocade企业级大吞吐量的SAN交换机,保证服务器和外部存储设备到网络存储控制器的高速连接,本期配置32个4GB光纤端口。
集中存储平台:这是本次存储整合系统建设最核心的部分。在采用HDS TagmaStore USP V网络存储控制器的同时,为其配置1块前后端混合处理板,提供16个4GB的前端主机接口和8个后端磁盘接口,为其配置5GB控制缓存和16GB数据缓存,在其内部配置20块300GB FC磁盘共计6TB裸容量,作为整个集中存储环境的基础。
对于油田公司数据中心正在使用的HDS 9585和EMC CX700等设备,则通过SAN交换机直接连接到USP V的后端,作为它的外部存储设备,通过HDS UVM通用卷管理软件,可以把外部存储设备的逻辑卷直接映射到USP V上去,由USP V统一管理和使用,而对前端服务器来说所有的工作都是透明的。
通过USP V的存储整合,整个存储平台提供给服务器访问的是由USP V统一管理的存储空间,存储容量包括6Tb 的USP V内部容量和30TB外部容量,最大限度的保护了油田公司的投资。而且,未来可以根据各个业务的繁忙程度、数据量增长情况、性能需求等灵活地进行存储资源的再分配,实现数据分级存储和应用优化存储。
由于采用USP V进行了存储环境的整合,就可以通过USP V对原来异构的存储设备进行集中的数据备份和容灾。现在备份中心用IBM 3494作为近线备份设备,用AMS 200作为远程实时数据备份的存储设备,将AMS 200通过油田公司已有的光纤链路直接连接到数据中心的SAN交换机上,并且将 AMS 200 也作为USP V的外部设备来管理和使用。
IBM借虚拟化打造绿色存储 篇6
尽管存储虚拟化提出的时间比服务器虚拟化还来得早,但一直以来,存储虚拟化由于标准问题,发展速度反而不如服务器虚拟化。针对这一问题,近日,IBM在京召开“SVC五周年庆典暨新品发布交流会”,正式推出了新一代IBM System Storage SAN卷控制器(SVC)4.3版本,打破了多年来在存储虚拟化产品采用上对于厂商的局限性。
SVC是一个基于网络的虚拟化设备,旨在将多个存储系统的存储容量集中在一个SAN中,并能够动态地移动和复制数据。IBM自2003年5月推出首款代号 “魔法石”的SVC产品,在随后的5年间经过不断升级优化,最终成为在存储虚拟化领域的成熟产品。截止2008年7月,IBM SVC的客户量已经超过4000家,售出了1.2万多个引擎。
据IBM系统与科技事业部大中华区产品部总经理侯淼介绍,新的IBM System Storage SAN卷控制器(SVC)4.3版本能够在整个企业创建整合的虚拟资源池,帮助IT部门更快速地响应客户需求并实现资源的集中管理,从而显著提高IT基础设施的灵活性和响应能力。
除帮助客户建立更加节能的数据中心之外,IBM的存储虚拟化解决方案最为突出的特点,还在于帮助用户打破了多年来在产品采用上对于厂商的局限性。客户不必拘泥于如EMC、HP或日立等某个厂商的存储产品,通过IBM SVC,客户可以任意组合来自EMC、IBM、HP、日立及其他厂商的存储设备,轻松实现虚拟化,并对设备进行管理和部署,获得前所未有的灵活性和独立性。
存储虚拟化技术应用浅析 篇7
(一)存储虚拟化概念
存储虚拟化是指通过对存储系统或存储服务的内部抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。存储虚拟化是抽象底层硬件,简化相对复杂的底层基础架构的技术。它的核心就是将存储资源的逻辑映像和具体的物理存储分开,超越单独物理设备界限,整合众多的物理及虚拟资源,从而为系统和管理员提供一幅简化、无缝的存储资源虚拟视图。具体来说,就是将多个存储资源用一定手段集中管理,建立异构环境下的虚拟化存储管理系统。对用户来说,存储资源虚拟化后就像是一个巨大的存储池,用户不会看到具体的磁盘、磁带等资源,不直接与存储硬件打交道,也不必了解自己的数据经过哪一条路径到达那一个具体的存储设备,从而简化了存储的管理。
(二)存储虚拟化特点
1.提高存储资源利用率。存储虚拟化技术通过把存储区域网(SAN)内不同级别的存储资源虚拟化,建立不同级别的存储资源池,实现了复杂存储网络资源的统一管理和配置,对存储资源的划分与调度更灵活,实现了存储空间的资源共享、集中管理、统一分配,提高了存储利用率。
2.确保应用的高可用性。重要业务系统对数据访问的性能、安全性、连续性要求极高。存储虚拟化技术通过虚拟存储控制设备的高速大容量缓存及条带技术提高数据的安全性及访问性能,通过卷管理功能实现数据的在线迁移,完成数据分级存储及数据中心的远程灾备,确保业务系统连续性。
3.简化异构环境下的存储管理。一体化的存储管理减少了系统的复杂性,打破了不同存储供应商之间的界线,屏蔽了底层的物理设备,降低对厂商的依赖性,对不同厂家、不同型号的各类存储产品进行统一管理,降低直接管理的设备数量,简化了存储网络架构和存储管理员的日常管理任务,降低了存储资源管理成本。
4.良好的易扩展性。存储虚拟化具有优秀的扩展能力,新设备加入、老设备淘汰等维护操作均可在线进行,从而把核心业务数据无缝迁移到升级后的高性能设备上,不会影响业务的正常运行。
(三)存储虚拟化的实现
存储虚拟化按照实现层次划分可以分为主机级虚拟化、存储子系统级虚拟化、网络级虚拟化。
1.主机级虚拟化是指虚拟化层在主机级别上实现,也称为逻辑卷管理。通过在主机上安装虚拟存储软件模块,将连接主机的磁盘阵列映射成虚拟逻辑块,再将磁盘上的物理块映射成逻辑卷号,作为基础存储单元提供给应用程序使用,实现各物理存储体的集成映射。主机级虚拟化实现比较容易,目前主流服务厂家都有自己的虚拟化卷管理软件,比如Sun,HP,IBM等公司都开发了基于自己操作系统的卷管理软件,实现了大容量、冗余保护的逻辑卷的生成与扩展。它的缺点是兼容性和扩展性较差,调度工作会对主机性能产生一定影响。
2.存储子系统级的虚拟化是指将虚拟化层放在存储设备的适配器、控制器上实现,通过多个RAID子系统和I/O通道连接到主机上,由控制器提供逻辑单元访问控制等功能。它更适用于以存储为核心的环境。缺点是不同存储供应商之间标准不统一,如果没有第三方软件,一般只能提供一个不完全的存储虚拟化解决方案。
3.网络级虚拟化是指在主机和阵列间的存储网络层引入虚拟存储管理设备,通过在SAN这一级采用智能化的路由器、交换机等来实现虚拟化的工作。它能将不同厂家、不同型号的存储子系统整合并集中管理,是真正意义的虚拟化。按照虚拟化存储的拓扑结构来分,网络级虚拟化可以分为:带内虚拟化(对称式)、带外虚拟化(非对称式)。带内虚拟化存储技术是指虚拟存储控制设备、交换设备及存储软件系统集成为一个整体,内嵌在网络数据传输路径上。这种方式中所有数据流均通过虚拟存储设备,有良好的互操作性、易实施性和安全性。它的缺点是由于所有数据均需通过虚拟存储设备,当管理的设备越来越多时,虚拟控制设备可能会成为性能的瓶颈。带外虚拟化存储技术是指虚拟存储控制设备独立于数据传输路径,原数据和存储数据在不同的数据通路上传输。它的优点是主机直接与存储资源进行数据交互,数据流不通过虚拟存储控制设备,性能和存储区域网络没有太大差别,扩展性好。它的缺点是每台设备均需安装客户端程序,实施难度较大。
二、存储虚拟化技术在支付清算系统中的应用
(一)支付清算系统介绍
支付清算系统是中国人民银行根据我国支付清算业务的需要,利用现代计算机技术和通信网络自主开发建设的,能够安全、高效地处理各银行间异地、同城支付清算业务的公共支付清算平台。自2002年大额实时支付系统试点上线以来,经过十多年的发展,人民银行已陆续开发建设了包括大额支付系统、小额支付系统、支票影像系统等六大业务系统及多个辅助类信息系统,形成了较为完善的支付清算服务和公共支付清算平台。
(二)支付清算系统城市处理中心存储改造前情况及存在的问题
人民银行支付清算系统包含国家处理中心(NPC)、城市处理中心(CCPC)、商业银行前置系统(MBFE)三级结构。作为中间结点,CCPC上联NPC、下联MBFE,在支付清算系统的地位和作用是非常重要的。CCPC对业务数据的安全性、可靠性、连续性要求极高。
伴随着支付清算系统的建设发展,CCPC的存储设备不断增加。在改造前,CCPC各业务系统数据分别存储在IBM DS5100、HDS ASM200、HDS ASM2500三台存储设备上。存储设备均为各系统专用设备。各存储设备虽配备双电源模块、双控制卡,但均为单机运行,且设备上线时间、处理能力各不相同。
存在的问题:一是存储设备无冷热备方案,存在单机运行风险。二是存储设备资源为各业务系统独占,无法实现共享,存储资源利用率低、浪费严重。三是存储设备较多,管理复杂。四是部分存储设备运行多年,设备在性能和稳定性方面不能满足业务系统的高效、高可用性的需求。五是存储系统架构落后,扩展性差,不能满足未来业务系统发展的需要。
(三)存储虚拟化技术的实现
1.存储虚拟化方式选择
根据业务系统需求并结合未来的发展,CCPC存储虚拟化改造选择了当今较为流行的带内网络存储虚拟化技术。该技术可以解决CCPC目前存储设备单点故障和结构优化问题,对三个异构的存储设备资源进行整合,提高整体利用率,简化设备管理,提高主机性能。
网络存储虚拟化技术具有代表性的产品就是IBM SVC(SAN volume Controller)。IBM SVC提供独特的VDisk mirror功能,通过数据级镜像实现不同存储设备间的同步复制功能,从而实现存储的高可用性,并通过卷镜像功能可在不同的存储系统上存储两份卷副本。在阵列发生故障或进行维护时,SVC会自动使用仍然可用的任一数据副本。IBM SVC是整个SAN网络的中心控制点。它通过虚拟化技术将存储智能加入到SAN的网络中,将各种存储设备进行整合,消除异构平台所造成的信息传递壁垒,实现随需应变的存储体系,极大地提高现有存储资源的利用率,并减少额外的存储需求。
2.存储虚拟化方案设计实现
在CCPC存储虚拟化方案设计时,主要针对目前的存储资源使用情况、连接方式进行了认真分析。根据现状分析和未来发展需要,制定CCPC改造方案。方案采用SVC虚拟化三个存储设备,通过一个登录点(IE浏览器)对三个存储设备进行统一管理。为了提供存储虚拟化的高可用性,SVC节点配置为双节点(node)构成一个cluster,每一个node连接到独立的UPS单元。通过IBM SVC存储虚拟化设备,利用VDisk mirror功能,将DS5100、ASM200存储设备进行虚拟化并将数据镜像到ASM2500存储内,将ASM2500存储设备进行虚拟化并将数据镜像到DS5100存储内,从而实现生产数据在两台存储内的双份拷贝,确保生产数据的高可用保护,保证生产数据7*24小时在线可用。以下是改造后的拓扑结构图。
摘要:随着IT技术的发展,信息系统数据量也在不断增长,数据信息的可靠性要求也越来越高。存储虚拟化技术通过对不同存储硬件资源抽象化,屏蔽底层系统的复杂性,为业务系统提供了一个可靠的、透明的、易扩展的存储系统。本文介绍了存储虚拟化技术的概念、特点,并结合实际应用对存储虚拟化技术进行了讲解。
虚拟存储 篇8
关键词:网络数据,存储技术,虚拟,发展趋势,应用前景
众所周知, IT行业和网络技术快速发展, 用户对高性能网络数据存储要求也不断提高, 确保网络数据储存的完整性、安全性、一致性和可靠性也成为人们关注热点, 尤其是集中访问、处理、保护不同主机不同数据都需要借助网络存储技术来实现。然而实际工作生活中难免出现各种数据储存灾难, 如普通文件损坏, 病毒感染, 黑客攻击等等, 这都会给用户带去困扰。因此各大企业都必须要做好其数据储存和备案恢复工作。下面笔者以网络存储技术为对象展开讨论。
一、网络存储技术简述
所谓的网络存储技术, 就是指基于网络数据存储的一种通用术语, 当前网络存储主要包括三种结构, 也就是直连式存储 (DAS) 、网络存储设备 (NAS) 以及存储网络 (SAN) 。DAS是计算机系统中最为常用的数据存储方法, 该存储设备借助电缆与计算机主机系统直接相连。一般多个服务器采用DAS存储方法初始费用较低, 然而使用过程中不同服务器/PC都单独有各自存储磁盘, 其容量再分配和整体存储系统管理困难, 导致其整体拥有成本高。NAS是一种集中数据管理的专用数据储存服务器, 其将众多独立分布的数据有效整合成集中化的、大型的数据管理中心, 这样更方便处理不同主机和服务器的访问。可以说这种处理技术和方法能够释放宽带, 降低其拥有成本并提高其使用性能, 不论是效率还是成本都远远优于服务器存储。SAN则是基于Fibre Channel技术上, 并支持众多高级协议 (如HIPPI/IP/ATM/SCSI/IPI) 的, 以ANSI为网络, 通过I/O接口建立的标准集成, 其最大特点就是能隔离网络设备的通讯协议和传输物理介质, 也就是这种技术能够实现同一物理连接同时传输多种协议, 同时其存储体的高性能和单I/O接口的网络宽带也能大大简化系统复杂性, 能有效降低系统成本。
二、网络存储技术的发展趋势
根据上文阐述, 分析比较可以得知不同存储结构和方法都各有优势, 小型服务集中的商业企业则比较合适采用简单的DAS方法;服务器少并有一定数据集中管理服务的中小型商业企业则比较适合采用NAS方法;大中型商业企业则可以采用SAN或者i SCSI方法, 当然如果企业存储服务器集中, 系统性能要求高则比较适合SAN。
随着网络存储技术的不断进步和发展, 数据存储结构也日益复杂, 鉴于市场缺乏如同网络一样的标准分层, 不同网络厂家企业的产品和处理模式之间都存在兼容问题, 虽然实际存储结构化一定程度上改善了存现设备异构状况, 然而存储设备的日益更新, 不同存储产品、存储网络设备和结构的互相操作就是很明显的难题, 因此数据存储一定程度上朝着结构化发展的同时, 应该也着力解决其存储系统统一标准问题。此外, 为了有效简化储存设备安装及配置, 储存技术的虚拟化就应运而生。虚拟存储就是介于物理存储设备和用户之间的, 能够屏蔽设备物理特性的中间层, 其呈现给用户的逻辑地质空间对用户而言, 就如同计算机系统含有超容量的主存储器, 可以说这种虚拟化存储管理就更加简单有效, 较其他网络数据存储优势极为明显。
三、存储虚拟化技术的应用及前景
据上文所述, 存储虚拟化是对存储服务系统内部抽象隐藏或隔离, 使得其存储数据管理应用、服务器、网络资源等管理分离开来, 从而有效实现数据应用和网络的独立管理。使用该虚拟存储系统, 用户不接触存储硬件、具体磁盘或者磁带, 不必了解所需数据传输途径, 大大简化了存储数据系统的管理, 因此可以得出虚拟存储技术明显提高了存储资源的利用率, 具备良好的高扩展性和使用的安全可靠性, 大幅度提高管理人员工作效率。鉴于其应用管理和成本方面的显著优势, 存储虚拟化技术在相关领域都有着很好的应用和前景。例如, 存储虚拟化技术在中国人民银行的支付清算系统中就有着良好的应用。中国人民银行开发的安全、简单高效处理异地、同城银行之间支付清算服务的公共支付清算平台在使用运行过程中对其城市处理中心CCPC存现设备要求日益提升, 鉴于其存储设备无法共享, 资源利用率低、设备管理多且乱, 运行稳定性不足, 存储系统架构和扩展性落后, 无法跟上时代和市场业务需求, 因其CCPC的存储虚拟化就势在必行, 该银行选择了市场潮流的带内网了存储虚拟化技术充分改善了其以往CCPC结构优化和设备点点故障等问题, 充分整合了银行国家处理中心、CCPC和商业银行前置系统等三个异构存储设备资源, 大大提高主机性能和服务效益。网络存储虚拟化技术最具典型代表的就是IBM SVC, 其具备独特的VDisk mirror功能, 从而有效实现不同存储设备同步复制, 充分消除异构平台信息传递壁垒, 显著提高了存储资源的利用性和可用性。此外, 我国电信存储设备的虚拟化技术也已经得到了广泛的应用。因此不难得出存储数据虚拟化技术拥有着良好的发展空间和平台, 其应用前景十分看好。
四、结束语
一言以蔽之, 当前网络数据存储和管理已经不断朝着云存储和虚拟化方向前进, 其分散处理模式还能够强化其备份援助作业, 能够大大降低其运行成本, 一旦设备发生区域性灾难, 也能够轻易将IT转移。可以说, 虚拟存储技术和云存储技术中不论是分散式快取协调技术、I/O路径整合优化, 还是重复资料删除备份都能够有力提高企业信息整体结构和数据管理价值, 其存储、管理和保护分析资料信息功能在未来企业数据应用管理领域前景十分广阔。
参考文献
[1]吴桂华.探讨几种常见的网络存储技术及其发展趋势[J].中国科技纵横, 2012 (19) .
基于云计算的虚拟化存储技术研究 篇9
1 云计算概念及技术组成分析
1.1 云计算的概念简述
云计算是随着现代信息技术的不断发展,逐渐在现代信息技术领域出现的一个新热门概念,它从狭义范围上讲,主要是指一种动态的、同时容易进行扩展的、并且多是通过互联网提供的虚拟资源进行计算的方式;而从广义上来讲,云计算又是一种将互联网作为中心进行应用服务为主的,服务用户不需要对于云计算内部细节进行了解的,也不需要具备云内部专业知识,或者是云内部的直接控制基础设置的一种计算用户应用服务。广义上的云计算应用服务的类型,主要包括基础设施服务、软件服务以及平台服务等依赖于互联网的按照用户需求定制的各种服务类型。
1.2 云计算的组成与核心技术介绍
通常情况下,在信息技术领域中,云计算系统是一种以层次化为主的架构形式,主要分为六个层次,包括基础设施层、存储层、平台层、应用层、服务层和客户端层等。其中,云计算系统中的基础设施层,主要就是指计算机基础设施部分,它通常是一种虚拟化的平台环境,主要用于进行用户需求服务实现。它在实际服务应用过程中,主要是在将服务器端的强大计算能力进行单位化的情况下,实现对于用户个人PC机不能实现的海量数据的计算服务;其次,云计算的存储层主要是进行数据存储服务的提供与支持实现,包括类似于计算机数据库的服务,多是根据使用的存储量作为计算的基础,既是一种云计算服务结果,同时也可以作为数据存储服务;再次,云计算的平台层主要是进行计算平台与解决方案的服务实现;云计算应用层面主要是利用云计算的软件结构,不通过客户个人计算机安装进行运行服务;云计算的服务层是云计算的本质体现,它主要就是在基于互联网信息技术以及资源基础上,进行更好服务的提供实现;最后,云计算的客户端,也是云计算结构层的重要组成部分,进行简单消息以及相应界面显示任务的承担实施。
通常情况下,云计算所包含的核心存储技术主要包括虚拟化存储技术、高性能存储技术和分布式计算存储技术等。
2 云计算中的虚拟化分析
在企业信息化平台与系统建设过程中,数据中心建设一直是信息化平台建设的重心和关键,尤其是随着信息化建设在企业管理应用中的越来越多,进行数据资源的高效利用以及灵活配置,已经逐渐成为企业信息化平台建设的重中之重。虚拟化概念以及技术就是在这样的背景与情况下,逐渐引入产生的。虚拟化技术以及概念在云计算中的应用实现,不仅很大程度上简化了信息资源管理的复杂性,还实现了信息资源的优化配置,对提高信息资源的使用效率,具有很大的积极作用。同样,在云计算服务中,如果将虚拟化技术作为云计算的一种服务形式,进行用户服务提供,对于提高用户计算能力与服务质量水平等,都有着积极作用。
通常情况下,云计算中的虚拟化主要是指把物理资源经过抽象化的方式转化成为一种虚拟资源,而对物理资源的抽象化转化方式,主要是跟虚拟资源转化的实现方式以及地理位置、底层资源等相关的物理配置有很大的关系。进行虚拟化后的资源,可以通过有限的硬件以及软件资源重新进行规划分配,对于扩大硬件容量以及简化软件配置、资源访问管理等,都具有积极的作用和意义。云计算中的虚拟化应用技术,主要是通过使用虚拟机的监视器以及硬件通信设置,通过虚拟系统架构,在物理资源与操作系统之间进行操作转换,以实现虚拟资源的访问控制与管理。
3 基于云计算的虚拟化存储技术分析
基于云计算的虚拟化存储技术的实现,是在网络新技术以及产品不断发展的背景下,数据存储需求与存储系统存储空间之间的矛盾日益显现的情况下,为了提高数据资源的使用与存储效率,逐渐进行研究实现的。云存储是一种通过集群技术、网络技术和分布式技术等技术手段,把互联网中不同的数据资源存储设备,利用软件技术集合在一起进行工作的运行服务,以便于用户进行数据存储以及访问管理的系统,它对于数据资源的存储方法、空间维护、建设成本等问题,都有很好的解决方案。云存储过程中,应用的技术主要包括最开始应用的直连式存储技术,以及随着网络存储技术的发展应用,先后出现的网络连接存储、区域网存储和基于IP的存储等各种不同存储方式技术,在实际存储应用中,具有各自不同的特征优势。
4 结论
总之,进行基于云计算的虚拟化存储技术的分析研究,不仅是顺应信息技术发展研究的重要趋势,而且对于提高云计算存储服务,推进云存储研究发展等都具有积极的作用和意义。
参考文献
[1]吴吉义, 章剑林, 傅建庆, 平玲娣.基于Kademlia的云存储系统数据冗余方案研究[J].电信科学.2011 (2) .
[2]王昊鹏, 刘旺盛.虚拟化技术在云计算中的应用初探[J].电脑知识与技术, 2008 (25) .
虚拟存储 篇10
关键词:存储虚拟化,原理,实现
随着科学技术的迅猛发展, 使人们进入到信息化时代, 人们在日常生活中接触到的信息越来越多, 信息的获取手段也越来越先进, 数据信息的指数级不断增长, 各行各业建立了专门的数据中心, 面对海量的信息, 加强对信息的备份和处理成为当前迫切需要解决的问题。信息存储技术手段的不断完善, 使信息处理方法日渐完善。
1 存储虚拟化原理分析
1.1 分布式集群技术
分布式集群技术主要是指在集群环境中, 对存储管理内容进行备份, 充分运用分布式集群技术去解决负载均衡问题。在分布式集群中常会遇到互斥、死锁或饥饿现象, 由于操作系统无法掌握分布式集群当前的所有进程状态, 需要通过观察本地系统上的进程来了解当前的信息状态。分布式快照算法是分布式集群技术中的一项重要方法, 能够确保数据信息的可靠传输, 需要对进程的全过程进行控制, 通过发动标识的形式来启动算法, 按照进程P的步骤执行各项计算工作, 进程P的主要执行步骤为:第一步, 运用P来记录本地状态Sp。第二步, q到p的通道状态在p上将会显示为空。第三步, 运用p对所有的流出通道贴上广播标识。待这些步骤完成后, 才可在p上进行信息的发送和接收。分布式快照算法作为一项集中式算法, 在实际的应用过程中展现出了较强的灵活性特点, 适用于任何的分布式环境[1]。
1.2 存储空间映射技术
一般的虚拟化网络存储系统主要由磁盘阵列、直接存储和网络存储系统结构等几个方面的内容构成, 作为一个大型的网络存储系统, 能够确保抽象拓扑结构的统一性。系统主要是由虚拟存储服务器、上层客户端应用和虚拟存储节点子系统等方面的内容构成, 在应用过程中, 上层客户端通过向系统提出请求的形式, 与存储子系统建立密切的联系, 彼此展开交互式的工作, 展现出了系统数据的维护和查询能力, 为用户与存储设备之间的对话提供了有效的连接手段。在虚拟网络存储中, 由于系统内部存在着不同的设备节点, 需要对其进行虚拟有机整合, 将运用到的设备定义为虚拟存储设备, 为用户提供服务。为了确保存储虚拟化技术的良好应用, 需要将虚拟化技术运用到客户端和服务器端上来, 为客户系统提供远程数据和元数据访问功能, 将本地的文件资料与远程系统中的文件资料有机地统一起来, 为上层用户提供了良好的服务。
1.3 带外架构模型
带外架构模型是存储虚拟化模型中的重要组成部分, 需要在存储虚拟化的过程中, 强化数据的管理和存储功能。带外虚拟技术主要是指在数据读写前完成的虚拟工作, 虚拟部分的内容通常不会在存储设备的访问路径上实现, 只能通过存储网络的形式实现。在运用带外架构模型进行存储虚拟化的过程, 需要确保同一网络中的数据流能够直接与存储设备进行交互, 有利于提升存储的性能。虚拟化控制管理存储设备在实际的应用过程中, 需要将物理存储设备做成逻辑卷的形式, 将其平均分配给各个应用服务器, 代理要想取得虚拟卷的配置信息, 需要通过虚拟化控制器来实现。应用服务在运行过程中, 要求访问“磁盘”, 需要通过请求代理的形式来实现, 将信息发送到虚拟化控制器中。虚拟化控制器需要将信息转换成物理设备的形式, 将结果还给代理, 转换后的请求信息需要通过存储网络的形式发送给存储设备, 来完成读写操作[2]。
2 存储虚拟化实现研究
SAN系统中的快照主要是指需要通过对技术的使用, 将设备中的数据定格在某一个时间点, 需要充分利用虚拟设备来完成数据的访问。传统的快照系统在实际的应用过程中, 主要是以全量拷贝的形式来实现的, 随着数据量的增多, 对数据存储技术提出了较高的要求。要想提升数据存储效果, 需要运用COW技术来提升元数据的通讯功能, 通过底层的驱动, 向网络中发送元数据请求指令, 将操作作为一个网络数据包, 待恢复快照时, 不需要全部进行拷贝, 通过将临时空间中的物理信息返回给用户的形式, 让用户感觉恢复工作是瞬间完成的。分布式快照系统是虚拟化存储系统中的核心技术内容, 主要分为本地快照和全局快照两种形式, 虚拟化卷存储架构主要是通过全局型的分布式快照技术来实现的, 虚拟化管理需要建立在对磁盘重新编址的基础上实现的, 能够为用户提供连续的磁盘空间, 减轻了员工繁琐的工作任务, 对提升存储系统的维护管理效果具有重要作用[3]。但是分布式卷管理在实际的应用过程中存在较多的问题, 由于系统具有较大的开发量, 需要通过各个系统部门和专业人员之间的密切配合来实现, 有助于确保系统的稳定性, 促进系统的改进和优化, 提升系统的应用效果。
3 结论
随着数据量的增多, 加大了数据存储器的管理难度, 通过运用虚拟化存储技术, 能够促使数据访问更具透明化。因此, 需要将存储虚拟化作为存储器管理中一项重要的技术, 构建数据存储的标准架构, 提升数据存储使用的可靠性及扩展性。高效的数据管理是数据存储工作中的一项主要内容, 对提升数据存储管理效果, 满足虚拟化数据存储的管理需要具有重要作用。虚拟存储要求运用虚拟化的手段集中管理数据存储器, 确保各模块在一个存储池中的统一管理, 给使用者提供了高数据传输和大容量的数据存储系统。
参考文献
[1]叶文伟, 袁建国.论虚拟化技术对图书馆存储管理的投资保护[J].农业图书情报学刊, 2012 (3) :178-180.
[2]汪兆来.基于存储虚拟化技术的双活数据中心医院信息系统容灾平台研究与设计[J].中国医学装备, 2015 (9) :65-68.
存储虚拟化,少花钱多办事的良方 篇11
全球金融危机致使用户的IT采购支出模式正在改变。毫无疑问,开展业务变得更为艰难了。大多数企业不得不对所花的每一分钱三思而后行,存储领域也不例外。事实上,越来越多的存储用户希望降低存储领域的IT支出。
过去儿年的IT采购为许多用户的企业留下了未充分利用的超额存储容量。就在一年前,这些企业大多都忙于展示其雄心勃勃的计划监图以提升企业的利益和优势。如今,则有一些忙于清查目前IT架构中的现有资源库存及利用模式,并希望能够利用隐性冗余资源并获得效益。目前所采用的方式的原理就是:企业尽量充分利用目前所有的资源以期安全度过经济低迷期。
想要摆脱过剩及无节制消费的时代,对许多用户来说,是时候重新审视自己所采购的IT基础设施并且寻求充分利用的创新方式了。有一个领域引起了诸多首席信息官、首席财务官和IT经理们的关注,那就是提高存储利用率。
利用率:新前沿
过去.许多公司仅仅简单地采用扩展存储硬件来满足数据量增加的需求。每当部署一个新应用程序或者业务量增加时,通常的解决方案就是购买一台新服务器或者添加更多存储空问——山于硬盘价格骤跌,人们就更容易会作出上述决定。
然而,这给许多用户的企业留下了不仅难于管理,更是花费巨大的存储基础设施。根据最新调查显示,这些规模宏大的基础设施由于是由多个供应商的各种未集成存储资源组成,因此其利用率往往只有20%-30%。
IDC指出,每额外购买一次存储阵列都会带来各种繁琐的业务费用,涉及数据保护、维护、人力资源、建筑面积、储运损耗、增长、管理、迁移和运转等多个方面。但是这并不表明企业必须停止购买存储。在许多企业,即使目前经济形势比较严峻,但是应用程序中的数据增长依然会有超过可用存储容量的危险。再加上新规章的出台以及必须加强服务水平以维持交易数量,导致存储资源的压力越来越大,像绷紧的弦一样一触即断。
相反,现在需要的是一种更理智、更明智的方式来管理存储。董事会已经注意到新存储消耗模式了。首席信息官和IT专业人员必须越来越多地提供详实可靠的预计投资回报率(ROI)分析,将最初成本和正在花费的成本都考虑在内,从而成功地申请投资资金。
据IDC分析,在整个生命周期内评估存储基础架构的运营成本优势并考虑到一般资本支出(CAPEX),比只关注“GB成本”这样的简单数据更为重要。他们认为,企业应该关注总体拥有成本(TCO),而不仅仅是资本购置成本。
随着许多企业对现有资产改变用途并且寻求对其更新增值的途径,资产回报率(ROA)正日益成为衡量业务成功的一个更重要的标准。通常按照净收人和总资产额的比例来计算,ROA可更广泛地衡量企业从投资资本中获得利润的能力。传统意义上,低利用率、过度配置、数据重复、独立磁盘的冗余阵列(RAID)管理费用以及搁置容量等因素致使资产回报率低得可怜,这也是存储受到诟病的原因之一。
如今,在追求谨慎支出以及少花钱多办事的大环境下,许多企业转向虚拟化和动态配置,以期充分利用未使用的存储资源并提高整体利用率。
虚拟化:整合一切可用资源
之前所被热烈讨论的虚拟化似乎不太好理解,诸多文章和论坛都讨论过虚拟化的优点。
简而言之,虚拟化可使IT部门整合所有资源。在这种情况下的存储就是:存储到一个无缝、敏捷的资源库中,更有效地进行分配以满足应用需求,并且在一套通用程序下进行管理。由于IT环境愈加复杂,虚拟化不再仅仅是一个进行简单整合和数据迁移的工具,它更是一个可在其优化层实施自动的基于政策、甚至基于内容的数据分配的推动因素。
通过集中所有的数据资产并提供一个单独的管理界面,虚拟化将借助利用搁置存储而帮助提高存储利用率。通过提高利用率可降低存储浪费现象,有助于企业推迟存储采购,这将显著降低资本支出和运营支出预算。
尽管首席信息官和存储管理员必须仔细权衡维护费用和更换费用,虚拟化还可让IT管理者选择重新利用那些通常完全折旧的老旧存储资产——这些资产无法满足其它领域的使用需求。更老旧的存储资产可以重新部署用于非关键数据存储或者一个分层架构的低层存储库。
虚拟存储 篇12
在传统模式下, 用户若要使用数据文档, 首先要从本地传统数据存储介质中读取出数据。存储于本地的数据文档主要是通过用户设置的账号和密码来确保其安全, 同时这种数据文档存储方式受到本地存储空间的限制, 在现有数据文档量急剧增加的趋势下, 非常不利于大数据的存储。随着网络技术的发展, 尤其是云计算的日趋成熟, 本地数据文档可上传到云服务器中进行存储, 云计算环境下基于虚拟化[1]的存储技术由此产生。
1 云计算概述
云计算[2]是使计算分布在大量的分布式计算机上, 而非本地计算机或远程服务器中。云环境下数据中心的运行将与互联网更相似, 这使得用户能将资源切换到需要的应用上, 根据需求访问计算机和存储系统。大数据必然无法用单台的计算机进行处理, 必须采用分布式计算架构。其特色在于对海量数据的挖掘, 但必须依托云计算分布式处理、分布式数据库、云存储和虚拟化技术。
2 虚拟化及存储虚拟化
虚拟化是指计算机元件在虚拟平台上运行, 提供的是对简化计算机资源的管理, 同时对已有资源作进一步优化。虚拟化的存储是通过将多个存储单元通过一定的技术进行集中管理, 而这种集中式的存储管理是通过存储池技术实现的, 该技术将提供区别于以往物理存储的大容量高速存储系统。
存储虚拟化则是将现实中的物理存储实体与处于云计算环境中的逻辑存储单元相互分离, 服务器将只分配逻辑卷进行数据文档的存储, 用户不再将其数据文档存储于具体的物理存储实体上。
随着网络技术的不断发展, 通过云计算环境中存储的虚拟化, 将计算机网络中的各个存储单元加以整合, 通过虚拟存储池进行集中化管理, 按照用户的实际需求建立相关虚拟卷, 将虚拟卷的可读写权限分配给云计算环境中的服务器使用, 既能实现统一管理又能实现存储的充分利用。
3 云计算环境下存储虚拟化的特点
云计算环境下存储虚拟化的特点如下:
(1) 集中化管理。云计算环境下的存储虚拟化通过集中化管理, 在提高存储效率的同时可极大降低使用成本。
(2) 通用性较好。云计算环境下存储虚拟化的通用性较好, 打破了存储供应商之间的界线, 对于用户来说其产品使用的选择面更为广泛。
(3) 对用户透明。云计算环境下的虚拟化存储对于用户是透明的, 用户数据文档的存储不在本地的物理存储介质上完成, 在使用过程中也不需要考虑存储容量等问题, 虚拟化的存储空间将提供近似于无限的存储空间以满足用户日益增长的数据文档存储要求, 但必须注意数据文档存储的安全性问题。
(4) 数据安全要求高。通过各种数据文档加密软件的使用, 对降低数据泄露风险能起到一定的作用, 但不可否认的是, 数据泄露远非简单的加密所能解决。云计算环境下虚拟化存储效率的提高和数据被泄露风险的增大是并存的, 用户对于非存储在本地的数据安全提出了更高的要求。
4 云计算环境下存储虚拟化的文档加密
传统的数据文档加密均采用透明加密方式[3], 对不同类型的所有数据进行强制加密, 这往往是在数据的流转过程中进行。而在其它过程中, 为了减少系统资源的消耗, 一般不使用加密, 因此其性能无法保障。
云计算环境下, 加密软件只是数据泄露防护的核心构件之一, 将所有的重任都寄托于数据加密软件, 远远达不到云环境下的安全要求。加密软件无法承担数据泄露所带来的危害, 加密软件对数据文档的加密作为第一层次防护, 只是安全管理的开始而不是结束。对于云环境下文档数据的加密, 其发展趋势主要为两个方面。
4.1 智能动态化的加解密
加密软件的加密方式可分为自动加密方式和手动加密方式。对于手动加密方式, 用户的主观性比较强, 文档内容是否需要加密是根据文档的所有者来进行判断, 在此过程中文档所有者即用户的主观性所占比重很大。而对于自动加密方式, 加密系统能自动识别出文档的具体内容并根据内容来判断该文档是否需要加密。
强制性的加密软件是根据文档的文件类型来进行加密, 它会将该类型的所有文档都进行加密而不去管该文档是否需要加密。这将导致在加密过程中消耗过多的系统资源以及在往外发送时接受者又需花费很多的系统资源来进行解密工作, 而其中有很多文档是不需要加密和解密的。
在云计算环境下, 采用手动加密方式对数据文档进行加密显然不合适, 因为云计算环境下无法保证文档在加密前不被泄露出去;强制加密方式将极大消耗云存储的性能, 该类方式也不适用云环境下的加解密。而通过自动判断文档的内容来进行加解密则是比较理想的方式, 加密软件将自动判断文档并对其中需要加密的文档进行加解密操作, 可显著提高云存储的效率。
4.2 将文档加密集成到数据泄露防护体系中
早期的加密软件是尽可能从文档的源头上加以控制, 对其进行加密从而防止数据泄密。在云计算环境下, 广泛使用基于文档特征匹配以及基于文档行为识别的内容来进行数据加密, 因而不能再使用以前的数据管理方式, 有必要采用分层架构的多重防护来对云环境下的数据文档进行加密, 而这整个过程将持续作用于文档的创建、使用、流转、存储和销毁的整个周期中, 同时加密必须结合数据的身份认证等多个功能。
随着云计算环境下虚拟存储技术[4]的广泛应用, 数据将从物理性的存储环境转换为虚拟化的存储环境[5], 进一步改变传统的数据文档存储方式, 数据文档将按照虚拟存储的逻辑方式更加透明地存储于云平台中, 完全实现数据文档资源的存储自动化。
在云计算的虚拟化存储中, 加密软件将使用B/S模式来进行架构, 加密过程不在物理位置上完成而是在云环境中完成, 而这将极大减少物理主机的系统资源消耗。虚拟化的存储将对现有的加密软件带来巨大的改变, 主机等终端将不再存储数据文档, 这些数据文档存储在云环境中的虚拟存储中, 本地物理主机等终端只是云环境中虚拟存储位置的一个指向。
云计算环境下的网络虚拟化将使得数据文档的存储方式发生巨大变化, 部署于各处服务器的虚拟化[6]将使数据文档的存储位置变得更加隐蔽, 但也正是这种隐蔽对数据文档的加密提出了更高的要求。
5 结语
随着网络技术的不断发展, 云计算环境下数据文档的存储趋向于虚拟化存储, 传统的数据加密软件将不再适用。而数据泄露防护技术将提供一整套完整的数据加密管理过程, 通过智能化的数据文档识别技术, 自动化地识别出需要加密的数据文档, 并在识别的基础上对需要加密的数据文档进行自动加密。该过程对于用户来说是透明的, 也不会消耗用户的物理系统资源。云计算环境下的数据泄露防护能够对存储在虚拟存储上的数据文档进行高效管理, 并有效防止数据文档的非法获取和非法泄露。
参考文献
[1]金海.计算系统虚拟化——原理与应用[M].北京:清华大学出版社, 2008.
[2]王金波, 金涬, 何乐, 等.虚拟化与云计算[M].北京:电子工业出版社, 2010.
[3]李迈勇.网络安全:加密原理算法与协议[M].北京:清华大学出版社, 2007.
[4]郭玉东, 尹青.基于对象的网络存储[M].北京:电子工业出版社, 2007.
[5]云百科.服务器虚拟化[EB/OL].http://www.zdnet.com.cn/wiki-server_virtualization.