云计算下的存储变革（通用8篇）
云计算下的存储变革 篇1
云计算是一种基于服务的架构体系,有两种基本服模式:云计算和云存储。基于云计算服务的应用程序,无论是金融服务还是网络角色扮演游戏,几乎在所有情况下都需要高性能的云存储来满足数据处理的需求[1]。网络时代是一个信息时代,随着Web2.0技术的成熟,大量的信息以井喷的姿势出现在互联网上,如何应对这种信息爆炸式的增长速度,如何对这些信息进行有效存储和管理,云存储是否能够应对这种情况,如何才能保证云存储的高性能,如何才能保证云存储的灵活性,这些是本文探讨的问题。
1 云计算环境下的云存储实现
1.1 选择云存储的理由
我们可以列出相比现有存储技术,选择使用云存储的理由。
首先,相比传统存储,云存储的购买模式更加灵活。普通企业构建一个数据中心(购买服务器,数据维护,能源消耗[2]等),所需要的一次性投资巨大,而使用云存储,企业可以根据经济状况,灵活决定选择租用公共云存储或者自己实现私有云存储。云存储服务商都有专业的存储解决方案,针对存储效能进行了最大的优化,存储成本在虚拟化平台上实现颗粒性统计,尽力在使用成本和用户可以接受的价格之间寻找平衡点,以规模经济来获取效益。因此相对于用户构建的数据中心,普通的中小企业在平均业务数据量不大的情况下,租用合适的公共云存储,可以很好的解决中小企业资金预算问题。
其次,云存储可以很好的应付突发的大访问量。企业在构建数据中心时,一般会考虑到数据中心的处理性能,为企业用户提供良好的服务,但如果遇到突发性的大访问量,企业自己的数据中心往往无法应付,比如大型赛事的购票系统,餐饮行业的订餐系统,试运营阶段的网络联机游戏等,都会遇到这种突发性大访问量,这种情况下如果使用了云存储服务,利用云存储的服务器集群和虚拟化技术,临时调用计算和存储资源,分配给服务器和存储子模块,可以很好的为企业解决类似问题。
再次,可以提供存储服务的同步升级和数据的有效管理。企业构建自己的数据中心,需要购买相应的网络存储控制器设备和存储管理软件,这些设备和软件的升级管理往往需要在不影响用户使用的情况下进行。同时数据的备份、归档也需要有效的管理,防止突发性破坏事件影响用户使用。这些活动都具有一定的风险,需要经验丰富的数据管理人员进行维护。而使用云存储服务,则可以一定程度转嫁这些风险。客户在与云存储服务提供商签订云存储服务时,都会就系统升级,数据备份、归档等达成协议,由云存储服务提供商负责承担,同时有响应的风险承诺,让企业确信这些数据管理活动能够将风险降至最低。
正是由于云存储具有传统企业数据中心所不具有的这些优势,越来越多的企业正在逐步将数据中心向云端转移,那么如何构建一个云端的数据存储架构。
1.2 云计算环境下数据存储架构
1.2.1 服务器架构技术
构建云存储首先要构建云存储的服务器架构,服务器架构属于云计算的IAAS部分,还没有形成一个统一标准,可以通过多种架构技术来实现。常用的构架技术如附网存储NAS和存储区域网SAN。
NAS是一种分布式架构的文件存储系统,属于松散结合型集群,通常可以满足以云存储为主导的环境需求。在NAS文件系统集群中,每个节点是一个独立的实体,很多卷被分配到节点中,而集群中的其他节点是无法访问这些卷的。在这里,最小的单位是文件,归属于节点。当一份文件被保存在集群中的时候,它的数据就会被完整地保存在集群中某个特定节点中。虽然这个文件的多个副本会被重新定位到其他节点来提供冗余性,但只有该节点才能提供这个文件的单实例。NAS具有较低的成本,集群系统也易于扩展,基于文件级别的节点易于提供安全控制机制,但在客户端请求过多时,NAS服务器会成为系统瓶颈,一般使用NAS集群的云服务可以满足企业二级存储需求,云存储市场已经开始较多采用NAS这种松散结合型存储集群,NAS存储架构如图1所示。
SAN是一种集群架构的块存储系统,属于紧密结合型集群。随着文件被保存到集群中,它们被分成了很多个数据块,而且这些数据块对于集群中的其他任何节点来说都是可访问的。当有文件请求的时候,每个节点会访问这个文件的不同数据块以处理应用或者用户的请求,利用P2P技术,SAN在用户请求越多时,响应请求的可用节点越多,性能就越高。SAN存储架构是一种集群式架构,非常适合云服务提供商构造自己的云服务器,可扩展性良好,数据传输效率也很高,配合也适当的P2P、重复数据删除技术,能满足企业一级存储需求,但是使用SAN架构的硬件成本较高,基于SAN架构的云存储服务价格一般较高,可通过适当的性能降低来控制成本,SAN存储架构如图2所示。
除了以上两种服务器架构,还有其它的架构技术,如OBS,集成文件系统等,都是在SAN的基础上进行扩展,在追求更好性能的同时对成本进行适当控制。
1.2.2 服务器间数据传送
针对以上两种服务器架构,有三种常用数据传送方式。
NFS/CIF是NAS架构的数据传送协议[3,4],使用NFS或者CIF数据传送接口,可以实现异构平台之间的数据共享。前者在Windows客户端上加载NFS客户端软件,使Windows客户端融入以UNIX为主导的网络,后者在UNIX服务器上加载CIFS服务器端软件,使得UNIX服务器就像本地Windows服务器一样工作。NFS/CIF使NAS架构服务器之间连成一个整体,共同提供云存储服务,在集群环境和分布式网络环境下都有很好的表现,但是本身数据传送效率一般。
i SCSI是SAN架构的数据传送协议,使得单个客户端的应用程序能够像使用本地资源一样的使用服务器上的资源,其操作后的结果对其他客户端是不可见的。i SCSI拥有高速元数据缓存器,具有较高的存储性能。但是i SCSI只适合集群架构的SAN框架,如果将SAN以分布式云存储方式实现,在将i SCSI的系统内部块级存储访问推广到Internet上时,会遇到高数据流量、低延迟等性能、数据安全性以及系统级高容错要求所产生的通信交互规则等技术难点。
FC是高速光纤通道,所构建的云存储系统具有快速、高效、可靠的数据传递效率,主要应用在性能要求较高的金融、电信等领域。FC设备成本高,同时不支持直接在因特网上运行,在进行网络互联时,具有较为复杂的应用异构性,并且高速光纤具有物理覆盖的局限性,因此在构建云存储系统时,FC一般仅适用于高效、高端云系统。
1.3 平台层云存储关键技术
选择合适的服务器架构和数据传送方式,构成了云存储的硬件基础,而如何在这个硬件环境下搭建合适的软件平台,则是充分发挥云存储性能的保证。
1.3.1 虚拟化技术
虚拟化技术是数据中心虚拟化的核心技术,在云存储系统中也是起着重要作用。通过虚拟化技术,如IBM的Enterprise Workload Manager[5],可以将单台服务器上的硬件资源进行划分,如处理器资源,内存资源和存储空间,都可以单独划分,然后根据客户需要,将划分的硬件资源通过虚拟化软件技术(如Xen、Hype-y等),进行组合,组合出满足客户要求的虚拟系统,并且该虚拟系统可以根据使用情况,利用虚拟平台的池化技术进行动态变更,以满足系统变化。云存储效用计算就是基于虚拟化技术的,效用计算使云计算服务提供商可以根据虚拟出来的单个存储单元的使用时间进行收费。通过虚拟化技术,可以满足云存储多租户,可预测,自动调节等架构需求。
1.3.2 存储管理系统
构建在虚拟平台上的存储管理系统,同样在云存储系统中担负着重要角色。一款基于云存储的优秀存储管理系统,可以为云存储的性能带来极大的提升。如设备发现功能,允许服务提供商为云系统动态增加新的服务器,提升云的整体配置;故障管理功能,自动故障检测功能,如果用户租用的虚拟系统对应的服务器发生故障,自动为用户开启新的存储空间,并从冗余备份服务器中恢复资料;集群管理功能,实现负载的监视、均衡和转移,自动调整用户应用在服务器中的转移,控制云系统集群服务器的使用情况,给用户提供最优服务;分级存储功能,根据对数据存储的不同需求和节省成本的考虑,利用成本和使用效率不同的存储介质,提供在线、近线和离线存储功能,在保证存储可用性的同时,自动选择最经济的存储方案,为用户数据的归档、备份、镜像和恢复提供保证;安全管理功能,保证资源的访问控制和存取控制等。一款优秀的存储管理系统,是底层存储架构能充分发挥其性能的重要保证。
1.3.3 云存储服务API
云存储服务API能够使独立软件供应利用云存储功能开发产品。通过提供云存储API,独立软件供应商对数据保存的方式和位置有更高的控制权,节省部署流程所需的时间。如EMC开发的Archive Services Platform API,Amazon的Restful API[6],都可以为应用提供除了简单云存储之外的更强大功能,通过使用SOAP或者Restful网络服务,提供包括搜索、找回和保存等功能。这样的API可以向软件供应商的应用中增加新功能而不需要进行额外的部署,这对独立软件供应商来说是一个强有力的支持。软件供应商可以通过增加新功能、节约部署投资和减少实际部署时间来加速进入市场的进程。云存储API为SAAS层应用服务,为了能够使用户在不同的云系统之间进行数据的自由迁移,越来越多的云服务提供商都在考虑将自己的云存储API开源,希望在API接口上形成统一标准。
1.4 云存储系统构成
云存储构建于云计算环境,因此其分层结构应该与云计算分层结构一致。如图3所示,IAAS层由服务器集群技术构成,PAAS层由虚拟软件,存储管理软件和云服务API接口构成,SAAS层由云服务和云应用构成。通过贯穿于云计算环境下的各层要素,共同构成云存储系统,如图3所示。
2 构建企业云存储
2.1 商业化的云存储系统
基于云存储理论的商业化存储产品已经在数据存储领域涌现。
Amazon是最早推出云存储服务的公司,开发了自己的一系列存储技术。布了简单存储服务(simple storage service,简称S3),用户使用SOAP协议存放和获取自己的数据对象;出了简单队列服务(simple queue service,简称SQS),这项服务能够使得托管虚拟主机之间发送的消息,支持分布式程序之间的数据传递,无须考虑消息丢失的问题;提供了EBS(elastic block storage)服务,为用户提供块级别的存储接口。Amazon通过自己的探索,在云存储概念明确之前,已经开始提供良好的云存储服务。
Google是最早提供开源云存储API接口的公司,定义了一套大规模数据库管理系统Big Table,并提供了Map Reduce分布式编程环境,除了用于Google自己开发的云服务以外,也用于云存储应用开发商开发自己的云存储服务和云应用服务。Google开发的GFS(Google File System,一种基于SAN架构的集群文件系统),在性能、伸缩、可用性和可靠性都有较好的表现。
IBM的蓝云结合了GFS集群文件系统和基于块设备方式的存储区域网络SAN。由SAN提供块设备接口,并在这些块设备接口上选择了GFS分布式文件系统。SAN的一个标准的文件系统如果被多服务器同时使用的话,数据容量很快就能让整个系统崩溃。为了能够对同时修改该系统的其它文件系统进行协调,蓝云使用了GFS,可以针对全球的Linux文件系统进行协调。
各种商业化云存储系统在不断出现,随着云存储标准的逐渐完善,这些系统将不断朝着更优的服务,更好的兼容性,更低的成本方向发展。
2.2 云存储构建企业数据中心
企业的数据中心经历了从传统数据中心到虚拟化数据中心的变革。随着云计算和云存储概念和技术的不断成熟,企业数据中心正经历着向云数据中心转变的新的变革。小型企业通过将数据中心向云存储端转移,可以很好的控制数据中心成本;而大型企业除了租用公共云存储服务以外,也开始着手建立自己的私云存储数据中心。
对于数据中心要求较高的大型企业,往往对数据安全有较高的要求,租用公共云存储服务,将企业生存的命脉数据存放于云服务提供商的云端数据中心,仍然会存在一定的风险,因此可以采取构建私云存储来解决这个问题。如果企业私云存储自己提供存储灾备和冗余备份系统,那么它在IT资源合理化重组上仍然具有本地厚重配置,高成本,缺乏弹性之类的典型特征。因此,企业可以将生产数据等企业核心数据作为第一级存储,采用FC-SAN等高速存储架构构建私云存储,同时将租用的,价格低廉的,采用NAS低速架构的云存储服务作为第二、三级存储,为企业提供文件数据存储和冗灾备份功能的存储服务,通过这种混合云的体系架构,达到存储的优化配置。
3 小结
云计算是网络时代发展的又一个高潮,随之伴生的云存储在其中起着推波助澜的重要作用。如何构筑高效云存储,如何控制云存储系统成本,如何利用有效云存储系统,这些问题随着云存储技术的广泛应用将会逐渐得到解决,我们密切关注着这一进程。云存储问题的有效解决将为云计算应用的普及打好坚实基础。
摘要：该文对云计算环境下的数据存储技术进行了分析。对云计算下的存储需求,云计算IAAS层的云存储架构方法,PAAS层的云存储实现方法进行了探讨。分析比较了几种商业化云存储系统,并给出了企业环境下构建云存储的一种方案。
关键词：云存储,NAS,SAN,虚拟化,存储管理
参考文献
[1]张海滨.通过Esxi实现数据中心虚拟化[J].中国教育网络,2009(3):73-74.
[2]鲁丰玲,李朝永.浅析网络存储技市[J].计算机与网络,2009(26):221-221.
[3]陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009(5):1337-1348.
[4]冯丹.网络存储关键技术的研究及进展[J].移动通信,2009(11):34-39.
[5]郭劲,李栋,张继征,等.iSCSI,CIFS,NFS协议的性能评测[J].小型微型计算机系统.2006(27):833-836.
[6]可彦,张延园.基于SAN的存储管理系统的设计与实现[J].微处理机,2009(3):125-128.
云计算下的存储变革 篇2
一、信息技术促进国家课程校本化创新
伫立课改前沿阵地，学校通过“云管理、云课堂、云学习”的信息化建设，推动核心课程语文、数学、英语等学科的改革与创新。尤其是信息技术环境下的语文“能读会写”实验成果显著，影响广泛。
（一）实验概况
“信息技术环境下促进小学生能读会写”实验，借助计算机将拼音、识字、阅读、写作同步起来，在“用语言“中”学语言”。解决汉字难识、难认、难写的问题，改变阅读和写作教学高耗低效的现状；不增加课时、不增加作业负担，儿童自主阅读的时间提前两年，阅读量超过新课标规定的5～10倍；写作提前三年，8岁左右的儿童，一节课普遍能“打写”出300到500字的文章。这就实现了8岁儿童能够独立阅读与写作，学生的语言、认知、思维、情感达到了协同发展。
（二）重大变革
变革一：先识字后学拼音。学生入学后先识字500个左右，再借助电脑学习拼音。识字辅助拼音学习，拼音学习巩固并拓展识字。
变革二：以技术为媒畅快表达。学生大量阅读后，借助“打写”使心理词汇迅速变为书面词汇，儿童可以轻而易举地把想得到、说得出的话语通过计算机“打写”出来。
变革三：网络互动增质高效。学校开发了“习作园地”“互动作文”“Web quest”“校园博客”等多个支持学生发表的网络平台，即时探究、适时交流、在线修改和互动评价，激发了学生的表达欲望和热情。
（三）探索模式
该项目坚持自主随文与游艺体验相结合的识字教学模式，整本书和单元教学相结合的阅读教学模式，真实体验与网络环境相结合的写作教学模式。
依托信息技术总结出了小学数学“信·趣”实验模式，基于平板电脑的运用，提炼出了英语“五步教学模式”。
二、校本课程开发与管理发生深度转型
“云”时代的来临，信息技术对人类的工作、学习、生活已经产生了深深的影响，以本土化、个性化、特色化为主要特征的校本课程的开发势必要深度转型。
（一）观念转型，信息技术给校本课程“镀磁”
系统开发满足学生需求，充分落实学校“四会六能”培养目标的课程，开发对学生具有深深吸引力的“磁石课程”。开发了180门校本课程，从高需求性、高挑战性、高交互性、高选择性四个方面，对课程的内容、学习方式、评价方式等方面进行“镀磁”，让课程立体起来、灵动起来。
（二）管理转型，实施基于云管理的“云彩课程”
2012年，学校完善了三级课程体系设计，除国家课程校本化之外，还有集团课程通识化，分校课程结构化。
南山实验教育集团开设了两门通识课程。即写字课程、国际理解教育。此外，集团对分校的校本课程进行主题性统整，形成具有鲜明特色的系列化课程。
南头小学人文类课程享誉海外，该校开发了40多门课程；麒麟小学率先在一二年级开设科学课，开发了25门科普校本课程；鼎太小学开发了20多门民俗文化系列校本课程；刚成立不久的荔林小学开发了影视德育活动课程。
南山实验学校不仅积极开发校本课程，更重要的是充分利用“云计算”技术，让学生借助网络实现了课程的自由选修与深度学习，将180门校本课程陆续送入“云服务器”，可以实现学生自主选课、交互学习，超界限的课程分享成为现实。
三、“云计算”助教学方式革命性变革
随着“云”时代的到来，学习工具已经有了根本性变化，学习方式必会随之裂变！一种颠覆传统教学方式的课堂革命正在进行中。
（一）启动“翻转课堂”实验
2012年9月，学校启动云计算环境下的“翻转课堂”实验。“翻转课堂”就是课前教师录制一个教学微视频，传入“云”端。课前，学生在家里或其它地方进行视频学习；课堂中，教师聚焦关键问题，有针对性组织教学，把作业设置在课堂上。它颠覆了传统的教与学方式。
目前有134名教师自愿参与，第一梯队成员49人，实验辐射59个班级，12个学科。实验不搞一刀切，让一部分教师先发展，向前走但不强求齐步走。开展“捆绑协作式”实验，成立基于班级捆绑的协作组，三到五人组成一个小团队，共成立了21个微视频制作团队。
（二）实验推进情况
1. 开发了智能化的视频录制平台。
基于“把复杂留给技术，把简单留给用户”的理念，开发了智能化的视频录制平台，教师在自己电脑上，用30分钟就可以完成视频录制、编辑、上传。视频录制进入常态，目前已经录制了六百多个微视频。
2. 研发了“翻转课堂”教学应用平台。
开发了“翻转课堂”教学应用平台，学生看完微视频后，可以完成后面的进阶练习，教师可以在家里即时了解到全班学生学习的整体情况，还可以了解和分析每个学生的学习情况。第二天，教师可以有针对性地讲解教学重点和难点，可以有针对性地辅导个别学生学习。问题解决后，学生可以在网上马上做综合巩固练习，完成提交后，网络后台马上可以分析全班和每个学生的学习情况，课后不再布置作业。
3. 构建了“翻转课堂”基本教学模式。
通过近一年的探索，我们提炼出了“翻转课堂”教学基本模式——“三步五环节”教学模式，教师可根据课程的需要采用基本式或变式进行教学。“三步”指的是：课前学生观看微视频——完成进阶练习——教师进行学情分析；“五环节”指的是：即课中梳理知识——聚焦问题——合作探究——综合训练——评价反馈。
（三）“翻转课堂”带来了什么
1. 实现大班额下“一对一”学习，提高课堂质量。
对不同的受教者施以不同的教育，这是两千多年前孔子“因材施教”教學思想的精髓，也是这一思想得以落实的保障。而随着班级授课制的推广，大班额的教学成为常态，学生学习的主动性和独立性受到一定程度的限制。“翻转课堂”最大的创新就是可以实现大班额下“一对一”的学习，将“因材施教”落到实处。
利用翻转课堂学习平台，教师在课堂重点讲解的正是前一天本班学生出现问题最多的地方，并有针对性地辅导个别学生学习。问题解决后，学生在网上继续做巩固练习，完成提交后，教师能够及时反馈每个学生的学习情况，课后不用布置作业。
开展实验以来，学生不仅没有因为家庭作业少而影响成绩，相反，由于自主学习能力、合作探究能力和学习热情得到了加强，学业成绩也得到了提高。
2. 自己掌握学习节奏，提高自学能力。
以语文学科为例，传统课堂注重分析课文中的具体词句和思想感情，而“翻转课堂”的小视频则是教给学生学习的方法。麒麟小学六年级的朱静老师在讲“比较阅读”时，以丰子恺的《白鹅》与俄国作家叶·诺索夫的《白公鹅》为例，通过视频讲解比较阅读的关键——对比点的选择，示范用情感的表达和言语表达方式两个对比点进行比较阅读，让学生学会比较阅读的方法。在“翻转课堂”下，传统课堂回家作业的时间，翻转成了回家根据自己的接受程度进行自主学习。
3. 微视频促进学生主动学习，形成家校教育合力。
对于学生来说，微视频就像是把老师带回了家，不懂的时候，想温习的时候，就打开视频看看；同时，“翻转课堂”还把家长也拉进了教育圈，真正发挥了家校一体的作用。现在，孩子们常常在家与爸爸妈妈一起看视频，一起讨论。
以前，学生在课堂上现场思考问题，难以进入深度思考状态；并且由于每个人思维速度不一样，慢慢出现“人为后进生”，导致传统课堂的“正态分布说”。而现在，学生有了前期的学习过程，与家长、同伴的讨论，启发了深度思维能力，98%的学生都可以学会！一位语文老师说：“视频预习就像一个能量加油站，课堂就是一种释放，而老师则负责点燃。‘翻转课堂对每个孩子而言都是平等的，只有在课下充分地思考，课堂上才有可能出现思维碰撞与智慧生成。”
4. 教师随时掌控学生学习，实现师生双赢。
对于教师来说，微视频播放、微视频共享也减轻了教学负担。一位美术老师教8个班，原来一节手工课要做八遍，由于班额大，手工制作的步骤复杂，不能保证每个学生都能一次就看懂并学会。现在有了前置视频，上课就轻松多了。高雅老师是国培班学员，经常要外出学习、培训，很难兼顾学习与工作。有了微视频的引入，她可以提前录好微视频，陪伴学生学习，出差时利用网络随时了解学生学习情况，根据学生的反馈及时录制新视频引导学习，真正做到了培训、教学两不误。
云计算环境下的存储技术研究 篇3
对于云计算的定义一直以来没有一个统一的定义, 狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机, 以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务。广义的云计算指厂商通过建立网络服务器集群, 向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。通俗来讲, 云计算是将计算任务分布在大量计算机构成的资源池上, 使各种应用系统能够根据需要获取计算力、存储空间和各种软硬件服务[1]。
从不同的方面, 对云计算有不同的理解, 从资源方面讲, 云相当于无限的软硬件资源, 可以随时扩展, 随时随地被访问。从用户的角度看, 用户可以借助于各种智能设备和网络传输方式、按需使用软硬件资源, 从提供的服务来看, 云计算技术是计算系统的公用事业化, 像使用水电一样使用软硬件资源。
2 云计算技术的产生
云计算技术的产生是受“电厂”模式的启发, “电厂”模式即为电厂集中供电模式, 我们每天都用电, 但是我们不是必须自己购买发电机去发电, 同理, 我们每天都喝水, 但是不需要我们自己去打井, 而是来自自来水公司的水。云计算技术是一个公用事业的概念, 就是将主要的计算资源都集中到公共的云计算中心, 并且遵守公开的协议, 类似于电力的220v/110v和通信的7号信令, 企业和个人都能非常方便的使用[2]。这种模式因为在规模上面有极大的优势, 使得其运营成本非常低, 而且因为主要由本国大型的电信企业运营, 使得它们能得到用户充分地信任。云计算机技术改变了人们的使用观念, 由原来的直接购买软硬件变为按需购买服务, 减轻了个人维护软硬件资源的开销, 也可以按需定制自己的私有云服务。
3 云计算技术的现状
云计算技术受到各大IT巨头的青睐, Amazon、Google、IBM等各大公司推出自己的云计划和云产品。例如Amazon使用弹性计算云 (EC2) 和简单存储服务 (S3) 为企业提供计算和存储服务。Google组建了超过100万台服务器提供了功能强大的搜索引擎服务。IBM推出了“蓝云”计算平台, 为客户带来即买即用的云计算平台, 微软也推出了windows Azure操作系统。
4 云计算环境下的数据存储体系构建
4.1 服务器架构
云存储体系构建之前, 应当先构建云存储服务器架构, 它是云计算IAAS中重要组成部分, 可通过多样化的架构技术实现, 常见的是附网存储 (NAS) 以及存储区域网 (SAN) 。NAS属于分布式架构系统的文件存储系统, 是一种松散结合型集群, 实践中可有效满足以云存储为主体的环境要求, 而且在该系统集群中, 任何一个节点都是相对独立的实体。在此系统中, 最小单位即为文件。当文件被保存在该集群之中时, 其数据信息会被有效地保存在集群中的特定节点上, 虽然文件副本很多, 也可能会被重新定位到另外的节点上, 从而形成冗余, 但该节点提供的文件单实例却是唯一的。
实践中可以看到, SAN为集群架构块存储系统的一种, 即为紧密结合型集群系统。当文件请求产生时, 每一个节点都会访问该文件中的不同数据块, 并对用户的请求进行及时的处理。
4.2 主要服务
4.2.1 云服务
云计算的主要服务形式有:Saa S (Software as a Service) , Paa S (Platform as a Service) , Iaa S (Infrastructure as a Service) 。
4.2.2 基础设施服务 (Iaa S)
Iaa S提供硬件基础设施服务, 它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池提供硬件相关服务, 例如:Amazon租用虚拟服务器 (AWS) 就是基础设施服务。Iaa S的优点是用户不需要考虑硬件上的开销和维护, 降低了硬件成本, 只需要按需租用第三方提供的硬件设备。
4.2.3 平台即服务 (Paa S)
Paa S服务商将开发平台和服务器平台等资源提供给用户, 用户根据自己的需要在平台上开发应用程序的平台, Paa S实质上是将Internet上的资源作为可编程接口提供给用户, 这种服务完全颠覆了用户自己搭建、部署、运营基础平台的观念, 用户获得了更多的可编程资源, 为开发者带来了便利, 提高了开发效率, 节约了开发成本。
4.2.4 软件即服务 (Saa S)
Saa S是指服务商向用户提供应用软件服务或者提供订制应用软件服务。用户只需要接入Internet, 可随时随地通过浏览器接入远程服务器使用软件, 用户无需下载安装相应的应用软件, 比如:Zoho office、Google Apps等属于Saa S服务。这就减轻了用户对软件人力、财力上的维护费用, 特别是对于对硬件需求比较高的软件, 避免了用户对硬件的顾虑。目前Salesforce.com是提供Saa S服务最有名的公司。
4.3 核心技术
云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物。其主要技术包括以下几个方面的内容:
4.3.1 海量数据的存储的挖掘
云存储将网络中各种存储设备通过应用软件连接起来协同工作, 向外提供数据存储和访问业务, 大量的数据存储在不同的服务器和存储设备构成的集合上, 采用分布式数据存储方式进行管理。具体来说。主要是Google的BT (Big Table) 数据管理技术和Hadoop团队开发的开源数据管理模块HBase[3]。
4.3.2 分布式处理技术
云计算平台包括了大量的服务器, 在服务器集群中包括了一个主服务器和大量从属服务器, 主服务器和大量从服务器相互协调进行工作, 使用户只需登录到一台服务器上, 就能实现访问服务器集群中的资源, 并且能实现负载均衡, 保证大量用户随时随地高速的访问和使用云平台中的资源。
4.3.3 虚拟化技术
虚拟化技术包括存储虚拟化、计算虚拟化、网络虚拟化, 通过虚拟化技术可以实现底层硬件资源和软件的相分离[4], 采用虚拟资源的聚合和裂分模式进行资源的管理, 使用户只要登录到云技术平台, 不但像操作本地机器的一样访问资源, 并且保证了资源访问的高速、实时、可靠性。
5 云计算技术发展的制约因素
5.1 数据的安全和隐私的保护
云计算技术在提供了发展平台的同时, 数据的安全和隐私的保护方面将是面临的最大隐患。大量的公共信息资源分布在多个服务器上, 加大了云计算平台的风险。因此对于云计算使用者和服务者提出了严峻的考验, 是影响云计算平台安全性的关键因素。针对这一问题, 我们就要采用先进的信息安全技术来保证信息共享的安全性。另外, 国家要建立健全相关的法律法规体系, 对于泄露隐私的人, 要受到相应的惩罚, 甚至要受到法律的制裁。
5.2云计算平台标准的不一致
云计算现在还处于发展期, 在相关领域还没有完全形成统一的技术与标准。标准不一致, 云计算平台很难进行大规模的扩展和应用。一方面, 云计算技术自身没有建立和形成一致的规范和标准, 不利于用户的认可和推广[5]。另一方面, 云计算技术在相关领域也没有形成共同的技术标准和数据规范, 在行业的信息化管理系统中, 软件公司根据不同的情况设置不同的标准和规范, 制约了云计算平台的扩展和完善, 使软件公司开发的软件无法聚合到云计算平台中, 难以形成城市化的云服务器集群。使云计算平台在规范化和产业化面上临着巨大阻力。
参考文献
[1]李乔, 郑啸.云计算研究现状综述[J].计算机科学, 2011, 38 (4) :32-37.
[2]路高辉.基于云计算的个人学习环境构建研究[D].河南:河南师范大学, 2013:1-57.
[3]刘正伟, 文中领, 张海涛.云计算和云数据管理技术[J].计算机研究与发展, 2012 (49) :26-31.
[4]陈全, 邓倩妮.云计算及其关键技术[J].计算机应用, 2009, 29 (9) :2562-2568.
云计算环境下的分布存储关键技术 篇4
一、云计算的含义
随着国内经济的快速发展和各项科研技术的不断完善, 为了满足数据信息计算的准确性和可靠性以及存储需求, 相关科研学者和社会精英研究并设计新型计算模式, 即是云计算。不仅可以提高商业需求, 也可以为个人用户提供便利、自由的网络需求和计算以及存储服务的访问需求。
云计算数据中心可以为用户提供日常需求的基本服务, 从而进一步达到用户的需求。云计算具有多节点的结构特点, 使大量的信息数据共存于不同的节点上, 便于对巨量信息的有效存储, 然而由于云计算数据存储量较大, 及其容易发生信息数据缺失准确性和效率的问题, 在一定程度上不仅增加计算成本, 也对云计算这种新型计算模式的推广和普及造成一定的局限性。在当今国内商业发展的过程中, 运用云计算模式进行商业计算, 不仅可以有效对管理数据信息、存储数据信息、计算数据信息和保证数据信息, 还可以提高众多数据信息较高的准确性、安全性和可靠性。而用户不用建立数据中心, 在一定程度上大大降低了计算使用成本, 只需要一个云计算终端, 就可以使商业发展获得更大的利益[1]。
二、国内当前在云计算环境下分布存储
(一) 容错性
在传统模式中, 都会使用配套的存储设备和专用的高性能服务器, 不仅大大增加存储升本, 还无法有效利用相关的存储设备和技术追求更大经济利润, 再加上传统模式的节点和较大的数据规模, 极其容易导致数据存储发生极大概率的误差, 失去计算的准确性和有效性以及可靠性, 无法为商业计算提供有效计算结果。例如, 在2006年, 谷歌公司的一份调查报告中曾表示:在每个大规模数据集的并行计算作业的过程中, 基本上会发生5个节点甚至5个以上的节点发生数据存储信息失效的问题, 不仅会是磁盘受到磨损, 还会导致数据缺失应有的准确性, 从而为商业发展带来不可估量的经济损失[2]。
(二) 扩展性
经过相关数据信息显示, 传统数据存储计算中, 数据存数的可扩展性一般都是通过预留实现的, 不仅保留数据有足够的存储空间, 还会保证数据的完整性, 从而确保数据信息的准确性、安全性和可靠性, 进一步满足数据包存储、读取和转发的功能。然而随着数据信息量的不断扩大, 数据信息规模的逐渐增大以及数据节点的不断增多, 数据中心对存储容量的需求也同样会发生巨大变化。
三、在云计算的环境下分布存储关键技术的构成
(一) 结构中心以交换机为主
在云计算的日常运转的过程中, 数据中心占据主导地位, 它主要是由以交换机为主的结构中心和以服务为主的结构中心两部分构成。以交换机为主的机构中心主要是通过交换机对各个服务器数据中心进行有效的连接工作, 进行数据存储、读取和转发, 完善存储和处理数据信息。其结构一般可分为边缘层、核心层、聚合层金字塔型三层结构, 具有较高的稳定性、可靠性和准确性, 其操作简单, 具有良好的扩展性。一般适用于传统数据中心对数据信息进行日常存储和计算, 在灵活性方面不是很好, 且容易浪费计算、数据信息资源, 无法充分利用服务器进行计算[3]。
(二) 结构中心以服务器为主
在云计算的环境中, 一般此类结构都是将更多的网卡安装在多个服务数据中心的服务器中, 再利用网线将服务器进行有效连接, 从而形成一个整体网络。由于以服务器为主的交换机作为数据重要的转发配置, 所以, 这种结构的服务器不仅需要对数据进行有效处理和存储, 还需要交换机对数据包具有转发的功能。正因如此结构, 才能使服务器与网络进行交互, 更加高效的开发计算方法。
(三) 混合结构
混合结构就是结构中心以服务器和交换机为主的结构统称, 两者进行混合, 利用交换机作为服务器的连接节点, 将更多的网卡安装在每个服务器上, 从而加强服务器对数据包的转发和传送功能, 混合结构不仅适用于特定的网络结构, 还能降低计算成本[4]。
结束语:
随着国内经济和市场经济的快速发展, 使云计算模式被国内各大计算机企业广泛应用于复杂、繁琐的商业计算中, 云计算的功效和优势也被充分发挥, 通过在实际操作的过程中, 发现新型计算模式的问题, 并通过问题的特点加以分析和研究, 利用一切科学技术手段完善云计算等一系列高科技计算模式的完整性, 是国家科学领域和计算商业领域未来发展的必要趋势, 是推动国家经济发展的重压实现途径。
摘要：随着国内经济的快速发展, 科学技术的不断完善, 为了满足人们巨大储存容量和获取大量日常通信信息的需求, 相关科研工作者经过长时间的积累和借鉴西方发达国家的科研成果研究并开发一项新型计算技术, 就是云计算, 其主要用于商业领域的计算。它具有较强的安全、稳定和可靠性, 可以随时为商业领域提供有效的计算, 然而云计算在国内各大企业推广和普及的过程中, 也曾发生许多技术类的问题, 因此本文针对云计算环境下的分布存储关键性技术进行分析和研究。
关键词：云计算,分布存储,关键性技术
参考文献
[1]张娓娓, 李旸园, 陈绥阳.基于云计算环境下的分布存储技术[J].电子测试, 2013, 22:228-229.
[2]李瑶, 闫勇.云计算环境下的分布存储关键技术[J].通讯世界, 2016, 01:76.
[3]易灿, 邹晶晶.云计算环境下分布存储关键技术解析[J].硅谷, 2014, 20:81-82.
云计算下的虚拟存储研究及应用 篇5
存储虚拟化已经被提出多年,IBM,SUN,EMC等多家公司都推出了自己的虚拟存储设备。近年来,随着云计算的发展,云存储的概念也被逐渐被推广,云存储的构架如图1所示。由于虚拟化是云计算的关键能力,这使虚拟化技术成为了日前的核心焦点。不仅如此,随着计算机病毒、木马等恶意软件的蔓延,本机虚拟存储技术在病毒测试、病毒样本提取等反病毒领域也起到重要作用。
由于实验环境的限制,本文存储虚拟化的实现是针对PC机上的硬盘,利用操作系统的磁盘组织结构及内存管理模式,虚拟出一个自己的磁盘。其实与真实的虚拟存储原理类似,这一过程可以看云存储中的服务器端对存储设备的虚拟,然后将虚拟后的镜像以服务的方式提供给客户端。
2 虚拟存储基本原理
虚拟存储(Storage Virtualization)就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池中得到统一管理。这种可以将多种、多级、多个存储设备统一管理起来、并能为使用者提供大容量、高速数据传输性能的存储系统,就称之为虚拟存储[1]。
从虚拟化存储的拓扑结构来讲主要有两种分类方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。
然而,根据应用环境的不同,按照存储虚拟的实现方案来分类,主要有三种:基于主机的虚拟、基于存储设备的虚拟和基于网络的虚拟[2]。
基于主机的虚拟存储依赖于代理或管理软件,它们安装在一个或多个主机上,实现存储虚拟化的控制和管理。由于控制软件运行在主机上,会占用主机的处理时间。因此,这种方法的可扩充性较差,实际运行的性能不是很好。该方法可能影响到系统的稳定性和安全性,因为会导致不经意间越权访问到受保护的数据。软件控制的存储虚拟化还可能由于不同存储厂商软硬件的差异而带来不必要的互操作性开销,因此该方法的灵活性也比较差。但是,由于不需要任何附加硬件,基于主机的虚拟化方法最容易实现,其设备成本最低。使用这种方法的供应商趋向于成为存储管理领域的软件厂商,而且目前已有成熟的软件产品。
基于存储设备的虚拟一般是存储厂商实施的,但是很可能使用厂商独家的存储产品。当虚拟存储实施在设备端时,逻辑(虚拟)环境和物理设备同在一个控制范围中,这样有益于虚拟磁盘高度有效地使用磁盘容量,虚拟磁带高度有效地使用磁带介质。在存储子系统端的虚拟存储设备主要通过大规模的RAID子系统和多个I/O通道连接到服务器上,智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权,而且通过与服务器系统分开,可将存储的管理与多种服务器操作系统隔离,并且易于调整硬件参数。在存储系统中这种方法较容易实现,容易和某个特定存储供应商的设备相协调,所以更容易管理,同时它对用户或管理人员都是透明的。
基于网络的虚拟的实施,既不是在服务器端,也不是在存储设备端,而是介于两个环境之间,其特点为充分利用网络资源,在实现过程中,既能使用户感觉不到虚拟化的存在,而且操作上屏蔽各种细节,符合存储网格的发展趋势,同时具有很高的扩展性、灵活性。
3 虚拟存储的应用
虚拟存储模型在存储设备之上,应用层之下设计了一个虚拟层,对整个存储介质进行统一分配、管理,根据应用客户端的不同应用需求,提供虚拟化服务,如图2所示。
3.1 云计算中的虚拟存储
在云计算的构架中[3]如图3,虚拟存储起着十分重要的作用。在部署了云的网络构架中,网络中的客户端只相当于一个服务接收器,没有了任何的储存设备。网络中的服务器通过虚拟化技术,将真实的存储介质等物理设备虚拟成镜像,用户通过云控制器接入服务器,共享这些虚拟镜像。这样,用户购买的只是网络存储服务,而不是具体的存储设备。
这种方案的优点有:
1)提高存储设备的利用率:不同用户对存储空间的需求各有差异,如果采用现有本地磁盘模式,有的用户的磁盘空余很大,有的用户磁盘资源紧张。通过虚拟化技术,用户可以建立存储池,将所有可用的存储设备作为一个存储池进行管理,可以实现存储资源的高效利用,多余的容量可以分配给需要的服务器和应用程序,使用率提高,优化了存储资源。
2)降低用户访问数据的复杂性:通过存储虚拟化,用户不用再花费精力和时间去关心存储环境中底层物理环境的复杂性,也不用再去关心设备异构与否。他们只需在应用层面上直接提出自己的需求,并通过虚拟化的手段实现。
3)减轻维护人员的负担:传统的存储方式下,维护人员需要维护不同用户的存储设备,随着计算机的普及,以及计算机病毒,恶意程序的蔓延,维护人员需要的负担不断加重,使这一项服务成为“人力密集型”服务。然而,在虚拟存储环境下,维护人员只需要对真实的物理设备及服务器端虚拟出来的镜像进行维护,将问题集中处理,大大减少了工作量。
4)保证了数据的隔离性和安全性:每个虚拟机都是在被分配(或者说限制)在给定资源容器中工作(模拟的物理资源中),内存、磁盘等和数据安全密切相关的存储资源相互之间实现了资源隔离。一台虚拟机中的程序无法读取其他虚拟机所占用的资源,自己的资源也无法被其他虚拟机中的程序访问。因此达到了资源隔离的效果。这样一来,如果我们为每个用户分配不同的虚拟机作为其运行环境,那么可以说用户数据是“私密”,“安全”的。另外虚拟机的隔离性除了为数据数据安全提供了技术支持外,还为故障隔离提供了最安全的手段。一个虚拟机中的程序可能有意或无意的非法运行造成系统崩溃,这种事故的影响只会限于当前虚拟机,最多让自己运行的虚拟机崩溃,不会影响到宿主机上的其他虚拟机和程序运行。这点和微内核操作系统的思路很像———所有组件,包括驱动都以进程形式运行于内核以外,这样当程序崩溃不会造成系统崩溃。
3.2 本机虚拟存储的应用
随着网络的飞速发展,目前计算机病毒,木马等恶意软件发展迅速,图4为江民病毒疫情报告[4]。
随着恶意代码静态分析难度的逐步增加以及恶意代码传播方式的多样化,国内外都进行了有关恶意代码行为的一些研究。为了获得一个测试和分析恶意程序的环境,“沙盒”(Sand Box)技术的概念被提出。与传统的主动防御技术不同,“沙盒”技术是发现可疑行为让程序继续运行,当发现的确是病毒时才终止。让程序的可疑行为在电脑虚拟的“沙盒”里充分表演,但是沙盒会记下他的每一个动作,在病毒充分暴露了其病毒属性后,“沙盒”则会执行“回滚”机制,将病毒的痕迹和动作抹去,恢复系统到正常状态。这就好比在一个装满了沙子的盒子中,我们可以尽情的在上面涂写,最后在表面一抹,沙盒又恢复了原来的状态。利用沙箱技术可以对动态恶意代码的行为进行记录并根据行为序列的信息为数据源通过一定的算法对行为进行检测和判断。
为了实现沙箱的系统还原功能,本机存储虚拟化技术成为关键因素。目前,成熟的还原技术有磁盘虚拟,磁盘过滤以及文件过滤。磁盘虚拟,作为本机虚拟存储技术核心技术,是通过在内存中开辟一定的存储空间,利用虚拟化技术形成虚拟磁盘驱动器。无论是操作系统,还是应用软件对虚拟磁盘写任何数据,都被直接写到了内存中,所以当系统重新启动后就会全部消失。这个特性,使其很好的应用与病毒样本的提取。
不仅如此,由于使用了内存作为虚拟的存储介质,虚拟磁盘中读写速度比普通磁盘快很多,虚拟磁盘也常常用于做加速盘或缓冲盘。近几年,CPU、内存和显卡等主要配件的性能都提升很快,但磁盘系统性能正越来越严重地成为整个电脑系统性能提升的瓶颈,虽然磁盘技术从以前的ATA 33、ATA 66发展到今天的ATA 133,但还是不能彻底解决硬盘的瓶颈问题,特别是在运行一些对数据存取速度要求很高的程序(如大型软件测试,数字影像处理)时,受磁盘存取速度的影响,屏幕画面就会出现延迟和停顿。这时,使用虚拟磁盘技术就能有效解决这个问题。随着内存容量的不断增大与价格的日益下降,很多人都为自己的机器配置了2G甚至更多的内存。普通用户平时内存使用率至多百分之三十,若能充分利用资源,将内存虚拟成磁盘,在虚拟磁盘中程序调用的速度会特别快,大概是现在最快的7200转硬盘速度的30倍,非常适合软件测试。
更值得一提的是,虚拟磁盘技术对于延长笔记本电脑电池使用时间更是十分有利,因为这样做可以减少访问耗电大户---硬盘的次数。
4 虚拟存储的发展方向
1)虚拟化集成:目前存储虚拟化的实现方式通常分为三种:交换架构虚拟化,磁盘阵列虚拟化,以及整合到应用设备内的虚拟化[5]。但是,随着虚拟化技术的不断发展,虚拟化软件正在日益变得有活力且更加趋于完整,它的发展方向更像是一个全面的操作系统。未来的虚拟化的实现,是通过集中利用传统技术,然后在某一种主要的虚拟层结合起来。虚拟化就是指增加一个管理层面,激活一种资源并使之更易于透明控制。未来的虚拟化操作系统应该是一个高度分布式的,企业级的操作系统。更进一步,虚拟化还有可能会演变成包含服务器、网络以及存储设备的分布式操作系统中的一种元素。
2)虚拟存储的可用性:目前,由于成本、运营等因素,虚拟存储的使用面并不是很高,主要在一些大中型企业,国内市场更是寥寥无几。所以未来将着重提高其可用性,利用新技术手段,减少成本,增强可行性,在中小型企业,甚至个人用户当中普及开来。
3)虚拟存储的安全性:现阶段的虚拟化存储系统中分布着大量的功能部件,如目录服务器,元数据服务器,存储服务提供者等。在设计时,并没有完全考虑各个功能部件之间的相互认证和授权访问。安全通信、身份认证和加密传输等问题,在一个完善的虚拟存储系统中是必不可少的。为实现这一目标,设计者可以参照目前PKI(Public Key Infrastructure)体系[6],架设安全构架。
参考文献
[1]Kim Y H,Kim C S,SnaPshot Technique for Shared Large Storage in San Environments[C].Proeeeding Communications and Computer Networks,2002.
[2]谢长生,金伟.SAN网络级存储虚拟化实现方式的研究与设计[J].计算机应用研究,2004,21(4).
[3]Brett McLaughlin.揭秘云计算[EB/OL].http://www.ibm.com/developerworks/cn/web/wa-cloudflavor/.
[4]江民发布2009年上半年计算机病毒疫情特征报告[EB/OL].http://www.jiangmin.com/news/jiangmin/index/important/2009814162818.htm#top.
[5]Da Xiao.An asysmmetric Storage virtualization system for the SAN environment[C].the Conf on ComPutational Science,2005.
云计算下的存储变革 篇6
1 云计算环境下分布存储关键技术的产生背景
信息技术的发展速度是十分迅猛的, 甚至可以说已经渗透到了日常生活和各行各界的每个角落之中。不可否认, 计算机技术使得人们的生产生活变得十分便捷, 但也正因如此, 生产生活所产生的相关数据呈现出来爆炸性增长的趋势。为了切实满足这一使用需要, 计算机的数据存储能力也进行必要的扩大提升。云计算应运而生。
云计算背景下的分布存储技术, 其实就是使用者基于个人使用实情对使用所需的存储总量进行一定的分析及预估, 然后再通过购买、租赁或其他方式来得到预想所需的互联网存储空间, 以此满足个人使用产生的数据存储需求。云计算的数据中心可以依据具体的使用情况, 选择对应的不同节点并将数据存储其上。数据中心会选择适用的计算机程序对所存储的数据进行一定的编排处理, 并通过专用端口将这些处理过的数据呈现给使用者。
2 云计算环境下分布存储关键技术的组织结构
云计算实质上是一种基于互联网背景对数据进行基础共享的全新运算模式。其组织结构主要可被分为以下三种:
2.1 以服务器为核心
以服务器为核心的结构, 主要是通过网线来连接各个服务器终端的, 有助于确保服务器能够迅速处理并存数大批量的数据信息, 并于任务完成后及时向用户进行数据信息的传输转发。此类结构的组成及连接较为简便, 可以省去很多不必要的设备 (例如转换器等) , 并且直接向用户提供相关数据的处理服务及存储服务, 还可以迅速完成与他网所含数据信息的交流共享, 能够显著提高计算机路由算法的实效性。
2.2 以交换机为核心
以交换机为核心的结构, 则主要通过交换机来完成所有数据的传输及存储。云计算尚未得到普及应用前, 此类结构堪称是当时数据存储相关技术之中实用性最高的一种。交换机是连接各个用户数据并完成数据传输的主要媒介, 包括了核心层、边缘层与聚合曾这三大结构部分。此类结构的典型优势, 就是具备较强的穿透性, 其连接与操作也都十分简单, 可以节省很多计算机资源, 并且还具备很高的扩展性, 有助于确保数据处理及存储的工作效率。
2.3 服务器与交换机相结合
上文中第一种结构必然会占用较大量的计算机资源, 但是其操作的简便性及对路由算法的开发提高性十分显著;第二种结构的操作和连接都很简单, 也不会占用过多的计算机资源, 但其结构特性也决定了此类结构的存储容量相对较小。由此可见, 这两种结构既有显著优势也有明显弊端。因此, 如若将服务器与交换机进行有机结合, 就可以完成这两种结构的取长补短。这种混合结构能够有效弥补单一结构的缺陷, 并形成很大的叠加优势, 有助于满足数据信息的大批量处理及传输任务。
3 云计算环境下分布存储关键技术的弊端问题
3.1 容错性问题
容错性是可以利用相关技术完成提升的。以往人们会使用RAID技术来完成对容错性的提升。配置性能较高的服务器或是设置专用的存储设备都可以有效提高容错性。随着数据量的不断扩大, 数据总量的增长液使得数据节点不断增加, 数据失效若不能很好解决, 必然会导致失效率越来越高。不仅会给服务提供商带来较严重的影响, 而且会造成客户信息的巨大损失。可以说, 提升容错性是云计算谋求未来发展必须解决的一大重点问题。
3.2 扩展性问题
解决扩展性的一大主要方式就是预留一定的冗余磁盘。这种方法确实可以扩展出一定的存储空间, 但是若数据信息量过大, 使用预留冗余磁盘的方法来扩展存储量, 必然就显得很不切实际。数据信息的发展趋势据诶定了数据信息的总量必然是越来越大的。为了迎合这一趋势, 数据中心网络必须进行存储量的扩展, 并对数据组织结构进行一定的必要提升。
3.3 成本情况的控制
云计算技术诞生并实现推过应用之前, 分布存储所涉及到的数据信息一般规模较小, 因此对数据进行存储处理所产生的相关能耗也并没有什么具体的要求。正因如此, 传统的分布存储技术成本还是较低的。但是随着数据信息总量的不断增长, 数据信息的规模也日益扩大, 如何做好相关的成本控制就成为了一大难题。如何在确保服务质量的基础上, 通过降低能耗来控制成本以谋取更多的经济效益, 就成为众多生产制造商的研究重点。
4 云计算环境下分布存储关键技术的技术分析
时代不断发展, 科技不断进步。现如今, 解决容错问题和成本控制也已逐渐不再那么困难。以下两种技术对于分布存储技术就具有很大的问题解决作用。
4.1 容错技术
容错技术的诞生对于云计算中的分布存储是具有相当重要的意义的, 堪称分布存储发展进步的关键技术之一。该项技术是一种及时系统运行中出现了一定的错误激活, 也能确保数据传输不会出现间断的全新数据服务。容错技术使得系统的可靠性和应用性都得到了很大提升, 也可以提升数据的访问率。
容错技术主要包括了纠删码容错和复制容错这两大类:
纠删码容错是一种利用多个数据对象同时编码产生新的编码数据, 以此实现数据信息的完全复制来减少存储所占量, 但该技术会生成比较大的计算开销。此外, 当出现多个数据块须要容忍时, 部分冗余信息很可能出现信息失效。若要解决这一问题, 信息修复的成本又较高。
复制容错是将具体数据对象进行复制生成多个相同模块并将其分布于各个节点中的容错技术。即使某部分模块的数据出现了失效, 用户也可以从其他节点上获取相同的所需数据。
4.2 节能技术
据相关统计数据显示, 储存系统在日常运行中所产生的能耗约为45%, 属于能耗较高的部分。因此, 减少该部分系统运行所产生的能耗, 不仅可以实现能耗降低以减少成本, 而且有助于维护生态环境, 具有很深远的研发和推广意义的。
现行的节能技术主要包括以下两种:
4.2.1 软件节能技术
软件节能的主要目标, 就是在系统的运行性能不受影响的前提下, 尽可能减少存储数据所产生的能耗。该技术主要的管理对象就是各个节点和数据信息。管理节点可以分析云计算中存储节点的具体分布情况, 自动选择关闭部分节点以降低能耗。管理数据信息则是以动态及静态的数据信息进行一定的管理, 或是针对相关数据信息的预取缓存进行管理。
4.2.2 硬件节能技术
硬件节能则是从硬件层面进行具体的节能控制。具体的硬件技术又可被分为数据中心的相关方面及计算机的整体方面这两大中。数据中心的相关节能技术, 就是将能耗较高的相关设备换位高性能低能耗的设备;计算机的整体节能技术, 则是采用全新的节能体系结构, 以此实现计算机的整体节能。
5 结语
云计算技术的产生也很好地实现了生产生活中庞大数据信息的分布存储和处理传输。但正因数据总量巨大, 实际运用中时常出现数据丢失或是数据失效的情况。本文针对这些情况进行了具体分析, 并就现有的解决方案和相关技术进行了相关阐述, 希望对云计算的今后发展创新有所裨益。
摘要：自信息技术诞生以来, 信息技术以其巨大的便利性和高效的操作性在社会各界获得了广泛的认可。时至今日, 计算机技术中的云计算更是成为很多行业必不可缺的一大使用工具。就云计算中分布存储的关键技术而言, 如何解决该项技术所存在的缺陷, 对于进一步推动云计算的发展及运用十分关键。
关键词：云计算,分布存储,关键技术
参考文献
[1]郭翠云.云计算环境下的分布存储关键技术分析[J].硅谷, 2013 (16) .
[2]任帅, 李笑满.基于云计算环境下的分布存储关键技术分析[J].信息系统工程, 2015 (09) .
云计算下的存储变革 篇7
当今社会, 互联网逐渐在千家万户中普及, 网络信息技术水平日益提升, 一定程度上促进了社会的快速进步和发展。云技术作为一种创新性的网络技术, 自其诞生以来受到相关领域人士的广泛关注, 并且在实际应用中取得了较为可观的成效, 在国内外相关行业领域发挥了巨大的作用[1]。
一、云计算环境下分布存储技术的结构
1. 服务器为核心。
服务器为核心的数据中心结构主要是指通过网线连接每个服务器终端, 此类结构中, 服务器对各类数据信息进行大批量的处理和存储, 并且为用户提供数据的传输和转发。此类以服务器为核心的结构在连接和组成中较为方便, 去掉不必要的转换器等设备, 可以直接提供数据处理和存储服务, 并与其它网络进行数据交流, 有助于路由算法的高效性。
2. 交换机为核心。
以交换机为核心的结构, 主要是指所有的数据传输和存储, 都是通过交换机进行的, 在云计算网络技术尚未能广泛应用之前, 以交换机为核心的结构是最为实用的数据存储技术, 以交换机作为数据存储的中心, 将用户数据同数据中心连接在一起, 通过交换机为媒介传输。以交换机为核心的结构, 是一种较为穿透过的数据存储技术, 其结构中包括聚合层、边缘层以及核心层三个部分, 此类结构的最为突出的特点就是操作简单、连接容易, 不会占用计算机大量的资源, 同时具有很强的扩展性, 相较于服务器为核心的数据存储技术优势在于不会占用计算机的资源, 能够保证数据处理和存储效率[2]。
3. 服务器与交换机结合。
以服务器为核心的结构会占用大量计算机资源, 但是操作简单, 有利于开发更为实用高效率的路由算法, 而以交换机为核心的结构操作简单, 连接容易, 不会占有计算机资源, 但是由于通过交换机进行数据传输和存储, 交换机的存储容量较小, 制约了大量数据的处理和存储, 由此两种结构有利也有弊。将两者的优势互补, 取其精华, 去其糟粕, 促进两者的有效融合, 形成一种混合的结构, 能够有效地进行大量数据传输和处理。
二、数据容错技术
1. 纠删码容错技术。
在数据容错技术中, 纠删码容错技术是基于信道传输的数据编码技术, 当数据传输和存储过程中丢失了大量的数据, 可以将其纳入到分布式存储领域, 并且由于纠删码容错技术能够大大的减少数据存储的资源占用, 并且基于此种容错技术, 对不同数据对象进行编码, 形成编码数据对象。
2. 复制容错技术。
复制容错技术是将数据对象创建成多个模块, 并将其按照实际需要分布到不同存储节点中, 当其中某一个数据对象失效, 可以通过对其他数据模块进行复制, 获得相同的数据信息。复制容错技术主要包括数据复制策略以及数据组织结构, 一方面复制容错技术的优势在于客观清晰、数据读取速率高、实现方便, 是目前云计算环境中最受用户欢迎的数据传输和存储技术, 并且在实际应用中获得了较为可观的成效, 得到了广泛应用。
三、节能技术
数据存储是云计算环境下最主要的组成部分, 但是随着人们观念的提升, 对于节能技术的应用更为关注, 数据存储对于系统消耗至少占用40%, 所以节能技术的应用是十分有必要的, 可以通过计算机的软件和硬件两方面进行研究。从硬件方面的而节能措施主要可以针对数据中心进行改善, 将消耗高性能和高能耗的硬件设备更换成低能耗和低性能的硬件设备, 或者从计算机整体进行考虑, 增加计算机的数据存储容量来降低数据存储耗能;从软件的角度来看, 可以降低数据中心系统的能源消耗, 主要包括对数据中心的节点管理以及数据村村管理, 全面的降低计算机数据存储耗能。
结论
综上所述, 随着网络技术水平的日益提升, 云计算作为一种创新性的数据计算模式, 受到了国内外相关领域的热烈欢迎并且在不断的创新和发展过程中, 改变着数据存储的大环境。但是由于云计算存储数据量较大, 在实际应用中存在着数据丢失和失效问题, 由此本文对云计算环境下的分布存储关键技术进行客观阐述和分析, 以便为云计算技术的创新和发展奠定基础, 为用户提供更加完善的数据存储功能。
参考文献
[1]郭翠云.云计算环境下的分布存储关键技术分析[J].硅谷, 2013, 12 (16) :42.
云计算下的存储变革 篇8
为了满足对巨大的存储容量以及大范围的通信的需求, 一种先进的资源共享计算模型出现了, 就是云计算, 它一般用于商业领域的计算。与传统的计算模式相比, 云计算的主要媒介中心是互联网, 为上层提供可信赖的服务是通过一个中心存储数据来实现的。而这个数据中心则成为云计算提供所有服务的核心, 随后进行的关于数据信息的所有操作都是和这个数据中心分不开的。如何在数据中心进行数据的有效存储、管理和组织等, 以及如何将数据信息安全可靠地提供给上层使用是云计算环境下分布存储关键技术的主要研究内容。
2 云计算的概述
为了满足数据信息的计算和存储需求, 并且由于通信技术快速发展, 一种可以共享的新型计算模型--云计算出现了。它不需要云服务提供商的参与, 使用用户可以自由地进行网络、计算和存储服务的访问。数据中心的建立是通过将网络设备和庞大的数据节点有效结合而实现, 数据中心可以为用户提供基本的服务, 以达到满足用户需求的目的。数据信息的存储位置也是有讲究的, 大量的信息可以存在于同一数据中心不同的节点上, 同样这些信息也可在不同数据中心的不同节点上存在。不管是哪种情况, 它们是什么样的组织形式对于使用者来说是可见的, 并且使用者也知道它们的具体存储位置, 用户在使用时, 数据中心内部的数据信息可经由数据访问接口直接访问。云计算提供商的主要工作是管理数据信息, 存储数据信息, 计算数据信息和保证数据信息的安全性、可靠性等, 而使用用户不必构建数据中心, 从而使用用户的成本费用大大降低。用户只需根据自身的需求支付费用, 随后使用数据中心的数据信息。
怎样有效地管理、合理地组织数据中心上存储的大量数据是云计算分布存储技术的主要工作。因为数据信息规模大, 所以数据中心的容错性、可扩展性、花费等方面出现大量的难题。
3 在云计算环境下分布存储的关键技术
3.1 容错性
为了能更好地实现容错性, 传统模式一般采用专门的存储设备以及高性能的服务器等, 然而其成本费用就必然增加, 无法达到追求利润的目标, 并且大量的节点和较大数据规模导致数据存储出错的概率增加。在云计算模式下, 一种常见的行为是数据存储失效。例如, 谷歌公司在2006年3月的一份报告中表示:在数据中心的每个大规模数据集的并行运算作业中, 据统计平均会有5个节点出现失效的问题, 这样由于失效的增多, 就会使磁盘受到损害。经过调查, 数据的失效所带来的经济损失不可估量。
3.2 可扩展性
传统数据存储计算中, 数据存储的可扩展性是通过冗余的磁盘预留实现的, 这能保证数据有足够的存储空间。然而社会的发展使得应用不断扩展, 数据规模不断增大, 数据节点不断增多, 庞大的数据中心规模会使需求存储容量增大。所以云计算服务商在云计算的存储计算中不采用这种方法。
3.3 减少成本花费
我们知道, 传统的模式不仅是数据量少, 这样节点相对也会很少, 所以能耗很低, 并且很多企业为了获取更好的存储效率和保证信息的可靠性, 常常不惜投入大量的资金。而在云计算的环境里, 因为要满足海量的数据的要求, 所以它需要的成本很多。为了让设备运行正常, 设备的制冷消耗也必须考虑。所以, 云计算的成本费用就大大地增加了。
4 数据中心网络的构建技术
在云计算的正常运行中, 数据中心是非常关键的, 它由软件和硬件两个主要的部分组成。这里的软件是指数据中心服务所需的软件, 硬件包括支撑系统和计算机设备等。
4.1 中心为交换机的结构
这种网络构建结构主要是通过交换机有效地连接各个服务器数据中心, 交换机转发数据包, 而云计算的服务器仅负责存储和处理数据信息。这种结构多为树型三层结构, 分为边缘层、核心层、聚合层。这种结构的主要优点是高效稳定、操作简便, 可实现功能扩展。它的缺点是灵活性很不好、浪费资源、不能很好地利用服务器等, 因此, 常见于传统数据中心网络。
4.2 中心为服务器的结构
这种结构一般将相对较多的网卡安装在每个数据中心的服务器, 然后用网线连接服务器和网卡, 这样就形成了一个整体网络, 它所能实现的功能也就增多了。这种结构数据中心的服务器不仅需要实现对数据的存储和处理, 还要实现数据包的转发功能。研究发现, 此结构在结构的组成与线路的连接方面比较简单, 减少了树型结构中的单点瓶颈问题, 保证了服务器与网络底层间的数据交互, 得到了更高功能的路由算法。
4.3 两种结构同时存在
这是一种新型的功能互补结构, 所以服务器连接的节点是由交换机组成, 同时将多个网卡安装在服务器中, 这样就能实现数据包的转发。它的优点是更加的灵活、自由, 当应用同样的功能时, 数据中心的投入资金可以大大降低。
5 总结
云计算通过有效地连接网络设备和数据节点构建了一个超大规模数据中心、多个超大规模数据中心, 然后服务于用户, 满足用户需求。云计算的分布存储关键技术针对的是对数据信息的管理和组织。
参考文献