云计算核心技术

云计算核心技术（通用12篇）

云计算核心技术 篇1

云计算是最近几年发展起来的热门词汇, 这一含义已经跨越了科技界以及学术领域。云计算作为新型计算模式, 对传统的计算软件有着强烈冲击, 尤其云计算自身的优势, 在不断的发展过程中也成为企业提高竞争力的重要技术工具。

一、云计算的主要特征及架构体系分析

1.1云计算的主要特征分析

云计算主要是基于互联网服务器等提供的动态扩展虚拟化的资源而形成的, 其自身有着鲜明的特征。云计算主要是分布在大量分布式计算机基础上存在的, 从其所具有的特征来看, 其体现在规模的庞大, 以及虚拟化, 高可扩展性、通用性、廉价性等方面。以虚拟化特征为例, 这一技术能够支持用户在任意位置, 使用各种类型的终端来进行获取应用服务, 而这些服务请求是源于“云”, 所以有着虚拟化的特征[1]。

1.2云计算的架构体系分析

云计算架构体系并不复杂, 总体而言分为管理和服务这两个主要部分。管理架构主要分为用户层和机制层以及检测层, 用户层主要用于客户支持及相关管理, 同时具备了服务管理功能;机制层主要用于运行管理及维护管理, 同时也涉及到了安全管理与资源管理;检测层主要对系统进行监控。服务层架构主要有软件服务层, 主要面向于用户并为其提供浏览器服务, 同时可将其与云层应用相关联。然后就是基础设备服务层以及平台服务层, 基础设备服务层与平台服务层可从云计算供应商处得到相关应用并用于储存信息[2]。

二、云计算核心技术研究现状及主要技术分析

1、云计算核心技术研究现状分析。

从云计算核心技术的研究现状分析来看, 所涉及到的层面比较多样化, 其中虚拟化与资源管理层面的研究比较早。虚拟化技术的研究在IBM VM/370就出现了, 这一技术使得一台物理计算机能够进行多台虚拟机的运行, 而在虚拟机上运行的操作系统也不同, 这样就能够达到不同的虚拟机之间较强的独立性。同时在硬件之上的超级管理层, 其在最高优先级上实行的运行, 主要是对CPU以及网络和内存等虚拟化的完成进行负责, 同时对上层的虚拟机提供资源访问接口, 完成虚拟设备的管理。而在云计算的网络拓扑层面的研究是对传统数据中心体系的优化, 当前的数据中心主要是以太网作为典型的架构, 采取三层交换树状架构。其主要由接入层以及汇聚层和核心层构成。传统树状网结构存在缺陷, 就是交换机节点增加节点间的连接也会随之增长, 这样就造成了网络复杂性的增加。但云计算平台的大部分应用是通过网络来实现数据的传输与计算, 这样就提高了其自身的效率。但在云计算平台上带宽成本较高, 所以可通过fat tree拓扑结构连接方式 (如图1) 进行实现便捷的交换[3]。

2、云计算核心技术分析。

云计算核心技术中的海量数据分析技术以及海量数据管理技术、MAP-Reduce编程模型、虚拟机在线迁移技术、虚拟机快速部署技术等, 都是云计算核心技术中的佼佼者。其中海量数据分存技术值得重视, 数据量的发展已经非常迅速, 现有的云数据库系统主要有三种类型, 在这一新兴技术领域中最具代表性的云数据库系统就是CASSANDRA。另外是云计算平台管理技术, 云计算所聚集的资源相对较多, 故此对相应的数据处理就比较大, 这样对服务器的需求数量也就随之增加。通过云计算平台管理技术能够解决实际问题, 同时可以促进服务器间充分发挥协同作用, 以最快的速度进行业务的部署和对系统的故障进行恢复[4]。再者就是虚拟机在线迁移技术, 该核心技术能对整个云计算系统进行有效的管理, 并对其平台的多种服务的实现都具有决定性的意义。从其技术优势上来看, 主要是对均衡负载以及可靠性提供巨大的便利, 在物理机出现负载过重, 通过在线迁移技术就能够将这些负载进行转移, 从而达到均衡负载的作用。

三、结语

总而言之, 随着当前科技的不断进步与更新, 针对云计算核心技术的研究范围也会愈来愈广, 在这一过程中要重点关注安全性和可靠性等问题, 因为只有在安全可靠稳定的运行条件下才能体现云计算核心技术的真正价值。由于受到本文篇幅限制, 不能进一步深化研究, 希望此次努力能起到抛砖引玉的作用, 以待后来者居上。

参考文献

[1]宋庭新, 张成雷, 李成海, 黄必清.中小企业云制造服务平台的研究与开发[J].计算机集成制造系统, 2013, (05) .

[2]李延东, 赵秋爽.IDC的智能化与运营管理系统建设[J].电信技术, 2013, (01) .

[3]黄华祝诗平刘碧贞.近红外光谱的云计算分析系统构架及实现[J].农业机械学报, 2014, (06) .

[4]唐鸣.浅谈如何优化计算机网络服务质量[J].云南社会主义学院学报, 2013, (13) .

云计算核心技术 篇2

摘要：云计算是一种基于互联网的应用模式，能够让计算服务像水、电等公共服务一样，随需取用、按量付费，被视为信息产业的第三次革命，它将是未来社会信息化的主要形式，也是未来国家信息战略安全的主要载体。

舜网讯 浪潮集团正式发布“云海In-Cloud”战略，开始全面推进云计算业务。作为云海战略的重点，浪潮首次定义“行业云”概念，并宣布将于年内推出国内首个自主开发的云计算操作系统，我国在云计算这一战略新兴领域的关键技术空白将因此被填补。

浪潮云计算市场战略布局初步形成

云计算是一种基于互联网的应用模式，能够让计算服务像水、电等公共服务一样，随需取用、按量付费，被视为信息产业的第三次革命，它将是未来社会信息化的主要形式，也是未来国家信息战略安全的主要载体。“云海”战略的正式实施，标志着作为国内IT产业的骨干企业的浪潮集团对中国云计算市场的战略布局已经形成。

作为云海战略的重点，浪潮首次定义“行业云”概念，提出“行业云”作为“公有云”的重要组成部分，是未来中国云计算市场的重要力量，并与山东计算中心签署云计算合作协议，建立国内最大的区域行业云和未来云计算研究中心，作为浪潮云海战略实施的第一个落地的“行业云”项目。

据浪潮集团高级副总裁王恩东介绍，目前，行业用户已经占据了中国信息化市场50℅以上的市场份额，从行业组织的分散性，数据的封闭性等方面看，云计算无疑是实现行业数据和资源共享，推动数据向服务转化的最佳途径。因此，行业云是公有云最具潜力和战略意义的市场，是中国云计算未来的主导力量。而浪潮与山东计算中心签约后将共同完成山东全省13个软件园的资源整合、共享、协同，着力研究开发下一代云计算前沿技术，并逐步丰富云计算的服务。

与此同时，浪潮宣布推出国内首款云操作系统——云海(云OS)，填补了我国在云计算基础架构领域里的关键技术空白，成为普遍关注的焦点。

云计算操作系统是云计算的关键平台技术，类似于人体的神经系统，在云计算应用中承担着对大型数据中心、跨数据中心硬件资源的统筹调度、管理的枢纽作用，对云计算的安全和效率有着至关重要的影响。但是，在操作系统领域存在着诸多技术难题，譬如在高并发条件下如何实现服务的持续可用，以及万量级资源管理等，目前尚无国产厂商涉足该领域。业内观察人士认为，“云海”操作系统推出后，浪潮将成为中国首家掌握该技术的厂商，大大缩短了中国与发达国家在该领域的距离，对未来中国云发展具有重要意义。

扫清云计算在中国发展的障碍

我国关于云计算的讨论已经持续了近三年，但由于各个厂商存在着不同的利益点，提出的观点也各不相同，使得客户对云计算的理解陷入误区——只看局部，无视整体;只看细节，忽视架构;只谈概念，忽视落地应用;只照搬国外经验，忽视中国具体国情，给云计算在中国的发展带来了很多障碍。

科技部高新司嵇智源处长说，与欧美、日本等发达国家相比，我国云计算技术起步较晚，呈现出头重脚轻的趋势，一方面众多企业纷纷推出种类繁多的云计算运用，另一方面，由于国外企业对核心技术的垄断，很少有国内企业进行创新芯片以及硬件方面适合云计算的研究和开发。长此以往，我国云计算将一直是空中楼阁，发展前景不容乐观。

王恩东在接受科技日报记者采访时表示，核心技术的缺失将是制约中国云计算整体发展的壁垒。尤其在云计算基础架构核心技术层面，一直以来鲜有国内厂商涉水，大多数都着眼于平台运营与软件服务。事实上，该领域的缺失已经不仅成为制约我国云计算事业发展的最大障碍，更为我国的信息安全埋下了隐患。打造云计算硬件核心装备和云操作系统，是解决云计算基础架构核心技术问题的关键。

工信部电子信息司副司长刁石京表示，云计算的根本在于应用与服务，中国拥有世界上最大的无线网和最大的有线电视网，同时拥有最大的互联网用户人群，为中国云计算发展提供了肥沃的土壤。中国本土IT企业完全有条件在这样的契机下，实现整体突破，成为中国云时代的领跑者。

嵇智源处长说：“浪潮集团在国内率先推出了云计算战略，针对云计算基础架构展开一系列的高效的开发和推广工作，特别是很快就要面世的自主云操作系统将填补我国在这一领域的技术空白。凭借着对自主创新的坚持，我们将在随之而来的云计算时代中，不再受制于国外的技术封锁和垄断，真正将信息领域的相关产业做大做强。”

走进云计算与虚拟化的底层核心 篇3

作者为工业和信息化部软件与集成电路促进中心（CSIP）软件处处长。多次参与工业和信息化部各种技术标准、产业政策、战略研究规划的起草与制定。

云计算是新一代信息技术的重要发展方向，是我国新一代信息技术产业实现创新突破、跨越式发展的战略机遇。借助云计算，普通用户可以通过终端设备随时随地接入网络，实现对云中数据的共享和管理，比如上传下载文档。对于企业，可以随意获取各种高可扩展的、灵活的IT资源，快速部署企业应用，在不加大硬件投资的前提下，满足业务高速增长的需求。所有这些都需要实现云服务环境下的服务器管理与部署。

云计算的目标是将各种IT资源以服务的方式通过互联网交付给用户。虚拟化实现了IT资源的逻辑抽象和统一调度，在大规模数据中心管理和解决方案交付方面发挥着巨大的作用。服务器虚拟化使得分隔良好的工作负荷能够再次共用硬件，并且为IT部门带来了三类不同的优势。首先，当然也是被过热、拥挤不堪的数据中心所困扰的IT部门所最迫切需要的，它通过大幅减少IT服务对空间的占用以及在电力和散热方面的消耗，终止了服务器蔓延。其次，它带来了实现弹性化和更高可用性的新途径。第三，它大大加快了设置的速度。

随着CPU技术发展，多核心、大内存、大容量、多路多线程、低功耗、绿色节能、与高性能显卡融合等越来越成为主流趋势，部署在同一台服务器上应用越来越多，如何将虚拟化技术和云计算做有机结合是目前的用户所关注的焦点。而AMD在这一领域的持续投入和积极实践，在保持其低耗能高稳定性基础构件传统优势的同时，更将其基于多核，低功耗以及异构计算的虚拟化技术更好地服务于云时代，从而形成了价值云的核心，此外还联合众多国内厂商，共同构建云计算价值生态系统，这无疑为其在云计算市场的长足发展加足砝码。政府在此领域也进行积极尝试。目前重庆已启动“云端计划”，以“云”+“端”相结合的特色模式，打造百万级服务器的云计算中心，力争建设成为中国最大的离岸和在岸数据处理中心。广州市也在积极筹划建设中国最大、最先进的面向云的高性能计算服务平台。

云计算核心技术及安全问题 篇4

关键词：云计算,云存储,虚拟化

1 云计算的概念与特征

1.1 云计算的概念

关于云计算的概念,从不同的角度来看有不同的定义。

1)从应用的角度来定义:[1]相关研究和实践证明,云计算既不是什么计算,也不是一项单纯的技术概念,而是一个如何在现有互联网的基础上把所有硬件、软件结合起来,充分利用和调动现有一切信息资源,通过构架一个新型的服务模式,或者能提供服务的一种新的系统结构,为人们提供各种不同层次、各种不同需求的低成本、高效率的智能化的服务及信息服务模式的改变。

2)从技术的角度来定义:[2]可以说云计算是并行计算、分布式计算和网格计算的发展,或者说是这些计算机科学概念的商业实现。

1.2 云计算的特征

不管从哪个角度来定义云计算,云计算应该具有如下几个特征:[3,4]

1)以网络为中心。云计算的整体架构是建立在由多台计算机和其他各种硬件、设备组成的网络环境之中,离开了网络,云计算也无从谈起。

2)以服务为提供方式,这跟过去有所不同,是根据用户的需要,按需服务的方式,根据不同用户的个性化需求推出的多层次服务。

3)应该具有高扩展、高可靠性。因为用户要在这上面接受服务,这是必须要具备的特征和条件。

4)弹性,随着业务增长,这个系统能平滑过渡,平滑增长。

6)动态,最主要是适应现在各种IT业务,IT系统用户需求的快速变化。

7)极其廉价。“云”的特殊容错措施使得可以采用极其廉价的节点来构成云;“云”的自动化管理使数据中心管理成本大幅降低;“云”的公用性和通用性使资源的利用率大幅提升;“云”设施可以建在电力资源丰富的地区,从而大幅降低能源成本。因此“云”具有前所未有的性能价格比。Google中国区前总裁李开复称,Google每年投入约16亿美元构建云计算数据中心,所获得的能力相当于使用传统技术投入640亿美元,节省了40倍的成本。因此,用户可以充分享受“云”的低成本优势,需要时,花费几百美元、一天时间就能完成以前需要数万美元、数月时间才能完成的数据处理任务。

2 云存储与虚拟化

2.1 云存储[7]

数据量对我们提出严峻挑战,使目前数据库技术已经不能应对这些蜂拥而至的数据的浪潮。在各个领域都呈现严峻的挑战形式,这就是为什么人们积极寻找构建新的云存储,即云数据库来应付海量数据到来。

数据不断从前端向后端聚集,大部分数据被聚集到了一个中心服务的地带,因此这两项趋势造成我们面临一个巨大的数据集合。目前数据管理面临挑战性方面在于:我们如何去应对不断开展的数据规模,如何提供一种好的可扩展性,如何提供一种好的成本效益的一种服务,如何去支持在这种模式下具备好的容错能力,以及如何有持续研发的机制。这是新的系统要面对的,也是传统的不能解决的问题。

现有的云数据库系统大体划分为两类:一类是基于Google的系统,结构用了分布式储存的方式;另一类是以DYNAMO为主体,采用了P2P处理结构。目前该领域开发出有代表性的云数据库系统,它们是:HADOOPDB,HBASE和CASSANDRA。

未来的数据库,云数据管理系统,研究方向应该是:可扩展性、成本效益和容错性,持续的简化能力和易于管理等等,更重要的是构造的云数据管理要能支持多种形式的应用,这是一个很复杂的问题,因为每种应用需求都不一样,目前构造的云存储是针对某种应用或者某种情况设置的,是有局限性的,所以支持多种形式的应用将是云数据库研究的核心内容。

2.2 虚拟化[8]

虚拟化是一个物体虚拟成不同物体,每个物体担当不同任务,当虚拟物体完成工作后可以关掉,把资源释放回来做更多事,一台笔记本虚拟成三台笔记本,做三台笔记本工作。

虚拟化本身就是把底层物理设备和上层的软件进行分离的一种去耦合技术,各个层面做各个层面的工作,不要捆绑在一起,目的就是为了实现信息资源的利用效率和灵活性的最大化。

虚拟化技术可以促进IDC提高资源利用率和服务水平,虚拟化技术能够降低IDC的运营成本,帮助IDC提供性价比更优的服务,吸引更多企业采用IDC的服务,从而为IDC带来更大的收益。研究资料表明,虚拟化技术将各种资源虚拟出多台主机,以提高这些资源的共享率和利用率,将IT环境改造成为更加强大、更具弹性、更富有活力的架构,为IDC带来以下效益:

1)35%-75%TCO(总体拥有成本)节省:通过将整合多个物理服务器到一个物理服务器降低40%软件硬件成本,每个服务器的平均利用率从7%提高到60%-80%,降低70%-80%运营成本,包括数据中心空间、机柜、网线,耗电量,冷气空调和人力成本;

2)提高运营效率:部署时间从小时级到分钟级,服务器重建和应用加载时间从20-40 hrs=>15-30 min,每年节省10000人/h(300台服务器);以前硬件维护需要以前的数天/周的变更管理准备和1-3小时维护窗口,现在可以进行零宕机硬件维护和升级;

3)提高服务水平:帮助企业建立业务和IT资源之间的关系,使IT和业务优先级对应;将所有服务器作为大的资源统一进行管理,并按需自动低动态资源调配;无中断的按需扩容;

4)旧硬件和操作系统的投资保护:不再担心旧系统的兼容性,维护和升级等一系列问题。虚拟化技术为IDC提供了云计算的基础架构,虚拟化技术除了帮助IDC提供资源利用率和提高服务水平之外,更重要的一点是它释放了IDC的潜力,为IDC带来了极大的运营弹性。未来数据中心的面貌就是将底层的硬件,包括服务器、储存与网络设备全面虚拟化,建立起一个共享的随需而选的运作环境,上层的数据可以根据业务型态的不同需求,搭配出各种互相隔离的应用,形成一个服务导向的IT架构。虚拟化技术不仅仅是一个简单的整合工具,它将更先进的自动化和系统管理引进到数据中心,为数据中心提供了一种共享加隔离(安全、可信)的云计算基础架构,这样的数据中心不再是传统的IDC,而是叠加了云计算功能架构的弹性数据中心。[9]

整个云的变化,其实是一个虚拟化的转变,包括从一开始看到是一个物理机,慢慢走向虚拟化,走向云计算,云计算是虚拟化最后的延伸[10],虚拟化技术是云计算的核心技术。

3 云计算行业应用

3.1 中国科技资源共享网[5]

中国科技资源共享网是一种跨学科、跨地域、跨组织的科技创新合作。这里的科技资源包括科学数据,科学成果,科学仪器,通过这种共享可以优化我们国家的科研基础设施。整个科技资源共享网系统下面有科技文献的资源,自然科技的资源,科学数据的资源,通过统一的一个规范和标准,进行汇交和集成。

现在科技资源共享网整合了30个专业门户专业资源,20多个平台,30多个地方平台的资源。科技平台涉及材料、农业、海洋,现在涉及到部门是国务院37个部门数据,500多个国家重点工程中心的数据,目前涵盖了全国31个地方平台,200多个生物种子资源,目前形成了资源数据库28类,提供了六大类各种各样的特色服务,数据量超过1000TB。

底层站点有40多个国家平台资源,各个专业平台,林业、农业、生物、海洋包括气象。还有20多个行业资源,还有31个地省市地方资源平台占领,科技共享网是去年年底开始正式运行服务。目前的提供是4个服务:

1)跨平台跨领域的数据文献仪器的搜索和导航,

2)网络协同和远程操作,

3)提供科技资源建设和服务情况的评估监测,

4)专题热点服务。

在科技文献子平台,国内的文献都可以查询,国外的可以通过科技引擎来查询。科技资源共享网整是一个全国性的共享服务设施。同时对加盟的站点,包括几十个子专业平台和科技资源站进行实时的监测。

整个科技共享网的定位:

1)是科技基础条件资源信息回教中心,

2)是资源共享服务的平台

3)是合理布局决策支持系统

4)是发布和成果展示的窗口

5)是资源动态监控和管理的工具

6)是和国内外相关资源合作交流的枢纽。

3.2 鸿蒙网[6]

鸿蒙网站平台基础结构:鸿蒙按照行政区域划分,由中国省、市、县、乡镇、村网站系统组织,每个云网站系统又按照行业分类方式有很多行业网站系统构成。每个行业网站包含多个功能系统,每个网站系统独立运行,彼此之间相互联系,形成有利的整体。

鸿蒙云计算应用网站平台是由很平常的服务器操作系统和功能软件组成的。鸿蒙网站系统的门是由行业门户的构成,随着社会需求变化构建不同的行,就是弹性可变的,随时增加或俭省行业。

鸿蒙网的云计算特征。作为中国首个云计算应用平台,鸿蒙网有以下特征

1)采用虚拟化技术按照行业进行划分,搭建独个系统,每个系统有独个用户,从而形成独系统独用户。比如说河北鸿蒙网是一个系统,都是独立的,现在已经搭建了60000个系统,其中行业里面是将近100万个。而中国鸿蒙网包含多个行业网站平台,每个网站平台有多个用户,从而形成比较复杂的云中云系统。我们这个图示比较形象地研究云的组合。

2)网站平台里的数据按照其物理属性进行描述,因此数据是连通的。比如一个村里的数据,同时属于上级行政区域,所以在鸿蒙云计算网站平台里,不存在信息“孤岛”问题。

4 云计算时代的安全解决方案

当我们进入云计算时代,对机器的控制和权限从企业慢慢走到服务商时,则我们的所有数据都必须在云提供商的数据中心里。此时,系统变成不可控,资料变成可控,这便是在云中最大的两个变化,也是云和传统最大的变化。

虚拟技术是云计算的核心技术,我们的数据资料都是运行在数据中心的虚拟机上,但是虚拟机和虚拟机之间会互相攻击,这就使得我们的系统变成了不可控。虚拟机有一个现象叫做“跑出去”,就是说虚拟机会跑动,这就使得我们的资料变成了不可控。例如,现在要设计资料中心,传统的方法是买一个最好的防火墙把资料中心围住,机器都在里面;但是在云计算时代,我们的资料都在虚拟机里,虚拟机会跑动,此时,防火墙就没有作用了,当然我们的资料也就变成了不可控[10]。

另一个安全问题是数据的隐私性。一个现象是,当我们把数据放到互联网上时,除了我们自己能够看到外,服务商也能够看到,因为我们的数据是被保存在服务商的数据中心里;另外一个现象是,一旦我们把数据放到互联网上时,服务商会把数据作好几个备份,数据的备份归服务商管理,所以数据销毁变得不可能。

防止虚拟机之间相互攻击的解决方案是,在每个虚拟机里都做一些防火墙和IDS;把防范措施做到虚拟机里,让它跟着虚拟机跑动,并且把虚拟机里的资料进行加密和解密;为虚拟环境的隔离做有效区分,监控虚拟机的状态。数据的隐私性解决方案是,需要建立服务商和用户之间的信任,通过建立相应的法规来保护用户数据的隐私性[10]。

5 云计算平台与应用实践

IBM的智慧城市和智慧地球。IBM智慧城市的构想要达到两个基本的技术要求:第一是可量化,从我们手中的终端机或者从城市终端机采出数字,例如,在高速公路上采取车流资料,帮助我们分析今天会在哪段塞车;第二互联互通,通过网络的连接,我们采集到的数据可以缔造需要的终端———作为存储和分析[11]。

存储和分析最终目的是要有智能,判断我们在生活和工作中所做的决定是否正确。这可以人工所为,对于所收到的信息,我们可以自己找出所需要的信息;但是如果有个很智能系统化工具帮我们处理这些信息,这就非常方便了。这个系统可以简化我们需要的信息,能够减少我们每天的烦恼,增加生活质量,这是我们的最终目的。一些数据说:现在碰到一些困难,最终目标就是物联网。

物联网和智慧城市是这样,物联网以物采取数据,数据存储分析,最后提供智能,这是物联网三步曲,这是符合中国的国情,中国提倡要突破物联网提升帮助我们国家更智能地支撑民生,招商引资。物联网需要互联网,云计算可以支撑有弹性的存储和分析,IBM智慧地球概念可以理解为物联网和互联网融合,以云计算支撑[11]。

6 结束语

本文简绍了云计算的概念和特征,以及在云计算行业领域有代表性的两个应用和在云计算平台与应用实践方面具有影响力的一个项目;通过探讨和分析,得出云存储和虚拟化在云计算技术中占有非常重要的地位,系统、资料的不可空性以及数据的隐私性是云计算技术中必须解决的两个核心问题。

参考文献

[1]吴基传演讲[R].第二届中国云计算大会,2010.

[2]娄勤俭演讲[R].第二届中国云计算大会,2010.

[3]杨杰.探索综合信息服务云平台,务实推进产业链融合创新[R].第二届中国云计算大会,2010.

[4]姚宏宇.云平台:理想与实践[R].第二届中国云计算大会,2010.

[5]吕卫锋演讲[R].第二届中国云计算大会,2010.

[6]郑世宝演讲[R].第二届中国云计算大会,2010.

[7]孟小峰演讲[R].第二届中国云计算大会,2010.

[8]金海.网格计算到云计算——虚拟化的探索与实践[R].第二届中国云计算大会,2010.

[9]虚拟化在云计算中的应用[EB/OL].http://wenku.baidu.com/view/3fcb6ff80242a8956bece4ed.html.

[10]张伟钦.云计算时代的新安全挑战[R].第二届中国云计算大会,2010.

浅谈云计算技术 篇5

引言

云计算(CloudComputing)是一种基于互联网的超级计算模式。它是分布式计算、并行计算和网格计算的发展。其基本原理为:利用非本地或远程服务器(集群)的分布式计算机为互联网用户提供服务(计算、存储、软硬件等服务)。云是一种思想，一种大规模资源整合的思想，是IT界发展的必然趋势。云计算是一种新型的超级计算方式，以数据为中心，是一种数据密集型的超级运算，在数据存储、数据管理、云计算平台管理等多方面具有自身独特的技术。

1、云计算的定义

云计算是从分布式处理(DistributedComputing)、并行处理(ParallelComputing)和网格计算(GridComputing)发展而来的。到目前为止，对于云计算的定义还没有一个确定的说法，可谓仁者见仁、智者见智。狭义的云计算：指厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意;广义的云计算：指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务,广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等。

2、云计算的核心技术

云计算系统运用了许多技术，其中以数据存储技术、数据管理技术、编程模型、虚拟化技术、云计算平台管理技术最为关键。

2.1数据存储技术

云计算的数据存储技术主要有谷歌的非开源的(GoogleFileSystem)云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现，GFS即Google文件系统(GoogleFileSystem)，是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS系统由一个Master和多个块服务器构成。Master存储着文件系统的所有元数据,包括名字空间、存取控制、文件分块信息、文件块的位置信息等。

GFS是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能，它可以给大量的用户提供总体性能较高的服务，一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成，并被许多客户(Client)访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约(lease)管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的`块并以冗余存储，每份数据在系统中保存3个以上备份。

客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。云计算的数据存储技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以及继续提高I/O速率等方面。

2.2数据管理技术(BigTable)

海量的数据处理是指对大规模数据的计算和分析，通常数据的规模可以达到TB甚至PB级别。基于互联网时代的数据统计和分析很多是海量数据级别的，其典型的例子如搜索引擎、数字图书馆。由于数据量非常大，一台计算机不可能满足海量数据处理的性能和可靠性等方面的要求。

云计算需要对分布的、海量的数据进行处理、分析并向用户提供高效的服务，因此，数据管理技术必需能够高效的管理大数据集。云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云中的数据管理是一种读优化的数据管理，因此云系统的数据管理往往采用数据库领域中列存储的数据管理模式，将表按列划分后存储。

2.3编程模型

为了给广大用户提供更轻松地享受云计算服务的机会，能轻松的利用编程模型编写简单的程序来实现特定的目的，云上的编程模型要十分简单，另外，需要后台复杂的并行执行和任务调度向用户和编程人员透明。

云计算大部分采用Map2Reduce的编程模式，Map2Reduce不仅仅是一种编程模型,同时也是一种高效的任务调度模型。Map2Reduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。

MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配(调度)给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇总输出。

2.4虚拟化技术

虚拟化(Virtualization)技术是云计算系统的核心技术部分之一，是将各种计算及存储资源充分整合和高效利用的关键技术。通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成：服务器虚拟化、存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。

利用虚拟化技术，在一个物理服务器上可以运行多个虚拟服务器。把物理CPU抽象成虚拟CPU，无论任何时间一个物理CPU只能运行一个虚拟CPU的指令，而多个虚拟机同时提供服务将会大大提高物理CPU的利用率;同样，利用虚拟技术，统一管理物理内存，将其包装成多个虚拟的物理内存分别供给若干个虚拟机使用，使得每个虚拟机拥有各自独立的内存空间，互不干扰。

2.5云计算平台管理技术

云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。

3、云计算技术发展面临的主要问题

云计算和云数据管理技术 篇6

新乡职业技术学院 河南新乡 453000

摘要：云计算是网络技术发展与创新的必然产物，对于我国计算机互联网技术的发展起着重要的作用。云计算的出现，不仅将基础设施建设、资源存储以及网络资源等，以服务形式免费提供给用户应用，同时还改变了传统用户应用计算机的操作模式。因此，本文将对云计算和云数据管理技术进行分析。

关键词：云计算；云数据；管理技术；分析

1 前言

随着计算机网络技术的不断发展，云计算和云数据管理技术作为一种全新的互联网应用模式，能够更好地满足数据几何速度增长的趋势和存储要求。

2 云计算概述

2.1 概念

云计算这种计算方式是基于互联网相关服务中的增加、交付以及使用几种模式，在云计算方式中，如果软硬件的信息和资源是共享的，那么就可以按照所设定的命令进行信息和资源的传递，将信息和资源传递给其他的计算机，由于云计算的活动是依赖于互联网，所以大部分的时间都会涉及到由互联网进行提供很多动态易扩展的资源，而且通常这些资源都是虚拟的。狭义上所说的云计算指的是在IT行业中一些基础设施的交付及其使用模式，同时指根据自身需求得到一些资源，这些资源的获得是通过网络的方式得到的；从广义上看云计算指的是各种服务如何进行交付及其使用模式有哪些，客户如何得到所需要的服务，这些服务得到的方式是通过网络按照需求扩展的方式来得到。服务包括了IT、不同的软件以及同互联网相关的内容，也可以是一些设定的服务。通过上面的论述我们可以知道计算成为了一种可以在互联网中流通的商品。

2.2 特征

云计算的特征主要表现为付费性、管理性、友好性、良好性、扩展性以及存储性和分布式等，同时还具有经济性、多样服务性、高可用性、可靠性以及编程模型高层次性。其中，经济性表现为：组建一个具有商业机特性的超级计算机通常需要非常多的资金，而一个拥有非常多商业机的集群只需超级计算机费用的很小一部分；多样服务性表现为：它可根据用户支付金额的多少来决定用户所享受的服务级别；服务提供性表现为用户和云计算之间是透明的，用户要想实现机制服务不需要知道云计算的细节和具体机制，一样能够获得想要的服务；高可用性表现为系统通过计算机的高性能、海量存储来提升服务，并让云计算对失效节点的检测实现自动化，有效排除失效节点，以确保云计算正确性；可靠性主要表现为：云计算是由大量的计算机组成商用群来实现用户所需要的数据处理，因此计算机越多，出错率就会越高，但是云计算是采用存储分布式和数据冗余的软件方式，所以数据正确性有保证，这在很大程度上有效地避免了大量应用硬件情况的发生；对于编程模型的高层次性而言，其主要表现为云计算由高层次模型编程组成，用户通过自行简单学习，可编写属于自己的、满足自己要去的程序。

2.3 工作原理

无需借助本地计算机（或者是远程服务器），便能够将计算合理分布在一系列分布式计算机上，以实现对企业数据中心运行的有效优化，并和互联网形成有效对接。如此一来，企业便能够将所需资源及时而准确地切换到相关应用上，然后结合实际需求对相关计算机及存储系统进行即时访问。云计算属于一项极具实用价值的新技术，使计算能力具有商品性质，并通过网络予以兜售，不仅节约了销售成本，同时还具有实用快捷的优点。

2.4 体系结构

云计算体系结构具有一定的复杂性，且较为庞大，以“云”网络为中枢，连接一系列并发的网络计算以及相关服务，能够在虚拟化技术的帮助下，对各个服务器的能力进行扩展，并借助云计算平台把一系列资源有机地结合在一起，从而为用户提供强大的计算能力及存储能力。一个相对完整的体系主要包括四大部分，一是云端用户，二是服务目录，三是管理系统，四是部署工具、监控、服务器集群。

3 云计算数据的特点

3.1 云计算系统采用的是虚拟化的技术，所谓虚拟化技术指的是计算元件并不在真实的状态下运行，所以它并不受硬件容量的限制，无形之中扩充了硬件的容量。针对软件重新配置过程较为复杂的状况进行简化，这样做的目的是使软件虚拟机的开销减少，同时可以支持更多的操作系统。这个技术还能使软件应用硬件之间产生隔离的作用，在这里包括了两种模式分别是裂分模式和聚合模式，裂分模式是将单一的资源分成不同的虚拟资源，而聚合模式同裂分模式恰好是一个相反的过程。

3.2 云计算系统采用的是分散式的海量数据存储方式，整个系统的组成是很多的服务器，这样就可以实现同时为很多的用户服务，由于服务器不同，所以整个系统采用的是分散的方式来进行数据的存储，同时使用冗余存储这样的方式来确保数据是可靠的。

4 云数据管理技术

4.1 Big Table技术

Big Table技术可以说是一个具有一定规模的分散式的大数据库，它的目的就是为了使数据在管理上实现结构化，而分散式的数据库，就有超强的存储能力，存储能力可以超过1PB。Big table我们可以把它看成是一个排序的、稀疏的、多维的地图，其中的单元格都有唯一的坐标，这个坐标由行、列和时间戳三个元素进行定位。这项技术在工作中执行任务时，能够随时对任何的Tablet进行分配，按照任务的指令将其分配到指定的Tablet服务器，同时有效利用master服务器对子表负载监视。

4.2 Dynamo技术

Dynamo技术不仅具有存储系统的分布式、数据库和高可用行，而且还具有专有存储系统的键值结构、Hash表分布式，因此Dynamo可直接提供底层支持与AWS，并且可不用暴露于外网。Dynamo技术的优点是通过它所提供的N、R、W三个使用参数，并根据自己来调整需求进行的实例，Risk、Project Voldemort以及Apache Cassandra是比较典型的Dynamo技术，其中N表示的是副本个数，R表示的是可达到读取一致、读取成功的个数，W表示的是认为写入成功的个数，但并不要求副本个数全部成功，当读取成成的个数加上写入成功大于副本个数，就可以保证最终的数据一致性，当读取成成的个数加上写入成功小于副本个数，则不可以保证最终的数据一致性。此外，Dynamo对于不同版本对象进行的处理功能、记录功能也是支持的，它的工作原理是将不同版本的應用提供给自己，并让自己达到比对方更加灵活的目的。

4.3 GFS技术

GFS是一个拥有文件分布式的大型系统，它主要为云计算提供具有大量的存储空间，GFS技术通常与Big Table、Chubby等技术联合应用，可形成一个需解决的方案。GFS技术应用过程中，将整个节点系统分成数据块服务器、主服务器以及客户端三大类，其中数据块服务器是为系统提供存储的具体装置，它将数据转换成文件直接存放在Chunk Server之中，Chunk Server数目通常与GFS规模成正比关系，即Chunk Server数目越多，则GFS规模就会越大；主服务器是用来管理GFS的节点，它主要是保存系统提供元数据，同时也是GFS系统中文件处理中心，对整个系统文件进行管理；客户端可以提供一种形式库文件，它为系统提供一组应用程序专用的访问接口，并且接口可以不用按照POSIX规范进行，当需要连接时，直接和库文件所在的库进行连接，直接从库文件中找到需要调用的库函数。

5 结束语

总而言之，云计算的应用前景非常广阔，云计算的数据所具有的海量、异构以及不确定性的特点使云计算的云数据管理面临着一定的困难。上文中简要叙述了三种云数据管理技术，希望对计算机互联网的发展有所帮助。

参考文献：

[1]刘正伟.文中领.张海涛.云计算和云数据管理技术[J].计算机研究与发展，2012，（1）.

[2]吴吉义.傅建庆.张明西.平玲娣.云数据管理研究综述[J].电信科学，2010，（05）.

云计算核心技术 篇7

中国通信信息研究院的研究数据显示, 2013年我国公共云服务的市场规模约45亿元, 2014年市场规模约60~70亿元, 国内云计算市场在全球市场上占比不足1%。IDC预计, 云服务市场规模巨大, 2015年全球云计算的市场规模将达到1180亿美元, 其中公有云服务将达700亿美元, 由此可见, 我国云计算市场尚未完全释放, 拥有巨大潜力。

近年来云计算市场规模迅速增大、行业标准逐步确立、技术水平不断提升、产业环境逐渐成熟, 云计算已经历了由小到大、由炒作到成熟的发展过程, 正进入大变革的时期, 全面迈向2.0时代。

众企业纷纷抢滩云计算市场

中国信息通信研究院通信标准所副所长何宝宏认为:“2014年云计算技术Docker的兴起令产业从产品竞争转向了生态系统竞争。”在云计算开源和闭源世界中, 开源的Open Stack在云计算市场占比高达90%, Open Stack的地位已经稳定;同时, 闭源世界的引领者Amazon正在打造其生态系统, 亦有超过两千家合作伙伴。目前, 开源和闭源并存的竞争格局已经基本确立。

国内的云计算市场可谓风起云涌, 在互联网行业, 云计算竞争显得尤为激烈。早在2009年, 阿里巴巴就开始建立云计算中心, 腾讯云、百度云、金山云、京东云等也不断出现。另外, 据盛大网络云IT事业群总经理李嘉俊透露, 盛大网络早在2010年就在上海建立云计算中心, 以期抢占云计算市场。

云计算市场的争夺战中, 自然少不了中国移动、中国电信、中国联通三大运营商的身影。中国移动除在南方基地和北方基地建立云计算研发中心外, 还在江苏建立研发基地;中国电信在内蒙古和贵州建立云计算中心;中国联通在国内建成了十大云基地;三大运营商正借云计算实现企业转型。技术供应商华为、浪潮、联想等云战略逐渐明晰, 华为在安徽、湖北建立其云计算中心, 联想也于近日推出腾云计划, 将在中国兴建50个云计算中心。在今年国际市场上, 据IDC预计, Amazon、Google、微软以及IBM仍然是业界的主导者。

云计算迈向2.0时代

目前, 云计算已从1.0时代迈向2.0时代。云计算的使用主体及应用范围发生了转变。云计算起源互联网, 云计算1.0时代主要由互联网或初创企业使用。但是随着云计算的不断发展, 企业客户也逐渐意识到云计算的巨大优势, 并开始使用云计算。IBM大中华区云计算架构师王攀表示:“在云计算1.0时代, 企业级用户更多地将云计算引入非核心系统或测试开发系统, 进入云计算2.0时代, 其核心系统也会不断地向云计算迁移和演进。”

在云计算技术上, 可以提高30~100倍处理效率的Spark技术的兴起, 意味着2015年云计算的核心技术将发生变化。何宝宏认为:“云计算正由原来简单虚拟化的1.0时代, 向优质虚拟化云计算2.0时代转变。”同时, “云计算的服务模式也在发生转变, 尤其是软件服务模式。在运维层面, 只有对专业技术掌握得更好、技术更贴近用户, 才能赢得用户的青睐。”李嘉俊表示。另外, 在云计算的2.0时代, 隐私问题非常突出, 安全方面得到了业界普遍关注, 因而需要重新定义隐私的内涵和边界。

多方联合谋转型

尽管近年来我国云计算产业发展较快, 但是与发达国家成熟的云计算产业相比, 我国的云计算产业仍然处于初期阶段。目前我国云计算企业基本形成了技术研发和产业化的能力, 在关键的云计算资源管理调动系统方面, 涌现一批自主创新成果, 并获得了市场应用。但是企业整体实力仍然不够强, 核心技术受制于人的状况还没有根本改变。

为推进云计算发展, 尽快壮大云计算产业, 缩小与先进国家的差距, 云计算亟需转型。工信部通信发展司副司长陈家春表示, 首先, 各企业需抓住当前宽带普及提速、移动互联网、大数据的发展机遇, 不断进行技术业务和商业模式的创新。其次, 云计算企业要积极采用绿色节能技术, 提高云计算能效水平, 促进云计算产业绿色健康可持续发展。最后, 不断拓展云计算与移动互联网、大数据、物联网等技术的交叉运用, 推动云计算与工业、农业等相关领域产业深度融合势在必行。

云计算核心技术 篇8

随着电力系统互联程度的加强和远距离输电系统的不断发展,能覆盖一个甚至多个国家的超大规模电力系统正在不断出现。电力系统规模的不断扩大和结构的日趋复杂使得安全评估、安全与经济运行、系统控制变得越发困难。此外,最近2年在世界范围内成为热潮的电力系统“智能化”趋势也给现有的电力系统分析计算和控制工具带来了极大挑战。根据美国能源部的定义[1],智能电网应具有若干重要特征:有很强的自愈性,并能够抵御外来攻击;能有效支持大规模的间歇性可再生能源和分布式电源的接入;能保证供电的可靠性和电能质量;能促进电力市场的公平和有效运行;能促进用户参与等。要满足上述要求,未来的电力系统调度中心应具有强大的计算能力和信息采集、集成、分析功能。现有的集中式电力系统计算平台难以满足上述要求,这已经成为了实现智能电网的主要瓶颈之一。

电力系统分析与计算的特点是计算任务种类繁多且对实时性要求很高。在很多情况下,为了实现在线计算,不得不对问题的数学模型作大量简化,这自然就牺牲了计算结果的准确性。对一些计算量很大的分析计算,如长过程动态仿真,通常只能进行离线计算,其结果是所产生的控制策略只对预先设定的工况有效,而难以应对各种突发事件。目前电力系统的分析计算一般依赖位于调度中心的集中式计算平台,对于大规模电力系统,其计算能力受限,且可扩展性差,升级成本高。未来的电力信息系统面临的另一个重大挑战是数据存储和分析能力的严重不足。现有的数据采集与监控(SCADA)系统在采集数据时一般止于变电站级别,且数据采样频率较低。在未来的电力系统中,不仅SCADA系统的采样频率需要明显提高,电力系统数据采集的范围也将大大扩展。相量测量单元(PMU)、智能电表,甚至各种智能家电的嵌入式系统都可能向调度中心提供大量的实时系统信息。由上述各种传感器所组成的数据采集网络所产生的数据量将是非常惊人的,以电力系统现有的信息处理能力将不足以完成对海量数据流的存储和分析功能。总之,电力系统现有的计算和信息处理平台不足以支持智能电网的实现,构建新的电力系统计算平台就成为值得考虑的重要问题。

云计算(cloud computing)是近年来得到快速发展的一种崭新的计算模式,是若干新计算技术的统称。到目前为止,对于云计算,尚没有来自权威机构的标准定义。一般认为,云计算代表了一种基于Internet的大规模分布式的计算模式[2]。云计算首先利用Internet将各种广域异构计算资源整合,以形成一个抽象的、虚拟的和可动态扩展的计算资源池;再通过Internet向用户按需(on demand)提供计算能力、存储能力、软件平台和应用软件等服务。通过建立电力系统云计算平台,可以有效整合系统中现有的计算资源,为各种分析计算任务提供强大的计算与存储能力支持。云计算能支持各种异构计算资源,与集中式的超级计算机相比,其可扩展性很强,且可以在现有计算能力不足时方便地升级。此外,与传统的计算模式相比,云计算还具有便于信息集成和分析,便于软件系统的开发、维护和使用等优点。总之,建立基于云计算的电力系统核心计算平台,可以有效解决前已述及的未来电力系统在计算和信息处理方面所遇到的一些重要挑战。本文下面将针对云计算的定义、特征、技术、体系结构、在电力系统中的研究和应用前景等问题进行详细讨论。

1 云计算概述

1.1 定义与主要特征

由于云计算仍处于其发展的早期阶段,其定义还在不断的发展和完善之中。文献[2]中所给出的定义如下:云计算是一种大规模分布式计算模式;通过云计算可以形成一个抽象的、虚拟的、可动态扩展的资源池,该资源池可以通过Internet向用户按需提供计算能力、存储能力、开发平台和软件等服务。

与传统的计算模式相比,云计算有以下几个主要特征[2,3,4,5]:

1)能够整合大规模异构计算资源

传统的分布式计算一般仅能应用于一个小范围的计算网络(如局域网), 且对计算资源的同构性要求较高,难以处理在计算和存储能力、操作系统、开发平台等方面存在很大差异的计算资源。而通过云计算则可以整合分布在一个广阔地域内的、分属于若干个组织的计算资源,形成一个功能非常强大的计算和存储平台。另外,云计算并不要求计算设备在硬件或软件上具有很强的共性,绝大部分计算设备都可以被整合成为云计算平台的一部分。

2)易于动态扩展

可扩展性是云计算与传统计算模式相比的最大优势之一。由于云计算能够集成硬件种类、网络类型、操作系统、软件平台等各不相同的各种计算设备,因此,在需要时云计算平台的计算和存储能力可以得到方便和快速的扩展。与传统计算平台需要几天甚至几个星期的系统升级时间相比,云计算平台的升级一般仅需要几分钟[4], 且可以在不影响系统整体运行的情况下动态进行。此外,云计算平台可以建立在现有的硬件基础上, 在升级时也只需按照需求增添相应的设备,而不需要像升级传统计算平台那样将设备完全更换,从而可节省大量硬件购置成本。

3)虚拟化与服务

虚拟化也是云计算的一个重要特征。无论一个云计算平台实际整合了多少计算设备,在用户看来其就是一个单一实体,也是获得计算服务的唯一接口。由于应用了虚拟化技术,云计算平台既可以将多个计算任务放在同一台功能强大的设备(如大型工作站)上运行,也可以将一个计算任务拆分成若干部分,分别在多台设备上运行。这样,就可以最大限度地利用系统内的闲置计算资源。此外,通过利用虚拟化技术,云计算平台可以根据客户的需求动态分配计算资源和构造系统平台。此外,若干设备的故障不影响云计算平台整体运行,也不会中断向用户提供服务。

云计算可以利用虚拟化技术将各种不同类型的计算资源抽象成服务的形式向用户提供。一般将服务分为3个不同的层次,分别称为基础设施级服务(infrastructure as a service, IaaS)、平台级服务(platform as a service, PaaS)和软件级服务(software as a service, SaaS),统称为XaaS[5]。IaaS根据用户需求向用户动态分配计算和存储能力。通过IaaS,用户相当于获得了一台计算和存储能力可以实时扩展的超级计算机。PaaS在IaaS的基础上,还向用户提供了一个用于软件开发和测试的平台。用户可以通过Internet直接在PaaS提供的平台上开发应用软件,并可以很方便地将软件发布在云计算平台上供其他用户使用。SaaS则是在IaaS的基础上,让用户可以通过Internet直接访问云计算平台上的应用软件,而不需要在本地计算机上安装该应用软件,这免去了用户安装、维护、升级本地应用软件的麻烦。在这方面,XaaS带来的最大好处在于用户绝大部分的计算任务都将在云计算平台上完成。因此,用户终端不再需要有很强的计算和存储能力,只要能够接入Internet,就可以方便地使用云计算平台上的各种软件。具体到电力系统,研究或系统运行人员可以基于云计算平台的XaaS功能,利用多种不同的终端,如台式计算机、便携式计算机甚至手机,在任意地点完成各种电力系统分析任务或实时监控整个电力系统的运行状况。

4)以Internet为基础的通信平台

与传统分布式计算不同,云计算通过Internet进行各个设备之间的通信。由于Internet已经有了非常成熟的标准、体系和技术,这在很大程度上保证了云计算系统通信的可靠性和安全性。此外,由于云计算建立在国际通行的通信协议的基础上,这使得其易于与各种流行的软件开发技术集成。

5)有很强的规模经济效益

经济效益是推动云计算研究与应用的重要动力。现代电力系统中存在大量闲置的计算和存储资源。利用云计算可以将闲置资源整合,减少在信息设备上的投入。前已述及,在需要升级时,云计算平台的投资一般也大大低于传统计算平台。此外,目前各省电力公司都有各自独立的计算平台,且功能非常相似。这造成了电力信息系统的重复建设和资源浪费。未来可以考虑将各个独立的计算平台进行整合,形成区域性甚至全国性的电力系统云计算平台。这样做可以大大减少整个电力系统在信息系统方面的投资。另一方面,也有利于促进各省级电力系统之间的协作和信息共享,实现大范围内电力系统的安全与优化运行。

1.2 云计算和网格计算的比较

云计算常常被与另一种分布式计算模式,即网格计算相互混淆。从计算模式发展历史的角度看,云计算是传统分布式计算和网格计算的进一步发展。虽然云计算与网格计算都涉及到利用虚拟化技术整合计算资源,但两者的抽象层次明显不同。网格计算主要关注基础计算设施,其目的仅限于将计算和存储资源整合以处理对计算资源要求很高的任务,这相当于云计算中的IaaS服务。云计算则将系统平台和软件也抽象成服务提供给用户。这除了能提供更强的计算能力,还能改变传统的软件开发、维护、升级和用户使用的模式,提高信息系统的总体使用效率,同时减少信息系统投资。具体地讲,云计算和网格计算还在下述几个方面存在显著区别:

1)商用模式

现有网格计算的商用模式是面向项目的(project-oriented)。一个网格计算平台通常是为了某个特定的计算任务而建立的,其整合的计算资源一般也仅用于解决该特定任务。这样的模式较为适合非盈利性的科学计算任务[2]。与网格计算不同,在云计算中,由于提高了抽象程度,其成为一个通用的计算平台,这使得很多用户的应用软件都可以通过云计算平台这个单一的门户进行访问。云计算平台将在各个软件之间动态地分配计算资源,以实现资源的优化配置。

2)数据本地性

对于云计算和网格计算这样的Internet级别的分布式计算,由于整合了众多的计算设备,计算能力已不再是制约计算速度的瓶颈。由于数据在Internet上的通信时间通常要大大超过数据在单机系统中的通信时间,因此,尽量缩短数据在Internet上的通信时间就成为了提高计算速度的关键。云计算在存储数据时,一般采用分块(chunk) 存储方式[2,6]。在分配计算任务时,如果一个计算任务需要访问某特定数据块,云计算会将该任务尽量分配给和存储该数据块的节点最接近的节点。这就是所谓的数据本地性(data locality)原则。这样,云计算可以更好地解决数据通信时间问题。另一方面,现有的网格计算平台一般采用共享文件系统(shared file system) 的形式存储数据[2], 这导致网格计算平台难以根据数据本地性原则来分配任务,从而降低了计算速度。

3)软件开发和使用的便利性

前已述及,云计算和网格计算的一个显著区别在于云计算的抽象层次更高。云计算将系统平台和应用软件也抽象成了服务。更通俗地讲,云计算为应用软件的开发者提供了统一的开发和发布软件平台。开发者在开发软件时,可以不用再顾及软件在不同硬件和操作系统上的兼容性问题。在发布软件时,只要发布到云计算平台上,所有用户就可以通过Internet使用软件。这样就大大降低了软件开发、维护和升级的难度。此外,SaaS使用户可通过各种终端在任意地点随时使用云计算平台上的软件,这也为用户提供了很大的便利。而这些优点是网格计算所不具备的。

4)安全机制

在网格计算中,资源和数据是所有用户共享的。用户可以通过凭证代理(credential delegation)的方式访问网格内的所有资源[7]。而云计算则通过分割(isolation) 为每一个用户创造一个相互独立的虚拟环境,并完全屏蔽虚拟环境之间的相互访问。由于云计算仍处于发展阶段,其安全机制较网格计算相对简单。这样,云计算的安全问题也是未来云计算研究的重点之一。

2 电力系统云计算的实现

2.1 电力系统云计算平台的架构和技术实现

云计算平台是由通过Internet相互连接的多种设备和用户组成的一个复杂实体(见图1)。从总体上讲,云计算平台可以分为2个主要部分,即云计算控制中心和被云计算平台整合的各种计算资源。云计算控制中心的主要功能是根据用户的请求,将用户的计算任务分成若干子任务,再动态地将各子任务通过Internet分配给被云计算平台整合的计算设备。各子任务完成后,其计算结果将通过Internet重新汇总到控制中心,最后再反馈给用户。此外,云计算控制中心还负责将各种需要存储的数据通过Internet分配给各数据存储设备,并在需要时重新将数据从存储设备中读取出来。利用虚拟化和分割技术,上述计算和数据存储任务的调度分配过程对用户而言是完全不可见的。云计算平台为每一个用户都创造了一个完全独立的虚拟系统环境,因此,在每一个用户看来,自己都是云计算平台唯一的用户。用户可以通过多种不同的终端,例如:台式计算机、便携式计算机、手机甚至智能家电接入云计算平台。这让云计算平台的使用非常方便。

云计算平台通过Internet与由大量传感器和其他数据采集设备组成的数据采集网络相连接。对电力系统而言,未来的数据采集网络既包括传统的SCADA系统的传感器,还可能包括PMU和安置在终端用户家中的智能电表,甚至是各种智能家电的嵌入式系统。这些装置能够提供全方位的系统信息。此外,电力系统云计算平台也可以和其他的数据源,例如:区域气象数据库相互连接,以获取温度、湿度、风速、日照等数据。由这样一个大规模的网络所采集的数据量将是惊人的,只有凭借云计算平台强大的计算能力才能进行存储和分析。考虑到很多电力系统分析任务对实时性要求较高,可以考虑构造专用高性能网络来连接云计算平台和数据采集网络,以提高数据传输的可靠性。

电力系统云计算平台的系统架构如图2所示。

从系统架构的角度看,云计算平台主要由Web层、负荷分配层(load balancer)、数据管理层、计算逻辑层(computing logic)、物理计算设备层和物理存储设备层组成。其中,Web层负责实现云计算平台的Web站点,该站点是用户访问云计算平台的唯一接口。负荷分配层是云计算平台的核心部件。该层具有4个主要功能:①将用户的计算任务划分成若干部分,并决定执行每一个任务的计算设备;②将待存储的数据划分成若干部分,并决定相应的存储设备;③将计算逻辑层返还的计算结果整合后,再反馈给用户;④根据数据读取请求,指令数据管理层读取数据,并将数据整合后输出。计算逻辑层负责根据负荷分配层确定的计算任务分配方式,控制具体的计算设备进行计算,并在计算完成后返还结果。数据管理层则主要控制数据存储设备进行数据读写操作。上述4层组成了云计算平台的软件部分。物理计算设备层和物理存储设备层代表了云计算平台所整合的所有物理设备,它们组成了云计算平台的硬件部分。

下面讨论几种可应用于实现电力系统云计算的重要软件技术。

1)面向服务架构

云计算的一个重要特点是可以在线扩展和升级,这就对软件的灵活性提出了更高的要求。面向服务架构(service oriented architecture, SOA)是近年来发展迅速的一种软件设计方法[5]。与在传统软件设计方法中以函数或类作为基本功能模块、以应用程序接口(application programming interface, API)作为程序间通信手段不同,SOA以服务为基本功能模块。与函数相比,服务代表更高层次的应用需求(例如:从读取数据库到打印数据报表的整个流程可以抽象成一种服务,而数据库的读取操作则只能是函数)。SOA根据用户需求,将每一种主要功能都包装成服务的形式,且各服务相互独立,仅以可扩展置标语言(extensive makeup language, XML)进行通信。当任何一种功能需要更新时,只需要更换相应的服务即可。此外,基于SOA架构,可以将若干服务自由组合,以快速形成新的系统。例如:可以将潮流计算包装成一个服务,这样对于任何需要进行潮流计算的任务,只需要将潮流计算服务和其他相关服务在线组合即可。可见,应用SOA可以极大地提高系统的灵活性和软件开发升级的速度。当然,提高软件的抽象层次一般是以牺牲通信效率为代价的。总结软件开发方法的发展历史可知,从面向过程到面向对象,再到面向服务,软件开发的总体发展趋势就是抽象层次的不断提高,这和软件本身的复杂性不断提高是相适应的。随着电力系统的不断发展,电力信息系统本身的功能不断增多,结构日趋复杂,这会给利用传统开发方法的开发人员带来越来越大的困难。因此,提高软件开发的抽象层次是一个必然趋势。对于通信效率问题,可以通过适当定义服务的抽象层次以求得平衡。

2)Apache

Apache是目前应用最广泛的Web服务器端软件,其支持所有主流的Web服务器功能,如网站内容管理、服务器端编程、流量管理、网址重写(URL rewriting)、安全传输层(transport layer security,TLS)和安全套接层(secure socket layer,SSL)加密等。由于Apache系开源软件,其源代码完全公开并可以免费使用,因此,可用于实现云计算平台的Web层功能。

3)MySQL

MySQL是世界上应用最广泛的开源数据库引擎,具有高可靠性、高扩展性和完全免费等优点,因此,在超过数百万的网站和公司中得到了广泛应用。可用MySQL实现云计算平台的数据管理层功能。

4)动态负荷分配

负荷分配算法是云计算的核心。动态负荷分配(dynamic load balancing)已经被证明是一类较为有效的分配计算任务的算法[8,9]。其基本原理是根据各个计算设备的计算速度快慢动态分配任务;计算速度快的设备分配的任务较大,速度慢的则分配的较小,以保证各计算设备基本上同时返还结果。对于大规模云计算平台,还可以考虑使用任务复制(job replication) 的方法来提高可靠性,也即将每一个子任务复制若干份,发给多个计算设备同时执行,从而避免因为某个设备发生故障而需要重新分配子任务所导致的整体计算效率被拖慢的情况。

除了上面讨论的内容外,目前还存在多种可用于实现云计算的商用或开源软件技术,如Google MapReduce、Google File System(GFS)、微软的Dryad/DryadLINQ、开源分布式计算框架Hadoop等。考虑到电力系统是国家重要基础设施,我们认为电力系统云计算平台的实现应尽量以开源软件技术为基础。

2.2 云计算在电力系统中应用的展望

如前所述,由于云计算具有计算和存储能力强大、系统可动态扩展、便于计算资源共享和优化配置、便于软件开发和升级、便于用户使用等诸多优点,其在电力系统中有广阔的应用前景。下面讨论电力系统分析中可以应用云计算的几个重要领域。

1)安全分析

时域仿真是电力系统暂态稳定分析的重要途径之一。然而,对于大规模电力系统而言,时域仿真的计算量很大,因此,目前尚只能应用于离线分析。到目前为止,已经提出了多种基于并行和分布式技术的暂态稳定时域仿真算法。例如:文献[10]应用功能分解和域分解法(functional decomposition and domain decomposition)在集群机上进行暂态稳定分析;文献[11]应用网络分解法实现了小系统的实时仿真;文献[12]提出了一种考虑大规模网络特性和多个控制中心协作的分布式时域仿真算法。未来可望利用云计算进一步提高对大系统进行暂态稳定时域仿真的速度,以最终实现在线分析。

另一个适于应用云计算的是概率小干扰稳定分析。传统的小干扰稳定分析一般是确定性的,这与电力系统运行所固有的随机性是矛盾的。利用Monte Carlo仿真可以方便地处理小干扰稳定分析中的随机因素,但这种方法对计算平台的计算和存储能力要求很高。文献[13]提出了一种基于网格的概率小干扰稳定分析方法,其中的实验结果表明:分布式概率小干扰稳定分析较串行分析在计算速度方面有较大提高。在Monte Carlo仿真中,每一轮仿真是相互独立的,这使得问题可以分解为大量子问题,从而可以充分利用云计算平台的并行计算能力。

2)潮流与最优潮流计算

云计算也可用于提高潮流和最优潮流计算的速度。文献[14]提出了一种基于牛顿法的并行潮流解法,主要适用于通信延迟较少的计算平台,如集群机。文献[15]提出了一种可以计及预想事故的最优潮流并行算法,将需要考虑的预想事故分为若干组,分别分配到多个处理器上作并行分析。文献[16]提出了基于微分进化(differential evolution) 的并行最优无功潮流算法,利用分解与协调技术将问题划分为若干个子问题分别在多个处理器上并行求解。可以预期,在云计算环境下将现有方法改进可以进一步提高计算速度。例如:基于文献[15]的思想,在云计算平台上通过将需要考虑的预想事故进一步细分,可以大大提高计算速度和能够处理的预想事故数目。

概率潮流是考虑电力系统运行不确定性的重要工具[17]。和概率稳定问题相似,Monte Carlo仿真也可以应用于概率潮流之中。考虑到应用于大系统时Monte Carlo仿真的计算量很大,概率潮流也是云计算可以应用的问题之一。

3)系统恢复

大停电后的电力系统恢复是一个很复杂的非线性优化问题。电力工业的市场化运营、远距离互联电力系统的发展、大量分布式电源接入电力系统,这些都在某种意义上给电力系统恢复问题带来了新的挑战。文献[18]提出了基于网格的电力系统恢复方法,可以在电力系统恢复过程中促进不同参与者之间的信息共享和协作,并利用分布式计算提高计算效率。云计算作为电力系统所有成员共享的计算平台,可以更好地促进信息共享和协作,其计算能力也有助于找到复杂互联系统的最优恢复方案。

4)监控和调度

随着电力工业市场化改革的深化和分布式电源不断引入电力系统,未来电力系统可能从集中式控制向分布式控制逐渐转变[19]。通过统一的电力系统云计算平台可以促进各分布式控制中心的信息共享和协作。对大量的小容量分布式电源的监视和控制将成为未来电力系统面临的一个难题。由于未来电力系统中分布式电源的数量可能很大,系统调度和运行控制的计算量将会明显增加,利用云计算则可以较好地解决计算能力不足的问题。云计算很强的可扩展性也有利于随时根据电力系统的规模动态增强计算能力。此外,目前已经提出了基于网格计算的大规模电力监控系统[20]。利用云计算的信息处理能力有助于实现包括配电系统在内的大范围实时监控和信息采集。

5)可靠性评估

传统的电力系统可靠性评估一般采用确定性方法,且通常考虑系统最坏的情况,这就导致较为保守的评估结果和偏高的运行成本。为了计及电力系统运行中的不确定性,到目前为止已经提出了多种概率可靠性分析方法[21,22]。然而,与概率稳定性分析类似,计算效率也是制约概率可靠性分析的瓶颈。文献[23]提出了基于网格计算的概率可靠性分析方法,其实验结果表明分布式计算方法可以大大提高Monte Carlo仿真过程的计算速度。利用云计算可望进一步提高概率可靠性分析的计算速度,以适应系统规模不断扩大所带来的挑战。

上面讨论了云计算技术可望在电力系统中获得应用的几个领域。事实上,由于云计算是一个通用的计算工具,很多电力系统分析软件都可以发布到云计算平台上。如前所述,这将给软件的开发、升级、维护和使用带来很大的便利。此外,云计算也有利于电力系统的各类成员共享信息和协作。总之,构建统一的计算平台将是未来电力系统计算的一个重要发展方向。

2.3 电力系统云计算研究的挑战

目前,云计算仍然处于发展之中,还存在一些没有得到很好解决的技术问题。为了实现云计算在电力系统中的成功应用,下面一些问题有待深入研究。

1)与云计算相适应的电力系统分析并行算法

与传统的集群或小规模分布式计算平台不同,云计算平台可以集成在物理上分布极广的大量计算设备。此外,集群和小规模分布式计算以集中式数据存储和内部网络为基础,这和云计算主要采取分布式存储和利用Internet通信也有显著不同。上述云计算的几个特点决定了现有的并行和分布式电力系统分析算法无法有效发挥云计算平台的计算能力。新的并行算法应针对云计算的特点来设计。例如:新算法应将问题划分为尽量小的子问题,因为组成云计算平台的部分设备计算能力较低,可能无法处理较大的子问题而长时间遭到闲置。还有,由于云计算利用Internet进行通信,其通信延迟较高,因此,新算法应尽量减少各设备间的通信。需要指出,减少设备间通信与对新算法的细粒度要求并不矛盾。云计算应首先估计每个计算设备的计算能力,在此基础上确定分配给每个设备的计算任务量,计算能力强的设备应分配较多的子任务计算量,这样也可以减少设备间的通信。此外,由于云计算采取分布式数据存储方式,为了减少数据传输,新算法应尽量采取“就近处理”方式。需要强调的是,与分布式计算和网格计算类似,云计算针对特定计算任务的效能也受到算法能否并行化的制约,因此,在提高算法并行度的同时应尽量减少网络通信是设计云计算算法时应该遵循的原则。

2)云计算负荷分配算法研究

集群或小规模分布式计算平台一般由性能接近的计算设备组成,这使得它们可以较为简单地处理负荷分配问题。与此相反,组成云计算平台的计算设备可能在计算和存储能力、操作系统、软件平台等方面差别极大。为此,云计算平台就需要对各个设备的计算能力进行监视和预测,并根据其计算能力按比例分配子任务,以使分配到不同设备的子任务的计算时间尽量接近。此外,云计算的负荷分配算法还必须适当考虑Internet通信延迟和数据分布式存储的特点。

3)适用于电力系统的云计算平台物理结构设计

云计算平台的物理结构对其运行性能会有很大的影响。这样,在设计电力系统云计算平台时就必须认真考虑电力系统的特点。例如:电力系统的大量数据来自变电站和配电系统,考虑到Internet的通信延迟,为了减少数据传输,应就近设置数据存储设备,并基于数据本地性原则,为数据存储设备配置相应的计算设备。为了解决通信延迟问题,可以为云计算平台的核心部分 (如控制中心) 建立专用的高性能网络。此外,在设计云计算平台时,还需要考虑怎样布置区域云计算数据中心和中央云计算调度中心,以更好地满足对数据吞吐量、计算精度和拓扑广阔度的需求。出于上述考虑,应改变目前电力系统规划和电力信息系统规划相互孤立的模式,将2种规划统一进行,以提高计算系统的效率。

4)电力系统云计算的安全性

安全性是云计算理论研究和实践中需要解决的重要问题。由于电力系统是重要基础设施,保障电力信息系统的安全性就显得尤为重要。此外,由于电力系统云计算平台可能包括电网公司、发电公司、市场监管机构、投资者、用户等在内的众多不同类型的使用者,如何在促进信息共享的同时保障信息安全是电力系统云计算必须解决的重要问题。另一方面,云计算利用Internet将计算资源互联,并通过标准化接口进一步弱化了硬件与操作系统对软件的约束。这虽然为软件开发和使用提供了便利,却也造成了数据在Internet上的频繁流动,进而对数据的安全性问题提出了更高的要求。

3 结语

云计算是近年来发展迅速的超大规模分布式计算技术。通过集成大量异构的分布式计算资源,云计算平台具有强大的计算和存储能力。建立电力系统云计算平台对解决电力系统各种复杂的计算问题提供了新的途径,有助于实现电力系统在线运行分析与优化控制。

云计算平台除了能为电力系统分析提供计算和存储能力支持外,还具有可扩展性强、硬件投资少、便于软件开发和升级、便于用户使用等诸多优点。这使得云计算有希望取代现有的集中式计算成为未来电力系统核心计算技术。

云计算在电力系统分析中的潜在应用领域包括安全分析、潮流和最优潮流计算、系统恢复、监控、调度、可靠性分析等很多方面。此外,利用SaaS技术,很多电力系统分析软件都可以发布到云计算平台上,从而有望建立基于云计算的电力系统统一计算平台。

云计算技术还在不断发展之中,而其在电力系统中的应用则刚刚起步。与云计算相适应的电力系统分析并行算法、云计算的负荷分配、云计算平台的设计和云计算的安全性等将是未来电力系统云计算研究需要重点解决的核心问题。

摘要：针对传统电力系统计算平台在计算、存储、信息集成和分析等方面的不足,提出建立基于云计算的电力系统计算平台。首先概述了云计算的基本概念和主要特征,并比较了云计算和另一种大规模分布式计算模式——网格计算的不同。从物理组成、系统架构、软件技术等方面详细讨论了电力系统云计算平台的实现。之后,展望了云计算在电力系统安全分析、潮流与优化潮流计算、系统恢复、监控、调度、可靠性分析等领域的应用前景。最后,讨论了电力系统云计算研究中有待解决的几个重要问题。

云计算核心技术 篇9

云计算是由企业界开始发展, 然后才进入学术界引起重视的, 这与网格计算相反。经过对迄今为止的云计算相关学术论文进行统计分析后, 显示学术界对于云计算的研究主要集中在云技术关键技术方面。云计算研究的关键技术包括虚拟机、安全管理、数据管理、云监测、能耗管理和计算模型等。云计算的计算模型是研究如何针对某类应用特点提出效率更高的编程方式, 目前云计算模型众多, 而Hadoop是一个开源的分布式系统基本架构, 正日益成为具有较强实用性的开发平台, 淘宝就是国内率先使用Hadoop的公司之一。

1 云计算关键技术

1.1 虚拟机

虚拟机是云计算的关键技术之一。目前在云计算中使用的主要虚拟机之一就是VMware Infrastructure。它是一个虚拟数据中心操作系统, 可以将离散的硬件资源统一起来以创建共享平台。其优点有: (1) 整合服务器以降低IT成本; (2) 暗哨计划内和计划外停机以改进业务连续性; (3) 运行较少的服务器并且动态关闭不使用的服务器。

1.2 安全管理

云计算是计算机资源的整合, 通过云计算设施中的任何一台计算机, 任何隐私信息都能够被找到。云计算安全问题已经成为急需解决的重要问题。其中, Siani Persion等提出了在云计算服务设计过程中保护用户隐私的一些设计原则: (1) 发送尽量少的个人信息到云中, 或者对系统进行分析后只对一小部分个人信息进行必要的收集和采集; (2) 采用安全措施防止未授权的访问、复制、使用或者修改个人信息来保护云中的个人信息; (3) 最大限度地实现用户控制。在云计算环境中, 让用户完全控制个人信息是比较困难的。要加强对个人信息的控制:一可以允许用户控制最重要的个人信息;二可以委托信任的第三方来管理; (4) 允许用户对个人信息的使用进行选择, 即加入、退出机制; (5) 明确以及限制数据使用的目的。个人信息必须被身份明确的人使用和处理; (6) 有反馈机制。即设计人及界面清楚地表明云服务中采取的安全措施, 用其向用户提供安全提示。

1.3 数据管理

云计算具有计算能力可变、数据储存在不信任的主机上、数据是远程复制等3个特点。从这3个特点分析而出, 只有两种数据管理应用程序可能适合部署到云计算中:一是和事务处理相关的数据管理系统;另一种是和分析相关的数据管理系统。前者未采用共享的体系结构, 在进行远程数据复制时很难满足ACID的需求, 同时在不信任的主机上存储数据也有比较大的风险。ACID要求对于基于分析的数据管理系统来说不是必须的, 同时可以保证敏感数据在分析之外, 从而保证其安全。因此, 基于分析的数据管理系统应该很合适部署到云计算环境中去。

1.4 云监测和能耗管理

云监测是随着云计算的推广、云设施不断增加、为了更好地体现云计算的强大计算处理能力而设置的对虚拟机监控的能力;能耗管理是如何节省云设施中计算设施所需要的能源、有效整合资源、降低成本。

1.5 云计算的计算模型

现行的分布式计算系统可以提供强大的计算能力, 但非专业用户并不能有效地利用, 一个庞大的任务很可能由于初学者的偶然操作导致性能的大幅下降。为了解决这些问题, 应该提供给用户一个高度抽象的产品系统, 这些就是云计算的计算模型。提到云计算模型, 就不得不说一个开源框架, 那就是Hadoop。

Hadoop是一个分布式系统基本架构, 由Apache开发, 使用户在不了解分布式底层细节的情况下, 开发分布式程序。简单点说, Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

Hadoop实现了一个分布式文件系统 (Hadoop Distributed File System) , 简称HDFS。HDFS有着高容错性的特点, 并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据, 适合那些有着超大数据集的应用程序。HDFS放宽了POSIX标准的要求, 这样可以流的形式访问文件系统中的数据。

Hadoop采用Master/Slave结构 (如图1) , 会有一台Master, 主要负责Name Node的工作以及Job Tracker的工作, JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave, 每一台Slave通常具有Data Node的功能并负责Task Tracker的工作。Task Tracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。

2 Windows下使用Hadoop实例的研究

2.1 Windows下使用Hadoop的环境配置:

(1) 安装Hadoop前, 首先需要安装Cygwin

Cygwin是一个在Windows平台上运行的Unix模拟环境, 提供了shell支持。安装中需要选中Net category中的openssh, 如图2所示。

(2) 配置Windows系统变量

新建系统变量CYGWIN, 变量值为ntsec tty编辑系统变量里的Path变量, 加入C:cygwinbin

(3) 安装Java, 即安装jdk, 配置JAVA环境变量。

2.2 单机模式

(1) 启动Cygwin, 解压缩Hadoop安装包, 例如Hapoop安装包位于e:下, 则解压命令为$tar-zxvf/cygdrive/e/hadoop-0.19.2.tar.gz。

解压默认目录在C:cygwinhomeuser文件夹下。

(2) 编辑C:cygwinhomeAdministratorhadoop-0.19.2conf里的hadoop-env.sh, 将JAVA_HOME变量设置成JDK安装目录, 如果路径中有空格, 需要把Program Files改成Progra~1。如图3。

(3) 配置完后即可运行Word Count实例。

在C:cygwinhomeAdministratorhadoop-0.19.2下创建一个输入目录input, 新建2个本文文件:

txt1.txt:yangshenyuan hello world hello hadooop

txt2.txt:yangshenyuan bye hadoop

然后运行实例, 并将结果输出到output目录下:

$bin/hadoop jar hadoop-0.19.2-examples.jar wordcount in put output

执行结果如图4所示:

2.3 伪分布模式

(1) 编辑文件conf/hadoop-site.xml

(2) 安装配置SSH

启动cygwin, 执行命令:$ssh-host-config。

当询问"Should privilege separation be used"时, 输入no;当询问"Do you want to install sshd as a service?"选yes;当提示"Enter the value of CYGWIN for the daemon:[ntsec]"时, 选择ntsec。

提示sshd服务已经在本地系统安装完毕。输入命令$net start sshd, 启动SSH, 或者在Windows服务项里启动CYGWIN sshd。

然后执行$ssh-keygen来生成密钥对, 然后一直回车键确定。这样会把生产的密钥对保存在.ssh目录下。使用命令将RSA公钥加入到公钥授权文件authorized_keys中:

最后执行$ssh localhost, 就可以实现无需密码的SSH连接。

(3) Hadoop运行

运行World Count实例。在本地文件系统上建立input目录, 放入若干文件并复制到HDFS的目录下, 在重命名为in, 并运行:

out为数据处理完成后输出目录, 默认在Hadoop根目录下。任务执行完, 用以下命令查看分布式文件系统上数据处理的结果:

(4) 停止Hadoop进程, 命令如下:

2.4 完全分布式模式

完全分布式模式步骤有以下几步:

(1) 修改所有机器的C:WINDOWSsystem32driversetchos ts文件, 加入各机器的IP地址及对应的主机名

(2) 在所有机器上配置相同的帐号grid

(3) 在所有的机器上进行SSH配置

执行$ssh-keygen生产密钥对并保存:

在grid1上执行以下代码:

再分别进入grid2和grid3的.ssh目录, 更改authorized_keys文件的权限, 命令如下:

(4) 所有机器上配置Hadoop

编辑conf/master, 修改master的主机名, 每个主机名一行, 在这里就是grid1。编辑conf/slaves, 加入所有slaves主机名, 即grid2和grid3。把hadoop复制到其他主机。命令如下:

访问http://grid1:50070可以查看Name Note以及整个分布式文件系统的状态, 访问http://grid1:50060可以查看Task Tracker的运行状态。

运行完数据处理, 查看结果和关闭Hadoop的操作和伪分布模式相同。

3 结束语

虽然Hadoop支持Windows, 但官网上同时声明Hadoop尚未在Windows下严格测试, 建议只作为开发平台。

而且, 格式化Hadoop文件系统是Hadoop启动的第一步, 每次格式化前, 要清空$HADOOP_HOMEtmp目录下的所有文件, 因为Hadoop格式化时会重新建立Name Note ID, 而tmp里还包含上次格式化留下的信息。格式化虽然清空了Name Note的数据, 但是保留了Date Note的数据, 这样会导致启动失败。

另外, 在{HADOOP_HOME}logs目录下, Name Node、Data N ode、Secondary Name Node、Job Tracker、Tasktracker各有一个日志文件, 当出现故障时, 分析这些文件也许会有帮助。

参考文献

[1]S PEARSON.Taking Account of Privacy when Designing Cloud Computing Servcices[C].The2009ICSE Workshop on Softuare En-gineering Challenges of Cloud Computing, UK, 2009.

[2]李国杰.信息服务网格—第三代Internet[J].计算机世界, 2001 (40) .

[3][美]怀特.Hadoop权威指南 (中文版) [M].周傲英, 曾大聃, 译.北京:清华大学出版社, 2010.

[4]PENG LIU, YAO SHI, FRANCIS C M.Lau, Cho Li Wang, San Li, Grid demo proposal:AntiSpamgird[J].IEEE International Confer-ence on Cluster Computing, Hong Kong, 2003 (12) .

云计算时代的存储技术——云存储 篇10

云其实是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网, 后来也用来表示互联网和底层基础设施的抽象。云计算分狭义云计算和广义云计算。狭义云计算指IT基础设施的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需服务。如果仅下一个定义, 人们仍然无法理解到底什么是云计算, 我们举一个很浅显的例子。传统模式下, 企业建立一套IT系统不仅仅需要购买硬件等基础设施, 还有买软件的许可证, 需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说, 计算机等硬件和软件本身并非他们真正需要的, 它们仅仅是完成工作、提供效率的工具而已。对个人来说, 我们想正常使用电脑需要安装许多软件, 而许多软件是收费的, 对不经常使用该软件的用户来说购买是非常不划算的。如果能够提供我们需要的所有软件供我们租用, 我们只需要在用时付少量“租金”即可“租用”到这些软件服务, 为我们节省许多购买软硬件的资金。我们每天都要用电, 但我们不是每家自备发电机, 它由电厂集中提供;我们每天都要用自来水, 但我们不是每家都有井, 它由自来水厂集中提供。这种模式极大得节约了资源, 方便了我们的生活。面对计算机给我们带来的困扰, 我们可不可以像使用水和电一样使用计算机资源?这些想法最终导致了云计算的产生。云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众, 使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下, 用户的计算机会变的十分简单, 或许不大的内存、不需要硬盘和各种应用软件, 就可以满足我们的需求, 因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主机”的电线无限长, 从而可以把显示器放在使用者的面前, 而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络, 把“主机”变成云服务提供商的服务器集群。在云计算环境下, 用户的使用观念也会发生彻底的变化:从“购买产品”到“购买服务”转变, 因为他们直接面对的将不再是复杂的硬件和软件, 而是最终的服务。用户不需要拥有看得见、摸得着的硬件设施, 也不需要为机房支付设备供电、空调制冷、专人维护等等费用, 并且不需要等待漫长的供货周期、项目实施等冗长的时间, 只需要把钱汇给云计算服务提供商, 我们将会马上得到需要的服务。这就是云计算, 在这样的模式下, 云存储又是怎么一回事, 它与云计算有怎样的联系呢?

2 云存储概念

云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念, 是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时, 云计算系统中就需要配置大量的存储设备, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说, 云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时间、任何地方, 透过任何可连网的装置方便地存取数据。然而在方便使用的同时, 我们不得不重视存储的安全性, 存储必须具有良好的兼容性, 以及它在扩展性与性能聚合方面等诸多因素。首先, 作为存储最重要的就是安全性, 尤其是在云时代, 数据中心存储着众多用户的数据, 如果存储系统出现问题, 其所带来的影响远超分散存储的时代, 因此存储系统的安全性就显得愈发重要。其次, 在云数据中心所使用的存储必须具有良好的兼容性。在云时代, 计算资源都被收归到数据中心之中, 再连同配套的存储空间一起分发给用户, 因此站在用户的角度上是不需要关心兼容性的问题的, 但是站在数据中心的角度, 兼容性却是一个非常重要的问题。众多的用户带来了各种各样的需求, Windows、Linux、Unix、Mac OS, 存储需要面对各种不同的操作系统, 如果给每种操作系统更够配备专门的存储的话, 无疑与云计算的精神背道而驰, 因此, 云计算环境中, 首先要解决的就是兼容性问题。再次, 存储容量的扩展能力。由于要面对数量众多的用户, 存储系统需要存储的文件将呈指数级增长态势, 这就要求存储系统的容量扩展能够跟得上数据量的增长, 做到无限扩容, 同时在扩展过程中最好还要做到简便易行, 不能影响到数据中心的整体运行, 如果容量的扩展需要复杂的操作, 甚至停机, 这无疑会极大地降低数据中心的运营效率。最后, 云时代的存储系统需要的不仅仅是容量的提升, 对于性能的要求同样迫切, 与以往只面向有限的用户不同, 在云时代, 存储系统将面向更为广阔的用户群体, 用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升, 只有这样才能对请求作出快速的反应, 这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能, 这显然是传统的存储架构无法达成的目标, 传统的存储系统由于没有采用分布式的文件系统, 无法将所有访问压力平均分配到多个存储节点, 因而在存储系统与计算系统之间存在着明显的传输瓶颈, 由此而带来单点故障等多种后续问题, 而集群存储正是解决这一问题, 满足新时代要求的千金良方。

3 云存储技术与传统存储技术

传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理, 所有的数据集成到单一的存储体系之中, 以满足业务持续性需求。但是在面临大数据难题时显得捉襟见肘:1) 成本激增。在大型项目中, 前端图像信息采集点过多, 单台服务器承载量有限, 就造成需要配置几十台, 甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加;2) 磁盘碎片问题。由于视频监控系统往往采用回滚写入方式, 这种无序的频繁读写操作, 导致了磁盘碎片的大量产生。随着使用时间的增加, 将严重的影响整体存储系统的读写性能, 甚至导致存储系统被锁定为只读, 而无法写入新的视频数据;3) 性能问题。由于数据量的激增, 数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据, 在索引时往往需要花上几分钟的时间。

作为最新的存储技术, 与传统存储相比, 云存储具有以下优点:1) 管理方便。其实这一项也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后, 所有的升级维护任务都是由云存储服务提供商来完成, 节约了企业存储系统管理员上的成本压力。还有就是云存储服务强大的可扩展性, 当企业用户发展壮大后, 突然发现自己先前的存储空间不足, 就必须要考虑增加存储服务器来满足现有的存储需求。而云存储服务则可以很方便的在原有基础上扩展服务空间, 满足需求;2) 成本低。就目前来说, 企业在数据存储上所付出的成本是相当大的, 而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力, 许多企业将大部分数据转移到云存储上, 让云存储服务提供商来为他们解决数据存储的问题。这样就能花很少的价钱获得最优的数据存储服务;3) 量身定制。这个主要是针对于私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案, 或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务, 而且还能在一定程度上降低安全风险。

传统的存储模式已经不再适应当代数据暴增的现实问题, 如何让新兴的云存储发挥它应有的能力, 在解决安全、兼容等问题上, 我们还需要不断的努力, 就目前而言, 云计算时代已经到来, 作为其核心的云存储必将成为未来存储技术的必然趋势。

摘要：随着信息化以及计算机网络技术的高速发展, 从计算机应用由于资源匮乏而不得不采取的计算资源大集中模式到如今IT技术高度发展而带来的云计算时代。数据信息量的不断增加, 给传统的存储技术带来了新的挑战, 如何让数据存储适应新技术的发展无疑是我们在发展的道路上必须弄清楚的一个重要问题。本文由浅入深, 首先从云计算、云存储的概念谈起, 进而分析在云计算时代云存储技术的实际作用。通过对传统存储技术与云存储技术的对比, 体现云存储技术是未来数据存储的必然趋势。

关键词：网络,云计算,数据存储,云存储

参考文献

[1]高岚岚.云计算与网格计算的深入比较研究[J].海峡科学, 2009 (2) .

[2]卢大勇, 陆琪, 姚继锋.伯克利云计算白皮书 (节选) [J].高性能计算发展与应用, 2009 (1) .

[3]李德毅, 孟海军.隶属云和隶属云发生器[J].计算机研究与发展, 2009.

[4]中国云计算网.什么是云计算, 2009.

[5]维基百科.Cloud computing, 2009.

[6]Amazon Amazon elastic compute cloud (Amazon EC2) 2009.

浅析云计算及其关键技术 篇11

【关键词】云计算 关键技术 探讨

互联网时代，随着计算机、手机、平板等设备的广泛普及，数据的存储与管理成为了很大的问题，如何合理分配资源让如此庞大的数据得以存储，并保证安全，这就是云计算要解决的问题。本文首先简要介绍了云计算的基本概念，然后从云计算的体系架构和服务模式出发，分三个方面深入探讨目前云计算技术发展的关键问题，以期云计算技术能够得到更好的发展，服务于网络数据，造福于广大用户。

一、云计算

云计算作为一种计算的模式，主要是基于网络来实现的，在云计算技术发展中，将分布式与并行处理的思维充分融合到一起，结合网络的计算与存储功能，运用虚拟的方式来实现数据的存储和运算。在云计算中，数据不再依赖于本地的计算机或其它的终端来进行存储，而是运用网络技术，移驾到网络上大量的闲置资源上，这是资源运用的改革创新，通过云计算大大解放了本地设备的资源占用率，释放了大量的存储运算空间。“云”作为一个资源共享的平台，任何用户都可以用手中的设备终端通过网络与“云”相连，实现资源的管理，免去了购买更多存储空间。“云”实际上包含了巨大的存储空间，这些存储空间都是由无数的计算机和服务器构成的，云计算的方式相当于一个资源合理分配的过程。

二、云计算体系结构和服务模式

2.1、云计算的体系结构

云计算的体系并不复杂，简单来说可以通过各个结构的功能不同将其分为三个层次。首先，最基层的就是提供资源共享的基础管理层；其次，云需要与外界的设备进行连接，为其提供服务，我们将这一层次称为应用接口层；再就是运用云计算来实现具体的操作层次——访问层。这三个层次之间看似独立运作，各自实现一定的功能，实则具备相互递进的关系，由下到上依次深入云计算的核心功能。

2.2、云计算的服务模式

云计算有三种不同的服务模式，基础设施、平台和软件。基础设施又可称为服务IaaS，是最基础的服务模式，它使用起来没有特别的严格规范，适用于一些基础设备，例如虚拟的服务设备；平台服务即PaaS，用户可以通过这个平台提供的服务将自己的一些应用进行托管，平台服务不想基础设施服务那样自由，在使用中需要按照具体的细则要求来开展；软件服务也称SaaS，它通过浏览器将完整的软件输送到用户，实现软件资源的共享，在日常生活中有很多的应用实例，例如人力资源管理就需要用到这样的软件服务模式。

三、云计算关键技术问题

3.1、访问控制管理

访问控制管理的主要目的是保障数据的匹配性，不同的用户将数据存储到云端，如果没有相应的管理技术，那么云计算的安全性就岌岌可危，云计算所构造的美好蓝图也将沦为泡影。为了控制访问权限，需要对于每一位用户做一个安全保障，这就需要密码学的应用，通过加密的方式将每一份数据资源存储起来唯一面对一个用户开放。在密码钥匙设置中还需要解决很多问题，如密码忘记，有效时限等，这都需要有一个系统的管理。

3.2、数据安全问题

用户需要通过云端来实现数据的存储及运算，这就涉及到数据传输、数据存储、数据清理、数据隔离等多种相关的关键技术，这些技术的核心都是保障数据在云计算过程中的安全性。在数据传输过程中，为了保证数据传输过程中不会发生泄漏，需要进行加密处理，但是在加密保障安全性的同时数据可能会出现丢失情况；相反的，如果保证数据传输完整性，那么数据的安全性能又将降低。因此，如何协调安全保密与完整不丢失的关系式数据传输中需要解决的问题。目前主要采用的数据存储技术有GFS和HDFS两种，为了保证存储的安全，以及数据在读入与写出之间的流畅有序，相关的存储计算还需要不断的改进发展。数据隔离技术是对数据动态变化过程的一个控制，可以有效的隔绝病毒的入侵，保证数据的安全，因为云计算利用成百上千的计算机及服务器，我们不能保证每一个空间都是绝对安全的，因此相应的隔离技术是必须的。当数据删除之后，如果还存在残留不但占用存储空间，通过一定的技术手段还可以对其进行恢复，这将导致用户信息的泄露，因此，云计算技术发展需要开发一定的残留鉴定并清除功能，使得用户能够放心的使用云计算。

3.3、虚拟技术

虚拟技术是云计算的支撑技术，正是基于虚拟技术的使用才使得用户能够实现数据的存储及运算。在云计算中，用户在实现资源的共享时，一些不法之徒可能利用虚拟技术的漏洞进行文件破坏，这将有损用户的利益，使得云计算处于不安全的地位。因此，虚拟技术需要解决很多的问题，关于虚拟化软件和虚拟化服务器都需要做很多的防护工作，虚拟化层在满足云计算功能的同时，需要不断提高自身的完整性，减少漏洞出现的可能性，即使出现漏洞也要能进行即时的恢复。虚拟技术是云计算可行性的保障，正是虚拟技术才使得广大的资源空间能够实现充分利用，但是虚拟技术也带来了一系列可攻陷的漏洞，因此，解决好可行性与完整性是云计算的关键问题，只有这样才能充分保障信息的安全。

四、总结

互联网时代，云计算是广大用户的福音，通过云计算技术可以实现资源共享，减少了终端设备的资源占用率，大大提高了运算速度，是资源合理分配的具体运用。在云计算技术发展中，保证数据存储的可行性和维护信息安全是必须要解决的两大关键问题，然而二者之间存在很多的冲突与矛盾，提高了数据传输的完整性，但是安全系数将会相应降低，这是一个需要不断平衡的关系。云计算发展还需要不断的加强相关技术。

【参考文献】

[1]陈全，邓倩妮.云计算及其关键技术[J].计算机应用，2009，

09：2562-2567.

[2]高林，宋相倩，王洁萍. 云计算及其关键技术研究[J].微型

机与应用，2011，10：5-7+11.

[3]林晓鹏.云计算及其关键技术问题[J].现代电子技术， 2013，

12：67-70.

[4]高崇.云计算及其关键技术研究[J].科技经济市场，2015，

01：16-18.

[5]刘国. 云计算及其关键技术浅谈[J]. 信息安全与技术，

云计算关键技术 篇12

1 云计算简介

1.1 云计算定义

维基百科定义:云计算将IT相关的能力以服务的方式提供给用户, 允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下, 通过Internet获取需要的服务[2]。

1.2 云计算特点

⑴以网络为中心, 云计算的整体架构是建立在由多台计算机或其它硬件设备构成的网络环境中。⑵以服务为提供方式, 以按需服务的方式根据不同用户的个性化需求推出多层次的服务[3]。⑶支持虚拟化, 通过在一个服务器上部署多个虚拟机和应用, 从而提高资源的利用率[4]。

1.3 云计算系统体系结构

本文综合不同厂家的方案, 给出一个供商榷的云计算体系结构。它概括了不同解决方案的主要特征。其体系结构分为4层:物理资源层、资源池层、管理中间件层和SOA构建层[5];物理资源层包括计算机、存储器、数据库等;资源池层是将大量相同类型的资源构成同构或接近同构的资源池。构建资源池更多是物理资源的集成和管理工作。管理中间件负责对云计算的资源进行管理, 并对众多应用任务进行调度, 使资源能够高效、安全地为应用提供服务;SOA构建层将云计算能力封装成标准的Web Services服务, 并纳入到SOA体系进行管理和使用, 包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分, SOA构建层的功能更多依靠外部设施提供。

1.4 云系统分类

根据云计算平合所提供服务的类型, 将云计算系统分为三类:⑴Iaa S:以服务的形式提供虚拟硬件资源, 用户无需购买服务器、网络设备等, 只需租用硬件进行应用系统的搭建即可。其特点在于增强业务性能, 降低业务提供成本, 降低终端要求。⑵Paa S:提供应用服务引擎, 用户基于该应用服务引擎, 可以构建该类应用。其特点在于高效数据处理能力, 平台架构统一、能力开放。⑶Saa S:用户通过标准的Web浏览器来使用云计算平台上的软件。用户不必购买软件, 可以按需租用软件。其特点在于低成本、大规模、高效率提供IT基础设施。

2 云计算关键技术

2.1 虚拟技术

⑴服务器虚拟化, 云计算系统通过把一台物理商用计算机虚拟化成为逻辑的一台或多台虚拟主机。虚拟机间通过虚拟机监控 (VMM) 共享CPU、内存、硬盘等物理资源。⑵存储虚拟化, 云计算系统通过物理存储系统和服务器之间增加一个虚拟层, 把实际的物理存储虚拟化成逻辑存储, 当使用者访问存储器时, 实际访问的是逻辑存储, 这样做的优势在于能够整合不同类型的存储系统。⑶网络虚拟化, 云计算系统将将物理网络分割成多个不同的逻辑网络, 使得不同应用相互隔离。又可整合网络节点来虚拟化出一台逻辑设备, 简化网络架构。

2.2 SOA技术

SOA:目的是解决在Internet环境下业务集成的需要, 通过连接能够完成特定任务的独立功能实体实现的一种软件系统架构。SOA是一个组件模型, 它将应用程序的不同功能单元通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的, 它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。

2.3 分布式存储技术

云计算系统为保证高可用、高可靠和经济性, 用分布式存储的方式来存储数据和冗余存储的方式来保证存储数据的可靠性, 这样便可提供廉价可靠的数据存储系统。为满足大量用户的需求, 数据存储技术具备高吞吐率和高传输率的特点。

目前较为流行的分布式系统有Google文件分布系统, GFS的设计原则有以下几方面:机器失效不能视为异常现象;能够对付大型/超大型文件处理;支持大量用户同时访问。GFS的设计要脸在于将每个文件拆成若干个64M文件块Chunk组成, 每个Chunk都有Master根据其创建时间指定Chunk Handle (64) 。文件块被保存在Chunk Server本地磁盘中, 缺省情况下3处热备份Chunk块文件。GFS系统架构。

2.4 高层次并行编程

目前较为通用的编程模型是Google公司提出的Map/Reduce模型。从概念上讲, Map/Reduce处理一组输入的key/value对 (键值对) , 产生另一组输出的键值对。

摘要：本文简短介绍了云计算的发展, 引出云计算的定义, 阐述了云计算的典型特点。以Google云计算为例剖析云计算的关键技术, 包括虚拟技术、并行编程、SOA技术、分布式存储技术。

关键词：云计算,虚拟技术,并行编程,SOA技术,存储技术

参考文献

[1]张建勋, 古志民, 郑超.云计算现状研究与综述.计算机应用研究, 2010.[1]张建勋, 古志民, 郑超.云计算现状研究与综述.计算机应用研究, 2010.

[2]董晓霞, 吕延杰.云计算研究综述及未来发展.北京邮电大学学报, 2010.[2]董晓霞, 吕延杰.云计算研究综述及未来发展.北京邮电大学学报, 2010.

[3]杨金花.云计算关键技术的讨论.电子设计工程, 2012.[3]杨金花.云计算关键技术的讨论.电子设计工程, 2012.

[4]李瑛, 胡新炜.云计算关键技术分析研究.现代电子技术, 2012.[4]李瑛, 胡新炜.云计算关键技术分析研究.现代电子技术, 2012.