新一代云计算数据中心

新一代云计算数据中心（共12篇）

新一代云计算数据中心 篇1

近日, 亚洲最大单体云数据中心落户北京朝阳区酒仙桥鹏博士电信传媒集团, 总投资达6.5亿元人民币。1月12日, 被标注了“新一代云计算”特征的该数据中心正式投入使用。

作为中立于电信运营商的互联网综合服务及应用提供商, 鹏博士集团为该中心设置了超过40个云数据中心模块, 可安装6000个以上标准机柜, 设计服务器装机容量超过8万台, 成为国内首家大型云基础设施服务的落地项目。

国内云计算市场规模:三年将达3000亿元

据鹏博士集团董事长杨学平介绍, 如此大规模云数据中心的建设是响应国家信息产业政策号召, 以及看准了国内云计算的发展趋势。根据IDC的数据, 未来三年国内云计算市场规模将达到3000亿元左右, 落地于北京更在于云计算在信息高速发展的首都必将迎来更大的市场机会。

据杨学平称, 基于大规模云计算基础设施和高标准的IT外包服务, 鹏博士云数据中心在提供服务器托管和租月等基础服务的同时, 将面向政府和企业等用户提供云计算配套、金融数据备份、信息安全等服务。该中心采用弹性化模块设计, 可按照用户个性化、差异化的需求进行动态部署, 还可利用合作方中信网络的骨干网与鹏博士在上海、成都、武汉、广州等城市的云数据中心形成备份, 利用思科动态迁移等技术, 增加数据、信息系统的可靠性和安全性。

此外, 该中心还以冗余电力设施、精密制冷环境系统、变频水冷空调、智能消防控制系统等设施与技术, 最大程度地实现了大型数据中心节能环保要求。

云计算需求是关键

此前山西太原由政府主导开始筹建一个中部最大的云计算中心, 将主要运营城市规划与城市管理、政务信息化服务、物联网、数据挖掘、软件服务等。杨学平表示, 与政府主导建设的云产业基地不同, 鹏博士云数据中心主要目标是“做中国最好的互联互通的交换平台”, 如同为互联网应用打造一个全方位的高速公路, 服务对象主要以行业机构、金融企业、互联网企业为主。

“发展云服务首先要有实际的客户需求, 这是关键。”杨学平强调。

据悉在该云数据中心基础上, 鹏博士集团还投资2亿元开展了“云安全”、“云存储”、“云主机”、“云加速”等多项云应用业务。据称, 未来鹏博士集团还将打造国内最大的云计算、物联网服务平台, 并建设多个大型数据中心, 开拓金融、物联网、云计算、游戏、动漫、企业私有云、公有云等服务。

新一代云计算数据中心 篇2

云计算数据中心是支撑云服务实现用户转变到客户的数据中心，是一系列新技术集中应用和面向业务服务运营管理的集中体现。云计算数据中心采用虚拟化、自动化、并行计算、安全策略以及能源管理等新技术，解决目前数据中心存在的成本增加过快和能源消耗过度等问题;通过标准化、模块化、动态弹性部署和自助服务的架构方式实现对业务服务的敏捷响应和服务的按需获取。

1、云计算数据中心的构成

云计算数据中心本质上由云计算平台和云计算服务构成。云计算服务包括通过各种通信手段提供给用户的应用、软件、工具以及计算资源服务等;云计算平台包括用来支撑这些服务的安全可靠和高效运营的软硬件平台。通过云计算平台将一个或多个数据中心的软硬件整合起来，形成一种分层的虚拟计算资源池，并提供可动态调配和平滑扩展的计算、存储和网络通信能力，用以支撑云计算服务的实现。

2014-2019年广东物联网云计算行业趋势分析及投2014-2018年云计算行业招商计划书2014年版云计算项目融资商业计划书 2014-2018年中国云计算第三方软件行业市场深度2014-2018年中国政府云计算行业市场深度调研及2014-2018年中国云计算行业市场竞争格局分析与2014-2018中国云计算产业园区行业竞争格局分析2014-2018年中国云计算行业市场深度调研与发展云计算服务是云计算中心的外在实现，包括互联网(internet)、应用软件(saas)、系统平台(paas)和计算资源(iaas)等服务，其特点是无需前期投资、按需租用服务、获取方式简单以及使用安全可靠等，可以满足不同规模的用户根据需要动态地扩展其服务内容。

云计算平台是云计算中心的内部支撑，处于云计算技术体系的核心。它以数据为中心，以虚拟化和调度技术为手段，通过建立物理的、可缩放的、可调配的、可绑定的计算资源池，整合分布在网络上的服务器集群、存储群等，结合可动态分配和平滑扩展资源的能力，提供安全可靠的各种应用数据服务。

2、云计算数据中心的实施过程

云计算数据中心的实施不是一个简单的软硬件集成项目，在实施之前需要谨慎评估和整体规划，充分考虑云计算数据中心的管理模式，并将未来的运营模式纳入到整体规划中，这样才可以充分发挥云计算平台作用。

结合对云计算中心用户需求的调研和国外的实施经验，目前云计算数据中心基础架构实施主要分为以下5个阶段：

1)规划阶段：要将云计算中心建设作为战略问题来对待，管理高层要给予极大的重视和支持，并明确每一阶段所要实现的目标，从业务创新和it服务转型的高度进行规划和部署。

2)准备阶段：根据本行业特性，充分了解用户采用云计算数据中心想要获得的服务与应用需求，并对云计算平台进行充分的评估，选择合适的技术架构。同时充分考虑系统扩展和迁移的可操作性，保证基础设施平台技术的连续性和核心业务的连续性。

3)实施阶段：资源虚拟化是云计算中心的基础，通过构建支持异构平台的虚拟化平台，可以满足安全性、可靠性、扩展性和灵活性等各方面的服务要求。

4)深化阶段：在实现平台架构虚拟化的基础上，还要实现各种资源调度和分配的自动化，为全面管理和自助服务打好基础。

5)应用和管理阶段：云计算的基本特征是开放性，云计算平台应能提供标准的api实现与现有应用兼容。所有的应用移植是渐进过程，云计算基础架构要很好的支撑核心应用，而并不仅仅是新增的需求。同时，云计算平台建设是个闭环的过程，需要进行不断地改进。

3、云计算数据中心的关键技术

云计算数据中心的建设融合了很多新的技术，主要包括以下几个方面。

1)虚拟化技术

虚拟化技术的应用领域涉及服务器、存储、网络、应用和桌面等多个方面，不同类型的虚拟化技术从不同角度解决不同的系统性能问题。

服务器虚拟化对服务器资源进行快速划分和动态部署，从而降低了系统的复杂度，消除了设备无序蔓延，并达到减少运营成本、提高资产利用率的目的。

存储虚拟化将存储资源集中到一个大容量的资源池并进行统一管理，实现无需中断应用即可改变存储系统和数据迁移，提高了整个系统的动态适应能力。

网络虚拟化通过将一个物理网络节点虚拟成多个节点以及将多台交换机整合成一台虚拟的交换机来增加连接数量并降低网络复杂度，实现网络的容量优化。

应用虚拟化通过将资源动态分配到最需要的地方来帮助改进服务交付能力，并提高了应用的可用性和性能。

云计算数据中心基于上述虚拟化技术实现了跨越it架构的全系统虚拟化，对所有资源进行统一管理、调配和监控，在无需扩展重要物理资源的前提下，简单而有效地将大量分散的、没有得到充分利用的物理资源整合成单一的大型虚拟资源，并使其能长时间高效运行，从而能源效率和资源利用率达到最大化。

2)弹性伸缩和动态调配

弹性伸缩可以从纵向和横向两个方面考虑。纵向伸缩性是指在同一个逻辑单元内增加资源来提高处理能力，如：在现有服务器上增加cpu或在现有的raid/san存储中增加硬盘等;横向伸缩性是指增加更多逻辑单元的资源，并整合成如同一个单元在工作。

动态调配是根据需求的变化，对计算资源自动地进行分配和管理，实现高度“弹性”的缩放和优化使用，而使用者不介入具体操作流程。

3)高效、可靠的数据传输交换和事件处理

华云数据云计算“重”公司 篇3

今年CTO郑军加入，他曾在诞生过8位诺贝尔奖获得者的贝尔实验室工作多年，包括博士研究阶段一直在研究分布式计算、海量数据处理等计算机核心领域，在产品研发方面有强烈的技术风格。他的加入是基于对华云数据打法的认可。创始人兼CEO许广彬是IDC出身，对互联网创业者乃至传统企业者的云服务需求非常了解。郑军与许广彬达成的共识是，成为这个行业里最重视研发驱动的那一家，不惜从底层和基础研发做起。

基因的不同决定了打法的差异。今年华云数据完成了1亿美元来自海通投资的C轮融资，建立了一支规模10亿人民币的行业基金，创建了开放平台，还提出，云计算公司的产品需要进化到规模自动化的阶段。

创业邦：在演讲中，华云数据提到了“自动化”的概念，这个概念的意义是？

郑军：“自动化”其实是一个偏技术的名词，谈不上概念。我其实是想从产品的角度探讨一些有意思的技术话题，能给技术人员带来一些思考。

自动化的程度标志了云计算产品的深度和成熟度。现在大家说AWS在公有云方面全球第一，重要的一点就是它的云自动化程度。云计算发展了不到10年，从简单应用到复杂产品，云的后端越来越集中化、规划化，前端客户需要透明化、高效化，自动化是这两个趋势的桥梁，也是必由之路。在面向客户的时候，今天的云仍然不够简单高效，用户学习成本和使用成本太高。优秀的产品需要把复杂性屏蔽给用户，自动化能够支撑云的规模和高效。福特公司为人称道的一点是它不仅发明了现代汽车，还发明了流水线作业的模式，释放了产能。iPhone的成功也说明了用户需要功能强大但操作简单的产品。所以我认为，集中化、规模化之后，云的趋势是自动化，技术发展的趋势是这样。

创业邦：这是云计算整个行业都需要解决的问题？

郑军：这是趋势。目前对于云的基本产品，成熟的云计算服务商都能做到基本的自服务。但是随着类似于海量数据处理这种大数据后台系统的云中部署，确实需要进一步应对快速配置和敏捷实施的问题，在公有云里尤其如此。自动化是绕不过的坎儿。

另一个角度看，越来越多的用户来自“互联网+”，来自应用驱动。它不关心IaaS、PaaS，关心的只有核心的App、流量PV、支付等应用层面功能。除了应用层，剩下所有层面都要云平台来自动创建、统一提供，需要无缝scale-out，需要云服务自动打通所有资源。没有自动化，这些无从谈起。

创业邦：能否形容为，中国的云服务还处于比较蒙昧的情况？在哪个阶段？

郑军：不能说蒙昧。我认为中国云计算市场是全球最重要的市场之一，毕竟经济体量摆在那儿。很多Global的公司低估了中国客户对云计算的需求，低估了中国企业对先进技术理念和产品的诉求。以我的经验，其实从需求看，对于一个优秀的云服务提供商，中国客户也好美国客户也好，没有本质区别。

云的发展我认为可以分为几个阶段。最早是从IaaS开始，以云主机为代表。然后是提供更多服务到云里面，包括存储、数据、网络、CDN等，SaaS也开始出现繁荣，这时候大家在考虑如何将产品无缝集成，提供统一服务。现在是规模化的云，是超大规模的分布式系统和超大规模的云数据中心的结合。现在大家要想的是如何让后台更加自动化来解决挑战性的问题，这个趋势未来会更加明显，不管是全球的还是中国的。

创业邦：在打法方面，华云数据和其他互联网出身的公司有何不同？

郑军：2010年公司创建不久，华云的公有云就上线了。当时OpenStack（一个开源的云计算管理平台项目，在全球范围很有影响力）还没出来。只要做公有云，甚至是私有云，其实对于云的产品、竞争的市场，国内同行们没有本质区别，只是侧重点和细分领域的策略稍有不同而已。

创业邦：今年华云数据的重点部署还有什么？

郑军：继续发扬优势。第一还是深化IDC基础设施的投入，强化基础设施质量优势。我们的数据中心是全国最多的。第二是提升华云的技术研发能力。深度和广度是互联网公有云研发需要考虑的问题。广度上我们会大力拓展产品线，但会有侧重点，不想面面俱到。精品化路线是华云的选择，要把重点产品的技术深度和质量做到全国乃至世界第一。

创业邦：创投圈在今年对B2B类企业非常重视，一些互联网公司背景的云计算公司人气很高。

郑军：其实在我的眼里，没有背景不同的公司，只有不同公司的产品。对客户来说，呈现的是产品与服务的好坏高低，并决定于是哪个打法和背景。对我们来说基因也不重要，重要的是自己的产品市场定位和技术战略定位，其实就是企业定位。从CTO的角度看，火爆的产业必然要有一份冷静，华云数据的定位是技术创新驱动。

创业邦：互联网创业公司也是华云数据的重要客户？

郑军：绝对是的。这些创业公司至关重要。我们的原则是尊重客户的需求，并不会俯视客户，甚至在云平台上，可以和这些互联网创业团队一起研发、一起推动他们的产品。我认为中国的中小企业——当然包括初创互联网公司——是中国云计算产业链的重要一环，它们的繁荣毫无意外就是我们自己的繁荣。当然传统企业，包括国有企业，也是我们的重要客户。

新一代云计算数据中心 篇4

关键词：云核算数据中心,虚拟化技能

云核算数据中心收拢了大亮的核算信息经过虚拟化技能能够把各个服务器信息一同抽取出来, 转换为核算资源池, 根据相应的粒度划分, 比如图略。虚拟化后的资源池构成了云内部规范化的、统一的逻辑网络端口、逻辑储藏空间、逻辑容量、逻辑CPU, 把各个物理服务器的差别一同屏蔽, 在度量、供给、调度上将全部的使用者应用的虚拟化资源都是统一的。该文对虚拟化在云核算数据中心的使用做了相关讨论。

1 虚拟化技能的特征

虚拟化技能可以合理地构成具备超级核算能力的核算池, 也能够把大量异构服务器的差别之处做了相应地措施, 如图略。一个云核算中心大都会有几万台物理服务器。而每一台物理服务器上都会运转动态改变的虚拟机数目 (常常是4到20个) , 有时候还可有虚拟机100个。在现今不同的硬件虚拟化 (网卡、桥片、内存、CPU指令级等虚拟化) 与CPU功能的持续提高 (多核多路、主频提高) 的帮助下, 物理服务器上会增添很多运转的虚拟机。可想到的是, 一个大的互联网数据中心里会一同操作几十万个虚拟机。虚拟化技能已转换成了云核算数据中心中最关键性的技能。

当虚拟化储存与虚拟化核算都运作在大面积的云核算数据中心后, 就要对互联网网络给出新的规定, 即:多个宽带、资源池的端口容量要依照不低于10000个l0 Gbit/s来实施建立;在DC间与DC里面让虚拟机 (VM) 都能互通, 从而把资源实施扩大与转移, 进而可以得到更多的连接口。为确保最下面硬件和业务的任意部署与通透, 就要获得数据中心站点间的二层互连, 真实建立大面积的云核算空间。

2 虚拟化技术在新一代云计算数据中心的应用

2.1 确保平面多虚一技能

(1) 双活检测环节:当IRF link或是VSL产生问题之后, 两个构建虚拟化的物理设施就十分容易导致IP网关错乱, 这是因为这二个设施的配备是一模一样的, 对在上下游设施网络中产生了双活节点。因此, IRF技能与VSS技能都会为了合理地杰出专用链路故障情况, 而研制出一些双活解决体制。需要关心的是, 在实施初始合作时, IRF技能与VSS技能都要重新启用备用的机框设施才可以取得虚拟化分布。

(2) 建立在引擎主备之上的方式:IRF技能与VSS技能在解决虚拟交换机的主调控情况时, 都使用由一块作主控引擎, 而剩余的引擎都会有拷贝的。这块引擎可以单独运转所有的表项同步、协议学习等工作。交换板独自进行数据转移的工作, 甚至还能够进行分布式更换, 只需拓扑不会过大、Os PF相邻的数据不会过多就可。

(3) 专项链路跑私有协商:IRF技能使用IRF link、Vss技能使用VSL来对对应的调控平面的私有交互协商IRF与VSLP实行运载。

2.2 调控板面虚拟化

调控板面虚拟化其实就是把全部设施全面的调控板面都合并在一起, 虚拟交换机整体的表项同步、协议运转等工作都仅让一个主体去解决。调控板面虚拟化从构造规划的方面来看, 可以把它划分为两个种类, 分别为:横向虚拟化与纵向虚拟化。

纵向虚拟化说的是借助虚拟化技能把不同阶层设施合多为一, 同将上游设施的接口实施开拓相似, 而后构成下游交换机设施。虚拟化过后, 下游设施的性能降低, 仅仅可以解决那些比较容易的同步处理特征, 而在上游设施实行报文发送、交换机调控等。

横向虚拟化与纵向虚拟化都是让一个主体去运行调控板面工作, 借助虚拟化技能把不同阶层设施合多为一。可是我们应注意, 横向虚拟化是一种具有代表性的虚拟交换机, 使用分布式转发构造, 转发板面上所有的盒子与机框都能够在本地解决与转走流量。就某种角度来讲, 调控板面虚拟化能够对接口开拓和统一管制的需要做到一同处理, 是一种很真的虚拟交换机。

2.3 数据板面虚拟化

数据通信常常会具备数据转发板面 (也成数据板面) 与调控板面两个维度。为了可科学地达到虚拟化数据板面的成效, 就有了SPB与TRILL两个新型协议。这两个新型协议在所有的设施上都实行拓扑方式核算, 当作调控协议, 同时在TRILL/SPB区域里面执行转发工作。但针对外界来看, TRILL/SPB区域网络的内部转发运转没有任何含义, 而起看不见, 它仅仅被看作是一个较大的虚拟交换机。这种数据板面虚拟化多合一的方法可以把需求范围做到合理地开拓, 能够实现百位数这一级别, 可是因为它在转发报文时添加了封包、解包外层头的行为, 这就让Ethemet的转发效率减少了很多, 同时也因为引进了调控协议报文处理, 又汤网络的整体繁琐性大大提高。

接入层设施与中心层设施在建立数据中心二层网络构造的程序中, 需要合理地处理两个难题, 第一是多路径转发难题, 第二是拓扑无环路难题。唯有应用STP才可确保老式Ethemet转发环节中达到无环, 可是应用STP又会造成带宽耗损, 阻碍了多路线冗余中的一些路线, 对整个网转发能力都有很强的阻挡。因此, 在云核算数据中心里, 为增强多路线带宽使用率, 就需要采用网络虚拟化技能。

第一是数据版面多虚一, 为很好地处理L2MP (Layer2 Multi Path) 需要, 能够把动态寻址协议与外层封装种类引进带有核心层和接入层的交换机里, 事实上也就相当于把一套相似于IP+OSPF的协议体质在Ethemet外面弄出来。

第二是调控板面多虚一, 为很好地实现多路线转发和无环的需要, 把网络整体的逻辑拓扑构建成一种无环的树型相连构造, 经过链路聚合让中心层仅仅经过一条逻辑链路和各个逻辑段点设施或接入层物理设施相连。

整个中心层和接入层交换机针对接入层下面的设施来说, 能够把其虚拟为逻辑的框架式交换机, 中间体系是一个黑盒子。数据板面虚拟化的典型技能是802.1aq SPB两套规范性的调控板面多虚一技能, 是由IETF规范性机构分别提出的。

参考文献

[1]房秉毅, 张云勇, 陈清金等.云计算网络虚拟化技术[J].信息通信技术, 2011 (1) :133-135.

[2]韩言妮, 覃毅芳, 慈松.未来网络虚拟化关键技术研究[J].中兴通讯技术, 2011 (2) :140-145.

大数据与云计算论文 篇5

摘 要：大数据（Big Data）这个概念近年来在越来越多的场合、被越来越多的人提及，并且经常和云计算联系在一起，云计算与大数据之间到底是什么关系成为热点话题。本

专题报告包含以下四个方面内容：1.大数据的价值；2.大数据带来的挑战;3.大数据研究成果；4.云计算是大数据挖掘的主流方式。通过本报告阐述我们对大数据的理解，以及对大数据的价值的认识，探讨大数据处理与挖掘技术，大数据主要着眼于“数据”，提供数据采集、挖掘、分析的技术和方法;云计算技术主要关注“计算”，提供IT 解决方案。大数据、云计算技术可以促进持续审计方式的发展、总体审计模式的应用、审计成果的综合应用、相关关系证据的应用、高效数据审计的发展和大数据审计师的发展。强化大数据、云计算技术审计应用的措施包括制定长远发展战略、加快审计法规建设、建立行业平台、加强研发和提高利用能力。关键词：大数据 云计算 数据挖掘 对审计影响 政策建议 引言

目前，大数据伴随着云计算技术的发展，正在对全球经济社会生活产生巨大的影响。大数据、云计算技术给现代审计提供了新的技术和方法，要求审计组织和审计人员把握大数据、云计算技术的内容与特征，促进现代审计技术和方法的进一步发展。

一、大数据、云计算的涵义与特征

随着云计算技术的出现，大数据吸引了全世界越来越多的关注。哈佛大学社会学教授加里·金(2012)说: “这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”(一)大数据的涵义与特征

“数据”(data)这个词在拉丁文里是“已知”的意思，也可以理解为“事实”。2009 年，“大数据”概念才逐渐开始在社会上传播。而“大数据”概念真正变得火爆，却是因为美国奥巴马政府在2012 年高调宣布了其“大数据研究和开发计划”。这标志着“大数据”时代真正开始进入社会经济生活中来了。“大数据”(big data)，或称巨量资料，指的是所涉及的数据量规模大到无法利用现行主流软件工具，在一定的时间内实现收集、分析、处理或转化成为帮助决策者决策的可用信息。互联网数据中心(IDC)认为“大数据”是为了更经济、更有效地从高频率、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术，用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。大数据具有4 个特点: 第一，数据体量巨大(Volume)，从TB 级别跃升到PB 级别。第二，处理速度快(Velocity)，这与传统的数据挖掘技术有着本质的不同。第三，数据种类多(Variety)，有图片、地理位置信息、视频、网络日志等多种形式。第四，价值密度低，商业价值高(Value)。存在单一数据的价值并不大，但将相关数据聚集在一起，就会有很高的商业价值(金良，2012)。大数据时代，不仅改变了传统的数据采集、处理和应用技术与方法，还促使人们思维方式的改变。大数据的精髓在于促使人们在采集、处理和使用数据时思维的转变，这些转变将改变人们理解和研究社会经济现象的技术和方法。

(1)是在大数据时代，不依赖抽样分析，而可以采集和处理事物整体的全部数据。19 世纪以来，当面临大的样本量时，人们都主要依靠抽样来分析总体。但是，抽样技术是在数据缺乏和取得数据受限制的条件下不得不采用的一种方法，这其实是一种人为的限制。过去，因为记录、储存和分析数据的工具不够科学，只能收集少量数据进行分析。如今，科学技术条件已经有了很大的提高，虽然人类可以处理的数据依然是有限的，但是可以处理的数据量已经大量增加，而且未来会越来越多。随着大数据分析取代抽样分析，社会科学不再单纯依赖于抽样调查和分析实证数据，现在可以收集过去无法收集到的数据，更重要的是，现在可以不再依赖抽样分析。

(2)是在大数据时代，不再热衷于追求数据的精确度，而是追求利用数据的效率。当测量事物的能力受限制时，关注的是获取最精确的结果。但是，在大数据时代，追求精确度已经既无必要又不可行，甚至变得不受欢迎。大数据纷繁多样，优劣掺杂，精准度已不再是分析事物总体的主要手段。拥有了大数据，不再需要对一个事物的现象深究，只要掌握事物的大致发展趋势即可，更重要的是追求数据的及时性和使用效率。与依赖于小数据和精确性的时代相比较，大数据更注重数据的完整性和混杂性，帮助人们进一步认识事物的全貌和真相。

(3)是在大数据时代，人们难以寻求事物直接的因果关系，而是深入认识和利用事物的相关关系。长期以来，寻找因果关系是人类发展过程中形成的传统习惯。寻求因果关系即使很困难且用途不大，但人们无法摆脱认识的传统思维。在大数据时代，人们不必将主要精力放在事物之间因果关系的分析上，而是将主要精力放在寻找事物之间的相关关系上。事物之间的相关关系可能不会准确地告知事物发生的内在原因，但是它会提醒人们事情之间的相互联系。人们可以通过找到一个事物的良好相关关系，帮助其捕捉到事物的现在和预测未来。(二)云计算的涵义与特征

“云计算”概念产生于谷歌和IBM 等大型互联网公司处理海量数据的实践。2006 年8 月9 日，Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会首次提出“云计算”的概念。2007 年10 月，Google 与IBM 开始在美国大学校园推广云计算技术的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持(Michael Mille，2009)。目前全世界关于“云计算”的定义有很多。“云计算”是基于互联网的相关服务的增加、使用和交付模式，是通过互联网来提供动态易扩展且经常是虚拟化的资源。美国国家标准技术研究院(NIST)2009年关于云计算的定义是: “云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务等)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。”根据这一定义，云计算的特征主要表现为: 首先，云计算是一种计算模式，具有时间和网络存储的功能。其次，云计算是一条接入路径，通过广泛接入网络以获取计算能力，通过标准机制进行访问。第三，云计算是一个资源池，云计算服务提供商的计算资源，通过多租户模式为不同用户提供服务，并根据用户的需求动态提供不同的物理的或虚拟的资源。第四，云计算是一系列伸缩技术，在信息化和互联网环境下的计算规模可以快速扩大或缩小，计算能力可以快速、弹性获得。第五，云计算是一项可计量的服务，云计算资源的使用情况可以通过云计算系统检测、控制、计量，以自动控制和优化资源使用。(三)大数据与云计算的关系

从整体上看，大数据与云计算是相辅相成的。大数据主要专注实际业务，着眼于“数据”，提供数据采集、挖掘、分析的技术和方法，强调的是数据存储能力。云计算主要关注“计算”，关注IT 架构，提供IT 解决方案，强调的是计算能力，即数据处理能力。如果没有大数据的数据存储，那么云计算的计算能力再强大，也难以找到用武之地;如果没有云计算的数据处理能力，则大数据的数据存储再丰富，也终究难以用于实践中去。

从技术上看，大数据依赖于云计算。海量数据存储技术、海量数据管理技术、MapＲeduce 编程模型都是云计算的关键技术，也都是大数据的技术基础。而数据之所以会变“大”，最重要的便是云计算提供的技术平台。数据被放到“云”上之后，打破了过去那种各自分割的数据存储，更容易被收集和获得，大数据才能呈现在人们眼前。而巨量的数据也只能依靠云计算强大的数据处理能力，才能够“淘尽黄沙始得金”。

从侧重点看，大数据与云计算的侧重点不同。大数据的侧重点是各种数据，广泛、深入挖掘巨量数据，发现数据中的价值，迫使企业从“业务驱动”转变为“数据驱动”。而云计算主要通过互联网广泛获取、扩展和管理计算及存储资源和能力，其侧重点是IT 资源、处理能力和各种应用，以帮助企业节省IT部署成本。云计算使企业的IT 部门受益，而大数据使企业的业务管理部门受益。

从结果看，大数据与云计算带来不同的变化。大数据对社会经济带来的变化是巨大的，涉及到各个领域。大数据已经与资本、人力一起作为生产的主要因素影响着社会经济的发展。数据创造价值，而挖掘数据价值、利用数据的“推动力”就是云计算。云计算将信息存储、分享和挖掘能力极大提高，更经济、高效地将巨量、高速、多变的终端数据存储下来，并随时进行计算与分析。通过云计算对大数据进行分析、总结与预测，会使得决策更可靠，释放出更多大数据的内在价值。

二、大数据、云计算技术对审计的影响分析

审计技术和方法的发展是随着科学和管理技术的发展而发展的。现代审计技术和方法体系是在原始的查账基础上从低级向高级、从不完备到比较完备发展起来的。在业务和会计处理手工操作阶段，审计实施的是账表导向的审计技术和方法;当内部控制理论和方法全面应用于业务和会计处理时，审计实施的是系统导向的审计技术和方法;当风险管理理论和方法全面应用于业务和财务管理时，审计实施的是风险导向审计技术和方法;与风险导向审计技术和方法并行的是，计算机技术广泛应用于业务和会计处理时，审计实施的是IT 审计技术和方法。目前，面对大数据、云计算技术的产生和发展，审计人员需要应时而变来适应由此而带来的变化，分析大数据、云计算技术对审计方式、审计抽样技术、审计报告模式、审计证据搜集等技术和方法的影响。(一)大数据、云计算技术促进持续审计方式的发展

传统审计中，审计人员只是在被审计单位业务完成后才进行审计，而且审计过程中并不是审计所有的数据和信息，只是抽取其中有的一部分进行审计。这种事后和有限的审计对被审计单位复杂的生产经营和管理系统来说很难及时做出正确的评价，而且对于评价日益频繁和复杂的经营管理活动的真实性和合法性则显得过于迟缓。随着信息技术迅速发展，越来越多的审计组织对被审计单位开始实施持续审计方式，以解决审计结果与经济活动的时差问题。但是，审计人员实施持续审计时，往往受目前业务条件和信息化手段的限制，取得的非结构化数据无法数据化，或者无法取得相关的明细数据，致使对问题的判断也难以进一步具体和深入。而大数据、云计算技术可以促进持续审计方式的发展，使信息技术与大数据、云计算技术较好交叉融合，尤其对业务数据和风险控制“实时性”要求较高的特定行业，如银行、证券、保险等行业，在这些行业中实施持续审计迫在眉睫。如审计组织对商业银行的审计，实行与商业银行建立业务和数据系统的接口，在开发的持续审计系统中固化了非结构化数据结构化和数据分析模块，该模块可以在海量贷款客户中挖掘、分析出行业性和区域性贷款风险趋势，实现在线的风险预警，并将发现的风险数据、超预警值指标及问题登记为疑点，并建立实时审计工作底稿，按照重要程度进行归类、核实或下发给现场审计人员进行现场核实，以较好处理非结构化数据的利用和数据的实时分析利用问题。(二)大数据、云计算技术促进总体审计模式的应用

现时的审计模式是在评价被审计单位风险基础上实施抽样审计。在不可能收集和分析被审计单位全部经济业务数据的情况下，现时的审计模式主要依赖于审计抽样，从局部入手推断整体，即从抽取的样本着手进行审计，再据此推断审计对象的整体情况。这种抽样审计模式，由于抽取样本的有限性，而忽视了大量和具体的业务活动，使审计人员无法完全发现和揭示被审计单位的重大舞弊行为，隐藏着重大的审计风险。而大数据、云计算技术对审计人员而言，不仅仅是一种可供采用的技术手段，这些技术和方法将给审计人员提供实施总体审计模式的可行性。利用大数据、云计算技术，对数据的跨行业、跨企业搜集和分析，可以不用随机抽样方法，而采用搜集和分析被审计单位所有数据的总体审计模式。利用大数据、云计算技术的总体审计模式是要分析与审计对象相关的所有数据，使得审计人员可以建立总体审计的思维模式，可以使现代审计获得革命性的变化。审计人员实施总体审计模式，可以规避审计抽样风险。如果能够收集总体的所有数据，就能看到更细微、深入的信息，对数据进行多角度的深层次分析，从而发现隐藏在细节数据中的对审计问题更具价值的信息。同时，审计人员实施总体审计模式，能发现从审计抽样模式所不能发现的问题。大数据、云计算技术给审计人员提供了一种能够从总体把握审计对象的技术手段，从而帮助审计人员能从总体的视角发现以前难以发现的问题。

(三)大数据、云计算技术促进审计成果的综合应用

目前，审计人员的审计成果主要是提供给被审计单位的审计报告，其格式固定，内容单一，包含的信息量较少。随着大数据、云计算技术在审计中广泛应用，审计人员的审计成果除了审计报告外，还有在审计过程中采集、挖掘、分析和处理的大量的资料和数据，可以提供给被审计单位用于改进经营管理，促进审计成果的综合应用，提高审计成果的综合应用效果。首先，审计人员通过对审计中获取的大量数据和相关情况资料的汇总、归纳，从中找出财务、业务和经营管理等方面的内在规律、共性问题和发展趋势，通过汇总归纳宏观性和综合性较强的审计信息，为被审计单位投资者和其他利益相关者提供数据证明、关联分析和决策建议，从而促进被审计单位管理水平的提高。其次，审计人员通过应用大数据、云计算技术，可以将同一问题归入不同的类别进行分析和处理，从不同的角度、不同的层面整合提炼以满足不同层次的需求。再次，审计人员将审计成果进行智能化留存，通过大数据、云计算技术，将问题规则化并固化到系统中，以便于计算或判断问题发展趋势，向被审计单位进行预警。最后。审计人员将审计成果、被审计单位与审计问题进行关联，并进行信息化处理，在进行下次审计时，减少实地审计的时间和工作量，提高审计工作的效率。(四)大数据、云计算技术促进相关关系证据的应用

审计人员在审计过程中，应根据充分、适当的审计证据发表审计意见，出具审计报告。但是，在大数据、云计算环境下，审计人员既面临巨量数据筛选的考验，又面临搜集适当审计证据的挑战。审计人员在搜集审计证据时，传统的思维路径都是基于因果关系来搜集审计证据，而大数据分析将会更多地运用相关关系分析来搜集和发现审计证据。但从审计证据发现的角度来看，由于大数据技术提供了前所未有的跨领域、可供量化的维度，使得审计问题大量的相关信息能够得以记录和计算分析。大数据、云计算技术没有改变事物间的因果关系，但在大数据、云计算技术中对相关关系的开发和利用，使得数据分析对因果逻辑关系的依赖降低了，甚至更多地倾向于应用基于相关关系的数据分析，以相关关系分析为基础的验证是大数据、云计算技术的一项重要特征。在大数据、云计算技术环境下，审计人员能搜集到的审计证据大多是电子证据(秦荣生，2013)。电子证据本身就非常复杂，云计算技术使获取有因果关系的证据更加困难。审计人员应从长期依赖因果关系来搜集和发现审计证据，转变成为利用相关关系来搜集和发现审计证据。(五)大数据、云计算技术促进高效数据审计的发展

直到今天，审计人员的数字审计技术依然建立在精准的基础上。这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以审计人员必须尽可能精准地量化被审计单位的业务。随着大数据、云计算技术成为日常生活中的一部分，审计人员应开始从一个比以前更大、更全面的角度来理解被审计单位，将“样本= 总体”植入审计人员的思维中。相比依赖于小数据和精确性的时代，大数据更强调数据的完整性和混杂性，帮助审计人员进一步接近事情的真相，“局部”和“精确”将不再是审计人员追求的目标，审计人员追求的是事物的“全貌”和“高效”。围绕大数据，一批新兴的数据挖掘、数据存储、数据处理与分析技术将不断涌现。在实施审计时，审计人员应利用大数据、云计算技术，使用分布式拓朴结构、云数据库、联网审计、数据挖掘等新型的技术手段和工具，以提高审计的效率。

(六)大数据、云计算技术促进大数据审计师的发展

大数据、云计算时代，数据的真实、可靠是大数据发挥作用的前提。这客观上要求专业人员来对大数据的真实性、可靠性进行鉴证，审计人员可以扮演这种角色，或者称为数据审计师。能对大数据真实性、可靠性进行鉴证的数据审计师应该是计算机科学、数学、统计学和审计学领域的专家，他们应有大数据分析和预测的评估能力。数据审计师应恪守公正的立场和严守保密的原则，面对海量的数据和纷繁复杂的相关关系，选取分析和预测工具，以及解读数据及数据计算结果是否真实、可靠。一旦出现争议，数据审计师有权审查与分析结果相关的运算法则、统计方法以及数据采集、挖掘和处理过程。数据审计师的出现是为满足以市场为导向来解决数据真实性、可靠性问题的需求，这与20 世纪初期为了处理财务信息虚假而出现的审计人员一样，都是为了满足新需求而出现的。

三、大数据挖掘

数据的价值只有通过数据挖掘才能从低价值密度的数据中发现其潜在价值，而大数据挖掘技术的实现离不开云计算技术。在业界，全球著名的Google、EMC、惠普、IBM、微软等互联网公司都已经意识到大数据挖掘的重要意义。上述IT 巨头们纷纷通过收购大数据分析公司，进行技术整合，希望从大数据中挖掘更多的商业价值。数据挖掘通常需要遍历训练数据获得相关的统计信息，用于求解或优化模型参数，在大规模数据上进行频繁的数据访问需要耗费大量运算时间。数据挖掘领域长期受益于并行算法和架构的使用，使得性能逐渐提升。过去15 年来，效果尤其显著。试图将这些进步结合起来，并且提炼。GPU平台从并行上得到的性能提升十分显著。这些GPU平台由于采用并行架构，使用并行编程方法，使得计算能力呈几何级数增长。即便是图形处理、游戏编程是公认的复杂，它们也从并行化受益颇多。研究显示数据挖掘、图遍历、有限状态机是并行化未来的热门方向。MapReduce 框架已经被证明是提升GPU 运行数据挖掘算法性能的重要工具。D.Luo 等提出一种非平凡的策略用来并行一系列数据挖掘与数据挖掘问题，包括一类分类SVM 和两类分类SVM，非负最小二乘问题，及L1 正则化回归（lasso）问题。由此得到的乘法算法，可以被直截了当地在如MapReduce 和CUDA 的并行计算环境中实现。K.Shim 在MapReduce 框架下，讨论如何设计高MapReduce 算法，对当前一些基于MapReduce 的数据挖掘和数据挖掘算法进行归纳总结，以便进行大数据的分析。Junbo Zhang 等提出一种新的大数据挖掘技术，即利用MapRedue 实现并行的基于粗糙集的知识获取算法，还提出了下一步的研究方向，即集中于用基于并行技术的粗糙集算法处理非结构化数据。F.Gao 提出了一种新的近似算法使基于核的数据挖掘算法可以有效的处理大规模数据集。当前的基于核的数据挖掘算法由于需要计算核矩阵面临着可伸缩性问题，计算核矩阵需要O(N2)的时间和空间复杂度来计算和存储。该算法计算核矩阵时大幅度降低计算和内存开销，而且并没有明显影响结果的精确度。此外，通过折中结果的一些精度可以控制近似水平。它独立于随后使用的数据挖掘算法并且可以被它们使用。为了阐明近似算法的效果，在其上开发了一个变种的谱聚类算法，此外设计了一个所提出算法的基于MapReduce 的实现。在合成和真实数据集上的实验结果显示，所提出的算法可以获得显著的时间和空间节省。Christian Kaiser 等还利用MapReduce 框架分布式实现了训练一系列核函数学习机，该方法适用于基于核的分类和回归。Christian Kaiser 还介绍了一种扩展版的区域到点建模方法，来适应来自空间区域的大量数据。Yael Ben-Haim 研究了三种MapReduce 实现架构下并行决策树分类算法的设计, 并在Phoenix 共享内存架构上对SPRINT 算法进行了具体的并行实现。F.Yan 考虑了潜在狄利克雷分配（LDA）的两种推理方法——塌缩吉布斯采样（collapsed Gibbssampling，CGS）和塌缩变分贝叶斯推理（collapsedvariational Bayesian，CVB）在GPU 上的并行化问题。为解决GPU 上的有限内存限制问题，F.Yan 提出一种能有效降低内存开销的新颖数据划分方案。这种划分方案也能平衡多重处理器的计算开销，并能容易地避免内存访问冲突。他们使用数据流来处理超大的数据集。大量实验表明F.Yan 的并行推理方法得到的LDA 模型一贯地具有与串行推理方法相同的预测能力；但在一个有30 个多核处理器的GPU 上，CGS 方法得到了26倍的加速，CVB 方法得到了196 倍的加速。他们提出的划分方案和数据流方式使他们的方法在有更多多重处理器时可伸缩，而且可被作为通用技术来并行其它数据挖掘模型。Bao-Liang Lu 提出了一种并行的支持向量机，称为最小最大模块化网络(M3)，它是基“分而治之”的思想解决大规模问题的有效的学习算法。针对异构云中进行大数据分析服务的并行化问题G.Jung 提出了最大覆盖装箱算法来决定系统中多少节点、哪些节点应该应用于大数据分析的并行执行。这种方法可以使大数据进行分配使得各个计算节点可以同步的结束计算，并且使数据块的传输可以和上一个块的计算进行重叠来节省时间。实验表明，这种方法比其他的方法可以提高大约60% 的性能。在分布式系统方面，Cheng 等人 提出一个面向大规模可伸缩数据分析的可伸缩的分布式系统——GLADE。GLADE 通过用户自定义聚合（UDA）接口并且在输入数据上有效地运行来进行数据分析。文章从两个方面来论证了系统的有效性。第一，文章展示了如何使用一系列分析功能来完成数据处理。第二，文章将GLADE 与两种不同类型的系统进行比较：一个用UDA 进行改良的关系型数据库（PostgreSQL）和MapReduce(Hadoop)。然后从运行结果、伸缩性以及运行时间上对不同类型的系统进行了比较。

四、总结 大数据的超大容量自然需要容量大，速度快，安全的存储，满足这种要求的存储离不开云计算。高速产生的大数据只有通过云计算的方式才能在可等待的时间内对其进行处理。同时，云计算是提高对大数据的分析与理解能力的一个可行方案。大数据的价值也只有通

过数据挖掘才能从低价值密度的数据中发现其潜在价值，而大数据挖掘技术的实现离不开云计算技术。总之，云计算是大数据处理的核心支撑技术，是大数据挖掘的主流方式。没有互联网，就没有虚拟化技术为核心的云计算技术，没有云计算就没有大数据处理的支撑技术。

参考文献

秦荣生.大数据、云计算技术对审计的影响研究 何清.大数据与云计算

张为民.云计算: 深刻改变未来

文峰.云计算与云审计———关于未来审计的概念与框架的一些思考

云计算和云数据管理技术 篇6

【关键词】云计算；云数据；管理技术

近年来随着科技水平的不断提高，信息数据量不断增大，并且具有快速的增长速度，用户对于计算机的存储能力提出了更高的要求。而“三网融合”、“物联网”、“智能电网”等应用的快速发展对于计算和数据管理也带来了新的挑战。云计算作为一种正在兴起中的新型技术，可以改变普通用户操作计算机的模式，可以根据用户的需要来提高计算能力和存储能力，使用户像使用水电一样的方便快捷的使用计算机，降低用户的软件和硬件采购成本。云计算是基于分布式系统和网络计算上提出的新型概念，核心功能的提供海量的数据和存储，并且提供高效率的计算能力，由于开发更多的应用形式。而云计算并不仅仅是做计算，还需要融合更多的技术成果，提出云数据的管理概念。本文通过分析云计算和云数据的管理技术，促进云计算和云数据管理技术的发展和提高，方便今后工作的开展。

一、云计算的概念

（一）云计算的定义

云计算是一种近年来兴起的新型计算模型，是在互联网技术快速发展的基础上发展起来的。由于目前对于云计算还没有统一的标准定义，所以出现了很多云计算的定义版本。而通过对于云计算的分析研究，总体的定义方向都是一致的。具体来说，云计算实际上是一种对于虚拟化技术、网络技术和Web Service等几种不同的新型信息技术的综合应用。云计算所运用的技术几乎包括了所有的互联网和信息技术。可以说云计算是网络计算的必然发展，虚拟化技术又是云计算得以发展的基础和前提，Web Service信心技术为云计算提供了互联网环境的技术支持。随着互联网的发展，计算机用户也越来越专业化，它们对于数据信息的了解和使用越来越熟练，对于数据信息的要求也发生了变化，提出了各种不同的信息数据需求，云计算正是满足了这类用户的需要，也得到了进一步的使用和发展。

（二）云计算的工作原理

云计算在工作环境下不需要使用本地的计算机，通过互联网联接来进行数据的分布和处理，并且优化数据，然后经过互联网的连接来实现分享数据的目的。这种工作模式可以使企业方便的进行资源利用，并且有效的切换有效资源，根据实际工作的具体要求来访问计算机和存储系统，获得相关的信息和数据。云计算作为一项新型的实用性技术，一定程度上提高了计算能力的商业性，通过网络传播和售卖实现了降低售卖成本的目的，同时还充分发挥了实用性，使企业的相关工作得以全面落实。

（三）云计算的体系结构

云计算的体系结构非常庞大，并且具有很强的复杂性，一般以“云”网络为核心，联接到其他网络和服务器，发送出相关的数据信息。同时通过虚拟技术的支持扩展相关服务器的功能，在云计算的平台上实现各种信息资源的整合，达到为用户提供更多更有效数据的目的，提升了计算能力和储存能力。完善的云计算体系结构应包括云端用户、部署工具、服务目录、管理系统这主要的四个部分。

二、云数据管理技术的主要特点

（一）规模大，海量性

随着近年来互联网技术应用的发展和普及，一些互联网技术是通过传感器来进行数据信息的采集来完成相关的工作。而随着应用技术的发展和推广，数据量变得越来越大，并且还在快速的增长。云计算中的“云”具有规模大的特性，以云计算为基础而构建的信息服务或设备也具有大规模的特点，并且应用于处理海量性的信息数据。另外云计算還可以无限扩展，同时处理成百上千的信息节点。这种可以无限扩大和伸缩的特点满足了不同用户的不同需求，在云计算的数据管理技术中也要注重技术和方法的改进，提高信息数据的管理水平和处理水平，重视信息数据的整合、提取和推理，有助于工作决策的完成。

（二）安全可靠性

云计算的技术包括了虚拟化技术、互联网技术及分布式计算等比较成熟的技术手段，为云计算的可靠性提供了有效的保证。并且云计算在安全性方面也具有优势，云计算采用了不同服务器上的信息数据多副容错的方式，计算的信息节点采用了同构互换技术，这些都极大地提高了云数据管理的安全性。

（三）异构性

由于应用云计算技术的领域和行业的不同，云计算的数据采集设备和方式也各不相同，存在着一定的差异性。每个行业中云计算所获取的结构和数据形态也存在着不同的差别，需要根据具体的实际情况，来判断采取不同的传感器，例如二氧化碳浓度传感器、温度传感器和湿度传感器等。不同的传感器在应用的时候，传递信息和获取信息的形式也是不尽相同的，这些差别会带来数据分析、处理和访问等各个环节的差别，另外数据的多源性也会造成数据的类型各不相同，不同类型的数据信息也有不同的格式，从而会出现半结构化数据、非结构化数据和结构化数据同时存在的情况，使信息数据存在异构性的特点。

（四）不确定性

云计算的运行环境中数据信息具有一定的非确定性，主要表现为信息数据本身、数据语义匹配及数据信息的分析查询等方面具有不确定性。而为了达到保证信息数据准确客观的目的，用户在应用云计算时一定要明辨真伪，去其槽粕取其精华，反映真实的需求完成预期的工作目标。

（五）通用性、便捷性

云计算的使用平台在提供各项服务时，用户在使用中不会受到空间上的限制，也不会受到时间的约束。用户只要具有访问验证信息就可以自由的使用云计算平台，享受云计算的服务，不会受到系统和平台的限制，具有极大的通用性和便捷性。

三、云数据管理技术

用户通过云计算来分析处理大量的数据信息，云计算的数据管理技术必须要能够满足用户的需求，高效及时的管理分析海量的数据和信息。云计算分析处理的数据具有海量性、不确定性，这对云计算数据管理技术的开发和发展不断提出新的要求，需要积极的构造高效可用的信息数据管理系统。

nlc202309011255

（一）数据信息的组织管理

数据的组织管理可以采用分布式的系统来访问分析海量的分布式数据，例如GFS技术。这种技术可以在差别不大的各种普通硬件上运行，为用户提供了容错功能，并且为用户提供高效可靠的信息数据并行的存储和访问权限。

（二）数据信息的集合管理

数据信息具有海量性、动态性、不确定性等特点，需要采取分布式的数据信息处理技术来进行采集分析，例如Big Table技术可以用于对海量数据信息的处理，提供高效的服务。

（三）数据信息的分析管理

应用云计算的数据管理技术是为了分析和挖掘相关的数据来满足用户的需求。因此需要运用不同技术和布局来从海量的数据中提取挖掘有用的潜在数据，并且理解所挖掘的信息数据同时进行分析，为各种应用提供支持。

（四）数据信息的存储管理

以Dynamo技术为例，这是一个具有高可用度的存储系统，具有DHT和数据库的特征，为AWS提供了基础的技术支持，并不直接展示于外网。Dynamo技术设计的存储架构可以使信息数据在框架内均匀的存储，并且各个存储节点之间可以互通，根据数据的具体操作需求在框架内进行转发，具有较强的自主性，而由于有主控点来进行控制，单个节点之间一般不会出现故障。

Dynamo技术在存储时还具有一些优点，可以通过提供N、R、W这三个参数结合实际情况去调整实例。N即表示副本的个数，R为可完成的数据信息的成功一致个数，W为完成写入的个数。Dynamo技术可以记录、处理不同版本的对象，将对象的不同版本来提供给技术应用，使应用可以对这些数据信息进行合理的整合和利用。在这一过程中并不要求将副本个数N全部的成功完成，只需要成功读取的个数R和成功写入的个数W两者相加，大于副本个数N，这样就可以保证数据的最终一致性。这种读取方式比写入一次进行多次读取的系统要麻烦一些，但是写入方式变得更简单，也充分满足了用户的需要。同时Dynamo技术也具有负载均衡的优势，由于所采用的DHT方式将需要的信息数据都均匀的存储到每个节点，导致每个节点的数据信息访问量和存储量都大致相同，比较均衡。

四、结语

当今社会处于高速发展的信息时代，各种数据信息在全球范围内传递交换，也就需要开发和利用高效可用的信息传播媒介来适应信息时代的发展，云计算和云数据管理技术正是为此而生。作为新型的信息技术，云计算具有广阔的发展空间也面临着不同的挑战。网络互联网技术的快速发展使云计算和云数据管理技术有了更好的机会和支持，也导致了新型应用系统的开发和应用，因此云计算和云数据管理技术要充分把握机会面对挑战，利用本身的优势和时代的发展来实现进一步的提高，解决应用过程中的技术难题，得到长远发展。

参考文献

[1]刘正伟，文中领，张海涛，等.云计算和云数据管理技术[J].计算机研究与发展，2012，49（z1）：26-31.

[2]罗亚东.云计算和云数据管理技术的思考[J].电子制作，2015，（1）：155-156.

作者簡介：初鲁京（1987-），男，，山东烟台人，中国人民大学在职研究生，研究方向：企业管理。

新一代云计算数据中心 篇7

中国药科大学 (CPU) 近期成功把多个服务器集群整合到一个由博科的综合新一代IP网络解决方案所支持的云数据中心里。新数据中心将帮助这大学加强药理研究并加速应用交付, 同时降低运营成本。

和中国许多大专院校一样, 中国药科大学的许多基础设施由各个学院自主部署, 以期满足各自特定需求, 造成支持学校管理的中央IT设施落后很多。 中国药科大学未来将利用数据中心虚拟化来提供更加高效、灵活、强大的基础设施, 通过一个包括高性能计算平台在内的统一数据中心来满足所有学术和管理需求。

中国药科大学信息技术中心副主任袁泉表示:“由于所有这些重复和限制, 特别是随着计算机建模已成为药理研究中非常重要的技术, 拥有分散的服务器和数据存储设施不再有任何意义。

博科新一代IP网络解决方案为大学全新的云数据中心的运营提供虚拟网络基础, 以利用单一资源池来高效管理我们的资源, 并在不增加运营成本的前提下轻松扩展。在选择网络时, 博科的方案拥有强大的SDN路线图, 在价值、性能和功能方面更胜一筹。”

中国药科大学在数据中心内充分利用博科? VCS? Fabric技术来构建一个无缝、高度自动化的以太网矩阵, 并与其虚拟化服务器和存储基础架构全面集成, 同时利用网络功能虚拟化 (NFV) 来支持虚拟机 (VM) 安全和均衡负载。与运营之前分散化的服务器集群相比, 中国药科大学能够削减成本, 同时提供功能更强大的平台来支持其学术和管理应用。

博科大中华区副总裁于肇烈先生表示:“新一代IP网络基础架构的部署已成为中国药科大学快速实现其云数据中心愿景的一个关键因素。在部署过程中, 中国药科大学迈出了一大步, 充分利用云技术来改进教学系统、加快科研, 并推进学术机构发展, 在中国大专院校中名列前茅。中国药科大学获得了很高的投资回报, 由于充分利用软件定义网络, 投资回报将随着数据中心自动化水平的提高而不断增加。”

中国药科大学部署的博科VDX8770 和VDX 6740 交换机组成主干加分支式以太网矩阵的节点, 这种矩阵能够以低延迟的端口到端口性能来高效提供线速10 千兆端口, 非常适合云计算运营。自成型、自修复型矩阵能够感知虚拟机, 并支持虚拟机在Hypervisor主机之间移动。博科VDX交换机还提供以太网光纤通道 (FCo E) 网关, 从而使虚拟机主机不需要SAN接口, 就能访问大学的EMC VPLEX虚拟存储集群。

新一代云计算数据中心 篇8

关键词：云计算,多媒体教学,服务平台

0 引言

目前,国内大部分高校都是采用以多媒体教室为载体,以投影机、计算机等多媒体设备为中心的传统多媒体教学方式。

为了进一步发展现代化教育,我校在不断地增加多媒体教室的数量,随之而来的是各种教学资源不断增加,使得在实际教学过程中,不能合理有效地利用和管理众多教学资源,同时也加大了管理难度和维护成本。云计算的出现,为多媒体教学方式开辟了一条全新的道路,基于云计算的多媒体教学服务平台能很好地解决目前所存在的问题,是现代教育技术在云时代背景下的选择。

1 网络化多媒体教学平台

目前,我校使用的网络化多媒体教学平台主要有三部分构成:教室客户端、系统管理端、教学资源服务器,这种多媒体教学平台的建设主要是围绕着硬件展开,存在一些缺点:第一,每台客户端计算机采用相同的配置,都需要安装一些必备的软件,但是每位教师对计算机的需求不同,造成了软硬件资源的严重浪费。第二,管理员要定期对每间多媒体教室计算机进行维护:还原、备份系统,对应用软件和系统软件进行升级和补漏洞,而且还要经常对重要数据进行维护,使得管理员的维护工作繁重。第三,每个多媒体教室客户端随时都存在病毒入侵的危险,当被病毒攻击后,系统瘫痪、只有一键恢复备份的系统,对上课的时间造成一定的影响。所以,系统安全性差也是该多媒体教学系统的一个弊端。

如何对教学资源进行高效合理的管理,提高共享度,降低多媒体教室建设成本是一个长时间困扰我们的难题。如今,云计算[1]的出现为我们提供了强有力的帮助。

2 云计算技术

云计算(Cloud Computing)是并行计算、分布式计算和网格计算发展与革新,或者说是这些计算科学概念的商业实现[2]。云计算的核心理念[3]是统一管理和调度大量用网络连接的计算资源,包括计算、服务器、应用软件、存储等IT软硬件资源,构成一个资源池,使得用户可以动态申请部分资源,支持各种应用程序的运转,将更多的注意力放在自己的业务上,无需为复杂的细节烦恼,有利于提高效率、降低成本和技术创新。

云计算有以下基本特征:

(1)虚拟化。云计算允许用户在任意地点,使用各种终端获取服务,所请求的资源来自“云”。(2)按需服务。用户根据自身需求购买,像煤气、水和电一样计费。(3)高可靠性,扩展性。云计算中的大量服务器采用了计算节点同构可互换、数据多副本容错等措施来保障服务的高可靠性。当用户规模和应用增长时,“云”的规模也可随之动态伸缩以满足需要。

3 云计算多媒体教学服务平台总体设计

通过建立多媒体教学云计算服务平台,使得所有多媒体教室资源集中起来形成一个“资源池”,以便用户通过网络按需地访问和使用,从而实现随时随地自助自主学习,为师生提供最全面的服务和资源共享。

本文设计的云服务平台按照功能的不同可以划分为四层,分别是核心硬件资源层、虚拟化层、管理中间件层、服务层。如图一所示。

3.1 资源池层

资源池层是该云服务平台的物理核心,位于最底层,包括了该云平台中的所有物理设备,如大量服务器、存储设备、网络设备等,决定了云的处理能力和规模。在云计算多媒体教学服务平台中,虚拟节点服务器、云控制器组、云存储服务器三大部分专业的服务器组成了该云平台的硬件核心。虚拟节点服务器主要是为云提供任务处理能力支持,包括磁盘缓存空间、CPU、内存。云控制器主要是用来统一控制管理云,云存储服务器则为云提供存储空间支持。

3.2 虚拟化层

虚拟化层位于资源池层之上,它的功能是按照用户的需求,从池化的资源池层中选取合适的资源打包,通过使用一定的虚拟化技术,灵活地使用各种物理资源构成不同规模和能力的计算资源,即虚拟机。这一层是整个云平台中关键的一层,是虚拟化技术在云服务平台中的实际体现。为了能管理虚拟化层及其中的各类资源,一个合适的云服务管理平台软件是必不可少的,以保证能顺利地使用云服务平台中的资源及其稳定运行。

3.3 管理层

位于虚拟化层之上的是管理层,不仅能访问下层的虚拟化层和虚拟资源,还能够管理和配置虚拟化层,使云平台的虚拟资源和硬件资源对用户完全透明。管理层的最终设计目标是资源信息收集,掌握每种资源的性能情况和运行状态,保证打包后计算资源的负载均衡和高可用性等,将服务层的相应请求最终转化为对虚拟资源的访问。本层核心的内容由数据管理、资源监控、负载均衡、资源部署等几个部分组成。

3.4 服务层

服务层位于整体架构的最上层,它是直接面向用户的应用,这一层的主要作用是为用户提供一个统一的界面,通过集中的数据中心,按需地将云服务平台相应的服务提供给用户。

以上就是整个多媒体教室云计算服务平台的一个总体设计,平台的层次分明,设计遵守逐层访问的原则。该平台使用专业服务器为核心的底层硬件平台来处理数据,用户则通过上层的应用平台和软件按需获取服务,实现了一体化管理教学资源的目标,资源依据用户的实际需求收缩或扩展,充分展示了设备管理复杂性低、扩展性良好、资源利用率高等特点。

4 多媒体教室云计算服务平台的特点

新一代多媒体教室云计算服务平台具有唯一性,教师在不同环境、时间和地点下登陆云服务平台都是面对同一个系统环境,不会因系统环境不同而受到影响。主要具有以下几大优势:

4.1 降低软硬件和维护成本

教学资料及常用教学软件都存储在“云端”服务器中,用户只需登录云服务平台就可使用这些资源。不需使用本地资源,只消耗专用服务器群的资源,对多媒体教室客户端的硬件要求很低,只需要一台能联网的计算机或移动设备,也不再需要重复对每台客户端更新软件,当云端的软件升级后,客户端就能使用最新的软件。系统管理人员也可以轻松地对其进行管理。

4.2 资源共享

只要登录云服务平台的用户可以共享使用云端资源。教师可以对同一个资源探讨分析,提高教师的授课质量。

4.3 高安全性

建立教学专业网络,隔离来自外网和校园网的干扰,使得云计算的安全性得到了极大的提高。

5 结束语

基于云计算的多媒体教室,不仅为多媒体教学的实施和数据的安全、教学资源的利用提供了全新的应用模式,也为我校的信息化建设和管理提出了创造性的思路,同时加快了我校现代化教育技术向云时代进军的步伐。它的实现模式和高性能技术手段让师生充分享受到了信息技术带来的便捷,给我们展示了一个崭新的云世界。

参考文献

[1]万利平,陈燕.云计算在教育信息化中的应用探索[J].中国教育信息化(高教职教),2009,(05): 74-77.

[2]杨文志,云计算技术指南:应用、平台与架构[M].北京:化学工业出版社,2010.

[3]王万丽.浅析云计算及其在高职教育领域中的应用[J].科技信息,2010,(34):IO232.

[4]王鹏.云计算的关健技术与应用实例[M].北京:人民邮电出版社,2010.

[5]李刚健.基于虚拟化技术的云计算平台架构研究[J].吉林建筑工程学院学报,2011,(01):79-81.

云计算数据中心节能技术研究 篇9

在云计算席卷全球、云计算产业发展浪潮风起云涌的背景下, 云计算数据中心高能耗、高费用、高污染等问题日益突出, 探讨如何降低能耗, 建设绿色数据中心实现节能减排, 是云计算数据中心可持续发展过程中亟需解决的问题;从不同角度探讨如何将云计算数据中心建设成绿色节能数据中心是本文研究的重点。

一、云计算数据中心定义与能耗现状

1.1云计算数据中心定义。云计算数据中心是在传统的数据中心架构基础上, 通过充分利用虚拟化和云计算等最新信息技术, 满足企业数据安全标准并具有自我管理和自愈能力的智能数据处理中心, 其中的机械、照明、电气和计算机系统旨在实现能源效率最大化和环境影响最小化。

1.2云计算数据中心能耗现状

从图表1可以看出, 目前数据中心的能耗问题是数据中心管理者最关心的问题;近年来, 我国数据中心电耗迅速增长, 研究结果表明:2009年, 我国服务器保有量就已达366万台, 数据中心总耗电量约为364亿k Wh, 占全社会用电量的1%。预测未来10年里, 我国数据中心很可能呈现爆发式增长。2015年我国数据中心用电量将达到1000亿k Wh左右, 相当于三峡电站一年的发电量, 2020年将超过2500亿k Wh。因此, 探讨数据中心的绿色节能方法, 综合应用这些方法, 实现企业单位及服务提供商构建数据中心的成本低, 实现高效管理, 显得尤为重要。

二、云计算数据中心的绿色之道

低能耗、高能效、降低全生命周期成本、节约与优化空间、限制使用有害物质、低电磁辐射、低噪音等均是绿色数据中心所需实现的最基本内容。我们从图表2可以很清楚地看到数据中心的能耗构成, 因此, 云计算数据中心节能减排可以从下几个方面来实现:

2.1新能源的推广应用。衡量数据中心的能效标准和排放标准分别是PUE和CUE, 而CUE主要考虑是碳排放, 数据中心目前的电力能源来源及使用比例如图表3所示。

从全球电力能源来源及使用比例的情况来看, 电力来源主要为化石燃料, 其碳排放处于较高标准, 与建设绿色云计算数据中心的宗旨不相符, 因此新的云计算数据中心需要增加新能源使用比例、减少碳排放。新能源在数据中心应用如何选择呢?从图表4可以看出太阳能和风能是给数据中心供能的最有前景的两种绿色能源, 新能源最主要的优点就是一旦建设好电厂就可以源源不断地提供电能, 而且管理费用较低, 运营过程中不会排放碳等污染物质。

2.2IT设备优选是云计算数据中心节能基础。服务器设备在数据中心是一项重要的设备, 占有较多的数量和空间, 也是数据中心中能耗较多的设备, 从图表2可以看到, IT设备的能耗占到了整个数据中心能耗的45%, 降低IT设备的能耗是数据中心节能设计的基础, 可以采用刀片式服务器和低功耗的处理器两个办法来实现;在IT设备中, 芯片是最主要的发热元件之一, 选用低功耗处理器是设计出低功耗IT设备的先决条件, 在同等运算量的前提下, 可以从根本上降低设备的发热量。刀片式服务器采用一体化设计思路, 与相同计算能力的常规服务器相比, 刀片式服务器可降低30%左右的能耗。

2.3基础设施设备选型与管理主导节能之路。PUE的定义为:PUE=数据中心总能耗/IT设备总能耗。我们仔细分析数据中心的能耗构成, 其实数据中心的PUE值与数据中心能耗相关的有三个变量:IT设备耗电量、空调系统的能效比CLF、UPS电源系统的功率因素PF。我们对这三个变量做如下假设和分析:假设IT设备耗电量为1, 则UPS系统的总能耗为1/PF, 空调系统消耗的能耗为1/CLF, 最后我们发现如果数据中心照明等其它方面消耗的能耗足够小, 我们会得到数据中心的总能耗约为:P=1/PF+1/CLF, 显然数值上与数据中心的PUE值相等;因此, UPS不间断电源和空调设备等基础设施的选择主导云计算数据中心绿色节能之路。

UPS不间断电源主机需要选用高效节能的UPS, 应具有实现交流电源的功率因数校正和电流谐波抑制、输入谐波失真低、功率因数高、非线性负载的适应能力强、在低负载率下也能具有高效率;UPS模块化方式可随需而变、灵活扩容;随着IGBT功率模块技术的不断成熟, 具有较高功率因数的高频UPS系统应在云计算数据中心中大力推广。

空调设备是实现数据中心绿色节能的主要对象。据统计, 85%以上的传统数据中心存在过度制冷问题, 温度设置过低问题, 只有1/3用在IT设备上, 而制冷费用占到总供电的2/3, 因此, 设计合适的系统容量、构建合理的静压系统、制定优化的运行方式是提高制冷效率的关键。

2.4虚拟化技术及管理软件深化了节能技术。

图表4描述了中国数据中心虚拟化发展路线图及通常的系统构架, 若云计算数据中心需要达到节约能耗的目的, 需要采用先进的技术和合理的方式, 可以通过以下三个方面来实现:

(1) 虚拟化技术:通过软件实现硬件“绿色节能”的一种有效手段。虚拟化技术是合并多台低端使用率比较低的IT设备到一台或少量的几台高端IT设备上运行。虚拟化可以提高系统适应性, 提高IT设备的有效利用率, 同时降低设备的使用能耗。

(2) 电源管理软件:IT设备的处理器都有的电源节流装置, 可采用电源管理软件设置管理策略控制电源损耗, 还可对设备进行监测、统计、控制电源消耗状况。

(3) 动环监控软件:环境设备监控软件具有对环境及空调设备、电气设备照明设备等进行显示、记录、计量、控制、报警、趋势分析和提示功能。

2.5优化气流组织, 建立合理的气流遏制系统

图表5的布局是数据中心服务器机架和其它计算设备的布局设计, 冷热通道的构建旨在通过气流管理来节约能源和降低冷却成本, 有效管理冷热通道在云计算数据中心的节能之路中显得尤其重要;气流遏制系统的采用能较好地控制和管理冷热通道的气流, 主要体现在以下几个方面:气流组织高效运行、降低空调运行能耗、实现精确送风。

2.6建筑节能技术在云计算数据中心的应用。数据中心由于其自身特点, 在一个建筑中无疑是一个“能耗大户”。在《公共建筑节能设计标准》GB50189-2005中是以建筑围护结构、采暖通风空调和照明用能消耗为三个主要方面来考虑建筑节能的途径与措施, 空气调节系统的室内 (一般房间) 计算参数为, 冬季:温度20℃;风速0.10≤v≤0.20m/s;相对湿度30%~65%。夏季:温度25℃;风速0.15≤v≤0.30 m/s;相对湿度40%~65%。而对于建筑物内的数据中心, 其机房区域的环境温度和湿度是基于设备环境要求和机房设计标准的, 也就是通常需要在符合《公共建筑节能设计标准》的前提下, 加强对数据中心的机房区域进行建筑热工复合计算和设计处理;主要采用通过建筑外形设计、围护结构的节能、暖通空调系统节能控制和太阳能一体化建筑技术来有效实现数据中心绿色节能目的。

三、结论

构建社会主义和谐社会, 必走循环经济之路, 云计算数据中心的建设和发展需要沿着循环经济的步伐节能减排, 云计算计算数据中心的能耗控制与节约是一个涉及多因素、多层面的复杂问题, 节能降耗是构建绿色云计算计算数据中心的关键所在;要想实现节能降耗的目标, 首先需要逐步采用新能源、虚拟技术的使用、更新的技术和设备、优化科学的数据中心布局、精细化管理, 然后从细微之处入手, 不断挖掘节能降耗的潜力, 通过综合治理, 达到云计算数据中心的绿色节能。

参考文献

[1]邓维, 刘方明, 金海, 等.云计算计算数据中心的新能源应用:研究现状与趋势[J].计算机学报, 2013, 36 (3) .

[2]余侃.云计算计算时代的数据中心建设与发展[J].通讯信息, 2011 (6) .

[3]蔡港.企业绿色数据中心的标准与技术探讨[J].计算机安全, 2010, 12.

[4]谢卫刚.实现节能的数据中心[J].智能建筑与城市信息, 2010.

数据中心建设加速云计算产业受益 篇10

据工信部网站显示, 工信部、发改委、国土资源部、电监会、能源局五部委近日联合发布《数据中心建设布局指导意见》, 加速我国数据中心, 特别是大型数据中心的合理布局和健康发展。

《指导意见》要求, 数据中心建设和布局要遵照市场需求导向、资源环境优先、区域统筹协调、多方要素兼顾和发展与安全并重等原则;新建超大型、大型数据中心, 要重点考虑气候环境、能源供给等要素;新建中小型数据中心, 要重点考虑市场需求、能源供给等要素;已建数据中心, 鼓励企业利用云计算、绿色节能等先进技术进行整合、改造和升级。

【本文献信息】 杨晓宇, 陈鸿昶, 克兢, 等.编码辅助信噪比估计算法的性能分析[J].电视技术, 2013, 37 (3) .

新一代云计算数据中心 篇11

【关键词】云计算 数据中心 并行处理

【中图分类号】 G 【文献标识码】A

【文章编号】0450-9889（2014）08C-0062-02

随着信息技术爆炸性发展与应用，高校在信息化建设过程中投入巨大的人力物力，但资源利用率持续低下，传统的数据中心无法满足高校发展的战略目标、教学科研的需求。云计算是一种基于互联网整合软硬件资源和信息，实现按需分配的数据中心模式，虚拟化是云计算影响下的新兴技术，使数据中心已成为数据分布、业务支撑的枢纽，数据中心软硬件资源整合引起了国内外高校的普遍重视。因此，本文结合实际情况，对基于云计算的数据校园的数据中心建设进行分析、探讨。

一、数据校园云计算架构设计

数据校园云计算架构依托互联网，将所有的服务器、网络、存储等资源集中起来，通过云计算的虚拟化把整合了的资源变成一个资源池，根据业务服务需要自动调配或人工分配获取资源。由于资源池集成所有资源，面对日益增长的病毒攻击等安全威胁，必须建立安全机制确保整个架构的安全。如图1中数据中心与计算控制中心就是依托网络系统，监控网络资源使用状况，确保架构正常的运行。

图1 数据校园云计算架构

从图1可以看出，客户端向云端发出请求，云端根据用户的请求，通过计算控制中心分析，采用虚拟化技术将软硬件资源统一分配给用户，实现按需分配。由于校园云计算架构连接互联网，防火墙必须隔离网络安全威胁，如网络病毒、漏洞入侵、内部泄漏、网络攻击，除此之外仍需要使用防病毒软件、入侵检测、抗分布式拒绝服务攻击（DDoS）等技术去实现对云计算架构的保护。

计算控制中心对整个架构的安全起着重要的作用，对于用户申请的资源，计算控制中心采用人为和机器双重控制机制进行检查，合格的资源才可以进入云计算互联网交付给用户，满足用户需求。计算控制中心对资源的安全系数分三个级别，Top级别是该级别的资源完全符合所有安全标准，由机器分配给用户；Mid级别由专业的网络管理员决定分配给用户，同时管理员还监控已分配的资源运行状况是否良好，Low级别就是完全不达标，不允许进入云计算网络。

数据备份中心是负责整个网络所有数据的备份与恢复，信息系统所承载的各类业务数据是非常重要的，备份数据是容灾的基础，迅速恢复应用系统的数据、环境，立即恢复应用系统的运行，保证系统的可用性、安全性。

二、数据中心结构

数据中心包含存储、计算、实时存储与计算等系统。存储系统存在两个需求，一是需要大量非关系型数据表存储各种数据；二是根据不同的访问模式设计和优化存储系统。计算系统需求跟任务类型有关，数据密集型对CPU和I/O需求均衡，通信密集型需CPU密集计算。实时存储与计算系统则需要基于内存构造，在分布式数据结构的基础上，加入流式数据处理和触发式事件处理。

（一）数据中心设计

数据中心结构如图2，服务需求规模巨大，业务需求的变化异常频繁，根据实际需求，数据中心设计原则如下三方面：

一是延迟与吞吐、公平与效率的折中考虑。

二是架构由层次化向竖井式演进，系统由需求驱动而定制。

三是由于规模与复杂度增大，允许故障和Bug共存，数据已成为系统的一部分，评价指标也由正确性向精确度转变。

图2 数据中心结构

根据业务需求状况，大概分为数据密集型、通信密集型和计算机密集型三种类型，数据密集型的代表是MapReduce，对资源的需求比较均衡，计算密集型任务与通信密集型访问数据的规模不同，若规模较小，则为计算模型，若访问为大数据量，则内存限制这些数据必须存放在多台机器上，通过通信模型协调多台机器协同工作。

（二）资源分配管理

资源分配是云计算的重要组成部分，其效率直接影响云计算环境的工作性能。云计算采用成熟的虚拟化技术，将主机的m个异构可用的资源分配给n个相互独立的应用任务，在分配资源过程中以优化任务和资源为原则进行映射。

从应用需求到资源参数的映射，云计算下的资源调度问题就转化为两个阶段的问题：第一个阶段是从云计算的资源池中选择能满足应用需求的主机集合；第二个阶段是从主机集合中选取最符合应用期望的主机，并进行虚拟机的创建。

第一个阶段的选择较为简单。由于在物理机上创建的虚拟机性能无法超过宿主物理机，因此只要根据应用所需的资源对主机进行筛选就可以得到候选的满足应用需求的主机集合。

第二个阶段的选择相对复杂。当前候选主机的集合为Mi，构建一个匹配函数，在这些主机中选择最合适的一台分配虚拟机。在候选主机集合中选取主机的策略有很多种，对应的匹配函数也有很多种，取应用性能倾向期望和主机权重资源矢量的欧拉距离作为距离最小的。

为了更好的优化数据中心资源分配，应用程序应具有自动化、弹性化和松耦合性的特点。

自动化：自动化可以赋予用户对平台的资源配置任务进行全面统筹的能力，并实现对资源的动态分配以提高管理效率、减少人为错误并加快用户对资源请求的响应速度。应用程序在设计的时候要能充分利用云计算环境的自动化特性，从而使得应用程序可以在很少或没有人工干预的情况下，自动适应需求的变化。

弹性化：云计算的资源分配可以根据应用访问具体情况进行动态的调整，云计算对于非恒定需求的应用，资源的扩展方式可以分为两大类：一类是事先可以预测的；另一类是完全基于某种规则实时动态调整的，都要求云计算平台提供弹性的服务。

松耦合性：系统架构要求应用程序在设计过程中要考虑松耦合度，耦合度越低灵活性越高，就可以很好的把资源从硬件束缚中解放出来，从而使得资源的动态分配成为可能。

三、安全分析

由于云计算高度集中信息资源，导致安全事故的后果与风险远远超出传统应用系统，在云计算架构下主要面临的安全问题如下：

虚拟机安全问题：攻击者突破虚拟机管理器，获取系统管理权限，且控制宿主机上运行的其他虚拟机，使得攻击者可以很轻松地读取虚拟机网络上所有的明文传输信息。

数据安全问题：包括存储数据安全、剩余数据安全、传输数据安全等三方面，存储数据安全问题在于不同用户的数据存储在服务器上且共享存储资源，系统内部人员非法访问用户的数据导致泄漏或由于软硬件故障、电力中断、自然灾害等造成的数据丢失。剩余数据安全问题在于用户退租磁盘时管理员仅仅做简单的删除文件，当磁盘重新租给其他租户时，可能会被恶意租户恢复之前用户的数据，导致之前的用户数据泄漏。传输数据安全问题在于数据在传输过程中被窃取或篡改，导致数据泄露。

信息内容安全问题：由于信息与其发布载体动态绑定，难以确定服务器的物理位置，导致难以对不良信息进行溯源，同时现有设备处理能力对超大规模数据流量的审查很困难。

针对以上云计算存在的几个安全问题，经过理论联系实际情况，采取如下应对手段：

针对虚拟机安全：采用虚拟化在线对虚拟机进行管理和监控，采用信息包过滤系统实现虚拟机的隔离，对于虚拟机的迁移后及时销毁原有物理磁盘和内存数据。

针对数据安全：以信息标识和处置的控制要求为起点，对存储数据和传输数据进行加密，在资源回收时，使用技术对每一个逻辑卷进行零覆写，保证磁盘交付给下一个用户使用时不能回复原始数据；对于所有人员登陆系统必须采取动态和负责口令，并且对用户的权限进行实时的审计。

总之，随着云计算和其他技术迅猛发展，数据中心技术必须克服即将出现的所有挑战，数据中心基础设施也需要不停迭代，数据中心优化的四个关键要素分别是：人员、资源、技术和环境。每个要素通过关键指标反映运行维护服务的条件和能力，将业务导向放在首位，就是对人员、资源、技术和过程这四个关键要素的提升，从而有效实现云计算运维管理的改进。

【参考文献】

[1]王鹏.云计算的关键技术与应用实例[M].北京：北京人民邮电出版社，2010

[2]房秉毅，张云勇，程莹，徐雷.云计算国内外发展现状分析[J].电信科学，2010（8）

【基金项目】2012年度广西高等学校立项科研项目（201204LX569）

【作者简介】苏树鹏（1980- ），男，广西南宁人，壮族，硕士，广西机电职业技术学院讲师，工程师，研究方向：软件设计，云计算，计算机教育。

（责编 丁 梦）

三、安全分析

由于云计算高度集中信息资源，导致安全事故的后果与风险远远超出传统应用系统，在云计算架构下主要面临的安全问题如下：

虚拟机安全问题：攻击者突破虚拟机管理器，获取系统管理权限，且控制宿主机上运行的其他虚拟机，使得攻击者可以很轻松地读取虚拟机网络上所有的明文传输信息。

数据安全问题：包括存储数据安全、剩余数据安全、传输数据安全等三方面，存储数据安全问题在于不同用户的数据存储在服务器上且共享存储资源，系统内部人员非法访问用户的数据导致泄漏或由于软硬件故障、电力中断、自然灾害等造成的数据丢失。剩余数据安全问题在于用户退租磁盘时管理员仅仅做简单的删除文件，当磁盘重新租给其他租户时，可能会被恶意租户恢复之前用户的数据，导致之前的用户数据泄漏。传输数据安全问题在于数据在传输过程中被窃取或篡改，导致数据泄露。

信息内容安全问题：由于信息与其发布载体动态绑定，难以确定服务器的物理位置，导致难以对不良信息进行溯源，同时现有设备处理能力对超大规模数据流量的审查很困难。

针对以上云计算存在的几个安全问题，经过理论联系实际情况，采取如下应对手段：

针对虚拟机安全：采用虚拟化在线对虚拟机进行管理和监控，采用信息包过滤系统实现虚拟机的隔离，对于虚拟机的迁移后及时销毁原有物理磁盘和内存数据。

针对数据安全：以信息标识和处置的控制要求为起点，对存储数据和传输数据进行加密，在资源回收时，使用技术对每一个逻辑卷进行零覆写，保证磁盘交付给下一个用户使用时不能回复原始数据；对于所有人员登陆系统必须采取动态和负责口令，并且对用户的权限进行实时的审计。

总之，随着云计算和其他技术迅猛发展，数据中心技术必须克服即将出现的所有挑战，数据中心基础设施也需要不停迭代，数据中心优化的四个关键要素分别是：人员、资源、技术和环境。每个要素通过关键指标反映运行维护服务的条件和能力，将业务导向放在首位，就是对人员、资源、技术和过程这四个关键要素的提升，从而有效实现云计算运维管理的改进。

【参考文献】

[1]王鹏.云计算的关键技术与应用实例[M].北京：北京人民邮电出版社，2010

[2]房秉毅，张云勇，程莹，徐雷.云计算国内外发展现状分析[J].电信科学，2010（8）

【基金项目】2012年度广西高等学校立项科研项目（201204LX569）

【作者简介】苏树鹏（1980- ），男，广西南宁人，壮族，硕士，广西机电职业技术学院讲师，工程师，研究方向：软件设计，云计算，计算机教育。

（责编 丁 梦）

三、安全分析

由于云计算高度集中信息资源，导致安全事故的后果与风险远远超出传统应用系统，在云计算架构下主要面临的安全问题如下：

虚拟机安全问题：攻击者突破虚拟机管理器，获取系统管理权限，且控制宿主机上运行的其他虚拟机，使得攻击者可以很轻松地读取虚拟机网络上所有的明文传输信息。

数据安全问题：包括存储数据安全、剩余数据安全、传输数据安全等三方面，存储数据安全问题在于不同用户的数据存储在服务器上且共享存储资源，系统内部人员非法访问用户的数据导致泄漏或由于软硬件故障、电力中断、自然灾害等造成的数据丢失。剩余数据安全问题在于用户退租磁盘时管理员仅仅做简单的删除文件，当磁盘重新租给其他租户时，可能会被恶意租户恢复之前用户的数据，导致之前的用户数据泄漏。传输数据安全问题在于数据在传输过程中被窃取或篡改，导致数据泄露。

信息内容安全问题：由于信息与其发布载体动态绑定，难以确定服务器的物理位置，导致难以对不良信息进行溯源，同时现有设备处理能力对超大规模数据流量的审查很困难。

针对以上云计算存在的几个安全问题，经过理论联系实际情况，采取如下应对手段：

针对虚拟机安全：采用虚拟化在线对虚拟机进行管理和监控，采用信息包过滤系统实现虚拟机的隔离，对于虚拟机的迁移后及时销毁原有物理磁盘和内存数据。

针对数据安全：以信息标识和处置的控制要求为起点，对存储数据和传输数据进行加密，在资源回收时，使用技术对每一个逻辑卷进行零覆写，保证磁盘交付给下一个用户使用时不能回复原始数据；对于所有人员登陆系统必须采取动态和负责口令，并且对用户的权限进行实时的审计。

总之，随着云计算和其他技术迅猛发展，数据中心技术必须克服即将出现的所有挑战，数据中心基础设施也需要不停迭代，数据中心优化的四个关键要素分别是：人员、资源、技术和环境。每个要素通过关键指标反映运行维护服务的条件和能力，将业务导向放在首位，就是对人员、资源、技术和过程这四个关键要素的提升，从而有效实现云计算运维管理的改进。

【参考文献】

[1]王鹏.云计算的关键技术与应用实例[M].北京：北京人民邮电出版社，2010

[2]房秉毅，张云勇，程莹，徐雷.云计算国内外发展现状分析[J].电信科学，2010（8）

【基金项目】2012年度广西高等学校立项科研项目（201204LX569）

【作者简介】苏树鹏（1980- ），男，广西南宁人，壮族，硕士，广西机电职业技术学院讲师，工程师，研究方向：软件设计，云计算，计算机教育。

云计算和云数据管理技术 篇12

1 云计算

随着分布式处理和网格计算的不断发展, 衍生出了云计算技术, 这种技术的出现也可以说是相关计算机技术发展的必然产物。这种技术的应用使得计算机的科学概念得到了补充和更新, 使得推动了计算机的发展和进步。

所谓的云计算, 主要是将计算均匀的分布在为数众多的分布式计算机上, 而这些分布式计算机并不包括本地计算机以及远程服务器, 这些计算的分布使得企业的数据中心在运行上与互联网具有一定的相似性, 而这一相似性, 使得企业可以利用互联网将所需要的信息切换到相应的应用上, 这样就可以实现随时访问的目的。企业在需要访问的时候, 可以通过计算机来访问所需求的信息, 并且能够对存储系统实现有效的访问, 这对于企业及时、有效的获取信息具有积极的帮助意义。

云计算技术的出现, 可以说是科学技术中的一场变革性的举措, 这种技术的出现, 象征着计算机也可以作为一种商品进行市场的流通, 这种商品具有取用便利以及费用低廉的特征, 但是其流通需要一定的条件, 只有在互联网环境中, 这种商品形式才可以实现流通和传输。

最近几年来, 无论是国外的企业, 还是国内的企业, 都开始注重对云计算技术的应用, 这种计算在目前的企业发展中得到了极大的开发, 很多的企业推出了相应的业务和产品, 而企业所研发出的相应的云计算产品在目前的市场上已经开始投入使用, 但是就云计算技术发展的现状来看, 由于云计算技术还处于发展的初级阶段, 因此与其相关的各项技术也并不是很完善, 还需要进一步的发展, 方能够推动云计算相关产品性能以及质量的有效提高。

2 云数据管理技术

云计算技术, 是由于计算机数据信息的大量出现, 而被研发出来对海量的数据信息继续拧处理和分布的, 而随着数据信息量的增加, 这就为信息的查找带来了极大的困难, 面对这一问题, 就需要采取有效的措施进行解决, 以保障数据信息的利用率。随着云计算技术的发展, 衍生出了云数据管理技术, 这项技术的应用能够实现对数据信息的高效管理, 使得数据信息可以得到有效的分布和整理, 在取用数据信息时, 可以快速方便的获取相关的数据信息, 从而提高了数据信息的利用率。而就目前的云数据管理技术而言, 主要包括的技术类型为:GFS技术以及Dynamo数据管理技术等。

2.1云数据管理数据特点。首先是海量性。互联网在人们生活中所占的比重越来越大, 在互联不断发展的今天, 各种应用程度也开始大量出现, 而随着应用程序的增加, 使得数据信息的数量呈现直线上升, 在数据信息量增多的同时, 如何对已经出现的数据信息进行有效的分布和管理, 是目前数据信息管理者急需探讨的问题。就我国目前的相关计算机技术和方法对于海量的数据信息无法形成有效的保存和管理, 计算机技术需要进一步的改进才能够保障海量数据信息可以得到高效的管理和保存, 云数据管理技术的提出就很好的解决了这一问题, 并且随着这项技术的出现, 海量数据信息不仅得到了高效的管理和保存, 同时还使得数据信息的提取变得更加的方便和快捷, 使得数据信息的利用率得到了极大的提升。

其次是异构性。在云计算各种各样的应用中, 不同领域不同行业在数据获取阶段所采用的设备, 手段和方式都千差万别, 取得的数据在数据形态、数据结构上也各不相同。数据的多源性导致数据有不同的分类, 不同的分类具有不同的数据格式, 最终导致结构化数据、半结构化数据、非结构化数据并存, 造成了数据资源的异构性。

2.2 GFS技术。GFS是一个大型的分布式文件系统。它为Google云计算提供海量存储, 并且与Chubby, Map Reduce以及Big Table等技术结合十分紧密, 形成Google的云计算解决方案。GFS将整个系统的节点分为3类角色:Client、Master和Chunk Server。

客户端在访问GFS时, 首先访问Master节点, 获取将要与之进行交互的Chunk Server信息, 然后直接访问这些Chunk Server完成数据存取。GFS的这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流, 而无数据流, 这样就极大地降低了Master的负载, 使之不成为系统性能的一个瓶颈。Client与Chunk Server之间直接传输数据流, 同时由于文件被分成多个Chunk进行分布式存储, Client可以同时访问多个Chunk Server, 从而使得整个系统高度并行, 系统整体性能得到提高。

2.3 Dynamo技术。Dynamo是一个高可用, 专有的键值结构化存储系统, 或分布式存储系统。它同时具有数据库和分布式Hash表的特征, 并不直接暴露在外网, 而是为Amazon Web Services提供底层支持。

Dynamo的主要优点是, 它提供了使用3个参数 (N, R, w) , 根据自己的需要来调整它们的实例。Dynamo支持对对象的不同版本进行记录和处理, 并且可以将不同版本提供给应用, 供应用自己更灵活地进行合并。

3 数据管理技术分析

3.1数据组织与管理:采用分布式的存储技术可用于大型类、分布式类、对大量数据进行访问的应用。它运行于各种类似的普通硬件上, 提供容错功能, 为用户提供高可靠、高并发和高性能的数据并行存取访问。

3.2数据集成与管理:针对数据的非确定性、分布异构性、海量、动态变化等特点, 采用分布式数据管理技术, 通过采用Bigtabe, Hbase等分布式数据库技术对大数据集进行处理、分析, 向用户提供高效的服务。

3.3分布式并行处理:为了高效地利用在分布式环境下的数据挖掘和处理, 采用基于云计算的并行编程模式。

结束语

云计算具有广阔的应用前景, 云计算的数据具有海量、异构的特点。面对云计算的云数据管理面临着巨大的机遇和挑战, 本文提出采用数据组织与管理、数据集成与管理、分布式并行处理和数据分析的云数据管理方式也是未来面向云计算数据管理的主要方向。

参考文献

[1]周傲英, 金澈清, 王国仁等.不确定性数据管理技术研究综述[J].计算机学报, 2009, 32 (1) :1-16.

[2]吴吉义, 傅建庆, 张明西等.云数据管理研究综述[J].电信科学, 2010 (5) :34.

[3]王青峰.云计算及云数据管理技术研究初探[J].计算机光盘软件与应用, 2013 (4) .