云计算及其架构技术（通用12篇）
云计算及其架构技术 篇1
目前“云计算”的定义有很多,对于到底什么是云计算,至少可以找到100种解释。云计算技术可以把大量零散的低运算能力单元集中起来,形成强大的运算能力,甚至可以达到每秒10万亿次的运算水平,如此强大的计算能力可以用来模拟核爆炸、预测气候变化和市场发展趋势。从易用性的角度,用户无需了解云计算内部的实现原理和方式,可以通过台式机、 笔记本、手机等方式直接接入数据中心,由数据中心提供所需的运算、存储等资源。
1云计算架构
目前大家比较公认的云计算架构主要划分为基础设施层 (Iaa S)、平台层(Paa S)和软件服务层(Saa S)三个层次,如下图1所示:
Iaa S(Infrastructure as a Service)是基础设施层,主要包括服务器、网络通信设备、存储设备等,可以根据用户需求提供计算能力、存储能力或网络能力等IT基础设施类服务,也就是能在基础设施层面提供的服务。今天IIaaaa SS能够得到推广使用得益于虚拟化技术的发展、成熟,利用虚拟化技术能够将各种计算设备统一虚拟化为虚拟资源池中的计算资源,将存储设备统一虚拟化为虚拟资源池中的存储资源,将网络设备统一虚拟化为虚拟资源池中的网络资源。当用户订购这些资源时,数据中心管理者直接将订购的份额打包提供给用户,对外提供基础设施服务。
Paa S(Platform as a Service)平台即服务,如果以传统计算机架构中“硬件+操作系统/开发工具+应用软件”的观点来看待, 那么云计算的平台层应该提供类似操作系统和开发工具的功能。实际上也的确如此,Paa S定位于通过互联网为用户提供一整套开发、运行和运营应用软件的支撑平台。微软公司的Win-dows Azure和谷歌公司的GAE,可以算是目前Paa S平台中最为知名的两个产品了。
Saa S(Software as a Service)软件即服务,是利用互联网就可以提供软件服务的一种应用模式。在该模式下,用户无需将大量资金用于软件、硬件以及开发团队建设,只需支付一定费用, 就能够通过网络享受到相应的软件服务,而且整个系统的维护也由厂商负责。
2云计算技术研究
2.1虚拟化技术
虚拟化,能够将一台计算机虚拟成多台独立的逻辑计算机,每台逻辑计算机可以运行不同的操作系统,运行在不同逻辑计算机上的应用程序之间互不影响,可以显著提高计算机的利用效率。虚拟化可以通过多种方法实现,下面就目前主流的方法进行介绍:
1)完全虚拟,是指在虚拟服务器与底层硬件之间搭建一个抽象层hypervisor,hypervisor可以用来捕捉CPU指令,为指令访问硬件控制器和外设充当中介。因此,通过完全虚拟化技术可以在虚拟服务器上安装任何操作系统,每个虚拟服务器都像是一台独立的物理服务器。完全虚拟的优点是兼容各个版本的操作系统,兼容性、通用性比较好,缺点是抽象层会占用一定的硬件资源,会带来额外的资源开销。
2)准虚拟,完全虚拟化的特点是处理器密集型,因为它是通过抽象层来管理每一个虚拟服务器,并让虚拟服务器之间彼此独立。减轻这种负担的一种方式就是,改变客户操作系统, 让它以为自己运行在虚拟环境下,能够与抽象层协同工作。准虚拟化的优点是性能高,通过准虚拟化处理过的服务器可与抽象层协同工作,其响应能力几乎可以等同于未经过虚拟化处理的服务器。
3)系统虚拟,是指在操作系统层面增加虚拟服务器功能, 与完全虚拟化和准虚拟化相比,系统虚拟没有抽象层,由主机操作系统自身负责在多个虚拟服务器之间分配硬件资源。另一个区别是,如果使用操作系统层虚拟化技术,所有虚拟服务器只能运行同一操作系统(但是每个实例可以有自己的应用程序和用户账户)。操作系统层虚拟化具有灵活性较差的缺点, 但是本机速度性能比较高。另外,由于所有虚拟服务器都使用单一、标准的操作系统,所以与异构环境相比要更容易管理一些。
2.2分布式并行架构技术
随着科学的发展,我们需要解决越来越多非常复杂的问题,这些问题通常需要相当大的计算能力才能解决,有很多都是跨学科的、富有挑战性的,且是人类亟待解决的问题,比如:
1 )解决复杂的数学难题,如: GIMPS (寻找最大梅森素数);
2 )寻找更安全的密码系统,如: RC-72 (密码破解);
3)生物病理研究,例如:研究蛋白质折叠、误解、聚合及由此引起的相关疾病;
4)各类疾病药物研究,如:United Devices(寻找治疗癌症的药物);
5)信号处理,如:SETI@Home(在家寻找地外文明)等。
从上述实例可以看出,有些项目规模非常庞大,需要很大计算量,单纯靠一台电脑在一个能让人接受的时间内完成计算是绝对不可能的。分布式计算可以把一个需要非常巨大计算能力才能解决的问题分解成许多小的组成部分,然后把这些分解后的任务分配给多个计算机进行处理,最后把这些计算机处理的结果综合起来得到最终结果。
3主流云计算框架
3.1 Hadoop
Hadoop是由Apache基金会开发的分布式系统基础架构。 Hadoop框架的核心是:HDFS和Map Reduce。HDFS为海量的数据提供存储服务,Map Reduce则为海量的数据提供计算服务。
HDFS(Hadoop分布式文件系统)被设计成适合运行在通用硬件上的分布式文件系统。其特点包括:
1)高容错性,整个HDFS系统可以由成百上千个存储着文件数据片断的服务器组成,每一台服务器都很可能出现故障, 当其中某个服务器出现故障时不会对整个文件系统造成影响, HDFS仍然可以对外提供数据访问服务。正是因为这一特性, HDFS非常适合部署在廉价的机器上。
2)高吞吐量数据访问,运行在HDFS上的应用程序必须通过流式访问数据,它不是运行在普通文件系统之上的普通程序。HDFS的设计适合批量处理,而非用户交互,重点是提高数据吞吐量,而不是数据访问的反应时间。
3)大数据集,典型的HDFS文件大小是GB或者TB级别。 因此HDFS在设计上支持大文件,应该有很高的聚合数据带宽, 一个HDFS集群可以支持数百个节点,支持千万级别的文件。
HDFS是一个的主从结构,一个HDFS集群包含一个名字节点,它是一个管理文件命名空间和调节客户端访问文件的主服务器,名字节点包含了每个文件的分割情况以及每个文件块的映射表信息,用于接收用户读写文件的请求。与名字节点不同,一个HDFS集群包含若干个数据节点,数据节点负责存储文件数据。HDFS的工作机制是在存储文件之前,将文件分割成块,除了最后一块以外,所有块的大小都相同,HDFS将文件块分布存储在不同数据节点,为了保证高容错性,防止由于数据节点故障或者网络故障等导致数据丢失或者无法访问,HDFS将文件块按照一定算法复制到多个数据节点。
Map Reduce是用于并行处理大数据集的软件框架。Ma-p Reduce的核心内容是函数性编程中的map函数和reduce函数,它通常由很多map实例和很多reduce实例组成。map函数对接收到的一组数据进行转换,输出一个键/值对列表,其输入域的每个元素也都是键/值对。reduce函数接收map函数生成的键/值对列表,然后以列表中的键作为唯一性标识,将具有相同键值的键值对进行合并、计算,最终缩小输入的键值对列表, 达到数据凝练、抽取的目的。
3.2 No SQL
No SQL(Not Only SQL)泛指非关系型数据库,随着Web2.0的发展,关系型数据库在应对大规模、高并发场景存在很多难以克服的问题,为了应对海量数据存储和访问带来的挑战, No SQL应运而生。与关系型数据库不同,No SQL数据库没有统一的架构,为了应对各种不同的场合、应用场景,市场上衍生出很多不同类型的No SQL数据库,比较主流的包括:Redis和Mon-go DB。
Redis是一个Key-Value存储数据库,它支持string、list、 set、zset、hash(哈希)等多种value类型。传统数据库将数据保存到硬盘,每次从硬盘获取数据效率不高。为了保证数据访问效率,Redis将数据缓存在内存中,然后将内存中的数据周期性的写入磁盘,此外还会将内存数据修改操作追加到磁盘记录文件,并且在此基础上实现了master-slave(主从)同步。
Mongo DB是基于分布式文件存储的、介于关系型和非关系型之间的数据库,它支持的数据结构非常松散,内部采用类似json的格式存储数据(Mongo DB称之为bson格式)。由于其性能很高,也可以作为系统架构中的缓存使用。此外Mongo DB具备高伸缩性,可以构建由数十、数百台服务器组成的数据库集群。
4结束语
云计算作为近几年IT行业讨论的热点话题,已经由最初的概念炒作,变为如今广泛应用的服务模式。本文主要从技术层面对云计算架构以及常用的云计算框架技术进行介绍,旨在剖析云计算服务构建过程中可能用到的技术,可以为企业构建公有云或者私有云提供技术参考。
云计算及其架构技术 篇2
当前，网络数据量、用户终端量的激增以及视频互动分享、设备协同、物联网等应用的蓬勃发展，使得市场和产业中需要全新的计算和服务模式。据权威数据统计：预计到2013年，全球互联网流量将达到每月56EB（1EB=1024PB=1024*1024TB），相当于每月在网络上交互128亿张DVD盘片中的内容。到那时，互联网数据中将有约91%的内容是基于视频的，每个人平均使用的终端数量将达到7个，意味着2013年全球用户设备将达到约500亿台。云计算的真正价值在于，它可以基于计算能力的虚拟化和资源调配的自动化，为用户提供虚拟的计算、存储和网络资源，提高设备利用率，保护客户资产投入，带给用户刚好的服务质量。
网络结构的变革
IT的传统角色一直是提供并管理基于技术的性能，即应用程序、数据库、网络、存储和服务器等集合资产。IT是在不同的技术领域通过项目需求开展的经过一个由计划，到创建，再到运行的生命周期。这是一个以交付为导向、以技术为中心的方法。在新一代云的环境下，IT必须重新改造，进入大规模变革阶段，从以技术为中心的架构转变为“以服务为中心”。所谓IT即服务，必须建立在一个动态配置的智能型数据中心基础之上。
传统的数据中心更多是技术的简单堆叠，数据中心建设由业务驱动，一段时间之后会发现，系统变得越来越庞大杂乱，运维管理越来越复杂，资源难以整合和动态调配，不仅导致资源利用率和系统应变能力都极低，而且资产利用率和创新效率也迟迟难以提升。在新一代数据中心中，所有的服务器、存储器，同时也包括网络等基础设施资源将通过虚拟化技术被池化，形成三大共享基础设施资源池：处理池、存储池以及网络池。共享资源池中的资源可按照每一应用系统的需求被初始化分配与快速部署。
在这样一种变革的驱动下，数据中心的网络结构必须经历新一轮的扁平化网络、融合式网络的结构调整，只有这样才能适应整体IT架构因为整合了尽可能多的基础设施而弹性化的需求，各个业务模块之间，IT部门与业务部门之间才能更好地相互协调、相互支撑，为业务的快速发展和创新提供更多的可能性空间，提升应变能力和生产力。
三层简化为两层 当前，互联网应用呈爆炸性增长，网络流量的分布模式已变得无法预测，用户数量呈指数曲线增长等等，网络环境已经发生巨变，激增的数据量对现有的网络结构和设备提出考验，快速增长的移动性给网络的可扩展性带来很大压力。同时，网络也变得非常复杂，这使得运营成本非常高。
经过多年的技术演变和业务发展，当前数据中心的网络基础架构通常都是采用树状结构，分为接入层、聚合层和核心层。在大多数情况下，数据流从接入层到聚合层再到核心层，然后再返回，层次越多不仅使用的设备会越多，延迟也会增加。网络中每一跳的代价都很高，而且会增加复杂性。由于这些操作的重复和重叠，无法得到想要的性能，也导致了安全性难以保障。
在传统网络中，是依靠不断添加机器来提升网络性能的，这种方法增加了数据中心的成本和复杂性。在大规模采用服务器虚拟化技术的新一代数据中心里，数据流量将主要集中在本地服务器之间的通信，如果能通过路由器和万兆以太网交换机帮助扁平化网络和简化现有数据中心网络，既可动态及同时支持更多的用户、服务以及带宽，提高性能，也可以帮助用户节省运营时间，减少数据中心网络资本性支出。
未来的数据中心的网络结构会越来越简单，它可能会由原来的三层变成两层，即核心层、边缘层两级架构：由核心层连接云计算数据中心服务器、存储与边缘层设备，执行各边缘层流量汇聚，以及高速数据转发。由于云计算对终端的要求必须尽可能简化，因此要求边缘层设备更加智能化、自动化、多业务融合，例如支持丰富网络接入方式，具备丰富的QoS策略、安全控制策略、应用流量控制、应用加速等业务处理能力。
技术趋势
云计算及其架构技术 篇3
摘 要 云计算技术是近期兴起的基础计算平台技术，我国电信业务运营商对云计算有着很大潜力需求，本文在对云计算技术和虚拟化技术研究和分析的基础上，提出了一种电信业务运营的云计算平台架构和虚拟化技术规划方案，实践证明了该方案的可行性。
关键词 电信业务运营商 云计算平台架构 虚拟化技术
1 引言
众所周之，云计算技术是近期兴起的基础计算平台技术，它是多种技术混合演进的结果，其成熟度较高，发展极为迅速。Amazon、Google、IBM、Microsoft、Yahoo和SUN等大公司都是国外云计算的先行者。在我国，云计算发展也非常迅猛，电信业务运营商对云计算有着很大潜力需求，因为运营商本身就是一个很巨大的信息制造者和信息处理者。每年都有大量的客户数据和为客户所准备的服务数据，需要的运算是巨大的，同时希望对这些用户进行深度挖掘，深度营销，需要大量的运算。这种运算如果用云计算来实现，可以大大提高速度[1]。本文在对云计算技术和虚拟化技术研究和分析的基础上，给出了电信业务运营的云计算平台架构和虚拟化技术规划方案。
2 云计算在电信业务中的优势分析
目前，电信业务运营商采用的大型系统大都采用小型机、磁盘阵列，商业数据库，中间件等，其不足之处是高性能、高价格，投资大，建设周期长，可扩展性差，无法适应全业务，低成本运营以及快速多变的互联网业务等新的竞争形式需要。而通过对小型机、磁盘阵列的部分替代可以明显降低运营成本。运营商如果能把电信业的服务透过云计算的方式提供给用户，则可以丰富全业务运营服务内容，满足客户信息服务资源的需求。即利用大规模分布式计算软件，将性价比最高的通用PC服务器和以太网交换机，组合成为超高性能的云计算平台，终端只要接入网络就能提供无边际的计算能力。
电信业务运营商采用云计算平台可以实现低成本运营。目前，Google所有的应用均构建于通用而简单的大规模云计算平台，其计算成本是竞争对手的1/100，存储成本为竞争对手的1/30。而电信业务运营商采用云计算平台可以使得计算成本降为原来的1/10，存储成本降为原来的1/3。并且可以利用发展互联网业务的后发优势进一步降低运营成本；电信业务运营商采用云计算平台可以实现高性能运营，使得性能与节点数量接近线性关系，即便在节点1/3失效的情况下，性能仍可接受，当节点2/3失效的情况下，系统仍可使用，常用的查询和处理任务一般在2至3秒内可以完成；电信业务运营商采用云计算平台可以具有高灵活性，一个平台上可以同时运行多个业务系统，可以按照业务需求快速地对系统进行扩容和调整，并可以在线增加节点；电信业务运营商适用于云计算技术应用的领域非常广泛。在互联网应用发面，如搜索引擎、即时消息、电子邮件以及海量存储等；在数据挖掘方面，如精确营销、经营分析、网络流量分析以及利用人工智能技术自动发现业务/网络内在规律等；在日志存储方面，如CMNET、GPRS用户上网日志等。
3 电信运营云计算平台架构
标准化接口适配层模块提供标准化接口，具备快速开发移植的能力，并且解决安全控制问题。大规模分布式文件系统式云计算的核心模块，也是当前的主流架构。系统管理模块全面支持各项管理功能，可实现电信级统一网管。DSMP（Data Service Management Platform）是数据业务的管理核心平台，完成数据业务的业务管理和控制功能。数据业务管理平台主要负责用户管理、业务管理和SP管理，并对外提供开放接口并为各个业务网关、SP提供代计费功能。该平台还应提供数据业务相关的各种统计、查询功能，例如用户统计、SP及业务统计、计费统计等；BOSS（Business & Operation Support System）属于运营支撑系统，负责业务受理、开销户、计费等；综合网管系统是对硬件设备进行管理的系统。DSMP、BOSS和综合网管系统三个系统构成了支撑域系统。
基于云计算的信令监测系统，可以对GPRS用户上网记录进行存储和挖掘，其成本优势在于仅需原成本的30%投资，其高性能体现在3秒钟便可返回查询结果，并且可以利用人工智能发掘网络质量、客户行为的潜在规律。
4 云计算平台中的虚拟化技术
虚拟化技术是适用于所有云架构的一种基础性设计技术。在云计算中，它主要指平台虚拟化。普通IT系统常见的突出问题有：设备利用率低，平均利用率仅有20%左右，耗能较为严重，年能耗约为每台5000元，维护成本高。虚拟化允许将服务器、存储设备和其他硬件视为一个资源池，而不是离散系统，这样可以根据需要来分配这些资源。采用虚拟化技术可以有效地降低全寿命成本，设备数量降低约70%，投资降低约60%，能耗降低约50%，设备平均利用率从20%提高到60%；同时，可以大幅简化工程维护操作，系统封装在镜像文件中，可以通过移动和复制这些文件的方式来移动和复制该虚拟机，维护变成简单文件操作，工程、维护时间可减少大约70%。本文提出电信业务运营商虚拟化技术规划方案为：
①.按照系统特点进行分层规划
②.确定各层次的标准化模版
③.在投资、性能、维护运行成本之间取得平衡
层次一：采用高性能PC服务器、光纤交换机、磁盘阵列，双机热备、具备高处理能力，可满足高负荷、高稳定性要求；层次二：采用刀片服务器，高密度、低功耗，可进行高密度虚拟机部署，可满足中小型应用系统及大规模虚拟桌面应用；层次三：PC服务器利旧，充分利用资源，用于旧系统整合及构建测试开发环境。
5 结束语
云计算时代智慧城市系统技术架构 篇4
关键词：智慧城市,现状,支撑技术,发展
0 引言
在信息技术迅猛发展的今天,物联网、大数据和云计算技术的广泛应用,使得“智慧城市”这种新型城市管理形态应运而生。智慧城市的理念一经提出即得到广泛的关注与认可,成为了目前最热门的研究课题之一,其市场前景巨大,社会影响深远,各国政府都很重视智慧城市建设,纷纷采取行动积极推动智慧城市建设[1]。智慧城市建设旨在解决城市快速发展过程中带来的社会管理、交通、环保、医疗等城市发展难题,是当今世界城市发展不可逆转的历史潮流。
1 智慧城市概念解读
目前对智慧城市的定义多种多样,IBM对智慧城市的定义是:运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息,从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应[1]。这个定义比较有代表性,其实质是利用先进的信息技术,实现城市智慧式管理和运行,进而为城市中的人创造更美好的生活,促进城市的和谐、可持续成长[1]。
2 智慧城市的国内外发展现状
2.1 智慧城市建设的国际实践
智慧城市建设具有国家的经济与科技战略意义,美、德、法、日、韩等国家的近二百个城市已经加入到智慧城市建设的队伍中来,美国政府将“智慧城市”视为与“信息高速公路”同等重要的国家战略,欧盟将信息和通信技术作为欧洲2020年的科技创新重点,提出了一整套智慧城市建设目标,并制定了《物联网战略研究路线图》[1]。在亚洲,日本、韩国、新加坡等国政府也都相继进行了智慧城市建设发展规划,并已经在教育培训、医疗卫生和电子政务等领域付诸实施。特别是,国际三大标准化组织ISO,IEC,ITU-T在2013年相继成立了智慧城市标准化研究工作组,标志着智慧城市建设工作的全面开展[1]。
2.2 智慧城市在我国的发展现状
目前,我国智慧城市发展步伐很快,很多城市都已经开始启动智慧城市建设,特别是“中国梦”的提出再次加速了智慧城市建设的步伐。据统计,“十二五”期间,中国有上百个城市着手打造“智慧城市”建设,其中包括几乎所有的一线城市以及一半左右的二线城市。2012年首批国家智慧城市试点名单包含90个城市。北京、上海、深圳、宁波、武汉等主要城市在智慧城市建设中成为了领跑者。2013年国家启动智慧城市技术和标准双试点工程。2014年8月,国务院印发了《关于促进智慧城市健康发展的指导意见》,从国家的高度对我国智慧城市发展的总体方向进行了规划,确保智慧城市建设健康有序推进。我国智慧城市建设已经进入规模推广阶段。
3 云计算时代智慧城市系统技术架构
智慧城市就是通过普遍的感知将生活中的物与物、物与人连接起来形成庞大物联网,进而通过云计算的方式对各种信息进行数据挖掘和融合,然后向城市居民提供智能化的服务,使得城市管理和服务更富有预见性、创造性、协作性,高效和科学。从技术角度来说,智慧城市总体体系架构应包括基础平台层、技术支撑层和智慧应用层三部分。如图1所示:
3.1 基础平台层
智慧城市应用的实现,离不开底层的ICT(Information Communications Technology)基础平台,需要打造泛在的信息交换网络、移动通信网络、公共服务平台和城市基础数据库。随着计算机技术和通信技术的发展,推进无线城市项目和宽带提速工程,实施下一代互联网,开展“三网融合”和网络基础设施共建共享,这一系列的举措必将打破许多智能应用和网络服务的瓶颈,促进信息资源的开发利用及深度整合,为智慧城市建设提供更坚实的软硬件基础保障。
3.2 技术支撑层
智慧应用和服务需要三个关键的技术支撑:高度发达的信息网络(物联网)、巨量的信息基础(大数据)和提供智慧服务的创新技术(云计算)。
3.2.1 物联网:信息产业发展的新变革
物联网就是“物物相连的互联网”,是互联网的应用拓展,通过二维码识读设备、射频识别(RFID)装置、红外感应器、全球定位系统和激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络[2]。物联网应用涉及到的关键技术有:传感器技术、RFID标签技术、嵌入式系统技术、M2M长距离通讯技术。
物联网体现了信息技术在城市生活诸多行业中的应用。如图2所示,物联网的工作原理就是把感应器安装到公路、电网、汽车、建筑等各种物体中,然后将这些设施“连接”到互联网上,那么上网的“人”就与连接到网的“物”整合成为一个整体,再通过强大的计算机集群,对城市生产和生活进行高效协同与精准管控,从而达到“智慧管理”的状态。基于此物联网也被称作继计算机、互联网和移动通信之后信息技术领域的又一次变革。
物联网的发展需要经历3个阶段:①初级阶段:以行业内部的数据交换和传输标准为基础,实现行业内的连网监测监控;②中级阶段:以局部统一的数据交换标准为基础,实现跨行业、跨业务的综合管理集成;③高级阶段:以物联网统一数据标准、SOA、Web Services、云计算虚拟服务为基础,实现“按需取用”产品和服务[3]。
我国从1999年就开始了物联网核心技术的研究,在“传感网”技术研发方面处于世界领先水平。2009年温总理提出“感知中国”战略以后,中国各级政府更是大力投资物联网,物联网产业蓬勃发展。
3.2.2 大数据:智慧城市的信息之源
无所不在的物联网在实现数据信息采集的同时,也催生了大数据[4]。大数据(big data),即巨量数据集合,是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合[5]。我国网民数量众多,每天产生的数据量也是极其庞大。几乎在各个行业都有大数据的存在,数据的单位从开始的Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量,其中文本、照片、音频、视频、医疗影像等非结构化内容超过85%。如何从这么庞大的数据中挖掘出有价值的信息才是研究的重点。
大数据技术包括大规模并行处理(MPP)数据库、自然语言理解、机器学习、数据挖掘、分布式文件系统、云计算平台和可扩展的存储系统等。通过这些技术对海量信息进行采集、分析、加工和管理,为智慧化应用提供数据源。图3是一个可参考的企业级大数据处理软件栈。其中Map Reduce作为一种简化的分布式编程模型,为云数据中心的大规模数据处理提供支撑;HBase是Hadoop团队开发的开源数据管理模块。
目前大数据管理多从架构和并行等方面考虑,解决高并发数据存取的性能要求及数据存储的横向扩展,但对非结构化数据的内容理解仍缺乏实质性的突破和进展,这是实现大数据资源化、知识化、普适化的核心[6]。
3.2.3 云计算:海量信息存储与计算平台
在物联网高级阶段,需要虚拟化云计算、SOA等技术的结合实现物联网泛在服务。而海量信息的管理和数据挖掘又离不开云平台的分布式计算和存储。三者的关系是密不可分的。
云计算是并行计算、分布式计算和网格计算的发展和商业实现,云计算以虚拟化为基础,通过集群化运维管理系统,实现计算、存储、网络、服务器等资源的动态分配及部署,实现“按需取用”产品和服务[7]。由于云计算将“计算能力”作为一种服务提供给广大用户,用户可以租用云平台的计算资源,方便又便宜,所以云计算的应用降低了用户软硬件部署以及系统维护的成本,提高了系统和业务的弹性。搜索引擎、在线字典、网络邮箱、数据仓库出租等是目前云计算的一些典型应用。
云计算技术发展的主线可以总结如下:①通过网格计算(包括分布式计算、并行计算、HPC等)体系架构提供网络、服务器和存储等硬件基础设施,即Iaa S;②通过中间件(包括SOA、Web Services、多租户、DRM、PFS、虚拟化等技术)提供可互操作的业务集成平台(Paa S)和在其上建立的应用软件(Saa S)[8]。云计算的三种主要服务模式如图4所示。
在国际上,Google、英特尔、微软、惠普和亚马逊等企业在“云计算”方面的研究和投入都是走在业界前列的。在国内,云计算企业的先锋是阿里巴巴。2009年9月创立的阿里云真正把“云计算”变成了可购买的公共服务。2014年11月,阿里云计算支撑了双十一促销活动571亿元的交易额。2015年1月,12306将车票查询业务部署在阿里云计算平台上,为春运高峰分流了75%的流量。另一朵“中国云”世纪互联将自身的云计算定位在基础设施即服务层面,即IAAS(Infrastructure as a Sevice)层面。此外还有中国移动的Big Cloud云平台。
3.3 智慧应用层
智慧应用层是智慧城市建设的最终目标。智慧应用层的建设内容包括智慧公共服务和智慧产业服务,具体包括智能物流、智能社区、数字医疗、数字校园、环境监测、智能安防等很多方面。我们生活中所熟悉的车联网、手机银行、网上挂号、城市应急指挥中心等应用都是智慧城市服务初级阶段的功能体现[1]。
3.4 信息安全与标准管理
信息安全与标准管理是智慧城市建设的保障体系。物联网和大数据应用给信息安全带来新挑战。加强智慧城市系统信息安全管理的主要措施有强化网络安全管理,推进信息安全等级保护制度,完善身份认证和系统授权,建立数据容灾备份中心等。标准规范体系是智慧城市实现泛在互联和信息交换的基础。加强相关标准规范建设,要面向重点业务领域,加快关键标准的制定和实施,以点带面,最终实现全面的技术、行业应用和服务标准化。只有形成技术创新、标准制定和知识产权协调互动机制,才能为智慧城市建设提供发展保障。
4 智慧城市未来发展展望
智慧城市的理念一经提出即得到广泛的关注与认可,但是现在距离智慧城市的终极目标还相差甚远,还有很长的一段路要走。从社会发展的视角,智慧城市建设强调通过价值创造和以人为本的协同创新,实现经济、社会、环境的全面可持续发展[9]。从技术发展的视角,无所不在的“物联网”催生了“大数据”,大数据处理产生了“云计算”需求,三者相辅相成,造就了智慧城市普适计算与融合应用的实现。随着信息技术的不断发展和普及,智慧城市建设逐步深入,将为经济发展带来新的增长点,为物联网、环保、城市服务等行业带来更多机会,也必将逐渐改变中国新一轮城市竞争格局。
参考文献
[1]乔宏章,付长军.“智慧城市”发展现状与思考[J].无线电通信技术,2014,40(6)
[2]郭任霞.物联网技术在物流行业的应用[J].科技资讯,2011,(24)
[3]单祥茹.物联网离我们有多远[J].中国电子商情:基础电子,2010,(5)
[4]熊枫.云计算时代的智慧城市建设研究[J].湖南科技大学学报(社会科学版),2015,18(4)
[5]陈欣.大数据技术及在国土资源信息化中的应用思考[J].中国电子商务,2014,(16)
[6]季敏霞,肖宇.浅谈大数据与云计算的关系及未来发展[J].黑龙江科技信息,2014,(31)
[7]孟庆伟.云计算技术及其电信应用[J].电信快报,2010,(7)
[8]周洪波.NIST的云计算定义[EB/OL].(2011-07-11)IT专家网,http://news.ctocio.com.cn/478/12116478.shtml
云计算及其架构技术 篇5
4.1云计算框架下网站群架构的安全性设计应用
中国科学院网站群的是建设在云计算基础上各种网站群架构的安全性设计应用的实例。中国科学院通过整合各级单位部门的绝大多数站，然后将其集群化在一个系统平台之上。但该站群建立难度、安全风险较大，中国科学院网站群主要是使用云计算模式构建的虚拟化群体构架，不仅降低了管理难度，并且能够保障群架安全性问题。
4.2中科院网站群架构安全性设计说明
首先，应用接口层到访问层的设计，使其能够有效提升云存储的安全性，并且要控制访问以及各种加密技术对云存储数据的有效保护，使其能够在网络传输中避免各种安全威胁问题；其次，要对基础层进行设计，在进行基础层管理的时候，可以使用分片器将存储的数据做分片处理，保障这些数据的完整性，这样一来，在对数据及西宁分片的时候，就不容易被窃取了，继而有效提升云存储数据的安全性；最后，就存储层设计来说，为了能够保障数据的安全性，就可以使用数据分散存储技术来满足用户的需求。因为随着存储系统容量不断增加云存储数据的可靠性与可用性，可以有效提升设备的存储利用效率以及其容错能力。
[参考文献]
[1]聂华.谈云计算的网站群架构和安全性设计与实践[J].电子世界.2013，（12）：18-18，32.
[2]田江丽，李攀，屈鹏举，等.云计算技术在网站群安全架构中的应用研究[J].赤峰学院学报（自然科学版）.2013，（14）：19-20.
★ 浅谈计算机应用与软件开发论文
★ 刍议云计算环境下的数据安全论文
★ 云计算智能输入法设计研究论文
★ 基于云计算的船舶装备维修保障数据中心设计论文
★ 互联网环境下烟草企业现代化管理应用论文
★ 网络环境下数据库及应用课程教学模式选择与实践论文
★ 会计电算化环境下的舞弊与对策论文
★ 动车作业设备管理设计与应用论文
★ 网站设计与手机应用设计的区别论文
云计算技术发展分析及其应用探讨 篇6
关键词：云计算技术；发展现状分析；应用探讨
中图分类号：TP3 文献标识码：A 文章编号：1007-9599 (2012) 10-0000-01
21世纪初期，云计算开始在我国逐渐兴起，但企业方面对此反映并不是多么强烈。到了2011年，各种技术和应用涉及的方面多了起来，网站或者业务系统所需要处理的业务量快速增长，云存储技术以它的快捷方便最先走入了我们的生活。各大公司相继推出了基于云存储技术的网络硬盘，云杀毒也成了最常遇到的名词，各种安全软件公司厂商和各种在线商城也开启了云存储的时代。
一、云计算
现有的研究成果对云、云计算的定义并没有达成共识，目前各大主流厂商的云计算理念也不一样，对云计算的理解不尽相同。云计算是一种新型的基于互联网的计算机技术，常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。它由分布的互联网基础设施，如网络设备、服务器、存储设备、安全设备等构成，几乎所有的数据和应用软件，都可存储在“云”里。而“云终端”，例如PC、手机、车载电子设备等，只需要拥有一个功能完备的浏览器，并安装一个简单的操作系统，通过网络接入“云”，就可以轻松使用云中的计算资源。它意味着计算能力也可作为一种商品通过互联网进行流通。有了云计算之后，用户不再需要部署计算能力很强的客户端，而是可以直接从“云”里(服务器端)获得计算能力，并按照使用情况付费。这种特性经常被比喻为像水电一样使用硬件资源，按需购买和使用。
二、云存储
“云存储”实际上是一个以数据存储和管理为核心的“云计算”系统。云存储是一个新的概念，它是在云计算(Cloud Computing)概念上延伸和发展出来的。云计算因能处理更大的数据量，将来会成为下一代的因特网计算和下一代的数据中心。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。大量的数据运算、存储和管理使得云计算系统需要配置大量的存储设备，这样云计算系统就转变成为一个云存储系统。所以说云存储实际是指通过集群应用、网格技术或分布式文件系统等功能，通过应用软件把网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
三、云存储未来发展趋势
云存储已经成为未来存储发展的一种趋势，现在，各种厂商正在把各类搜索、应用技术和云存储结合起来，给企业提供一系列更好更安全的数据服务。未来云存储的发展趋势，主要还是要从安全性、便携性及兼容性等角度进行发展。
（一）云存储的安全性
到目前为止，安全问题是大多潜在的云存储用户所关心的问题。
传统的计算机用户习惯于在本机上运行安装软件，随着掌上电脑、智能手机等用户的增多，为“云”的发展带来了机遇。但是云服务的发展是基于可靠、高速的网络，所以，基础网络建设的发展，广泛覆盖的无线网络以及良好的服务都给“云”技术的发展带来了无限商机。既安全又随意的存储空间是个人用户对云存储的基本要求，但是随意的同时会带来不安全性，一个是在网络上提供云存储或云计算资源的连接性缺乏控制。由于用户担心自己传送的数据可能被截取或更改，所以目前消费者还不是很放心把自己的隐私及重要文件交给去端保存。关于用户的一些敏感的信息如帐户名、密码都应该被保护，这作为一种安全问题的去服务，一般由Email和CRM主应用程序提供。现在云存储还主要是集中在一些较大文件的传输、资料共享、还有普通图片跟音乐文件的收藏。
（二）云存储的便携性
数据的便携性也是一些用户在托管存储的时候是要考虑的问题。这基本上是有保证的，现在有不少大型服务提供商承诺所提供的解决方案在数据便携性方面可与最好的传统本地存储媲美。建立私有云或VPN，是目前一些企业用户对云存储的需求，特别是对于一些大型項目设计的公司，它们需要分支机构共同进行，云存储除了可以作为云计算应用提供存储资源平台，还可以用于集中管理数字资产，更可以保障不同站点间数据的一致性以便更好的完成协同工作。云存储的便携功能可以帮各种用户将整个数据集传送到他所选择的任何媒介，甚至是专门的存储设备。
（三）云存储的兼容性
对于企业来说，一个很关键的问题是怎样才能把现有业务系统可靠地迁移到云平台，特别是在发展中的企业，很小的错误，就有可能造成难以承受的经济损失，因为它们对错误的耐受力有限。由于不同云服务商提供的接口不同，架构也不同，所以会产生兼容性问题。云与云之间的通信问题，也须要得到很好的解决。
另外在许多云计算中大部分磁盘介质采用处于典型ILM方案中的最低层存储，这样就没法把数据往更底层迁移，使得传统的ILM并没有部署到市场上的大多数云计算平台中。 所有这些都要求现在的云计算平台的部署能够有远见地采用合适的存储产品。在实际使用当中，部署了Compellent的用户往往发现后续的扩容往往也只需要扩容最低层的成本最低的存储介质，而它所提供的整体性能是传统云计算平台不能相比的。
目前，云计算还处于起步阶段，尽管它的存储技术在网络传输数据时还有各种各样的问题，但它将改变用户对计算资源的使用方式，使得用户从以桌面为核心转向以Web为核心。移动终端的飞速发展，使得线上购物、软件商城、网盘存储、空间以及微博等都成为我们身边必不可少的应用，而这些应用通过目前先进的云存储技术能够有效提高效率，最大程度上简化企业管理同时减少宕机事件的发生，为不断拓宽的应用插上飞速发展的翅膀。随着云计算的发展，将会有更多的平台和服务类型出现，并推动云计算及其应用的发展。
参考文献：
[1]苑立娟,汪涛.云计算综述及其我国发展现状[J].才智,2011,07
[2]卢丽.云计算技术的产业现状与挑战性问题[J].硅谷,2011,16
云计算及其架构技术 篇7
云计算已成为IT业界最热门的研究方向之一,几乎所有的主流IT厂商都在开展相关研究,既包括硬件厂商、软件开发商,也包括互联网服务提供商和电信运营商。这些企业覆盖了整个IT产业链,构建了一个完整的云计算生态系统。然而随着云计算技术以及产业的不断发展,各种云服务产品、云应用不断涌现,用户和企业也面临越来越多的问题。国际三大标准化组织ISO、IEC和ITU于2014年10月联合发布了两项云计算领域的国际标准ISO/IEC 17788:2014《信息技术云计算概述和词汇》和ISO/IEC 17789:2014《信息技术云计算参考架构》,中国作为这两项国际标准的立项推动国之一,提交贡献物20多项,对加快标准研制做出了重要贡献。同时,我国于2015年12月等同采用上述两项国际标准制定并发布了国家标准GB/T 32399-2015《信息技术云计算参考架构》[1](以下简称《参考架构》)和GB/T 32400-2015《信息技术云计算概述和词汇》[2],并将于2017年1月正式实施。本文对《参考架构》的主要内容进行详细介绍。
2 主要内容解析
《参考架构》通过详细描述云计算服务各个方面的关联性,包括角色、活动、功能组件以及它们和云计算的关系,同时将云计算及其提供的服务按照用户、功能、实现和部署四个视角进行划分(见图1),不仅为云服务提供者和开发者搭建了基本的功能参考模型,也为云服务的评估和审计人员提供相关指南,实现了ICT对云计算的统一认识。需要特别指出的是,在标准中详细描述了云计算系统的用户视图和功能视图,并不包含对实现视图和部署视图的详细描述,因为实现视图和部署视图与技术、以及供应者特定的云计算实现和部署方式相关联。
2.1 用户视图
云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用云计算资源,因此云计算的核心是分布式服务及服务交付。据此将所有云计算相关的活动分为三组:使用服务的活动(云服务客户)、提供服务的活动(云服务提供者)和支撑服务的活动(云服务合作者),从而确定了云计算的三个主角色,即云服务客户、云服务提供者和云服务合作者,其包含了三个主角色和十五个子角色,云计算角色组织架构如图2所示。
2.2 云计算角色之间的关系
标准创新性地站在云服务提供者的角度,重点描述了云服务提供者与云服务客户、对等云服务提供者和云服务合作者之间的关系。
(1)与云服务合作者的关系
●与云审计者关系
云审计者执行的审计活动通过云服务提供者的管理接入组件,调用必要的管理活动向云服务提供者得出审计凭证的要求。云审计者的云计算活动有安全审计、隐私影响审计和业绩审计三类。
●与云服务开发者关系
云服务开发者的设计、创建和维护服务组建活动通过云服务提供者的开发接入组件,检查云服务提供者的服务执行环境,测试服务实现和提交服务实现包。云服务开发者云计算活动有开发服务、测试服务和维持服务,这些云计算活动依赖开发环境、构建管理和测试管理功能组件。
(2)与云服务客户的关系
●功能关系
云服务客户通过终端和服务访问功能组件提供的接口来使用云服务,接口的功能和相应的信息流与特定的云服务有关,因此不属于参考架构的范畴,但是服务接口中应反映某些通用需求,特别是需要识别和验证云服务用户的需求。
●管理关系
云服务客户通过管理访问功能组件的终端和接口来调用云服务提供者的管理功能能力组件,管理访问功能组件完成云服务客户身份验证并授权其使用特定支配能力组件的功能。
●业务关系
业务访问功能组件验证云服务提供者业务管理者的身份,并授权其访问业务能力的特定功能,业务能力功能组件与业务支撑系统功能组件交互完成云服务客户业务管理者的各类请求。
(3)与对等云服务提供者的关系
一个云服务提供者能使用其他云服务提供者提供的一个或多个云服务。这种关系称为提供者与对等提供者关系,也称为“云间”关系。其中,使用云服务的提供者称为主云服务提供者,提供服务的提供者称为从云服务提供者。
主云服务提供者与从服务提供者的关系包含三类接口:管理接口、业务接口和服务接口,这些接口提供了与云服务客户和云服务提供者间接口大体相同的能力;对于从服务提供者来说,主服务提供者承担云服务客户的角色。从云服务提供者的服务提供给主云服务提供者的客户使用。通过主提供者将从云服务提供者和云服务客户联系起来时,需要特别考虑安全保护和数据所有权等方面的问题。
2.3 功能视图
云计算系统参考架构分为四层:用户层、访问层、服务层和资源层,其中同时跨越这四层的称为跨层功能,它包括一系列功能组件,这些功能组件与上述四层组件进行交互以提供支撑能力,如图3所示。
3 标准应用案例
目前,中国电子技术标准化研究院凭借多年来在国际国内云计算标准研制、测试验证方面的经验,根据ISO/IEC 17789(GB/T 32399-2015)对市场上已有的云产品、云服务、云解决方案开展了云建设和云服务评价[3]。测评范围涵盖云计算建设、服务、产品和安全等各个方面,测评体系包括云建设和云服务评价、云计算产品标准符合性测评两大部分。在进行实际测评的同时,通过实地调研和测试样品积累,并结合行业技术发展特点以及实际需求,持续改进和完善测评技术体系,探索构建统一的云测评基准库,形成了对云计算核心产品、云服务、云解决方案的100多个评估组件和300多个评估项。
(1)华三通信股份有限公司
目前华三推出的云计算产品和解决方案已经广泛应用于政府、教育、企业、医疗等多个行业,H3C CAS已服务超过1 000个重要客户,累计激活超过20 000个CPU授权,在国家信息中心、公安部、浙江政务云、中联重科等高端用户处规模应用。
华三Iaa S私有云解决方案(图4)是在服务器虚拟化的基础上,将计算资源、存储资源、网络资源以组织(或虚拟数据中心)的方式向最终用户提供。采用Iaa S私有云方案,IT部门可以将基础资源以“服务”的形式对外发布,最终用户可以实际需求申请所需资源。在使用过程中,如资源不足,还可以对资源进行动态调整。Iaa S私有云方案使企业IT部门成为基础资源服务的运营商,IT部门可以根据不同部门的业务需求设置多种套餐服务,将这些服务通过服务目录的形式进行发布供各部门使用,并能够对各种服务进行管理和计费。目前该方案已通过基于《参考架构》的云服务和云解决方案评估。
(2)金蝶中间件有限公司
金蝶中间件的Apusic智慧云平台是一款企业级的Paa S平台,融合中间件、虚拟化、大数据等技术,为用户提供了基础服务、应用服务、集成服务和数据服务,分别对应和满足客户对操作系统层级、应用程序层级、应用间整合的需求,以及数据和大数据处理的需求,形成了整合传统应用、支撑现代化新型应用发展、兼容主流Iaa S环境、开放平台的完整生态体系,为政府和企业搭建出一个新型的应用服务平台。Apusic云计算平台产品于2014年7月通过了第一批云计算产品的标准符合性测试,符合《信息技术弹性计算应用接口》标准中对云计算基础设施平台的功能接口要求。
同时湖南烟草“大型企业信息资源集成云管理平台”基于金蝶中间件Apusic云计算平台产品搭建,该平台有力地支撑了湖南省业务系统从分散部署到省级大集中的转变,承载了湖南省的所有核心业务系统,设备资源节约50%以上。通过《参考架构》(等同采用ISO/IEC 17789)标准符合性评估测试。
4 美国云计算服务发展借鉴
美国作为云计算服务应用的倡导者,有计划地促进了政府部门信息系统向云计算平台的迁移。但是采用云计算服务也给其敏感数据和重要业务的安全带来安全挑战。美国联邦政府对云计算服务的应用推广和安全管理经历了三个过程和阶段(见表1)。
美国建立的云计算服务审查制度与授权机制,使分散、重复、低效的政府云计算服务审批体系有序、统一、高效地运行,值得我国借鉴和参考。
(1)出台政策法规,强化网络安全管理
发布一系列的政策指南,包括《国家信息安全保障采购政策》、《联邦机构安全保障和评估产品采购使用指南》和《联邦风险及授权管理计划》,不断强化政府和涉及国家安全领域的网络安全管理,强有力地支撑和保障了政府有关部门的信息系统网络安全,大大降低了遭受网络黑客攻击的几率。
(2)设立领导机构,保障审查权威性
美国国防部、国土安全部和总务署组成了最高领导决策机构,负责制定联邦政府云计算服务安全控制基线要求、批准第三方机构认定标准、对云计算服务进行初始授权等,有力保障云计算服务审查管理的权威性,有效保证了各项审查政策、法规和标准的贯彻执行。
(3)完善政策、标准,提高审查精确度
持续完善云计算服务审查政策法规和标准模板,进一步规范化云计算审查工作程序,提升审查认可度和公信力,避免重复审查,提高审查效率和利用率。
(4)建立常态机制,持续监测评估
建立云计算监督管理常态化机制,要求云计算服务商在云计算服务过程中定期提交网络安全自我评估报告、风险态势变更报告,以及制定网络安全事件响应计划,并提交第三方机构进行独立安全测评,确保了云计算服务在联邦政府的安全推广应用。
5 结语
云计算是国家战略层面新兴产业的重要组成部分,近年来被看作是新一代信息技术变革和商业模式变革的核心,具有广阔的市场前景。而云计算标准化工作是推进云计算产业健康快速发展,加速产业转型升级,以及行业信息化建设的重要基础性工作之一。《参考架构》作为云计算领域的基础国家标准,它的出台有效地促进了云计算市场的发展、避免了云计算供应商锁定的风险并从规模经济中获益。
参考文献
[1]中国电子技术标准化研究院.GB/T 32399-2015信息技术云计算参考架构[S].北京:中国标准出版社,2015.
[2]中国电子技术标准化研究院.GB/T 32400-2015信息技术云计算概览与词汇[S].北京:中国标准出版社,2015.
基于虚拟化技术的云计算平台架构 篇8
基于虚拟化技术搭建的云平台架构的优势
云计算平台基础层的搭建,是否利用虚拟化技术在功能的实现和资源部署方式上存在着非常大的区别。相对于传统的云计算平台的架构方法,基于虚拟化技术搭建的云计算平台所体现的优势主要表现在以下几个方面:
(1)易伸缩。可伸缩性是指为了更好的适应系统的负载变化而采用合适的资源配置方式,以实现系统性能的整体一致性。基于虚拟化技术的云计算平台,利用有目的地调整虚拟机资源进而实现系统的可伸缩性。相比传统的云计算构建方法所采用的调整物理主机资源的方法,具有快速、灵活的特定,能更易于实现软件系统的可伸缩性需求。
(2)高可用性。可用性是指在特定的工作时间内系统正常运行所占用的时间比例。云计算环境客观存在的一个弱点是节点的易失效性。这就需要在云计算平台架构的过程中,需要配置相应的系统保障机制来确保系统出现运行故障时能在最短时间内恢复运行。传统的云计算平台的可用性保障体制需要引入灾难和冗余备份系统,这种方法存在的缺点是需要加大资金投入来处理冗余备份数据一致性等方面的一系列问题。而基于虚拟化技术的云计算平台架构可以通过虚拟机配置进行高效部署并实现了系统功能的实时迁移,从而很大程度上提高了系统的可用性。
(3)负载均衡。云计算平台在被实际应用中,由于用户对资源利用的随机性,系统节点的负载程度会呈现出较高的非平衡性。而某一单一节点的系统负载,将会影响该节点上层的应用性能。采用虚拟化的云计算平台架构,通过将高负载节点的虚拟机动态实时迁移到低负载点,从而保障了系统运行的负载平衡,有效的保护了节点上层的应用性能。另一方面,虚拟机在功能实现上同时包含了节点上层运行环境,因此系统的动态迁移操作,对上层结构并未影响。
(4)提高资源使用率。云计算平台所具有的数据规模化资源整合方式,使其节点的负载无论何时都存在着不平衡性。如果系统运行时,负载低的节点过多,便导致系统资源的极大程度浪费。针对此点,虚拟化的云计算架构通过对低负载点虚拟机的同一物理点合并,并有目的性的关闭闲置物理节点,来最大程度的提高系统资源的可利用率,有效的控制了平台投入成本,达到降低系统能耗的目的。
服务器云的构建
云计算平台的核心部分便是服务器云结构,所有云计算平台子功能的实现都必须依赖服务器云来得以实现。服务器云主要包括硬件服务器、底层操作系以及虚拟机超级监督器(虚拟系统/功能服务器系统基础平台)。近代计算机科学技术的发展,使数据计算模式逐步向微型个人计算机方向发展。在用户使用体验上,现代计算机信息架构的搭建仍难以满足用户对异地系统操作、程序应用的需求。而基于虚拟化技术的云计算平台架构能有效的满足用户对资源利用的多方面需求,实际应用中,用户无须在操作终端配置过多的适配性资源,如操作系统、硬件设备、软件模块等内容。虚拟化技术使地层差异封装为应用的统一接口,用户借由接口通过云计算平台软件选取自己所需要的数据资源或系统服务。
动态迁移技术
云计算平台的动态迁移技术是指在虚拟机处于运行状态时,将其动态的在不同物理服务器之间进行即时转移,实现虚拟机运行转台数据的不同服务服务器共享。与静态拷贝迁移技术相比较,虚拟动态迁移技术能够实现虚拟机数据的即时转移且不影响正在运行的服务功能,从而为用户提供更便利的操作体验,同时也极大了提高了物理服务器的可使用效率。动态迁移技术的关键技术点主要包含以下几个方面:
(1)总迁移时间和停机时间。总迁移时间,指预拷贝第一次迭代到目的域正式启动所耗费的总时间;停机时间是指虚拟机从物理意义上全面停机运行的时间。从云计算平台架构的服务器和个人计算机方面来看,总迁移时间和停机时间所体现的功能地位存在的一定的区别,总迁移时间和停机时间对服务器而言其重要性更为突出,而对于个人计算机而言比较注重系统的总迁移时间。
(2)网络负载。虚拟机的动态迁移技术是一项资源大量拷贝与信息处理的过程。如果源迁移域和目的迁移域分出在不同的物理服务器,期间数据信息的转移与拷贝就需要借助局域网或Internet网络传输来实现,动态迁移的大数据信息容易造成网络传输系统的运行负载。因此,在动态迁移技术的功能实现过程中,有必要降低单位时间内的信息传输量,以提高信息传输质量,并降低网络负载。
(3)工作集。内存迁移过程中所迭代的是上次迭代中已经被修改的页,通常称之为系统“脏页”。这些在信息处理过程中被多次修改的“脏页”在虚拟技术动态迁移迭代过程中往往被多次迁移,由此形成一个导致动态迁移效率下降的迭代过程。这些由“脏页”所组成的集合被称为“工作集”。在迭代过程中,工作集传送占用时间量的增加直接导致系统总迁移时间和停机时间的增加。由此看来,在动态迁移技术的实际应用中,设计出一种能及时追踪、测定“工作集”以以免系统资源的无用操作显得尤为重要。
云计算框架的构建
1、云平台架构建方法
云计算平台的系统架构主要包含3个组成部分,即计算节点、控制器和客户端。云计算平台的构建中,任何一台物理服务器都可被视为客户端;控制器则是由身份认证模块、计算与存储服务、镜像服务以及Web界面服务共同组成。这些服务模块的部署可以采用多台服务器或单一服务器实现方法。我们以下内容主要设计方法是将以上模块统一部署在同一物理服务器。其中计算节点通过多台支持虚拟化技术的物理主体所组成,实现的功能为负责虚拟化实例的运行,并对外提供系统计算服务。国本文采用试验方法是将这些模块部署在同一台的机器上,计算节点的工作是负责虚拟化实例的运行以及对外提供计算服务。云计算平台的部署架构如下所示:
3、部署过程
该云计算平台的在该平台的部署过程中,整体结构上配置4台物理主机,并分别定义为:server1、server2、server3以及client。其中将server 1设置为云控制器,并配置安装Open Stack的所有服务;server2和server3上面只需要安装nova,client作为客户端,用于创建images,访问web interface,运行Open Stack命令来管理基础结构。因此,云计算平台的主要部署工作都集中在server1上面由于server2和server3只安装的Nova组件,首先在两台主机上分别安装Ubuntu操作系统,然后从Open Stack官网获取Nova组件的源代码,进行Nova安装,在部署完Nova组件之后,对server2和server3进行网络环境的配置,使它们在同一个局域网内,且能与server1互连。由于server1所扮演的角色非常重要,其安装部署过程也相对复杂,具体过程可分成2个阶段:
(1)工作准备阶段。主要工作内容包括云操作系统的安装、数据库系统的生成、网络传输系统接口配置、NTP设置等。其中需要注意的重要内容是,My SQL数据库在操作系统安装之后进行安装,并对数据库进行系统加密处理。
(2)Open Stack各个组件的安装。依次安装server1所必须的组件,主要包括有Keystone
(身份认证服务)、Glance(镜像服务)、Nova(计算服务)、Dashboard(界面服务)、Swift
(存储服务)共5个部分。
结语
云计算及其架构技术 篇9
1 云计算的定义
云计算是近年来兴起的新理念,目标是为了简化终端存储、计算甚至数据处理等资源的使用,用户只要连接网络端口即可方便地使用[1]。那么什么是云计算?网络浏览器先驱马克·安德森认为,“云是天空中的一种智能、复杂、强大的计算系统,人们只要插上就能用[2]”。一般认为,云计算是一种对IT资源的使用模式,是对共享的可配置的计算资源(如网络、服务器、存储、应用)提供无所不在的、方便随需的网络访问技术[3]。简单的云技术在网络服务中已经随处可见,如搜索引擎、网络信箱等,只要输入指令即可得到海量信息。
图1,图2是传统网络服务技术和云计算平台服务技术的比较。
其基本原理是:将用户所需的应用程序直接运行在互联网的大规模服务集群中,用户手中的终端设备只作为登录终端。处理的数据也并不存储在本地,而是保存在互联网的数据中心里。这些数据中心正常运转的管理和维护由提供云计算服务的供应商提供,并由他们来保证足够强的计算能力和足够大的存储空间来供用户使用,用户按量付费即可。
2 云技术架构及其特点
云计算的架构借助虚拟化技术的伸缩性和灵活性提高了资源利用率,简化了资源和服务的管理与维护;利用信息服务自动化技术,将资源封装为服务交付给用户,减少了数据中心的运营成本。从其服务类型来看,云计算可分为基础设施云(Iaa S)、平台云(Paa S)和应用云(Saa S)等。这包含了云架构的基本层次。3种服务模式中的任何一个都可以独立对外提供服务,云计算服务提供商也可以直接从底层硬件平台开始构建自己要提供的服务[3]。但这3种不同的服务之间也有一定的依赖关系。具体如图3所示。
云架构通过虚拟化、标准化和自动化的方式有机地整合了云端的硬件和软件资源,并通过网络将云中的服务交付给不同需求的用户。
云计算的特点主要表现在:(1)以用户为上帝。用户可在任何时间、任何地点以某种便捷的方式获得信息。(2)以任务为中心。充分调动计算机的资源,可为用户提供强大的运算功能,完成用户的各种业务要求、可方便地与合作者共同规划并执行各项任务,并随时进行有效的沟通。(3)性能比强大。随着网络的发展,云计算的存储介质性能不断提升且成本降低。(4)高度智能化。分布在网络中的数据通过数据挖掘、智能分析、信息搜索以及运算等而更加准确。
3 云技术在教学科研应用中的影响
教育科研是一个国家保持可持续发展和创新的基础,也是全社会关注的重点。教育科研领域的信息化建设就是要采纳最新的信息技术,实现广泛的合作,促进先进的教育科研成果的流通,从而提高教育效果,加快科技进步。
云计算对教育领域的影响对于学校来讲可操作性极大。云计算模式为学校提供了合适的借鉴方案。教育机构数据中心、网络中心的相关任务就可以选用云计算服务来实现。这对推动教育科研领域的高效比发展具有极为重要的意义。
其在教育机构中的应用功能效果可参见图4所示。
4 云技术架构在教学科研中的实现
一般的教育可分为3个阶段:以保证普及人口素质为目标的基础教育、以培养人才为目标的高等教育和以不断更新和提高为目标的继续教育。在不同的阶段,教育的方式也各不相同,对信息技术的要求也不一样。不论哪个阶段的教育,其工作内容都主要包括课堂教学、教研实验和教辅等方面。
4.1 在课堂教学领域的应用
传统的课堂讲授方式中,教师通过口述并运用板书配合讲解,学生缺乏对教学内容的真实感受。利用各种多媒体方式来展示教学内容也已较为普遍,这种方式可大大提高教学内容的直观性,增加教学的互动性,激发学生的兴趣和创造力。但共享这些丰富的教学资源需要高效、普遍的信息化基础设施。云技术的应用能够为教育的信息化建设提供技术支撑和交付方式。
现阶段教育资源大多由教学一线的教师在备课环节中事先准备好,这既加重了教学人员的工作负担,又延续了教学对象的学习惰性,提高了教学效率的难度。如果利用云技术将学习资源数据的存储和处理都放入云端进行,既可以降低对于学习设备的要求又能满足随时随地学习的需要。同时,这种方案还可提高教育投入的效率,促进教育资源的公平分布,更能提高边远落后地区的教学效果。
4.2 在教学实验环节中的应用
实验是教学中的重要一环,学生可通过动手实验来获取知识,探索新的领域。而学校拥有的资源常常不能满足学生实践的机会。云技术通过共享开发测试资源和远程桌面共享的方式,可以很好地实现“每个师生都拥有一个虚拟实验室”的设想[4]。虚拟实验室通过标准化环境建设完成实验室环境配置,通过虚拟化资源池建设完成实验室效果搭建,通过虚拟桌面的方式完成远程访问。其虚拟实验室和桌面操作系统或应用服务等通过云端网络在后台数据中心服务器上运行,而操作过程则在终端客户界面上展示。
4.3 云技术在教辅领域中的应用
云计算的利用还能提高学校的行政实施力度,整合学校的各种信息化系统资源。如办公自动化系统、学生信息系统、教学管理和教育评估系统等。各管理系统之间还可实现通用账号信息等进行交叉管理与查询传递。通过整合,学校管理者可以更有效地加强管理力度,提高工作效率。前些年我国各地不断推广实施的高校强强联合、共建大学城区建设的举措就是基于充分融合利用高校资源、实现资源共享的目的。现在有了云理念的提出,及通信技术、无线技术和虚拟技术的不断进步,这种方式有了更合理的实践平台。
4.4 在科研工作中的应用
科研既是个人化的活动,又需要广泛的合作[5]。科研机构一直注重促进科研人员之间的合作,而合作平台的建设就是其中重要的一环。云计算的出现实现了全球范围内资源和能力的共享,也成为科研合作的一个重要平台。如果能集中优势的IT资源构建一个基于Web的云计算网络,那么科研的成果就能及时得到交流和推广,从而实现资源和服务以透明和动态的方式被分配和管理。
4.5 云计算可以提供可靠和安全的数据存储中心
由于对教育信息资源建设的投入不断加大,各个学校都积累了大量的教育资源。但在病毒和黑客泛滥的互联网时代,如何可靠和安全地存储这些信息资源也给学校带来了挑战。信息安全问题在专业人员欠缺的学校显得更加突出。云计算服务可将数据储存在云端,由服务商提供专业、高效和安全的数据存储[6]。既节省了人力又可降低由病毒、黑客或硬件的损坏等所导致的数据丢失等风险。
5 结语
云计算正推动着信息技术向社会化、集约化和专业化转型。它不仅反映了当前社会性网络的共享、共建、共赢等特征,而且宣告了低成本提供超级计算服务的可能。如果将云计算在教学科研中的应用统称为“教育云”,那么打造教育云对于一个国家来说是重要而迫切的。它既能给学习者展示外界最新的成果,又能实现研究机构的国际化交流与合作,实现教育体系的进一步强化。在国家大力提倡节约型、创新型社会方式的环境下,在以云计算为核心理念带动下的教育信息技术的发展必然能推动其在教育领域中的新一轮革命。
参考文献
[1]虚拟化与云计算小组.云计算实践之道<战略蓝图与技术架构>[M].电子工业出版社,2011,5.
[2]Steve Hamm.Cloud Computing:Eyes on the Skies[J].Busi-nessweek,2008,(4082):59.
[3]朱近之.智慧的云计算<物联网的平台>[M].2版.电子工业出版社,2011,4.
[4]何水.云计算对教育领域的影响[J].中国信息技术教育,2011,(10).
[5]胡恒峰.浅谈云计算对现代教育的影响及其运用[J].信息化建设,2010.
云计算及其架构技术 篇10
云计算自产生以来便给各行各业都带来了显著的变化,被称为继互联网之后最具革命性的技术变革。传媒业也是一样,云计算广泛地应用于传统媒体、新媒体,这为传媒业态的发展和竞争带来了显著的变化。云计算在未来的市场规模、发展潜力也开始得到传媒界的普遍重视,电视、报刊、网络等不同类型的媒体都开始积极推动新媒体技术的应用和发展,力求借助其促进自身的进步。
目前云计算技术已经贯穿于传媒的采集、生产、传播等不同环节,改变世界传媒业的发展形态与方式。以云计算融合传媒技术的进步为基础,媒介类型之间的界限已经越来越模糊,媒介融合的步伐愈演愈烈,全媒体将成为未来世界传媒行业的基本形态。
1 云计算与全媒体的发展趋势分析
云计算是一种基于因特网的超级计算模式,在远程数据中心,几万甚至几千万台电脑和服务器连接成一片。用户通过手机、笔记本、电脑等方式接入数据中心,按需进行存储和运算[1]。云计算技术对传统计算机构架具有革命性的改变,其使系统的计算能力、存储能力等由终端向服务器端的汇聚,从而极大地提升了资源的整体利用并提高了系统执行效率。目前,云计算技术已在全球范围进入实际应用阶段,对各行各业均产生了深远影响。
全媒体是国内外对于媒体发展和融合后提出的新概念,国内学术界对全媒体概念从不同的角度有着不同的界定与表述,或认为全媒体是多种媒体的整合,或认为全媒体是一种全新的媒介形态。也有人认为全媒体是一种全新的媒介理念,在传媒应用层面主要体现为运营理念的转变[2]。不过对全媒体最为普遍的认识还是不同媒介形态的统一与融合,不论是传统媒体还是数字新媒体都在努力摆脱单一形态,向着多元一体化的全媒体形态发展。
一般而言,就传播介质与传播途径而言,“全媒体”是除了具有“多媒体”的传统表现手法外,还通常包括报刊、广播、电视、手机和网络等多类媒介终端。其优势在于充分发挥了各类媒体形式在新闻传播中的作用和定位,达到相互补充和产生合力,提供受众多样性的服务,为各种媒介形态的良性融合。该概念来自传媒业的应用层面需求,而新型媒体表现形式的不断出现、变化,以及媒体内容、渠道和功能等的相互融合,人们需要在使用媒体的概念时有更广泛意义涵盖的词语。“全媒体”概念在近年来有了极大的拓展,也越来越引起大众和业界的重视,并已在新闻传播、平面媒体和远程教育等行业和领域中得以广泛运用。
综合研究、分析我国当下传媒界发展现状,可以看出全媒体已经得到了普遍的认可与接受。从媒体企业的战略发展到业务布局等不同的层面都体现出了对全媒体发展形态的重视。在媒介内容生产环节,原来相互分割的媒体形态可以在统一的平台上进行编辑,文字、图片、声音、视频等不同形态与格式的素材能够得到自由的组合、编排。不同媒介类型之间的融合程度也在逐步加深,全媒体之“全”的特性正在得到越来越明显的体现。“全媒体记者”、“全媒体编辑”、“全媒体战略”等成为了传媒业界及传播学研究者不断被提及的话题。全媒体的推广与普及,改变了新闻媒介信息采集、传播架构、媒介形式及采编流程,对传统的新闻从业者提出了转型发展的新挑战[3]。
虽然全媒体的发展趋势已经明朗化、清晰化,但是仍然存在一定的问题,需要在进一步的发展过程中注意与解决。(1)全媒体内容形态与传播渠道的结合程度还需要加强,目前许多媒介内容并没有根据不同传播渠道的特点进行再度编辑,而是同一内容的复制化传播。(2)传统媒体因为体制、历史原因存在着区域分割、类型分割的问题,比如我国三网融合的进程便远远落后于世界发达国家,这在很大程度上制约着全媒体的充分发展。(3)全媒体的商业模式、盈利模式不甚明朗,目前我国除了实力雄厚的部分传媒集团、机构形成了较为完整的全媒体布局,探索出较为成熟的商业盈利模式,还有很多传媒单位、公司还处于摸索之中。
2 传统媒体的基于云计算的全媒体化
云计算为传统媒体跟上新媒体快速发展的步伐提供了基础性的动力,而全媒体则为传统媒体的转型发展提供了思路。云计算技术在我国的发展已经经历了几年的时间,尤其是私有云已经在诸多行业得到了广泛的应用并且改变着这些行业的发展动态。在传统媒体领域,电视与报刊便是云计算技术应用最为突出的两个领域。
云计算的存储、计算模式对各行各业都产生了深远的影响。对于广电媒体来讲,借助云计算不仅能够大幅降低硬件成本,还能够实现扩展传播渠道、丰富受众体验等多重目标[4]。但是“云计算”应用于电视领域并不是简单地改变终端硬件的使用形态,基于云计算的统一技术构架,不仅便于不同的部门与生产环节更高效地相互协调,也有利于同时编辑不同形态的素材内容,实现全媒体化的媒介内容生产。云计算还突破了传统广电传播方式的限制,能够基于互联网实现多元化的传播。比如山东广播电视台在2011年构建了山东“广电云”,大幅提升了山东网络电视台的运营水平,已经形成了较为完整的全媒体传播系统。
云计算相关新技术的应用,势必给广电行业注入新的活力,为用户带来更加丰富多彩的节目、更好和更直观的体验[5]。与电视相比,报刊的采编与发行对技术的依赖程度相对要小一些,但在全媒体方面创新的急迫性却更强一点。因为报刊面临比电视更为严峻的生存挑战,所以报刊“思变”的探索也更为突出,从报刊版面变化、重视图片功能到“报网联合”,其媒介形态日益丰富。
对于报刊来讲,全媒体并不仅仅意味着图、文、声、画等不同媒体形态的综合利用,以及集团化运作下报纸、杂志、网站、手机报、移动客户端、微博、微信等多种传媒的统筹发展,而是要立足未来传媒竞争的要求,为受众提供全方位的信息服务方案,全媒体的核心是智能媒体和智慧媒体,运用智能化来解决海量传播信息的弊端[6]。比如《京华时报》于2012年推出了《京华时报·云周刊》,将云计算技术与报刊内容创造性地结合在一起,总编辑李洪洋表示:“云报纸最大的创新与亮点在于,颠覆传统的生产方式,借助新技术手段以多媒体的形式表现以往很难用文字和图片精确表述的新闻、现场和信息”[7]。目前全国各地有条件的报刊都在尝试部署云计算技术,打造“云平台”,以此为基础根据自身的业务特点与市场需求开发出诸多具有个性化的全媒体传播方案。业界普遍认为,通过基于云计算的全媒体布局,报刊媒体能够在新的平台上实现跨越式的发展。
3 基于云计算的全媒体服务平台架构
传统媒体在向全媒体转型的过程中发现,全媒体的管理和运营与传统单一媒体有很大的差异,也面临了诸多的问题,主要包括:管理的数据量巨大,系统规模不断扩大;资源成本居高不下,资源利用率低;系统之间不能全部贯通,资源无序扩展;系统管理涉及很多专业知识和能力,对第三方技术支持依赖严重;应用和数据的安全无法有效保障。
基于全媒体管理和运营中面临的问题,本文结合最新的云计算技术设计了全媒体服务平台架构。在传统的媒体数字化解决方案的基础上,结合云计算的理念和技术,重点设计了基于云计算和大数据技术的全媒体运营的核心平台,为传统媒体转型到全媒体的内容生产、内容管理及内容运营的技术支撑体系进行了全新的设计。
基于云计算的全媒体服务平台技术新架构,采用云计算技术统一管理全部的基础资源和数据中心。整合传统业务系统,以网络新媒体内容管理和对外服务为核心,重新设计业务流程和业务逻辑。定义标准的数据接口和技术规范,把媒体内容采集收录、内容编辑、媒资管理、内容编排发布等全媒体应用进行标准化和流程化集成,实现所有媒体资源的统一管理和发布。全媒体服务平台的架构图如图1所示。
全媒体的服务平台架构一般可分为四层:
最底层是云计算基础资源层,包括服务器、存储、网络等云计算硬件资源,也包括对资源进行融合的基础软件,包括云数据中心管理系统,虚拟化软件、安全软件、中间件、数据库等。这一层把各种软硬件资源封装成云资源服务向上层提供。
第二层是媒体内容采集管理层,这里采用统一媒体资源库技术,把采集的媒体内容按照统一标准、统一技术规范进行编辑、编码入库,并形成媒体资源目录,可以供所有的内容发布平台调用和分发。
第三层是运营服务层,采用传统业务管理模式和大数据分析结合的方式,面向特定用户动态发布的模式,有效地采集和分析用户特点和需求,有针对性地推送发布内容,实现运营的效益最大化和服务的个性化。
第四层是终端和用户层,支持同一内容向网络电视、传统电视、网站、移动终端等多种终端的适配发布,并能根据网络状况和终端类型进行适配和优化。
4 全媒体服务平台架构的特点
本文针对全媒体的管理技术需求结合云计算技术研究设计了全媒体服务平台架构,架构基于云计算技术设计,具有技术领先和动态灵活的特点,能满足基于互联网的全媒体业务需求。
1)基于云计算技术实现了基础资源的统一管理和调度,提高了资源利用率,并且实现了基础架构的灵活可变,采用软件定义数据中心、多级缓存等技术使数据中心的架构可以支撑互联网多媒体业务的高效发布需求。
2)架构设计了统一数据接口和标准规范,统一编码媒体资源,可与BOSS、CDN及已有媒体资源管理系统的结合,并能实现一次采集、集中编辑、多处分发。
3)针对不同媒资发布接口及不同类型的终端提供了统一多终端内容发布功能,轻松支持实现不同类型终端的内容适配发布,既能支持传统媒体,也能支持Android/IOS系统,提高工作效率,降低工作量。
4)支持用户多终端的互动和反馈,利用分布式大数据技术存储用户信息,能识别不同终端的同一个用户,并记录用户的各种行为,成为进行用户画像和分析用户喜好的数据基础。
5)运营服务层基于大数据和实时推送技术实现对用户对象的快速识别和判断,并能推荐其感兴趣的内容,提升用户体验和广告效果。
全媒体包括期刊的发展主要聚集在以下三个层面:
(1)全媒体的平台业务层
首先,在传播形式上是渠道的多样化,着眼点是内容的多渠道、多媒体、多平台的统一和实时发布,是对传媒形式的架构重新定义,更广泛地覆盖了几乎所有的跨界人群。
在内容与信息的采编上,可根据各异的媒体渠道特征,构建更便捷、合理和可行的采编流程,从而使得在信息内容形式和结构上形成本质的变化,更宽泛地满足了各类受众的不同阅读习惯和收视习惯。
在运营方面上,建立多平台架构,实现用户培养后,运营的终极目标是追求媒体的良性生存与发展。而随着多平台媒体形式的运行,新的商机不断出现,广告运营的业务会大幅提升和被重视,诸如在线交易、中介和专业服务渠道等的产生,媒体平台重点将向应用型转移,媒体的资讯内容将整合成商业元素。
(2)全媒体平台技术支撑层
全媒体平台的基础是计算机信息技术,包括软件编程技术、互联网技术、数据库技术、信息检索处理技术、音视频多媒体技术、通信技术、信息安全技术和移动终端技术等。这些成熟技术保证了新媒体跨平台的建立,保障了新媒体平台的日常安全运行,使传统媒体得以向新兴媒体跨平台转型。
(3)全媒体平台应用层
全媒体的重点着眼于受众(包括作者)的需求,以及媒体内部人员的编务和运营等工作。为受众提供跨平台、及时的信息更新、个性化的信息定制、受众与媒体间的互动渠道及受众与受众间交流的专题社区。
5 结语
对于受众尤其是移动互联网用户来说,基于云计算技术能够为他们带来更流畅的媒体信息消费体验。云计算可以实现媒体资源的存储、操作转移到“云端”,受众不需要承担技术成本,而且还能方便受众随时随地个性化地收看、分享、评论,改变了传统的信息接受与使用方式。正如腾讯云副总经理纪顺友所表示:面向用户的云计算时代已来临,它不仅将降低信息化基础设施建设的投入,影响企业的商业模式,更将切切实实地改变着每一个人的生活。未来的某天,或者一个带通信功能的显示模块,就能承载着每个人的在线生活[8]。
云计算与全媒体,一个是传媒业发展所依赖的技术基础,一个代表着传媒发展形态,二者共同构成未来传媒行业发展的核心竞争力,两者之间的互动方式与程度将对传媒业态的发展产生巨大影响。特别是云计算被称为继互联网之后最具革命性的技术进步,在未来很长的一段时间内,云计算作为基础性的技术动力将在社会发展中发挥更大的作用;传媒的发展需要云计算技术的支撑,信息量的激增、传媒形态的多元、受众需求的增长都需要更为强大的技术保障,云计算无疑为未来全传媒的发展打下了良好的技术基础。随着技术水平的提升,基于云计算技术的全媒体服务平台架构也会进一步发展和完善,推动全媒体在社会信息化建设中发挥更大的作用。
摘要：云计算技术在传媒界的应用已经为业态发展和竞争带来了显著的变化。而且云计算在未来的市场规模、发展潜力及作用也开始得到传媒界的普遍重视。电视、报刊、网络等不同类型的媒体都开始积极推动新媒体技术的应用和发展,力求借助其促进自身的进步。全媒体是未来媒体存在和发展的基本形态,单一形态的媒体市场的竞争中得到持久的发展。云计算和全媒体,一个是未来媒体赖以发展的技术基础,一个是媒体发展形态,正确认识两者之间的辩证关系对于媒介发展至关重要。
关键词：云计算,全媒体,辩证关系
参考文献
[1]武志.浅议云计算的实现及未来的发展[J].计算机光盘软件与应用,2012.(20)43-44.
[2]林玲,欧健,陈红.全媒体内涵及趋势分析[J].中国传媒科技,2012(6):2-3.
[3]郝红霞,刘峰.基于云计算的全媒体新闻人才创新培养模式探析[J].新闻大学,2014(6):116-123.
[4]徐幼雅,刘峰.基于云计算的广电全媒体内容生产方式探析[J].传媒,2014(1):49-51.
[5]樊磊,姜殿斌.基于云计算架构下的全媒体资产管理系统[J].电视技术,2012,36(22):63-65.
[6]张大鹏.全媒体环境下的报业生存之路[J].新闻世界,2013(6):122-123.
[7]商西.“拍我,拍我”云报纸留人驻足[OL].[2012-5-30]http://www.sootoo.com/content/289340.shtml.
云计算及其架构技术 篇11
正是在这样的需求、技术、应用和政策的背景下，云计算成为IT业界共同认可的主流声音。云计算其实就是把所有的计算应用和信息资源都用网络连接起来，供个人和应用随时访问、管理和使用。云计算服务提供资源，包括计算、存储及网络资源，需要能够实现海量的存储、出色的安全性和可靠性；云计算提供的服务应该是动态的、可扩展的，能够根据用户和应用的规模进行动态伸缩，并且这种伸缩所需要的时间是短暂、迅速的；云计算平台应该能够提供开发应用程序编程接口（API）、环境和工具，供各种应用进行使用。只有这样云计算平台才能够和应用很好地结合起来，使得传统的集中式应用方便地迁移成高性能、高可靠且易扩展的分布式的云计算应用，为用户提供类型多样的云服务。
云计算是物联网发展的基础。互联网主要解决人与人的互联，连接了虚拟与真实的空间；而物联网主要解决的是物与物之间的互联，连接了现实与物理世界。物联网是以互联网的发展为前提的。随着物联网应用的发展、终端数量的增长，会产生非常庞大的数据流，这时就需要一个非常强大的信息处理中心。传统的信息处理中心是难以满足这种计算需求的，在应用层就需要引入云计算中心处理海量信息，进行辅助决策。云计算作为一种虚拟化、分布式和并行计算的解决方案，可以为物联网提供高效的计算能力、海量的存储能力，为泛在链接的物联网提供网络引擎和支撑。
1 分布式缓存的发展
在互联网应用刚起步时，各种平台大多采用的是关系型数据库。那时PC机昂贵、性能低下并且网络不普及，而关系型数据库因为处理能力强、数据安全可靠、一致性好等优势，一直处于主导地位，并发挥了重要的作用。随着互联网的发展，特别是WEB 2.0等交互式、个性化应用的出现，数据量急剧增加，传统的关系型数据库已经无法满足这种快速增长的存储需求。为此不少IT服务提供商都设计开发了自己的存储系统，如亚马逊在2007年10月份开发出的Dynamo就是其中非常典型的一种存储系统（如图1所示），作为状态管理组件和存储服务的基础被用于众多的亚马逊的系统中。
对于Google，Amazon，淘宝这样的互联网企业，每时每刻都有无数的用户在使用它们提供的互联网服务，这些服务带来的是大量的数据吞吐量，在同一时间，并发的会有成千上万的连接对数据库进行操作。在这种情况下，单台服务器或者几台服务器远远不能满足这些数据的处理需求，单靠提升服务器性也已经改变不了该情况，所以唯一可以采用的办法就是扩展服务器的规模。服务器规模扩展通常有两种方法：一种是仍然采用关系型数据库，然后通过对数据库的垂直和水平切割将整个数据库部署到一个集群上，这种方法的优点在于可以采用基于关系型数据库（RDBMS）的技术，但缺点在于它是针对特定应用，实施非常困难；另外一种方法就是Google和Amazon所采用的方法，抛弃关系型数据库，采用Key-Value形式的存储，这样可以极大地增强系统的可扩展性。事实上，基于Key-Value的分布式缓存就是由于Google的BigTable，Amazon的Dynamo以及Facebook的Cassandra等相关论文的发表而慢慢进入人们的视野，这些互联网巨头在分布式缓存上的成功实践也使之成为了云计算的核心技术。
2 分布式缓存技术
2.1 分布式缓存的部署方式
缓存服务器集群采用无主架构，所有服务器节点地位完全一致，互相之间采用网状的全连接方式。应用通过调用分布式缓存提供的API对数据进行透明访问，无需关心数据在后端服务节点的分布情况。数据在集群各节点均匀分布，集群数据处理能力随集群中节点数量的扩充呈线性增长。集群通过数据的多副本机制能够提高系统的可用性，某几台服务节点的宕机对应用的数据访问没有任何影响。服务器节点能够根据应用的需求灵活配置数据是否持久化存储。
分布式缓存同时提供操作控制台，能够登录到任何一个服务节点并对集群的成员关系、访问负荷、数据分布进行监控和配置，同时通过操作维护台可以完成分布式缓存集群软件版本的安装、升级和配置。目前分布式缓存提供基于命令行（telnet登录）和基于B/S的图形化运维方式。分布式缓存系统的具体部署如图2所示。
2.2 分布式缓存功能架构
分布式缓存为应用程序提供了客户端程序库以及若干数据服务节点组成的服务集群，客户端通过和数据服务节点通信形成可用服务器列表，并将应用程序提交的存取请求通过路由算法映射到一个确定的数据服务节点上，具体的功能架构如图3中所示。
数据服务节点主要分成3个层次：通信支撑层、数据处理层和数据存取层。
通信支撑层主要负责通信协议适配，根据数据处理层中路由链路管理模块的指示进行端口的侦听和主动建链，同时完成底层通信数据包的发送和接收。
数据处理层包括路由链路管理模块、访问控制处理模块以及数据迁移控制模块。
数据存储层提供内存/SSD/硬盘介质的三级存储管理，具体可以根据应用的要求进行不同的配置。内存管理关注内存分配的效率以及如何避免内存碎片的形成，并根据数据访问频度进行最近最少使用算法（LRU）控制。SSD和硬盘存储模式在保证访问性能的同时提供数据的持久化存储，在这两种存储模式下数据不会随着服务节点重新启动而丢失。数据存储层提供数据生存期管理机制，能够自动清理过期数据。
2.3 分布式缓存关键技术
分布式缓存在保证数据访问可靠性、最终一致性的同时对应用提供高吞吐、低时延的访问服务，通过增加数据服务节点即能实现处理能力的性能扩充，扩容过程对应用访问完全透明。下面对分布式缓存涉及的关键技术进行介绍。
2.3.1 NRW多副本机制
分布式缓存通过多副本机制实现数据访问的可靠性，同时多个副本之间的数据同步又会带来性能和一致性的问题。我们采用NRW多副本技术来保证数据在可靠性、高性能访问以及最终一致性之间取得平衡。图4是NRW机制的示意图，其中N是一个数据的副本数，R代表一次成功的读取操作中最小参与节点数量，W代表一次成功的写操作中最小参与节点数量。当分布式缓存的访问模型满足R+W >N时就能保证数据访问的可靠性和一致性。
R和W直接影响性能、可用性和一致性。如果W设置 为 1，则分布式缓存集群中只要有一个节点可用，就不会影响写操作；如果R 设置为1，则分布式缓存集群中只要有一个节点可用，就不会影响读请求。但显而易见R 和W值过小都会对影响数据访问的性能和可用性，为兼顾性能、可用性和一致性，这两个值一定要合理设置。
2.3.2 一致性Hash和虚节点
一致性Hash需要首先求出分布式缓存数据服务器（节点）的哈希值，并将其配置到0～232的圆上，用同样的方法求出存储数据的键的哈希值，并映射到圆上。然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务器上。如果超过232仍然找不到服务器，就会保存到第一台缓存数据服务器上。因为数据节点服务器的机型并不统一，其性能和容量是不同的，可以使一个物理节点负责多个Hash区间的处理，使高端机器能够被充分利用。在出现热区时，可以将过热的Hash区间以虚拟节点的方式放在负荷较低的物理节点上。
分布式缓存平台结合了一致性Hash和虚拟节点的特点并加以改进，形成了如图5的方案：将232的Hash空间等分为若干分片，每个分片即是一个虚节点，根据各物理节点性能差异配置处理不同数量的虚节点，这些虚节点在物理节点上的部署关系即形成虚节点的路由。
通过一致性Hash和虚节点相结合的方式，实现了数据在集群的均匀分布，同时也实现了数据服务器节点热点的消除。
2.3.3 智能路由交换
路由是指分布式缓存集群中虚节点在数据服务节点上的分布情况。分布式缓存平台构建了一个分布式锁同步系统来存放全局路由表，这张路由表是分布缓存集群路由管理的基准表，路由变更时必须要首先修改这张路由表中对应的路由记录。
为避免每次路由查找都需要查询分布式锁服务，各数据服务节点在本地同时存储全局路由表，路由查找时可直接在本地进行。这样带来的一个问题是本地路由记录可能已经过期，因此在路由记录中增加修改时间戳来进行路由记录版本的控制，举例说明：
（1）第10号虚节点的路由信息是：存在3个副本，依次存放在服务节点A、B、C上，该条路由信息在集群中所有节点本地都有存储。
（2）A节点发生故障宕机，在A宕机期间，操作员对10号虚节点的路由记录进行了手工调整：仍然是3个副本，依次存放在服务器节点A 、D、C上，集群中除A节点外都完成了本地路由记录的更新。
（3）此后A恢复了服务，A节点本地10号虚节点的路由记录成为一个过期的记录，当A节点收到落在10号虚节点上的数据读写请求时，就会对B、C节点的副本进行访问，访问时会带上本地10号路由记录的时间戳，B、C节点收到访问请求后会立即通知A路由信息已经过期，通过这样的路由交换机制，A快速地完成了本地路由记录更新。
上述例子中路由交换是通过数据访问请求被动触发，同时集群中每个节点的路由管理模块也会定时启动路由交换，通过这种类似病毒传染式的智能路由交换，路由变更能在集群所有节点中快速生效。客户端API的路由记录也采用同样的方式：客户端API本地缓存路由信息表，在数据访问的同时完成和服务节点的路由交换，大大提高了路由查找的效率，降低了数据访问的时延。
2.3.4 成员关系维护和故障检测
分布式缓存将节点分成两类：种子节点和普通节点。
种子节点是系统配置时，需要预先从所有节点中选出若干个节点，它们的职责是指挥系统的链路建立和拆除等。
普通节点启动后，根据配置向种子节点主动建链，种子节点对连接上的普通节点进行统一管理，根据一定的原则比如按照IP数值的大小，通知普通节点完成互相之间的建链，种子节点互相之间也根据这个原则完成两两之间的连接。图6描述集群成员关系建立的过程。
（1）分布式缓存当前有节点1、2、3、5共4个节点，相互之间两两存在链路，节点1、2是种子节点，节点0、3、5是普通节点。
（2）普通节点4新加入缓存集群，它首先根据配置主动连接种子节点1和节点2。
（3）种子节点1发现当前有普通节点0、3、5和它建立了链路，当普通节点4连接成功后，它根据节点大小原则指挥节点4连接普通节点 0 和3，同时指挥原有普通节点5连接节点4。
分布式缓存通过上述机制维护集群中节点的成员关系，最终在各节点间形成网状的全连接模型，两两之间具备通信链路，任何节点故障和恢复都能够快速被集群中其他节点检测到。
3 分布式缓存助力物联网平台云化
3.1 分布式缓存的优势和解决的问题
分布式缓存具有明显的技术优势。分布式的架构从架构上保证了良好的扩展性，当性能不够时，可以轻松地通过添加新节点的方法扩展性能；因为良好的扩展性，所以分布式缓存的容量可以随着节点规模的增大而呈线性增加，容量不会成为系统的瓶颈；分布式缓存采用的是基于Key-Value的简单存储方式，缓存的架构和以内存为基础的访问方式使得分布式缓存性能非常高，单节点每秒可以达到24万多次的读写操作；分布式缓存所使用的多份副本复制的方法，避免单点故障；同时无中心化的架构和一致性Hash的数据分布算法，使得局部节点的损坏不会影响整体集群的可用性，把故障的影响降到最低。
目前的应用在部署运行过程中常会遇到一些问题：第一，单节点不能满足性能要求时，需要扩展到多个节点，通常采用按号段的方式进行扩展，此种扩展方式不具有通用性，与各个应用密切相关，开发和维护的成本也较高；第二，在不同的物理节点的应用上共享数据，通常通过文件的方式或同步的方式进行共享，但是这在性能和一致性的处理上存在较大的风险和困难；第三，因为多个节点同时访问数据库，使得数据库和磁盘I/O成为系统的瓶颈，通常使用单节点的缓存方式来解决，这样一方面会造成系统资源的浪费，另一方面也使各个节点中缓存一致性的处理也非常复杂；第四，应用节点的应用程序意外退出重启动后，如何保证已有的会话不掉线，往往通过写文件的方法实现，这时磁盘I/O以及系统初次的加载都存在性能瓶颈。把分布式缓存引进应用后，可以方便地帮助应用解决这些问题。应用通过调用分布式缓存提供的API接口，把关键的数据放到分布式缓存中，而自身重点关注应用逻辑的处理，这样可以轻松打造出高性能的、可扩展的、高可靠的分布式应用系统，通过标准接口的封装，对外提供云服务。
3.2 分布式缓存在物联网中的应用
物联网的出现是信息通信技术（ICT）的新挑战。物联网无所不在，它可以使所有的物体，从洗衣机到冰箱、从房屋到汽车通过物联网进行信息交换。物联网技术融入了射频识别（RFID）技术、传感器技术、纳米技术、智能技术与嵌入技术。物联网技术将是改变人们生活和工作方式的重要技术。物联网主要包括3个层次，如图7中所示。第1个层次是传感器网络，也就是目前所说的包括RFID、条形码、传感器等设备在内的传感网，主要用于信息的识别和采集；第2个层次是信息传输网络，主要用于远距离无缝传输来自传感网所采集的巨量数据信息；第3个层次是信息应用网络，该网络主要通过数据处理及解决方案来提供人们所需要的信息服务。
物联网业务网关属于第3个层次，如图8所示。它是实现物联网应用和物联网终端智能连接的桥梁，能够提供接入认证、智能路由、业务计费、能力接入、服务质量（QoS）服务保障等核心功能。支持通用分组无线业务（GPRS）、短信、有线接入等多种网络接入方式。物联网业务网关汇聚所有的机器到机器（M2M）终端消息，除了支持标准协议终端的消息处理外，对非标准协议终端也提供IP层路由转发和业务鉴权功能。因此对业务网关相关的性能提出了极高的要求。
中兴通讯物联网业务网关采用多模块架构，通过引入云计算分布式缓存平台，使其具有极高的吞吐率，保证了网关的高并发处理能力，系统在两个刀片机框满配置的情况下，可达到18万条/秒的报文转发速率。分布式缓存的应用，使系统支持数据动态迁移，在个别节点故障不会造成事务的中断。
4 结束语
物联网与云计算存在着密不可分的关系。一方面，物联网的发展离不开云计算的支撑。从量上看，物联网将使用数量惊人的传感器（如数以亿万计的RFID、智能尘埃和视频监控等），采集到的数据量惊人。这些数据需要通过无线传感网、宽带互联网向某些存储和处理设施汇聚，而使用云计算分布式缓存等系列技术来承载这些任务具有非常显著的性价比优势；从质上看，使用云计算系列技术对这些数据进行处理、分析、挖掘，可以更加迅速、准确、智能地对物理世界进行管理和控制，使人类可以更加及时、精细地管理物质世界，从而达到“智慧”的状态，大幅提高资源利用率和社会生产力水平。可以看出，云计算凭借其强大的处理能力、存储能力和极高的性能价格比，很自然就会成为物联网的后台支撑平台。另一方面，随着物联网针对智能交通、智能医疗、智能电网等领域解决方案的落地，物联网将成为云计算最大的用户，为云计算系列技术取得更大商业成功奠定基石。
Cloud Computing Distributed Cache Technology and Tts Application in the Internet of Things
ZTE
云计算技术发展分析及其应用 篇12
作为一种非常新的计算管理模式, 云计算是以网络存储、分布计算以及网络计算等方面的发展为前提发展起来的, 现在逐渐被广泛地运用到很多的实际使用当中。同时, 云计算作为一种全新的计算方式, 某种条件下能够完全改变一些相关的行业, 例如与计算机息息相关的软件行业。从云计算的“云”字我们可以知道, 云计算的一些核心数据应该在我们使用的互联网当中存在, 因此它使用的所有的技术以及数据等都应该可以从日常使用的互联网中获取。另外一方面, 云计算除了会影响我们的商业开发之外, 还会影响着相关的一些其他行业, 例如相关的交付方式以及部署运行等等[2]。用较为简单的语言来描述, 也就是指使用云计算的用户, 将不再需要一个运算能力很强的客户端了, 而是只需要从我们的互联网中获取自己运行需要的数据就可以了, 能够根据自己的实际需求进行针对性的购买, 操作较为便捷。
1 云计算的定义
关于云计算的定义, 存在很多种不同的认识, 但很大一部分人都将“云计算”当作是分布式处理、并行处理以及网络计算机发展的产物, 这其实是指计算机进行商业的实现[3]。另外, 关于定义理解的差异较大的主要是软件开发者以及信息技术专家与普通使用用户之间的差异。云计算技术的开发人员认为其服务能力还待进一步加强, 并且目前的技术上仍然存在着上升空间, 需要更多的投入去研究、开发、完善。
2 云计算的基本原理
云计算的基本原理, 主要是指日常使用的计算机的计算分布在我们使用的本地计算机以及远程服务器当中。与互联网的工作原理十分相似, 云计算的数据处理就是将用户需要的资料切换到用户需要的运用程序上面, 然后按照用户的实际需求展开访问和存储。而云计算机描绘的内容就是用户可以在互联网上开展的技术访问与扩展, 简单的概括来说, 它就是一种具体的运用, 而这种运用刚好是通过大量的数据和较为强大的功能来驱使服务器运行相关的应用程序。
3 云计算的关键技术
云计算的产生是伴随着处理技术、分布式存储技术等相关的网络运用技术的发展实现的。关于云计算能够顺利发展, 从技术层面分析主要得益于“数据的存储能力”以及“分布式计算的能力”等两个方面[4]。我们日常经常提到的“云”指“云存储”和“云计算”两个方面, 云存储指普通的网络上的存储系统;“云计算”指使用虚拟资源进行计算, 计算的过程中首先应该将需要计算的任务进行拆分, 然后将拆分的任务发送到网络当中的虚拟资源中, 再结合相关的内容进行分布式计算, 接下来统计汇总分布计算的结果。因此, “云计算”就是“云存储”加上“云计算”。从云计算的计算过程来看, 云计算的主要技术指“虚拟化、集群化、数据存储、编程模型以及分布式计算”等几个方面, 但是在这些方面当中, 虚拟化技术、云计算平台管理技术、数据存储技术、数据管理技术以及编程模型是最关键的技术。
4 云计算应用
由于云计算技术的复杂性, 我国使用云计算方面还存在着许多问题, 因此云计算技术的运用在我国并没有广泛推广。通过抽样调研发现, 由于教育行业、电子商务行业等处理数据的需求量较大, 而云计算具备的大数据处理能力以及存储能力刚好可以满足其需求, 这些行业正好可以通过云计算实现信息的存储与共享。
纵观目前的计算机行业发展动态, 作为一门热门信息产业, 云计算技术越来越被大家重视和认可。比如, 教育行业使用了云计算之后, 大大地调高了学校的教育教学的水平, 另外在教育行业中使用云计算技术, 首先能够降低学校的资源建设的投入;其次, 由于网络的便捷, 使用云计算后, 相关的教学活动可以随时随地地展开, 从而推动移动教学的发展;再者, 云计算的信息存储能力大大地提升了学校相关数据的安全;最后由于网络的特性, 学校使用云计算能够帮助学校实现教育资源的共享。基于这些优点, 许多的教育机构以及学校陆续开始使用云计算, 但是随着使用的深入也逐渐暴漏了该项技术的一些问题[5]。首先, 云计算没有统一的数据存储标准, 从而导致数据不兼容;其次是资源的共享性较差。
因此, 如果我们想要在教育行业深入使用云计算技术, 那么必须建立统一的标准和统一的教育云系统, 并针对这些系统进行专业的管理和部署。“教育云”是一个专业系统, 主要是利用云计算技术将教育信息化资源以及系统进行整合, 并统一进行管理和规划, 最后通过互联网为广大的师生和社会人员提供优质的服务。教育云平台由“软件服务、平台服务以及基础服务”等几个方面组成, 软件服务是教育云的上层服务也是教育云最关键的部分。
5 结语
综上所述, 由于云计算的特点和优势, 给我们的生活带来了很大的方便, 同时也推动了信息技术的进步。另外一方面, 对于互联网技术的发展来说, 云计算技术的产生和发展尽管存在一些问题, 但是这些问题仍然阻挡不了它给网络信息技术发展带来的机遇, 因此, 随着互联网以及信息技术的进一步发展, 云计算的前景一片光明。
参考文献
[1]王佳隽, 吕智慧, 吴杰, 等.云计算技术发展分析及其应用探讨[J].计算机工程与设计, 2010 (20) :4404-4409.
[2]何明, 郑翔, 赖海光, 等.云计算技术发展及应用探讨[J].电信科学, 2010 (5) :42-46.
[3]滕萍.云计算技术发展分析及其应用研究[J].信息网络安全, 2012 (11) :89-91.
[4]杨燕.云计算技术发展现状及应用探讨[J].硅谷, 2015 (1) :154.