IaaS平台（共5篇）
IaaS平台 篇1
0 引言
随着计算机技术与网络技术的发展,虚拟化和云计算已成为趋势,二者正悄悄改变传统的IT模式。按照对象的不同,通常虚拟化技术可以分为服务器虚拟化、存储虚拟化和网络虚拟化等,其中以服务器虚拟化为主导,本文主要关注此方面。服务器虚拟化,允许具有不同操作系统的多个虚拟机在同一个物理机上独立并行运行。每个虚拟机都有自己的一套虚拟硬件(例如RAM、CPU、网卡等),可以在这些硬件中加载操作系统和应用程序,并且无论物理硬件组件是什么,操作系统都将它们视为一组一致、标准化的硬件。
云计算以虚拟化技术为支撑,是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。一般认为,云计算有三种服务模式,分别为:基础架构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。IaaS(Infrastructure as a Service,基础设施即服务)主要通过虚拟化技术,将底层的IT资源(硬件设备)汇总成一个大的资源池,转化成虚拟的硬件设备,供上层的应用调用。比如4G的主频或4G的存储,经过IaaS转化,就变成了4G的虚拟主频和虚拟存储。虚拟的硬件设备可以用来创建虚拟主机,供多个应用调用。
现在各家虚拟化厂商都有自己独立的管理平台,如果用户有多种虚拟化平台的需求(通常用户的环境不仅有X86,同时有一定数量的UNIX小型机设备),则需要从各家公司购买不同的管理平台。众多的虚拟化平台,管理方式各不相同,这给云环境下设备的使用和管理带来了很大不便。
文中所述跨平台和虚拟技术的IaaS运营支撑平台,即属于基础架构云平台的范畴。该平台通过API调用将各类虚拟化计算资源池,集中在一个平台综合管理,实现了计算资源的灵活调用,满足了云用户对各类计算资源的弹性需求。
1 实现原理
本文所述跨平台和虚拟技术的IaaS运营支撑平台(简称IaaS平台),就是要解决多虚拟化计算平台融合的问题。目的是把市场上现存的主流虚拟化计算平台技术集成到IaaS平台中,最终形成多平台的管理策略,并实现对底层的技术架构,包括性能、网络、存储等方面的全面的管理,实现各种厂家的虚拟化技术之间的无缝结合。用户只要使用该IaaS平台,无论底层是哪种虚拟化软件,都可以对底层的计算资源池(指主机及主机上挂载的存储、主机所在的网络环境)进行管理。计算资源池中,按照主机的类型,计算资源中不光有X86计算资源,也有小型机计算资源(包括SUN 小型机和IBM Power 小型机等);虚拟化技术不光涉及VMware的虚拟化,也包括KVM、XEN、PowerVM等虚拟化技术。
该平台实现方法是,先通过通用云API将多种虚拟化平台的接口调用及脚本调用,统一标准化并封装,然后通过通用云API提供给平台前台调用。其中,前台泛指IaaS业务系统;通用云API是指,将多家虚拟化平台的API统一封装,并按照业界公认的标准,进行标准化之后的API。
通用云API标准化和封装过程中,对于可以从虚拟化平台管理控制端直接调用的功能,通过管理控制端的API直接调用实现;例如,VMware虚拟化平台功能,通过直接调用其管理控制平台VC的API来实现。对于不能通过接口调用方式的功能实现,通过TVSC(Teamsun Virtual Service Control)脚本调用实现。例如,SUN的虚拟化功能,只能全部用TVSC通过脚本调用的方式实现。TVSC可将多家虚拟化平台的操作脚本命令重新编排并封装,由此原来复杂的指令操作可变成全自动批量执行,弥补IaaS系统不能通过虚拟化管理控制台实现的功能缺失的缺陷。
图1是本文所述IaaS平台的实现原理图。
IaaS平台调用虚拟化计算资源时,包括如下步骤,流程如图2所示。
步骤一:云用户登录IaaS系统,选择创建虚拟机。
步骤二:用户根据自身的需要选择虚拟机模板。
步骤三:IaaS平台系统根据用户所选择的虚拟机模板,自动识别所属虚拟化平台;主要是根据用户对操作系统的要求,例如,Window系统的要求,大部分是X86资源。具体是用VMware实现还是KVM实现的虚拟化平台,由用户的申请过程中自行选择。
步骤四:IaaS平台系统自动调用底层API,在自动识别的虚拟化环境中创建虚机。
步骤五:将用户创建的不同产品的虚拟机在虚拟数据中心(VDC)中统一管理;方便费用汇总。
2 资源调度算法
IaaS平台创建虚机时,需要遵循如下步骤:
步骤一:当创建虚拟机时,根据用户选择的资源分配策略,确定所述资源池内的可用主机的信息,并生成主机列表。
步骤二:根据用户选择的资源调度策略,从所述主机列表中筛选出符合创建虚拟机资源的主机,得到剩余主机列表;计算得到所述剩余主机列表中最优的主机和最优主机上的最优存储,并分配给所述虚拟机。
其中,步骤一中,资源分配策略,只定虚拟创建时所使用的资源池,本文所述IaaS平台策略如表1所示。
步骤二中,资源调度策略如表2所示。
(1)AS001策略,计算指定的资源池的计算资源池综合负载率,公式如下:
CPU负载率undefined;
内存负载率undefined;
存储负载率undefined;
综合负载率= CPU负载率*内存负载率*存储负载率。
(2)AS001策略,计算指定的资源池内的计算资源池平均利用率,公式如下:
CPU平均利用率=undefined
其中,采集周期β为采集指定资源池内的各主机资源的使用率信息的周期,对象表示主机或集群。
计算指定资源池内的存储资源池平均利用率,公式如下:
存储平均利用率=undefined
(3)AS001策略,加权优先调度方法,计算公式如下:
CPU加权使用率=
undefined
内存加权使用率=
undefined
其中,n为主机上虚机的个数。
计算资源池主机加权使用率=CPU加权使用率*α%+内存加权使用率*(1-α%);
其中,α为加权系数。
计算指定的资源池内的各主机的存储资源池主机加权使用率,公式如下:
存储资源主机加权使用率undefined
其中,m为云计算环境中,共同使用一个共享存储的主机个数。
3 在某省电信私有云的应用
根据以上IaaS平台实现原理及步骤,在调研用户的实际需求之后,最终实现了集成VMwareX86虚拟化平台、SUN小型机虚拟化平台和IBM Power小型机虚拟化平台的IaaS综合运营支撑平台。
此平台将三个虚拟化平台,统一集成到一个平台中进行综合管理。综合了多种虚拟化平台的各自优势。VMware 公司推出的服务器虚拟化平台,只应用在X86平台之上,是目前市场占有率最高,成熟度最高的虚拟化技术,但是缺点是,价格比较贵。KVM虚拟化技术,同样是应用在X86平台之上,但是相对于VMware虚拟化来说,因为源自开源社区,价格便宜很多,缺点是成熟度不够,没有统一的标准。Power 虚拟化技术,专门运用在IBM Power系列小机上,满足用户对Power 计算资源的需求。同样SUN 小机虚拟化技术,只在SUN 小机上运行,满足用户对SUN 小机的计算资源的需求。平台登录界面如图3所示。
此IaaS平台共有五大功能模块,分别是:资产管理、资源管理、服务管理、交付管理、系统管理。
(1)资产管理
通过集中资产管理,云计算管理员可以管理云计算环境内所有的设备资产信息。
(2)资源管理
在资产管理的基础上,资源管理将数据中心的各种物理资产和虚拟资产转变为可承载多种基础架构服务的资源池,并按照服务管理的要求从各资源池中自动分配资源。
(3)服务管理
通过服务封装,服务管理层将资源管理层提供的多种基础架构资源,以及按照客户的广泛需求建立的资源部署模板和计费方式封装为多种多样的服务项,这些服务项按照一定的分类方式组织起来,最终形成满足各种客户需要的IaaS服务目录。服务目录涵盖了数据中心可以提供的所有基础架构服务,客户可以在服务目录中选择适当的服务项和服务项间的关联关系,建立自己的虚拟数据中心。
服务管理中主要包括服务目录/产品定义和服务模版管理两方面功能。
(4)交付管理
交付管理为客户提供了各种虚拟化数据中心的运维管理工具,是维护和管理虚拟数据中心的门户。交付管理工具为每个虚拟数据中心维护了一个独立的配置管理数据库,客户可以通过交付管理工具创建或删除虚拟数据中心,增加和删除虚拟数据中心中的服务项,启动和停止的服务项,查看服务项的运行状态和日志,修改服务项的特定配置参数,或远程登录到特定的服务项进行维护管理。客户还可以查看虚拟数据中心中各服务项的性能情况和报表信息。
(5)系统管理
系统管理的作用是维持IaaS服务管理平台的正常运行,包括用户管理、密码管理、日志管理等功能。
4 结束语
跨平台与虚拟技术的IaaS运营支撑平台的实现具有如下意义:将多个虚拟化计算平台统一在同一个管理平台之上,方便满足不同的虚拟化平台用户的需求;有利于促进虚拟化和云计算的标准制定;统一了虚拟化资源视图,使得管理更加便捷方便;可以更加有效地帮助用户梳理业务流程,帮助业务的发展。
参考文献
[1]吕元智.基于云计算的电子政务信息资源共享系统建设研究[J].信息系统,2010,33(4):106-109.
[2]张恺.基于云计算的虚拟技术应用与实现[J].重庆科技学院学报:自然科学版,2011,13(5):163-165.
[3]张恒喜,史征军.基于云计算的虚拟技术安全探究[J].商场现代化,2011,3(42):68-69.
[4]刘汝元.基于云计算的虚拟技术安全问题研究[J].虚拟技术,2012(1):114-115.
[5]钱素予.基于云计算的虚拟技术发展研究[J].网络通讯及安全,2011,17(34):8860-8862.
IaaS平台 篇2
为应对新媒体冲击,加快传统报业转型发展,2013年8月南方报业全面启动“创新媒体云”项目。该项目意在将云计算、移动互联与大数据分析技术引入传统媒体行业,对用户需求进行精细分析和深度挖掘,为不同人群提供更及时、更权威、更个性化的信息资讯,为广告客户提供更精准、更到位的整合营销服务,项目建设首当其冲的就是最底层基础IAAS云平台的打造。
2 面临的主要困难
我们调研了近30多个业界领先的云平台厂商,面对众多的技术方案,我们需要思考以下几个问题:
1. 技术绑定问题。云计算技术还在发展中,厂家私有化协议较多,未形成统一标准,几大阵营争夺激烈,一旦选择,有可能被技术绑定。
2. 成本费用问题。采用商业化的云软件,例如vmvare等使得整个IAAS项目建设和运维成本异常高,难以体现云计算节约成本的优势,不易获得集团支持。
3 开源架构——南方报业的选择
在调研中,我们发现大型互联网公司大都采用了开源技术架构,很多商业公司例如IBM、HP的产品也在底层大量应用开源架构,只不过在此之上再丰富开源架构的功能,包装成自己的产品予以销售。开源架构主要有以下几个方面的优势:
1. 开源云技术的发展特性吸引更多的IT厂商和互联网巨头应用推广,促进云计算基础架构成熟和相关标准形成;
2. 开源产品使得技术投入成本大幅下降,利于获得集团支持;
3. 开源技术的透明性利于培养自身团队,能通过多种渠道获得技术支持,一定程度上避免技术绑定,提高云平台研发运维的自主性;
当然采用开源技术也意味着我们需要通过自身的力量解决多种技术问题,在一定时期内有可能增加故障发生率,延长故障处理时间,但综合考虑开源技术优势,我们还是决定全面采用开源产品实施IAAS云平台建设,初期拟通过购买一些开源技术应急响应服务缓解运维压力。
4 南方报业IAAS基础云平台物理部署
根据业务分类,集团需建设私有云和公有云,其中私有云主要处理集团管控及采编类业务,公有云则处理新媒体公众服务类业务,由于两朵云在面向对象、业务种类、带宽资源上有明显区别,因此将私有云部署在集团机房,而公有云则部署在IDC机房,两者通过光纤连接,并设置严格的安全管控策略。为简化工程复杂度,利于项目实施,集团首先启动私有云IAAS平台建设。
私有IAAS云根据开发、测试、业务的需要设置子区域,各区域采取VLAN划分或物理方式隔离,部署如下图:
5 南方报业IAAS基础云平台管理架构设计
根据功能划分,南方报业IAAS基础云平台管理架构分为三大部分:IAAS基础云平台管理系统、核心支撑系统和辅助支撑系统。其中IAAS基础云平台管理系统的主要功能是整合计算、网络、存储资源,并按照需求自动分配或回收这些资源;而支撑系统主要包括监控、配置、负载均衡等,主要监控系统的运行状况,实现软件的自动部署和高可用。
5.1 主要软件产品选型分析
1. IAAS基础云平台管理系统:OpenStack,目前最主流的云计算开源框架,我们采用了其最新版本Icehouse。OpenStack有很多的组件模块,根据业务需要,我们将选择启用以下组件:
1) Nova:管理云的计算资源、网络、授权及调度。Nova通过Web服务API来对外提供处理接口,这些接口与Amazon的Web服务接口是兼容的。
2) Keystone: 为所有的OpenStack组件提供认证和访问策略服务。
3) Glance: 用于虚拟机镜像发现、注册、检索等管理服务。
4) Horizon: 管理、控制OpenStack服务的Web控制面板。
5) Swift: 提供一种分布式、持续虚拟对象存储服务,用API接口提供对象存储服务。
6) Cinder: 核心功能是对卷管理,整合后端多种存储,用API接口提供块存储服务。
7) Ceilometer: 数据采集(监控数据、计费数据)模块,采集到的数据提供给监控、计费、面板等项目使用。
2. 核心支撑系统:
1) 基础操作系统:OpenStack官方文档支持RHEL、CentOS、Fedora、Ubuntu、Debian、OpenSUSE等。基于集团已熟练应用CentOS的现状,选择CentOS。
2) 底层关系型数据库:OpenStack官方支持MySQL和PostgreSQL作为其底层数据库服务器,两者均可以稳定地提供数据存储服务。MySQL是目前开源社区内应用最为广泛的关系型数据库管理系统,各种解决方案也较为丰富,运维成本较低。根据实际生产环境案例的经验,双主MySQL方案在大中型OpenStack环境下经受了负载压力的考验,基于上述考虑,拟采用MySQL作为底层数据库服务器,采用Galera作为其集群解决方案。
3) 底层消息队列系统:OpenStack官方支持RabbitMQ与Apache Qpid作为其底层消息队列服务器,两者均可以稳定地为OpenStack提供消息队列服务,但RabbitMQ应用更广泛,因此选择RabbitMQ。
4) 底层虚拟化管理程序:比起其他的虚拟化管理程序,OpenStack对KVM和Xen的支持最好。相对KVM,Xen的性能更好,但配置和维护更加复杂,并且会给系统内核升级等工作带来更大困难,因此选择KVM。
3. 辅助支撑系统:
1) 监控系统:监控物理机与虚拟机性能,OpenStack平台各组件服务状况的监控是由OpenStack的Ceilometer组件负责。业界常用的开源性能监控系统主要有Zabbix、Nagios和Cacti等。Zabbix从功能、易用性、可扩展性以及应用广泛性上都要优于另外两者。为提高OpenStack平台的稳定性,将监控所需数据库与云平台数据基础库分离, 考虑到PostgreSQL技术特性及集团已有相关人才储备,选择PostgreSQL作为监控数据库。
2) 配置管理系统:业界常与OpenStack配合使用的开源配置管理系统主要有Chef和Puppet。其中Chef社区支持较好,并且OpenStack的发起人之一Rackspace也提供了基于Chef的OpenStack自动化部署方案,这将极大地节省部署时间,避免人工参与可能造成的错误。此外,Chef在性能方面优于其他方案。
3) 负载均衡系统:HAProxy提供基于TCP和HTTP应用的代理,支持虚拟主机。Keepalived的作用是检测服务器的状态,HAProxy+Keepalived组合是免费、快速并且可靠的高可用负载均衡解决方案。
4) 授时系统:采用NTP,它是用来使计算机时间同步化的一种协议,提供高精准度的时间校正。
5) 非关系型数据库:由于传统关系型数据库不适合存储云平台产生的大量监控数据和日志数据,因此,按照官方推荐,方案选择使用Mongodb数据平台存放Ceilometer产生的日志数据。Mongodb是非关系数据库当中功能最丰富,最像关系数据库的。它的特点是高性能、易部署、易使用。
6) 分布式存储系统:方案选择目前OpenStack社区使用最广泛的Ceph项目作为分布式存储系统。它可以同时提供对象存储、块存储。
综合上述分析,云管理平台模块选型如表1所示。
5.2 软件部署架构设计
OpenStack集群内的物理服务器按照服务功能分为三类,即管理节点、计算节点和存储节点。
管理节点上运行云平台的认证与授权、虚拟镜像服务、MySQL数据库、RabbitMQ消息队列服务等,负责云平台管理控制;
计算节点负责承载所有的虚拟机,部署OpenStack计算节点模块,负责提供云平台计算能力;
存储节点则作为存储服务后端挂载存储设备,分为传统集中式存储和分布式存储,运行OpenStack的Swift、Cinder模块,提供对象存储和块存储服务。
云平台各组件可按照其重要程度分为两类。重要程度较高的组件例如关系型数据库系统、消息队列系统等,此类系统一旦停止服务,将影响IAAS云平台管理系统的功能,因此这类系统均需要按照高可用的解决方案来部署。重要程度较低的包括授时系统、监控系统、配置管理系统、软件包镜像和网络启动安装系统,此类系统出错后不会对基础云平台的功能造成直接影响,尽快排除错误或恢复备份即可。
云高可用设计分为硬件和软件两部分,硬件高可用设计分为计算资源高可用、网络高可用及存储高可用,软件高可用设计分为云平台高可用及应用的高可用。
计算资源高可用主要为云主机提供动态迁移,这是为了避免物理机的单点故障,在物理机突发宕机时,云主机可以动态迁移到其他物理机上,以缩减业务宕机时间。但这需要部署共享存储。
网络高可用设计主要体现物理机网络和云主机网络两方面。物理网络即服务器网卡、接入和汇聚交换机都采取冗余连接。云主机网络方面,计算集群中每个节点均额外部署网络虚拟化(nova-network)以及元数据服务(nova-api)模块,避免单点故障。
存储系统的高可用性包括本地存储以及网络存储。计算节点服务器均本地硬盘做RAID1,网络存储盘做RAID5。对象存储服务采取数据冗余设计和多代理节点负载均衡部署方式提供高可用能力,而块存储服务则主要依靠其后端的存储自带高可用机制。
云计算平台高可用设计主要体现在各个控制节点的服务高可用上。控制集群采取冗余方式避免控制节点、管理服务、底层的数据库和消息队列的单点故障。
应用层的高可用性由应用层解决,需支持分布式部署。
5.3 存储系统设计
云平台存储利用传统集中式存储和新的分布式存储技术提供对象存储、块存储服务。
1. 对象存储:部署OpenStack的Swift组件,并与Glance进行集成,存储云主机模板及提供备份的存储后端等。
2. 块存储服务:部署OpenStack的cinder-volume模块,为虚拟机提供iSCSI形式存储,扩展云主机的存储空间。
集中式存储运维技术成熟,适合为数据库类型系统提供直接访问服务,云平台初期的存储主要由集中式存储提供。
分布式存储可任意扩展伸缩,在达到一定规模之后,能提供更好的IO性能,且单位存储空间成本明显低于集中式存储。但由于技术较新,缺乏运维经验,因此先对开发测试区域提供服务,待积累一定经验后,逐步向生产区域推广。为发挥分布式存储高IO处理的特长,分布式存储区域建立万兆网络。
云平台虚拟机动态迁移功能需共享存储资源支持。虽然集中式存储同样能实现共享存储,但云平台的规模会使得它在IO处理能力上出现瓶颈,因此适宜采用分布式存储提供共享存储服务。初期,云平台仅为开发测试业务提供虚拟机动态迁移能力,待分布式存储具备生产环境使用能力后再为生产系统提供虚拟机动态迁移功能。
5.4 网络架构设计
OpenStack中管理虚拟机网络共有两种方式,novanetwork和neutron。尽管OpenStack官方推荐使用neutron,但由于nova-network结构简单、稳定,有大规模使用案例,而以“软件定义网络”(SDN)为核心的neutron由于部署、维护复杂且未有大规模生产环境中成功案例,因此采用novanetwork来管理虚拟机网络。
在nova-network模块中,共有三种工作模式可供选择,Flat、FlatDHCP和VLANManager。其中VLANManager由于可以实现多租户网络隔离和计算节点上网络的高可用性部署,因此采用VLANManager模式管理虚拟机网络。
5.5 IAAS云架构逻辑图(见图3)
6 现有软硬件系统的迁移与整合
云平台建成后,原有软硬件经评估、测试后迁移至云平台。
硬件系统的整合流程如图3所示:
最低的配置原则建议:中央处理器为64位并支持虚拟化功能、至少具备两个千兆以太网口、服务器购置时间不超过两年等。
软件系统迁移有以下建议:
1. 原则上先将启用开发测试云,以检验云平台的稳定性;
2. 将业务系统按重要程度分级,按照从低往高的次序分批进行云迁移适应性评估测试,评估可行的才能迁至云平台;
3. 应用迁移应尽力避免服务中断,可先行在云平台上搭建目标系统,再进行数据备份与迁移,待测试稳定后,停止原有系统的运行并保留一段时间。
7 结束语
开源架构具备技术架构灵活、大幅降低成本、提升技术掌控力等优势,但是也将技术人才的培养提到了至关重要的位置。它把原来需要投入给软硬件平台的资金转向投入自身技术团队培养,集团采用开源架构建设IAAS平台是慎重考虑的结果,这个决定将使得整个技术部经历一个较长阵痛期,但是我们认为这种经历长远来看是值得的,它将全面提升集团信息技术人员的专业能力价值,向真正的互联网新媒体迈进。
IaaS平台 篇3
加利福尼亚的Yourseff和IBM华盛顿研究中心的Butrico的等人根据可组合性对云系统进行了分类, 并重点介绍了云的层次栈[1], 阐述了个层次的内涵、作用、架构, 并分析了它们之间的相互关系。Yourseff等人认为云计算可以看做是一种新的计算机范式, 云计算的发展, 很大程度上是建立在现有的技术基础之上的。除了集群、网格计算和并行计算, 还包括了虚拟化技术。这些技术为云计算的诞生奠定了坚实的基础, 当然P2P、SOA等技术也间接的对云计算技术的形成产生影响。
Yourseff等人对云计算的各个组件进行了归类, 并阐明了它们之间的相互关系, 并将云计算的三种服务 (Saa S, Paa S, Iaa S) 归属到云系统的不同软件架构层。如图1所示。
2 Paa S形式的云计算架构
Hadoop是一个开源的云计算平台, 它实现了Google云计算的主要技术。我们可以知道Hadoop是属于Paa S的。Hadoop可以在大量廉价的机器组成的集群中运行, 能够为用户提供低成本、高效率和高可靠性的服务。Hadoop平台中最重要的两个架构是Map Reduce和HDFS (Hadoop分布式文件系统) , 但还有其它的子项目提供补充性服务。
Core:一系列分布式系统和通用I/O组件和接口, 是整个Hadoop项目的核心。
Avro:一种提供高效、跨语言RPC的数据序列系统, 提供持久化数据存储。
Map Reduce:分布式出数据处理和执行环境, 运行于大型的商用集群。
HDFS:运行于大规模集群、提供高吞吐量的分布式文件系统。
Pig:运行在Map Reduce和HDFS之上的数据流语言, 用以检索非常大的数据集。
Hbase:一个使用HDFS作为底层存储的分布式、列存储数据库系统。
Zoo Keeper:一个分布式、高可用的协调服务, 用以解决一致性问题。
Hive:管理HDFS中存储的数据, 提供基于SQL的查询语言, 是一个分布式数据仓库。
C h u k w a:分布式数据收集和分析系统, 运行HDFS中存储数据的收集器, 使用Map Reduce来生产报告。
3 Iaa S层的云计算架构
Eucalyptus[1]是专门用于支持云计算研究和基础设施的开发。它对应于基础设施即服务 (Iaa S) 层。Eucalyptus实现的Iaa S的特别之处在于它容易在研究环境中进行安装和维护, 以便于修改、实验和扩展。在研究环境下, 系统不可能为基础设施中的每个软硬件资源指定一个配置, 也不可能有大量的资源来保障系统的性能。因此, Eucalyptus是Iaa S中一个比较独特的例子, 也是未来的多集群开源设计的先驱。
不同于其它的云计算提供商所提供的云计算系统, 它所使用的计算和存储基础设施如集群和工作站可为学术研究组织所用, 为科研人员提供了一个开放的研究和试验平台, 该平台为用户提供了运行和控制部署在各种虚拟物理资源上的整个虚拟机实例的能力。Eucalyptus的设计强调模块化, 方便研究人员对资源调度、扩展性、安全性等进行实验分析。
4 构建综合形式 (Paa S+Iaa S) 的云计算架构
Google的云计算架构是基于Paa S和Saa S层的, 为用户提供平台服务如Google Ap p Engine, 也为用户提供软件服务, 如Goog le Docs等。当是由于Google的云计算系统是不开源的, 所以不可能获得Google的云计算系统。不过Hadoop恰恰是Google云计算系统的开源实现, 可以免费获得。所以我们将使用Hadoop做为我们Paa S层的云计算架构。如4.1节所讲的那样, Hadoop有很多的特点, 并且提供了很多服务, 如Hbase, Zoo K eeper, Pig等上层服务。
作为Iaa S的云计算架构也很多, 如Open Nebula、Eucalyptus等。之所以选择Eucalypt us作为我们的Iaa S的云计算架构, 主要是它是基于模块化开发, 而且面向对象的主要是科研人员。由于实验环境下, 物理机器资源不够, 所以Eucalyptus将主要向Paa S提供虚拟机实例。
安装环境为操作系统是Cent OS5.4, 虚拟机为Xen 3.0, Eucalyptus的版本为1.6.2。Euca2tools为1.2, Hadoop为0.20.1, JDK1.6。环境中共两台物理主机, 在一台物理主机上安装CLC, CC, WC, SC等节点, 在另一台物理主机上安装NC节点。pc XXX的IP地址为192.168.0.1, pc YYY的IP地址为192.168.0.2。把pc XXX作为Namenode和Job Track er, pc YYY中由Eucalyptus提供出来的虚拟机作为Datanode和Task Tracker。如图2。
Eucalyptus安装好后, 可以通过命令行启动前端和后端节点上的相应服务, 然后通过设置Eucalyptus的相应配置文件, 可以选择网络管理模式等。初期选择的是最简单的网络模式, 即VNET_MODE=SYSTEM。这个模式只能设置局域网中虚拟机的ip地址, 如果需要设置不同的外网及内网ip, 可以采取S T A T I C及M A N A G E D模式等。
5 结语
本章主要介绍了云计算平台体系结构方面的内容。首先介绍了两种体系结构的划分, 分别是Lenk等人和Yourseff等人的划分方法。然后介绍了Paa S的概念和基本功能, 并研究了P a a S层的云计算架构——Hadoop。其次, 再介绍了Iaa S的概念和基本功能, 研究了Iaa S层的云架构——Eucalyptus。最后, 针对现行的云计算平台提供的服务类型都比较单一, 要么是S a a S层的, 如Sale Force。要么是Paa S层的, 如Google App Engine。要么就是Iaa S层的, 如Amazon EC2等。为了提供更全面的服务, 本论文在其它开源软件的基础之上, 构建了一个既可以提供Paa S层服务又可以提供Iaa S层服务的云计算架构平台。
参考文献
[1]刘鹏.云计算, 2010.
[2]云安全联盟.云计算关键领域安全指南, V2.1, 2009.
[3]刘鹏.云计算发展现状.http://www.chinacloud.cn/show.aspx?id=754&cid=11.2009.
[4]Jeffrey Dean, Snjay Ghemawat.MapReduce:Simplified Data Processingon Large Cluster[C].OSDI, 2004.
[5]Sanja Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google filesystem.SOSP, 2003.
IaaS平台 篇4
说起Iaa S, 就不得不先提一下云计算。云计算其实只是一个概念, 就如“互联网+”, 有人说“互联网+”是一种互联网思维, 那云计算, 其实也算是一种思维的产物。
云计算是一种通过互联网进行访问, 按照使用量进行付费, 能够提供便捷网络访问的虚拟化资源。使用者可以进入计算资源共享池, 选取自己所需要的资源或者服务, 避免繁杂的操作和琐碎的管理, 从而大大提高工作效率。
而Iaa S便是云计算“货架”上的一种“商品”, 与Paa S和Saa S构成了云计算的三种不同资源形式。Paa S是平台即服务, Saa S是软件即服务, 而Iaa S则是基础设施即服务。Iaa S是云计算中的基础设施服务层, 通过采用资源池构建、资源调度、服务封装, 将厂商的计算单元、存储器、带宽等基础设施集中起来, 作为一个虚拟的资源池对外提供服务, 将IT资产迅速转变为可交付的IT服务。
比较典型的Iaa S有亚马逊的弹性计算云EC2, 借由提供web服务的方式, 让使用者弹性地运行自己的Amazon机器映像档, 可以在这个虚拟机器上运行任何自己需要的软件和应用程式。S3简单存储服务也是Iaa S的一种, 它表现为一个超大的硬盘, 使用者可以在其中存储和检索数字资产。
二、云计算Iaa S的发展
2.1云计算Iaa S的定价
实际上, 云计算也是一种交易, 而涉及交易, 必定会关系到定价的问题。使用者通过支付费用使用提供商的资源, 而提供商, 也通过为使用者提供资源获得利益。2006年弹性计算云被推出, 2009年12月, Amazon提出现货竞价实例的概念, 通过按使用量支付的方式收取服务费用, 今年亚马逊AWS云计算服务年收入达到50亿美元, 每年都以50%左右的速度增长。
当下, 中国云计算生态圈正处于快速进化的阶段, 据IDC发布的2015年技术发展趋势报告中显示, 云计算的市场规模到明年将达到1180亿美元。小米、金山、BAT、微软、IBM以及其他企业、运营商等等都在对云计算领域保持关注, 越来越多的资本和“玩家”进入, 让Iaa S定价成为需要关注的问题。
目前云计算Iaa S的定价模式有三种:按需运行、保留运行和现货竞价。
按需运行, 使用者可以根据实际应用情况调整需求, 采用按需求付费。类似于手机通话, 打多少分钟电话, 就缴纳多少通信费。用多少付多少, 方便灵活, 但是单价相对较高。
保留运行则是类似于手机的包年和包月套餐, 签订一定时长的合同, 并且一次性支付费用, 相对而言, 这种方法费用较低, 但是对于使用者的约束较高。
现货竞价则类似于竞拍, 厂商根据实际需求周期发布即时价格, 用户最高竞价高于即时价格, 服务则会继续执行, 而用户最高竞价低于即时价格, 服务则会被自动中断。
三种模式各有优缺, 在用户体验和厂商利润之间的取得平衡, 不仅关系到用户的实际利益, 也直接影响到厂商的生存延续。按照实际情况去执行, 甚至将多种定价模式进行组合, 能为云计算Iaa S的生态圈环境作出一些良性改变。
2.2云计算Iaa S的安全
在云计算Iaa S中, 存在着两个方面的安全问题:同用户的数据安全和不同用户之间的数据安全。
同用户的数据安全, 一般而言是指用户自己对于数据的用途不同。一部分数据, 如企业公开财务信息、公司最新新闻、公司股票信息、公司业绩等等, 是可以向社会大众公开的公共资源。而另一些, 如企业的技术信息、资金变动等等内部重要信息, 关乎到企业的生死存亡, 是不能对外公布的核心数据。
云计算Iaa S需要对两种数据进行分别处理, 并且进行全方位的保护, 保证数据的安全和隔离, 防止后者数据出现在前者的数据中。
不同用户之间的数据是不同的, 甚至有些用户数据是不能外泄的。一旦发生用户之间的数据相互覆盖、复制, 不仅对用户造成困扰, 也会让用户产生不信任感。这就需要对不同客户间的数据进行隔离, 保证各个客户的数据间的准确和安全, 防止“串门”事件的发生。
另外, 做好安全审计也是商用系统信息安全的重要部分, 对各类操作建立日志, 并且分析审计, 对虚拟机、数据库、管理信息等等进行安全审计, 保证系统的安全。
在此基础上, 还需要保证客户数据的完整、更新及时, 建立防火墙、数据加密、权限设置、数据备份等等对数据进行全方位的安全保障, 并且结合法律方面的东西, 在规章制度上对数据安全进行有效保护。
随着越多越多企业和政府的参与, 云计算Iaa S基础设施服务系统, 必将迎来百花齐放的美好未来!
摘要：本文阐述了云计算Iaa S基础设施服务系统的概念, 分析了云计算Iaa S定价和安全方面的问题, 为云计算Iaa S的未来发展提供借鉴。
关键词：云计算,IaaS,分析
参考文献
[1]岳冬利, 刘海涛, 孙傲冰.Iaa S公有云平台调度模型研究[J].计算机工程与设计.2011 (06) :1889-1892.
IaaS平台 篇5
在当今云数据中心的Iaa S层, 服务器的网络连接方式仍旧沿用传统方式为主。这种缺乏灵活性的I/O基础架构增加了系统成本、降低了系统部署速度, 无法实时响应不断变化的业务需求。
服务器I/O是限制服务器虚拟化的主要因素之一。虚拟化灵活部署、动态迁移等需求, 对服务器的I/O提出如下挑战:
1.1 网络连接增加
为了实现灵活部署, 服务器需要连接到所有的网络, 一台服务器可能需要连接SAN、DMZ和两者间的每个网络。为了确保各类网络的隔离, 需要为关键的虚拟机和管理网络配置专用的网络连接, 这就导致每台服务器都需要设置大量的物理连接。此外, 如果业务需求发生变化, 虚拟化服务器很有可能还需要重新配置I/O连接。
1.2 带宽需求增加
虚拟化增加了服务器I/O的带宽需求。传统服务器的处理器利用率通常为10%, 虚拟化服务器的处理器利用率则可能提高到50%以上。I/O利用率也会出现类似的增长, 使得I/O路径暴露出新的瓶颈。
2 传统I/O无法适应虚拟化应用
传统I/O是面向“每服务器单一应用”的部署方式而设计的, 传统I/O可以通过下述方式重用到虚拟化服务器, 但这些重用方式普遍存在严重的局限性:
2.1 使用服务器现有的I/O
由于多种原因, 这种方式可能无法实行。应用程序在高峰运行时期可能出现冲突 (如备份VM虚拟机时) , 解决这个问题需要购买更多的网卡或在VM间采用负载均衡。
2.2 扩展每台服务器的I/O
绝大多数IT管理人员会增加服务器的I/O连接, 以适应虚拟化的需求。尽管这种方式是可行的, 但并不理想, 因为虚拟化用户需要为每台服务器配置6到16个I/O连接, 这大大增加了成本和管理难度。更重要的是, 这种方式还需要采用较大型的服务器, 才能插入多个I/O卡, 使服务器的成本、占用空间和能耗显著增加, 而服务器的I/O成本甚至会超出服务器本身。
2.3 刀片服务器受限制
刀片服务器采用内部背板减少了网络连接数量, 解决了线缆蔓延问题。但与此同时, 网络连接数量的限制会对虚拟化造成影响。扩展刀片服务器的网络连接以满足虚拟化需求, 已经被证明不仅成本高 (有时需要额外购置一台刀片服务器) , 而且无法保障一定能够达成目标。
3 I/O虚拟化的应用优势
3.1 保证可预期的应用网络性能
在Iaa S层环境中, 要确保应用的网络性能和隔离性是有一定难度的。在实际部署中, 消除瓶颈和确保关键应用的带宽是非常重要的。虚拟I/O提供了更为经济、更易管理的选择, 通过三种方式提供可预期的应用网络性能。
动态分配带宽:每服务器20Gb的带宽可由虚拟机动态共享。传统I/O可能只能为一个应用提供1Gb带宽, 但采用虚拟I/O技术, 在需要的情况下, 所有带宽都可用;
资源隔离:可以为特定VM分配专用连接, 以实现I/O隔离;
服务品质 (Qo S) 保证:确保关键应用能够获取所需带宽。即使在发生资源争夺的情况下, Qo S都能为特定应用分配有保障的带宽资源, 从而确保可预期的应用性能。吞吐率是由硬件实现的, 受控于用户自定义设置。
3.2 增强虚拟计算环境的I/O安全性
在实际的运用中, 某些虚拟主机需要对外提供服务。为了更好地提供服务, 同时又要有效地保护内部网络的安全, 可以将这些需要对外开放的主机与内部的网络设备分隔开来, 便能在对外提供友好服务的同时最大限度地保护内部网络。
除了实现传输隔离之外, 虚拟I/O还能够按需添加连接, 这一功能使云数据中心Iaa S基础架构更为灵活和安全。I/O虚拟化架构下, 仅需为运行这些虚拟机的ESX服务器配置到防火墙DMZ的连接。移除到防火墙DMZ的连接, 便可消除服务器的潜在安全隐患。如果产生了更多的DMZ连接需求, 虚拟I/O解决方案可以随时为其他ESX服务器建立连接。传输和连接隔离显著增强了虚拟机的性能, 并消除了传统网络架构中潜在的安全风险。
3.3 兼容机架和刀片服务器的环境
刀片服务器一般仅配有4个以太网NIC和两个光纤通道HBA。有限的I/O性能极大的限制了刀片服务器在单一主机上运行多个虚拟机的能力。在多个虚拟机之间共享I/O资源将导致冲突和瓶颈, 如果有更多可用的I/O资源, 这些状况就可以避免。
虚拟化I/O解决了刀片服务器的I/O瓶颈问题。I/O虚拟化采用高速连接和虚拟资源代替了传统的I/O资源, 使虚拟机获取了更多的带宽和更好的隔离性。绝大多数刀片系统都能够提供可支持的HCA卡。
3.4 实现快速服务器故障迁移无须重映射或重布线
虚拟I/O环境中, 虚拟I/O资源能够快速的从一台服务器迁移到其他服务器, 从而简化了容错型数据中心环境的构建。由于一台服务器的I/O特性通常是由其连接、MAC地址和WWN定义的, 因此虚拟I/O资源的迁移会有效的影响服务器特性的迁移。这使得物理资源能够在系统故障或升级的情况下快速的从一台服务器迁移到其他服务器。
3.5 创建高速、隔离的VMotion专属网络
在常规的VMware部署中, VMotion信息和生产数据使用相同的以太网交换机架构进行传输。使用虚拟I/O可消除这种方式引发的安全隐患。通过采用高速、低延时的I/O虚拟化网络技术作为虚拟机基础架构, VMotion传输既可以采用高速网络, 又实现了和生产数据的隔离。虚拟NIC和专用的以太网I/O模块能够创建一个内部交换、高速、低延时的网络, 使得VMotion能够在一个独立的、传输速率达10Gbps的以太网环境中传输数据。
3.6 灵活的服务VM迁移, 无须重配存储
安全性的要求在某些时候会限制VMotion的使用。要将VM从一台服务器迁移到另一台, VMotion需要两台服务器同步“看到”相同的网络和存储。因此, VMotion集群中的所有服务器需要“开放”的访问, 这种配置在某些IT环境无法满足安全性的要求。
虚拟I/O为VMotion提供了另一种选择——无须开放访问便可实现虚拟机的迁移。通过I/O的迁移, 一个VM可以在一台服务器上被挂起, 随后在另一台服务器上恢复, 无需同时为两台服务器开放存储访问。
3.7 降低虚拟I/O总体应用成本及能耗
虚拟I/O技术消除了连接的局限性, 使服务器可以更广泛地部署到虚拟化环境中。I/O卡数量的精简也意味着功耗的降低, 边缘交换机和线缆数量也随之减少, 服务器I/O设备成本可总体节约30%到50%, 由PCI卡数量和网络交换机减少而带来的能耗节约也不容忽视。
4 结语