虚拟机动态迁移（精选7篇）
虚拟机动态迁移 篇1
摘要：以虚拟机历史运行轨迹为依据,首先探讨虚拟机迁移对系统稳定性的影响。立足个体运行轨迹分布函数,提出基于心跳幅度的虚拟机动态迁移选择算法。该算法突破了传统以所有节点整体分布函数为基础的统计分析模型,充分挖掘并利用了个体运行特征,有效提升虚拟机迁移选择的合理性和整个虚拟环境的服务效率。最后,以实验为基础,对算法的有用性和有效性进行分析与验证。
关键词：云计算,虚拟机选择,动态迁移,心跳幅度
0引言
随着云计算理念的不断普及和深化,以虚拟化为主要支撑技术的资源管理模式逐渐成为人们关注的焦点和难点。据Gantner[1]统计和预测,2009年,全球虚拟机(Virtual machine,VM)节点总数约为1 080万,2012年将达到5 800万,且整体发展还呈现快速上升态势。一方面,虚拟化技术的不断普及极大地促进了相关领域技术的发展,包括云资源管理技术、虚拟化迁移技术等;但另一方面,如何有效地对VM迁移进行管理逐渐成为一个急待解决的难题。目前,针对VM迁移管理的研究工作主要涉及VM负载检测和评估、待迁移VM选择、目标迁移主机选择以及动态迁移执行等。
为解决上述问题,该领域人员纷纷开展大量研究工作,并取得了很多有意义的研究成果,但从现有进展来看,还有很多工作有待解决和完善。以VM动态迁移选择而言,文献[2]提出了基于多层Web应用请求分布的最小能量点确定算法,但该算法与负载类型及应用相关,很难适应云计算环境的普适应用需求。文献[3—4]以持续优化策略为基础,在每次迁移过程内都会对所有虚拟机全局最小能量消耗和最佳性能进行优化,进而使VM分布无限接近最优化解。但上述三类算法都不支持服务层次协议(Service level agreements,SLA),当负载发生变化时可能导致应用程序性能下降[5]。
针对上述研究的不足,文献[6]提出了一种固定资源阀值的迁移目标选择策略,但该策略不能适应资源使用模式不稳定的IaaS环境应用需求。文献[7]以离线分析为基础,提出基于时间变化概率密度函数(如平均值和标准均方差等)目标迁移选择算法,但该类算法很难适应动态的IaaS环境应用需求。文献[5]提出了最小迁移时间策略、随机选择策略以及最大相关性策略三种VM迁移选择算法,但从本质上看,该三种选择策略都是基于个体对象偏离总体分布的思想而展开。相关工作还包括文献[9]等。
必须认识到的是,对于一种VM动态迁移选择过程而言,为了提升整个系统的稳定性和服务效率,分析对象应为目标个体运行轨迹的抖动程度。换言之,应以获取当前系统中最不稳定的目标个体的目标,而非从统计层次上寻找占用资源最多或最小的个体。
基于上述,文章提出了一种基于心跳幅度的VM动态迁移选择算法。该算法突破了传统以运行整体分布函数为基础的统计分析模型,充分挖掘并利用了个体运行特征,进而提升了VM动态迁移选择的合理性和整个虚拟环境的服务效率。
1基于心跳幅度的VM动态迁移选择算法
1.1 VM动态迁移选择基准
为了从主机承载的VM组中选择一个或多个待迁移VM,确定一个合适的选择策略是先决条件。通常,一个待迁移VM选择策略至少需满足如下2个特征:(1)算法复杂度应尽可能低,以便快速获取待迁移VM,提升整个系统的服务质量(Quality of Service,QoS);(2)当选定的VM被迁移出主机节点后,能够在尽可能长的时间内保证整个物理主机和物理主机中其他VM节点更高效且更加稳定地运行。
必须明确的是,目前对VM动态迁移选择策略是以个体为单位的,包括一次策略(平均值)、二次策略(标准均方差和关联度分析)以及随机策略。对于一次和二次策略,目前所有算法都以节点资源占用率偏离中心区域分布为基础。如图1所示,其中,横轴表示在分析时域内整个主机的资源使用统计分布,曲线1和曲线2分别表示两个不同VM在分析时域内的资源使用分布。依据现有策略(包括一次和二次策略)基准,所有算法都会选择曲线1描述的目标VM作为选择对象。显然,对于曲线1而言,在整个分析时域内其心跳幅度仅为1.5,而曲线2的心跳幅度为2。换言之,曲线2所描述的VM对象在整个分析时域内对整个主机的资源抖动的影响比较曲线1所描述的VM要大。故为了满足特征(2),从VM节点的资源心跳幅度出发选择待迁移VM要比基于平均值或中心偏离度的选择策略更加合理且客观。
1.2基于资源心跳幅度的VM动态迁移选择算法
考虑到现有算法立足点的不足,文章提出了基于资源心跳幅度的VM动态迁移选择算法(Headbeat scope, HBS)。该算法以VM多个连续时刻的资源使用率为参照点,通过对分析时域内VM资源使用率的心跳幅度值进行统计分析,并借助现有成熟的数理统计方法实现对目标待迁移VM的判断和选择。具体算法流程如图2。
由上述算法可知,HBS算法与文献[5]中的MMT和MU的算法复杂度都为O(n*Len),且都比MC(O(n2*Len))算法复杂度要低,其中,n为物理主机所包含的VM节点数量,Len表示每个VM节点所记录的时域长度。另外,在实际分析过程中,可依据分析需要引入其它统计分析函数(如均方差,标准差等),以进一步优化整个算法的效率和质量。
2 实验分析
为了对本算法的有效性和有用性进行分析和验证,以实际系统中运行的数据为基础进行分析是一项必要措施。因此,在实验分析中,文章以CoMon[8]项目运行数据为对象进行分析。该项目运行数据涉及全球500个服务器中心,800台主机节点,以及约1000个左右的VM节点数量。对于所有运行数据,每个VM的负载轨迹都是随机生成的。为了便于分析与比较,文章从2011年3月和4月中选择8组数据作为实验分析对象,负载检测算法采用四分位差(Inter-quartile range,IQR)[6], 且策略安全参数为1.5,历史数据记录最大数量为12。实验硬件参数如下:CPU为AMD Athlon(tm) II X2 260,3.2 GHz;内存2 GB;虚拟内存2 GB;操作系统为Windows XP。具体实验结果与分析如下:
(1) 消耗能量及实际迁移VM数量分析
由图3—5可得,在基本相同能量消耗分布情况下,若采用HBS算法,整个集群环境的VM迁移数量较最大相关度(Maximum correlation, MC),最小迁移时间(Minimum migration time, MMT)以及最低利用率(Minimum utilization, MU)算法都大幅减少。具体而言,HBS VM迁移数量只相当于MC算法的54.6%,MMT算法的51.8%,MU算法的27.4%(采用HBS、MC、MMT、MU时,实际迁移VM数量的平均值分别为15 304,28 021.63,29 563,55 870.38)。由于所有应用层服务都是以VM为载体,且迁移过程将导致VM整体性能出现不可避免的下降。因此,HBS算法能够显著提升整个集群中VM集及其所承载的应用层服务QoS,特别是持续服务的稳定性。
值得注意的是,由图3和图4可得,对于四种算法,整个集群主机所消耗的能量总和基本相同,且整个分布规律也大致相同,包括物理主机关机的数量。换言之,VM动态迁移选择过程对整个集群环境的能量消耗分布影响很有限。因此,若要降低整个集群环境的能量消耗,应将重点落在对负载主机的判断以及目标迁移主机的选择上。另一方面,这也说明VM动态迁移选择与负载主机的判断及目标迁移主机的选择过程相互影响比较小,或者相互之间的关联性对提升整个集群的稳定性和性能影响有限。
(2) 服务等级协议(Service-level agreement, SLA)分析
SLA是评价系统稳定性的重要指标。通常,SLA值越低,表示系统运行越稳定,反之亦然。在HBS算法中,选择目标待迁移VM的出发点是目标节点的连续时间检测点的性能差异,因此,在每次选择时,其总能获取整个主机中心跳幅度最大的VM,而这些节点也最可能成为影响主机节点稳定性的热点VM。如图6所示,若采用HBS算法,整个系统的稳定都较其它三种算法更稳定。从整个时域来看,在采用HBS,MC,MMT,MU时,SAL平均值分别为5.611×10-5%,6.654×10-5%,6.044×10-5%,1.694×10-4%。
另外,由于HBS引发的VM迁移数量和SLA值减少,因此,每次激活动主机的SLA时间比例也将更小。由图7可知,从整个时域来看,在采用HBS、MC、MMT、MU时,每次激活动主机的SLA时间比例分别为4.6575%,5.3538%,5.3863%,9.43%。
(3) VM选择时间的平均值分析
VM选择时间是指从VM动态迁移选择算法启动,到目标VM被确定之间的时域跨度。由图8可知,选择时域跨度越短,表示算法的运行效率越高,反之亦然。
由于HBS,MMT以及MU算法复杂度都为O(n*Len),是准线性级的,而MC则是准二次O(n2*Len)级(在文章实验中,Len都为12)。因此,HBS、MMT以及MU算法VM选择时间较MC要短;另外,由于HBS能够选择更合理的VM作为迁移对象,确保了整个主机及主机集群的稳定性和性能,因此,具体迁移选择过程中,HBS较MMT和MU能够呈现更高的选择效率。如图7所示,从整个时域来看,在采用HBS,MC,MMT,MU时,VM选择时间的平均值分别为0.002966,1.249918,0.005704,0.044321。
3 结束语
文章在分析现有VM动态迁移选择算法基础上,指出基于个体对象偏离总体分布的分析出发点的不足,进一步提出了基于心跳幅度的VM动态迁移选择算法,并以CoMon[8]项目实际运行数据作为实验分析对象,对基于心跳幅度的VM动态选择算法的有用性和有效性进行验证。该算法复杂度低、简便,且能够有效地提升整个目标主机集群的VM调度效率,提高整个系统的运行效率和稳定性。
结合当前领域的研究进展,在后续工作中,将重点探索主机负载判断和目标迁移主机节点的影响因子的分布函数,以期从整体上推进云计算环境下VM的服务效率和稳定性。
参考文献
[1]Thomas J B.Server virtualization:from virtual machines toclouds[R].Gantner.2011.
[2]Srikantaiah S,Kansal A,Zhao F.Energy aware consolida-tion for cloud computing[J].Cluster computing,2009(12):1-15.
[3]Nathuji R,Schwan K.Virtual power:coordinated power man-agement in virtualized enterprise systems[J].ACM SIGOPSoperating systems review,2007,41(6):265-278.
[4]Verma A,Ahuja P,Neogi A.pMapper:Power and migra-tion cost aware application placement in virtualized systems[C]//Proceedings of the 9th ACM/IFIP/USENIX interna-tional conference on Middleware.Belgium:Leuven,2008:243-264.
[5]Beloglazov A,Buyya R.Optimal online deterministic algo-rithms and adaptive heuristics for energy and performanceefficient dynamic consolidation of virtual machines in clouddata centers[J].Concurrency and computation:Practiceand experience,2012,24(13):1397-1420.
[6]Beloglazov A,Abawajy J,Buyya R.Energy-aware re-source allocation heuristics for efficient management of da-ta centers for cloud computing[J].Future generationcomputer systems,2012,28(5):755-768.
[7]Kumar S,Talwar V,Kumar V,et al.vManage:looselycoupled platform and virtualization management in datacenters[C]//ICAC,proceedings of the 6th internationalconference on autonomic computing.Spain:Barcelona,2009:127-136.
[8]Park K S,Pai V S.CoMon:a mostly-scalable monitoringsystem for planet lab[J].ACM SIGOPS operating systemsreview,2006,40(1):65-74.
[9]李运发,徐向华,万键.基于虚拟机负载迁移的资源调度机制[J].华中科技大学学报:自然科学版,2009,37(9):45-48.
虚拟机动态迁移 篇2
在虚拟化环境中, 动态迁移的虚拟机[1]是一个强大的管理工具,它促进系统维护、负载平衡、容错及电源管理。 由于动态工作负载使得有些节点利用率低下而有些节点却不堪重负,为了解决虚拟机物理节点之间的负载平衡问题,提出虚拟机迁移策略。
预复制技术[2,3]在高带宽低负载的环境中性能优越, 但处于低带宽高负载的情况时性能却表现较弱,导致停机切换时间和总迁移时间较长,影响了虚拟机的正常服务。 而本文将传统预复制技术与相关预测算法、趋势判断算法结合,并利用自适应停机阈值机制取代预复制技术固定阈值机制,从而有效减少了迁移过程中的总时间及停机时间。
1相关工作
最近几年,国内外很多学者针对预复制技术在低带宽高负载环境下的运行效率问题提出了很多完善和优化方法。 例如Chen Yang[4]等人在2011年提出一个基于内存混合复制方式的动态迁移机制Hyb MEC, 结合按需和内存推送两种复制方式来提高实时迁移性能;Hai Jin , Li Deng[5]等学者在2014年提出一个适应性压缩方法模型MECOM, 针对不同内存页面的特征使用相应的压缩算法来降低页面传输大小。 不同于以上各类优化方法,本文从预复制技术如何在低带宽高负载的环境下有效判断最优停机时机的角度对虚拟机实时迁移性能进行研究,旨在达到更好的迁移水平。
2传统预复制技术介绍及其优劣性分析
随着虚拟化技术不断发展,Clark 、Nelson等人[2,3]相继提出了预复制动态迁移技术,预复制的迁移过程如图1所示( 主机A为源主机, 主机B为目的主机) 。
虽然预拷贝技术在对应用及用户影响较小的情况下极大减少了停机时间, 适合迁移写操作不频繁的负载,但该技术仍存在以下问题:例如迭代过程中,进行多次迭代会增加迁移总时间,迭代不足又会增加不必要的停机时间,所以迭代次数的确定受到网络传输带宽及负载类型的影响; 当脏页率大于或等于页面传输速率时, 迭代过程可能进入不收敛状态等情况。
3基于Xen虚拟机改进后的迁移机制
在Xen[6]整个迁移过程中,最复杂的部分当属内存迁移。 本文在研究传统Xen内存迁移机制的基础上对传统迁移方案进行了优化。 传统Xen内存迁移机制如图2所示。
由图2可知,迁移执行模块实际负责了整个迁移过程的大部分工作, 因而该模块尤为重要, 但在其实现过程中仍有不足之处:(1) 在脏页率较高的情况下, 增加了脏页重复传输的概率。 (2)在第1轮迭代过程中,不需要传输所有的内存页,因为许多页在以后的迭代过程中被再次修改,需要再次迭代传输。
针对以上不足, 本文提出一种改进机制, 如图3所示。 除了对内存页进行信息监控,还通过先使用预测模型对后轮脏页率进行预测,在此基础上对脏页率的变化趋势进行分析, 使之与数据传输率进行比较, 结合自适应停机阈值机制使虚拟机在低带宽高负载的环境下也能有很好的表现。
4改进后Xen迁移算法的实现
4 . 1马尔科夫脏页预测
预测概率算法使用马尔科夫模型[7]。 本文设定状态E1表示内存页没有被读、写,设定状态E2表示内存页只读,设定状态E3表示内存页被修改,默认迁移开始前的状态为E1。 相关概念和计算公式如下:
( 1 ) 状态转移概率矩阵: 假定内存页有n个可能的状态, 即E1, E2, E3… En, 本文使用pij表示内存页的状态从Ei变成Ej的状态转移概率,状态转移概率矩阵为:
(2) 状态概率: 状态概率表示内存页的初始状态已知, 内存页的状态转移k次后变成状态Ej的概率,且:
由马尔科夫假设和贝叶斯条件概率公式得:
设定行向量 π(k)=[π1( k ) , π2( k ) , … πn( k ) ] , 由公式得到状态概率的递推公式:
由于只需要预测脏页的状态概率, 本文设置初始状态行向 π(0)=[0,0,1]。
4 . 2 Mann — Kendall趋势变化检验
当预测出后轮的脏页率高于网络传输带宽时, 改进后的迁移机制利用Mann—Kendall检验模型[8]对脏页率时间序列进行趋势分析,以确定停机时间。 该模型是一种非参数检验类型的时间序列趋势分析方法,其优点是不要求时间序列符合一定的分布, 受异常值的影响较小,而且计算简便。 采用Mann—Kendall模型检验脏页率变化趋势的过程如下:
( 1 ) 假设脏页率时间序列D = { d1, … , dn} 无趋势;
( 2 ) 如下计算 统计量S :
其中:
S为正态分 布 , 其均值为0 , 方差为 :
( 3 ) 取n > 10 , 计算一个标准正态分布统计量如下:
( 4 ) 在双边的趋势检验中, 取显著性水平 α = 0 . 05 , 若|Z|≥Z1 - α / 2( ± Z1 - α / 2为标准正态分布的1-α/2分位数), 则原假设不可接受,说明时间序列D有明显趋势。
( 5 ) 计算倾斜度 β 如式( 9 ) , 并进行趋势判断。
其中Median为取中值函数, 当 β>0时说明有上升的趋势,当 β<0则表示下降的趋势。
4 . 3自适应阈值机制的引入
根据上述脏页率的预测及趋势分析方法, 本文在预拷贝算法固定阈值的基础上引入了自适应停机阈值机制[8],具体实现如下所述:迭代拷贝过程中, 统计每个迭代轮中的脏页率以构成一个时间序列,在每轮结束时首先对后轮的脏页率进行预测。 若预测出脏页率大于等于数据传输率, 则进一步对脏页率时间序列进行趋势判断, 若判断结果为上升或平稳趋势, 则判定后面的迭代轮会进入到 “无法收敛”状态,那么就立即进入停机拷贝阶段; 否则, 说明脏页率的变化不会导致 “ 无法收敛” 状态, 则按原算法继续进行。 通过加入该机制, 迁移过程中可以实时监测脏页率的变化情况, 一旦发现有进入 “ 无法收敛” 的趋势就能在达到固定迭代次数阈值之前进行停机拷贝, 有效避免拖延总迁移时间, 及时控制停机时间。
5实验及分析
为了保证实验环境的稳定性, 测试出更精确的实验结果, 测试中构建了一个小的私有云平台, 基本可以满足Xen虚拟机动态迁移的实验要求。 其中使用两台普通PC分别做为源主机Host A和目的主机Host B , 另一台PC作为连接源主机和目的主机的NFS服务器, 为动态迁移提供NFS文件共享服务,并且使用了一台100 M交换机连接这几台PC。 该实验环境为3台PC配置相同的物理主机,CPU是Intel Core i5-3210 M , 其工作频率是2 . 50 GHz , 内存是2 048 M , 硬盘是320 G , 虚拟平台为Xen 4 . 3 . 1 。
本实验采用开源系统测试软件Lmbench为虚拟机测试写操作任务,使用其bw_mem命令对CPU性能进行测试,同时,修改bw_mem.c的wr函数,通过库函数usleep对内存写速度进行调整,借此测试程序为实时迁移中的虚拟机提供如下三种负载:(1)脏页率上升的写操作;(2) 脏页率下降的写操作;(3)脏页率平稳的写操作。 实验分为两种情况:
实验1:在原配置上启动虚拟机,其分别运行上述三种负载,从停机时间和总迁移时间两方面对比传统算法与改进算法的优劣,如图4、图5所示。
实验2 : 启动虚拟机( 其运行脏页率上升负载) , 利用Linux流量控制工具TC限制网络带宽分别为20 M、 30 M 、 40 M … 70 M , 在此配置下进行迁移算法对比实验, 结果如图6、图7所示。
6总结
本文在对后轮脏页率利用马尔科夫模型进行预测的基础上,结合Mann-Kendall验模型对迁移中脏页率的变化趋势进行判断,最后根据判断结果采用自适应阈值机制确定最优停机时间,更好地解决虚拟机中网络传输带宽的大小和运行负载的高低对传统预拷贝技术的影响。 同时实验结果表明,本文提出的优化机制能有效提高虚拟机基于预拷贝算法实时迁移的性能。
参考文献
[1]江雪,李小勇.虚拟机动态迁移的研究[J].计算机应用,2008(9):2375-2377.
[2]CLARK C,FRASER K,HAND S,et al.Live migration of virtual machines[C].Proceedings of the 2nd Symposium on Networked Systems Design and Implementation,2005:273-286.
[3]NELSON M,LIM B,HUTCHINES G.Fast transparent migration for virtual machines[C].Proceedings of the USENIX Annual Technical Conference,2005:391-394.
[4]Chen Yang,Huai Jinpeng,Hu Chunming.Live migration of virtual machines based on hybrid memory copy approach[J].Chinese Journal of Computers,2011,34(12):2278-2291.
[5]Hai Jin,Li Deng,Song Wu,et al.MECOM:Live migration of virtual machines by adaptively compressing memory pages[J].Future Generation Computer Systems,2014:23-35.
[6]石磊,邹德清,金海.Xen虚拟化技术[M].武汉:华中科技大学出版社,2009.
[7]孙国飞,谷建华.基于预拷贝的虚拟机动态内存迁移机制改进[J].计算机工程,2011,13(37):36-39.
关于虚拟机迁移技术的应用研究 篇3
在服务器或者虚拟机需要维护时, 需要对虚拟机或者服务器进行迁移, 可以将其负载迁移到另外的服务器或虚拟机, 完成维护之后再重新迁移回原处, 在这个过程中系统是一直在运行的;云计算分布式平台中, 在线迁移技术可以整合服务器资源, 在数据中心服务器出现过载问题时实现负载均衡;灾难恢复:利用在线迁移技术在不同的站点之间切换, 凭借运行远程备用服务器进行容灾;虚拟机迁移技术能够为用户节约在管理、维护、升级上的资金投入, 随着服务器的更新和虚拟技术的应用, 只需一台服务器就能完成过去多台服务器才能完成的工作, 减少机房占地;虚拟机中虚拟的硬件资源是统一的, 可以在一个统一的界面中进行管理, 在意外或者故障发生时能够自动迁移到其他相同的虚拟服务器, 而不中断服务。
目前虚拟机迁移有以下方式:
P2V:物理机到虚拟机
P2V是将物理服务器中的操作系统、应用软件及数据迁移到虚拟机中, 这个虚拟机由虚拟机监视器管理, 迁移过程首先由迁移工具对物理机中的操作系统、应用和设置进行镜像复制, 并转换成虚拟硬盘文件或者虚拟机磁盘格式文件, 然后P2V转换工具自动诸如虚拟硬件驱动, 并启动虚拟机运转起来。
V2P:虚拟机到物理机
V2P迁移是P2V迁移的逆向操作, 实现虚拟机中系统、程序和数据到物理机 (一台或多台) 主硬盘的迁移。适用于以下情况:虚拟机中程序运行出现问题, 需要迁移到物理机上进行验证, 以确定虚拟化层是否是导致问题产生的因素, 方便研究解决方案;新工作站的配置 (先在虚拟机上进行配置, 再通过硬盘克隆工具复制数据到工作站硬件) 。
V2V:虚拟机到虚拟机
V2V是在不同的虚拟机之间迁移操作系统及数据, 照顾主机级别的差异和处理不同的虚拟硬件。两个物理机上的VMM类型不一定相同, 包括V2V内存迁移、离线迁移、在线迁移。前者大多采用预拷贝策略, 避免停机拷贝时传输大量的内存数据, 减少停机时间, 其缺点是面对更新速度较快的内存时, 循环时出现脏页面, 需要不断重复pre-copy过程, 增加循环次数, 迁移过程延长;离线迁移需要在拷贝之前停止虚拟机, 在此期间服务不可用;在线迁移需要非常短的停机时间, 保证迁移过程中虚拟机服务的持续可用;兼容性强, 不需要VMM有统一的API接口, 可以借助第三方工具辅助迁移。
虚拟机迁移工具简介:
迁移工具的性能评价标准, 包括整体迁移的时间、停机时间, 和迁移过程中对主机运行服务的性能影响, 彼此之间相互影响, 所以在实施迁移时, 必须根据迁移需求来衡量判断, 然后选择适当的迁移工具。
1) VMware VMotion
VMotion的迁移工作过程:首先VMotion接收迁移请求, 由v Center服务器确认被迁移的虚拟机状态稳定即响应请求, 将虚拟机中的全部信息复制到目的主机上, 并重新启动进入正常运作;在不中断工作的条件下对硬件设备进行维修, 使服务器达到最佳利用状态, 完成自动优化。
VMotion技术实现:虚拟机的所有状态信息集中压缩到一套文件中, 这套文件存储在共享存储器 (光线通道、SAN、NAS) 中, VMware的VMFS群集文件系统允许源和目标VMware ESX同时对这些虚拟机文件进行访问;VMotion在点阵图中对虚拟机在源ESX服务器和目标ESX服务器之间的迁移过程 (内存和执行状态信息交换) 进行监控, 结束复制后, 自动终止原虚拟机, 并把点阵图转移到目的服务器, 同时重新启动, 这个时间非常短, 基本上实现零停机迁移;对网络和连接的虚拟化能够使其在迁移时一并保留, 重启后VMotion会检查网络路由器来确保它能识别虚拟机MAC地址新的物理位置, 迁移过程不会出现服务器停机或者网络中断 (无缝迁移) 。
2) VMware v Center转换器
该转换器可以完成从物理机到虚拟机、不同虚拟机格式之间的转换, 分为热克隆和冷克隆2种机制:前者是转换器直接与物理机系统进行通信, 对硬件依赖度不高, 且不中断服务;后者不需启动系统, 通过光盘进入, 在转换过程中没有任何文件打开, 不存在数据的修改, 能够有效避免坏数据块产生。
随着云计算和虚拟技术的发展, 新的迁移方案不断提出, 各大主流厂商推出带有独特功能的技术和产品, 在网络服务需要时, 利用迁移技术在保证不间断服务的基础上, 对服务器进行维护和管理, 使网络资源得到最大化的利用。
参考文献
[1]孔亚楠, 余跃.云计算下的虚拟存储研究及应用[J].电脑知识与技术, 2010 (30) .
[2]江雪, 李小勇.虚拟机动态迁移的研究[J].计算机应用, 2008 (9) .
虚拟机动态迁移 篇4
随着计算机技术及互联网技术的快速发展, 新一代信息技术云计算得到充分运用, 云计算利用网络将大量计算机资源统一管理和调度, 形成计算资源池, 每个终端用户都可以通过互联网根据自身业务需求及签订的服务协议获取强大的计算能力和丰富多样的信息服务。 云计算是以公开的标准和服务为基础, 以互联网为中心, 提供安全、 快速、 便捷的数据存储和网络计算服务。 当前随着云计算技术的不断成熟, 数据中心变得越来越重要和复杂。 云数据中心已经成为了一个高性能计算机的集中地, 涉及成千上万规模的物理服务器和网络设备, 资源量大, 异构性强, 对资源动态弹性管理、 服务质量、 按需服务等各方面的需求更加突出[1]。
目前云数据中心的资源调度主要通过对用户需求进行解析, 从而定义出需求的多样性, 并将资源以虚拟机方式封装按SLA服务协议交付终端用户。 因此云数据中心采用虚拟化技术(Virtualization) 可实现资源以虚拟机为基本单元进行统一管理、 分配。 其优势不仅在于终端用户可通过互联网不受时间、 地点限制实现资源的操作, 而且提高服务器资源利用率与灵活度, 降低运维成本实现资源的细粒度管理。
2动态自适应资源调度框架
在云数据中心资源管理中, 由于用户对资源的请求以虚拟机的方式部署在云数据中心物理机之上, 且每个虚拟机对资源的需求具有多样性。 部分需求是以大运算为主要, 部分需求则以存储为主, 多样性资源需求导致同物理服务器间的负载不均, 而且同一物理服务器资源难以得到充分利用。 如何解决面向不同用户对服务器资源的动态需求, 实现云计算资源的优化配置。 提出一种基于虚拟机迁移的动态自适应资源调度模型, 该模型能为不同云计算用户提供可靠、 灵活、 高效的云资源管理分配和调度。 具有满足用户QOS服务保障的云服务特性。 主要包括3个方面: 服务时效、 可靠性、 可控性等。
(1) 服务时效, 即响应时间、 执行时间。
(2) 可靠性, 自适应性、 扩展性、 可用性、 故障转移等。
(3)可控性,资源调度、迁移、回收等。
基于虚拟机迁移的动态自适应资源调度模型如图1所示。
由图1可知, 当用户发出资源申请后, 资源控制中心接收、 分析请求并响应用户需求请求, 资源管理完成匹配资源调度, 并返回所需资源, 资源控制中心将所需资源反馈用户。
云资源管理主要由资源调度、 资源监控、 资源配置3大模块组成。 其中监控模块主要负责监听云平台中各服务节点的资源利用情况, 重点对各个虚拟机、 物理机进行相关状态数据如内存、 CPU、 网络负载、 硬盘容量等数据读取反馈。 当物理机出现超负载时, 云资源管理通过信息反馈给云管理员, 由管理员人工操作, 或根据服务质量等级通过资源配置在保证任务QOS条件下, 将该物理机上运行的一些服务质量等级教低的虚拟机迁移到数据中心相对空闲的资源服务器上。 从而保障数据中心负载均衡。
监控模块会周期性的读取出云平台中的各项资源使用情况并将其反馈给资源管理器。 对于监控模块的数据读取周期要合理设置, 如果读取数据周期间隔过长, 则获取的数据没有实时性; 反之, 如果平台的状态数据读取过于频繁, 则必然给资源节点和管理节点增加了极大的开销。
资源调度模块主要负责响应用户资源请求, 分析当前数据中心资源负载状况, 结合用户需求创建合适虚拟机并交付给用户使用。 其次与监控模块相结合, 通过参数设置实现资源重调度。
资源配置模块主要与监控模块采取动态资源配置策略, 实施自适应的动态资源配置, 从而实现数据中心资源的有效利用。
资源配置策略的主要思想是保障基于SLA的用户请求资源量, 并及时回收已完成任务资源, 降低不必要的资源消耗, 保障系统的平稳运行。 自适应的动态资源配置流如图2所示。
3资源调度流程
首先通过监控模块获取当前物理机与虚拟机的负载状态( 负载评估参数为CPU、 内存、 存储空间、 网络带宽等) , 根据资源配置设定的警戒值, 评估出需要迁移的虚拟机, 以及评估资源相对空闲的物理机。
云数据中心提供多种类型的虚拟化资源, 从而满足不同用户的特定应用资源需求, 每种虚拟机都包含4个基本资源: CPU、 内存( Memory) 、 存储空间( Disk) 以及带宽( Bandwidth) , 则, 其中i = 1,2,3,4......,n。
资源调度步骤如下:
(1) 当用户发出资源申请后, 资源控制中心接收, 分析用户请求的应用需求解析器将各种应用资源申请进行解析并归入相应的队列中, 资源需求调度模块根据各个资源业务请求中所签订的SLA的优先级将各个资源业务请求发送至虚拟化资源配置模块。
(2) 虚拟化资源配置模块根据各个应用资源请求与各个虚拟机类型进行匹配, 根据空间最短距离公式推导出需求与资源最佳匹配为:
其中, G(i,j) 为用户需求与虚拟机资源匹配度, u, m, d, w为用户需求CPU、 内存、 存储空间、 带宽的资源量, u,m,d,w为分配给虚拟机资源, k1, k2, k3, k4为资源匹配比例参数。
(3) 选出与资源请求匹配度最近的虚拟机VM, 即G(i,j) 最小值为最佳匹配, 并将该虚拟机分配给用户, 从而完成资源的需求分配。
4结语
对云计算环境下资源调度管理进行了研究, 在此所提的基于虚拟机迁移资源调度模型能更好地实现数据中心资源科学分配并降低数据中心负载, 为资源的合理分配及保障用户服务提供切实有效的方法, 在提供高服务质量的同时, 保障云计算平台稳定运行和资源的合理使用。
参考文献
[1]刘媛媛,高庆一,陈阳.虚拟计算环境下虚拟机资源负载均衡方法[J].计算机工程,2010,36(16):30-32.
[2]李强,郝沁汾,肖利民,等.云计算中虚拟机放置的自适应管理与多目标优化[J].计算机学报,2011,34(12):2256-2257.
[3]刘进军,陈桂林,胡成祥.基于负载特征的虚拟机迁移调度策略[J].计算机工程,2011,37(17):276-278.
[4]刘鹏程,陈榕.面向云计算的虚拟机动态迁移框架[J].计算工程,2010,36(5):37-39.
[5]Reiss C,et al.Heterogeneity and dynamicity of clouds at scale:Google trace analysis[C].Proceedings of the Third ACM Symposium on Cloud Computing.ACM,2012:7.
[6]Peng Z,et al.Research of P2P architecture based on cloud computing[C].International Conference on Intelligent Computing and Integrated Systems(ICISS),IEEE,2010:652-655.
[7]葛君伟,张博,方义秋.云计算环境下的资源监测模型研究[J].计算机工程,2011(11):31-33
[8]田文洪,卢国明.一种实现云数据中心资源负载均衡调度算法[P].PCT/CN201018247,2010.
[9]Moreno-Vozmediano R,Montero R S,Llorente I M.Elastic management of cluster-based services in the cloud[C].Proceedings of the 1st workshop on Automated control for datacenters and clouds.ACM,2009:19-24.
虚拟机动态迁移 篇5
云计算技术从一定程度上来说是种计算模型, 还可以说是一种运营模式, 它能给IT企业或者其他行业带来福音, 能进行有效管理, 积极合理分配零散资源, 能帮助企业在很大程度上减少开销。同时, 随着先进网络等计算机技术的迅猛发展, 如何将数据安全地存储、操作等问题就显得尤为重要了。因此, 对数据的安全问题研究也迫在眉睫。
在许多有关云计算的安全问题中, 用户和企业最为关注的则是数据处理和存储中信息的完整性、有效性和保密性等问题。若数据基于个人设备中存储时, 用户负责数据的安全和处理操作, 但如果数据是基于云计算服务的, 则用户本身不具备对数据的控制了, 由各大云计算服务提供商对数据处理和保护等措施, 整个过程由服务提供商负责, 数据用户不做参与。因此, 怎样确保数据数据的安全性, 增强用户对云计算服务提供商提供的服务是安全可信的, 这就需要在云计算服务提供商和数据用户之间建立相互信任的机制。
1 虚拟机迁移技术
1.1 TCCP模型
2009年Santos[1]已把信任的相关问题与云计算的环境相结合了, 其中的TCCP模型主要目的是利用可信计算技术来使得数据不被非法篡改或非法访问, 其模型如图1所示。其中, ETE是外部可信实体, TC (Trusted Coordinator) 是可信协调者, TN (Trusted Node) 是可信节点, CM (Cloud Manager) 是云管理者。
用户的数据信息存储的主要载体是云存储环境中的物理硬件设施, 而TCCP模型是以最底层的物理设施为基础来实施架构的, 这样的结构有利于数据的集中管理控制及安全保护。VMM (Virtual Machine Monitor) 虚拟机监控器在TN可信节点中为每个VM (Virtual Machine) 构造了一个Black Box黑盒环境, 虚拟机内部信息就不会被用户所知, 这样用户只能通过提供的相应功能来使用虚拟机。因此, 有了以上的相关安全措施, 虚拟机的信任区间的创建和转换迁移则是云计算环境里信任问题研究的关键了。
1.2 VM虚拟机和虚拟可信平台模块v TPM的迁移
虚拟机的迁移在虚拟化进程中是个非常重要的工作[2], 若数据用户在使用虚拟移动设备, 或者云存储系统资源需统一管理, 又或云系统资源负载需均衡时, 虚拟机的迁移操作能产生积极的影响和益处。允许虚拟机从一台物理服务器迁移到另一台服务器上的动态特征 (Live characteristic) , 将不会阻止正常服务的供给。虚拟化平台一旦与可信计算技术相结合后, v TPM这个虚拟可信平台的实验环境就能被应用程序利用来完成对数据信息安全有效的存储。怎样做到虚拟机迁移的前后系统状态达到同步一致, 虚拟机和可信平台都要迁移, 文献[3-7]以具体方式或者协议来对虚拟机及可信平台的迁移都有研究。
Berger[4]提出的研究基础是迁移操作的平台是可信的这个假设基础之上的, 因此该迁移协议也能在相同配置的平台间进行, 同时具备的数据完整性机制能使得在迁移中保证数据的安全, 文献还指明同样适用于虚拟机的迁移机制。
虚拟机和其虚拟可信平台模块的完整性对于迁移非常重要, Stumpf和Sadeghi[5,6]分别指出, 传统的加密技术对迁移操作进行加密, 若虚拟机和对应的v TPM的数据被篡改时容易被察觉。Sutmpf的文献[5]中, 则是利用完整性验证过程来对数据进行完整性保护。
文献[3]和文献[5]中的协议比较相似, 在Xen的迁移协议负责初始化迁移过程, 再利用迁移密钥加密整个虚拟可信平台v TPM, 然后将加密了的模块传到目的平台。最终的加密虚拟平台因为自身的密钥结构不清晰, 对解密和恢复造成了困难, 这也是Xen协议的难点。
2 安全迁移过程的基本需求
文献[8]中, 支持了迁移协议有着一定的缺陷, 例如, 没有上下文支持, 向目的服务器传递授权信息等, 虚拟机和虚拟平台的关联, 数据的完整性和私有性保护等问题。这些不足是在协议设计最先对协议的需求分析不明确造成的。因此, 鉴于对健壮性和安全性的考虑, 迁移协议都必须以基本的安全需求为基础。
2.1 初始化的正确性
“初始化正确性”这是第一项基本安全需求, 它能对整个迁移过程的初始阶段的正确性来作说明。同时必须是可信实体 (云服务提供商, 源、目的服务器) 才能请求虚拟机及其虚拟平台v TPM的迁移操作, 该操作对于不可信实体是屏蔽了的。这样能通过对参与者约束的方式来降低对系统的威胁, 若不可信实体持续对系统发迁移请求, 可以使系统非正常运行, 即造成拒绝服务攻击Do S。
2.2 虚拟机和虚拟可信平台v TPM的完整性和机密性
“VM和v TPM的完整性和机密性”是第二项基本需求, 目的是保证迁移过程中对象的隐私。从机密性来看, 迁移过程不允许不可信实体获取信息, 因此大大降低了系统泄密的危险。从完整性来看, 在整个虚拟机和虚拟可信平台的迁移前后, 那些肆意的违法操作都能被检测并进行及时处理。
2.3 信任链的保护
“信任链的保护”是第三项基本需求, 目的是保证对象与对象之间的相互信任。因为该需求和其他需求相比较抽象, 必须从互补的角度理解且保障该需求。其目的是要保证对不正确的迁移操作可信服务器不能提供服务, 同时, 不可信服务器不能发请求来进行迁移操作。该需求能对迁移过程的对象建立信任关系, 若源服务器出现问题, 该源服务器的信息将不会被目的服务器接受, 因此与该服务器的连接得减少或者结束。
2.4 时空间的开销降低
“迁移的时间空间消耗尽可能降低”这是第四项基本安全需求了。在整个迁移过程中, 对象的信任关系确认, VM和v T-PM之间数据传输, 加密解密的存储空间的消耗等等, 都应该最小化用以减少时间和空间的消耗, 降低系统的额外开销。
3 迁移方法的描述
综合基于前面文献[3-8]所提出的协议, 本文进一步给出了一个安全的VM和v TPM之间迁移方法细则。如图2所示, 主要由身份验证、完整性验证和数据传输三部分组成。
3.1 身份验证部分
依据安全迁移的第三条需求, 在源服务器和目的服务器间的相互认证是否是可信实体, 一般是通过在源服务器和目的服务器间使用公钥证书, 但是会带来系统额外开销, 为了保证第四条的安全迁移需求, 将使用文献[9, 10]的身份加密机制。
1) 身份加密机制的应用
源服务器和目的服务器的公开密钥可以利用IBE身份加密机制的各自的身份描述获得, 其私有密钥则通过私钥生成器PKG[10]来生成。目的服务器的身份描述信息被获取后, 目的服务器的公开密钥被源服务器构造好之后, 通信信息被该密钥加密。这样以密文形式的通信信息就传输到了目的服务器。相对于DS目的服务器, 利用PKG来取得自身的私钥信息来对密文解密。其交互过程不需要保存系统公钥或证书, 能减少系统的开销, 便于简化公钥管理。
基于身份加密的身份认证部分, 可以分为四个阶段, 系统设置阶段、参数提取阶段和加密、解密阶段。
(1) 系统设置阶段
k为全局安全参数, 以它来构造params系统参数和管理密钥master key。其中系统参数包含有限消息空间M和有限密文空间C。而PKG管理该系统在设置阶段的若干事宜, 在params参数生成后使之公开化, 有且仅有PKG知晓所有相关信息。
(2) Params提取阶段
主要是构造DS与SS相应的身份信息私有密钥。系统的公开密钥保存的是目的服务器的身份描述信息IDDS∈{0, 1}*, 且指定系统参数params和master key管理密钥, 有PKG来提取与目的服务器相应的私有密钥信息d, 以此解密通道的安全信息。
(3) 加密阶段
SS利用DS的身份验证信息、参数信息和认证信息m∈M, 一同构造好认证信息的密文c∈C, 由SS传送给DS来加密认证信息c。
(4) 解密阶段
若接收到SS的加密信息c, 同时DS在向私钥生成器PKG表明了身份并请求私钥信息d之后, 对c解密从而获得认证信息m。
以上四个阶段务必遵循以下的一致性约束, 即给定公开密钥的身份描述信息和私有密钥d, 通过身份描述信息加密的认证信息m一定能被私有密钥d解密, 形式化后:
由于IBE的身份加密机制的公开化特征, 只有私有密钥d是由PKG向目的服务器传递过程中面临攻击的危险, 所以务必要确保d的安全性。因此在参数提取阶段增加了安全信息通道技术来保护私有密钥d, 如图3所示。
2) 安全信道的应用
虚拟的安全通道用以传输加密的数据信息, 同时也可以利用安全信息通道来进行信息交换或者传递敏感信息, 这样不会被外部实体干扰。而建立安全通道的原因有:一方面利用身份认证来建立信任关系;另一方面有利于参与者协商消息加密的密钥。
目的服务器收到SS发来的加密信息后, 向PKG进行身份验证以后通过安全通道或缺私有密钥d来解密消息。其中, 目的服务器构造主密钥MK (Master Key) , 其作用是保护后续的消息认证码 (MACs) 的安全和传输密钥TK (Transmission Key) 。所以需要生产两个64位的x和y, 用y对x加密。即Enc1=DESy (x) , 再用x对y加密, 即:Enc2=DESx (y) 。最后, 这两个加密结果异或操作后得到主密钥, 即MK=Enc1⊕Enc2。这样可以通过检验目的服务器和私有密钥生成器PKG对主密钥的认知度来认证其身份。同时, 被主密钥MK加密后的加密密钥在安全通信信道传输给信息参与者, 也不需要担心传输过程中的信息泄露。
以下是信息参与者确立安全通道的四个步骤:
(1) DS目的服务器在和PKG建立的网络连接后, 在安全通信信道里向PKG表明身份并发请求信号{ID, Enc1‖T, Enc2‖T}, 其中ID是身份描述, ‖是连接符合, 确保Enc的机密性。
(2) 在身份加密机制里, 目的服务器的身份描述对于PKG是透明的, 它能够快速检验目的服务器的身份信息。同时, PKG还能确认接收的信息正确性。通过拆分请求信号的Enc1‖T来获得Enc1, 再通过异或操作构造主密钥MK。新的MK是加密反馈信息, 如{DESMK (T, R) }, 其中时间戳由T表示, R表示密钥生成器生成的64位大整数, DESMK是主密钥进行DES加密后的表示。如果请求信息合法、正确, 则两者构造的密钥是一致相同的;若请求信息不正确, 则新构造的主密钥与目的服务器构造的不一样, 后续过程也会产生错误。同时还会附上由MK生成的消息认证码MAC进行保护。
(3) 目的服务器利用主密钥MK解密反馈信息{DESMK (T, R) }, 若时间戳T解密正确, 则加密操作合法。R则被目的服务器保留来构造传输密钥TK, 目的服务器再向PKG反馈信息{DESTK (T, P) }, 其中P是目的服务器的密码, DESTK是TK传输密钥的DES加密操作。
(4) PKG获得反馈信息后使用R生成传输密码TK, 进行解密后的时间戳T和服务器密码P。若T正确解密, 则反馈信息是正确的。这样四个步骤操作完后, 在目的服务器和私钥生成器PKG之间就建立了一条安全的通信通道。
3.2 相互完整性验证部分
SS和DS进行身份验证后就进行相互完整性的检验。这是完全符合安全迁移的第二项基本安全需求, 同样得保证安全协议的基本要求即迁移场景中的支持组件的完整性。
可信平台模块TPM是以独立实体的形式的应用物流平台为基础, 计算等操作的安全性就是通过把计算融入到过程中来提高的。TPM主要是对物理平台来测量, 负责信息的记录等, 这样就可以掌握物理环境的全貌且能负责外部安全请求[11]。
由于狭小的空间, 可信平台不能将所有信息存储, 需要一个24位的PCR (Platform Configuration Register) 平台配置寄存器来管理且存储摘要值[12,13,14]。其中前五位PCRs (0-4) 与物理平台的个组件对于PCRs (5-7) 这三位是对OS引导程序来度量的;PCRs (8-15) 七位是保留给主机和操作系统OS使用的;PCRs (16) 保存系统调试信息;PCRs (17-20) 度量可信进程的信息;PCRs (21-22) 度量可信操作系统的信息, 最后的PCRs (23) 是预留给指定的应用程序的。PCR的值的属性是只读, 可信平台TPM把值变成可扩展extend的, 即:Extend (PCRN, data) =SHA1 (PCRN‖data) , 其中SHA-1的散列值由PCRN的当前值和数据data来决定。
一旦启动物理平台, CRTM主要记录基本输入输出系统的信息, 其中主要有系统引导加载程序的状态和平台启动运行的硬件情况。物理平台的初始化将信任状态传递给下一组件, 同时下一组件的完整性也由初始化的组件负责, 且决定是否继续传递信任状态, 即是否继续下一个组件的散列值SHA1 (info) , 再调用新的平台配置寄存器值PCRN←SHA1 (PCRN‖SHA1 (info) ) 。
将目的服务器的身份描述“扩展”到PCR平台配置寄存器中, 即可信计算组织TCG的核心“TCG Software Stack”提供的API (如表1所示) 进行扩展操作:PCRN←SHA1 (PCRN‖SHA1 (IDDS) 。DS和SS之间以该扩展方式进行相互完整性检验过程:
(1) 目的服务器将自己的平台配置寄存器值即SigAIK (PCR‖NSS) 反馈给源服务器, 其中AIK是TPM的身份密钥, Nss是源服务器的随机数。
(2) 源服务器接收到了反馈信息后, 先检查PCR中的目的身份描述信息是否正确, 再检验反馈信息中的目的服务器的PCR值以确定其完整性。
(3) 依据 (2) 的目的服务器相同地检验源服务器的完整性。
3.3 数据传输部分
在进行了身份验证和完整性测验后, 即保证了双方的真实可靠性和完整性, 这样在SS和DS之间就可以进行安全的数据迁移操作, 也就是数据传输部分。首先, 目的服务器发送一个随机数NDS给源服务器, 表示它已经做好准备接收VM及其虚拟可信平台模块v TPM了, 若SS源服务器只要接收了NDS则可执行数据迁移。在迁移中必须同步VM及其v TPM的数据信息, 若不能使得两者的状态信息一致, 则应用程序不能保证其完整性也不能完成信息的安全存储。
文献[7]是利用仿真器模拟虚拟可信平台v TPM, 用以替代物理可信平台而将所有功能来实现。该状态的v TPM运行在虚拟机内部, 也就是Xen中的Dom U域。在迁移中要同步二者的状态, 文献[7]是采用“挂起-传输-恢复”的模式, 即:当发出迁移指令后, 源服务器中运行的虚拟机状态通过“xm save”挂起, 且该状态以文件形式保存, 同时该文件还会送给DS且由“xm restore”恢复得到虚拟机。因SS中每一个v TPM都运行在对应的VM中, 则SS的挂起操作就是对其的封装, 相应的DS的恢复操作就是对其的解封。但是这种机制需要同步状态信息, 不适合动态迁移的要求, 因此得引入动态迁移的机制。
Clark等人的虚拟动态迁移可由以下阶段构成, 机制可被抽象为两台服务器之间来做事务处理。
步骤0是SS源服务器向选定的DS发迁移请求, 且该目的服务器具备基本的物理设备资源, 该阶段称为预迁移阶段。
步骤1主要完成目的服务器DS在接收了迁移请求信息后, 考察迁移所需的内存空间等资源, 该阶段是资源预留阶段。
步骤2 Pre-copy算法将虚拟机的内存页拷贝到目的服务器中, 同时, 源服务器的虚拟机运行不受影响。第一次拷贝是将所有页面都拷贝到目的服务器, 接着的每一次拷贝仅拷贝修改过的页面, 这一过程是迭代预拷贝阶段。
步骤3停机拷贝阶段, 若SS中的VM被挂起, VM的CPU状态和不一致的页面发送给DS。拷贝结束后SS和DS都包含了挂起状态的虚拟机的页面。
步骤4迁移虚拟机接收成功的信息被目的服务器发送给源服务器, 同时源服务器SS确认迁移完成, 这是提交阶段。
步骤5在目的服务器DS中的虚拟机VM被恢复同时, IP地址、设备驱动等信息与恢复的VM绑定, 这一过程是虚拟机恢复。
在虚拟机VM和虚拟可信平台间v TPM间完成数据迁移, 需要在步骤3时引入关键的特殊步骤, 利用仿真器模拟出v TPM的状态是运行在Xen的Dom U域, 再由Xen中的进程完成迁移[15,16]。当完成迁移后, 再发送不一致的内存页。当虚拟机实现挂起操作时即表示虚拟机VM所有的操作全部完成, 此时VM和v TPM的交互不再发生, 即是对系统可信的判断依据, 也是将v TPM迁移至DS的最好时机。同时在迁移之后也不需要额外的更新操作。当迁移完成后, 源服务器不保留VM和v TPM, 同时DS目的服务器也转变成VM和v TPM的宿主机。
4 数据迁移方法分析
在迁移方法中的身份确认让双方互相证明可信性。广义来看, 对认证阶段的参与者可确定正在和可信实体交互。若迁移由SS发起, DS如果确认了SS的身份, DS就能确信SS能根据迁移协议完成后续操作, 因此迁移就得到了初始化的合法保障, 满足了初始化正确性的基本要求。
利用Danev等人[7]的传输层协议和公钥证书来实现DS和SS之间的身份验证。而证书机制在证书创建、存储和管理分发阶段都有时空开销。与此相比, 基于身份的加密机在的公开密钥能直接由任意字符串生成, 与专门的PKG私钥生成器构造, 无需预先发密钥, 而是在初始化时验证, 因此能逐步减少系统开销, 为用户增添便捷性和灵活性, 即满足了安全迁移的减低时空开销的需求。
如何将安全有效的密钥信息从PKG发送给DS是身份加密机制的关机之一, 为保障信息交互的安全, 得建立一条安全通道, 可以传递敏感信息。基于安全通信通道的IBE保障了安全迁移中VM和v TPM完整性和机密性的基本要求。
将DS的身份描述扩展到PCR平台配置寄存器中, 能与设备寄存器的度量信息做一致性的检验。SS对DS的完整性做判定, 其中的不一致的信息都能被SS检查到。因此VM和v TPM间的正确迁移, SS和DS的软件及运行状态完整, 即实现了信任迁移的基本需求。
5 实验及结果分析
云服务中的虚拟机与虚拟可信平台模块的数据迁移, 在具备了第2节阐述的安全迁移的基本需求后, 以Xen的开源基础对v TPM提供了虚拟支持, 这样任意的VM都有对应的v TPM来对应, 因此, 要构建配置好虚拟环境, 在Cent OS下安装Xen后, 为宿主OS内核增补以支持开源基础设施Xen。表2是内核配置的设置, 用于宿主系统和虚拟系统的引导。安装了Dom U虚拟机, 进行配置信息“vtpm=[“instance=1, backend=0”]”。其中“backend”是指明和对应的v TPM实例以及TPM在何处进行驱动编译, “0”表示Dom0中, “instance”表示Dom0和Dom1间的通信v TPM实例。“1”表示实例编号。若在Dom U虚拟机中能看到PCR的值, 如图4所示, 则表示在Dom U虚拟机和其对应的Dom0中的虚拟可信平台实例建立连接成功。
用预拷贝Pre-copy做虚拟机内存迁移模拟, 在不同阶段做v TPM的迁移设置。如图5 (a) 表示预拷贝开始之前。记录了被迁移VM的Dom U的状态S, 进行了迁移后状态变为S1, 且记录信息不一致。图5 (b) 是预拷贝的第一轮后。第一轮是把所有内存页拷贝到目的主机, 同时Dom U和v TPM的记录信息都从S变为S1, 且记录信息不统一。图5 (c) 是迁移中的停机拷贝阶段。此时将挂起Dom U, 状态由S也变成S1。且与v TPM不交互, 虚拟可信平台的信息是S1, 迁移后状态信息一致。
6 结语
虚拟机动态迁移 篇6
虚拟化技术是整合各种计算以及存储资源的关键技术,它是云计算的基石[3]。云环境下的虚拟化技术主要有服务器虚拟化、存储虚拟化、桌面虚拟化和应用虚拟化[4]。其中,服务器虚拟化技术可以将CPU、内存、IO设备等物理资源转换成可以统一管理的逻辑资源[5]。运行在物理机上的每一台虚拟机都有满足自己需求的虚拟资源,从而提高物理机硬件资源的使用率。
然而随着云计算平台上用户需求的不断增加,负载均衡问题日趋严重。部分主机负载过低,部分主机负载过高,降低了系统资源的利用率。服务器虚拟化技术为负载均衡提出了良好的解决方案。当主机过载时,可以在运行状态下将其上的虚拟机从负载较高的物理机迁移到负载较低的物理机上,从而实现系统的负载均衡。
虚拟机迁移过程主要涉及触发迁移、选择迁移虚拟机以及安置虚拟机3个过程。传统的虚拟机迁移算法存在很多弊端:(1)在触发迁移时,传统的算法都使用阈值法即超过设定阈值则触发迁移,这种方法忽略了瞬时峰值引起不必要的虚拟机迁移;(2)在对负载建模时,传统算法通常会按CPU利用率、内存利用率以及带宽利用率三者的乘积进行建模。这忽略了不同资源利用率随时间的动态变化,无法选择出最佳待迁移虚拟机;(3)在选择目标节点时,传统的方法是选择负载最轻,性能最佳的物理机作为宿主机。这种方法管理起来比较方便,但现实中主机的各种资源利用率差异较大且随时间不断波动。当虚拟机迁移到目标节点时可能导致目标节点某种资源过载,从而再次触发迁移。为解决上述问题,本文提出了一种多资源动态匹配的虚拟机迁移算法。
目前已有很多有关负载均衡的研究。VMWare的DRS是系统均衡度触发虚拟机迁移的一种动态调度算法,它能够较大程度地提高系统的均衡度。但是,由于其激活周期比较长,对于突发情况导致的SLA违例场景处理时间长。传统负载均衡算法采用门限触发能够减少SLA(Service Level Agreement)违例,它在构建虚拟机负载时会给虚拟机的CPU、内存和带宽分配固定的权重。主机负载为其上虚拟机负载的叠加,当主机负载到达设定的门限值时触发迁移算法,将虚拟机从高负载节点迁移至低负载节点。然而,首先这种方法忽略了云计算环境下主机资源是随时间动态变化的,不同主机过载情况不一致等因素。文献[6]提出的一种虚拟机迁移调度策略,实时采集各种资源利用率作为性能参数,与其对应阈值进行对比,避免单一参数造成的误差。文献[7]采用多阈值的方式,兼顾了负载均衡及节能省电。文献[8]提出一种基于网络拓扑感知的并行迁移法,能有效缩短负载均衡响应时间。文献[9]在触发迁移后采用概率转发方式选择目的节点,解决群聚冲突问题。文献[10]在虚拟机资源超载时首先利用动态伸缩算法为其分配额外资源,若无额外资源可分配再进行虚拟机迁移。文献[11]借鉴蚁群算法中的信息素思想进行主机搜索,设计信息素更新规则,得到虚拟机列表及目的主机列表,从而进行匹配迁移。
本文提出了一种基于门限触发的虚拟机迁移算法,根据主机各种资源的利用率动态地为各种资源分配权重。从而结合各种资源的利用率,为过载主机挑选最佳待迁移虚拟机,为虚拟机选择最佳宿主机,综合考虑资源利用率、服务质量和虚拟机迁移代价,提高系统的稳定性。
1 迁移算法设计
虚拟机迁移主要分为3个步骤:(1)触发迁移;(2)选择待迁移虚拟机;(3)选择目标主机。整个迁移问题描述如下:假设有n台物理主机,记为p={pi},i=1,2,…,n。其中,pi表示第i台物理主机。运行在pi上的虚拟机集合为Vi={vij},j=1,2,…,m。其中vij表示主机i上的第j台虚拟机。将系统资源分为CPU、内存和带宽3类,主机pi上的3种资源的使用率分别记为uiC,uiM,uiB。设定门限值Q,当主机pi的任意一种资源使用率大于Q值并持续一段时间后,触发迁移算法。这时需要根据pi中各种资源的紧张程度在Vi中选择一台能最大程度减少主机负载的虚拟机vij,并且根据所选vij的负载特性在P中选择最佳宿主机进行放置。
1.1 触发迁移
采用门限触发结合预测机制的方式,当主机的负载到达设定门限时,对其未来多个负载值进行观测。若观测值中绝大多数都达到门限值则对其下一个负载值进行预测。当预测值高于门限值时,触发迁移算法,这有效减少了迁移次数,降低迁移成本。
1.2 选择待迁移虚拟机
当主机节点pi触发迁移算法后,需要从Vi中选择一台或多台虚拟机进行迁移,直到节点pi不满足迁移触发条件。由于主机节点上各种资源的利用率各不相同,因此,根据主机节点资源利用率的动态变化对每种资源分配对应的权重,用权重矩阵来表示
其中,
这样资源利用率高的资源权重就大,从而有较高优先级被迁移以平衡主机负载。对于同一个主机节点上的多个虚拟机,为快速降低主机负载并综合考虑各种资源的利用率,在选择待迁移虚拟机时,采用多资源匹配法,根据主机节点各种资源的紧张程度选择虚拟机。虚拟机vij上的CPU、内存、带宽资源利用率分别表示为uCij,uMij,uBij。规范化处理
其中,source表示CPU、内存及带宽资源中的一种。
构造理想迁移虚拟机
其中,rsource=max{ai1source,ai2source,…,aimsource}。目标函数
其中,
公式表示结合各种资源的权重,寻找最接近Videal的虚拟机vij进行迁移。若主机节点仍处于过载状态则重复以上过程,直到该节点不再过载。
1.3 迁移放置方案设计
找到待迁移虚拟机后,要根据该虚拟机的负载特征为其寻找最佳宿主机。这里兼顾服务质量以及资源匹配度两种目标选择目标节点。将两种指标统一为增益型指标。主机CPU使用率越高,其SLA违背率就越大。定义服务质量指标为
其中,ui为主机i上的资源使用率;T为系统设定的门限值。定义资源匹配度指标为
其中,A=wC(aiCPU-rCPU);B=wM(aiMEN-rMEN);C=wB(aiBW-rBW)。rsource=max{aisource},aisource表示物理机i上的某种资源的使用率的规范值。对两种指标进行归一化处理后得到矩阵E
其中,bix表示主机i在指标x上的取值;biy表示主机i在指标y上的取值。根据两种指标的重要程度为其分别配置权重wx,wy。
Q为加权指标矩阵。从Q中选出各项指标的最大值和最小值构成最佳宿主机Pbest和最差宿主机Pworst。计算每一台物理机与最佳宿主机和最差宿主机之间的欧氏距离,分别得到Dbesti和Dworsti,定义目标函数
其意义即寻找接近Pbest且远离Pworst的物理机Pi进行虚拟机放置。
2 实验分析
为验证本算法的有效性,设计了对比仿真实验。首先建立一个有多台主机和虚拟机数据中心。主机CPU、内存和带宽配置统一参数,虚拟机采用不同资源种类规格。
由于主机负载是由其上虚拟机负载叠加而成的,所以通过构造虚拟机负载来触发主机负载的波动。考虑到现实中多种资源的动态变化及相互独立性,让每个虚拟机都具有独立的负载特征,并且每台虚拟机在高负载状态的持续时间为一个随机值。
2.1 实验参数选定分析
选取VMware DRS算法作为对比算法,对两种算法的均衡度、迁移次数与服务级目标违背率进行对比分析。VMware DRS算法根据系统实时监控的各个主机节点资源利用率信息,计算整个集群范围内的不均衡度并与迁移门限比较,若达到迁移门限则进行下一步的迁移安置。本文提出的算法是根据实时监测的各个主机节点的资源利用率与设定门限值作比较,一旦某种资源超出门限值则触发迁移。这里涉及到两种算法触发门限值的设定,图1为VMware DRS算法的系统均衡度门限设定与最终均衡度和迁移次数之间的关系。
从图1中可以看出,随着系统均衡度门限值的上升,总体迁移次数会随之减少,然而最终均衡度值会增加。综合考虑均衡度和迁移代价,选择0.05作为VM-ware DRS算法的最佳系统门限值并与本文所提算法进行对比。
2.2 实验分析
图2为随着本算法的触发门限值的变化,本算法的最终均衡度与DRS算法最终均衡度的对比。
这里初始均衡度一律设置为0.12,某一类资源的负载均衡度为
其中,Lj表示系统某种资源的负载均衡度;lij表示主机节点i的某种资源的利用率;ljsys表示系统总的某种资源的利用率;n为主机节点总数。整个集群的负载均衡度为多种资源均衡度的加权总和,公式为
其中,w为某种资源在计算集群范围内的负载均衡度时所占的权重,本文取相同权重。由公式可以看出负载均衡度Lsys越小,说明各主机节点间的负载越均衡。
由图2可以看出,在门限值为80%时,VMware DRS算法均衡效果较好,但随着门限值的降低,本算法实现的均衡效果越来越好,在门限值为70%时已经明显优于VMware DRS算法。图3为两种算法在迁移次数上的比较。
从图3中可以看出,随着门限值的抬高,本算法的的虚拟机迁移次数明显小于DRS算法,可以大幅减少迁移开销。图4为两种算法的服务级目标违背率。
由图4可以看到,当门限为90%时,两者的违背率均大幅上涨,但整体上看本算法的服务级目标的违背率要低于对比算法。
综合负载均衡度、迁移开销和服务质量,当门限值设定在75%左右时,本算法相较于DRS算法在多种指标值上性能均有所提升。
3 结束语
本文设计的虚拟机迁移算法通过对主机资源的实时监测,动态调整资源权重,根据不同资源的权重进行虚拟机的选择和放置,大幅提高了资源利用率。采用双重目标决策的方法在实现负载均衡的同时兼顾服务质量的提升,提高系统的稳定性。下一步将研究系统能耗节省与系统稳定结合,进一步优化集群系统。
摘要：针对云环境中虚拟机集群负载不均衡问题,提出一种基于虚拟机迁移的集群优化算法。通过对节点负载的实时监测,动态调整各种资源的权重,根据资源权重选择可最大程度降低主机负载的虚拟机进行迁移。该算法利用预测机制,消除主机资源利用率的临时越界引起的不必要的虚拟机迁移。在选择目标节点时,采用多目标决策法,兼顾多资源匹配率,服务级目标违背率(SLA)等多种管理目标。实验结果表明,与同类型的负载均衡算法相比,该算法能减少迁移次数,降低SLA违背率。
虚拟机动态迁移 篇7
关键词：云计算,绿色通信,实时迁移
0 引言
全球气候变暖正日益演变成一个涉及全球生态环境、国际政治、世界经济等问题的重大议题。在温室气体的主要排放源中,信息和通信产业(ICT)日渐成为重要的排放源。官方数据显示,ICT的温室气体排放量已经占总排放量的2%,赶超了航空业的温室气体排放量[1]。并且随着ICT的飞速发展,特别是移动通信产业的指数级增长,预计到2020年,ICT的总排放量将达到目前排放量的三倍。因此,绿色通信的研究成为近年来人们日益重视的研究课题。
绿色通信就是把绿色的理念渗透到整个通信产业链中,具体是指节能减排,减少环境污染、资源浪费以及对人体和环境危害的新一代通信理念,是多种学科的综合应用,涉及到通信,网络以及绿色能源等方面。
基于绿色能源技术以及虚拟机实时迁移技术,本文提出了一个全天候利用绿色能源实现云计算的理念,并根据云计算节点搭建过程中的经验,介绍了绿色云节点的技术实现方案。
1 绿色云计算理念
在绿色通信中,利用绿色能源为通信设备以及数据处理设备提供能量是比较理想的解决方法。目前这种方法也在基站,服务器以及交换机等设备中有了一定的应用[2]。但是绿色能源存在一定的使用限制,例如太阳能在夜间无法为设备供电,在风力不足的情况下,风能的提供也会受到影响。绝大部分绿色能源受到环境因素的影响很大,不能够全天候的保证设备的工作。目前主要的做法是利用蓄电池等电源存储设备对采集到的能源进行存储,以备在绿色能源不能工作时进行放电供应。但是,蓄电池等电源存储设备污染性很大,会对环境造成严重破坏,与绿色能源所追求的目标相矛盾,是一种得不偿失的做法。如何更好的实现可再生能源的全天候应用是一个亟待解决的问题。
虚拟机的实时迁移技术[3]给这一难题提供了一个新的解决思路。随着多核技术的发展,计算机的性能按照摩尔定律成指数级的提高,为了充分利用计算机的性能,在二十世纪六七十年代出现的虚拟化技术又成为了近期计算机领域研究的热点。在虚拟化技术应用中,硬件结构和上层的软件系统是相互分离的,可以利用迁移技术灵活地利用各地的计算资源。其中虚拟机实时迁移技术能够使计算需求进行几乎无时延的迁移,给资源调度带来了很大的便利。
依靠绿色能源技术和虚拟机实时迁移技术,本文提出了能够充分利用绿色能源的分布式云计算网络。主要思想如下:在不同地域建立多个计算节点,每个节点内运行若干个虚拟机进行数据运算,并利用各种的绿色能源给计算节点进行供电。由于绿色能源的特点,每个节点的工作时间是有限的,利用虚拟机的实时迁移技术,将电量不足的服务器内运行的虚拟机通过高速网络实时迁移到电量充足的服务器中去,可以实现运算的不间断执行。
2 虚拟机实时迁移技术
虚拟化技术能够实现硬件资源虚拟成多个虚拟硬件资源供给多个系统使用,充分地利用了现有的硬件资源。因此虚拟化技术,特别是服务器的虚拟化技术是大规模分布式高性能计算网络极其重要的组成部分。
在云计算中,利用系统的虚拟化技术可以使虚拟机与物理机松散耦合,一个虚拟机可以在任何一个物理机上启动,然后迁移到同处于一个数据中心的另外一个物理机中。迁移技术主要包括实时迁移和离线迁移,而前者是更有效的技术[6],有着广泛的应用。实时迁移技术是指在迁移过程中,只需要短暂的暂停原域,不必完全的停止服务。例如在千兆网下,利用实时迁移技术,一个内存为2G的虚拟机的停机时间不到1秒[4]。这种高效的,低运行损耗的迁移技术能够让服务需求灵活地向可用资源进行转移,实现资源调度优化。
在虚拟机实时迁移结构中,虚拟化管理器,即虚拟机占据着非常重要的作用,它在客户机操作系统和硬件单元之间起着承接作用。虚拟机本身就是一个软件,目前主要有三种类型,分别为部分虚拟化虚拟机例如OpenVZ,操作系统级虚拟化虚拟机例如Xen以及完全虚拟化虚拟机例如KVM(Kernel based Virtual Machine)[5]。一般来说,前两种可以提供更加高性能的虚拟化服务。但他们的缺点也很明显,操作系统级虚拟化虚拟机只能运行与主机操作系统相同内核的客户操作系统,部分虚拟化操作系统需要改成客户操作系统的内核,这两种虚拟机对客户操作系统的类型有很大的局限。因此在虚拟机的选择过程中,我们通过对比不同虚拟机的开源性,通用性以及扩展性,最终选用KVM虚拟机作为我们虚拟机实时迁移的工具[6]。
KVM提供了一个基于Linux内核自带的虚拟化技术,它是基于硬件的完全虚拟化。虽然它推出的时间比较晚,但是由于它强大的性能,对Linux的良好支持以及易于扩展的特点,使它已经成为了学术界广泛应用的虚拟化管理器[7]。
由于最近版本的Linux内核已经预装了KVM,所以在标准的Linux中KVM已经可用。为了充分利用KVM的各种功能,还需要安装qemu-kvm,virt-manager,virt-viewer和python-virtinst这四个软件包。
为了实现基于KVM的实时迁移,各个服务器需要共享一个网络存储设备,其次需要相同版本的Linux操作系统。在KVM中运行所需要的虚拟机后,就可以对这些运行的虚拟机进行操作,实现实时迁移。实时迁移可以通过VIRSH命令或者VIRT-MANAGER可视化软件实现。其中VIRSH命令主要包括:
(1)确定客户机正在运行:#virsh list。
(2)将客户机迁移到目标服务器:#virsh migrate-live Guest Name Destination Name。
这里Guest Name表示要迁移客户机的名称,Destination Name是目标服务器的主机名称。
(3)等待一段时间后,可以通过#virsh list命令来进行实时迁移结果的确认。
具体的虚拟机实时迁移技术原理图如图1所示。
实时迁移技术的迁移过程中主要包括:
(1)监听阶段
服务器会监控自身运行的状态以及外部指令,判断是否需要进行迁移,并选择一个能确保提供接收迁移目标服务器。
(2)资源预定阶段
首先确认目标服务器能提供必要的资源,并预定所需的资源。
(3)预拷贝阶段
在这一阶段,源服务器以迭代的方式将所需转移虚拟机(VM)的内存页拷贝到目标服务器上,源服务器上的VM不受影响。在第一轮迭代中,所有的内存都要从源服务器传送到目标服务器,以后每轮迭代只传送上一轮传送过程中被修改过的内存页。
(4)停机拷贝阶段
将源服务器需要转移的VM挂起,并传送CPU状态信息和最后剩余的内存页。
(5)唤醒阶段
在最后阶段目标服务器通知源服务器已经成功收到VM中运行的系统映像,源服务器确认这个信号并销毁源服务器上的VM映像。系统将在新的服务器上运行。
通过以上过程,源服务器上的虚拟机就可以被传送到目标服务器上。
3 绿色云计算实现方案
依照绿色云计算的理念,我们参与了由加拿大牵头组织的绿色之星网络GSN(GreenStar Network)[8],绿色之星网络在全球范围内搭建了一套完整的绿色云计算系统,如图2所示。
在这个系统中,包括全球各地的绿色运算节点,共享存储器以及资源控制中心。其中绿色运算节点包括运算服务器,绿色能源部分以及能源监控部分。作为亚洲第一个绿色能源节点,WICO节点的系统结构如图3所示。
在运算服务器中,我们采用了KVM虚拟机,它是基于硬件的完全虚拟化,可以模拟多种平台,模拟多种指令集。为了实现不同局域网之间的虚拟机实时迁移,我们采用VPN将各个运算节点的局域网进行互联,形成一个大的虚拟局域网。
绿色能源部分,在搭建的节点中,本地采用的是光伏系统。其他节点根据自己所在位置的自然优势采用不同的绿色能源。在能源监控部分,我们利用Outback公司的光伏系统监控组件对光伏系统的运行状态进行实时监控,监控的数据将通过串行到IP转换器连接到互联网中,并将监控数据传送到资源调度单元。
共享存储器被安排在资源控制中心处,并被挂载在每个绿色节点上,以便不同的虚拟机在迁移对共享存储器进行读写。
在资源控制中心,每个绿色节点的运行状态都将获得监控,资源控制中心根据每个节点的运行状态以及当时的运算需求,来确定虚拟机转移的方案。
综上所述,一个能够根据各节点绿色能源状况进行虚拟机运算迁移,从而全天候的使用绿色能源的绿色云计算网络可以实现。
4 结语
本文通过使用清洁能源将整个云计算系统改造成了零碳排系统,并且为了解决现有清洁能源使用的缺点,采用了虚拟机的实时迁移技术,实现了云计算全天候的使用。
本节点安装的绿色能源为2kW的光伏系统,按照上海年均日照时间1950小时[9]计算,本节点一年可以节省常规电力3900千瓦时,转换成CO2等温室气体约为3.9吨。本文所提出的这种新颖的解决方案为今后绿色能源的推广提供了一种很有前途的解决思路。
但现在的GSN网络还有一些问题,例如现行的调度是由人手工执行的,既浪费人力又具有明显的滞后性,未来我们将在虚拟机的动态资源调度算法方面做进一步的研究。
参考文献
[1]ITU and Climate Change[OL].http://www.itu.int/themes/climate/.
[2]师明.风光绿色能源技术在通信基站的应用[C]//2010通信电源学术研讨会论文集.北京:中国通信学会通信电源专业委员会,2010.
[3]Clark C,Fraser K,Hand S,et al.Live Migration of Virtual Machines [C]//Proc.of the 2nd ACM/USENIX Symposium on Networked Systems Design and Implementation.Boston,USA;USENIX Association, 2005.
[4]陈阳,怀进鹏,胡春明.基于内存混合复制方式的虚拟机在线迁移机制[J].计算机学报,2011,34(12):2278-2291.
[5]Jianhua Che,Yong Yu.A Synthetical Performance Evaluation of OpenVZ, Xen and KVM[C]// IEEE Asia-Pacific Services Computing Conference,2010.
[6]Igli TAFA,Ermal BEQIRI,et al.The evaluation of Transfer Time, CPU Consumption and Memory Utilization in XEN-PV,XEN-HVM, OpenVZ,KVM-FV and KVM-PV Hypervisors using FTP and HTTP approaches[C]// Third International Conference on Intelligent Networking and Collaborative Systems,2011.
[7]维基百科关于KVM介绍[OL].http://en.wikipedia.org/wiki/Kernel -based_Virtual_Machine.
[8]绿色之星网络官网[OL].www.greenstarnetwork.com.