虚拟集群（共6篇）
虚拟集群 篇1
一、虚拟组织
一种新型的企业组织形式——虚拟组织, 正在对传统的企业管理思想和管理模式产生深刻影响。虚拟组织与传统的实体组织不同, 它是围绕核心能力, 利用计算机信息技术、网络技术及通信技术, 与全国乃至全球企业进行互补、互利的合作, 合作目的达到后, 合作关系随即解散。以此种形式, 能够快速获取处于全球各处的资源, 为我所用, 从而缩“从观念到现金流”的周期。不仅如此, 灵活的“虚拟组织”, 可避免环境的剧烈变动给组织带来的冲击。目前, 欧美已经有成千上万的公司引进了虚拟组织模式, 竭力实施敏捷制造等实践活动。
但是虚拟组织是一个复杂的契约混合体, 伙伴的独立性、分散性与合作的动态性使得协作的难度大, 由此带来系统内部运作的高风险。同时虚拟组织中的信任、沟通与跨组织文化问题也成为了虚拟企业的发展障碍, 阻碍了这种新型组织方式的发展。
二、虚拟组织集群化管理模式
虚拟组织的性质决定了虚拟组织是一个临时的、动态的组织, 而其成员本身的经营是长期的、持续的, 这两者之间的矛盾是不可避免的, 如何使企业连续的形成虚拟组织成为新的难题, 由此引出了集群化管理模式。
1. 集群化管理能够提高虚拟组织的整体竞争力。
通过集群化管理, 虚拟组织可以通过多种途径, 如降低成本、刺激创新、提高效率、加剧竞争等, 提升整个组织的竞争能力, 并形成一种集群竞争力。这种新的竞争力是非集群和集群外企业所无法拥有的。也就是说, 在其他条件相同的条件下, 集群将比非集群更具有竞争力。集群加剧了竞争, 竞争是产业获得核心竞争力的重要动力。
2. 集群化管理能够保持虚拟组织的相对稳定性。
虚拟组织具有临时性、敏捷性的特点, 这是虚拟组织无与伦比的优势所在。但是, 又正是由于虚拟组织之间相互独立的关系, 无法保证形成长期的供应链, 并且在技术创新项目中, 各自项目的不确定性风险较大, 加之各系项目开发成功后, 又可能为了形成技术垄断而打破供应链的平衡, 因此, 企业合作中的机会主义问题突出。虚拟组织产生的利益不能长期维持。通过集群化管理, 可以加强虚拟组织内部企业之间的合作, 群内组织之间密切联系, 形成共同的正式或非正式的行为规范和惯例, 从而减少机会主义倾向, 降低合作的风险和成本。因此其合作的机会和成功的可能性无疑会大大增加, 在集群内部虚拟组织能够长期稳定的被组建。
3. 集群化管理有利于虚拟组织长期持续发展。
集群化管理从整体出发挖掘虚拟组织的竞争优势, 突破了虚拟组织的边界, 着眼于一个特定范围内中, 具有竞争和合作关系的企业、相关机构、政府、民间组织等的互动。这样使他们能够从一个集群整体来系统思考经济、社会的协调发展, 来考察可能构成特定邻域竞争优势的虚拟集群, 考虑整个集群的竞争与合作, 而不仅仅局限于考虑一些个别虚拟组织和成员的利益。当整个集群成为一个有机的整体的时候, 虚拟组织的向外扩张力将大大的增强。
三、虚拟组织集群化管理的环境建设
1. 集群平台的建设。
集群平台是集群中组织进行信息交流的场所, 平台可以是非正式组织, 例如论坛, 也可以是正式的组织, 例如协会。集群平台的构建能够减少虚拟组织成员寻找伙伴的时间与费用;降低了构建虚拟组织中的交易成本 (包括谈判、签约、执行等成本) ;创建了成员企业之间的相互信任的氛围与合作机制;减少了不同企业的文化与运作方式的冲突;减少了信息在跨组织传递中的技术与标准障碍。
2. 信息网络的建设。
网络技术是实现虚拟组织集群化管理的最强有力的保障虚拟企业是建立在当今发达的信息网络基础之上的企业合作, 因特网及其相关的IT技术是虚拟组织赖以生存的基础。由于地理上的分散, 成员企业之间信息交流与传递主要通过网络, 这就要求成员之间在技术上要统一标准、相互兼容, 充分的利用网络完成各成员之间的交流。
3. 诚信机制的建设。
诚信是社会公德中的一个重要规范, 在虚拟组织集群化管理建设中尤为重要。在虚拟组织中, 成员之间的技术合作和其他的非正式互动关系就成了知识转移的最直接、最重要的形式。因此, 成员间合作的基础是信任而不是契约。没有成员之间的深刻信任, 任何形式的契约都难达到合作的预期目标。集群运行机制的基础便是信任和承诺等人文因素。因此诚信机制的建设显得尤为重要, 只有诚信变成一种标准, 虚拟组织的集群化管理模式才能健康的生存下去。
4. 集群化管理下政府的定位。
虚拟组织在集群化管理模式下要求政府重新思考自己的角色定位, 减少甚至消除政策、体制的制约对虚拟组织集群化管理的影响。政策制约主要就是由于国家缺乏关于虚拟组织的法律规范, 这要求政府不断制定, 以及完善相关的法律法规。体制制约的根本在于各自为营的行政狭隘观念, 实施集群化管理必须打破这一障碍才能打下稳固的基础, 形成统一规划、统一管理、统一平台、统一运作的虚拟组织集群网。集群化管理的观点更贴近竞争的本质, 要求政府专注于消除妨碍生产力成长的障碍, 强调通过竞争来促进集群产业的效率和创新, 从而推动市场的不断拓展, 繁荣集群经济。
凡事有其利, 必有其弊, 任何企业网络组织形式都有其不可避免的优势与劣势。虚拟组织协作的难度大、机会主义倾向严重等弊端已经一步步地显现出来, 虚拟组织集群化管理的提出, 较好地解决了虚拟组织的矛盾, 适应了虚拟组织发展的要求, 对虚拟组织能够长期、和谐的发展必将是有益的探索。
参考文献
[1]杨建华:全球虚拟业务框架与策略研究[J].中国软科学, 2001 (12) :71～72
[2]易军:虚拟科技园组织结构与模式探析[J].中国软科学, 2002 (8)
[3]孙耀吾韦海英贺石中:虚拟集群:经济全球化中集群的创新与发展[J].科技管理研究, 2007 (2)
论电子商务虚拟集群现象与模式 篇2
1990年迈克·波特在《国家竞争优势》一书中首先用产业集群 (Industrial Cluster) 一词对企业集聚现象进行分析和描述[1]。波特通过对10个工业化国家的考察指出, 产业集群是在既竞争又合作的特定区域中, 彼此关联的企业、专业化供应商、服务供应商及其他相关机构等组成的群体。因此, 产业集群超越了一般产业范围, 形成特定地理范围内多个产业相互融合、众多类型机构相互联结的共生体。
但是, 随着市场经济的不断发展与信息技术手段的成熟, 传统集群理论将集群竞争优势归结为地域接近基础上的伴生因素显然已经不能够适应现代集群理论的发展要求。全新的网络经济环境使得企业的组织结构发生了根本变化, 更进一步导致新的集聚形式的产生。特别是信息和通讯技术的发展, 为集群虚拟化发展提供了有效平台。这是由供应商、分销商、服务供应商以及顾客依靠“互联网络协作技术”作为合作与竞争的主要方式的衍化过程, 其往往被定义为“e-business communities”或者“b-web communities” (Tapscott, Lowy和Ticoll, 2002) 。不过笔者更倾向于把它定义为虚拟集聚 (Virtual Cluster) 。参与者以共享其部分或全部核心竞争力的方式参与其中, 并以知识的电子化交换为基础, 实现产品或服务的价值增加。因此, 笔者做出如下定义:
虚拟集聚是把协作网络中的每个企业、甚至特定区域, 作为具有特定竞争优势的“核”, 并以现代信息和通讯技术为主要手段, 通过隐性或显性契约把众多关联企业、专业化供应商、金融机构等联系起来, 而实现的跨越地理空间约束的具有“中枢+辐条 (Hub and Spoke) ”结构的综合性系统。
1 文献回顾
现代空间经济关系分析往往强调地理集聚的外部经济效应。对这个问题的非正式讨论可以追溯到马歇尔 (1890) 相关论述, 但外部经济模型的构造, 主要归功于Fujita (1988) , 他对Chamberlin (1933) 的垄断竞争模型进行了考察。这些模型都清晰地表明了由地理集聚所带来的经济优势是相当显著的。
借助现代技术手段, 网络协作的经济效用越来越明显, 空间协作的研究在同一时期也得到了长足进展, 为虚拟集聚理论的发展打下了坚实的基础。Baldwin和Clark (2000) 研究了1950—1996年间计算机产业的数据, 认为计算机设计上的模块化分工促使该产业由最初高度集中的状态演变为现在高度分散式的结构。除了计算机业, 很多领域都出现了虚拟化的趋势, 如传统的汽车、家具行业;以及各种服务业, 如金融、电信和电力等[2]。
长期以来, 产业集群是国内外学术界研究的重要课题, 但其研究对象大多集中在制造业的地理集中上, 对跨越地理界限的虚拟集聚的研究相对较少。在国内, 孙耀吾 (2005) 从技术标准合作的角度分析了高科技企业集群的虚拟化发展问题。周丽豪 (2006) 、吴文华 (2006) 分别从博弈论和比较分析的角度对虚拟集聚的合作动力及优势做了阐述。做为市场经济发展新阶段的要求, 网络协作越来越普遍, 协作已不再局限于某一特定地理范围。与此同时, 信息和通讯技术为集群的这种虚拟化发展提供了有效平台。正如Giuseppina Passiante (2002) 所指出的, 方兴未艾的电子化、网络化的世界经济正在创造一种新的经济前景, 突出表现为从区域的产业集聚向有数字化创新驱动的虚拟集聚的发展。虚拟集聚已成为集群发展与创新的一种全新趋势[3]。
2 虚拟集聚:历史背景及成长模式
随着信息技术的发展, IT已成为企业必不可少的部分。这种地位的提升也意味着IT要承担更大的责任:一是要提高运作效率, 二是降低运营成本。可实际情况往往是IT在这两个方面的表现都不让人满意。为了解决这些问题, 英国国家计算机和电信局CCTA于20世纪80年代中期开发了一套针对IT行业的服务管理标准库ITIL (Information Technology Infrastructure Library) 。在20世纪90年代初期, ITIL被介绍到欧洲的许多国家并得到广泛应用, 成为欧洲IT管理领域的主要标准。90年代后期ITIL又被引入美国、南非和澳大利亚等国。现在, ITIL也进入了中国[4]。
ITIL的各部分之间并没有严格的逻辑关系。或者说, 与一般的标准是先设计整体框架再细化各部分这种“自上而下”的设计方式不同, ITIL的开发过程是“自下而上”的。每个企业都以自身的核心竞争力参予标准制定的博弈。90年代后, 衍生出了很多针对不同行业, 不同业务流程的管理框架和标准:如TickIT-软件质量管理、ISO 27001-信息安全管理体系、COBIT-信息及相关技术控制目标、eTOM-增强的电信运营框架等, 都各自聚集了一批地理分散, 但分工交易密切, 共享资源和技术的企业虚拟群。由于各个地区的经济条件和区位差异, 以及各企业所表现出的不同竞争优势。可以对虚拟集聚进行划分:
(1) 技术标准合作模式 (Technology Standardization Cooperation)
技术标准是对重复性的技术事项在一定范围内所做的统一规定, 使其成为自主创新的技术基础。它以原创性专利技术为主, 尤其在市场准入方面, 边际收益递增现象会导致市场锁定到某一技术标准。技术标准自然的就具有垄断的特性, 能给拥有者带来丰厚的回报。因此, 技术标准的地位重要性也日益提高, 一个企业甚至一个国家将他的技术确立为产业标准的能力, 从根本上决定了他的长期竞争地位和经营成败。
但是, 当今多元化的网络环境已不再是胜者全得的传统市场, 面对高速发展的技术市场和日益苛刻的质量要求, 即使拥有大规模应用的技术标准也只能获得暂时的保护。标准的创新和标准的规模一样重要。因此, 技术标准及其研发合作体现了高技术产业市场整合和创新效率的要求。欧洲数字蜂窝移动电话通信网络兼容性标准 (GSM) 的建立就是一个围绕技术标准进行R&D合作的成功案例 (孙耀吾 2005) [5]。
加入WTO后, 中国国家标准战略将技术标准的发展置于国家技术政策的核心位置。尤其引人注目的是, 最近无线设备新安全标准的采用, 即无线局域网 (WLAN) 鉴别和保密基础结构标准已经引起了国际社会的普遍关注。2006年3月7日, WAPI产业联盟正式成立, 这也标志着中国无线局域网产业跨入了一个新时代。[6]
(2) 管理标准合作模式 (Management Standardization Cooperation)
对标准化领域中需要协调统一的管理事项所制定的标准, 称为管理标准。按其对象可分为技术管理标准、生产组织标准、业务管理标准和工作标准等。制定管理标准的目的是为合理组织、利用和发展生产力, 正确处理生产、交换、分配和消费中的相互关系及科学地行使计划、监督、指挥、调整、控制等行政与管理机构的职能。通过管理标准的合作, 分享彼此的最佳实践经验, 已成为企业合作的重要目的和纽带。
以IT服务为例, 用最低的成本提供最好的服务, 是当今大多数IT经理都要面对的一个挑战。但在这个领域, 简单地复制使用几乎是不可能的。应用服务库 (ASL) 就是在这个背景下产生的管理框架的典范。它主要涉及 (商务) 应用的管理, 维护和增强或改造等方面。在荷兰, 主要的应用管理服务提供商和很多用户组织都加入了ASL基金会, 总计超过250个组织采纳了该理念;此外电信管理论坛 (TM Forum) 旗下的增强的电信运营框架 (eTOM) 做为行业的主要标准已被电信业广泛采用。截至2006年3月, eTOM已有超过400个通信服务提供商、网络运营商以及他们的软硬件供应商通过该论坛参与行业标准的改进[4]。
(3) 价值模块协同模式 (Value Modulization Collaboration)
价值模块是指具有某种具有确定独立功能的的半自律性的子系统, 它可以通过标准的界面结构与其他功能的半自律性子系统按照一定的规则相互联系而构成更加复杂的系统。根据定义可知, 价值模块是对价值链理论的拓展。
传统的价值链理论侧重于子系统之间顺序式的上下游关系, 习惯性的把采购、生产、运输、仓储、营销等价值创造过程纳入一个完整的链状网络结构, 而价值模块更关注子系统之间平行式的立体网状关系。因此, 对生产过程的模块化分解更有利于企业以空间虚拟化的模式形成集聚, 在此背景下半导体产业的虚拟化整合已成为行业发展的趋势。自八十年代后, 半导体产业的垂直分工使产业逐渐解构, 形成 (芯片) 制造工厂 (Foundries) 、设计和测试厂商 (fabless) 、完全设备制造商 (Integrated Device Manufacturer, IDM) 等模块化公司。半导体生产网络在全球范围内延展, 形成了以美国四大半导体设计公司 (TSMC, UMC, Chartered and SMIC) 为主要核心, 马来西亚、中国台湾地区、新加坡、中国大陆等为主要模块制造和整装的虚拟集聚[7]。
3 虚拟集聚的形成动因
交易成本的节约是集群产生的重要动力;虚拟集聚形式的出现也不例外, 它的存在必须以节约交易成本、提高效率为前提。1937年, 科斯在其著名的论文“企业的性质”中, 首先提出了具有一般意义的交易费用概念, 并用这一概念成功地对市场和企业之间的复替关系进行研究。虽然科斯的观点并没有包含空间因素, 但仍有助于解释为什么生产流程的专业化分工常常导致新企业的产生。从现在的观点看, 要实现市场资源的有效配置就不得不考虑交易成本因素。
传统集群理论认为, 地理临近企业交流频率高, 从而大大降低信息不对称状况。集群内的企业, 尤其是互补型企业, 由于地理集中增加了互相之间的认同感, 并且在频繁的交易过程中结成利益共同体, 相互之间存在着地缘性的隐形契约关系, 这使得交易的许多环节得以省略, 从而降低契约成本。
然而, 在专业化分工的不断深入的背景下, 产业链的迂回程度不断增强。生产的各个环节可以在更大的地理范围内以更加分散的方式进行。特定的地理区域已无法提供产业发展需要的所有要素。随着企业的进一步发展, 需求逐渐从有形品转向服务品, 特别是诸如IT的专业性服务产品。伴随这一过渡, 客户的评价由易变难, 其所承担的风险也逐渐增大。
与地理集聚不同, 虚拟集聚中的企业可以利用自己的核心竞争力, 依托信息网络结合各方力量对外部资源进行整合, 以期在全社会范围内实现要素的最优配置。另外, 虚拟集聚内部的交易链接往往包括进行重复和相关交易的供需双方。交易参与者是确定且可识别的, 其直接好处是搜寻成本的降低。与单纯的市场化运作不同, 这种基于交易链接的互动是“看得见”的。在每一项新的交易之前, 各成员都可以通过内部信息网络便捷地对交易方进行考察, 甚至可以根据相关指标对可能费用进行合理预期。虚拟集聚的这种信息披露机制比地理集聚更加有效。
更进一步, 对于虚拟集聚的参与者, 其为集群网络提供的核心竞争力是作为私有资本, 被其他提供专业性价值的参与者所共同使用的。一旦企业加入虚拟集聚网络, 就不得不考虑将来集群解散或退出集群所产生的沉没成本。根据Williamson (1975) 的观点, 每个参与者都会倾向于在较长的时期内, 以较大的强度使用这种链接。因而大大降低了企业的契约成本和协调整合成本, 保证了集群的相对稳定。因此, 以虚拟集聚的内部交易代替市场的自由交易, 降低纵向一体化扩张而产生的组织费用, 是一种在优势互补下达到整体最优的资源运用方式。它把传统的垂直一体化的组织结构分解, 由不同的企业依据自身的优势参与协作生产, 在提高生产效率的同时也提高了交易的效率, 既获得了市场机制的优势, 又减少了企业组织管理费用的付出。这种企业与市场之间相互替代的关系成为企业组织模式的发展趋势, 也是资源配置方式的一种变革。
4 结论与展望
从表面上看, 虚拟集聚似乎与地理集聚并不相关。跨越空间的网络协作可能会对集聚于一点的经济体形成替代。他们能够提供部分, 甚至全部由地理集聚带来的产出及生产力的增长。毕竟, 地理集聚表述的是一个“点”的概念, 而网络协作是由多个相互联系的“核”构成的“中枢+辐条”结构。这种结构使得组织内部的相互交流更为顺畅和灵活。不定期的标准更新与人员认证培训, 产生了与传统集聚经济相同的外部效益。从地理集聚向虚拟集聚的发展, 是信息和通讯技术发展背景下, 对交易费用理论的扩展应用。地理集聚仍然是区域经济发展的重要力量, 也是技术创新与推广不可或缺的环节。它往往能构成虚拟集聚中最具竞争力的“核”。在标准化进程不断提高, 远程通讯技术持续发展的背景下, 虚拟集聚不仅继承了地理集聚在知识外溢、专业劳动力等方面的优势, 还对地理集聚的外延进行了扩展, 有效避免了集群内“搭便车”现象所带来的创新惰性风险。
对于两者的差异, 我们关注的是其制度安排, 以及两者间类似于私人资本和公共物品的重要特质。对于地理集聚, 由于其地理区位的相对固定, 其劳动力市场、专业供应商队伍等区位资源具有显著的非排他性。新兴企业只要在区域内进驻, 就能够免费享有如区位品牌等诸多“区位优势”。随着区域内企业数量的增多, 企业出于自身利益最大化的考虑, 往往导致区域内“拥挤成本 (Congestion Cost) ”和“锁定效应” (Lock-in) 的产生, 严重影响本地区内生潜力和创造力的发挥。这就必须由政府部门进行引导并加以管制, 因此地理集群对政府机构有较强的依赖性。而在虚拟集聚中, 每个企业是以共享其部分或全部核心竞争力为代价以获得集群内部其他成员的互补性优势。企业间各种正式或非正式的联系, 以个体性的交流和对话方式得以实现。在这种情况下, 任何排他性决策和价格歧视的存在都是允许的。两者在节约交易成本上, 是不同、而又互补的方法。
此外, 虚拟集聚的发展, 还能推动生产链中上游和下游专业部门间的纵向分工, 以及生产链中同一专业部门间的横向分工, 从而增加生产迂回程度和专业多样化程度。促进区域范围内形成专业化程度高、有相当高利润率, 需要特殊技术才能进入的利基市场, 孕育出新的地理集聚现象。总而言之, 地理集聚经济的产生及其外部性通过虚拟集聚的传播必将成为新世纪区域经济发展的显著标志。
参考文献
[1]迈克.波特.国家竞争优势[M].北京:中信出版社, 2007.
[2]BALDWIN, CARLISS Y, KIMB CLARK.Design Rules, Volume 1, The Power of Modularity[M].Cambridge MA:MITPress, 2000.
[3]GIUSEPPINA PASSIANTE, GIUSTINA SEEUNDO.From Geograph-ical Innovation Clusters Towards Virtual Innovation Clusters:The In-novation Virtual System[C].42th ERSA Congress, University ofDortmund (Germany) , August, 2002:27-31.
[4]JAN VAN BON, TIENEKE VERHEIJEN.Frameworks for ITManage-ment[C].Zaltbommel:Van Haren Publishing, 2006, chapter 19-20.
[5]孙耀吾, 曾德明.基于技术标准合作的企业虚拟集聚:内涵、特征与性质[J].中国软科学, 2005 (9) .
[6]RICHARD P SUTTMEIER, YAOXIANGKUI, ALEX TAN.Standardsof Power?Technology, Institutions, and Politics in the Development ofChinas'National Standards Strategy[R].by NBR Special Report.Na-tional Bureau of Asian Research, June, 2006.
虚拟集群 篇3
虚拟化技术是整合各种计算以及存储资源的关键技术,它是云计算的基石[3]。云环境下的虚拟化技术主要有服务器虚拟化、存储虚拟化、桌面虚拟化和应用虚拟化[4]。其中,服务器虚拟化技术可以将CPU、内存、IO设备等物理资源转换成可以统一管理的逻辑资源[5]。运行在物理机上的每一台虚拟机都有满足自己需求的虚拟资源,从而提高物理机硬件资源的使用率。
然而随着云计算平台上用户需求的不断增加,负载均衡问题日趋严重。部分主机负载过低,部分主机负载过高,降低了系统资源的利用率。服务器虚拟化技术为负载均衡提出了良好的解决方案。当主机过载时,可以在运行状态下将其上的虚拟机从负载较高的物理机迁移到负载较低的物理机上,从而实现系统的负载均衡。
虚拟机迁移过程主要涉及触发迁移、选择迁移虚拟机以及安置虚拟机3个过程。传统的虚拟机迁移算法存在很多弊端:(1)在触发迁移时,传统的算法都使用阈值法即超过设定阈值则触发迁移,这种方法忽略了瞬时峰值引起不必要的虚拟机迁移;(2)在对负载建模时,传统算法通常会按CPU利用率、内存利用率以及带宽利用率三者的乘积进行建模。这忽略了不同资源利用率随时间的动态变化,无法选择出最佳待迁移虚拟机;(3)在选择目标节点时,传统的方法是选择负载最轻,性能最佳的物理机作为宿主机。这种方法管理起来比较方便,但现实中主机的各种资源利用率差异较大且随时间不断波动。当虚拟机迁移到目标节点时可能导致目标节点某种资源过载,从而再次触发迁移。为解决上述问题,本文提出了一种多资源动态匹配的虚拟机迁移算法。
目前已有很多有关负载均衡的研究。VMWare的DRS是系统均衡度触发虚拟机迁移的一种动态调度算法,它能够较大程度地提高系统的均衡度。但是,由于其激活周期比较长,对于突发情况导致的SLA违例场景处理时间长。传统负载均衡算法采用门限触发能够减少SLA(Service Level Agreement)违例,它在构建虚拟机负载时会给虚拟机的CPU、内存和带宽分配固定的权重。主机负载为其上虚拟机负载的叠加,当主机负载到达设定的门限值时触发迁移算法,将虚拟机从高负载节点迁移至低负载节点。然而,首先这种方法忽略了云计算环境下主机资源是随时间动态变化的,不同主机过载情况不一致等因素。文献[6]提出的一种虚拟机迁移调度策略,实时采集各种资源利用率作为性能参数,与其对应阈值进行对比,避免单一参数造成的误差。文献[7]采用多阈值的方式,兼顾了负载均衡及节能省电。文献[8]提出一种基于网络拓扑感知的并行迁移法,能有效缩短负载均衡响应时间。文献[9]在触发迁移后采用概率转发方式选择目的节点,解决群聚冲突问题。文献[10]在虚拟机资源超载时首先利用动态伸缩算法为其分配额外资源,若无额外资源可分配再进行虚拟机迁移。文献[11]借鉴蚁群算法中的信息素思想进行主机搜索,设计信息素更新规则,得到虚拟机列表及目的主机列表,从而进行匹配迁移。
本文提出了一种基于门限触发的虚拟机迁移算法,根据主机各种资源的利用率动态地为各种资源分配权重。从而结合各种资源的利用率,为过载主机挑选最佳待迁移虚拟机,为虚拟机选择最佳宿主机,综合考虑资源利用率、服务质量和虚拟机迁移代价,提高系统的稳定性。
1 迁移算法设计
虚拟机迁移主要分为3个步骤:(1)触发迁移;(2)选择待迁移虚拟机;(3)选择目标主机。整个迁移问题描述如下:假设有n台物理主机,记为p={pi},i=1,2,…,n。其中,pi表示第i台物理主机。运行在pi上的虚拟机集合为Vi={vij},j=1,2,…,m。其中vij表示主机i上的第j台虚拟机。将系统资源分为CPU、内存和带宽3类,主机pi上的3种资源的使用率分别记为uiC,uiM,uiB。设定门限值Q,当主机pi的任意一种资源使用率大于Q值并持续一段时间后,触发迁移算法。这时需要根据pi中各种资源的紧张程度在Vi中选择一台能最大程度减少主机负载的虚拟机vij,并且根据所选vij的负载特性在P中选择最佳宿主机进行放置。
1.1 触发迁移
采用门限触发结合预测机制的方式,当主机的负载到达设定门限时,对其未来多个负载值进行观测。若观测值中绝大多数都达到门限值则对其下一个负载值进行预测。当预测值高于门限值时,触发迁移算法,这有效减少了迁移次数,降低迁移成本。
1.2 选择待迁移虚拟机
当主机节点pi触发迁移算法后,需要从Vi中选择一台或多台虚拟机进行迁移,直到节点pi不满足迁移触发条件。由于主机节点上各种资源的利用率各不相同,因此,根据主机节点资源利用率的动态变化对每种资源分配对应的权重,用权重矩阵来表示
其中,
这样资源利用率高的资源权重就大,从而有较高优先级被迁移以平衡主机负载。对于同一个主机节点上的多个虚拟机,为快速降低主机负载并综合考虑各种资源的利用率,在选择待迁移虚拟机时,采用多资源匹配法,根据主机节点各种资源的紧张程度选择虚拟机。虚拟机vij上的CPU、内存、带宽资源利用率分别表示为uCij,uMij,uBij。规范化处理
其中,source表示CPU、内存及带宽资源中的一种。
构造理想迁移虚拟机
其中,rsource=max{ai1source,ai2source,…,aimsource}。目标函数
其中,
公式表示结合各种资源的权重,寻找最接近Videal的虚拟机vij进行迁移。若主机节点仍处于过载状态则重复以上过程,直到该节点不再过载。
1.3 迁移放置方案设计
找到待迁移虚拟机后,要根据该虚拟机的负载特征为其寻找最佳宿主机。这里兼顾服务质量以及资源匹配度两种目标选择目标节点。将两种指标统一为增益型指标。主机CPU使用率越高,其SLA违背率就越大。定义服务质量指标为
其中,ui为主机i上的资源使用率;T为系统设定的门限值。定义资源匹配度指标为
其中,A=wC(aiCPU-rCPU);B=wM(aiMEN-rMEN);C=wB(aiBW-rBW)。rsource=max{aisource},aisource表示物理机i上的某种资源的使用率的规范值。对两种指标进行归一化处理后得到矩阵E
其中,bix表示主机i在指标x上的取值;biy表示主机i在指标y上的取值。根据两种指标的重要程度为其分别配置权重wx,wy。
Q为加权指标矩阵。从Q中选出各项指标的最大值和最小值构成最佳宿主机Pbest和最差宿主机Pworst。计算每一台物理机与最佳宿主机和最差宿主机之间的欧氏距离,分别得到Dbesti和Dworsti,定义目标函数
其意义即寻找接近Pbest且远离Pworst的物理机Pi进行虚拟机放置。
2 实验分析
为验证本算法的有效性,设计了对比仿真实验。首先建立一个有多台主机和虚拟机数据中心。主机CPU、内存和带宽配置统一参数,虚拟机采用不同资源种类规格。
由于主机负载是由其上虚拟机负载叠加而成的,所以通过构造虚拟机负载来触发主机负载的波动。考虑到现实中多种资源的动态变化及相互独立性,让每个虚拟机都具有独立的负载特征,并且每台虚拟机在高负载状态的持续时间为一个随机值。
2.1 实验参数选定分析
选取VMware DRS算法作为对比算法,对两种算法的均衡度、迁移次数与服务级目标违背率进行对比分析。VMware DRS算法根据系统实时监控的各个主机节点资源利用率信息,计算整个集群范围内的不均衡度并与迁移门限比较,若达到迁移门限则进行下一步的迁移安置。本文提出的算法是根据实时监测的各个主机节点的资源利用率与设定门限值作比较,一旦某种资源超出门限值则触发迁移。这里涉及到两种算法触发门限值的设定,图1为VMware DRS算法的系统均衡度门限设定与最终均衡度和迁移次数之间的关系。
从图1中可以看出,随着系统均衡度门限值的上升,总体迁移次数会随之减少,然而最终均衡度值会增加。综合考虑均衡度和迁移代价,选择0.05作为VM-ware DRS算法的最佳系统门限值并与本文所提算法进行对比。
2.2 实验分析
图2为随着本算法的触发门限值的变化,本算法的最终均衡度与DRS算法最终均衡度的对比。
这里初始均衡度一律设置为0.12,某一类资源的负载均衡度为
其中,Lj表示系统某种资源的负载均衡度;lij表示主机节点i的某种资源的利用率;ljsys表示系统总的某种资源的利用率;n为主机节点总数。整个集群的负载均衡度为多种资源均衡度的加权总和,公式为
其中,w为某种资源在计算集群范围内的负载均衡度时所占的权重,本文取相同权重。由公式可以看出负载均衡度Lsys越小,说明各主机节点间的负载越均衡。
由图2可以看出,在门限值为80%时,VMware DRS算法均衡效果较好,但随着门限值的降低,本算法实现的均衡效果越来越好,在门限值为70%时已经明显优于VMware DRS算法。图3为两种算法在迁移次数上的比较。
从图3中可以看出,随着门限值的抬高,本算法的的虚拟机迁移次数明显小于DRS算法,可以大幅减少迁移开销。图4为两种算法的服务级目标违背率。
由图4可以看到,当门限为90%时,两者的违背率均大幅上涨,但整体上看本算法的服务级目标的违背率要低于对比算法。
综合负载均衡度、迁移开销和服务质量,当门限值设定在75%左右时,本算法相较于DRS算法在多种指标值上性能均有所提升。
3 结束语
本文设计的虚拟机迁移算法通过对主机资源的实时监测,动态调整资源权重,根据不同资源的权重进行虚拟机的选择和放置,大幅提高了资源利用率。采用双重目标决策的方法在实现负载均衡的同时兼顾服务质量的提升,提高系统的稳定性。下一步将研究系统能耗节省与系统稳定结合,进一步优化集群系统。
摘要：针对云环境中虚拟机集群负载不均衡问题,提出一种基于虚拟机迁移的集群优化算法。通过对节点负载的实时监测,动态调整各种资源的权重,根据资源权重选择可最大程度降低主机负载的虚拟机进行迁移。该算法利用预测机制,消除主机资源利用率的临时越界引起的不必要的虚拟机迁移。在选择目标节点时,采用多目标决策法,兼顾多资源匹配率,服务级目标违背率(SLA)等多种管理目标。实验结果表明,与同类型的负载均衡算法相比,该算法能减少迁移次数,降低SLA违背率。
虚拟集群 篇4
关键词：集群风电,虚拟机组,分层协调,日前计划,风险
0 引言
中国风电采用“大规模开发、集中接入”的主流开发模式,局部地区风电渗透率已达较高水平。与此同时,风电集中接入的西北、华北、东北地区常规电源以火电为主,在客观上形成了一类强刚性的风火联运源端系统[1]。
现行调度运行体系中,风电场常以“负负荷”形式纳入日前计划,即用负荷预测值减去风电功率点预测值,得到“净负荷”曲线,作为安排常规机组启停状态和运行点的依据。随着风电渗透率增加,在某些风火联运源端系统(例如西北电网)中“净负荷”曲线峰谷差加剧、波动频繁,若继续采用上述风电调度模式,将导致常规机组运行点偏离经济运行点甚至频繁启停,同时降低风电利用率。如何挖掘风电内部潜力,利用其特性提升可调度性是值得探索的方向。
事实上,风电在其日前功率点预测值基础上有功率下调能力,并且统计表明现有风电预测系统多数时段存在正向预测误差(即实测可发功率大于预测功率),因此还具有一定范围内的功率上调潜力。若发挥风电在点预测值基础上作为电源的双向功率调节潜力,并控制其功率调节风险,可使风电以部分可控电源[2]而不是“负负荷”形式主动参与日前计划。
此外,大型风电基地的出力具有空间“平滑效应”[3,4]。随着风电规模的增加,出力波动性和不确定性逐渐减弱,使集群风电参与日前计划的可调度性高于单个风电场。因此,可以通过对大规模集群风电的集中协调[1,5,6,7,8]来有效平抑单一风电场出力波动性和不确定性,尽量形成一个在规模上和外部调控特性上与常规电厂相近的“准常规电源”。因此,本文将地理上相邻、出力特性上相关,并且从同一升压汇集变电站接入的多个风电场进行整合,定义为集群风电虚拟机组(WVPG),对外以“准常规电源”形式整体响应调度指令,对内协调各风电场提高整体跟踪调度指令的能力。
含风电系统的日前计划,核心在于对风电不确定性特征的描述和优化处理。早期研究多对经典的等备用法或等风险法进行修正,按照风电预测出力的一定比例增加旋转备用来应对风电不确定性[9,10],或以包含风电不确定性的风险指标小于某一预设阈值来确定旋转备用[11,12]。等备用法和等风险法实质上是将风电不确定性的点值信息引入优化模型。文献[13-14]提出区间法来刻画风电不确定性,通过上/下调备用设置使风电出力在该区间内波动时均能保持有功平衡。为了全面描述风电不确定性概率分布信息,文献[15-16]提出了基于随机场景的风电机组组合策略。文献[17-18]将风电出力随机变量的概率分布引入优化模型,与其相关的约束条件采用概率形式,这样的优化模型理论上实现了对风电不确定性的完整刻画。
上述研究,从本质上多将风电视作“负负荷”,没有充分发挥风电的电源特性。同时,多以单个风电场为协调变量,存在风电出力不确定性高、可调度性差的问题。此外,优化目标侧重最小化弃风量以提高经济性,对其不确定性造成的安全性风险考虑不足。
为此,本文首先阐述了基于WVPG的源端系统分层协调日前计划思路,然后分别从WVPG与火电机组协调、WVPG内部多风电场协调两个方面,提出了日前分层协调的发电计划模型。最后,基于实际系统及实测风电数据进行算例分析,验证了本文模型有效性。
1 分层协调日前发电计划思路
风电是一种资源约束型电源,具有不完全可调度的特点,给系统调度带来了额外的风险。在确定风电日前计划指令时,需对其安全性和经济性风险进行综合考虑,可分别通过调度缺额功率和弃风功率来衡量。
WVPG依据一定规则对多风电场进行聚合后再参与原有的风火协调日前计划模型,其中的风电决策对象由传统调度中的单个风电场替换为WVPG。
由于风电的空间“平滑效应”,WVPG的日前预测不确定性低于单个风电场,从而使得其安全性和经济性综合风险相对较低。日前预测的负向不确定性(实际出力低于预测出力,对应安全性风险)往往大于正向不确定性,并且决策对安全性风险的偏好通常高于经济性。因此,在相同的风险目标函数取值下,WVPG获得的日前计划指令往往高于单个风电场直调模型中内部各风电场的日前计划指令之和。
WVPG的引入,增加了WVPG内部多风电场协调层(下层),上层模型将WVPG日前计划指令最优解下发给下层,作为下层决策中WVPG的出力追踪目标。下层决策在WVPG发电计划已确定的前提下,通过内部多风电场的协调分配,最小化整体出力可能出现的调度缺额。
基于WVPG的分层协调日前发电计划框架如图1所示。
2 WVPG内部多风电场协调的日前计划模型
2.1 风电场的安全性风险指标
设Pa,iW(t)为风电场i时段t可发功率随机变量,定义为:
式中:pWf,i(t)为风电场i时段t短期功率预测值;εWi(t)为风电场i时段t短期功率预测误差。
本文研究中各风电场预测误差εWi(t)的概率分布是通过滚动选取与当前时刻风资源条件相对应的风电场边缘概率分布和空间相关性模型,然后进行考虑相关性的随机抽样得到大量样本,对样本进行统计而获得的(详细算法另文撰述)。以两个风电场为例,当其在每时刻预测误差εW1(t)和εW2(t)的概率分布均采用上述算法获得时,得到的εW2(t)概率分布实际上是在相关随机变量εW1(t)取值一定下的条件概率分布,即,其中和分别为随机变量的取值。由于抽样得到误差条件概率分布的过程中已经考虑了相关性,因此可直接利用平移后的风电场可发功率条件概率分布参与后续的卷积运算。
风电场调度的安全性体现为实际可发功率与调度指令的调度缺额,它可看作与随机变量PWa,i(t)和决策变量pWd,i(t)(风电场i时段t日前计划指令)相对应的安全性受损函数。定义风电场i时段t可能出现的调度缺额功率为:
式中:[x]+=max(x,0)。
根据风险价值(VaR)理论[19],定义在置信水平β下调度缺额功率SWi(t)的阈值θWS,i(pWd,i,t)为:
θWS,i(pWd,i,t)的物理意义为以超过β的概率确信风电场i时段t调度缺额功率SWi(t)小于a,所有这些a中最小值为调度缺额功率阈值θWS,i(pWd,i,t)。
θWS,i(pWd,i,t)仅能给出在一定置信概率下调度缺额的限值,对调度缺额超过θWS,i(pWd,i,t)的这部分无法刻画。然而,这部分概率分布尾部事件对应高风电调度缺额,一旦发生将导致严重后果,应对其加以控制。条件风险价值(CVaR)[20,21]理论是刻画随机变量概率分布尾部风险的有力工具,在风电应用中,文献[22]和文献[23]分别采用CVaR指标来量化电网安全裕度和风险备用。
借鉴上述文献,本文引入CVaR指标来定义风电场的调度缺额风险指标φWS,i(pWd,i,t)如式(4)所示。φWS,i(pWd,i,t)的物理意义为风电场i时段t在β置信水平下,与调度指令pWd,i(t)对应的调度缺额功率超过阈值的这部分调度缺额的期望值。
式中:E(·)为期望值函数;为风电场i时段t可发功率概率分布;siW(t)为调度缺额随机变量的取值;pWa,i(t)为可发功率随机变量的取值。
下层WVPG内部协调的日前概率优化策略目标函数为最小化各风电场调度缺额风险指标之和,如式(5)第1项所示;同时,最小化日前电量公平性约束中的松弛变量,如式(5)第2项所示。
式中:NT为日前运行仿真总时段数,本文日前计划时段分辨率为15 min,因此NT=96;nk为第k个WVPG内风电场个数;hiW(t)为风电场i时段t电量公平性约束中的松弛变量;κdW为风险指标的惩罚成本加权系数,可根据对风电场安全性高风险的容忍程度确定κdW,本文选取κdW为风电上网电价的15倍;υdW为松弛变量的惩罚成本加权系数,若取值满足κdW>υdW,表明决策对安全性的偏好高于公平性,本文选取υdW为风电上网电价的10倍。
式(5)的优化目标考虑了风电调度的安全性风险,与最小化弃风的目标函数相比,基于风险的目标函数更能有效辨识并规避概率分布尾部高安全性风险事件导致的严重后果。
2.2 电量公平性约束
公平性约束的目的是尽量保证各风电场日电量利用率的公平性,适当给予并网特性好的风电场电量调度优先权。介绍电量公平性约束前,先引入两个重要系数。
1)WVPG平均电量利用率系数τVPGk
定义τkVPG的表达式如式(6)所示,表示该日第k个WVPG被上层调度的电量与实际可发电量期望值的比值。
式中:pVPGd,k(t)为第k个WVPG时段t的日前计划功率;PVPGa,k(t)为第k个WVPG时段t的可发功率。
2)风电场电量优先权加权因子λWi
引入λiW的目的是在WVPG整体平均电量利用率τkVPG的基础上,给予利用小时数低、不确定性低和波动性低的风电场以电量利用率优先权。
令第i个风电场在仿真日NT各时段的不确定性、波动性概率分布期望值之和为:
式中:εiW(t)为第i个风电场时段t不确定性随机变量;ΔPiW(t)为第i个风电场时段t波动性随机变量。
可定义λiW为:
式中:γiW为截止到当前运行日开始时段,风电场i的利用小时数;γWave为截止到当前运行日开始时段,WVPG内所有风电场平均利用小时数。
为保障总电量利用率小于等于1,给定τkVPGλiW取值范围为:
将电量公平性约束表示为如式(11)所示的概率形式。为保证存在可行解,引入公平性约束的松弛变量hiW(t),物理意义为风电场i时段t不满足公平性约束的这部分弃风功率值。
式中:,其中表示卷积和。
2.3风电场相关约束
1)出力调节范围
式中:i=1,2,…,nk;t=1,2,…,NT;pWr,max,i(t)和pWr,min,i(t)分别为风电场i时段t可发功率上下界。
2)爬坡率
式中:i=1,2,…,nk;t=2,3,…,NT;rWd,i(t)和rWu,i(t)分别为风电场i时段t的下调/上调爬坡率限值。
2.4 其他约束
WVPG内部多风电场协调的功率平衡约束和内部网络线路约束参见附录A。
3WVPG与火电机组协调的日前计划模型
3.1 WVPG的安全性和经济性风险
WVPG的安全性风险采用调度缺额的CVaR指令量化,经济性风险采用弃风功率的CVaR指标量化。日前WVPG与火电机组协调优化运行目标函数如(14)所示,目标函数通过不考虑WVPG发电成本来给予风电优先调度权。
式中:nvpg为WVPG的个数;ng为火电机组台数;cGj(t)=f(pGd,j(t))为火电机组煤耗成本,其中pGd,j(t)为第j个火电机组时段t日前计划指令;cUDj(t)=uGj(t)cu,j+dGj(t)cd,j为火电机组启停成本,其中uGj(t)为火电机组开机变量,时段t火电机组j由停机变为开机时uGj(t)=1,反之uGj(t)=0,dGj(t)为火电机组停机变量,时段t火电机组j由开机变为停机时dGj(t)=1,反之dGj(t)=0,cu,j和cd,j分别为开机成本和停机成本;chVk(t)=υPGdhVPGk(t)为WVPG电量利用率约束的松弛变量惩罚成本,其中hVPGk(t)为第k个WVPG时段t的功率松弛变量,υVPGd为松弛变量的惩罚成本加权系数,本文选取υVPGPGd为风电上网电价的10倍;cVk(t)为第k个WVPG的CVaR指标相对应的惩罚成本。
本文在目标函数中考虑安全性和经济性的综合风险,并通过系数adVPG体现对两者偏好的差异性:
式中:和分别为第k个WVPG的安全性和经济性风险指标,采用调度缺额和弃风功率的CVaR指标量化;κVPGd为WVPG风险指标单位惩罚成本,通过κVPGd的引入,将量纲为兆瓦的风险指标,转化为量纲为美元的风险惩罚成本,从而使得rWd,i(t)cVPGk(t)可与火电机组煤耗和启停成本相加作为目标函数,κVPGd可根据对WVPG安全性和经济性高风险的容忍程度确定,本文选取κVPGd为风电上网电价的15倍;aVPGd为风险指标偏好系数,当决策侧重于降低安全性风险时aVPGd>1,但aVPGd取值不宜过大,否则将造成过度弃风,经验值为1.001~1.100,当侧重于降低经济性风险时1>aVPGd>0,但aVPGd取值也不宜过小,否则易造成大的调度缺额,经验值为0.901~0.999。
从安全性角度看,对于给定的安全性风险阈值,当系统安全性风险高于该阈值时,应减小WVPG调度指令并调用上调旋转备用。
3.2 WVPG相关约束
WVPG的出力调节范围约束、爬坡率约束定义与单个风电场类似,在此不赘述。
WVPG电量利用率约束定义如下:
式中:;μVPGQ,k为第k个WVPG日电量利用率下限占可发功率电量百分比的系数。
3.3 备用约束
当WVPG实际出力低于日前计划值时,需要上调备用弥补调度缺额,因此上调备用约束中需考虑WVPG的影响。假设当WVPG实际出力高于日前计划值时,能通过弃风将其出力控制为pVPGd,k(t),因此下调备用中仅考虑负荷影响。
式中:t=1,2,…,NT;表示卷积差;Pload为目前负荷预测值;ptrans(t)为目前联络线允许传输的功率值;;ζuP和ζdwnn分别为上、下调备用系数;pGup,j(t)和pGdown,j(t)分别为第j个火电机组时段t日前计划提供上、下调备用时的出力[13]。
3.4 其他约束
功率平衡约束和线路约束参见附录B。火电机组相关约束考虑机组出力范围、爬坡率、启停变量、最小开机/停机约束,均采用经典约束。
4 模型求解
上述分层优化模型求解难点在于CVaR指标的转化以及概率约束条件的处理,以火电机组和WVPG协调的上层优化模型为例,模型求解时的两个关键转化步骤如下。
1)CVaR指标的转化
调度缺额对应的CVaR指标在形式上与式(4)相同,依赖于VaR即θVPGS,i(pVPGd,i,t)的求解,而该值由式(18)并考虑式(3)得到,难以写出解析表达式,优化问题求解十分困难。引入CVaR指标的等效计算函数[20,21]来简化运算。引入辅助变量αS(t)。可以证明,最小化,经离散化后等价于:
式中:β1为CVaR指标的置信概率;和分别为可发功率随机变量离散概率分布第i个离散区间概率和取值;vVPGS,i(t)和zVPGS,i(t)为等效计算函数转化中引入的与第i个离散区间对应的辅助优化变量。
弃风对应的CVaR指标可以做类似处理。
2)概率约束条件的转化
第2个关键步骤需要将概率约束条件转化为确定型约束条件,以上调备用约束为例,首先根据离散概率分布的卷积和与卷积差运算[24]求解的概率分布,再求解其β分位点a,即a满足:
则上调备用约束等价于:
通过上述转化,可将本文模型转化为混合整数线性规划问题(上层)和线性规划问题(下层)求解。模型转化过程中火电机组煤耗成本二次曲线的线性化方法采用文献[25]中方法。
5 日前计划结果有效性评价指标
基于日前计划策略结果,采用经典实时调度模型验证日前策略有效性。验证时,设实时调度为实际运行前15min的单时段预调度,不考虑风电不确定性。
1)火电机组单位发电成本c1
式中:cGr,j(t)为日前计划的实时调度验证模型中,第j个火电机组时段t煤耗成本;cUDj(t)为日前计划决定的第j个火电机组时段t启停成本;QG为总仿真时段内火电机组总发电量。
2)总单位发电成本c2
式中:Qall为总仿真时段内风电与火电机组实际总发电量。
系统总发电成本计算时仅计入运行时的煤耗成本,由于风电无煤耗成本,因此在计算时令风电的发电成本为0。
3)风电电量利用率ηkVPG和ηiW
式中:为日前计划的实时调度验证模型中,第k个WVPG被调度的出力值;为第k个WVPG的风电电量利用率;为第k个WVPG时段t可发功率实测值。
风电场i的风电电量利用率ηiW的定义与ηkVPG类似。
4)外送功率或负荷功率不满足比例ηc
式中:pcload(t)为时段t外送功率或负荷功率不满足功率值,即发电功率小于负荷功率和外送功率之和时的功率不平衡量;为源端系统时段t实测负荷功率值之和。
如果仿真日数为多日,则式(23)至式(26)中各电量、成本计算值为多日累加。
6 算例分析
本节中的仿真算例取15min为一个时段,仿真天数为30d,仿真结果指标取总时段的平均指标,相关参数的取值如下:。
6.1 系统及参数
基于中国北方某实际系统进行适当简化,构造仿真系统如图2所示。
该系统含有22 个风电场,基于各风电场2011年全年实测出力值和短期功率预测值进行分析,数据采样周期为15 min。参照国内大型燃煤机组的特点确定仿真系统中火电机组参数(见附录C),火电机组总装机容量为3 300 MW。燃煤价格取为62.47 美元/t[26]。该源端系统本地负荷较轻,负荷1至5的峰值分别为200 MW。
6.2 WVPG的划分
WVPG的划分需要结合资源相关性和电网接入情况综合考虑。同一个WVPG内部各风电场需从相同汇集站接入且拥有共同外送通道,对调度中心而言等效为一个电源而隐藏其内部信息,便于调度运行管理。对图2 仿真系统,可将其中从两个330kV汇集站A1和B7接入的两个区域风电场群分别划分为一个WVPG,调度中心对风电功率考核点由原来各风电场的公共连接点转变为汇集站A1和B7。
6.3 单风电场直调模型与WVPG模型比较分析
本算例对比分析本文提出的基于WVPG的分层协调日前计划模型与单个风电场直接参与日前计划的差异。以WVPG1为例,表1对比了两种策略下总仿真时段内WVPG1 的平均安全性和经济性风险指标。其中,直调模型的风险指标是WVPG1所在的区域风电集群内所有风电场的平均风险指标之和。
由表1中结果可知,分层模型可降低风电日前计划的安全性和经济性风险。在相同置信概率下,分层模型的VaR指标值更小,表明其调度缺额和弃风功率的取值上限降低,安全性和经济性增强;同时,分层模型的CVaR指标值更小,表明极端调度缺额和弃风功率的期望值降低,高风险事件发生的可能性降低。
表2对比了两种策略对系统运行指标的影响。其中,直调模型的WVPG电量利用率指WVPG所在的区域集群风电内部所有风电场调度电量之和与可发电量之和的比例。
由结果可知,与直调模型相比,分层模型可提高风电电量利用率。这是因为风电空间的平滑效应使得WVPG不确定性低于单个风电场,降低了风电调度缺额风险,使得在一定风险指标约束下,可以增加风电调度指令值;同时,降低了对火电机组备用的需求,使得在相同备用条件下,可以增加风电消纳空间。
分层模型的外送功率或负荷功率不满足比例低于直调模型。这是因为分层模型降低了实际运行中高风电调度缺额出现的可能性,减小了功率不平衡量。
分层模型的常规机组发电成本低于直调模型。这主要是因为直调模型中风电对常规机组的备用需求更高,增加了常规机组启停和运行点调整频率。同时,分层模型的风电利用率高于直调模型,进一步使得总单位发电成本小于直调模型。
6.4 WVPG与火电机组协调的日前计划模型比较分析
为比较WVPG与火电机组协调的日前计划采用本文模型和传统模型的效果,考虑如下3种情况:本文基于风险和概率约束的模型,文献[7]中简单场景模型和区间模型。为保持3种模型中风电特性建模的一致性,场景和区间均由本文模型中所采用的风电不确定性概率分布生成,3种模型中风电均以WVPG形式参与日前计划,仅讨论不同建模方式的影响。表3对比了3种模型中的系统运行指标。
由结果可知,场景法中常规机组单位发电成本低于本文模型。这是因为场景法难以考虑风电可发功率概率分布中调度缺额风险的影响,对常规机组备用容量需求降低。区间法要求常规机组能平衡在整个概率区间内的风电波动,对常规机组备用需求较高,增加了其单位发电成本。
场景法的WVPG电量利用率低于本文模型。这是因为场景法仅能考虑特定场景的风电波动情况,对风电概率分布全概率信息,特别是尾部概率特性考虑不足,当某些时段正向不确定性较大时预留的下调备用不足,导致弃风。区间法的风电利用率高于场景法,但低于本文模型。区间法虽然能较好地考虑整个置信区间内风电波动的情况,但对区间外正向不确定性对应的弃风风险考虑不足。
场景法和区间法的外送功率或负荷功率不满足比例高于本文模型,这是由于其对负向不确定性较高时,导致的调度缺额尾部风险考虑不足,导致可能出现大的风电调度缺额。
7 结语
高风电渗透率风火联运源端系统中,日前计划需充分关注风电电源特性,将其以部分可控电源形式纳入优化模型。单个风电场直接参与日前计划的可调度性较低、风险较高,为此,本文提出了基于WVPG的源端系统分层协调日前计划模型。WVPG仍为资源约束型电源,为控制其调度时面临的安全性和经济性综合风险,本文引入了其调度缺额和弃风功率风险指标。
仿真分析表明,与单个风电场直接参与日前计划的模式相比,基于WVPG的分层协调日前计划模型的安全性和经济性指标更优。与简单区间法和场景法相比,本文考虑WVPG安全性和经济性综合风险的模型可以降低含风电系统的日前计划风险。
本文提出的基于WVPG的日前分层优化运行策略为大规模风电集中接入模式下的日前计划策略提供了新的思路。
虚拟集群 篇5
目前针对知识产权运营的研究文献较少, Bryer等[3]提供了一套具体的知识产权管理方法, 促进企业知识产权运营价值的实现;陈伟, 康鑫[4]构建知识产权运营效率的评价指标体系, 并进行实证, 结果表明我国知识产权运营整体效率偏低;冯晓青[5,6]研究了以知识产权转让和许可为表现形式的知识产权的资本运营问题, 以及法律规制问题。上述研究为HTVIC知识产权运营提供有益启示, 但现有文献缺乏多主体组织的知识产权运营研究, 而且知识产权运营作为一种经济现象, 其内在的经济学作用机理还有待挖掘。
本文从HTVIC层面对知识产权运营活动进行分析, 揭示HTVIC知识产权运营的经济学作用机理, 在此基础上给出相应HTVIC知识产权运营策略, 从而促进HTVIC知识产权运营实践活动的开展, 并最终推动HTVIC整体和成员个体的知识产权价值增加和实现。
1 HTVIC知识产权运营活动
知识产权是权利人在一定区域、一定期限内对其知识运用结果依法享有的专有权利 (独占性) , 包括专利、著作权、商标等, 设立目的在于保护权利人的合法利益、刺激创新生成, 促进知识成果的推广和广泛应用。HTVIC的核心成员是高新技术企业, 为保证其高技术和高收益性的实现, 必然要重视知识产权的创造和应用。创造形成的是知识产权的数量, 而将数量优势转化为质量优势, 实现知识产权的价值, 则需要对知识产权进行运营应用, HTVIC知识产权运营活动包括申请、商业化和产业化、投融资、保护和反侵权、协调以及评估活动, 如图1所示。
申请。按照法律规定的流程, 当形成知识成果后, 潜在的权利人将积极进行知识产权的申请工作, 通过审批后, 权利人既拥有了对知识产权的排他性所有权。申请是知识产权运营的基础, 即是保护所有者合法受益的私有权, 也是限制权利人的无限期占有, 推进成果的公有化的方式。
商业化和产业化。知识产权用于生产中, 直接转化为产品和服务, 或改善生产工具、提高生产效率;以商品的形式出售、或转让或许可的交易方式;与高技术产业相结合, 促进知识产权成果的产业化, 这些将实现科技成果向生产力的转化并获得知识产权的经济收益, 是HTVIC知识产权运营的基本活动。
投融资活动。利用知识产权进行投资, 可以以知识产权入股、专利、商标甚至著作权都可以作价出资, 或者直接以知识产权参与合作, 从而获得知识产权的资本收益。知识产权的融资主要有质押融资, 知识产权可以作为担保品, 设定质权, 向资金提供者申请贷款, 从而降低融资成本;许可融资, 保证了知识产权的所有权的基础上, 转让使用权从而获利;知识产权证券化, 指权利人将知识产权出售给专门机构, 以未来许可使用费为支撑, 转化为证券形式而获投融资活动日益成为HTVIC知识产权运营活动的重要内容, 成为除商业化和产业化之外的主要日常收益来源。
保护和反侵权。知识产权设立的根本目的是保护权利人对其成果的收益独占性, 从而保护和刺激创新的持续生成, 在网络和信息环境下, 高技术产品的盗版, 仿造等侵权事件在技术上更容易实现[7], 因而尤其要加强对知识产权的保护, 严格对知识产权的使用情况进行监管。反侵权需要诉诸于法律, 对侵权提起诉讼加以惩罚并收取赔偿, 保证权利人的利益及社会公平。
协调以及评估。从HTVIC整体角度对知识产权的运营, 同一知识产权的权利人和使用者之间、不同使用者之间或类似知识产权权利人之间存在部分利益冲突, 协调活动从整体和长远利益出发, 对相关人员或机构进行利益或关系的安排, 实现整体运营价值的最大化。评估活动包括两方面:对交易活动和投融资活动的知识产权价值评估;对知识产权数量和质量的评估。评估保证了公平并提高了知识产权的运营效率, 间接促进知识产权价值的实现。
2 HTVIC知识产权运营的经济学作用机理
知识产权具有私人产品和公共产品两种属性。知识产权是权利人的智力成果, 在形成过程中投入了时间、资金、人力和物力等, 在经济人假设下, 权利人必然要求得到成本回报甚至垄断性的超额回报;同时权利人的权益受到侵犯时, 需要得到一定程度的补偿或赔偿, 表现了私人产品特性。同时, 知识产权是由权利人申请、政府部门审核通过的, 通过某种法律允许的方式, 知识产权可以为其他成员使用, 而且知识产权有期限限制, 当保护期限结束后, 任何人不得排除其他人对其使用, 具有非排他性;而且知识产权通过运用在HTVIC内部不断的转移和传播, 但不会因为使用者的增加而减少, 具有非竞争性。非排他性和非竞争性是公共产品的重要特征[8], 因此知识产权又具有了公共产品属性。
私人产品在法律上表现为私权性, 保护的是私人利益, 而公共产品表现为公权性, 有益于公共利益。HTVIC成员进行创新活动, 申请批准后形成知识产权, 知识产权具有专用性[9]。但从HTVIC整体来看, 不同成员拥有不同知识产权, 假设平均价格和总供给、总需求存在相互作用, 当成员愿意通过某种知识产权的运营活动与其他成员发生知识产权交易时, 成员实现了私人利益, 成为供给方 (生产者) , 而接受知识产权的成员则成为需求方 (消费者) , 多个成员的需求叠加形成总需求, 总需求的实现推动HTVIC整体的发展, 体现了公共利益。
情况1:供给量变动。假设需求仅受到价格的影响, 总需求函数表示为
如图2的曲线D, 总需求随着价格的降低而增加, 当消费者愿意支付的价格和实际支付的价格产生差额时形成消费者剩余, 在图中表现为市场价格线P0E0以上和需求曲线D以下的面积, 令反需求函数PD=F (QD) , 则消费者剩余SC为:
消费者剩余表明了从交易中获得知识产权的HTVIC成员所感受的福利。
假设供给仅受到价格的影响, 总供给函数表示为
总供给曲线如图2的曲线S。当生产者得到的价格和支付的成本产生差额时形成生产者剩余, 在图中表示为P0E0以下和供给曲线S以上的面积, 令反供给函数PS=G (QS) , 则生产者剩余SP为
生产者剩余表明愿意提供知识产权的HTVIC成员在交易中获得的福利。
当需求不变时, 供给量随价格的增加而增加, 表现为点在供给曲线上的移动, 此处的量指的是不同知识产权的总量。当供给和需求达到均衡时, 供给曲线与需求曲线交于E0点。均衡意味着知识产权的供给没有浪费, 需求也没有不足。此时消费者剩余和生产者剩余的和为总剩余, 如图2中所有阴影部分的面积, 总剩余反映了HTVIC成员在知识产权运营活动中经济收益的总体情况, 是对社会福利的一种度量, 总剩余表示为
当消费者剩余和生产者剩余同时取最大时, 总剩余最大, 也就是说, 权利人福利所表明的私人利益和受让人福利所表明的公共利益达到均衡, 社会福利最大。
情况2:供给曲线移动。假设总需求不变, 总供给受到除价格外的多种因素的影响, 包括供给方的能力A和意愿W、技术条件T和制度支持R。供给方的能力主要是知识产权的产出能力, 其实质是知识创新能力, 意愿主要是供给方是否愿意把知识产权出让给他人使用;技术条件T强调了HTVIC对于网络及信息技术的依赖;制度支持R主要是从HTVIC整体角度给出的有利于知识产权运营的各种策略。这些因素都可能带来供给数量的改变, 由此引起供给曲线的移动, 如图3所示, 向右移动供给增加到Qa, 向左移动供给减少到Qb。当向右侧移动时, 形成新的均衡点E1, 此时社会总福利比原有均衡位置E0时的增加部分如图3a的阴影区域, 而向左移动时, 新的均衡点为E2, 此时减少的社会总福利为图中3b的阴影区域, 可见, 向右移动的供给曲线会带来社会总福利增加。
情况3:供给和需求曲线同时移动。假设供给和需求受到除价格因素外的政策影响, 对于HTVIC成员的来说, 知识产权是否受到保护、和受到多大程度的保护 (政策) 将影响总需求和总供给的变化。
如果不保护, 成员可以随意使用别人的知识成果, 知识成果也可以在社会上随意转移和传播, 总需求增加, 总需求曲线向右移动M, 而此时供给由于难以收回成本而急剧减少, 总供给曲线向左侧移动N (NM) , 如图4-a, 均衡点从E0到E3, 根据公式 (5) , 此时社会福利为STa,
如果过度保护, 成员难以获得已经形成的知识成果, 或成本过高, 导致总需求减少, 总需求曲线向左移动M, 而此时供给由于获得垄断收益, 总供给曲线向右侧移动N (NM) , 如图4b, 均衡点从E0到E4, 此时社会福利为STa,
以上两种情况形成的社会福利STa和STa依赖于曲线移动幅度M、N和均衡点E3、E4的具体位置, 与均衡点E0处的社会福利相比具有不确定性, 也就是说如果政策为不保护或过度保护知识产权时, 社会福利难以保证总取最大值, 此处均衡点E0指考虑了所有情况的均值。
如果适度保护, 权利人能够弥补创新成本并获得合理利润, 受让人以一定的方式合法取得知识产权带来的收益, 双方的创新行为受到激励, 总供给和总需求都增加, 供给和需求曲线均向右侧移动, 如图4c, 根据新的均衡点位置的不同, 又有3种情况:E5=E0, E6E0和E7E0。由图中面积可以看出, 这三种情况下形成的社会福利均大于E0时, 且与新均衡点位置无关。
除上述3种情况外, 供给和需求曲线还可能同时向左移动, 如图5, 此时社会福利明显小于E0时, 如果宏观政策不鼓励创新, 对知识产权的需求和供给就都会减少, 但这与现实不符。
情况4:供给弹性分析。当供给曲线为非线性时, 曲线上的点的弹性是不同的, 弹性Es是供给变动的百分比与价格变动百分比的值, 有公式
当为富有弹性, 即供给的变化对价格变化反应敏感, 其切线与数量轴交于原点右侧;当为缺乏弹性, 说明供给的变化对价格变化反应不大, 切线交于原点左侧;当Es=1为单位弹性, 说明供给的变化同等程度与价格变化;当Es=0或Es=∞时为无弹性或无限弹性, 供给的变化根本不受价格影响或在给定价格时, 供给无限。一般认为, 后三种在现实经济生活中比较少见, 所以HTVIC知识产权的供给弹性主要为前两种。
假设在一定的需求下, 存在两条供给曲线S1、S2和两个点A (Q0+ΔQ, P0+ΔPA) 、B (Q0+ΔQ, P0+ΔPB) , 供给和需求的均衡点为E0 (Q0, P0) , 实现了社会资源的最优配置和社会福利最大。另, A和B两点都在均衡点的右侧, 反映了供大于求的情况 (供小于求时HTVIC特征不突出, 不研究) , 过A点的曲线切线交于原点右侧为缺乏弹性, 过B点的曲线切线交于原点左侧为富有弹性, 讨论A, B两点到均衡点的价格和供给的变化情况。
依据公式 (8) , A点弹性为
B点的弹性为
则 (10) - (9) 有:
又EBEA, 则又有
即A, B两点相对于均衡点的供给量变化相等时, 缺乏弹性的A点价格变动要大于富有弹性时B点的价格变动, 如图6所示。通过对价格的调整, 可以实现供给量的改变, 体现了不仅供求影响价格, 而且价格也影响供求。
这里的价格主要是HTVIC知识产权的交易价格PH, 依据价格理论和价格法, PH取决于知识产权的生产经营成本和供求关系, 成本是价格的基础, 供求使价格围绕价值上下波动。HTVIC知识产权的生产经营成本包含了生产成本和交易成本[10], 前者是为形成知识产权而投入的资金、人力和物力, 反应了成员和物的关系;后者是知识产权交易过程中信息成本和契约成本[11], 反映了成员和成员的关系, 具体表现为信息搜寻、议价谈判、签订契约、决策监督和履行合约的成本。
HTVIC是介于市场和企业之间的松散组织, 成员间组织临近、彼此信任和协同互动, 网络和信息技术广泛使用, 减少了信息不对称, 相对于没有近缘关系的企业交易而言, 减少了知识产权的交易成本, 进而降低了交易价格PH, 又引起供给量的减少, 回归均衡点E0, 缺乏弹性时的价格降低幅度要大于富有弹性时, 也就是说HTVIC交易成本节约优势在知识产权供给缺乏弹性时得到了最好体现。
3 HTVIC知识产权运营策略
HTVIC知识产权运营体现了利益一致、多因素影响、适度保护和交易成本节约机理, 从这四个方面可以给出如下运营策略, 从而促进HTVIC知识产权价值的实现。
1) 建立集中的HTVIC知识产权机构。HTVIC由相关或相近产业和机构组成, 在知识产权问题上存在共性, 建立集中的知识产权机构, 可以统一处理这些共性问题。集中的知识产权机构负责知识产权的代申请、知识产权人才的培训、知识产权的监督、代维权和提供法律资助等, 从维护知识产权的私权性角度保证私人利益的实现和最大化。同时, 集中的知识产权机构还要对HTVIC内部知识产权进行管理, 促进和刺激知识产权的转移和扩散, 毕竟HTVIC是存在一定关联的松散组织, 成员只所以加入HTVIC正是由于松散组织内部的知识共享和知识外溢的优势, 从公权性的角度, 集中机构应鼓励有偿转让和许可, 促进各种知识产权交易的合法进行, 实现知识产权沿产业链的深度开发, 保证公共利益的最大化。
2) 促进HTVIC知识产权供给增加。第一, 提高供给能力和意愿。能力取决于创新, 鼓励成员独立创新、协同创新并进行创新交流, 积极申请知识产权;对于能够以知识产权形式在HTVIC内部转移的创新给予奖励, 并为权利人进行知识产权转移提供便捷条件;对HTVIC内部产业进行规划和引导, 促进内部有效供给增加, 并推动知识产权的商业化和产业化;优化评估项目及流程, 对知识产权进行客观公正评估, 从而加大投融资活动的力度, 获取资本收益。第二, 充分和有效利用网络及信息技术。HTVIC成员依靠网络及平台连结, 通过网络收集和发布知识产权需求, 建立产权人和受让人之间的关联;利用网络平台评估、报价和协商, 促进知识产权优选和交易价值最大化;利用云建立成员知识产权档案, 进行知识产权使用情况监督等, 都将有效增加权利人利益, 从而刺激供给增加。第三, 建立有利于知识产权运营的具体制度和规范。建立创新激励制度, 对有益于HTVIC发展的重要知识产权的权利人进行物质及精神奖励;建立培训和共享制度, 积极利用平台进行HTVIC内部知识产权的转移和共享, 激励运营价值实现和HTVIC利益最大化;建立协调规范, 对于知识产权运营中HTVIC成员的利益冲突进行协调, 在依据法律法规的基础上, 灵活处理权利人和受让人的关系, 进行利益权衡。
3) 进行知识产权的适度保护。适度即要求既要刺激和鼓励权利人创新, 又要使知识成果为社会所用。从国家宏观层面来讲, 要积极开展知识产权保护的科学研究:对不同的专利、商标和版权, 依据我国情况确立不同的最佳保护期限和范围;对知识产权评估方法进行创新;特别要加大力度对跨地域的知识产权保护和涉及网络和信息技术的知识产权保护的研究;适度是通过知识产权保护水平或保护强度来衡量, 因此要对知识产权的保护水平进行定量研究, 提供适度的判断标准。从HTVIC层面来说, HTVIC成员在遵循知识产权法的基础上, 应根据实践经验, 积极探讨更加具体的知识产权保护措施, 比如:如何奖励对HTVIC发展具有重要意义的知识产权权利人;如何对HTVIC内部的盗版、网络侵权问题进行监督和惩处;如何进行组织临近条件下的知识产权价值评估;如何既促进知识产权在HTVIC内部有效转移、又防止竞争优势丧失;如何协调和解决合作知识产权权利人的产权归属、利益分配和长短期的收益矛盾等问题, 这里的合作既可以是多成员进行合作形成一个知识产权, 也可以是知识产权转以后, 原权利人和新权利人的关系。
4) 增强HTVIC的交易成本节约优势。相较于市场中的企业知识产权交易, HTVIC实现了市场的内部化, 减少了知识产权运营过程的信息不对称引起的交易成本;但HTVIC由不同利益目标的企业或机构组成, 多主体的矛盾冲突导致HTVIC管理成本增加, 只有管理成本低于交易成本时, HTVIC的交易成本节约优势才能充分体现。建立导向型的管理制度, 创造条件引导HTVIC成员进行自组织协同, 解决成员在知识产权交易中的道德风险、逆向选择风险、搭便车行为、知识产权滥用和垄断等问题。
4 结论
HTVIC知识产权运营是由申请、商业化和产业化、投融资、保护和反侵权以及协调和评估活动组成, 具有私人产品和公共产品双重属性, 通过供求理论的均衡和总剩余分析、以及供给弹性分析给出相关的运营策略:供给量的变动说明了私人利益与公共利益的一致性, 因此应建立集中的HTVIC知识产权代理机构;供给曲线的移动揭示了HTVIC知识产权运营活动受到多因素影响, 对供给能力和意愿、技术条件和制度进行提升和利用, 将实现供给增加和社会福利增加;供给、需求曲线同时移动说明要进行适度保护, 既要宏观角度的科学研究, 又要结合HTVIC实际给出具体的保护措施;供给价格弹性说明在供大于求的条件下, HTVIC的交易成本节约优势将促进均衡价格和利益最大化的实现, 引入HTVIC自组织管理, 将凸显这一优势。本文对HTVIC的知识产权运营进行研究, 将是一次有益的尝试, 将有助于HTVIC知识产权运营活动的开展和价值实现, 未来的研究将侧重从实证角度, 对上述问题进行验证和进一步深入分析。
参考文献
[1]张树臣, 高长元.高技术虚拟产业集群社会网络信任模式研究[J].管理学报, 2013, 10 (9) :1301-1308.
[2]杨晨, 夏钰, 施学哲.产业集群视角下高技术产业园区知识产权管理与服务模式探析[J].科学学与科学技术管理, 2012, 33 (10) :5-10.
[3]BRYER L G, LEBSON S J, ASBELL M D.Intellectual property operations and implementation in the 21st century corporation[M].Hoboken:John Wiley&Sons, 2011:1-10.
[4]陈伟, 康鑫, 冯志军.区域高技术产业知识产权运营效率研究:基于DEA和TOPSIS模型的实证分析[J].科学学与科学技术管理, 2011 (11) :125-130.
[5]冯晓青.企业知识产权运营管理研究[J].当代经济管理, 2012 (10) :89-93.
[6]冯晓青.企业知识产权运营及其法律规制研究[J].南京社会科学, 2013 (06) :86-92.
[7]BAKIOGLU B S.The gray zone:networks of piracy, control, &resistance[J].Control, &Resistance, 2013 (12) :29.
[8]KINDLEBERGER C R.International public goods[J].International Institutions, 2010, 1 (1) :347.
[9]HERTZFELD H R, LINK A N, VONORTAS N S.Intellectual property protection mechanisms in research partnerships[J].Research Policy, 2006, 35 (6) :825-838.
[10]徐颖.知识产品价格关联因素及作用机理研究[J].当代经济研究, 2009 (6) :65-68.
虚拟集群 篇6
在现有的高性能计算机体系结构中, 集群因其拥有极强的灵活性和可扩展性, 同时在建造成本上更具优势, 已逐渐占主导地位。集群是一组相互独立、通过高速网络互联的计算机, 并以单一系统的模式加以管理[1][2]。以往, 面对大规模的集群, 软件的安装、维护与监控都很困难, Rocks集群软件整合了高性能计算集群的安装、管理, 使普通用户也能建立和管理集群。
高性能计算随着发展也面临着不少问题, 如1) 高性能计算应用日益多样化造成体系结构的异构化, 在一个高性能计算系统中会出现不同类型CPU, 给建立统一的编程模型带来困难。2) 高性能计算程序与运算环境的规模相关, 不同规模环境的运行效果相差很大, 如通信的开销。小规模下开发的程序在大规模环境下有可能无法运行, 并行程序的规模移植要花费大量时间, 并行程序开发效率不高。3) 高性能计算应用对软件环境的复杂需求, 因对不同应用作了不同的优化配置, 不同应用的切换运行也需要管理员切换相应的环境。虚拟化技术是解决这些问题很好的途径。
在Rocks的基础上, 结合Xen虚拟化技术来构建高性能虚拟集群, 即可以快速地部署与简便管理大规模的集群, 又可以应用虚拟化技术来解决高性能计算发展遇到的问题。
1、Rocks与Xen的功能介绍
1.1 Rocks
Rocks是一组用来创建和管理高性能计算集群的工具包, 基于CentOS Linux, 包含了用于高性能计算的许多开源工具软件, 如作业调度SGE、集群监控ganglia等, Rocks的特点是软件包以称为Roll的形式组织, 如HPC Roll、SGE Roll等等[3], Roll除了Rocks已提供的外, 也可以用户自已创建Roll。这样用户安装时除了基本的软件包外通过加入不同的Roll, 来定制自已的集群。
Rocks集群通过Red Hat kickstart来进行大规模的节点自动安装, kickstart脚本文件描述了集群节点安装所需的软件及软件配置。Rocks通过Kickstart图结构来生成计算节点自动安装所需的kickstart脚本文件, Kickstart图由结点及边组成, 结点和边使用XML来描述。图中的结点代表单一的功能模块和对应的kickstart脚本片断, Rocks现在有将近200种结点可以选择。边来连接结点, 在图中穿过结点生成完整的kickstart脚本文件。Rocks采用这种方式可以灵活地生成kickstart脚本文件, 适应不同类型集群结点的安装。节点的地址、类型信息、集群配置信息都存储在MySQL数据库中, Rocks生成kickstart脚本文件时, 也会读取数据库中的相关信息。
1.2 Xen虚拟化技术
虚拟化技术使得一台物理机可以同时运行多个不同操作系统的虚拟机, 虚拟机共享物理机的资源。虚拟化技术在服务器领域内应用越来越广泛, 可以提高资源利用率, 降低建设与运行成本, 简化管理, 并实现数据快速恢复等等。目前, 虚拟化技术在高性能计算领域的应用还不多, 主要原因是, 高性能计算对性能有苛刻的要求, 虚拟化会带来些性能的损失。随着以Xen为代表的半虚拟化技术的发展, 虚拟机性能得到了很大的提升, 加州大学的研究人员经过测试证明Xen应用于高性能计算, 并不会导致严重的额外系统开销[4]。虚拟化技术与高性能计算结合会越来越紧密, 虚拟化技术为高性能计算领域的诸多困难提供了新的解决方法。
Xen是由剑桥大学开发的开源系统级虚拟化软件, 对CPU、内存以及I/O设备的虚拟都采用了半虚拟化技术, Hypervisor (虚拟机管理器) 直接运行在硬件平台上, 使用硬件接口, 完成资源虚拟化和虚拟机管理, 客户操作系统运行在Hypervisor之上, 使用Hypervisor提供的指令集和设备接口, 使客户操作系统能获得接近直接在裸机上运行的性能, 但Xen需要少量修改客户端操作系统内核与Hypervisor协同工作。
2、基于Xen虚拟机的Rocks集群的安装
Rocks把集群的节点分为两类:前端节点与计算节点。前端节点是外界访问集群的入口及管理节点, 运行集群的各种服务 (NFS, NIS, DHCP, NTP, MySQL, …) , 用户通过登录前端节点进行递交作业, 编译程序代码等等。前端节点须有两块网卡, 一块与外界通讯, 一块与计算节点通讯, 组成集群内部私有网络。计算节点负责计算任务的运行。Rocks集群结构如图1所示。
基于Xen虚拟机的Rocks集群, 有两种类型, 一是前端节点仍然运行在物理机上, 而计算节点运行在虚拟机上, 这样在一台物理机上可以安装多个计算节点, 与原来的物理集群相比, 计算节点数量更灵活。第二种类型是前端节点与计算机节点都运行在Xen虚拟机上, 构成虚拟集群, 一个物理集群可以分解为多个虚拟集群, 运行不同的计算任务。
安装基于Xen虚拟机的Rocks集群, 我们需下载Rocks相应的安装包, 包括Kernel/Boot Roll、Core Roll、OS Roll-disk1、OS Roll-disk2, 其中Core Roll包含Area51 (系统安全相关的工具) 、HPC (高性能计算及测试软件) 、Ganglia (集群监控软件) 、SGE (作业调度软件) 、Java (Java SDK) 及Xen (Xen虚拟化软件) 。
我们以前端节点在物理机上, 计算节点在虚拟机上的集群为例, 安装步骤如下:
安装前端节点:
1) 用Kernel/Boot光盘引导服务器, 出现选择安装前端节点与计算节点界面时, 输入build, 进行前端节点的安装;
2) 在Roll选择界面, 依次选定所需的功能包, Xen必须选择, 以使Rocks增加虚拟化支持;
3) 填写集群相关信息, 如集群名、域名等;
4) 设置前端节点内外网卡的IP地址、网关、域名服务器等;
5) 磁盘分区设置后, 开始安装系统。
安装计算节点:
计算节点运行在Xen虚拟机上, 安装虚拟节点的物理节点需加入Xen虚拟化支持, 这样的物理节点称为VM Container。
1) 在前端节点终端上输入insert-ethers命令, 命令界面如图2 所示, 选择VM Container。前端节点启动侦测程序, 等待子节点发送DHCP请求。
2) 用Kernel/Boot光盘引导启动物理节点服务器, 物理节点服务器向前端节点发出DHCP请求, 请求IP地址与自动安装所需的kickstart文件URL。前端节点收到DHCP请求后, 分配IP地址和主机名 (默认格式为vm-container-0-x) 给物理节点, 并将相关信息写入数据库, 同时发送kickstart URL。
3) 物理节点根据kickstart脚本文件, 从前端节点获取相应的安装文件, 自动安装。
4) 物理节点安装完后, 回到前端节点终端, 通过Rocks相关命令来添加、安装虚拟计算节点。
5) 添加一个虚拟计算节点:rocks add host vm vm-container-0-x membership="Compute", 执行后, 将虚拟计算节点的信息写入数据库, 并分配MAC地址给虚拟节点。
6) 安装虚拟计算节点:rocks start host vm compute-0-1-0install=yes, 这样, 主机名为"compute-0-1-0"虚拟计算节点开始安装, 用户可以执行rocks-console compute-0-1-0命令来监控安装过程。根据物理节点的硬件资源, 按以上的方法添加任意的虚拟计算节点[5]。
3、Rocks虚拟集群的管理
Rocks集群引入虚拟节点后, 须对虚拟节点进行有效管理, 如调整虚拟机的硬件资源, 监控虚拟机资源情况等等。Rocks自带的Red Hat Virtual Machine Manager (VMM) 提供了虚拟机管理图形化视图。在前端节点运行VMM后, 再连接到各个VM Container, 统一管理集群所有的虚拟节点。VMM界面如图3所示。
Rocks对整个集群的管理监控通过Ganglia实现, Ganglia是一个分布式的监控工具, 实现集群节点的资源监控。Ganglia提供Web界面可以看到每个节点的状态, 包括CPU、磁盘利用率, 以及节点是否在线等等。结合Ganglia, 在虚拟集群中, 可以快速进行负载均衡, 可以将负载较重物理机上的虚拟节点迁移到负载较轻的物理机上。
4、Rocks虚拟集群的应用
4.1 系统容错
MPI是Rocks集群最通用的编程环境, 但其运行环境经常会因为节点的故障而出现错误, 传统的容错是采取响应策略从错误中恢复过来, 通常依赖于检查点的保存与恢复机制[6]。在Rocks集群引入Xen虚拟化后, 可以提高容错性能。虚拟计算节点运行在Xen的虚拟机管理器上, 当虚拟机管理器监测到一个虚拟计算节点出现故障时, 可以重启虚拟计算节点或者新建一个新的虚拟计算节点代替, 这样, 故障就被自动修复。
4.2构建虚拟开发环境
高性能计算程序和运算环境的规模相关, 在大规模环境中的运行效果和小规模的运行效果可能相差很大, 并行程序的规模移植要花费大量的时间。在Rocks虚拟集群中, 一个物理节点上可以构建大量的虚拟计算节点, 就能为大规模的高性能计算提供虚拟环境, 还能为MPI编程环境定制专门的配置。这大大提高了高性能计算程序的开发效率。
4.3快速部署系统软件
不同的高性能计算应用可能需要配置不同的操作系统与系统软件, 在物理集群中, 都需要一一部署, 完成部署后还需要重启整个系统。而在Rocks虚拟集群中, 可以将操作系统、高性能计算应用和系统软件打包成Virtual Appliance (虚拟机映像) , 将新的Virtual Appliance通过网络部署到节点上, 然后重启节点, 就完成了高性能计算应用及相关系统软件的快速部署。
5、结束语
本文利用Rocks与Xen虚拟化技术构建的高性能虚拟集群, 即方便了用户的使用与管理, 又在系统容错、高性能应用环境切换、并行程序开发效率等方面优于物理集群。随着虚拟化技术在高性能计算领域研究与应用的不断深入, 虚拟化技术与高性能计算将结合得越来越紧密。
摘要：集群是目前高性能计算机系统主要的解决方案。随着集群规模的扩大, 也出现了不易安装与管理、故障率高、缺乏方便的并行程序开发调试环境等问题。本文在集群安装软件包Rocks的基础上, 结合Xen虚拟化技术构建了一个高性能虚拟集群, 从而简化了集群的组建与管理, 并提高了系统可靠性与容错性能及并行程序开发效率。
关键词：高性能集群,虚拟化技术,Rocks
参考文献
[1].王鹏, 吕爽, 聂治, 等.并行计算应用及实战[M].北京:电子工业出版社, 2007.
[2].车静光.微机集群组建、优化和管理[M].北京:机械工业出版社, 2004.
[3].Papadopoulos P M, Katz M J, Bruno Greg.NPACI Rocks:Tools and Techniques for Easily Dep-loying Manageable Linux Clusters[C]//Proc ofthe Cluster 2001:IEEE International Conferecnce on Cluster Computing, 2001.
[4].Youseff L, Wolski R, Gorda B, et al.Paravirtu-alization for HPC Systems[C]//Proc of the Workshop on XEN in HPC Cluster and Grid C-omput-ing Environments, 2006.
[5].UCSD.Xen Roll:Users Guide[EB/OL].2009.ht-tp://www.rocksclusters.org/roll-document-ation/xen/5.1.