技术集群

技术集群（共12篇）

技术集群 篇1

随着网络应用的进一步深入,越来越多的服务器采用Linux操作系统,提供邮件、Web、文件存储、数据库等服务。如今已有非常多的公司在企业内部网中利用Linux服务器提供这些服务。随着人们对Linux服务器依赖的加深,对其可靠性、负载能力和成本也倍加关注。Linux集群技术应运而生,可以以低廉的成本,高效的性能很好地满足人们的这些需要。

1 Linux集群技术简介

集群是最近几年中最为主要的一种HPC硬件,集群(cluster)就是一组MPP的集合。集群中的处理器通常被称为节点,它具有自己的CPU、内存、操作系统、I/O子系统,并且可以与其他节点进行通信。目前市场出现了很专业集群设备,但有很多地方都使用常见的工作站运行Linux和其他开放源码软件来充当集群中的节点。与专业的硬件设备相比,使用Linux工作站和相应的开源软件来实现集群功能的最大优势在于成本低且企业可根据企业的自身的要求来进行二次开发。

1.1 集群技术的用途

每台服务器所能承载的连接和负载量都是有限的,为了使用服务器能够承载更大的负载,我们一般采用对称多处理(Symmetric Multi-Processor,简称SMP)技术来提升服务器的整体性能。但是,SMP的可扩展能力有限,SMP服务器显然不能满足高可伸缩、高可用网络服务中的负载处理能力不断增长需求。随着负载不断增长,会导致服务器不断地升级。这种服务器升级有下列不足:一是升级过程繁琐,机器切换会使服务暂时中断,并造成原有计算资源的浪费;二是越往高端的服务器,所花费的代价越大;三是SMP服务器是单一故障点(Single Point of Failure),一旦该服务器或应用软件失效,会导致整个服务的中断。

通过高性能网络或局域网互联的服务器集群可以解决上述问题,并能实现高可伸缩的、高可用网络服务。与提升单个服务器配置方法,服务器集群技术具有典型的优点。

1)性能

网络服务的工作负载通常是大量相互独立的任务,通过一组服务器分而治之,可以获得很高的整体性能。

2)性能/价格比

组成集群系统的PC服务器或RISC服务器和标准网络设备因为大规模生产降低成本,价格低,具有最高的性能/价格比。若整体性能随着结点数的增长而接近线性增加,该系统的性能/价格比接近于PC服务器。所以,这种松耦合结构比紧耦合的多处理器系统具有更好的性能/价格比。

3)可伸缩性

集群系统中的结点数目可以增长到几千个,乃至上万个,其伸缩性远超过单台超级计算机。

4)高可用性

在硬件和软件上都有冗余,通过检测软硬件的故障,将故障屏蔽,由存活结点提供服务,可实现高可用性。

1.2 Linux集群类型

按照集群侧重点不同,可以把Linux集群分为三类。

1)高可用性集群

最简单的高可用性集群有两个节点:一个节点是活动的,另外一个节点是备用的,不过它会一直对活动节点进行监视。一旦活动节点出现故障,备用节点就会接管它的工作,这样就能使得关键的系统能够持续工作。

2)负载均衡集群

负载均衡集群通常会在非常繁忙的Web站点上采用,它们有多个节点来承担相同站点的工作,每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。

3)高性能集群

高性能集群用来运行那些对时间敏感的并行程序,它们对于科学社区来说具有特殊的意义。高性能集群通常会运行一些模拟程序和其他对CPU非常敏感的程序,这些程序在普通的硬件上运行需要花费大量的时间。

高可用性集群、负载均衡集群及高性能集群三者的工作原理不同,适用于不同类型的服务。通常,负载均衡集群适用于提供静态数据的服务,如HTTP服务;而高可用性集群既适用于提供静态数据的服务,又适用于提供动态数据的服务,如数据库等。高可用性集群之所以能适用于提供动态数据的服务,是由于节点共享同一存储介质,如RAIDBox。也就是说,在高可用性集群内,每种服务的用户数据只有一份,存储在共用存储设备上,在任一时刻只有一个节点能读写这份数据。高性能集群用来运行那些对时间敏感的并行程序。

2 Linux集群的实现方案

根据不同的应用需求,Linux集群有三种类别的集群方案:高可用性集群方案、负载均衡集群方案、超级计算集群方案。

2.1 Linux高可用性方案

高可用性集群系统中不同的服务器承担不同的任务,当其中一个服务器发生故障时,系统根据设定的条件,将发生故障的服务器的任务转移给另外一台服务器,对于最终用户来说,并没有反映出系统故障,系统的可用性得到提高。

在如图1所示的高可用性集群架构中,真实服务地址绑定到一个虚拟网卡(Eth0:1)上,通过心跳监测进程来将主服务器节点或是备份服务器节点的虚拟网卡(Eth0:1)激活。主服务器节点与备份服务器节点都只需一个网卡,它们上面都分别绑定两个IP地址,即公网IP(Eth0:0)和私网IP(Eth0:1)(若是异地备份则需要两个都是公网IP),其中私网IP用于心跳监测程序传递心跳信号,当备份服务器节点发现主服务器节点无心跳后,会自动代替主服务器节点工作,而当发现主服务器节点已恢复正常工作,则自动切换到备份状态。

2.2 负载均衡集群方案

2.2.1 负载均衡集群的架构

负载均衡的解决方案中,若干台服务器做同样的工作,这样一来以前由一台服务器来做的工作已经分配给多个服务器来做,整个系统的处理能力得以提高。如图2所示,在整个负载均衡集群中由负载均衡器、真实服务器组和共享存储三部分构成。

1)Load Balancer(负载均衡器)

Load Balancer是整个集群系统的前端,负责把客户请求通过特定的调度算法转发到Real Server上。Backup是备份Load Balancer,当Load Balancer不可用时接替它,成为实际的Load Balancer。Load Balancer通过Ldirectord监测各Real Server的健康状况。在Real Server不可用时把它从群中剔除,恢复时重新加入。

2)Server Array(真实服务器组)

Server Array是一组运行实际应用服务的机器,比如WEB,Mail,FTP,DNS,Media等等。在实际应用中,Load Balancer和Backup也可以兼任Real Server的角色。

3)Shared Storage(共享存储)

Shared Storage为所有Real Server提供共享存储空间和一致的数据内容。

2.2.2 负载均衡集群的算法

目前,Linux平台下的集群软件有很多,其中Linux Virtual Server(LVS)最为流行。LVS安装在负载均衡器上,使用虚拟IP地址对外服务,当接受到客户请求后它根据特定的调度算法将客户机请求转发到选择的真实服务器,LVS支持的调度算法如下。

1)rr轮叫(Round Robin)

调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。

2)wrr加权轮叫(Weighted Round Robin)

调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3)lc最少链接(Least Connections)

调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用“最小连接”调度算法可以较好地均衡负载。

4)wlc加权最少链接(Weighted Least Connections)

在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

5)lblc基于局部性的最少链接(Locality-Based Least Connections)

基于局部性的“最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”的原则选出一个可用的服务器,将请求发送到该服务器。

6)lblcr带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)

带复制的基于局部性“最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按“最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器,若服务器超载;则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。

7)dh目标地址散列(Destination Hashing)

目标地址散列调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

8)sh源地址散列(Source Hashing)

源地址散列调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

2.3 超级计算集群方案

超级计算集群是并行计算的基础,以解决复杂的科学问题。它可以使集群系统通过高速连接来链接的一组单处理器或双处理器微机,并且在公共消息传递层上进行通信以运行并行应用程序。因此,所谓的廉价的Linux超级计算机,实际是一个Linux计算机群集,其处理能力与真正的超级计算机相当,但Linux集群系统的价格比超级计算机便宜很多。

支持Linux集群的软件及系统有EnFuzion,Beowulf等。Beowulf软件的主要功能包括:分发任务到各个计算节点、监测任务运行的情况、监测故障及故障恢复、控制任务队列等。

3 总结和展望

集群是在理论和实际应用上都有重大意义的技术,现在正备受各大IT厂商的关注,但现有集群系统在某些方面仍存在不少问题,在性能与可用性方面还不是十分理想,因此人们仍在寻找更好的方法以使集群系统具有更高的性能与更高的可用性,而Linux由于它的开源特性,必然会有更多的有志之士为它出谋划策。本文主要介绍Linux集群技术的基本类型及其方案描述,希望本文能对服务器集群技术的深入研究起到抛砖引玉的作用。

参考文献

[1]金戈.Linux高性能计算集群——概述[EB/OL].[2007-07-07].http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part1/index.html.

[2]陈年.Linux服务器集群系统构建[J].福建电脑,2005(12).

[3]张林波,迟学斌.并行计算导论[M].北京:清华大学出版社,2006.

[4]姚耀文.基于Linux的服务器群集方案[J].计算机工程,2001,27(4):1392-1411.

[5]吴晓龙.高可用性集群系统在医院信息系统中的应用[J].广西科学院学报,2002,18(1):19-21.

[6]屈钢,邓健青,韩云路.Linux集群技术研究[J].计算机应用研究,2005,5:100-101.

[7]陈强,程昌品,邓九英.校园网建设与管理的现状及思考[J].计算机教育,2004(4).

[8]江小云.建立基于服务器群集的负载均衡架构[J].重庆科技学院学报:自然科学版,2007(2).

技术集群 篇2

中小企业集群的技术扩散问题研究

中小企业集群作为一种特殊的企业组织形态,在当前各国经济体系中表现出非凡的活力,已成为区域经济发展的基本特征,而这些中小企业集群的持续发展需要不断提升集群的`技术扩散能力.但是,由于诸多因素的影响,中小企业集群技术扩散状况不容乐观,提升其技术扩散能力已刻不容缓.本文在分析中小企业集群内技术扩散特征的基础上,针对集群在技术扩散中所存在的问题,从政府和企业两方面提出了促进中小企业集群内技术扩散的相应对策.

作 者：鲁旭  作者单位：河南科技学院,河南,新乡,453003 刊 名：当代经济 英文刊名：CONTEMPORARY ECONOMICS 年，卷(期)：2009 “”(24) 分类号：F2 关键词：中小企业集群   技术创新   技术扩散   技术扩散   曲线  

装备制造业集群技术创新分析 篇3

关键词：装备制造業集群；技术创新；产业集群；创新

装备制造业是区域经济的基础产业，它的发展水平在一定程度上影响着一个地区的综合经济实力。经过长期发展，我国装备制造业已经发展成为一个宽领域，大规模，高质量的产业系统。由于产业集群具有显著优势，最近几年装备制造业发展得越来越集权，而且装备制造业集群也成为了学术研究的重点。但是在国内，装备制造业集群仍然处于基础发展阶段。同国际先进水平相比，我国的装备制造业在技术创新领域还有许多缺憾和不足，这就导致了我国装备制造业在国际竞争中处于一个不利位置。我们知道，技术创新对装备制造业集群有许多积极的作用，比如提高生产技术，减少产品成本，提高产品质量，此外，技术创新对于区域装备制造业集群的竞争力提升有重要作用。

本文首先分析了装备制造业集群技术创新的动因，接下来对装备制造业集群技术创新的过程进行了系统分析，在此基础上，本文对装备制造业集群建立了技术创新系统，此外，本文还总结了技术创新的影响因素。

一 、装备制造业集群技术创新动因

（一）核心企业的利润驱动

为了保证在市场竞争中的主体地位并且追逐额外利润，创新主体必须进行创新活动，装备制造业集群的核心企业控制着市场上大部分的产品供应，核心企业拥有这个产业的领先技术，技术创新为这些企业带来巨大的利润和更强的市场竞争力。

（二）市场需求驱动

通过对国内外先进的装备制造业发展的分析，我们发现国内需求对装备制造业有驱动作用，除此之外，国内需求也支撑着装备制造业集群的技术创新活动。市场需求既是装备制造业集群技术创新的源泉，也是其终极目标。

（三）科技发展的促进作用

装备制造业是一个典型的技术密集型产业，由于技术进步和应用新技术产生的巨大利润是装备制造业集群技术创新强有力的推动力，高科技的应用对于装备制造业集群的改革和发展都是一种趋势。

（四）政府的政策引导

由于大多数的装备制造业产品关系到国家安全和国民经济命脉，政府实施了一系列的技术政策引导装备制造业集群的技术创新，政府政策是装备制造业集群技术创新的主要驱动因素，尤其是那些针对特殊地区发布的政策。

二、装备制造业集群技术创新过程

（一）技术创新的决策过程

随着装备制造业集群的发展，其市场需求变得越来越大，为了满足外部最佳选择的需求，产业集群中的核心企业开始进行技术创新。首先，核心企业会评估目前整个集群的创新能力，然后，核心企业要确认市场需求和集群的创新能力，这样，一个初步的创新策略制定出来。

（二）关键资源的整合过程

装备制造业的生产一般都是技术密集型和资本密集型的，它们的生产和发展都需要大量的资源，比如人力，财力以及集群内外部的创新组织，对这些资源的高效利用，尤其是知识资源，对装备制造业集群的技术创新有直接影响。

（三）技术发展与商业化过程

装备制造业特殊的市场结构为其技术创新活动提供了安全性，集群中核心企业的技术发展需要从相关企业和机构获得技术支持，指包括几个方面的合作：企业与企业的合作，企业与科研机构的合作，企业与中介机构的合作以及企业与金融机构的合作。

（四）创新的扩散和升级

技术扩散是潜在使用者通过一定的渠道对创新技术的传播过程，技术在产业集群中的同类企业之间扩散，企业之间的一些潜在差距一点点缩小，新一轮的技术创新就会开始。技术扩散的最终结果是，集群中的技术水平加强而且技术储备也增加了，技术扩散和升级不仅获得了合作创新，同时也加快了新一轮的创新并且迎来了循环的创新升级。

三、装备制造业集群技术创新的影响因素

（一）技术创新的投入要素

对于装备制造业集群来说，技术创新活动的创新投入要素是必备的先决条件，因为要素投入水平代表着技术创新的实践创造能力和潜在输出力。企业家在技术创新中扮演着重要角色，他们的能力对技术创新决策有重要的影响。建立高效的创新机制，杰出的创新人力资源以及不断增加的创新基金，都是创新过程中的重要条件。

（二）技术创新能力的影响

装备制造业集群的技术创新过程往往伴随着技术变革，集群的技术创新能力在原有的基础上不断改善，它在技术创新活动中扮演着重要角色。优秀的技术创新能力得益于获取技术和知识整合，在这种方式下，装备制造业集群可以形成自主知识产权，拥有核心竞争力。

（三）技术扩散渠道的影响

装备制造业集群的技术扩散渠道对技术扩散有重要影响，技术扩散渠道为核心企业到中小企业的技术扩散提供了途径。近几年来，外商直接投资成为国际技术扩散的最主要渠道，这对于集群获取国外先进技术是有益的。

（四）技术创新因素的组织

技术创新的过程是一个协调与合作的过程，不仅仅是在内部组织之间，也包括内外部组织之间的协调合作。要形成一个合理高效的技术创新合作组织，加强企业，高校与科研组织的联系，促进知识整合以达到技术创新目标。

（五）政府政策的影响

政府政策是装备制造业集群技术创新最基本的影响因素。装备制造业在发达国家的发展表明其发展与政府政策是密不可分的。主要的发达国家，像美国，日本，德国，它们的装备制造业发展较快的原因就是政府的重视。

四、结论

本文集中分析了装备制造业集群技术创新的动因和过程，并建立了创新系统，在此基础上，本文总结了影响装备制造业集群创新的主要因素。以下是对本文的总结：

（一）装备制造业集群技术创新是一个动态循环积累过程，主要包括：技术创新决策过程，关键资源的整合过程，技术发展与商业化过程，创新的扩散和升级过程。

（二）装备制造业集群的技术创新由一系列的活动组成，技术创新系统是一个复杂的系统，与许多相互作用的创新项目有关。

（三）装备制造业集群技术创新的影响因素有：技术创新投入要素的影响，技术扩散能力的影响，技术扩散渠道的影响，技术创新因素组织的影响，政府政策的影响。（作者单位：重庆师范大学）

参考文献：

[1] 高麟.装备制造业集群技术创新能力研究.科学进步与对策，2009（9）

[2] 李凯，李世杰.装备制造业集群网络结构研究与实证[J].管理世界，2007.（12）

[3] 刘友金.中小企业集群式创新 ：中国经济出版社，2004.

[4] 魏江.产业集群：创新系统与技术学习[M].北京 ：科学出版社，2008.

[5] 牛俣庄，张智勇.制造产业集群闭环价值链模式研究 .科技进步与对策，2009.

[6] 纪淑娴.装备制造业集群创新能力研究[D].西南交通大学硕士研究生学位论文，2008

浅谈数字集群专业技术 篇4

关键词：数字集群,组呼,前向业务共享技术,快速连接技术

1 数字集群替代模拟集群是通信发展的必然趋势

目前移动运营商所关注的传统语音业务多是一对一的通信, 而对于一些组织机构, 他们需要一种快速、高效、私密、一对多的通信方式。模拟集群虽然能解决快速、一对多的通信, 但模拟集群通信设备简陋、功能简单、通话质量差、频率资源占用多、保密性能低, 不能真正发挥无线调度的功能, 已经远不能适应人们对指挥调度信息传输和综合业务不断增长的需求, 市场需要一种能够提供广覆盖、高信道利用率、安全灵活的数字集群通信方式。2001年信息产业部发布了518号文件规定:停止为800MHZ模拟集群通信系统指配频率;搞好800MHZ数字集群通信系统频率使用规划;加强800MHZ数字集群频率集中管理;除链状系统的专网外, 其他的都应在共网中建虚拟专网 (VPN) 等。另外, 387号文件规定需申请使用数字集群通信频率, 必须经信息产业部无线电管理局批准才有效, 所以, 集群通信数字化已经成为集群通信发展的必然趋势。

实现一呼百应和快速连接是数字集群替代模拟集群的主要技术难题, 数字集群在发展过程中良好地解决了这一问题, 推动了国产数字集群的发展。

2 概念

数字集群是一种用于指挥调度的信道共享的专用移动通信技术, 是一种专用的高级指挥调度系统。数字集群系统功能强大, 包括丰富专业的集群功能、普通话音业务、短消息、定位以及高速无线分组数据业务等, 更提供了无线数据采集/传输、视频监控等丰富的行业/商业应用解决方案, 充分满足共网数字集群的市场拓展需求, 节省了频率资源, 解决了多群组、组成员用户大容量、快速接续等等的技术难题。

3 数字集群网络架构

一个基本的数字集群的系统由数字集群终端、基站子系统BSS、调度子系统DSS、交换子系统MSS、分组子系统PDSS和相应的操作维护中心OMC组成。

BSS子系统:基站子系统BSS由基站收发信机BTS和基站控制器BSC共同构成, 主要完成集群业务, 数据业务和普通电话业务的接入功能。

DSS子系统:DSS系统主要目标客户是提供集群系统或业务的运营商, 运营商通过配置PDS和PHR设备为集群用户提供集群调度服务, 并提供集群业务的电信级鉴权、授权和计费服务。同时, 运营商可以通过选配DAS设备, 为集团用户提供调度台服务, 为集团用户建立集群调度的虚拟专网。

MSS子系统:数字集群交换子系统由交换中心MSC、位置归属寄存器HLR、拜访位置寄存器VLR、鉴权中心Au C以及短消息中心SMC等实体构成。

PDSS子系统:PDSS系统由MS、BTS、PCF、PDSN、AAA、HA共同完成数字集群系统所需的分组数据业务, 分组交换核心网的功能实体包括:PDSN (分组数据服务节点) 、HA (归属代理) 、AAA (认证、授权和计费) 服务器。

OMS是维护子系统:负责数字集群各子系统的维护。

4 数字集群接口描述

数字集群通信系统由MS、BSS、MSS、PDSS和DSS等几部分共同组成, 其中MS和BSS之间的接口时um空中接口。BSS内部BTS和BSC之间采用的是Abis接口。BSS同MSS之间采用的是A接口。BSC和PCF之间采用标准的A8/A9接口, PCF和PDSN之间采用A10/A11的标准接口。BSC和PDC之间采用的是A8d/A9d接口, PDC和PDS之间采用的是A10d/A11d的标准。

5 调度子系统之间的接口协议

数字集群接口协议除了采用CDMA的标准协议外, 最关键是对A11、A10接口协议进行了集群业务的扩展, 扩展后的接口协议称为A11d/A10d。

5.1 PDS与PDC间的接口:

DSS系统的R-P接口是BSS/PDC与PDS的接口, 其中A10/A11接口符合A.S0001-A规范定义。在R-P接口基础上, A10接口将封装集群信令和数据报文, 在PDC与PDS之间建立好的A10链路上传递。支持集群业务的R-P接口也称为A11d/A10d接口。从物理上看, PDS与PDC的接口是10/100M以太网接口。

5.2 PDS与DAS间的接口:

DAS与PDS之间的接口用于调度台和管理台操作与PDS相关的信令和数据传输, 从物理上看, 是10/100M以太网接口。

5.3 DAS与PHR间的接口:

DAS与PHR之间的接口用于调度台和管理台操作与PHR相关部分信令和数据的传输, 从物理上看, 是10/100M以太网接口。

5.4 DAC与DAS间的接口:

DAC与DAS之间的接口采用HTTP接口, 用于传送调度台和管理台的操作请求和应答消息。

5.5 操作维护接口:

DSS系统的操作维护接口采用业界标准, 从物理上看, 操作维护接口是10/100M以太网接口。

5.6 A11d接口:

R-P接口使用A11信令来管理A10链路, A11消息使用UDP协议承载, 包含如下信令消息。

A11-Re gis tration Re que s t:PDC向PDS发送的A11注册请求消息, 用于PDC请求建立、更新和释放A10链路。A11-Registration Re ply:PDS对PDC发送的A11注册请求的应答消息。A11-Re gis tration Update:PDS向PDC发送的A11注册更新消息, 用于PDS主动请求释放A10链路的消息。

5.7 A10d接口:

A10d接口的GRE (通用路由封装) 用作对PTT报文打包实现隧道传送。通用路由封包GRE提供了以任一种网络协议封装另外任一种网络协议的方法。R-P接口的A10d是封装在GRE包中在PDS和PDC间传递的, 而GRE又是使用底层的IP来承载的, 底层的IP源地址和目标地址分别是PDS的地址和PDC的地址。PDC将MS发来的PTT语音流送到PDS, PDS根据群组和成员的信息, 将从反向链路收到的PTT语音流报文分发到对应的各前向链路上。

6 数字集群关键技术

6.1 数字集群需要解决的两大问题:

集群业务的突发性和一呼百应的问题。集群业务中存在着大量的“一对一”的呼叫应用 (单呼或私密呼) 以及“一对多”的呼叫应用 (组呼) , 组呼俗称“一呼百应”。在一对多的呼叫中, 如果每个用户都分配给单独的无线信道和网络链接, 集群呼叫具有的突发性, 会在同一时间内大量占用前项业务信道, 系统必须为这些前项信道分配大量的功率。另外, 大量反向信道的存在, 也会增加系统的噪声。集群呼叫要求快速连接问题。无线系统中通用分组数据业务接续时间长, 根本不能满足集群应用时的需求。必须解决无线系统中在实现集群呼叫时所需要的快速连接的问题。

6.2前向业务信道共享解决了一呼百应和集群的突发性问题:

信道共享是群组通信的前提, 否则就不能实现任何一个人讲话, 群组内其他成员均能同时听到。

数字集群标准对两种前向业务信道和一种反向业务信道进行优化, 实现了前向业务的共享。

前项专用控制信道 (F-DCCH) :每个用户都建立独立的F-DCCH, 用于传送用户的信令信息和功率控制信息。

前项补充信道 (F-SCH) :F-SCH用于传送用户的语音数据。同一组内每一个用户分配的F-SCH具有相同的长码掩码和Wlash码, 这样该载扇下该群组内每一个分配了F-SCH的终端多可以对该F-SCH进行解码, 从而实现了F-SCH的共享。每一个终端接收到的能量是该载扇下组内F-SCH叠加的能量, 可见信道共享即是功率的共享。

反向专用控制信道 (R-DCCH) :R-DCCH用于传送用户的信令信息和反项业务数据。组内每一个激活的用户均分配一个R-DCCH, 只有收到PTT调度服务器 (PDS) 授权的终端才能在该信道上传送语音。

6.3快速连接技术解决了集群要求快速连接的问题:

对集群呼叫, 务须通过PPP参与, 省去了建立PPP链路的时间:数字集群通过数据通道建立快速的连接, 而不是传统的电路连接方式。在数据通道上省去了建立PPP链路的时间, 从而省去了大量的接续时间。由于传统实现方法在分组数据域建立PPP连接, 使呼叫建立速度较慢, 系统没有采用PPP连接, 而是在R-P接口上直接承载业务数据。

连接的Always-On方式:采用CTML、STDL的群组呼叫, 用Alw ays-On将提高接续速度。系统通过上电初始化的时候在PDS (调度服务器) 和PDC (调度客户端) 之间建立多条CTML信令链路, 这样尽管数字集群没有点对点的PPP连接, 但是由于引进了CTML (Common Trunking Me s s age Link) 和STDL (Share d Trunking Data Link) 以及F-SCH的共享特性, 仍然可以为群组用户提供“永远在线”的方式, 就有效的加快了信令传输, 提高了呼叫建立时间;同时, 在基站处理过程中, 数字集群采用并发的处理方式以节省用户的接续时间。

通过使用这些先进技术, 数字集群系统可确保首次呼叫建立时间在1s以内, 会话过程中, 呼叫建立时间在200ms左右。

7结束语

技术集群 篇5

产业集群技术创新演化的CA模拟分析

本文采用研究复杂性问题的.研究思路,从微观机制着手分析产业集群技术创新演化过程.文章建立了产业集群技术创新演化的CA模型,并结合产业集群生命周期理论,对产业集群的技术创新演化进行计算机模拟实验.

作 者：蔡彬清 陈国宏 李关娟 CAI Bin-qing CHEN Guo-hong LI Mei-juan 作者单位：福州大学管理学院,福建,福州,350002刊 名：中国管理科学 ISTIC PKU CSSCI英文刊名：CHINESE JOURNAL OF MANAGEMENT SCIENCE年，卷(期)：13(z1)分类号：C931关键词：产业集群 技术创新 复杂性 CA 模拟实验

技术集群 篇6

校园网格可以使共享的资源合理分配，同时兼顾到各个部门对于资源的不同需求，并根据不同需求设立不同的优先级以利于管理、维护。同时，校园网格还可以为资源拥有者提供一种交易方法，即将目前闲置的资源贡献出去，以此换回将来自己在资源需求峰值时能够利用其他限制资源的权力。与此同时，校园网格的建立可以改变学校传统意义上对IT资源构建和管理上的分散模式，取而代之的是将主要投入集中在学校共享资源上，如可以共享的网络设备、计算中心、数据中心等等，这样将使学校对于各种资源的投资最大化，并使IT资源的管理更趋合理化。

一、校园网格概述

1.网格计算

网格计算是伴随着互联网而迅速发展起来的，是专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算机是由成千上万个“节点”组成的“一张网格”，所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势：一是数据处理能力超强。二是能充分利用网上的闲置处理能力[1]。

实际上，网格计算是分布式计算（Distributed Computing）的一种，如果我们说某项工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强的数据处理能力[2]。

2.网格的基本要素

一个良好的网格系统需要一些最基本的功能部件来保证其正常运行。功能部件可以被用来满足特定的需求，根据网格应用的不同，功能部件也会不尽相同，但是作为网格的公共基础部分，有些功能部件是必不可少的。

（1）用户界面（Portal）

用户界面（Portal）是为那些专业用户使用网格资源，提交其需要执行的作业而设计的简单易用的工具。

（2）数据移动

数据移动的目的是解决作业在异地运行时的数据上传和结果数据下载的问题。数据的移动有如下几种情况。

独立方式：独立的数据传递方式，独立于作业的提交。例如随机文件的传递或一个预定的数据传递可通过特定的传输工具或数据网格。

分段传输：用手工上传方式将数据传递到集群。

传递计算的结果：将最终的运算结果传递给用户以及底层作业日志存储系统。

传递计算的中间结果：将作业处理过程的中间信息传递给用户，供用户根据这些信息调整作业处理进程。

（3）资源管理

资源管理的主要任务就是充当资源的供应方，并为那些需要资源的作业或任务分配资源。

（4）作业提交

最终用户需要一种方法来提交、定义它的作业以及作业的工作参数，比如数据的位置路径，计算资源组、触发机制、认证信息等等。

（5）作业监控

最终用户可以通过界面来监控、管理其作业。

（6）网格系统的管理

网格系统管理在于控制身份认证、授权，网格系统管理的真正目标是允许系统管理员异地控制和操作[3]。

3.校园网格的定义

校园网格是网格技术在校园中的一种应用，与其他的计算网格、信息网格不同，它的资源提供者是各部门的各类资源，包括集群、数据库、高性能计算机、个人PC机、存储设备等，而用户一般是学校的教职员工和学生，他们通过校园网格共享计算、信息、存储、教学等资源。

作为一个优良的校园网格需要满足以下条件：

（1）集中管理用户的身份认证和授权。

（2）支持异构计算机资源，对于不同的硬件、操作系统的支持。

（3）允许不同的最终用户对资源的不同需求。

（4）允许计算资源共享。

（5）校园网格能提供资源的整合能力，同时能够调配网格上的资源解决单个问题的需求。

（6）校园网格必须能为学校的IT建设、资源使用、系统资源瓶颈分析提供有力的数据。

（7）校园网格不应该是一个封闭的系统，它有能力和兄弟学校的网格系统互联、互通。

二、校园网格的设计原则

（1）与网格框架兼容。网格作为广域异构分布资源互联的基础设施，为上层提供了许多基础服务，校园网格的设计应基于网格框架，并与底层网格机制相兼容。

（2）一致的信息结构。用户以一致的方式访问资源的结构信息和状态信息。

（3）与底层实现机制无关性，包括资源的存储、访问方式等。系统可以定义一些界面或接口，以封装不同系统在资源存储、管理等方面的异构性。

（4）与应用策略无关性。应将与性能无关的一些重要功能的实现方式留给用户或是应用程序来选择，而不是由系统封装执行[4]。

三、校园网格集群系统结构模型

1.网格集群系统结构模型

根据前文提到的校园网格设计的一般原则，校园网格集群系统应包括三个部分：用户访问部分、作业调度和高性能计算部分、报表统计分析部分。如图1所示。

（1）用户访问部分应包括多种方式，用户可通过浏览器、命令行、集成后的应用程序访问高性能计算开放式平台和计算服务器的资源。根据用户不同的需要在多种访问方式中进行切换。

（2）作业调度和高性能计算部分应支持异构的分布式Unix/Linux，Windows计算环境，提供可靠的集群管理、负载共享、复杂作业管理及调度功能和大规模并行计算的能力，可以有效提高大型计算任务的资源利用率。

（3）报表统计分析部分，针对高性能计算部分的作业信息，报表统计部分应支持大型的数据分析和数据挖掘。网格使用过程中的资源使用信息、作业信息、记账信息存储到数据库中，数据分析系统根据这些信息提供出校园网格IT系统全面的负载和运行状况分析报表。利用这些报表，网格管理人员可以有效地针对系统性能，优化系统使用，优化项目或人员的管理，从而减少运营和IT基础建设的成本，并为下一步的投资提供决策依据，以实现投资回报的最大化。

2．校园网格集群系统解决的问题

（1）统一规划的提交与管理界面

通过提供Web门户的方式及应用软件的集成，为用户提供了统一的作业提交和管理界面。用户只需提交自己的作业任务即可，无需关心其任务去哪些计算机运行，这种方式大大降低了最终用户的使用软件的门槛。

（2）资源在集群层面的共享

整合整个校园的异构资源，包括异构的硬件资源（如CPU、内存等）和异构的软件资源（Windows，Linux，Solaris），屏蔽资源差异。汇集本地集群的计算资源，为大规模计算任务提供更多的资源。

（3）优先级控制

作业调度部分应提供多种调度方式，以保证用户使用上的优先级，使计算资源（CPU，内存等）根据用户的需要，进行合理的优化，使用户在项目管理中总能迅速地获得所需要的计算资源。

网格技术的目标是实现互联网上资源的全面共享与协同合作，为用户提供便捷、高效的计算服务，网格将会成为未来的计算模式。而校园网格的构建是网格普及化的关键一步。本文对网格技术在校园信息化建设中的应用进行了探讨和研究，提出了一种校园网格的框架结构。网格技术必将会大大促进校园信息化的发展。

参考文献

[1]都志辉,陈渝,刘鹏.网格计算[M].北京:清华大学出版社,2002.3.

[2]虎嵩林,熊锦华,李刚,韩燕波.服务网格中的业务端即时应用集成技术研究[J],计算机研究与发展,2003,40（12）:1700-1707.

集群存储技术的分析与研究 篇7

随着科技的发展, 传统视音频技术和IT存储技术的融合越来越深入。从早期的DAS直连架构, 到后来的NAS架构和SAN架构, 乃至后来出现的IP-SAN架构, 存储技术正在不断向前发展。同时, 多年来的视音频存储系统集成经验也让我们彻底熟悉了各种架构的优势及劣势, 也积累了一些使用中遇到的问题, 诸如:后期扩展复杂, 以及扩展后性能不升反降的问题。在这个信息爆炸的时代, 大量非结构化数据的引入, 正在逐步蚕食我们宝贵的在线存储资源, 如何轻松的实现存储扩展?如何使视音频存储系统满足业务不断攀升所带来的性能需求压力?如何实现高性价比的海量数据存储?这是今天我们将要面对的现实问题。集群存储技术的出现, 为我们提供能了一种耳目一新的全新体验。

集群存储技术概述

众所周知, 目前正在广泛使用的视音频存储大多采用控制器+JBOD磁盘柜的组合。存储的扩展多依靠购买全新的磁盘扩展柜以及硬盘来处理, 我们称这种存储结构为Scale-In结构, 即:纵向扩展结构。纵向架构就像传统的火车一样, 动力机组只有一个到两个, 随着客运以及货运车厢的增多, 该列车的载客和载物量会有所提升, 但是动力及速度将会变低。

随着技术的不断进步, 借用动车组的设计理念, 出现了集群存储技术, 该技术的出现使得传统NAS架构和SAN架构发生了巨大的变化。集群存储架构成为Scale-Out架构, 即:横向扩展结构。在这种体系架构下, 不再只有两个或者有限数量的控制器发挥I/O处理作用, 集群存储中的每一个节点既是存储节点也是I/O节点, 数据打散分布存储在不同的存储节点中。就像动车组系统一样, 每一节车厢既能载客也能发挥动力作用。采用这种先进的设计思想, 使得存储系统的I/O能力得到了很大的提升, 同时, 此类系统又可以采用X86服务器架构, 因此系统扩容更是成本低廉。此外, Scale-Out存储架构更具有扩展方便等特点, 一旦发现容量或者性能无法满足业务系统的需要, 可以轻松地添加“节点”, 实现存储系统的动态扩展。

提供块级访问的Scale-Out集群存储有以下代表:DELL EQUALLOGIC, IBM XIV, Infortrend ESVA等。从图1可以看出, 集群存储将多个存储节点进行池化处理, 形成存储资源池或者资源组, 并按照一定的颗粒度将数据分成小型数据块单位。数据存储时, 控制器接收上层文件系统下发过来的数据并在控制器内将其分成固定颗粒度的小块, 分布存储在不同的存储节点内, 同时小颗粒数据间按照数据校验规则 (RAID1/RAID3/RAID5) 形成有效的数据保护。

提供文件级访问的Scale-Out集群存储有以下代表:EMC ISILON, HP IBRIX, OMNEON MediaGrid等。在文件级集群存储中, 又分为如下技术派系:

第一类:并行文件系统技术路线, 如:OMNEON, 龙存科技等;此类产品多采用非对称式单网架构, 以PC服务器作为存储节点, 由元数据管理节点掌管数据的存储地址, 客户端主机根据从元数据管理节点上获取的地址, 将一个文件切片然后分布在各个存储节点上。该类型的存储扩展采用Scale-Out的方式, 通过扩展PC服务器的节点来扩展整个集群存储的存储空间。

第二类:集群文件系统技术路线, 如:ISILON。该类产品对于客户端的存储访问来说具有集群文件系统的特性, 即:通过负载均衡算法选择特定NAS网关进行数据存取;文件抵达某一存储节点后即刻进行数据分片, 分片后的数据将通过后端的低延迟交换矩阵, 上传到其他节点进行分布式存储。

集群存储技术特点

前文介绍了集群存储的技术路线, 本节将从性能、安全性、扩展性、访问方式和安装方式以及数据传输模式来介绍集群存储的特点。

集群存储具有高吞吐量、高I/O带宽的特点

高吞吐量, 高I/O带宽体现在:集群存储可以将多个不同节点上的磁盘组织成为全局的存储池或者存储命名空间, 提供更大的存储容量和聚合I/O带宽, 并可以随系统规模扩大而扩展。由于集群的每个节点都有I/O通道, 理论上, 集群的节点数量增加, 处理客户端响应的节点数量便增加, 带宽性能和I/O性能会随之增加。性能不足时, 可以继续添加存储节点, 既提高了性能, 又增加了存储容量。个别的集群存储可以添加专业的带宽加速器, 提高性能。加速器可以看作是不带存储职能的集群存储I/O节点, 只负责I/O输出输入。

集群存储具有较强的数据安全性设计

安全性方面, 集群存储具有较好的保护方式。集群系统可以智能检测集群成员的健康状况, 及时发现和剔除异常节点, 当发生故障转移时, 大部分客户端访问存储都不受影响, 个别已经连接到故障节点上的客户端也只会出现短时间的I/O暂停, 待存储故障转移结束后, 这部分站点的I/O操作恢复正常。同时, 集群存储的数据保存可以采用数据复制的保护方式, 即每一个数据块都有1份或多份副本存在于其他存储节点。当出现坏盘或者节点损坏时, 可以通过其他的磁盘或者其他的节点来恢复数据。

Scale-Out的系统架构, 存储扩展方便

可扩展性表现在两个方面, 一个是性能上, 一个是容量上。性能之前已经提到了, 增加集群存储的节点既可增加性能也可增加容量。对于客户端来说集群存储系统是透明的, 客户端主机所看到的只是一块大容量的磁盘。当节点A性能不够或者存储空间不足时, 可以添加新的节点B进入系统。节点B对于节点A来说, 是独立的另一个新节点。但从客户端来看, 对于整套系统来说, 仅仅是性能和存储容量增大了。客户端依旧访问原来的集群系统, 并不知道并行文件系统内部在硬件层面上发生了什么。基于Scale-Out架构的存储系统扩展, 不仅保护用户的投资, 也增加了系统的灵活性。此外, 对于部分产品, 其将所有的存储网格组织成大容量存储池 (即:全局命名空间) , 存储池可以分为高性能节点和低性能节点, 为不同的需求提供服务。而当有一个节点出现问题, 被踢出集群时, 数据保护机制可以确保数据的完整性, 并不影响客户端使用。

部分NAS集群存储可以支持标准传输协议也可支持私有传输协议

NAS集群存储系统的访问方式分为两种方式:

一种为安装专用客户端程序, 采用私有协议进行数据的存储访问。采用该访问方式的集群存储系统可以通过群集IP地址映射全局命名空间。存储空间在客户端操作系统中, 可以表现为一块本地磁盘驱动器。

另一种为通过CIFS协议或NFS协议等标准的文件共享协议。在使用共享协议时, 客户端主机采用群集IP地址挂载存储空间。客户端以网络磁盘驱动器的方式访问文件系统。

部分NAS集群存储既有文件级的访问方式, 也有数据块级的访问方式

NAS集群存储数据输出主要分为两种方式, 一种为文件级传输, 另一种为数据块级传输。采用文件级传输时, 在NAS集群存储中, 有类似NAS网关的设备存在, 所有的客户端不需要安装任何软件或者驱动, 通过标准的以太网络共享协议来访问文件系统, 客户端主机将文件交付于NAS网关, 再由NAS网关上安装的集群文件系统存储到磁盘中。而采用数据块传输时, 其类似SAN存储网络, 客户端需要安装客户端程序, 数据在以太网络中以并行文件系统的私有协议传输, 不以文件形式, 而以数据块的形式直接由客户端存储到存储网格的磁盘驱动器内。

集群存储技术在视音频系统中的应用

视音频领域对于存储的使用更关注高速数据迁移带宽以及稳定的视频流读写能力, 集群存储系统的并行处理机制使得其较传统存储更具性能优势。而且随着高清时代的到来, 视音频文件的体积越来越大, 1小时百兆码率节目的体积在50GB～100GB左右。存储池初期设计过小, 则很快会被写满, 而存储池初期设计过大, 则将面临着存储介质贬值的问题, 不易于保护投资。采用集群存储架构后, 初期的存储池设计不用十分巨大, 日后可以随时进行方便地扩展工作。

目前, 在视音频应用的业务场景下, 考虑到技术的可行性和集成的性价比, 播出二级近线存储和视频收录网, 比较适宜集成NAS集群存储。而考虑到低延迟高带宽的应用需求, 制作网和媒资网则更适宜使用SAN集群存储。

集群存储在播出系统中的应用

对于播出系统的二级近线存储而言, 其承担着播出系统的节目备播存储任务。在节目播出的前三天或者一周内, 播控系统的备播模块会利用ESB+EMB的互联平台, 把制作域或媒资域的节目迁移到本域的二级近线存储。此后, 播控系统的迁移工作站根据需要将二级近线存储体内的节目上传到播出服务器的本地硬盘内, 以便视频服务器可以实现本地的安全播出。考虑到播出系统对安全生产的苛刻要求, 二级近线存储系统的设计应本着架构简单和数据安全的原则。首先, 应避免二级存储罢工导致的节目上传服务器失败;同时, 应避免二级存储上的数据丢失影响节目播出;此外, 一旦二级近线存储发生局部损坏, 应具有较快的系统自愈能力, 可以在较快的时间内完成不完整数据块的重建与校验。由于近线存储仅仅是数据的迁入迁出, 和视音频的关联较弱, 故在性能上对存储的要求不是非常苛刻。NAS集群存储可以很好的满足播出系统对二级存储的要求, 而且考虑到未来系统的扩展能力, 采用Scale-Out架构的集群存储可以为未来的系统扩展预留富有弹性的扩展能力 (见图2) 。

集群存储在收录系统中的应用

对于收录系统而言, 其在线存储区需要具有较大的存储空间, 以配合长时间的并发收录任务。目前高清收录一般采用IBP 50Mb/s或I-FRAME100Mb/s, 如果采用百兆码率进行收录, 单进程每小时的节目存储量在45GB左右, 如果收录站点数量较多, 其节目存储量相当庞大。故采用NAS集群存储可以解决收录系统对同一命名空间的大容量需求, 实际的业务网络拓扑如图3所示。此外, 虽然采集应用属于实时性I/O操作, 但单机任务并发少, 一般都是单路采集或者双路采集, 故收录网整体带宽需求不高, NAS集群存储可以胜任收录网的业务。

集群存储在制作系统中的应用

对于制作系统而言, 目前大部分视频媒体机构都在采用非线性编辑制作网络。在非编网内, 多用户可以协同工作, 高效地完成节目制作和编辑。该业务系统需要一个全局存储空间, 多台非编主机需要同时访问该存储空间内的数据。同时, 在节目制作过程中, 要有足够的带宽保证数据的传输。例如, 使用PAL制式的视频, 一个视频流每秒包含25帧数据片元素, 那么每个数据片元素最低限度的传输时间是40ms。再配合上工作站点的编解码时间开销, 要达到多个工作站点并行工作, 对存储网络的延迟要求应该保证在20ms左右。此外, 节目制作系统, 特别是精编制作网, 往往需要同时处理4层到5层的视频编辑和特技叠加, 单站点多层实时编辑的需求进一步加大了节目制作系统对高质量大带宽的要求。采用SAN集群存储可以很好的满足制作系统对高带宽和低延迟的双重需求。同时Scale Out的SAN架构也可以从容应对制作系统业务扩展的要求, 扩充存储容量的同时还扩展了存储输出带宽。在方案中, 集群存储映射给所有主机逻辑卷, 元数据服务器将该逻辑卷格式化成SAN共享文件系统, 工作站主机进行SAN文件系统的映射。采集工作站首先将文件采集到共享文件系统, 之后共享文件系统将数据最终写入逻辑卷。文件系统向低层的逻辑卷写入数据时, 由集群存储进行控制将数据进行分片后, 经过校验计算, 再分布存储到其他存储节点。SAN集群存储分为IP-SAN和FC-SAN, 前者的代表性产品是DELL EQUALLOGIC, 后者的代表是IBM XIV和Infortrend ESVA。SAN集群存储为数据块存储, 在视音频系统中仍要配合SAN共享文件系统软件来使用。

集群存储在媒资系统中的应用

媒体资产管理系统主要用于实现节目的数字化采集、编目索引、归档存储以及检索回调等功能。在媒资系统中通常采用双码流技术进行视音频资料的处理。高码流用于归档保存, 低码流用于编目检索。对于高码流视音频资料, 媒资系统采用分级存储技术进行资料的长久保存。考虑到节目归档需要一定的时间, 故在线存储区要有一定的容量, 且日后该空间会随媒资系统业务压力的增加而扩展。同时为了缩小节目归档的时间窗口, 在线存储区的数据迁移带宽有很高的要求, 目前单台磁带机的速度已达120MB～140MB/s, 故如果实现较大面积的节目归档, 在线存储区对迁移带宽要求是很高的。基于ScaleOut的SAN集群光纤存储将是很好的选择, 利用高速的光纤通道, SAN集群存储可以提供更小的数据归档和还原时间窗口, 大大提升媒资系统的业务运行效率。在实际运行中, SAN集群存储需要配合SAN共享文件系统软件来使用。采集工作站将基带信号进行数字化的采集, 采集到SAN集群存储中, 归档迁移服务器根据计划任务将视频资料由SAN集群存储中迁移到数据流磁带库中, 长期保存。目前市面上的SAN集群存储均支持企业级SATA硬盘, 数据存储的成本更低, 所以高码流和低码流素材都可以存储在SAN集群存储内。

结束语

基于LVS的集群技术研究 篇8

1 集群的分类

目前应用最为广泛的计算机集群技术可以分为三大类:高可用性集群技术、高性能计算集群技术和高可扩展性集群技术。

1) 高可用性集群技术

高可用性集群是指以减少服务中断时间为目的的服务器集群技术。随着全球经济的增长, 世界各地各种各样的组织对计算机系统的依赖都在不断增加, 电子贸易使得商务1周7天24小时不间断的进行成为了可能, 这就需要不间断的、稳定的计算机系统。这种需求的快速增长, 使得对系统可用性的要求变得非常重要。

2) 高性能计算集群技术

高性能计算集群 (High Performance Computing Cluster, HPC Cluster) 是指以提高科学计算能力为目的计算机集群技术。HPC Cluster是一种并行计算集群的实现方法。并行计算是指将一个应用程序分割成多块可以并行执行的部分并指定到多个处理器上执行的方法。目前的很多计算机系统可以支持SMP架构并通过进程调度机制进行并行处理, 但是SMP技术的可扩展性是十分有限的, 比如, 在目前的Intel架构上最多只可以扩展到8个CPU。为了满足某些复杂的科学计算任务, 就需要引入并行计算集群技术。

3) 高可扩展性集群技术

高可扩展性集群技术就是带均衡算法的服务器集群。负载均衡集群在多节点之间按照一定的策略分发网络或计算处理负载。负载均衡建立在现有网络结构之上, 它提供了一种廉价有效的方法来扩展服务器带宽, 增加吞吐量, 提高数据处理能力, 同时又可以避免单点故障。

2 LVS与集群

虚拟服务器构建于实际的服务器集群之上, 是由一组服务器通过高速的局域网或者地理分布的广域网相互连接, 在它们的前端有一个负载调度器 (Load Balancer) , 用户看不到提供服务的多台实际服务器。实际的服务器通过高速局域网或地理上分散的广域网连接, 负载调度器将用户的请求调度到实际服务器上完成, 客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。

在服务器集群的构建中其核心问题是实现服务器间的负载均衡, 它直接关系到服务器集群的可扩展性和可用性。如果负载调度技术是在 Linux 系统上实现, 就称之为Linux虚拟服务器 (Linux Virtual Server, LVS) 。在LVS框架中, 提供了含有三种 IP 负载均衡技术的IP虚拟服务器软件IPVS、基于内容请求分发的内核 Layer-7 交换机KTCPVS 和集群管理软件, 故使用集群技术和Linux操作系统可以实现一个具有很好的可伸缩性 (Scalability) 、可靠性 (Reliability) 和可管理性 (Manageability) 的高性能、高可用的服务器Web、Cache、Mail 和 Media 等网络服务;在Linux基础上, 可以开发支持庞大用户数的、高可伸缩的、高可用的电子商务应用。

3 LVS集群的体系结构

LVS 集群采用 IP 负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率, 将请求均衡地转移到不同的服务器上执行, 且调度器自动屏蔽掉服务器的故障, 从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的, 而且无需修改客户端和服务器端的程序。

为此, 在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说, LVS 集群采用三层结构:

1) 负载调度器 (load balancer) , 它是整个集群对外面的前端机, 负责将客户的请求发送到一组服务器上执行, 而客户认为服务是来自一个IP地址 (称之为虚拟IP地址) 上的。

2) 服务器池 (server pool) , 是一组真正执行客户请求的服务器, 执行的服务有WEB、MAIL、FTP和DNS等。

3) 共享存储 (shared storage) , 它为服务器池提供一个共享的存储区, 这样很容易使得服务器池拥有相同的内容, 提供相同的服务。

调度器是服务器集群系统的唯一入口点 (Single Entry Point) , 它可以采用IP负载均衡技术、基于内容请求分发技术或者两者相结合。在IP负载均衡技术中, 需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时, 调度器将根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器, 将该请求转发到选出的服务器, 并记录这个调度;当这个请求的其他报文到达, 也会被转发到前面选出的服务器。在基于内容请求分发技术中, 服务器可以提供不同的服务, 当客户请求到达时, 调度器可根据请求的内容选择服务器执行请求。因为, 所有的操作都是在Linux操作系统核心空间中将完成的, 它的调度开销很小, 所以, 它具有很高的吞吐率。

服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时, 可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说, 请求之间不存在很强的相关性, 请求可以在不同的结点上并行执行, 所以, 整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。

负载调度器、服务器池和共享存储系统通过高速网络相连接, 如, 100Mbps交换网络、Myrinet 和Gigabit网络等。使用高速的网络, 主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。

层次的体系结构可以使得层与层之间相互独立, 每一个层次提供不同的功能, 在一个层次可以重用不同的已有软件。负载调度器层提供了负载平衡、可伸缩性和高可用性等, 在服务器层可以运行不同的网络服务, 如, Web、Cache、Mail和Media等来提供不同的可伸缩网络服务。明确的功能划分和清晰的层次结构使得系统容易建设, 以后整个系统容易维护, 而且系统的性能容易被扩展。

4 存在的问题

虽然LVS集群系统已经取得卓越的成就, 但仍然有以下问题值得继续研究和寻求解决方案:大规模集群系统的可扩展性和性能衰减问题、调度器的负载均衡技术问题、并行调度的任务粒度划分问题、海量数据的可视化问题等。

研究集群技术, 需要从多个方面着手, 多角度的考虑集群系统。如果从资源的角度考虑集群, 就要注意用户需要什么样的计算资源, 是计算能力还是响应速度, 或者是可用性;如果从硬件构架考虑, 就有工作站集群、大规模并行处理机、对称多处理机、分布式异构计算集群;如果从应用领域看, 既有侧重于科学和工程计算的并行计算集群, 也有侧重于作业负载的负载平衡集群, 或者是广泛应用于严格商用环境的高可用容错集群。可以说, 孤立的从某一个角度或者某一个方面看集群, 是无法真正了解集群的原理或准确的评估集群的各方面能力、性能的。

参考文献

[1]姚耀文, 唐华松.Linux集群任务分配算法的探讨[J].计算机工程, 2003 (5) .

[2]魏文国, 谢赞福.Linux集群系统技术研究[J].广东技术师范学院学报, 2003 (5) .

[3]陈涛.高性能集群系统架构研究[J].计算机与网络, 2003 (21) .

网络集群管理技术应用研究 篇9

交换机集群管理技术是一种网络交换机的组织管理技术。使用该技术管理网络, 网络中组成集群的交换机可以只用一个IP地址, 除管理交换机外其他交换机对外透明。管理者就把多台网络交换机当成一个整体统一管理了。运用该技术进行网络交换机的管理, 管理者不但可以节省IP资源, 还可对网络交换机实现动态收集维护拓扑信息, 并且可以统一、集中升级和管理交换机。

1、集群管理技术方案的组成

一个交换机集群有命令交换机、成员交换机、备份交换机及候选交换机四种:管理者直接通过命令交换机向集群发出命令, 命令交换机负责对整个集群统一管理, 实现集群的建立和维护, 成员的加入和删除, 成员的状态维护, 网络的拓扑收集等工作;成员交换机是集群的一分子, 接受管理;候选交换机可以加入集群接受管理成为成员交换机;备份交换机为命令交换机的备份。具体而言, 管理者对命令交换机配置IP地址, 命令交换机处理由管理者发送来的管理命令, 如发现管理命令是针对成员交换机的, 就转发至目的机。成员交换机是集群中的成员, 它不配置IP地址, 管理者通过命令交换机对其发送管理命令。候选交换机是网内没有加入任何集群但可以通过设置成为集群成员的交换机。备份交换机是命令交换机的备份, 如果命令交换机故障, 备份交换机可以转换成命令交换机。

实际工作中, 首先, 集群中的交换机连接互通, 集群中再指定一个唯一的命令交换机, 这个命令交换机通过收集邻居信息和拓扑信息来发现候选交换机, 管理者可通过设置将候选交换机加入集群使其成为成员交换机。成员交换机也可被指定为备份交换机, 在命令交换机失效时备份交换机可自动成为命令交换机。

在集群管理过程中, 要使用到邻居发现协议, 拓扑收集协议和集群管理协议。邻居发现协议是用来实现网络设备发现其邻接设备的协议, 支持邻居发现协议的设备周期性向所有接口发送协议报文, 同时接受邻居设备发送来的协议报文, 并存储和维护邻居信息表, 该信息表向设备提供邻居设备的设备信息, 如设备类型、设备ID等, 信息表内的条目可被老化, 老化后条目被删除。邻居发现报文是一种多播报文, 当网络设备接受到该报文并处理后, 便将其丢弃, 不转发。否则将引发广播风暴。拓扑收集协议用来在集群管理中实现拓扑发现和拓扑收集功能。过程如下:命令交换机从指定端口发送拓扑请求报文, 该拓扑报文为组播报文可防广播风暴。收到请求报文且支持拓扑收集协议的设备发送响应报文, 响应报文包括本机的拓扑信息和设备信息, 响应报文目的地为命令交换机。同时该设备向邻居设备转发拓扑请求报文。集群内的所有设备会把自己的设备信息和拓扑信息发给命令交换机, 命令交换机由此可得到网络设备的拓扑。集群管理协议用来实现集群管理功能, 包括集群建立、加入和删除成员、同步和更新配置等等。

在建立集群时, 网络管理者首先设置所有交换机, 使其支持集群操作, 再设置一台交换机为命令交换机。而集群成员的加入方式分自动加入和人工加入两种, 自动方式下命令交换机根据拓扑收集到的数据, 自动将拓扑中可加入的网络设备加入到集群中, 同时开始维护加入到集群中的成员交换机;手动方式下网络管理者通过命令操作将指定网络设备加入集群。如果成员交换机上配置了密码, 成员加入为认证方式, 否则为不认证方式。集群管理维护的过程如下:集群建立后, 在管理过程中, 成员交换机和命令交换机定时发送握手报文, 通过握手报文通报自己当前状态, 通过接受握手报文的情况更新自己维护的状态, 命令交换机维护集群中所有成员的状态, 成员交换机只维护自己的。集群管理还定义了命令重定向功能, 命令可由命令交换机定向到成员交换机上, 方便使用。

2、集群管理的技术实现

HGMP是华为公司开发的集群管理专用协议族, 可以实现网络拓扑信息的收集、维护, 动态更新, 可以节省IP地址资源, 对远程设备能自动发现、纳入集群管理, 还可对集群设备统一集中批量升级。在HGMP方案中, 集群中的交换机有四种角色, 命令交换机、成员交换机、备份交换机、候选交换机。角色与技术方案相同。HGMP方案中邻居发现协议为华为的NDP协议, 拓扑收集协议为NTDP协议, 集群管理协议有其专用管理协议。

我校盛风校区区域网络的现状为:一台会聚交换机Huawei Quidway S3928P-EI与多台接入交换机华为Quidway S2016C、Quidway S2403H-EI构成区域网络。会聚交换机S3928P-EI共24个百兆RJ45口, 其中Ethernet0/24口为口接核心交换机Cisco 7609;Ethernet0/9口接家属区2号楼S2403H-EI;Ethernet0/10口接办公区1号楼S2403H-EI;Ethernet0/11口接办公区2号楼S2016C的Ethernet1/1口;家属区2号楼S2403H-EI的Ethernet0/1口接家属区1号楼S2016C的Ethernet0/1口;Ethernet0/2口接家属区3号楼S2403H-EI的Ethernet0/24。设备之间接口均为trunk接口。两台S2016C无法设置IP地址;S3928P-EI的IP为172.17.5.254;1号办公楼S2403H-EI的IP:172.17.5.3;1号家属楼S2403H-EI的IP:172.17.5.1;2号家属楼S2403H-EI的IP:172.17.5.2。

管理目的:1、建立集群, 将两个S2016C纳入集群使其可以远程管理。2、将1号办公楼S2403H-EI加入集群, 使其可通过集群进行管理, 从而节约一个管理IP地址。

实现目的1:

步骤一:通过console口对两个S2016C做设置:配置成员设备 (以一台成员设备为例)

1、启动设备上的NDP和端口Ethernet0/1上的NDP。

2、启动设备上的NTDP和端口Ethernet0/1上的NTDP。

3、启动集群功能。

步骤二:对S3928P-EI做设置, 配置管理设备。

1、启动设备上的NDP和端口E0/9、E0/11上的NDP。

2、启动设备上的NTDP和端口E0/9、E0/11上的NTDP。

3、启动集群功能。 (前三步同S2016C)

4、进入集群视图。

5、配置集群内部使用的IP地址池, 起始地址为192.168.0.1, 有8个地址

6、配置集群名字, 建立集群。

7、将下挂的两个交换机加入到集群中。

8、配置集群内部公用的FTP Server、TFTP Server、Logging host及SNMP ho st。

这样设置完成后即可达到管理目标。如要远程进入S2016C进行管理, 可先登录S3928P-EI查看, 集群目前有两个成员交换机和三个候选交换机, 使用命令cluster switch-to{member-num|mac-address H-H-H}可进入S2016C进行管理。

实现目标2:

在管理交换机设置完成后, 登录1号办公楼S2403H-EI,

1、启动设备上的NDP和端口Ethernet0/1上的NDP。

2、启动设备上的NTDP和端口Ethernet0/1上的NTDP。

3、启动集群功能。 (前三步同S2016C)

4、加入集群

[Quidway]clust[SF_0.Quidway-cluster]administractor-address 00e0-fc01-0012 (S3928P-EI的物理地址)

完成操作后可省去S2403H-EI的IP设置, 节约一个IP地址。此时登录S3928P-EI查看, 集群目前有三个成员交换机和两个候选交换机, 使用cluster switch-to{member-num|mac-address H-H-H}命令切换交换机可进入S2403H-EI进行管理。

3、分析与结论

使用集群管理技术后, 网络交换机成为了一个管理整体:系统的拓扑自发现, 可统一维护, 方便了管理, 减少了维护成本。

参考文献

[1]苗雁琴.解析网络设备的级联与堆叠[J].科技情报开发与经济, 2001, (04)

[2]黄旭熙以太网交换机集群管理的设计与实现[J]光通信研究2005 02

[3]彭涛.交换机集群技术[J].现代通信, 2003, (04) .

计算机集群技术的研究 篇10

集群是一组相互独立的、通过高速网络互联的计算机, 它们构成了一个组, 并以单一系统的模式加以管理。一个客户与集群相互作用时, 集群像是一个独立的服务器。在组建超大规模的应用处理系统时, 通过采用一种或几种集群技术来构建应用集群系统, 能够极大地提高应用系统的可用性和可伸缩性。

2 集群技术的分类

集群分为同构与异构两种, 它们的区别在于组成集群系统的计算机之间的体系结构。集群计算机按功能和结构可以分为四类:高可用性集群、负载均衡集群、高性能计算集群、网格计算集群。按集群系统的应用范围, 可分为操作系统级集群和应用级集群[1]。

2.1 功能和结构的集群

(1) 高可用性集群 (High-availability clusters) 是指在集群中有某个节点失效的情况下, 其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线, 该过程并不影响整个集群的运行。

(2) 负载均衡集群 (Load balancing clusters) 通过一个或者多个前端负载均衡器, 将工作负载分发到后端的一组服务器上, 从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群 (Server Farm) 。一般高可用性集群和负载均衡集群会使用类似的技术, 或同时具有高可用性与负载均衡的特点。

(3) 高性能计算集群 (High-performance clusters) 通过将计算任务分配到集群的不同计算节点而提高计算能力, 因而主要应用在科学计算领域。

(4) 网格计算集群 (Grid computing) 是一种与集群计算非常相关的技术。网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机, 它的运作更像一个计算公共设施而不是一个独立的计算机, 网格通常采用异构的计算机组成计算机集合。

2.2 应用范围的集群

(1) 操作系统级集群作为底层基础集群架构为业务应用级集群提供操作系统级的集群服务;而应用级集群则作为操作系统级集群的子集群, 部署在操作系统级集群之上, 通过软件手段完成特定业务的集群服务。

(2) 应用级集群通过将众多的访问请求按照设定的路由策略计算和分析, 最终将请求分散到集群中的不同节点进行处理, 从而实现了更高的有效性和稳定性。实现访问请求路由的手段目前多数采用代理、硬件负载均衡、软件负载均衡。

2.3 访问请求的路由技术

(1) 代理:通过代理服务器对外提供一个统一的地址。当一个服务请求被发至代理服务器时, 根据一定规则选择一台集群节点服务器, 并将服务分发给该服务器承担, 即将负载进行均衡分摊。

(2) 硬件负载均衡:通过交换机的功能或专门的负载均衡设备实现负载均衡。对于流量的分配可以有多种方式, 但基本上都是基于网络协议层, 与具体应用无关。

(3) 软件负载均衡:集群中节点通过软件进行负载均衡处理, 可以根据应用的情况和服务器的情况采取最优的负载均衡策略。软件负载均衡可以根据应用环境的请求状态和服务状态选择最优的均衡策略, 因此它在所有的负载均衡手段中是最高效的。同时, 因为不同的应用软件提供不同的业务功能, 所以应用负载均衡不具备通用性, 它和应用产品关联性较强。

在邮政储蓄银行金融信息系统逻辑大集中项目中, 采用了硬件负载均衡与应用负载均衡配合使用构建应用集群的方式。利用硬件负载均衡器处理速度快, 对主机系统无资源损耗的特点, 对处理请求在网络层进行路由, 实现集群环境中活动主机资源的最大化使用, 满足硬件资源的可负载和可伸缩。利用应用负载均衡的准确高效, 强化业务逻辑的特点在应用层对处理请求进行均衡, 应用负载均衡模块可以根据应用节点的资源状态作更优化的路由, 最终应用集群系统对外体现出的就是持续、平稳、高吞吐的处理能力。

3 集群文件系统

大型系统的逻辑集中可以通过小型机集群方式实现, 其中部分集群应用程序需要进行文件 (如报表文件、批量处理文件等) 的共享存储、并行读写和集中管理。在集群应用中, 共享文件的并行读写有两种方式: (1) 以持续的、大量的小文件写为主; (2) 以对一个大文件的并行写为主。上述两种方式对于相关文件系统的并行读写效率和性能要求很高。由于传统的文件系统 (如NFS、CIFS等) 不支持真正的外部存储文件共享 (只能通过单一的NFS/CIFS Server实现小规模的直连存储文件共享) 和高性能的文件并行读写功能, 同时也不支持统一命名空间管理, 因此大型系统的逻辑集中应该采用集群文件系统来实现上述高性能的文件共享存储、并行读写和集中管理等功能。

3.1 功能实现方式

目前, 集群文件系统的文件共享存储、并行读写和集中管理功能通常采用以下两种方式实现:

(1) 纯软件方式:在各集群服务器的操作系统中, 通过专用集群文件系统软件的文件同步锁定管理来实现集群中文件的共享存储和并行读写功能;同时, 借助于集群文件系统软件的数据一致性管理功能, 还能够实现集群中基于共享存储的多节点负载均衡和相互冗余。

(2) 软硬件一体化方式:在集群的集中存储系统中引入高性能的集群NAS系统, 各集群服务器通过自身的文件系统 (NFS/CIFS Client) 并行访问集群NAS系统 (提供分布式文件系统访问) , 在实现文件共享存储和高性能的文件并行读写的同时, 还支持分层存储优化、容量/性能的横向同步扩展, 以及共享存储的远程容灾等增值特性。在邮政储蓄银行金融信息系统逻辑集中项目中使用集群文件系统软件或集群NAS系统实现文件共享, 具体应用实例已通过测试, 满足对性能和可靠性的需求。

3.2 系统类型

目前主流的集群文件系统软件主要有两种类型:C/S型集群文件系统和Serverless型集群文件系统[2]。

(1) 常规的C/S型集群文件系统在集群中选定一个主节点, 通过令牌锁机制统一管理多节点的并发写入, 以避免写冲突造成的文件系统损坏。在主从写模式下, 每个文件系统的交易都需要经过主节点, 如果大量的文件创建或者修改将很容易造成单节点的瓶颈。即使在主节点空闲状态下, 集群文件系统其他节点的文件创建和修改也可能造成主节点的高开销负载。如图1所示。

(2) Serverless型集群文件系统:采用Serverless型文件系统替代服务器上传统的文件系统 (如NFS、CIFS等) , 同时通过集群各节点间的心跳网络来进行全局文件同步锁定和数据的一致性管理。通过全局文件同步锁定机制的自动调度, 集群文件系统中的每个节点都可以运行交易, 同时集群文件系统命令可以在任意节点执行, 提高了可用性和效率。如图2所示。

集群文件系统软件与应用结合的较为紧密, 对于同一文件的多节点并行顺序读写效率较高, 因而较适用于本项目集群中多节点对一个大文件并行写的应用模式。

集群文件系统软件也存在着一些缺陷, 例如:需要安装在服务器操作系统中, 对于服务器的性能多多少少有一定影响;不支持在同一集群内的异构平台上部署, 节点间需要统一操作系统版本;支持的集群节点数量有限, 通常不超过64节点, 且节点和性能的扩展相对较为复杂。在银行金融信息系统逻辑集中项目中, 集群文件系统软件的部署如图3所示。

4 集群NAS系统

集群NAS系统是并行文件系统与多节点NAS集群的有机结合。从技术上来讲, 集群NAS系统在具备文件共享、兼容多文件系统访问等NAS固有特性的同时, 还具有高性能、高容量、大容量全局单一命名空间 (PB级) 的优势。与许多针对小型随机工作负载进行优化 (如文件共享) 的集群文件系统不同, 集群NAS系统在各种工作负载下都表现良好, 包括注重响应时间的小型随机工作负载和带宽密集型连续工作负载。在此之前, 用户可以尝试通过在现有NAS控制器中增加额外设备来突破可扩展性的限制, 但这会产生另外一个问题:当控制器无法应对这些额外设备时, 性能会下降, 服务水平也会随之降低[3]。而集群NAS系统通过基于分布式集群文件系统的横向扩展, 其容量和性能可以随着节点的增加呈线性增长。

此外, 集群NAS系统在高性能文件共享应用中还具有以下优势: (1) 无中断扩展和自动数据分层:集群NAS系统通过策略管理和自动化的文件迁移功能, 可以优化性能、容量。 (2) 无中断重新平衡:这可以确保集群NAS系统将工作负载分配到整个存储阵列, 以避免单个磁盘超负荷运转。 (3) 优化的数据服务:通过SSD存储的目录配额和文件克隆, 集群NAS系统可以在确保数据高可用性的同时更好地管理成本。 (4) 高可用性与动态负载平衡:集群NAS系统具有内建的冗余性, 能自动检测软硬件故障, 以保证系统正常运行。

对于大型系统的逻辑集中项目, 可以在集群的集中存储系统中引入集群NAS系统。各集群服务器通过自身的文件系统 (NFS/CIFS Client) 可并行访问集群NAS系统 (提供分布式文件系统访问) , 在实现文件共享存储和高性能的文件并行读写的同时, 集群NAS系统还可提供分层存储优化、容量、性能的横向同步扩展, 以及共享存储的远程容灾等增值特性。根据测试结果, 如果使用集群NAS系统可以达到性能和稳定性的指标要求, 可以在要求文件共享特性的地方使用该项技术。在邮政储蓄银行金融信息系统逻辑集中项目中, 可以将集群NAS系统的部署与SAN存储系统相结合考虑, 即通过多节点集群NAS网关来优化利用SAN存储, 其结构如图4所示。

5 时间同步技术

在邮政储蓄银行金融信息系统逻辑集中项目中, 通过多个小型机构建了服务器集群, 由于集群系统中各主机时间不一致, 可能会带来交易时序的错误, 从而造成业务办理差错, 给企业和客户带来不必要的纠纷。同时由于众多服务器的校时工作越来越艰巨, 原有的通过停止数据库来手工调整服务器时间的方法, 不能有效地解决系统间的时间同步问题, 已经不适合用于金融信息系统的集中工程。

5.1 基于网络时间协议的时间同步

基于网络时间协议的时间同步方法可以很好地解决问题, 它遵循了因特网时间服务器的通用标准, 通过以网络中确定的更准确的系统时钟服务器作为标准, 来调整服务器集群中各客户端主机的系统时间, 以较好解决主机间时间同步问题。但在某些项目中, 由于使用了数据库集群技术, 每个数据库节点之间禁止自动在线回调时间, 否则会导致数据库节点重启。基于网络时间协议的时间同步方法优点是可以很简单地实现各系统的时间统一, 也就是说整个系统中只有一个时钟源;缺点是对整个服务器集群中各数据库集群产生影响, 如配置不当反而会导致节点宕机。

5.2 Oracle数据库的CTSSD服务

在数据库集群中通过本身的新特性实现数据库中各节点的时间同步。Oracle数据库进入11g R2版本后, 时间同步作为稳定运行集群的先决条件, 在数据库集群管理中新增CTSSD服务用于同步集群内所有节点的系统时间, 从而进一步提升了集群的高可用性。CTSSD服务可较好解决数据库集群内节点的时间同步问题, 如果需要在多库之间保持时间同步, 则需要将相关数据库部署在同个集群之上, 这样就使得数据库间耦合度增加。通过数据库特性实现集群内各节点的时间同步的优点是可以更好地提升数据库集群的稳定性, 但该方法的缺点是只能在同个集群的各节点实现时间同步, 不同数据库集群之间及应用系统不能实现时间同步。

在储蓄银行金融信息系统逻辑集中项目中, 可以使用以下两种方法: (1) 选取准确的时钟源, 通过网络时间协议技术, 服务器和客户端的正确配置, 在邮政储蓄银行逻辑集中工程测试时从稳定性、可靠性、安全性、灵活性等方面做进一步的验证, 实现邮政储蓄银行逻辑集中各系统的时间同步。 (2) 在各应用系统之间通过网络时间协议技术, 对所有应用主机进行统一的时间同步;在数据库集群中通过集群特性CTSSD技术实现集群内各节点的时间同步, 不同集群之间不能实现各数据库节点的时间同步, 但可以进一步保障数据库集群的高可用性。具体使用方案, 应通过相关测试再作决定。

6 结语

本文对高可用性、负载均衡、高性能计算、网格计算等集群技术进行了分析, 并探讨了集群文件系统、集群NAS系统的功能和实现方式。在集群计算的需求确定之后, 如何选择各种组件构成Cluster的实现方案是比较困难的, 而且经常由于组件之间难以协同工作而导致Cluster的实现失败, 或者最终构造了一个难以使用又难以管理的Cluster。根据实际应用经验和研究成果, 针对这种情况应该优先考虑选择一体化的HPC产品。

摘要：计算机集群是一种计算机系统, 它通过一组松散集成的计算机软件和硬件协同完成计算工作。本文对高可用性、负载均衡、高性能计算、网格计算等集群技术进行了分析, 探讨了集群文件系统、集群NAS系统的功能和实现, 并研究了C/S型集群文件系统、Serverless型集群文件系统的原理和实现方式, 对计算机集群技术的应用有一定参考价值。

关键词：计算机集群,高可用性,负载均衡,集群NAS系统

参考文献

[1]张志友.计算机集群技术概述[J].实验室研究与探索, 2006, 25 (5) :607-609.

[2]李金, 李海霞.计算机集群技术探析[J].企业导报, 2010 (9) :286-287.

技术集群 篇11

[关键词] 集聚 创新 博弈

一、问题的提出

法国数学家奥古斯丁·古诺在其著作《财富理论中有关数学原理的研究》中，创立了双边寡头垄断模型，这是一个2人模型。后来这一模型被扩展到了对多个寡头厂商的研究，即N人博弈模型。下面就介绍这个著名的博弈模型。

古诺模型中包括以下假定条件:行业中有N个厂商，每个厂商都有相同的边际成本MC；产品是同质的或是无差异的；没有潜在的竞争者进入该行业，在观察期内厂商数目保持不变；每个厂商都以产量作为决策变量，同时展开竞争，在选择产量时都假定对方的产量保持不变；市场需求是线性函数。

可以看出，这些假设条件非常符合产业集群内的厂商特征。在集群内集聚了众多厂商，这些厂商都处于同一行业，使用相同的设备，共用相同的基础设施，生产同一类产品，并且产品差别不大，每个厂商的决策都受到其他厂商的影响，而且每个厂商都无法单独影响市场价格，在短期内可以认为厂商数目稳定不变。集群内的厂商彼此接近，使用同一供应商提供的原料、相同的生产技术，雇用素质基本相同的员工，所以可以认为它们的生产成本相同。因此可以用古诺模型研究产业集聚区内的厂商行为。

根据伯川德模型，处于同一集聚地的生产无差别产品的厂商只能以产品的成本定价，竞争加剧，每个企业只能获得零利润。因此这些厂商必然有积极性投入资金进行技术创新与开发，以追求降低产品成本，或推出新产品、优质的服务，追求产品的差别化和多样性，在竞争中扩大产品销量，争取市场份额[2]。由于相互邻近的厂商对其它厂商的了解远比远距离分散的厂商彼此的了解多，彼此间就更加趋向于研究其它生产者，进行各种行为的博弈。设厂商A、B分別作产量决策，但是A的决策受B的影响，同样，B的决策也受A影响，二者的决策是相关的。每个企业都是在对手的产量给定的条件下，追求自身效用即利润的最大化。

由于新技术的扩散效果，不开发的厂商通过对其他企业新产品的模仿和借鉴，也会或多或少地从其他企业的新技术中获益，获得成本的部分降低。设β为技术扩散系数，0≤β≤1。即若企业A通过技术开发，成本可以降低x，则企业B的成本可以降低βx。β的大小是由新技术的可模仿性的高低、开发企业的保密措施、法律对新技术的专利保护的规定等条件决定的。一般来说，越是高技术的产品的技术越难以模仿，而诸如产品外观、外形改进等和技术含量较低的产品则越容易被模仿。在产业集聚的条件下，厂商彼此间就更加趋向于研究其它生产者的决策行为，进行技术创新的博弈。下面利用技术扩散系数研究企业在新技术开发中的博弈，分析集群企业技术创新模式的具体选择。

二、创新模式选择的博弈模型

现假设集聚地只有A、B两企业，其单位生产成本分别为，产量分别为，逆需求函数即价格，、为常数。这是一个古诺竞争模型。两企业分别制定自己的产量。并且每个企业的产量决策都受另一个企业产量决策的影响。

A、B两企业的利润分别为：

为求解各企业最优产量，对产量求导,并令其为零：

解方程组，得：

利润分别为：

当时：

现假设两个企业为了扩大销售，则需降低成本，增强企业竞争力，进行新技术的开发。开发成功后，单位成本可以降低，由于技术扩散效果，不开发的企业也可以获得的单位成本降低。

设开发成本为常数,即开发费用是单位成本降低幅度的线性函数。则开发成功后企业A的单位成本为，企业B的单位成本为。两企业的新的利润为：

求导，得：

解之，得：

当时：

因为，所以企业A由于成本降低，产量必然上升。而企业B的成本虽然也有所下降，但产量的变化却有所不同。因为0≤β≤1，x>0，当β<0.5时，的产量是下降的。只有当时，其产量才会大于或等于原有的均衡产量。当时，

下面求解新的纳什均衡产量时的的值。这时为求得企业A的最优的产品成本下降幅度，对A的利润函数求导并令其为零：

代入原式，得：

如果A、B合作开发，各自投入费用，开发费用合计，成本可以降低由于两企业合作开发，所以可以共享成果，每个企业都会获得的成本降低。开发成功后各自的单位成本分别为，利润函数为：

求导并令其等于零，得：

解方程组，得：

当时：

求A、B合作时相对应的各自的最优资源投入：

由于A、B是对称的，所以

因此,A、B合作开发时，产量都大于不合作时各自的均衡产量，都扩大了市场。这可以视为本地区企业成本的降低所带来的相对于其他地区企业的竞争力的提高所获得的新的市场份额。二者的博弈是非零和博弈，合作开发的结果可以使每个企业的对区外同行业的生产者的竞争优势提高，从而获得集群以外地区的市场。

三、企业合作博弈研究

在A、B的合作博弈中，由于企业开发费用的不同，即b的大小，二者的利润变化会有多种不同形式。显然，，但与的关系则难以比较。以下分别讨论与的数量关系。

(1),即企业B不参与合作，不进行技术开发，而企业A单独投入进行开发，B通过产品技术扩散获得成本的降低，同时又节约了巨额的开发费用，所获利润甚至大于合作开发时的均衡利润。这是一个智猪博弈。即B不开发，由A开发，费时费力，B却可以坐享其成。虽然B的成本降低小于x，但因为节省了巨大的开发成本，反而获得了超过A的利润。设开发前的均衡利润为（2，2），这里第一个数字为A的利润，第二个数字为B的利润。A开发，B不开发式的得益为（1，4），A不开发，B开发时的得益为（4，1），合作开发时的得益为（3，3）。则收益矩阵如下：

这个博弈的唯一的纳什均衡是（不开发，不开发），因为如果A开发，B不开发，则B的得益为4，如果B开发，A不开发，则A的得益为4，所以每个企业都希望坐享其成，结果是每个企业都不开发，企业都不创新，反而陷入了困境。因此，必须通过专利保护等措施改变不开发企业坐收渔利的情况。

(2)，即企业B合作所得利润大于不合作时的利润，不合作的利润小于A单独开发时A的利润。

设开发前的均衡利润为（2，2）， A开发，B不开发时的得益为（3，2.5），A不开发，B开发时的得益为（2.5，3），合作开发时的得益为（4，4）。则收益矩阵如下：

这个博弈的唯一纳什均衡是（开发，开发），即两个企业合作开发是必然选择，两个企业的成本都获得降低，对于区域外企业的竞争力提高，利润上升，获得双赢的理想结果。这种合作是有利于区域经济发展的。

(3),即企业B不合作情况下的利润低于原来的均衡利润。

这种情况可以理解为技术扩散的程度较低，技术扩散系数β较小，由于企业A的成本下降，而企业B的成本下降幅度不大，所以 A的市场扩大，B失去了原有的部分市场，利润降低了。

设开发前的均衡利润为（2，2）， A开发，B不开发时的得益为（3，1.5），A不开发，B开发时的得益为（1.5，3），合作开发时的得益为（4，4）。则收益矩阵如下：

这个博弈的惟一纳什均衡仍然是（开发，开发），即两个企业合作开发是必然选择，两企业趋于合作，共同开发，相对区域以外的企业成本降低，竞争力提高，获得新的市场，利润上升，获得双赢的结果。

在前一种情况下，B可以节约开发费用，而坐享其成。所获得的利润甚至会大于A的利润，这是极不公平的，会导致A没有开发的积极性，从而使集聚区内的企业丧失创新动力，而这种创新的落后，必然使得本地区企业的竞争力下降，在竞争中失去优势。而在后两种情况，合作是B的必然选择。因此，必须通过法律的专利和产权的保护，禁止其他企业的侵权行为。

四、结论

在产业集群地区，虽然企业间在同类产品市场上面临竞争，但企业在新技术开发和技术创新领域是趋于合作的，这种技术上的合作会提高集聚地企业的竞争力，使区域产品的整体成本降低，并且可以有效降低技术创新风险。技术创新过程中的合作也有利于企业在创新成功后创新产品的市场营销中共建集群品牌，开拓产品销售渠道，使集群企业对区外企业的竞争能力提高，这是有利于集聚地经济发展的。

参考文献：

[1]刘志彪王国生安国良:现代产业经济分析[M].南京大学出版社, 2001.7

[2]陶向京盛昭瀚:Cournot均衡与企业产品竞争战略[J].东南大学学报, 1999.7

[3]张小平:企业合作与竞争模式的研究.北京理工大学博士论文,1999

产业集群技术创新的实现路径 篇12

一、产业集群与企业技术创新

产业集群是指在特定领域中, 一群在地理上临近、有交互关联性的企业和相关法人机构, 并以彼此的共通性和互补性相联结。产业集群具有许多不同的形式, 其复杂性也不尽相同。但每一个集群都是由有产业关联的企业集群在一起而组成的。这些企业包括:最终产品或服务的厂商, 专业元件、零部件、机器设备以及服务供应商, 金融机构, 相关产业的厂商。产业集群还包括下游产业的成员 (如销售渠道、顾客) , 互补性产品制造商, 专业化基础设施供应商, 政府和其它提供专业化训练、教育、信息、研究和技术支援的机构, 以及制定标准的机构。对产业集群有重要影响力的政府机关, 也是集群的组成部分。产业集群还包括同业公会和其他支持产业集群成员的民间团体。

产业集群的一个重要特征是创新功能明显。在产业集群内部集聚着众多的相关生产企业、科研机构、商会、协会、中介机构等, 在产生较强的知识与信息累积效应的同时, 大量生产企业也时刻面临同行竞争的压力, 这一方面为企业提供了实现创新的重要来源以及所需的物质基础, 另一方面也使集群内的企业时刻保持创新的动力。此外, 企业之间紧密的网络关系, 使得生产企业和相关机构之间更容易形成一个相互学习的整体, 推动了集体学习的进程, 降低了学习成本, 促进更多有创新价值的活动发生。具体来讲, 产业集群的创新效能主要体现在:

1. 为企业提供一种良好的创新氛围。

集群是培育企业学习与创新能力的温床。集群内企业彼此接近, 会受到竞争的隐形压力, 迫使企业在产品设计、开发、包装、技术和管理等方面, 不断进行创新和改进, 以适应迅速变化的市场需要。在产业集群中, 由于地理接近, 有助于企业之间密切合作、面对面打交道, 这样将有利于各种新思想、新观念、新技术和新知识的传播, 由此形成知识的溢出效应, 增强企业的创新能力。

2. 促进知识和技术的转移扩散。

产业集群与知识和技术扩散之间存在着相互促进的自增强关系。集群内企业由于地理接近和共同的产业文化背景, 不仅可以加强显性知识的传播与扩散, 而且更重要的是可以加强隐性知识的传播与扩散, 并通过隐性知识的快速流动进一步促进显性知识的流动与扩散, 也迫使员工技能上相互攀比、不断学习, 这种学习、竞争的区域环境促进了企业的技术创新。集群内领先的企业会主导产业技术发展方向, 一旦某项核心技术获得创新性突破, 在集群内各专业细分的企业很快会协同创新、相互支持, 共同参与这种网络化的创新模式。实证研究表明, 产业集群内知识和技术的扩散要明显快于非集群化的企业。

3. 降低企业创新的成本。

由于地理位置接近, 企业相互之间频繁的交流, 为企业技术创新提供了较多的学习机会。尤其是隐性知识的交流, 更能激发新思维、新方法的产生。由于存在着“学习曲线”, 使集群内专业化小企业学习新技术变得更加容易和成本更低。同时, 建立在相互信任基础上的竞争合作机制, 也有助于加强企业间进行技术创新合作, 从而降低新产品开发和技术创新的成本。

产业集群对企业创新产生影响的同时, 企业创新又会促进产业集群的形成发展。企业技术创新的目的是获得利润, 但技术创新的起点却是市场需求。企业技术创新必然对其它市场主体提出新的市场需求, 这些市场需求或者导致相关企业在附近安家落户, 或者导致新企业的诞生, 或者诱导其它企业也进行技术创新以满足率先进行创新的企业的需要, 在这种传导式的技术创新过程中, 该地区企业数量迅速增加, 相关配套机构也不断进驻该地区, 从而促进了地区产业集群的形成, 产业集群反过来也进一步刺激了产业集群内企业的技术创新, 从而直接推动了产业集群的发展和不断升级。

二、产业集群技术创新的实现路径

1. 市场需求和市场竞争。

技术创新主要受市场需求的引导, 研究表明, 60%—80%的重要创新是受需求拉动的。此外, 市场需求的不断变化为企业提供了新的机会和创新诱因, 而以此为导向的创新活动在给企业带来利润的同时, 又改变了市场需求, 形成了一个由“需求—创新—需求改变—再创新”的良性循环。地理上的集中本身就有助于在商品制造者、供给者与顾客之间产生一种更为自由的信息传播, 相当数量的革新正是由于正确了解顾客的需要, 以及发现供给上的特殊问题而产生的结果。市场竞争是产业集群创新的一种无形推力, 企业在竞争激烈的市场环境中生存与发展, 不积极进行创新, 随时可能被市场所淘汰。当创新在某一企业产生时, 整个集群就面临新的机遇和挑战。地理上的集中必然会带来竞争, 而竞争促进了革新。在产业集群内, 由于攀比心理的作用, 企业间的竞争会加剧, 后进企业更容易模仿先进企业, 先进企业为保持竞争优势会更努力创新。

2. 企业之间合作互动。

企业间合作互动的方式可以多种多样, 如合作创新、要素互动等。由于地理接近、产业关联和社会文化规制等原因, 核心网络成员企业之间会经常有意识或无意识地展开高频度且密集的互动。从创新行为看, 集群成员企业之间技术和知识的垂直和水平扩散构筑了当地化的创新系统。如果以创新主体企业为核心, 这种当地化创新网络在纵向上表现为供应商和客户的产业链互动关系。如果把这种关系在产业链上向下延伸, 同样表明“生产商———用户”关系在创新行为中的互动作用, 用户成为非常重要的创新源泉。成员企业间技术和知识的水平扩散, 表现为横向上的竞争互动和合作互动的关系, 其中竞争互动占主导地位, 而合作互动情况相对较少。这种由横向和纵向关系相互交错形成的创新网络, 从微观层次看, 它能提高企业学习新技术的机会, 更容易在近距离地理范围内流动。

3. 人力资源在成员企业间流动。

自马歇尔的产业区位理论开始, 劳动力要素的流动一直被产业集群研究者认为是知识溢出的最重要机制。比较普遍的观点是, 稳定的当地劳动力市场为技术交流提供了重要的机会。劳动力在企业之间的流动促进了知识在成员企业间的扩散, 而且外部劳动力的流入为外部知识传入及其与产业集群创新系统内部原有知识的重新组织提供了可能。集群内部成员企业间稳定的劳动力流动有利于知识溢出, 因为劳动力在同一企业内部配置的刚性会阻碍技术信息扩散和再组合。但是, 劳动力过度流动, 流动的速率过高, 会破坏知识的时间持续性积累, 导致学习绩效的下降, 进而削弱企业的创新能力。

4. 知识基础设施功能发挥。

大学和研究机构等公共服务机构, 除了向集群成员企业提供人力资源培训和教育支持外, 还有一种很重要的形式是提供技术和管理支持。此时, 大学、研究机构、技术中介机构等就承担了知识基础设施的功能。公共服务机构与成员企业之间的互动程度对于集群学习起着重要作用。如当地大学和学术机构通过科学技术扩散为集群学习提供技术支持, 还通过出版物的形式, 传递技术和知识。此外, 这些知识基础设施还为集群成员的沟通提供了场所, 为这些成员之间的交流创造条件, 对促进集群创新系统内部的技术沟通具有积极意义。

5. 劳动力培训和教育。

从事劳动力培训和教育的机构主要有两类:一类是高校、技校等教育机构, 另一类是专业培训机构。从我国产业集群情况看, 那些处于非中心城市的产业集群内部由于没有高校, 劳动力资源的培训就需要由培训机构来完成。于是, 这些产业集群通过政府或产业集群代理机构与处于中心城市的高等院校联合, 进行人才的培养, 或者通过专业培训机构从高校聘请教师对集群内企业劳动力进行培训。相对来讲, 处于中心城市的产业集群, 由于交通便利, 能更经常地利用高校来进行人才的培训。

6. 技术和管理服务。

企业创办的研究实验室的区域集中, 也为中小企业利用技术知识溢出提供了可能, 因为低沟通成本以及内部技术机会的提供, 为小企业创新提供了良好的条件。同时, 大企业研究机构间的知识外溢也是一种集群学习的有效机制。不过, 由于这些研究开发机构在运行成本上往往由特定企业承担, 因此在服务指向上, 也具有明确的对象。为此, 集群内部建立有偿服务机制就非常重要。此外, 地方政府在提供技术和管理保障上的作用也不可小视。

三、产业集群技术创新的战略选择

1. 大力发展高新技术产业集群和促进传统产业集群的技术创新。

以现有的高新区、大学科学园和软件园等为载体, 按照专业化、特色化、集群化的思路, 大力发展高新技术产业集群, 使之成为推动我国企业自主创新的重要基地。国外大量实践证明, 高技术企业的聚集效应非常重要, 特别是高技术园区人才、信息的交流和产业链的形成, 有利于企业创新创业。在大力发展高新技术产业集群的同时, 还要促进传统产业集群的技术创新。在我国, 传统产业集群在区域经济中占有突出的地位。我们不能把高新技术产业片面地定义为那些生产高新产品的产业, 例如信息技术、生物工程和新材料的产业, 把创新定义为在高新技术领域的创新。实际上, 以中小企业地理集中为特征的传统产业集群同样可以为传统产业注入持久的活力和强大的竞争优势, 关键在于企业要有自主创新的能力。

2. 鼓励集群内企业自主创新。

首先, 要创造良好的政策环境。促进企业成为技术创新的主体, 可以采取包括资金投入、政策支持、有效服务等多项措施。通过项目支持企业是重要的, 但项目能够支持的企业是有限的, 项目能够发挥作用的时效也是有限的。更重要的、长期起作用的是政策, 也只有政策支持才能真正调动千千万万的企业投入技术创新。其次, 大力支持中小企业的创新活动。中小企业是促进科技创新的一支重要力量, 而且在市场经济条件下, 中小企业是孕育大企业的摇篮, 许多大企业都是通过中小企业由小到大、滚动发展起来的。第三, 积极发展风险投资。创新性企业具有不确定性和信息不对称两个特点, 与银行的集中资金管理模式和审慎经营原则不相符合, 这使得它们很难获得商业银行的贷款支持。而科技开发周期长、风险较大, 财政巨额投入又使政府难以承受。

3. 积极营造区域创新环境。

产业集群可以提高区域竞争力的一个重要方面是, 产业集群有利于信息和知识的流动和新思想的创造。在这种情况下区域被赋予了新的涵义———知识不断积累和流通的场所。为了得到这种效应, 政府要积极营造区域创新环境。区域创新又称创新网络, 它是由区域内的经济网络构成的。要营造这种区域创新氛围, 需要具备产业集群发展的硬环境与软环境。硬环境是指现代化的基础设施、便利的交通通讯、配套的生产服务设施等;软环境是指网络系统, 即建立在区域内企业之间以及企业与科研机构长期合作基础上的稳定关系。

4. 搭建科技开发平台, 完善中介服务体系。

加快技术创新基础设施的建设, 建立科技基础平台和公共信息、公共数据的有效共享机制。依托大企业建立和完善公共技术平台, 为中小企业提供研究开发、中试、检测等技术服务。立足共性技术领域, 从企业和大学、科研机构现有的重点实验室、工程技术中心中确定一批作为公共技术平台予以支持。加强科技中介服务体系建设, 增加对技术咨询、技术转让等中介机构的扶持。依托科技情报机构、高等院校和图书馆等联合建立专业性、资源共享的科技数据库和科技信息网。建立健全知识产权交易制度, 完善技术转让机制, 促进企业之间、企业与大学和科研院所之间的知识流动和技术转让, 增强企业技术集成与产业化能力。

5. 实施产业集群品牌工程。