服务器集群技术（共9篇）
服务器集群技术 篇1
1 网络服务器集群的特点
集群服务器系统的特点是可扩展性较强, 并且能够逐步扩展到更大规模的系统当中去。节点机是一个中档或者是低档的完整服务器, 具备较强的通用性。对于超级服务器来说, 其节点机体积较小, 属于特制, 并且组装在大机箱之内, 节点机之间使用的连线不长。群集的节点机本身就是一个现成的工作站、CP服务器或者是CP机, 相互之间的联线较长, 组装不紧凑, 使得其通信效率不高。但是因为通信效率的偏低, 使得其成本也偏低, 并且能够对计算机中现有的资源进行运用, 因此比较普及。
超级服务器主要具备以下几个特点:可用性、可管理性、可扩展性以及易用性, 也就是所说的SIJMA特性, 同时, 它也具备着单一的IP地址、文件系统等映像特征, 以及具备服务器聚集的相应功能。服务器的聚集功能使得超级服务器具备了多种多样的服务性功能, 同时可管理性也较高。聚集模式在有效避免Client/Server模式及Mainframe/Terminal模式缺点的同时也集成了两者的优点。集群服务器系统主要指的是能够通过互联网络的高性能将一组或者多组的结点计算机连接一起, 且能够独立成为一个单一的系统, 提供可用, 并且具备高性能的服务。从结构方面来看, 主要可以归纳出以下几点特征:其一, 整个系统能够为用户提供单一的系统映像;其二, 整个系统具备高可用性、高可扩展性;其三, 互联网络 (连接了各个结点) 为结点之间提供了可扩展、高可靠性以及高性能的通讯服务等。
2 节能技术与度量指标
能耗, 顾名思义就是对于能源的消耗, 而电能的耗用是以千瓦小时为单位。能效则是对于能源进行利用的一个效率指标, 能效的得出是通过性能与能耗相除得出。对于一个节能系统来说, 需要在确保系统具备高性能的前提下, 确保所消耗的能量是最小的。要做到这一点主要有两种方法:其一, 在相互耗电量相同的前提下, 尽可能地将系统性能提高;其二, 在系统的性能不受到影响的前提下, 将耗电量降低到适当的量。
需要注意的是, 能源效率与系统性能之间的关系是不具备排斥性的。为了确保能源利用的效率最大化, 在确保吞吐量以及对执行任务的时间没有受到任何影响的前提下, 为了使系统性能达到最优, 可以将一些资源关闭。Brown等在进行能效问题处理的时候, 为了最优化的问题, 通过对硬件资源系统化的动态调整, 可以在确保能耗降低的情况下, 完成任务所需要的设备的调整。Rivoir等对于能耗的认为则是采取相互之间互补的方式将其解决:在设计系统的初期阶段就要进行能效的考虑, 或者是在运行的时候考虑到实际的环境变化或者是负载问题, 对系统进行恰当调整, 来与能耗管理相适应。
2.1节能技术
我们可以从以下几个方面进行考虑, 从而将节能问题的最优化加以解决。
2.1.1 系统组件需要全面检查
为了将节能做到最好, 首先需要明确电量到底是消耗到了什么地方。在计算机系统中, 电力一般消耗于5个组件:磁盘、处理器、I/O设备、芯片组以及内容。只有将每一个系统的能源使用都加以改善, 才能确保整个系统达到节能效果。
2.1.2 对可管理电源硬件的使用
电源硬件可管理性的提高, 能够确保能效的提高, 我们可以通过调整动态电压 (属于一种电源的管理技术) 将硬件元件的电压进行调整, 当处理器的电压降低时, 能量消耗将呈现平方级减少。
2.1.3 系统能耗模型的建立
节能系统的创建, 首先需要对系统整个结构和耗能模型进行了解, 从而了解运行阶段的电力实际消耗, 进而对整个系统的能耗进行控制与调整。
2.1.4 获取和衡量系统性能
在不同的负载情况下, 系统都需要能够正常执行任务, 从而根据系统性能, 确保系统能量消耗值控制在最小的范围内。
2.1.5 构建能耗优化器
节能系统中还包含了能量优化, 其负责的主要任务是在系统正常运行时, 对于硬件的节能配置。
2.1.6 降低峰值功率
Barroso等进行的试验表明, 在进行低速运行的时候, 服务器与桌面处理器所消耗的能量是峰值的三分之一, 也就是说, 大约有70%的峰值功率被节约。Tsirogiannis等进行的试验则表明了在空闲状态下大约有50%的峰值功率被消耗。
2.2度量指标
随着现代化技术的不断发展, 电子设备的成本相比十年前已经有了大幅度的下降。但是, 对于大型集群的数据中心及系统来说, 维修费用占据总成本费用的比例也越来越高。总拥有成本属于经济上的技术评价标准, 其主要在于判断产品所使用的直接或间接成本是否有利于消费者的使用。在这方面主要有两种绿色的系统标准能够对度量指标进行节能衡量:其一, 能效比, 主要是对计算机结构或者是硬件能源利用效率的一种评价指标, 是基准性能值与平均电力消耗的比值。在计算机的领域当中, 性能指标一般都是采取每秒钟的浮点运算数或者是百万指令数进行计量;其二, 电源使用效率, 在确定数据中心能源效率时, 通常都采用电源使用效率来度量。电源使用效率由一个专注于数据中心能源效率的绿色网格建立, 致力于测量数据中心的效率和生产力。计算使用效率的主要方法是进入数据中心的总电量与计算机设备耗电量的比值:
电源使用效率 =总电量/IT 设备耗电量
IT设备中包含了计算机、网络或者是存贮等设备。总的电量则包含了在支持设备正常消耗时所使用的电力, 如电力的传输、冷却系统以及其它设备等。大中型数据中心的电源使用效率一般在2左右, 也就是在如服务器等计算机设备上所消耗的电能为总能耗的一半。当电源的使用效率越来越接近1的时候, 也就表示整体的使用效率也就越来越高。
3 网络服务器节能技术应用
3.1优化系统层的能耗
在计算机的单核或多核系统中, 电能消耗的硬件控制可以通过电压的调整来完成。有学者提到, 降低系统的能耗, 可以采取相应策略来实现控制磁盘的速度、动态随机存取存储器的目的。Merkel等人认为, 降低内存的能耗可以通过适当的、科学的、合理的技巧进行调度来完成。在多核的计算机系统中, 由于存在内存之间的惊蛰以及受电压设置等方面的约束, 调整频率后的效果将受到一定影响。
3.2对应用层的能耗感知
在计算机系统技术方面, 应用层的能耗感知已逐渐成为了当前的热门研究话题。其主要原因在于:第一, 最底层的优化能源, 从很大程度上来看, 是对准确估计应用能耗的依赖, 而绝大多数的数据参考及信息都只能够通过应用程序的估计来完成;其二, 在完成相同计算任务时, 多数程序都会采用不同的执行路径来完成。依据底层系统能耗的实际情况, 能耗感知计算机的应用程序能够对其进行适当的调整, 并且在节能方面也可以提供一些额外的机会, 而目前对于能耗的研究主要是对Web服务的集中研究。Horvath等人认为, 在多级服务的管理上应用DVS, 需要建立分布式的电源管理服务, 在点对延时得到满足的情况下, 整体的能源消耗将最小化。Web服务器中, Elnozahy等人提出了DVS利用的3种策略进行节能:其一, DVS的单独使用;其二, 在低负载期间进行批量请求;其三, 当存在较大的负载变化时, 需要将批量请求与DVS相结合。而这些策略的有效使用, 都能够在耗能节省平衡以及考虑到系统响应的前提下, 实现计算机对应用层的节能效果。
摘要：在现代化的信息系统中, 绝大部分的功能都集中于服务器。客户端所具有的功能相对简单, 并且集中体现在自愿共享与管理等方面。集群服务器容易在少数高性能服务器上集中, 从而能够有效解决系统中的负载不平衡、资源共享不足等问题, 并确保客户端功能的进一步简化, 确保集中管理与共享自愿, 最终将总成本降至最低。
关键词：计算机技术,网络服务器,集群服务器
参考文献
[1]买京京, 龚红艳, 宋纯贺.集群系统中的动态反馈负载均衡策略[J].计算机工程, 2008 (16) .
[2]连英姿.浅谈网络服务器的集群技术[J].科技信息:科学教研, 2007 (25) .
[3]王宇杰, 黄红.IT设备节能技术及其在高校中心机房的应用[J].中国科技信息, 2010 (11) .
服务器集群技术 篇2
HP StorageWorks XP Cluster Extension (XP CLX) Software 和HP StorageWorks EVA Cluster Extension (EVA CLX) Software，采用很方便的故障转移/自动恢复决策技术，在故障转移期间，无需重启服务器或更改LUN呈现/映射。
HP的这个集群解决方案可以在计划停机期间或发生不利事件时，保持企业信息的可访问性，和用户最多的应用可用性要求。集群解决方案可以给用户带来：完全的故障转移自动化，站点保护，连续恢复点，以及在故障恢复期间不需要重启服务器。
下面我们会看到一个应用HP解决方案的实例。
位于安特卫普的Cobelfret公司每年要航运5千万吨各种货物，
除了拥有货运舰队和特许散货运输，该公司还经营世界各地的拖船业务。货运不是该公司的全部业务，它还经营固定航线服务。
为了支持如此复杂的运营，Cobelfret公司需要确保其关键业务商业应用持续可用。同等重要的是它定制开发的专有应用。例如，它的每个客运站台可以存放25000辆汽车，如果站台管理程序中断了，就会造成混乱。同样的，渡口预订系统要是出现故障，渡船航班就无法运行。
为了使效率最大化，该公司使用商业和企业级应用来帮助其实现准时航运。对于准时运营而言，数据和应用的可用性是关键。如果网络和应用崩溃，航运就会停止。该公司希望确保IT系统运营绝对不会停机，并且数据要通过备份始终保持轻松可用。但是该公司分散在欧洲13个地点的、非集中化的服务器和应用造成了困难。
Cobelfret公司开始寻找解决方案可以改善备份性能和可靠性，集成和中心化应用，并且通过构建2个对称的数据中心确保无故障运营。
经过比较，该公司最终选择了HP的解决方案，包括有：HP StorageWorks Enterprise Virtual Arrays (EVA) 、HP StorageWorks Cluster Extension EVA软件、HP Data Protector软件和HP BladeSystem服务器。
服务器集群技术 篇3
1 流媒体负载均衡的原理
流媒体负载均衡是对分散的多个流媒体服务器进行集中管理的技术手段。流媒体负载均衡按一定的条件将流媒体服务器划分成组,组中每台服务器可以是对等的,也可以是分级的,但是都可以单独对外提供服务而无需其他服务器的辅助。
负载均衡设备对集群服务器进行健康检测(性能检测),确保集群中每台服务器都能单独接受用户请求,否则将其退出集群;然后按照一定的均衡算法,将流媒体请求定向到指定的服务器上,受分配的服务器独立地回应客户的请求[2]。
在实际使用中,用户只需记住1台服务器,即虚拟服务器,但其数据流能够被负载均衡器灵活地均衡到所有的服务。流媒体负载均衡实现原理图如图1所示。
由此可见,基于流媒体负载均衡技术的服务器集群平台至少可以实现以下两个功能:①运行功能,通过负载均衡可以集群多个流媒体服务器共同完成众多流媒体服务请求;②维护功能,通过健康检测可以对多个流媒体服务器进行集中监控和维护。
2 硬件实现的设备连接方式
负载均衡可以通过软件实现,也可以通过硬件实现。软件实现是指在服务器的操作系统上安装应用程序来实现负载均衡;硬件实现是指在服务器和互联网间安装负载均衡设备。硬件实现相比软件实现整体性能得到大幅提高,加上多样化的负载均衡策略,智能化的流量管理,可达到最佳的负载均衡需求。采用硬件方式实现的流媒体负载均衡,实施前需确定负载均衡设备连接方式。经调研,负载均衡连接方式主要有直连和旁连两种。
2.1 直连方式
直连方式是指所有流媒体服务器连接到负载均衡设备上,负载均衡设备再连接到交换机上并接入互联网。直连方式的设备连接及其数据流量走向如图2所示。
直连方式中,客户端数据首先经过负载均衡设备,负载均衡设备按均衡算法将数据传达到后台服务器,服务器响应请求并将数据返回给负载均衡设备,负载均衡设备接收到服务器数据后,再将数据传输给客户端。直连方式的数据交互过程如图3所示。
从以上分析可以看出,直连方式的每次数据交互都必须经过负载均衡设备,缺乏灵活性,数据时延较大;且该连接方式存在安全瓶颈,一旦负载均衡设备的网络链路中断,则所有服务器也会随之退出平台。
2.2 旁连方式
旁连方式是指将负载均衡设备及流媒体服务器一同连接到交换机上并接入互联网。旁连方式的设备连接及其数据流量走向如图4所示。
旁连方式中客户端想要接收流媒体服务时,则访问负载均衡器虚拟IP地址。负载均衡器按预先设定的规则进行信息分析,并依据一定的算法确定应该分配给哪一台服务器。然后请求服务的客户端被要求重定向到指定的流媒体服务器,最后客户端绕过负载均衡设备直接与指定的流媒体服务器建立连接,接收流媒体服。整个数据交互过程如图5所示。
根据旁连方式的工作过程,可以得出此连接方式有如下优点。
(1)增加了网络的灵活性。特定条件下如需对指定的某台服务器进行登录管理,只要通过授权获知其IP,即可直接登录,而不受负载均衡的分配。同时,一些特殊的应用,也可在核心交换机上采用策略路由的方式指向特定的网络设备。动静态分配相结合,大大增加了集群平台的灵活性。
(2)提高了网络整体的可靠性。采用旁连方式后,如果负载均衡设备出现问题,访问客户端可通过获知备用IP (流媒体服务器的真实地址)绕过负载均衡设备直接访问流媒体服务器,而不会对整个业务系统造成影响。
(3)提高了网络通信的有效性。旁连方式中,客户端重定向到指定的流媒体服务器后,此后的数据交互不再经过负载均衡设备,大大减短了流媒体数据时延。
(4)施工维护简单。如果对原没有负载均衡技术的系统进行负载均衡技术改造,那么,在直连情况下,服务器的IP地址、网络结构都要作调整(将服务器调到负载均衡后端),同时相关联的应用也要改动,需要进行严格的测试才能上线运行;然而,在旁连模式下,原有系统(包括网络结构)基本不需要作任何改动,故前者对系统改动较大,后者则改动较小。
根据以上各项指标的综合分析,该服务器集群平台采用旁连方式比较合适。
3 健康检测
为了防止客户端被均衡到故障流媒体服务器上,我们需对流媒体服务器的状态进行实时监控,即负载均衡设备模拟客户端向流媒体服务器发送数据请求,若流媒体服务器能够在规定时间实现握手回应,则将其保留在集群中,否则退出;这个过程对所有流媒体服务器是不断轮询地进行的,从而保证对服务器的检测是实时的。
流媒体服务器健康检测流程如图6所示。
由于负载均衡器对流媒体服务器的检测是实时的,且能够显示出当前服务器的性能状况,给设备运维人员提供了有效的监测手段。
4 均衡算法及其实现方法[3,4,5]
负载均衡设备可以提供多种灵活的均衡算法,将数据流有效地转发到它所连接的服务器群。此系统设计中,负载均衡采用轮询+优先权的均衡算法。
4.1 轮询(Round Robin)
轮询(Round Robin)即将请求顺序循环地连接给每个服务器;在轮询算法下,集群中的服务器都是对等的而没有主次之分,服务器被分配到客户请求的事件是等概率的。
轮询算法的优点是实现简单,基本不需要策略设置,且对每台服务器都能实时利用。但是轮询算法不利于对集群中的服务器使用进行规划和掌握。在具体实现中,负载均衡一般避免这种算法;而健康检测往往采用这种算法,对所有服务器循环地进行检测,保证对每台服务器都能实时监控和管理。
4.2 优先权(Priority)
优先权(Priority)即给服务器分组,给每个组定义优先权,流媒体负载均衡设备将用户的请求分配给优先级最高的服务器组;当最高优先级别的组中所有服务器都不能再接受请求时,流媒体负载均衡设备才将请求送给次优先级的服务器组。这种方式实际上是为用户提供一种热备份的方式。
优先权算法的特点是可以通过设定优先级对集群中的服务器使用方案先期进行规划和设计,从而避免了盲目性;故在负载均衡中普遍采用这种算法。
为了实现优先权算法,必须先制定优先权策略,即分级的依据。根据企业通信设备属地化运维和双重化配置的特点,该服务器集群平台中,我们采用属地优先+主用优先的策略。
属地优先指客户请求优先分配给客户端所在地市的服务器组;主用优先指客户请求优先分配给指定的主用服务器。两者相结合,则客户请求会优先分配给客户端所在地市的服务器组中的主用服务器。
为了具体实现属地优先+主用优先的策略,在负载均衡器中对集群里要对所有的流媒体服务器先进行分组分级的配置。分组是将所有流媒体服务器按一定规则分组,具体实现是将同属同一地市公司的流媒体服务器合成一组;分级是进一步将组中的主用流媒体服务器设为高优先级,备用流媒体服务器设为低优先级。分组分级能将所有服务器进行有效整合,防止当某一组合成员无一正常运行时,可及时跳转到优先级相对较低组合成员上,保证客户端都能有效访问服务器。
负载均衡器具体配置中将各地区客户端所分配IP地址范围写入各自命名数据库内,数据库命名规则为各地区拼音首字母,例如江苏省公司用“JS”、南京地市公司用“NJ”,代表了相应的IP地址范围。然后为各组中的流媒体服务器设置优先级标识,主用赋予高优先级标识,备用赋予低优先级标识。
服务启动后,客户端访问集群服务器虚拟地址,负载均衡获取客户端IP地址信息,然后与数据库地址表比较,找到客户端IP所属市公司流媒体服务器组。确定所在分组后,进一步按照优先权的算法挑选优先级最高的流媒体服务器,然后按轮询的方式,顺序循环对组中服务器先健康检测,一旦满足性能要求则选中。若本地的流媒体服务器组都不能接受请求,则进一步将客户端请求依优先级别分配给省公司和其他地市公司的服务器组。
“属地优先”的重要代码如下:
(1)提高了流媒体服务的可靠性。负载均衡将分散的多个流媒体服务器组合成强大的服务器组,可以保证长期不间断地承载大量的服务请求。
(2)提高了流媒体服务的有效性。全省区域的用户在请求流媒体服务时,一般都只需要使用负载均衡虚拟IP地址,即可按均衡方式访问全省的服务器群,增强了访问有效性。
(3)提高了流媒体服务器的可控度。负载均衡提供了对流媒体服务器的监控手段——健康检测,运维人员可依据检测结果判断服务器正常与否,从而为状态检修提供重要依据。
随着电力通信数据网日益扩充,各类新业务不断涌现,通信数据量越来越庞大,对通信资源必须采取恰当合理的调度分配,才能确保通信网各类系统的安全稳定运行。
5 总结与展望
在江苏省电力公司部署一套负载均衡系统,在不对现有广域信息网设备进行改造、调整的情况下,成功实现了全省流媒体服务器负载均衡,节省了设备投资和运维费用。通过负载均衡系统将省、市公司所有流媒体服务器资源进行整合,大大提高了网络直播会议系统的并发用户数,从而为国网公司和省公司各项会议精神能准确、迅速地直接传达到每位电力员工提供了一条方便快捷的通信通道。在近2个月的试运行过程中,员工反映流媒体客户端访问流畅,流媒体服务器运行正常无堵塞,满足了实际调度运行需要。
总结该流媒体服务器集群平台主要有以下几个优点。
参考文献
[1]罗云峰,朱秋萍.流媒体通信技术及其应用[J].中国数据通信,2002,4(6):70-73.
[2]龙著乾.流媒体服务器集群的负载均衡研究[J].软件,2013,34(4):62-64.
[3]罗拥军,李晓乐,孙如祥.负载均衡算法综述[J].科技情报开发与经济,2008,18(23):134-135.
[4]戴艺,苏金树,孙志刚.基于流映射的负载均衡调度算法研究[J].计算机学报,2012,35(2):218-228.
关于GT800数字集群技术 篇4
1、 群组业务
GT800通过信道共享，实现群组业务，极大地提高了网络资源的利用率，又保证了其它集群特性很好地实现，该设计可形成3项核心技术专利。涉及数以千计用户的GT800群组业务，只需通过共享一个业务信道实现，呼叫发起方共享上行信道，接听方共享下行信道。
2、 快速呼叫
GT800的快速接续特性突出，初始呼叫接续速度小于1s，PTT速度小于500ms，已申请5项快速呼叫专利。GT800根据快速呼叫建立的特定要求，创造性地进行呼叫流程设计、无线接口增强、网络层次优化等，通过多个层面的创新，实现了“一按即通”功能，完全满足专业用户的快速呼叫建立要求。
3、 安全性增强
GT800具有值得高度信赖的安全性，满足公共安全及特殊行业需求，已申请5项安全方面的核心技术专利，最终预计可形成15项核心专利。GT800数字集群系列核心芯片和关键算法完全由我国自主设计，采用国内自主的端到端用户加密接口和流程，支持多种终端加密模块的开发及密钥管理机制，并定义了系统与终端之间的控制信令，实现终端的遥开/遥毙等，为不同用户，提供不同级别的安全性保障，
4、可靠性增强
GT800提供集群、故障弱化及直通多种工作方式，保证系统业务提供的可靠性。GT800在可靠性增强方面，已申请13项核心技术专利。 GT800故障弱化方式提供基站在传输断链或网络设备故障情况下，在本基站覆盖范围内提供基本群组呼叫和点对点业务能力。GT800在涉及基站交换能力、基站配置、容错算法等方面进行大量创新。GT800直通工作方式定义终端之间直接通信的能力。即使在专业用户离开服务区的情况下，也能为专业用户提供基本的集群业务，不仅提高了GT800提供集群业务的可靠性，还拓展了专业用户集群业务的应用场合。
5、集群补充业务
GT800在集群补充业务方面，进行了卓有成效地创新，提供丰富的集群补充业务，现已申请涉及补充业务技术专利5项。GT800在动态重组方面定义了系统与终端(包括调度台)的信息交互接口和NCH，实现了控制终端群组信息和动态重组功能。GT800的中继合法监听、环境监听、缜密监听等集群业务能力，涉及呼叫控制、用户优先级管理、终端呼叫流程设计等方面，其它集群类补充业务主要集中在接入管理、权限控制、地面电路、空口信令等方面，预计最终可形成15项专利技术。
6、GT800技术融合
GT800在TDMA和TD-SCDMA技术融合方面进行了大量创新，保证GT800集群技术可持续发展，已申请核心技术专利5项，在TD-SCDMA集群能力增强方面，取得了多项突破，预计可形成核心技术专利15项。
服务器集群技术 篇5
全球气候变暖趋势引发人们对低碳经济与低碳技术创新的高度重视。气候变暖的根本原因是碳排放量的增加, 二氧化碳排放的主要来源是能源系统。
欧盟国家已在国内采取措施力求减少二氧化碳排放量, 在国际上加强与俄罗斯等国的合作。2003年英国政府发表《能源白皮书》 (UK Government, 2003) , 首次提出“低碳经济” (Low Carbon Economy) 概念。低碳经济是指以低能耗、低污染为基础的绿色经济。国际社会在应对气候变化的挑战中逐渐认识到, 解决气候变化问题的根本出路在于切断经济增长与温室气体排放之间的联系, 从而建立一种低碳型经济发展模式。
2009年11月, 温家宝总理在国务院常务会议上明确提出:中国政府决定到2020年全国单位国内生产总值二氧化碳排放比2005年下降40%～45%, 作为约束性指标纳入“十二五”及其后的国民经济和社会发展中长期规划中。中国加强低碳经济发展是贯彻落实科学发展观、转变经济发展方式的重要战略选择。
二、低碳技术创新与生产性服务业集群的提出
(一) 低碳技术创新
如何发展低碳经济, 较多学者认为低碳技术创新是关键。尤建新 (2008) 认为发展低碳经济重在行动、成在创新。何建坤 (2009) 认为发展低碳经济, 关键在于低碳技术创新。黄栋 (2010) 认为技术创新是实现低碳经济的关键手段。
低碳经济是以低能耗、低污染、低排放为基础的经济发展模式, 其核心是低碳技术创新。低碳技术创新是贯彻落实科学发展、转变发展方式、发展低碳经济的根本途径, 同时要加强低碳制度创新和低碳管理创新, 进而促进经济社会可持续发展, 构建资源节约型、环境友好型社会, 最终有效应对全球气候变化 (见图1) 。
(二) 生产性服务业对低碳技术创新的促进作用
1.发展生产性服务业是促进低碳技术创新和节能减排的重要着力点
应满足服务经济结构中企业服务外包需求而形成的服务产业。由于服务对象是一个经济体系中作为生产者的企业而不是作为消费者的个人, 称之为“生产性服务业” (Producer Services) , 又称“生产者服务业”, 在产品或其他服务的生产与提供过程中作为中间投入而发挥作用的服务企业的集合体。据测算, 工业能耗约占全社会能耗的70%, 而第三产业的单位能耗仅为工业能耗的1/4左右。如果在我国国内生产总值中将服务业的比重提高1个百分点, 而将工业的比重相应降低1个百分点, 则我国的万元GDP能耗就能降低1%。2010年3月5日, 国务院总理温家宝在政府工作报告中明确指出, 大力发展金融、物流、信息、研发、工业设计、商务、节能环保等面向生产的服务业。大力发展服务业特别是知识密集型的生产性服务业是实现经济发展方式转型、促进节能减排和减少重化工业高碳排放的重要出路。
2.生产性服务业集群是促进低碳技术创新的重要桥梁
生产性服务业集群是指在工业化比较发达的阶段主要依托信息技术和现代化管理理念发展起来的, 信息和知识相对密集的生产性服务业的聚集体。在这一聚集体中, 与生产和市场服务包括研发、信息、金融、物流、商贸以及包括中介和咨询等专业服务等相关联的服务企业及相关支撑机构在某一特定区域形成的空间集群现象。生产性服务业集群及其企业是新低碳技术的使用者和传播者, 是提升区域技术低碳创新能力的重要桥梁。生产性服务业作为知识创新的核心, 越来越趋向知识化、技术的密集化、创新化、服务化, 在低碳技术创新中发挥着重要的知识传播、扩散、创新、应用的桥梁与媒介作用。
如图2所示, 一方面, 实现生产性服务业集群内部的资源循环和节能减排并通过低碳技术创新与制度创新, 实现生产性服务业自身的低碳发展, 其中也包括各种低碳技术服务业、低碳物流等;另一方面, 生产性服务业与低碳技术创新各要素之间建立共生关系, 能有力促进低碳技术创新平台的构建, 如通过低碳创新研发服务机构、低碳创新中介服务机构、低碳创新信息咨询、教育培训机构、低碳创新金融服务机构等配套和完善, 为低碳技术创新提供高质量、高水平、全面化的低碳创新服务及低碳产品生产。生产性服务业集群作为低碳技术创新的助推器, 其内部的研发服务、信息咨询、法律服务、金融服务、营销策划等服务业为低碳技术创新提供全方位的知识创新服务, 各类型服务业之间的交互学习与知识创新形成了低碳技术创新的有力平台和重要桥梁。
三、基于低碳技术创新的生产性服务业集群系统模型
生产性服务业集群以其高知识、高技术含量服务占据产业链高端环节, 对低碳技术创新资源有较强的控制力和整合力, 能够很好地将低碳技术创新资源转化为低碳创新成果, 提升低碳技术创新能力。生产性服务业集群主要是通过技术创新、流程优化、管理变革等促进低碳技术创新、低碳产品生产、低碳营销以及废物回收和资源的集约化利用, 实现低碳创新与循环回收利用。面向低碳技术创新的生产性服务业集群模式由创新与生产服务系统、消费服务系统、社会服务系统与环境服务系统等子系统组成 (见图3) 。
生产性服务业集群系统模型在传统供应链模型中增加了低碳技术创新的支持层, 包括环境服务系统和社会服务系统。环境服务系统主要是对生产与消费过程中不能再次循环利用的废物通过自然生态系统进行降解, 而社会服务系统则是通过与低碳技术相关的制度创新等的服务支持环节。这些支持环节是生产性服务业与低碳技术创新的重要组成部分, 同时, 区别于传统集群模式, 在生产服务系统中增加了回收服务等环节, 极大地改善了传统供应链的资源消耗和环境污染问题。消费服务系统不仅为消费者提供关于低碳消费的相关服务, 同时也通过服务系统收集和回收消费者的废弃物, 实现“资源—生产—废物—资源”的循环利用, 系统模型中的物质流、资金流、信息流等都是互相联系紧密的循环运动。在低碳技术创新过程中, 生产性服务业集群系统模型包括以下基本环节, 如图4所示。
1.低碳研发服务
低碳创新最核心的部分应该是面向节能减排的技术创新, 因此基于技术层面的低碳设计与研发是生产性服务业集群的首要环节。低碳研发主要基于产品的生命周期考察, 使用的投入和产出的材料要充分考虑对资源和环境的影响。在充分考虑产品的功能、质量、开发周期和成本的同时优化各有关设计因素, 使产品生产的各个环节都能实现对环境的总体影响和资源消耗最小化, 利用低碳材料、低碳能源, 采用标准化、模块化、可拆卸、可回收的设计技术和方法等。而低碳材料是指具有良好使用性能、能耗少、资源利用率高、对环境无污染且易回收处理, 在制备、加工、使用乃至报废后回收处理的全生命周期过程中实现低碳化的材料。
2.低碳生产服务
低碳生产服务是生产性服务业集群的关键环节。低碳生产服务是指提供给制造企业的清洁生产环节的相关低碳服务, 包括工艺方案、工艺路线、工艺技术等, 根据生产流程的实际情况选择和采用物料和能源消耗少、废弃物少、对环境污染小的工艺方案和工艺路线, 以实现生产过程中对环境无污染或污染最小化。
3.低碳营销服务
低碳营销服务即通过为企业提供低碳绿色的营销服务活动, 为企业宣传低碳理念, 加强低碳产品、低碳信息的低碳促销, 让消费者充分了解企业为保护环境所进行的努力和社会责任形象, 将低碳创新思想贯穿于整个营销环节, 以可持续发展和节能减排为指导思想, 使服务企业在公众中树立良好的绿色形象。
4.低碳消费服务
低碳技术创新是由研发机构、生产企业、生产性服务机构 (科研院所、金融、法律、信息、会计等) 、政府和消费者共同参与的过程, 因此生产性服务业集群离不开消费环节的低碳服务, 离不开消费者低碳消费和政府部门低碳创新理念的实施。低碳消费也可以称之为绿色消费、生态消费和可持续消费等, 集群发展中通过低碳营销把一种“低碳理念”传达并影响着消费者, 促使消费者在消费过程中主动进行低碳、绿色消费。同时, 政府作为公共利益的代表者, 需要通过灌输低碳创新理念促进全社会的低碳消费, 包括通过宣传、教育、税收、行政等手段, 限制以不可再生资源为原料的一次性产品的生产与消费, 促进低碳消费。
5.低碳回收服务
低碳回收即采用以“减量化、再利用、再循环 (3R) ”为基础建立的“资源—生产—产品—资源”循环经济模式, 促进废物回收处理和利用, 根据实际需要对废弃物进行搜集、分类以及再生产加工、再利用的低碳化活动。低碳回收是生产性服务业集群系统中的关键环节, 低碳回收与其他部分共同组成一个闭环低碳供应链系统, 低碳回收服务是贯穿于生产性服务业集群整个生命周期的多层次、多方位的系统工程。如在固体废弃物回收方面, 采用对环境无害的拆解分选工艺路线, 提高生产效率, 减少消耗;应用自主生产的机械设备和控制软件对废旧电子电器等废弃物进行分级拆解、破碎;通过分级分选装置、除尘系统装置、涡电流设备、磁选分离设备、静电分选设备等工序;物理分选回收各种有用金属和非金属等再生资源。这实现了技术与装备的低成本控制, 构建完整的低碳回收产业链, 使城市垃圾实现无害化处理和资源化利用, 促进低碳技术创新及其成果利用与低碳发展。
四、基于低碳技术创新的生产性服务业集群路径选择
基于以上系统模型的构建, 生产性服务业集群模式的选择需要有利于节能减排, 不仅在各个环节注重低碳创新与低碳发展, 而且各环节之间的联系层面也需要构建生态的互动关系, 这种低碳化的互动关系既有利于建立相互之间的仿生态链关联, 又有利于优化流程, 减少资源和能源浪费, 促进资源的优化配置与高效利用, 进而减低成本, 提高效益, 在更高的层面促进低碳创新与节能减排。基于低碳技术创新的要求, 生产性服务业集群的路径选择主要包括以下几个方面:
(一) 树立低碳化的服务理念, 拓宽参与低碳创新的公共领域
首先, 需要在理念层面树立低碳创新与低碳服务理念, 增强服务企业的低碳技术创新认同感和信任度。其次要培育低碳创新文化环境, 促进公众参与低碳创新。要强化公众全面理解低碳科学的教育, 大力倡导和推进低碳技术创新, 积极引导服务企业和社会公众自觉主动地转向低碳技术创新方向。再次, 要形成强大鼓励低碳技术创新与节能减排的舆论氛围。通过宣传与各种低碳创新活动, 拓宽参与低碳创新的公共领域, 畅通服务企业及全社会参与低碳技术创新的有效渠道, 提高参与低碳创新的意识和能力, 进而促进低碳技术创新与服务。
(二) 加强服务主体的低碳化, 构建生产性服务业集群的低碳创新体系
基于低碳技术创新的生产性服务业集群包括服务业自身的低碳技术与制度创新, 也包括作为重要桥梁和资源要素作用促进整个区域产业集群的低碳创新与低碳化发展。生产性服务业的服务主体即服务企业与制造企业, 在服务产品与设施的设计和开发中需要消耗一定的资源和能源, 不可避免地产生废弃物。就一般性服务业而言, 服务企业应该开展诸如工业企业中开展的清洁生产审计、ISO14000环境管理体系认证、环境标志认证, 贯彻节能减排和低碳创新理念, 实现物质循环流动并抑制污染发生。我国的《清洁生产促进法》要求服务业主体开始清洁生产实践, 实施连锁经营、建立市场废弃物回收再生利用机制、用可降解塑料袋等。金融服务、法律咨询、会计、技术推广、营销策划、物流运输等行业内部也应加强低碳技术创新。此外, 政府应该鼓励和引导低碳技术服务业的集群发展, 建立和完善企业低碳技术开发与服务中心, 制定低碳技术创新及服务战略, 增加研究和开发投入, 建立低碳技术服务的人才激励机制, 增强低碳技术创新及其服务能力, 加快低碳技术创新产业化及服务体系发展步伐, 构建面向低碳技术创新的生产性服务业集群创新体系。
(三) 强化服务途径的低碳化, 构建低碳创新的产业集群价值链
生产性服务业集群通过一定的方式和途径为其他企业或者部门提供中间服务, 因此, 提供服务的渠道和方式应采取低碳化措施, 构建低碳创新的产业集群价值链。如在物流运输方面, 强调对运输线路进行合理布局与系统规划, 改善交通运输状况, 缩短和精简运输路线和环节, 发挥交通运输方式的综合利用与比较优势, 使用清洁燃料, 选择低污染车辆, 包括以可再生能源为动力的交通工具, 淘汰高耗能物流工具, 减少能耗及尾气排放等。在仓储配送方面, 要求仓库选址要合理, 有利于节约运输成本, 仓储布局要科学, 使仓库得以充分利用, 实现仓储面积利用的最大化, 减少仓储成本。在流通加工方面, 提高物流速度和物品的利用率, 按客户的要求进行的低碳化的加工活动, 包括分割、计量、分拣、刷标志、拴标签、组装等活动;在包装方面, 提高包装材料的回收利用率, 有效控制资源消耗, 避免环境污染。
(四) 重视产业关联的低碳化, 构建生产性服务业集群生态关联网络
服务业的低碳化建设必须加强企业间的合作, 构建与工业、农业和其他服务部门之间的物质循环、废物利用、能源梯级利用等经济链, 逐步形成三大产业循环圈, 在宏观层次上实现循环经济的同时也促进企业自身低碳化建设。生产性服务业集群是围绕某些制造产业的生产和销售而形成的服务业集群, 因为相关性的产业较多, 面向低碳技术创新的生产性服务业集群需要构建各产业之间、企业之间的低碳创新关联, 即实现关联产业的低碳创新发展。服务企业在生产和经营的同时必然要与其他产业进行资源、产品、能量的交错流动, 生产性服务业集群各个要素之间应该构建优化的产业生产链和物质、能量循环流动链, 依托低碳技术创新的相关服务业发展, 深度破解资源供给结构、产品供给结构、商品消费结构不一致的深层次矛盾, 促进不同行业的价值链关联、延伸和耦合, 构建生产性服务业集群的生态关联网络, 进而实现区域内部的产业物流结构的“闭路循环”和“低碳排放”。如物流配送机构可以与生产企业通过协议构建起物质循环链, 优先考虑采购和展销低碳产品, 优先宣传和促销;生产企业也有责任和义务回收并再生利用市场或销售过程中包装废弃物、破损物资等, 以解决服务企业废弃物的出路问题, 通过低碳化的互补联系与合作, 促进低碳技术创新与生产性服务业集群。
摘要：生产性服务业集群是促进低碳技术创新的重要桥梁。在低碳技术创新过程中, 生产性服务业集群系统模型由低碳创新服务、低碳生产服务、低碳营销服务、低碳消费服务、低碳回收服务等环节组成。基于低碳技术创新的要求, 生产性服务业集群需要选择服务理念、服务主体、服务途径、产业关联等低碳化路径。
服务器集群及负载均衡的研究 篇6
1 集群及集群的体系结构
集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送,实现分布式计算机。服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就象是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。群集操作可以减少单点故障数量,并且实现了群集资源的高可用性。
服务器集群系统可以分为局部范围内的多台服务器组成的局域集群和多个局域集群在地理位置上广域分布而形成的广域集群。对于局域集群,一般为集中式的基于请求分配器的负载分配策略,对于广域集群,通常采用群集间的基于DNS和群集内的基于Dispatcher的两级负载分配机制或者基于服务器镜象的负载均衡机制。
1.1 基于服务器镜像
镜像站点的体系结构属于一种每个单独的节点都分散于地理上不同位置的集群,集群中每个节点具有不同的地址,具有相同的镜像内容。用户直接从多个具有独立URL的站点中进行选择,并将HTTP请求发送给该镜像站点,进而得到响应。一般来讲,用户可以选择一个地理上距离最近的集群节点以减少响应时间。
1.2 基于DNS
基于DNS的集群体系结构中,集群所在域的授权域名服务器(称为“集群DNS”)向外部提供一个单一的URL主机名作为整个集群的虚拟接口,使得集群对用户端具有透明性。集群中的每台服务器都具有一个真实的IP地址。集群DNS作为集群系统的集中式请求调度器,在域名(URL)到服务器节点IP地址的映射过程中,能够选择集群中的任何节点作为请求分配的目的地。
广域集群是一种典型的层次化结构,因此采用两级负载分配机制。首先利用局域集群中的DNS执行一级分配,将客户端请求分配至各个局域集群中,然后在局域集群中实现二级分配;另外一种是广域分布的自治域之间的动态负载分配和负载平衡。
对于广域集群系统而言,能否实现连接请求的公平分配对于QOS保证而言是一个至关重要的问题。文献[1]在给出的多量纲性能参数融合策略的基础上,提出的请求分配算法可满足系统的负载平衡需求。
1.3 基于请求分配器
“基于请求分配器(Dispatcher)的服务器集群能够完全控制所有到来的请求并且实现精细粒度的负载均衡”[3]。在基于请求分配器的集群系统中,前端的请求分配器作为到达请求的代理,负责集中地接收所有到达的HTTP请求,并且按照特定的负载均衡策略将客户的请求均衡、透明地分配给集群中的后端服务器。整个集群系统具有一个单一的虚拟IP地址,即集群地址,因此集群中的服务器对用户端是透明的。实际上,集群地址就是请求分配器的IP地址,即请求分配器为集群系统提供了一个单一的虚拟接口,使得整个集群对外部而言犹如一台单一的主机。
基于请求分配器的集群系统可以运行在以下三种模式下:
1.3.1 VS-NAT
Virtual Server via NAT(VS-NAT)即用地址翻译实现虚拟服务器。地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址。外界看起来包是来自地址转换器本身,当外界包送到转换器时,它能判断出应该将包送到内部网的哪个节点。优点是节省IP地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器。
1.3.2 VS-TUN
Virtual Server via IP Tunneling(VS-TUN)即用IP隧道技术实现虚拟服务器。这种方式是在集群的节点不在同一个网段时可用的转发机制,是将IP包封装在其他网络流量中的方法。为了安全的考虑,应该使用隧道技术中的VPN,也可使用租用专线。集群所能提供的服务是基于TCP/IP的Web服务、Mail服务、News服务、DNS服务、Proxy服务器等等.
1.3.3 VS-DR
Virtual Server via Direct Routing(VS-DR)即用直接路由技术实现虚拟服务器。当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此法,控制管理的计算机接收到请求包时直接送到参与集群的节点。优点是返回给客户的流量不经过控制主机,速度快开销少。
2 集群的可能存在的安全问题及对策
2.1 负载不均衡
对于集群,基于服务器镜像的集群的节点选择依赖于客户的主观判断,而客户并不知道所选择服务器节点的负载情况,因此可能会造成被请求节点的超载,而其它节点未被请求,造成负载不均衡。解决此种情况引起的负载不均衡,一般考虑对对应节点加请求反馈,即服务比例的反向定位。
此外,负载均衡算法的使用或系统配置不当的问题也会造成负载不均衡。如根据权值来计算的节点,高权值的节点比其他节点更容易分配到任务,从而引起超载,进而导致负载不均衡。
2.2 网络不可达
网络不可达一般由于路由问题或者网络的暂时性错误引起的。网络不可达错误在高可用集群环境中往往作为失效事件的触发条件,需要被被均衡器及时判断并做出响应。该错误比常见于网络风暴、节点web服务过载等情况下。由于内部通信机制的设计不当,导致节点之间过于频繁的进行消息通信,因而在集群内部的网络中产生大量的UDP通信包,使得网络阻塞。因此使用高效率的、可定制的网络消息协议就成了解决的关键。TCP/IP作为传统协议,本身存在一定的局限。在假定通信信道是可靠稳定的前提下,简化通信原语的设定,减少握手和确认消息,使用大的滑动窗口和收发缓冲区,以减少网络不可达引起的阻塞。
2.3 Session信息的安全稳定以及SSL交换
面向内容的负载均衡在使用过程中需要考虑Session信息的稳定及基于Session的SSL交换,如商务网站需要把一些信息如用户登录的权限、时间等存储会话,当客户端连接的时候,节点服务器会给客户端一个含有session id的cookie信息,客户端之后的request都附带会话。节点服务器根据id来索引客户端的session。当客户端重复请求时,集群技术因为仅对请求的地址和端口信息进行负载平衡,所以可能会把同一个会话的请求重定向到另外一个节点,从而导致Session失效,进而所有操作失效。重复使用session的SSL数据的加密也存在该问题。
解决该问题的办法是负载平衡器必需建立一个全局的Hash映射表,记录某个客户端的IP地址和服务器的Session标记的映射关系,在下次客户重新请求时,根据匹配关系定向到原节点服务器。此外,建立整体SSO认证与统一调度,由提供SSO服务主机来统一认证,因此则不存在节点不对应而导致的Session失效。
2.4 集群I/O的一致性
采用集群后,集群内的各个节点访问能力被视为等同,因此具有共享信息的能力,若某个节点改写数据,其它节点就需要接收到该数据,如何对这一数据进行一致性访问,就成为负载均衡系统的重要问题。目前对于存取量不大的可以采用NAS,在集群中通过部署,保证接点一致性访问。此外采用GFS或Lustre。
3 高校服务器集群负载均衡策略设计
根据前面分析关于服务器集群可能存在的问题,为了尽量规避风险,设计出如图1所示集群部署,整合了广域集群与局域集群。可以实现基于DNS的集群;同时通过路由配置,实现不同网络的镜像;此外建立基于请求分配器的集群(可根据实际网络情况,选择集群模式)。
4 结束语
服务器集群策略本文分析的各种问题及解决对策都是对单一问题进行分析,针对广域集群和局域集群整合后的综合应用的细节需要进一步进行研究。
摘要：该文描述了当前服务器集群的体系结构,分析了各种集群模式可能存在的安全问题及相应的参考解决对策,提出了一个高校服务器集群负载均衡策略的设计方案。
关键词：集群,负载均衡,安全对策
参考文献
[1]李捷,刘景森,刘先省.一种新的面向广域Web服务器集群的动态负载平衡算法[J].电子学报,2007(12):2425-2429.
[2]甄翠明,黄金春.利用多层网络连接提高公网Web服务器安全性[J].桂林电子科技大学学报,2008(12):523-525.
[3]Colajanni C M.Dynamical load balancing on Web-server systems[J].IEEE In-ternet Computing,1999,3(3):28-39.
服务器集群技术 篇7
随着互联网应用的迅速普及, 社会信息化进程不断加快, IDC作为通过提供稳定、便捷的网络服务的新兴行业, 在为不同行业探索出廉价且高效的信息化途径的同时, 也受到了社会的普遍认可。对于以提供基础网络服务为运营方式的数据中心来说, 其网络服务质量直接影响到用户体验以及数据中心自身的竞争力, 因此, 服务器作为数据中心提供网络服务的基础设备, 其重要作用不言而喻。◆立足应用全面考虑中心需求华硕RS120-E5服务器在严苛的测试环境下成功通过所有测试程序, 从众多品牌中脱颖而出, 最终成为此次政府招标项目的中标产品。“在测试过程中, 华硕RS120-E5服务器运行稳定, 表现出极高的可用性和可靠性, 完全符合我们数据中心扩建的要求”, 项目组负责人认为。针对此次系统平台扩建的特点, 华硕服务器代理商海创伟业公司为拓风科技量身打造了整套解决方案, 承载此次扩建平台的核心设备华硕RS120-E5是华硕第五代绿色服务器产品家族的主打产品之一。该产品材质全部采用通过RoHS认证的环保材料, 集成众多先进技术, 在节能环保方面表现尤其突出。华硕RS120-E5得益于华硕独有的全顺风流设计, 确保散热风流直接接触所有重要发热源, 减少冷却系统负担, 从而大幅降低散热系统能耗;此外, 华硕RS120-E5集成华硕Smart Fan III智能风扇技术, 可通过对系统运行状态的实时监控, 及时对风扇进行调整, 使风扇始终保持适当的转速, 进一步减少系统的耗能支出, 降低IDC运营成本。华硕RS120-E5为1U机架式服务器, 机身小巧, 其mini身形能够节省更多的空间, 对视空间为重要成本之一的IDC用户来说, 这款产品自然是极佳首选。虽然体积小巧, 但其性能一点不弱:华硕RS120-E5采用45nm制程四核处理器, 计算能力相当强悍, 为配合四核处理器, 该产品配有四根内存插槽, 最大可为系统提供8GB内存支持, 保证系统稳定运行;数据安全方面, 该产品自带SATA磁盘阵列提供了RAID 0、1支持, 确保数据的安全可靠;服务器的I/O能力是数据中心选择产品的重要指标, 华硕RS120-E5配备两个服务器级BroadcomBCM5721PCI-E高速以太网络芯片, 大大提高了服务器的网络传输能力, 保障服务器链路通畅常;此外, 华硕所提供的ASWM 2.0和选购的ASMB3-SOL模块帮助用户更有效地管理系统, 基于网页的友好用户界面让您轻松通过网络浏览器进行本机和远程管理, 全面减少TCO (总体拥有成本) 。◆运行高效稳定成本大幅降低强悍的计算能力、全方位的数据保护功能再加之近乎完美的节能设计, 使得华硕RS120-E5应用于IDC行业具有超强优势。自该平台扩建以来, 系统运行十分稳定, 华硕RS120-E5作为平台的核心基础设备在7×24小时长期不间断运行过程中从未出现宕机现象, 表现出极强的稳定性和可靠性, 应用效果十分理想。
服务器集群技术 篇8
SNMP是目前常用的环境管理协议,它与协议无关并且可以在IP、IPX、APPLETALK、OSI等网络传输协议上使用。它提供了从网络上的设备中收集网络管理信息的方法,为设备向网络管理工作站报告问题和错误提供了方法,使用SNMP技术不会修改设备系统所有的网络设置。目前的SNMP是一个从网络上的设备收集管理信息的公用通信协议,并且绝大部分网络设备都实现了对SNMP协议的支持。SNMP简单模型如图1所示。
SNMP定义了管理进程(manager)和管理代理(agent)之间的关系,这个关系称为共同体(community)。描述共同体的语义是非常复杂的,但其句法却很简单。位于网络管理工作站(运行管理进程)上和各网络元素上利用SNMP相互通信对网络进行管理的软件统统称为SNMP应用实体。若干个应用实体和SNMP组合起来形成一个共同体,不同的共同体之间用名字来区分,共同体的名字则必须符合Internet的层次结构命名规则,由无保留意义的字符串组成。此外,一个SNMP应用实体可以加入多个共同体。
1 SNMP的基本实现
设备的管理者收集从网络上的设备管理信息并记录在管理信息库(MIB)中,MIB包含了代理机(被监视设备)中的有关配置和性能的数据,有一个组织体系和公共结构,其中包含分属不同组的许多对象。MIB数据对象以一种树状分层结构进行组织,这个树结构(见图2)中的每个分枝都有一个专用的名字和一个数字节的标识符。本系统的MIB应用以一种树状结构浏览的方式访问整个MIB数据库,通过数字标识来查找MIB中的数据对象,这个数字标识符号从结构树的顶部(根部)开始,直到各个叶子节点(数据对象)为止。到达目标设备的路径即为设设备的对象标识符(object identifier desendant,OID),本系统可通过其寻址到要检测和监视设备。
OID是以管理信息结构(Structure of Management Information,SMI)为基础的一系列点分符号,如1.3.6.1.2.1.1,这些点分符号在任何网络中都惟一标识某一个特定数据参数。跟其它程序实现过程一样,整个SNMP协议管理编程也要经过一个创建、执行、撤销的过程。初始化SNMP环境即加载SNMP的功能,接着执行所进行的操作,SNMP是基于消息机制的,所以消息的传递与管理是程序实现的核心技术。整个SNMP协议的程序实现过程可大体分为加载SNMP,建立会话,设置实体模式,发送接收消息,提取数据报,取得返回值,最终实现设备的实时监视。
2 关键技术分析
2.1 Server System MIB子集
结合本部门的设备实际情况而言,集群服务器平台下的Digital UNIX4.0D操作系统使用了Compaq的Server System MIB变量来建立Environment Monitor,但是其缺乏灵活性和易用性,仅仅使用了Server System MIB一个子集。如图3所示。
本文的设计思想绕过系统的Environment Monitor,直接调用系统函数SNMP_send、SNMP_get等函数访问Server System MIB(或在客户端发送SNMP标准协议包实现),获取系统当前的温度、风扇、电源等传感器状态值,达到对系统硬件状态的实时、准确的监视。经过扩展使用的Server System MIB子集。如图4所示。
2.2 工作站的SNMP环境监测技术分析
工作站的Windowns系统首先需要启动SNMP服务,从而在工作站上建立起SNMP管理,使得管理客户端只需要通过网络发送标准的SNMP_send、SNMP_get等协议包既可获取相应于系统硬件状态的OID值。
从客户端/服务器的角度来看,监视系统工作站和SNMP代理既是客户端,同时又充当服务器的角色。作为服务器,本系统监听UDP端口162,接收SNMP代理发送的消息;SNMP代理监听UDP端口161,接收本系统发送的查询请求。作为客户机,本系统可以随时向SNMP代理发送查询请求。因此,基于Windowns系统下开发的该“集群服务器状态监视系统”实际上就是一个客户端。本系统开发的主要工作有以下两点:
(1)构造正确的PDU,组成SNMP报文;
(2)对发送(接收)的SNMP报文进行BER编码和解码。
BER编码处理后的SNMP报文,提交给UDP,同时指定SNMP代理的IP地址和端口号即可。接收到返回的应答数据包后,再对SNMP报文进行相应的解码分析和处理。
2.3 网络交换机的SNMP环境监测技术分析
通过深入分析网络交换机的MIB库,选取适应本分系统的OID,可以实时监测到包括网络交换机的各个模块的运行状况,在此基础上,还可以建立相关数据库文件,统计网络流量、拥塞状态等,选取的switch hub MIB子集。如图5所示。
3 简单网络管理协议在集群服务器中的应用
目前国内对大型集群服务器硬件设备监视手段比较单一,缺乏对这些网络集群运行设备的统一监视手段,仅能从设备底层驱动级对其进行监视,无法通过底层传感器得到硬件设备实时参数信息(例如:机箱风扇状态、CPU风扇状态等)。这种基于简单网络协议思想建立、开发的硬件设备实时监视系统,很好地利用底层传感器的有效数据,解决了系统硬件状态的实时监视问题,基本实现了对各种服务器的监视功能,能够更好地对在线运行设备进行管理、维护,基本做到了全方位、全天候监视,大大提高了系统的可维护性。
3.1 SNMP与两种常见协议的比较
集群服务器状态监视系统充分地利用了SNMP具有简单性、扩展性、独立性的特性。
(1)简单性:不用采取类似UDP的连接方式需要在被管理设备上创建新进程的方法,从而影响到其它程序的稳定运行;也不使用TCP“三次握手”来建立的连接方式,避免了浪费网络、内存资源,实现比较复杂,而且TCP协议很少参与底层网络的操作,无法监视到底层设备,适合在复杂的互联网上运行;
(2)扩展性:通过定义新的被管理设备即拥有MIB信息的设备,可以非常方便地扩展管理功能而且可管理绝大部分符合Internet标准的设备;
(3)独立性:即使被管理设备发生严重错误时,也不会影响管理设备的正常工作。
3.2 简单网络协议中MIB的应用
管理信息库(MIB)是网络管理中的重要组成部分。每个MIB包含系统与设备的状态信息、运行的数据统计、配置参数等。通过SNMP的五种命令就可以读取或设置MIB库中变量的值,获得MIB信息的七种PDU。
所有的MIB对象类型被收集到一个或多个管理信息库中并且对象类型按照管理信息结构和标识(SMI)定义。一个对象类型的名字明确地代表一个对象,称为对象标识符。对象标识符是按照在MIB树中建立的严格分层空间构造的,对象标识符总是一个惟一的从树根开始描述MIB树的整数序列。
这里处于简单性考虑,使用了SNMP定义其中的五种操作,每种操作对应一种PDU。
(1)Get Request查询请求PDU,由管理工作站发出,PDU中指明一个或多个要求查询的对象。代理接收、处理后,返回Get Request应答PDU。
(2)Set Request设置请求PDU,由管理工作站发出,PDU中指明一个或多个要求设置的对象。代理接收、设置后,返回Get Response应答PDU。
(3)Get Next Request查询请求PDU,由管理工作站发出,PDU中指明一个或多个要求查询的对象。和Get Request PDU不同的是,Get Next Request PDU实际操作的对象,不是PDU中指明的对象,而是按字典序的下一个对象。代理接收、处理后,返回Get Response应答PDU。
(4)Get Response应答PDU,由代理应答管理工作站发出的查询、设置请求PDU。应答PDU中包含了处理结果以及出错代码。
(5)Trap代理发出,向管理工作站报告本地网络事件。所以,通过MIB,网络管理器对管理对象的管理就简化为网络管理器对被管对象的MIB库的内容的查看和设置。对不同的设备,只要它们有相应的代理软件和统一的MIB,网络管理器就可以对它进行统一管理。同时,网络管理器对被管对象的控制也通过MIB改变为对MIB内变量值的设置,这样就避免了管理协议定义过多的控制信息,因为新的控制功能可以通过在MIB中增加对应的新的变量来实现,而不必增加新的控制信息。
3.3 集群服务器状态监视系统
在对SNMP进行细致分析的基础上,该软件设计了基于Windows系统、面向UNIX应用软件的集群服务器状态监视系统。管理信息库的组织方式采取类似于SNMP的管理信息组织方式—MIB树的方式来组织被管对象。协议数据单元方面保持SNMP基本操作,力求在管理站点上提供给管理机一个整个管理区域内的MIB树的直观映射,以方便管理机对管理对象的实时监视。
3.4 系统流程
根据以上关于SNMP协议的理论,结合本部门的实际情况,集群服务器状态监视系统的流程设计如图6。
3.5 SNMP与集群服务器的有机结合
就近些年国内对硬件设备监视的种类来看,基于SNMP技术对设备监视的手段已经存在,这种基于SNMP协议建立的硬件设备实时监视系统的方法实现了对集群服务器进行运行状态监视的功能。针对集群服务器设备的特点,我们实现了SNMP技术与集群服务器的有机结合,使得集群服务器状态监视系统方法和手段变得更为灵活、易于使用,并且该方法不需要对操作系统做任何的改动,大大增强了该方法的稳定性。而且通过该技术研发的硬件实时监视系统还具有很强的可扩展性和移植性。可将支持SNMP协议的所有设备添加到该系统内,为构建统一的监视平台提供了技术支持,为其进行全面的设备状态监视,以便达到更好的设备管理、维护目的(如图7)。
4 完成情况和有待解决的问题
4.1 完成情况
基于简单网络协议、数据处理分系统设备的现状,通过VC具体编译设计监视系统,实现了利用底层传感器得到集群服务器实时参数信息的功能,并使该系统达到在线运行设备状态可视化的程度,使得设备的维护、管理更加科学化。
现在已可实现的基本功能:
(1)网络状态实时嗅探功能;
(2)实时监视各服务器CPU的运算频率;
(3)实时监视各服务器CPU的数量;
(4)实时监视各服务器CPU的缓存容量;
(5)实时监视各服务器磁盘的容量;
(6)实时监视各服务器内存的容量;
(7)实时监视各服务器内存的数量;
(8)实时监视各服务器电源状态;
(9)实时监视各服务器CPU状态;
(10)实时监视各服务器CPU风扇状态;
(11)实时监视各服务器电源风扇状态;
(12)实时监视各服务器机箱温度及状态;
(13)实时监视各服务器内部底层传感器状态;
(14)实时监视各网络交换机内部模块状态;
(15)实时监视各网络交换机内部底层传感器状态。
4.2 有待解决的问题
在集群服务器状态监视系统管理方面完成了实现预期管理所需的基本功能,测试的结果基本符合设计的要求,但其中也存在一些问题。如系统的反应不够灵敏,MIB信息的更新速度不够快;监控模块的容错性能较差,发生故障后容易挂起。
还需在系统的安全性方面,和对结构数据类型和用户自定义数据类型的支持方面作进一步的工作。另外可以考虑扩大监控的范围,不仅仅对类中的成员变量进行监控,还要对类中的成员函数进行监控。
参考文献
[1]武孟军.Visual C++开发基于SNMP的网络管理软件.人民邮电出版社.2007.
[2]王群.计算机网络教程.清华大学出版社.2007.
服务器集群技术 篇9
构建Web服务器集群是提高Web服务器性能的有效方法。典型的Web服务器集群由一个负载分配器(dispatcher,又称前端服务器)和若干个后端服务器组成。前端服务器接收外部发来的访问请求,并通过某种负载分担技术,将客户请求分配到某一台后端服务器上。
Web服务器集群系统中的请求分配算法用于将服务请求转发到某个目标服务器上去处理。一个好的请求分配算法应能适应异构系统,并能够依据各节点资源及负载情况进行动态分配和调整。请求分配算法按照其分配请求时所依据的信息可以分为两类:非基于内容的和基于内容的算法。基于内容的请求分配算法根据请求URL等应用层信息进行服务器选择,其优点是:(1) 易于获得较高的缓存命中率;(2) 可将服务内容在服务器之间合理划分,使每台服务器只储存部分服务内容,从而大大提高整个集群服务扩充能力;(3) 可令某些服务器提供特定的网络服务,以满足客户对持久连接(如SSL服务)、服务质量、IP安全等方面的特殊需要;(4) 可以区分静态请求内容和动态请求内容,从而提高集群的总体性能[4]。
1 研究现状
近几年,基于内容的请求分配算法研究比较热,已经提出了若干种算法。典型算法的分类见文献[1,3]。
其中综合考虑Cache划分和负载均衡的算法是基于内容的请求分配算法的主流。算法主要存在两方面不足:一是对服务器负载度量不够准确;二是不能很好地对后端服务器内容进行划分。为解决这些不足,本文提出一种部分复制的基于内容调度算法。
2 PRLARD算法
2.1 算法思想
(1) 将Web集群的后端服务器内容进行划分,使每台服务器只贮存部分服务内容,从而提高集群服务的扩充能力,同时提高访问的Cache命中率。
(2) 为了实现负载均衡,算法采用有限复制思想[2]。这样既提高服务扩充能力,也实现了负载均衡调度。
(3) 只有当部分服务器负载过高或过载,而别的服务器负载较低时,才进行均衡调度。
(4) 服务器的负载计算采用动态加权方法。即根据各后端结点的CPU利用率、可用内存以及磁盘I/O、进程总数状况进行负载计算。具体方法是:为每一个参数设定一个系数Ri(可根据实际情况动态调整),以表示该负载参数的重要程度,其中∑Ri=1,结点Ni的负载水平为:
LOAD(Ni)=R1*Lcpu(Ni)+R2*Lmemory(Ni)+
R3*Lio(Ni)+R4*Lprocess(Ni)
其中Lf(Ni)表示结点Ni当前某一项参数的负载值,上述公式中依次表示:CPU使用率、内存使用率、磁盘I/O访问率、进程总数。在Web服务器集群中,采用系数{0.2,0.4,0.2,0.2},内存权值为0.4,即认为内存较其他参数重要一些。
2.2 算法内容
算法流程如下:
while (true) {
fetch next request r;
n←SOOP(r);
m←mirror(n);
if(n.load is overload &&m.load < Thigh)
migrate part of n.load to m;
elseif (n.load > Thigh && m.load < n.load)
r.target←m;
else
r.target←n;
send r to r.target;
}
2.2.1 后端服务器内容的划分及镜像点的设置
本文采用一种基于URL字符串排序的划分方法SOOP(String-Oriented Ordering Partition)对服务器内容进行划分,其优点是:(1)可以将连续的URL分配到同一个后端服务器上,从而适应人们对Web服务器进行设置和管理;(2) 该算法将Web的内容等分,可以适用于对服务器内容进行划分和部分复制,并有利于集群的负载均衡性。
首先把Web集群的全部URL按照字母升序排列,并将全部URL分为k*n个集合(n为后端服务器个数,k为对URL划分的粒度系数),每个集合(称为URL子集)中包含的URL数目相等。然后根据历史访问记录统计出对各子集的访问流量,依据流量大小将k*n个子集顺序排列,并采用分段互补方法,将Web内容平均分配到n个后端服务器上。这样,每个后端服务器上分配k个子集,即每个服务器上的内容是全部Web内容的1/n。我们称每个服务器是其所分配内容的目标服务器。
为了进行负载均衡调度,还要对各个子集的内容在除目标服务器之外的后端上设置有限数目的镜像。当集群运行过程中出现负载不均衡时,根据分配算法将负载在目标服务器和镜像服务器之间进行调度。
2.2.2 负载的收集和负载均衡调度
本文将服务器按负载情况分成6个状态,从状态1→状态6依次表示空闲、较低、正常、较高、甚高、过载。如果负载没有发生状态变化,后端服务器每隔10秒用UDP包(包含一个时间戳和负载状态)向前端服务器报告一次;当负载从一个状态跃变为另一个状态时,则立即向前端报告。
当所有服务器状态都处于状态1、状态2、状态3以下时,由于所有后端服务器的负载都较低,不进行负载均衡调度,新来的客户URL请求直接分配到目标服务器。
如果一个URL的目标服务器为状态4以上,则比较其目标服务器和镜像服务器的负载,将请求分配到负载较低的服务器上。
如果某个服务器的负载处于状态6(过载),则分析其所有镜像服务器的负载状态,如果存在处于状态4以下的镜像服务器,则将相应部分的负载迁移到该镜像服务器,并修改规则集,将该部分URL的目标服务器和镜像服务器互换。此后的请求将直接分配到新的目标服务器上。
按照上述规则对请求进行分配,由于不同URL分配的目标服务器不同,因此可以保证不同后端服务器的Cache内容都不相同,从而提高访问的Cache命中率,同时也具有较好的负载均衡调度能力。
3 实验方案及结果分析
3.1 实验方案及结果
我们在Linux系统(Debian GNU/Linux 3.0)中仿真实现了一个PRLARD算法。本实验从http://kdd.ics.uci.edu站点上获得微软网站某一周内的访问日志,包括294个URL,32711个访问事件。实验采用的集群结构如图1所示。系统运行一个负载分配进程,该进程利用日志回放的方法产生URL访问请求,并同时进行负载的分配。另外设置n个进程,分别模拟n台后端服务器,接收并解析URL,计算负载情况,并向负载分配器报告自己的状态。
负载均衡度是指服务器集群所有后端服务器负载的总偏差与总负载之比。负载偏差可以用方差、均方差等表示,本文实验中采用服务器的实际负载与平均负载之差的绝对值表示。负载均衡的计算公式如下:
式中BL表示负载均衡度,Li为n台服务器中第i台服务器的负载,L为n台服务器的平均负载。显然,负载均衡度越小均衡效果越好。
首先,评估不同划分的方法对负载均衡度的影响。我们以HfIp散列算法[11]和本文采用的SOOP划分方法进行对比, HfIp被用于天网搜索引擎,是比较好的URL散列函数。实验对比了集群节点数目n为4,8,12,16,32情况下, HfIp散列方法、SOOP方法(k=1)、SOOP方法(k=2)的负载均衡度变化,如图2所示。
其次,评估不同的划分粒度k值对负载均衡度的影响。实验测试了节点数目n为4,6,8,12的情况下,k取1→5时不同的负载均衡度。结果如图3所示。另外,为了验证对Web内容访问的不均衡性,我们对不同URL的访问率进行了统计。先按访问率由高到低对URL排序,然后将URL等分为20份,每份占总内容的5%,再依次计算出每部分的访问率。结果见图4。
3.2 实验结论与分析
(1) 从图2可以看出:SOOP(k=1)方法获得的负载均衡度略优于采用HfIp散列方法;HfIp方法虽能使URL均匀散列,但因网络访问的不均衡性,其负载均衡性能并不是很好。而由于采用了分段互补方法,SOOP(k=2)算法负载均衡效果远优于HfIp散列方法。
(2) 对应不同的k值,负载均衡度有所不同。由图3的实验结果可知,一般k越大则负载均衡度越小,即节点负载越均衡。这是因为适当增加划分粒度,会使分配在各后端服务器的负载更加均匀。但当k增加到一定程度,再增加k值时负载均衡度的增加将会变得不明显。对于本实验所用的Web内容,k值取3会达到较好效果。
(3) 图2和图3显示,随着集群节点数的增加,负载均衡度也在加大。对于内容一定的网络集群而言,节点数目越多,各节点分配的URL数就越少。由于对不同的URL访问的负载差异很大,就增加了不同节点间负载差异的程度,从而导致负载均衡度增加。
(4) 图4结果表明,对URL访问具有极度不均衡性,绝大部分访问集中在很少一部分网页上。其中65%的访问集中在访问率最高的5%页面上,而访问率低的50%的页面总访问量只占1.8%。
4 结 语
在对现有基于内容的集群调度策略进行系统分析基础上,本文针对存在问题设计了部分复制的调度算法PRLARD。该算法首先根据URL把服务器内容分为k*n个子集,然后依据客户对其访问的流量大小对各子集排序,并采用分段互补方法把它们分布到n个后端服务器中,从而使各个后端服务器分担的负载尽可能均匀。同时,对各个子集在目标服务器之外的其他服务器上设置一定数目的镜像。当集群运行过程中出现负载不均衡时,将负载在目标服务器和镜像服务器之间进行调度,以实现服务流量的均匀分配。理论分析和实验测试表明,该算法具有高的CACHE命中率和良好的自适应负载均衡能力。
摘要：基于内容的Web服务器集群调度算法具有很多优点。在分析已有方法基础上,提出一种部分复制的基于内容调度算法PRLARD(partially replicated locality-aware request distribution)。理论分析和仿真结果表明,该算法具有良好的负载均衡能力和高的CACHE命中率。
关键词：Web服务器集群,Cache命中率,负载均衡,内容分配
参考文献
[1]Cardellini V,Casalicchio E,Colajanni M,Yu P.The state of the art inlocally distributed web-server systems.ACMComputing Surveys,2002,34(2):263-311.
[2]Pai V S,Aron M,Banga G,et al.Locality-aware request distribution incluster-based network servers.In Proc.The 8th Conference on Archi-tectural Support for Programming Languages and Operating Systems,San Jose,CA,Oct.1998:205-216.
[3]Bryhni H,Klovning E,Kure O.A Comparison of Load Balancing Tech-niques for Scalable Web Servers,IEEE Network,July/August2000:58-64.
[4]Zhu H.Scheduling optimization for resource-intensive Web requests onserver clusters.In Proc.11th Annual ACM Symposium on Parallel Al-gorithms and Architectures(SPAA 99),June 1999:13-22.