集群技术学习（精选9篇）
集群技术学习 篇1
1 引言
企业技术学习是从企业外部知识环境搜索和获取对企业有用的技术知识、进行消化吸收, 将其纳入自己的技术轨道或重建技术轨道, 从而增强组织整体技术能力的过程[1]。产业集群之中企业联系密切, 竞争合作关系复杂, 构成了多样化的社会网络, 为区域内人力资本水平提升和企业技术学习加速提供了外部条件。一般认为, 产业集群之中的企业具有较强的技术创新能力、技术学习能力。目前, 关于产业集群中影响企业技术学习途径及其影响因素的研究有很多。如, 集群的文化根植性[2]、社会网络的结构和疏密[3]、社会资本[4]、学习内容、学习层次和学习源[5]、企业间知识溢出与知识获取[6]等。也有很多研究认为产业集群主要学习机制是人员流动[7]。魏江 (2004) 指出人力资源在企业间流动、企业间合作互动、企业衍生和人员间正式或非正式沟通四种类型构成了企业最基本的学习机制[8]。但以上关于集群中企业技术学习的研究忽略了人力资本在集群网络中的独特之处, 未能认识到人力资本对集群企业技术学习过程中重要作用。本文探讨集群网络下人力资本对于企业技术学习的影响, 为集群环境下加速企业的技术学习提供新的视角和方法。
2 人力资本与技术学习的关系
人力资本是通过人为投资形成的、凝聚在人体中的具有经济价值的知识、技能和体力等资本形态[9]。与物质资本一样, 需要通过一定的投资才能获得, 相对于物质资本或非人力资本而言, 人类自身在经济活动中具有获得收益并不断增值的能力。通过教育、培训、保健等方面的投入, 人力资本的价值得以不断增加。从企业角度而言, (M.Hobday, 1994;谢伟, 2001) 技术学习是对技术的学习, 通过对于特定生产知识的获取和资源的整合, 掌握关键技术并转化为生产能力的学习过程。
人力资本对企业技术学习的整个过程中起着决定性作用。企业技术学习是企业通过一系列努力, 把企业外部技术逐步转化为企业自身的生产、创新能力的过程。这一过程表现为企业知识存量的提升, 技术能力的提供, 其实质是企业技术人员对于技术的学习、掌握和应用的过程。从技术学习的来源看, 生产能力的学习一般是通过生产中的“干中学 (learning-by-doing) ”“用中学 (learning-by-using) ”或“培训中学 (learning-by-training) ”, 创新能力的学习一般要通过“研究和开发中学 (learning-by-R&D) ”, 或“基于联盟的学习 (alliance-based learning) ”。从技术学习的成果传播和扩散来看, 人是进行知识和技术创新、扩散的最重要主体, 在技术创新的过程中, 作为一种重要的生产要素, 各种不完全同质的人力资本相互批评、相互作用、相互学习创造出效益。人力资本的良性结合不仅能提高人力资本的生产效率, 还能提高其他生产要素 (例如物质资本等) 的边际生产率, 从而成为技术创新的根本力量, 影响了企业技术进化的方向。人力资本对于企业技术进步起着非常积极的作用, 一些学者也有类似的结论。 (王金营, 2000) 通过对人力资本在技术能力转换中的作用、人力资本在技术追赶型和技术仿效型两种状态中的表现和作用分析, 揭示了人力资本在技术创新和技术扩散中的积极作用。Lau (2004) 研究认为有效的人力资源管理将导致高水平的技术创新绩效。
3 人力资本在集群网络条件下的特征
集群是某些相同或相关性很强的产业中大量中小企业在空间集聚的现象, 它是一种基于社会关系、信任和共享互补资源等特别管理特征的网络 (Vatne和Taylor, 2000) [3]。产业集群不仅是企业之间组成的经济网络, 也是由经济主体组成的社会网络。Granovetter (1985) 认为, 经济行为是嵌入社会关系结构之中的[16]。一般来讲, 人力资本具有依附性、增值性、时效性、专用性及价值难衡量性等一般特征。然而, 在集群网络环境之中, 大量相近产业企业地理上积聚, 市场技术信息迅速传播, 经济网络社会网络相互嵌套, 使得人力资本又具备了新的特征。
3.1 非正式交流频繁
在共同的风土人情、宗教习俗甚至方言系统等文化基础上, 集群中的个体之间没有文化上的障碍, 更容易进行交流。亲缘、血缘、地缘及业缘等关系的行为主体之间存在着大量的非正式交流的机会。产业集群内部包括企业家、高级管理人员、中层和基层管理人员、技术开发人员等在内的各类人员之间都存在高频率的非正式沟通, 为技术和管理知识与信息在集群内部的流动提供了最有效的路径。网络的内部人员的交流顺畅、方式多样, 信息得以迅速传播, 从而实现了网络内部的信息共享。
3.2 人力资本高效流动
集群网络内部各种信息传播迅速, “专业能手”们能很快被人了解, 企业有机会赢得适合企业发展的优秀人才。共同的文化认知使得员工在不同企业间流通不会受到企业文化的抵制, 利于技术员工在多个企业间流动。此外, 集群网络中人力资本流动的成本较低。在集群之中, 大量小企业集聚且相互关联、分工协作, 区域内部聚集了适用于企业发展的专用性人才。集群内部企业招聘成本低、岗前培训成本低, 人才的求职成本低, 人才可以迅速为企业所用, 成为企业发展的人力资本, 为企业创造价值。
3.3 人力资本易于积聚
区域内商业文化和人文背景有助于区域人力资本的积累。某些传统产品的有关生产技术、经验等知识不是一朝一夕就能形成的, 而是经过了很长一个历史时期才得以积累下来。如温州鹿城区制鞋技术, 可以追溯到嘉靖年间民间艺人加工朝廷贡品;宁波服装生产与唐代“奉帮裁缝”、清代“红帮裁缝”有关;金华永康自古就流传着今天金华永康五金机械制造的技术源泉, 为金华永康赢得了“百工之乡”的美誉。另外, 产业集群本身对人才的强烈吸纳能力促使大量人才慕名而来, 形成专业化人才的供给, 为集群企业提供了大量的人才储备。
3.4 专用型人力资本提升
由于社会化大分工不断细化, 人们所从事的专业领域越来越狭窄, 其可以发挥作用的范围也局限在自己熟悉的领域内。集群之中不仅是企业间的分工协作, 更是各种类型人力资本的有机构成和相互协作。集群之中人才得以在某一产品甚至是某一产品的某一部件的生产环节中工作。一方面降低了劳动难度, 另一方面, 长时间的生产实践为员工提供了熟悉生产流程、进行产品创新提供了条件, 使得人才能够成为其领域的专家。
4 集群网络条件下“人力资本-企业技术学习”机制
集群网络增强了企业间企业人力资本的联系, 促进了人力资本的积累和提升, 提供了沟通的机会, 增加了人力资本的流动性, 直接和间接地促进了产业集群知识的溢出效应, 从而加速了企业生产能力向创新能力转变的技术学习过程。集群网络中人力资本与企业技术学习的机制可以用图1来描述。“人力资本-企业技术学习”机制包括了加速机制和保障机制, 两者相互作用促进了企业技术学习。
4.1 “人力资本-企业技术学习”加速机制
集群网络中人力资本流动易于企业技术学习。人是技术的载体, 人力资本的流动不仅仅是一种生产要素在集群网络中的转移, 而是技术、技能等知识在企业之间流动。集群社会网络下人力资本的优化配置效益更加明显。集群内部成员企业间一定比例的劳动力稳定流动有利于知识溢出, 从而促进企业技术创新。因为劳动力在同一企业内部配置的刚性会阻碍技术信息扩散和再组合, 劳动力在企业之间流动促进了知识在成员企业间的扩散, 外部劳动力流入为外部知识传入及集群创新系统重新配置提供了可能。有些没有编码的知识, 包括高层的管理经验或者某项技术, 除了知识拥有者本人以外, 其他人很难掌握或模仿, 有些知识不靠人力资源的流动无法实现流动和溢出。人才流动作为产业集群知识扩散的一种途径, 促进了集群企业的知识溢出。通过人才流动为企业带来了新思想、知识诀窍和技能, 从而促进了企业知识基础的更新和增强, 快速适应外部技术和市场的不确定性。由此可见, 人才在集群内流动驱动了集群整体创新能力的提升。
集群网络中非正式交流利于加速企业技术学习。产业集群内部存在高频率的非正式沟通, 为技术和管理知识与信息在集群内部的流动提供了有效的路径。在集群网络之中, 人与人之间通过非正式的广泛接触, 可以使创新以最低成本扩散出去, 同时使集群中个人知识拥有量快速得到提高。技术学习包括对隐性知识和显性知识的学习, 隐形知识是在实践中感觉、领悟, 通过直觉洞察而来的知识, 难以从书本、媒体和正规教育中获得, 非正式交流是隐性知识传播的重要途径。企业知识和技术的相互学习与传播是建立在相互信任和了解基础之上的。企业非正式网络关系愈多, 企业获得信息和实现创新的机会就愈多。面对面的交流是集群中的主要交流形式, 走亲访友、娱乐聚餐中都孕育着学习机会。企业的各类人才在市场关系主导下的商业活动中, 一边进行企业产品和服务交流, 一边传播大量的市场需求和技术信息等。在企业间科研人员共同进行项目研发过程中, 各类人才通过相互批评、相互作用、相互学习创造出效益, 促进了技术溢出效应, 增强了企业创新能力。
4.2 “人力资本-企业技术学习”保障机制
企业人力资本的积累保障了企业生产能力的获得。企业为形成一定的生产能力, 企业要有一定的技术吸收能力作为基础, 只有在技术采用者具备了相应的技术积累和人力资本存量两个条件下, 才能得以实现对技术的“消化和吸收”, 使之体现为企业的生产能力。技术扩散过程中, 企业技术原始积累水平越高, 人力资本存量越大, 就越容易学习、消化和吸收创新技术, 利于缩小企业与创新源之间的技术势差。仿制能力的学习是通过生产线上的技术人员和工人, 创造性模仿能力的学习则主要通过专职的研究与开发人员。企业“技术引进”、“消化吸收”、“技术创新”的技术学习过程是企业内生产人员、技术人员、研究开发等人力资本提升和共同作用的过程。企业人力资本为企业从生产能力到创新能力技术学习过程提供了智力支持。
5 结论和建议
综上, 发挥集群社会网络下人力资本优势, 是加速企业技术学习的有效途径。必须高度重视集群社会网络下人力资本建设, 为加速企业技术学习提供人力资本支撑。
5.1 积极倡导产业集群战略
集群是人力资本-企业技术学习机制的基础。大量的中小企业集聚于一定区域, 可以进一步加深区内生产的分工和协作。可以分享因分工细化而带来的高效率, 大大降低因企业间频繁交易而产生的交通运输成本。此外, 在现代产业集聚体内, 经济活动主体的合作交易往往能够在社会文化背景和价值观念上达成共识, 这种基于社会网络信任基础的合作分工, 可以减少企业之间的相互欺诈, 对提高生产效率起着非常重要的作用。
5.2 加大集群人力资本投资
人力资本是企业技术学习的重要推动力量。产业集群经济能否保持长期有效地增长, 企业能否实现自主技术创新, 在一定程度上与人力资本的投资有关。首先要加大教育投资。通过各类教育培训, 增加劳动者的知识资本存量, 增强劳动者生产能力。其次由政府牵头, 企业共同参与来建立对人力资本的环境投资。这种环境包括良好的创业环境、居住环境, 良好的教育、医疗条件等。最后, 在产业集群内部建立一个完善的劳动力市场, 通过广泛的信息渠道, 为集群内企业提供各类所需的人才信息, 并为各类人才提供集群内企业的需求信息。
5.3 增加正式与非正式联系的机会
企业应该积极主动的与集群中的一些中介机构, 如行业协会、高校及科研院所、咨询机构、风险投资机构等, 增加联系与合作。区域中存在着协助、促进成果转化, 在创新活动中起桥梁和纽带作用的机构和组织。这些机构和组织服务于区域创新和技术学习, 使得不同社会关系网络之间的企业可以更好地联系与合作, 实现跨社会团体的交流与联系。企业应充分利用好区域资源, 同时企业应注意在企业内部也要加强员工的交流, 创造内部人才交流的机会。
5.4 加强促进人力资本合理流动的制度建设
制度建设投资。建立起有利于技术人员流动的良性互动机制。应尽快研究建立人力资本中介和人力资源管理的职业标准和职业标准认证办法, 培养一支适应市场竞争需求的、专业化、高素质的人力资本中介服务队伍, 同时建立健全职业经理人市场, 促进人力资源的有序流动。
摘要：对集群网络条件下人力资本与企业技术学习机制进行全面分析和讨论, 揭示人力资本在集群中企业技术学习过程中的积极作用。在集群网络中, 人力资本得到了积累、提升, 存在着大量的非正式交流, 并形成高效流动, 加速和保障集群中企业的技术学习。最后, 就如何从集群网络下人力资本角度加速企业技术学习提出对策和建议。
关键词：集群网络,人力资本,企业技术学习
集群技术学习 篇2
1、 群组业务
GT800通过信道共享，实现群组业务，极大地提高了网络资源的利用率，又保证了其它集群特性很好地实现，该设计可形成3项核心技术专利。涉及数以千计用户的GT800群组业务，只需通过共享一个业务信道实现，呼叫发起方共享上行信道，接听方共享下行信道。
2、 快速呼叫
GT800的快速接续特性突出，初始呼叫接续速度小于1s，PTT速度小于500ms，已申请5项快速呼叫专利。GT800根据快速呼叫建立的特定要求，创造性地进行呼叫流程设计、无线接口增强、网络层次优化等，通过多个层面的创新，实现了“一按即通”功能，完全满足专业用户的快速呼叫建立要求。
3、 安全性增强
GT800具有值得高度信赖的安全性，满足公共安全及特殊行业需求，已申请5项安全方面的核心技术专利，最终预计可形成15项核心专利。GT800数字集群系列核心芯片和关键算法完全由我国自主设计，采用国内自主的端到端用户加密接口和流程，支持多种终端加密模块的开发及密钥管理机制，并定义了系统与终端之间的控制信令，实现终端的遥开/遥毙等，为不同用户，提供不同级别的安全性保障，
4、可靠性增强
GT800提供集群、故障弱化及直通多种工作方式，保证系统业务提供的可靠性。GT800在可靠性增强方面，已申请13项核心技术专利。 GT800故障弱化方式提供基站在传输断链或网络设备故障情况下，在本基站覆盖范围内提供基本群组呼叫和点对点业务能力。GT800在涉及基站交换能力、基站配置、容错算法等方面进行大量创新。GT800直通工作方式定义终端之间直接通信的能力。即使在专业用户离开服务区的情况下，也能为专业用户提供基本的集群业务，不仅提高了GT800提供集群业务的可靠性，还拓展了专业用户集群业务的应用场合。
5、集群补充业务
GT800在集群补充业务方面，进行了卓有成效地创新，提供丰富的集群补充业务，现已申请涉及补充业务技术专利5项。GT800在动态重组方面定义了系统与终端(包括调度台)的信息交互接口和NCH，实现了控制终端群组信息和动态重组功能。GT800的中继合法监听、环境监听、缜密监听等集群业务能力，涉及呼叫控制、用户优先级管理、终端呼叫流程设计等方面，其它集群类补充业务主要集中在接入管理、权限控制、地面电路、空口信令等方面，预计最终可形成15项专利技术。
6、GT800技术融合
GT800在TDMA和TD-SCDMA技术融合方面进行了大量创新，保证GT800集群技术可持续发展，已申请核心技术专利5项，在TD-SCDMA集群能力增强方面，取得了多项突破，预计可形成核心技术专利15项。
集群学习中的知识外溢及对策 篇3
一、竞争市场中的新趋势
竞争是市场经济最根本的特征, 战胜对手、争夺市场份额、锁定顾客是人们的一般思维定式。以往的企业竞争方式, 在对策论意义上只具有零和性质, 即参与竞争各方在利益上存在一方受益必然以他方受损为代价的互为消长的输赢关系。但是, 随着世界经济发展的全球化、一体化趋势的加强和科学技术进步速度的日益加快, 尤其是信息网络化和信息传播速度的加快, 企业竞争方略也在发生显著变化。协同竞争, 在竞争中合作, 在合作中竞争, 已成为世界潮流, 也越来越被世界各国企业所接受。竞争中的共生性、互补性、协同性日益显露出来, 不仅表现在企业之间相互协同的受益, 也表现在企业之间相互制约的受益, 还表现在企业与外部环境相互依存、相互作用的受益。这主要是因为, 恶性竞争、过度竞争往往带来的是两败俱伤。
这在企业集群中有很深的指导意义。企业集群是指一群自主独立又相互关联的中小企业依据专业分工和协作建立起来的组织。集群中有很多同质企业和关联企业, 协同关系可以发生在两个企业之间, 也可以发生在多个企业之间, 还可能是企业与大学或研究机构之间。企业协同竞争是一种动态过程, 也是一种不断的选择过程, 而这些过程存在两种基本的状态:合作与背叛。
二、企业集群的竞争优势在于知识学习
这里的知识包括技术知识、需求信息、供给信息、经营经验等, 这些知识具有公共物品的性质, 一旦被创造出来, 传播的速度越快, 拥有的人越多, 为群体带来的福利就越大, 但其中许多知识, 如凭经验积累发展起来的知识难以具体化、系统化, 没有人际间的频繁接触和耳濡目染很难传播或传播很慢, 阿罗和兰卡斯特把这类知识的传播比作传染的蔓延。他们认为, 人际间接触的面越广, 接触的频率越高, 这类知识传播的速度就越快, 传播的程度就越彻底, 在产业集群的地方, 同行业的生产厂家、供应商、重要的客户以及相关专业和支持产业交织在一起, 由于地理位置的接近, 它们可能共有一个供应商, 同一家顾主, 它们的高级管理人员可能同上一家餐厅, 同参加一个俱乐部, 其职员可能彼此是邻居, 天天朝夕相处, 其技术人员可能从一个公司流向另一个公司。有的技术如果单独进行研究可能耗费很长时间, 但同行的接触可能“一点就通”。人际间的频繁接触和交流, 增加了经营的“透明度”, 行业的秘密不再是秘密。显然, 处于集群中的企业很容易获得研究开发、人力资源、信息等方面的外溢效应。
然而, 不幸的是, 这种容易外溢的知识往往是不重要的, 比较关键的技术知识并不总是这样容易流通, 群内企业有合作但同时有竞争, 作为竞争力来源的知识力量, 企业之间选择的策略往往都是保密。
三、知识外溢模型
知识外溢模型是这样的:企业集群内部的各企业存在着一种相互学习的氛围, 正是这种良好的文化, 使得集群保持着一种创新的势头, 而不同于集群外部的企业。但是, 这种情况, 只会出现在沟通合作的条件下。如果集群内部存在的是一种恶性竞争, 那么学习的源泉就会被切断。
比方说, 集群内部企业分为两大战略集团, 两大集团的龙头企业分别是甲和乙, 它们作为创新的源头, 是创新的高位势企业。它们之间的学习存在着这样的一种博弈:知识外溢的风险。如果两个企业互换技术、学习良好, 彼此都可获得最新的技术和创新成果, 得到最大收益。如果一个负责传播技术、一个只接受不付出, 那么势必影响传播者的积极性。试想, 你的竞争对手虎视眈眈侧卧一旁, 等着你的技术溢出, 而后在市场竞争中取而代之, 这样知识溢出的风险就太大了。如果两者都不对知识溢出负责, 那么这个集群就会失去集群的特性, 成为一潭死水, 市场就会逐渐萎缩。同样, 在每个战略集团内部这个问题同样存在。如果分别用市场占有率来表明甲、乙的相互合作学习, 一方付出一方不付出、双方都不付出等四种情况, 那么, 我们发现, 甲、乙对知识外溢采取的最终策略都是不外溢。这是纳什均衡的唯一解。
该博弈揭示了个体理性与团体理性之间的矛盾, 即从个体利益出发的行为往往不能实现团体的最大利益;同时也揭示了个体理性本身的内在矛盾, 即从个体利益出发的行为最终也不一定能真正实现个体的最大利益, 甚至会得到相当差的结果。
四、我国企业集群的现实情况及其对策
在马歇尔对产业区的描述中, 很重要的一个特征就是其间的企业既竞争又合作, 但是从某些学者对浙江省企业集群的调研来看, 竞争有余而合作不足却是一个比较普遍的现象。例如, 有调查表明, 在绍兴纺织业集群中, 有56.73%的纺织企业认为竞争对手来自本地, 25.5%的纺织企业认为来自邻县, 而只有2.5%的企业感知到了国际竞争的压力。同样的现象在温州的低压电器、温岭的水泵、富阳的通迅器材等集群也很突出。事实上, 随着集群规模的扩张而导致的市场集聚, 竞争的当地化是难以避免的, 而且竞争本身对于保持集群的活力也是极为必要的, 但集群企业若过于强调彼此间的竞争而缺乏合作双赢的意识, 将会给集群的发展带来很多不利的影响, 因为分工行为无论是自觉的还是自发的, 就其本质而言乃是合作性的, 如果彼此互相敌视猜忌, 是很难实现最大分工效益的。一般而言, 在一个高度竞争的集群中, 高位势企业往往会高估知识外溢的风险, 这会动摇其技术学习的意愿, 这样集群学习的分工机制在源头上就被终止了。或者在技术可行性具备的前提下会强化对知识外溢的防范, 于是分工机制又在高位势企业和低位势企业之间切断。当然, 不少高位势企业都抱怨在一个集群的环境里很难有效防范知识外溢, 但即使这样, 一个不容置疑的事实是, 以一种合作的心态还是一种竞争的心态对待知识外溢的受益者, 将影响集群内部的知识流量。因此, 为推动集群技术学习, 集群企业形成一种竞争合作的理念是相当重要的。
其实, 竞争合作理念并不仅仅是同行之间处理双边关系的准则, 它也应该体现于集群中上下游企业间的互动中, 即无论是横向的还是纵向的高低位势企业都需要树立竞争合作意识, 这是集群技术学习分工的内在要求。尽管从理论上来说, 由于涉及直接的利益对抗, 纵向势差上的知识流动相对应更为顺畅, 高位势企业不仅不会防范这种知识流, 而且出于双赢的考虑会积极疏导之。例如, 在温岭摩托产业集群和柳市低压电器集群中, 一些高位势的总成企业与当地为其配套的卫星企业之间没有形成一种长期导向的知识共享关系, 双方互动的主要内容是交易和竞价, 前者利用自身在供应链上的强势地位, 通过集群内招投标等方式逼迫后者以尽可能低的成本提供零配件, 而很少关注给予后者以适当的技术支持, 从而提高配套的质量, 这样做固然在短期里有利于降低成本, 但从长期来看割裂了分工学习的链条, 从而不利于当地生产系统工业附加值的提高。
集群技术学习 篇4
高新技术产业集群的效应与对策分析
作者：石晓烽 孙龙建
来源：《沿海企业与科技》2005年第10期
[摘 要]文章对产业集群的论述进行了简单总结，从知识溢出、风险投资集中和低交易费用等三方面对高新技术产业集群的效应进行分析，探析高新技术产业集群竞争优势的内在源泉，并提出我国高新技术产业集群的发展对策建议。
[关键词]高新技术；产业集群；效应；对策
[中图分类号]F204
浅谈数字集群专业技术 篇5
关键词：数字集群,组呼,前向业务共享技术,快速连接技术
1 数字集群替代模拟集群是通信发展的必然趋势
目前移动运营商所关注的传统语音业务多是一对一的通信, 而对于一些组织机构, 他们需要一种快速、高效、私密、一对多的通信方式。模拟集群虽然能解决快速、一对多的通信, 但模拟集群通信设备简陋、功能简单、通话质量差、频率资源占用多、保密性能低, 不能真正发挥无线调度的功能, 已经远不能适应人们对指挥调度信息传输和综合业务不断增长的需求, 市场需要一种能够提供广覆盖、高信道利用率、安全灵活的数字集群通信方式。2001年信息产业部发布了518号文件规定:停止为800MHZ模拟集群通信系统指配频率;搞好800MHZ数字集群通信系统频率使用规划;加强800MHZ数字集群频率集中管理;除链状系统的专网外, 其他的都应在共网中建虚拟专网 (VPN) 等。另外, 387号文件规定需申请使用数字集群通信频率, 必须经信息产业部无线电管理局批准才有效, 所以, 集群通信数字化已经成为集群通信发展的必然趋势。
实现一呼百应和快速连接是数字集群替代模拟集群的主要技术难题, 数字集群在发展过程中良好地解决了这一问题, 推动了国产数字集群的发展。
2 概念
数字集群是一种用于指挥调度的信道共享的专用移动通信技术, 是一种专用的高级指挥调度系统。数字集群系统功能强大, 包括丰富专业的集群功能、普通话音业务、短消息、定位以及高速无线分组数据业务等, 更提供了无线数据采集/传输、视频监控等丰富的行业/商业应用解决方案, 充分满足共网数字集群的市场拓展需求, 节省了频率资源, 解决了多群组、组成员用户大容量、快速接续等等的技术难题。
3 数字集群网络架构
一个基本的数字集群的系统由数字集群终端、基站子系统BSS、调度子系统DSS、交换子系统MSS、分组子系统PDSS和相应的操作维护中心OMC组成。
BSS子系统:基站子系统BSS由基站收发信机BTS和基站控制器BSC共同构成, 主要完成集群业务, 数据业务和普通电话业务的接入功能。
DSS子系统:DSS系统主要目标客户是提供集群系统或业务的运营商, 运营商通过配置PDS和PHR设备为集群用户提供集群调度服务, 并提供集群业务的电信级鉴权、授权和计费服务。同时, 运营商可以通过选配DAS设备, 为集团用户提供调度台服务, 为集团用户建立集群调度的虚拟专网。
MSS子系统:数字集群交换子系统由交换中心MSC、位置归属寄存器HLR、拜访位置寄存器VLR、鉴权中心Au C以及短消息中心SMC等实体构成。
PDSS子系统:PDSS系统由MS、BTS、PCF、PDSN、AAA、HA共同完成数字集群系统所需的分组数据业务, 分组交换核心网的功能实体包括:PDSN (分组数据服务节点) 、HA (归属代理) 、AAA (认证、授权和计费) 服务器。
OMS是维护子系统:负责数字集群各子系统的维护。
4 数字集群接口描述
数字集群通信系统由MS、BSS、MSS、PDSS和DSS等几部分共同组成, 其中MS和BSS之间的接口时um空中接口。BSS内部BTS和BSC之间采用的是Abis接口。BSS同MSS之间采用的是A接口。BSC和PCF之间采用标准的A8/A9接口, PCF和PDSN之间采用A10/A11的标准接口。BSC和PDC之间采用的是A8d/A9d接口, PDC和PDS之间采用的是A10d/A11d的标准。
5 调度子系统之间的接口协议
数字集群接口协议除了采用CDMA的标准协议外, 最关键是对A11、A10接口协议进行了集群业务的扩展, 扩展后的接口协议称为A11d/A10d。
5.1 PDS与PDC间的接口:
DSS系统的R-P接口是BSS/PDC与PDS的接口, 其中A10/A11接口符合A.S0001-A规范定义。在R-P接口基础上, A10接口将封装集群信令和数据报文, 在PDC与PDS之间建立好的A10链路上传递。支持集群业务的R-P接口也称为A11d/A10d接口。从物理上看, PDS与PDC的接口是10/100M以太网接口。
5.2 PDS与DAS间的接口:
DAS与PDS之间的接口用于调度台和管理台操作与PDS相关的信令和数据传输, 从物理上看, 是10/100M以太网接口。
5.3 DAS与PHR间的接口:
DAS与PHR之间的接口用于调度台和管理台操作与PHR相关部分信令和数据的传输, 从物理上看, 是10/100M以太网接口。
5.4 DAC与DAS间的接口:
DAC与DAS之间的接口采用HTTP接口, 用于传送调度台和管理台的操作请求和应答消息。
5.5 操作维护接口:
DSS系统的操作维护接口采用业界标准, 从物理上看, 操作维护接口是10/100M以太网接口。
5.6 A11d接口:
R-P接口使用A11信令来管理A10链路, A11消息使用UDP协议承载, 包含如下信令消息。
A11-Re gis tration Re que s t:PDC向PDS发送的A11注册请求消息, 用于PDC请求建立、更新和释放A10链路。A11-Registration Re ply:PDS对PDC发送的A11注册请求的应答消息。A11-Re gis tration Update:PDS向PDC发送的A11注册更新消息, 用于PDS主动请求释放A10链路的消息。
5.7 A10d接口:
A10d接口的GRE (通用路由封装) 用作对PTT报文打包实现隧道传送。通用路由封包GRE提供了以任一种网络协议封装另外任一种网络协议的方法。R-P接口的A10d是封装在GRE包中在PDS和PDC间传递的, 而GRE又是使用底层的IP来承载的, 底层的IP源地址和目标地址分别是PDS的地址和PDC的地址。PDC将MS发来的PTT语音流送到PDS, PDS根据群组和成员的信息, 将从反向链路收到的PTT语音流报文分发到对应的各前向链路上。
6 数字集群关键技术
6.1 数字集群需要解决的两大问题:
集群业务的突发性和一呼百应的问题。集群业务中存在着大量的“一对一”的呼叫应用 (单呼或私密呼) 以及“一对多”的呼叫应用 (组呼) , 组呼俗称“一呼百应”。在一对多的呼叫中, 如果每个用户都分配给单独的无线信道和网络链接, 集群呼叫具有的突发性, 会在同一时间内大量占用前项业务信道, 系统必须为这些前项信道分配大量的功率。另外, 大量反向信道的存在, 也会增加系统的噪声。集群呼叫要求快速连接问题。无线系统中通用分组数据业务接续时间长, 根本不能满足集群应用时的需求。必须解决无线系统中在实现集群呼叫时所需要的快速连接的问题。
6.2前向业务信道共享解决了一呼百应和集群的突发性问题:
信道共享是群组通信的前提, 否则就不能实现任何一个人讲话, 群组内其他成员均能同时听到。
数字集群标准对两种前向业务信道和一种反向业务信道进行优化, 实现了前向业务的共享。
前项专用控制信道 (F-DCCH) :每个用户都建立独立的F-DCCH, 用于传送用户的信令信息和功率控制信息。
前项补充信道 (F-SCH) :F-SCH用于传送用户的语音数据。同一组内每一个用户分配的F-SCH具有相同的长码掩码和Wlash码, 这样该载扇下该群组内每一个分配了F-SCH的终端多可以对该F-SCH进行解码, 从而实现了F-SCH的共享。每一个终端接收到的能量是该载扇下组内F-SCH叠加的能量, 可见信道共享即是功率的共享。
反向专用控制信道 (R-DCCH) :R-DCCH用于传送用户的信令信息和反项业务数据。组内每一个激活的用户均分配一个R-DCCH, 只有收到PTT调度服务器 (PDS) 授权的终端才能在该信道上传送语音。
6.3快速连接技术解决了集群要求快速连接的问题:
对集群呼叫, 务须通过PPP参与, 省去了建立PPP链路的时间:数字集群通过数据通道建立快速的连接, 而不是传统的电路连接方式。在数据通道上省去了建立PPP链路的时间, 从而省去了大量的接续时间。由于传统实现方法在分组数据域建立PPP连接, 使呼叫建立速度较慢, 系统没有采用PPP连接, 而是在R-P接口上直接承载业务数据。
连接的Always-On方式:采用CTML、STDL的群组呼叫, 用Alw ays-On将提高接续速度。系统通过上电初始化的时候在PDS (调度服务器) 和PDC (调度客户端) 之间建立多条CTML信令链路, 这样尽管数字集群没有点对点的PPP连接, 但是由于引进了CTML (Common Trunking Me s s age Link) 和STDL (Share d Trunking Data Link) 以及F-SCH的共享特性, 仍然可以为群组用户提供“永远在线”的方式, 就有效的加快了信令传输, 提高了呼叫建立时间;同时, 在基站处理过程中, 数字集群采用并发的处理方式以节省用户的接续时间。
通过使用这些先进技术, 数字集群系统可确保首次呼叫建立时间在1s以内, 会话过程中, 呼叫建立时间在200ms左右。
7结束语
数字集群自组网技术研究 篇6
数字集群通信系统是一种高效使用无线信道资源的专用指挥调度系统,能够提供安全、可靠以及高效率的语音和数据通信,目前在轨道交通、公共安全、政府部门、港口和民航等单位得到广泛应用。现代战争对通信系统的时效性、机动性、抗毁性、互联互通性及安全保密性有着越来越高的要求,数字集群通信系统能够很好地满足战场环境下的通信指挥需求,因此数字集群通信系统在军事领域大有可为。
如图1 所示为一个多层次、多控制中心的多区系统,将各基站通过有线与一个控制中心相连,并受其统一管理和控制,区域交互中心主要负责越区用户的身份登记、不同区间业务的管理、控制信道的分配和管理以及区间用户的漫游业务等。
上文所介绍的数字集群系统为常驻系统,并不能满足部队机动过程中的应用需求。同时,多基站互连时都需要通过有线接入到一个固定的控制中心来实现跨基站用户业务。在战场环境下,控制中心会成为敌方的重要目标,很可能遭到破坏,这将造成各基站之间的连接中断,系统崩溃,这对数字集群通信系统在战场环境下的应用构成了很大限制。
针对这一问题,数字集群系统加强了基站的功能,在基站中增加了MSC、VLR、GVLR等功能实体,使之成为机动基站,单个基站在脱离集群系统时也能够在本基站范围内实现集群功能。同时,几个机动基站也可以通过有线组网,选举出一名基站组长来负责该临时移动网络的控制管理。每一个机动基站向组长基站进行注册,组长基站掌握所属机动基站的用户归属前缀信息和组呼服务配置信息,充当常驻网络中控制中心。当组长基站因故障无法正常工作时,可以通过重新选举组长基站的方法增强系统的健壮性。
然而在战场环境下,BD 很可能处于快速机动过程,各机动基站通过有线方式共同连接至控制中心或一个组长基站就不具备可操作性了。除了战场环境外,在一些特殊环境或紧急情况下,有一个共同控制中心的有线联网集群系统也不能胜任。比如,发生地震、洪水等自然灾害后,通信基础设施可能遭受破坏,但是仍要求在抢险救灾过程中实现各基站之间的通信。在以上场合中都要求各移动基站能够不依赖基础网络设施进行快速和灵活配置组网,因此在数字集群系统中引入能够满足要求的机动基站自组网技术就势在必行了。
对自组网技术的研究是因军事应用而发展起来的,它能够适应军事应用的需要,因此具备先天的技术优势。因其特有的无需架设网络设施、可快速展开、抗毁性强等特点,自组网技术一直是数字化战场通信的首选技术。将数字集群系统与自组网技术融合能够在数字集群系统中引入自组网技术的一些技术优势: 独立组网无中心:自组网网络采用无中心结构,所有节点地位平等,组成一个对等式网络,其中的节点可以随时加入和离开网络,任意节点的故障也不会影响整个网络的运行。与有中心的网络相比,具备很强的抗毁性。动态拓扑:自组网网络中,移动终端能够以任意可能的速度和移动模式移动,并且可以随时关闭。
2 数字集群自组网技术原理
近年来,自组网技术与数字集群系统的融合国内外均有研究人员涉及,大部分研究重点在于终端级别的自组网。在无法架设基站或者基站覆盖不到的情况下,集群系统定义了移动台脱网直通操作模式,受移动台功率限制,通信距离有限。因此,研究基站覆盖范围之外的移动台形成一个自组织网络可以在一定程度上增强数字集群系统的脱网工作能力。然而还是受移动台功率的限制,移动台级别的自组织网络仍然不能很好地解决通信距离受限问题。基站的功率相对更大,如果能够实现机动基站的自组网,可以大大增加集群系统在机动过程中的覆盖范围。
数字集群系统基站的覆盖范围为10km,要保证基站原有覆盖范围的前提下实现无线组网,才能真正发挥集群系统基站自组网的优势。
数字集群系统工作频率:
下行频率 (基站到移动台):851MHz～866 MHz
上行频率 (移动台到基站):806MHz～821 MHz
基站高发低收,移动台低发高收,基站正常条件下只能接收覆盖范围下的移动台发送的信号,无法接收邻近基站的无线信号的,在现有条件下无法实现无线组网。因此考虑在基站中增加一个接收台来负责接收邻近基站的无线信号,收发分离,通过接收台与基站配合来实现无线组网。
如图2所示,在机动基站中增加了一个具备较高灵敏度的接收台,在需要进行基站自组网时,接收台开机,寻找周围基站定期发射的同步脉冲,接收台只要接收到一个载波的4个时隙的任一时隙的猝发脉冲,就具备跟该基站一致的信息,包括比特同步、时隙、帧和复帧等。同步之后接收台就可以接收周围基站在广播网络信道(BNCH)上发送的系统信息,接收台可以接收所有邻近基站发送的广播系统信息,这些广播消息中包含接收台接入系统所需要的系统参数。接收台将所有这些小区广播参数存储起来,然后通过基站广播交互几个基站的接收台所接收到的系统参数,通过这些系统参数来共同确定某个接收台需要与哪些邻近基站同步,从而监听相应基站的控制信道,实现机动基站自组网。当自组织网络形成之后,接收台不断更新所接收到的系统参数,如果出现因基站移动等原因造成连接中断,网络无法形成时,则需要再次交互接收到的系统参数,确保形成一个包含尽可能多基站的自组织网络。为了确保网络的连通性,提高呼叫成功率,接收台需要确定合理的监听对象。一种可行的方式是各机动基站自组织形成一个链状网络,处于中间的机动基站接收台监听前后两个邻近基站的控制信道,确保任何一个基站下移动台发起的呼叫能够到达整个链状网络。在图3中基站 1的接收台监听基站2的控制信道,基站2的接收台同时监听基站1和基站3的控制信道,基站3的接收台监听基站2和基站4的控制信道,最后基站4的接收台监听基站3的控制信道,这样就形成了一个逻辑上的链状网络。
3 数字集群基站自组网通播组呼业务
如图4所示,基站间有线联网断开,只能通过基站自主组网通播组呼业务实现基站间通信业务。新定义数字集群基站自主组网通播组呼号码对应的组呼基站识别码为GTSI i,在MSC1中有通播组成员MS1位于BS1-2和MS2位于BS1-3;在MSC2中有通播组成员MS3位于BS2-2;在MSC3中有通播组成员MS4位于BS3-2;在MSC4中有通播组成员MS5位于BS4-2。此时MSC2的接收台AS2-2监听MSC1的下行信令信道TSCC1;MSC1的接收台AS1-1监听了MSC2的下行信令信道TSCC2,接收台AS1-2监听了MSC3的下行信令信道TSCC3;MSC3的接收台AS3-1监听了MSC2的下行信令信道TSCC2,接收台AS3-2监听了MSC4的下行信令信道TSCC4;MSC4的接收台AS4-1监听了MSC3的下行信令信道TSCC3。即此时基站间已经形成一个逻辑上的双向链状网络。
为不失一般性,选择通播组呼组成员MS1作为通播组呼的主叫移动台。主叫用户通过MSC1的BS1-2下的移动台MS1人机界面选择通播组呼号码通过上行信令信道U-TSCC发起一个组呼请求,MSC验证MS1的合法性之后,首先查询该组呼号码对应的组呼集群识别码为GTSI i。由于基站之间并没有通过有线联网,基站GVLR中只包含在本基站覆盖范围内的组成员位置信息和组呼配置信息。MSC1查询的组呼访问位置寄存器GVLR1得知在本交换中心下有该组成员分别位于BS1-2、BS1-3,且基站下的两个接收台AS1-1、AS1-2为该组的默认组成员。MSC1为本次组呼分配组呼业务信道TP1,并在下行信令信道TSCC1上通知所有该组成员加入本次组呼并切换到组呼业务信道TP1上,MS1、MS2收到通知后切换到组呼业务信道TP1上。
此时MSC2的接收台AS2-2和MSC3的接收台AS3-1均已监听MSC1的下行信令信道TSCC1,收到通知后也作为通播组呼的组成员切换到MSC1为本次通播组呼分配的业务信道TP1上,同时分别作为主叫向各自的本地基站发起通播组呼呼叫。MSC3收到集群组呼识别码为GTSI i的组呼建立请求后查询GVLR3后得知在本交换中心下由该组成员MS4位于BS3-2下,MSC3为通播组呼分配组呼业务信道TP3,并在下行信令信道TSCC3上通知所有该组成员加入该组呼并切换到业务信道TP3上。在MSC2中亦对本次呼叫做相同处理。
MSC4的接收台AS4-1在监听的MSC3的下行信令信道上收到加入该组呼的通知后切换到MSC3为本次通播组呼分配的组呼业务信道TP3上,并作为主叫向MSC4发起通播组呼呼叫。MSC4收到集群组呼识别码为GTSI i的组呼建立请求后查询其GVLR4后得知在本交换中心下由该组成员MS5位于BS4-2下,MSC4为通播组呼分配组呼业务信道TP4,并在下行信令信道TSCC4上通知所有该组成员加入该组呼并切换到业务信道TP4上。
至此,覆盖MSC1、MSC2、MSC3和MSC4通播组呼业务建立完成,各基站下的通播组成员均加入到通播组呼中。
4 结束语
自组网技术与蜂窝网络的融合技术是当前国际上研究的热点之一,在研究自组网技术与数字集群系统融合时需要考虑数字集群系统的技术特点和用户需求,才能更好地发挥数字集群系统的技术优势。本文在分析数字集群系统局限性的基础上,提出了在数字集群系统基站中增加一个接收台来实现数字集群系统与自主网技术的融合,并分析了系统实现原理以及通播组呼呼叫接续流程。该方案的实现可以有效地提高数字集群系统在机动过程的无线组网能力,提高了系统的灵活性,扩大了网络的覆盖范围。
基于LVS的集群技术研究 篇7
1 集群的分类
目前应用最为广泛的计算机集群技术可以分为三大类:高可用性集群技术、高性能计算集群技术和高可扩展性集群技术。
1) 高可用性集群技术
高可用性集群是指以减少服务中断时间为目的的服务器集群技术。随着全球经济的增长, 世界各地各种各样的组织对计算机系统的依赖都在不断增加, 电子贸易使得商务1周7天24小时不间断的进行成为了可能, 这就需要不间断的、稳定的计算机系统。这种需求的快速增长, 使得对系统可用性的要求变得非常重要。
2) 高性能计算集群技术
高性能计算集群 (High Performance Computing Cluster, HPC Cluster) 是指以提高科学计算能力为目的计算机集群技术。HPC Cluster是一种并行计算集群的实现方法。并行计算是指将一个应用程序分割成多块可以并行执行的部分并指定到多个处理器上执行的方法。目前的很多计算机系统可以支持SMP架构并通过进程调度机制进行并行处理, 但是SMP技术的可扩展性是十分有限的, 比如, 在目前的Intel架构上最多只可以扩展到8个CPU。为了满足某些复杂的科学计算任务, 就需要引入并行计算集群技术。
3) 高可扩展性集群技术
高可扩展性集群技术就是带均衡算法的服务器集群。负载均衡集群在多节点之间按照一定的策略分发网络或计算处理负载。负载均衡建立在现有网络结构之上, 它提供了一种廉价有效的方法来扩展服务器带宽, 增加吞吐量, 提高数据处理能力, 同时又可以避免单点故障。
2 LVS与集群
虚拟服务器构建于实际的服务器集群之上, 是由一组服务器通过高速的局域网或者地理分布的广域网相互连接, 在它们的前端有一个负载调度器 (Load Balancer) , 用户看不到提供服务的多台实际服务器。实际的服务器通过高速局域网或地理上分散的广域网连接, 负载调度器将用户的请求调度到实际服务器上完成, 客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。
在服务器集群的构建中其核心问题是实现服务器间的负载均衡, 它直接关系到服务器集群的可扩展性和可用性。如果负载调度技术是在 Linux 系统上实现, 就称之为Linux虚拟服务器 (Linux Virtual Server, LVS) 。在LVS框架中, 提供了含有三种 IP 负载均衡技术的IP虚拟服务器软件IPVS、基于内容请求分发的内核 Layer-7 交换机KTCPVS 和集群管理软件, 故使用集群技术和Linux操作系统可以实现一个具有很好的可伸缩性 (Scalability) 、可靠性 (Reliability) 和可管理性 (Manageability) 的高性能、高可用的服务器Web、Cache、Mail 和 Media 等网络服务;在Linux基础上, 可以开发支持庞大用户数的、高可伸缩的、高可用的电子商务应用。
3 LVS集群的体系结构
LVS 集群采用 IP 负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率, 将请求均衡地转移到不同的服务器上执行, 且调度器自动屏蔽掉服务器的故障, 从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的, 而且无需修改客户端和服务器端的程序。
为此, 在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说, LVS 集群采用三层结构:
1) 负载调度器 (load balancer) , 它是整个集群对外面的前端机, 负责将客户的请求发送到一组服务器上执行, 而客户认为服务是来自一个IP地址 (称之为虚拟IP地址) 上的。
2) 服务器池 (server pool) , 是一组真正执行客户请求的服务器, 执行的服务有WEB、MAIL、FTP和DNS等。
3) 共享存储 (shared storage) , 它为服务器池提供一个共享的存储区, 这样很容易使得服务器池拥有相同的内容, 提供相同的服务。
调度器是服务器集群系统的唯一入口点 (Single Entry Point) , 它可以采用IP负载均衡技术、基于内容请求分发技术或者两者相结合。在IP负载均衡技术中, 需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时, 调度器将根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器, 将该请求转发到选出的服务器, 并记录这个调度;当这个请求的其他报文到达, 也会被转发到前面选出的服务器。在基于内容请求分发技术中, 服务器可以提供不同的服务, 当客户请求到达时, 调度器可根据请求的内容选择服务器执行请求。因为, 所有的操作都是在Linux操作系统核心空间中将完成的, 它的调度开销很小, 所以, 它具有很高的吞吐率。
服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时, 可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说, 请求之间不存在很强的相关性, 请求可以在不同的结点上并行执行, 所以, 整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。
负载调度器、服务器池和共享存储系统通过高速网络相连接, 如, 100Mbps交换网络、Myrinet 和Gigabit网络等。使用高速的网络, 主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。
层次的体系结构可以使得层与层之间相互独立, 每一个层次提供不同的功能, 在一个层次可以重用不同的已有软件。负载调度器层提供了负载平衡、可伸缩性和高可用性等, 在服务器层可以运行不同的网络服务, 如, Web、Cache、Mail和Media等来提供不同的可伸缩网络服务。明确的功能划分和清晰的层次结构使得系统容易建设, 以后整个系统容易维护, 而且系统的性能容易被扩展。
4 存在的问题
虽然LVS集群系统已经取得卓越的成就, 但仍然有以下问题值得继续研究和寻求解决方案:大规模集群系统的可扩展性和性能衰减问题、调度器的负载均衡技术问题、并行调度的任务粒度划分问题、海量数据的可视化问题等。
研究集群技术, 需要从多个方面着手, 多角度的考虑集群系统。如果从资源的角度考虑集群, 就要注意用户需要什么样的计算资源, 是计算能力还是响应速度, 或者是可用性;如果从硬件构架考虑, 就有工作站集群、大规模并行处理机、对称多处理机、分布式异构计算集群;如果从应用领域看, 既有侧重于科学和工程计算的并行计算集群, 也有侧重于作业负载的负载平衡集群, 或者是广泛应用于严格商用环境的高可用容错集群。可以说, 孤立的从某一个角度或者某一个方面看集群, 是无法真正了解集群的原理或准确的评估集群的各方面能力、性能的。
参考文献
[1]姚耀文, 唐华松.Linux集群任务分配算法的探讨[J].计算机工程, 2003 (5) .
[2]魏文国, 谢赞福.Linux集群系统技术研究[J].广东技术师范学院学报, 2003 (5) .
[3]陈涛.高性能集群系统架构研究[J].计算机与网络, 2003 (21) .
linux集群技术及应用探讨 篇8
关键词：Linux,集群技术,负载均衡,服务器
随着互联网技术的快速发展, 互联网用户规模高速上升, 给互联网服务器带来的压力也越来越大, 为提高用户的访问性能和感知度, 服务器需要在短时间内快速响应用户的服务请求, 因此集群技术可以为用户提供较好的实现方案。目前, 越来越多的企业开始使用开放的Linux操作系统, 以便能够完成企业需要的Web业务处理、邮件传输、数据库管理和文件存储等功能。在使用过程中, Linux服务器的负载能力、可靠性和数据处理能力也得到了改进和提高, 尤其是Linux集群技术诞生之后, 大幅度地降低了服务器运行成本, 提高了服务器的访问、处理性能。
1 Linux 集群类型
目前, Linux集群技术分为三种类别, 具体包括负载均衡集群、高可用性集群和超级计算集群。
1.1 高可用性集群
高可用性集群的主要作用是为用户提供全日制的不间断服务。对于一些服务器系统来讲, 比如数据交换机、电信业务支持服务系统、工业控制系统和军事监测系统, 偶尔发生重启、停机等状况, 可能都会导致系统用户的信息丢失, 发生不可预估的后果, 但是高可用性集群通常包括很多个节点, 如果某一个节点出现发送故障, 其他节点都可以持续提供服务, 确保整个服务器能够正常为用户提供服务, 最大限度降低损失。
1.2 负载均衡集群
负责均衡集群的作用是能够依赖服务器节点的个数, 均衡多个用户为服务器带来的负载压力, 将系统的整体负载按照某种算法合理地分配到集群中各个服务节点, 促使每一个服务节点不会发生超载现象, 另外, 当集群中产生的任务需要过大的负载需求时, 比如超过了现有的集群负载能力, 可以增加一些服务节点, 以便提高集群的整体负载能力, 更好地适用于大规模用户使用。
1.3 超级计算集群
超级计算集群技术可以集成多台服务节点于一体, 能够处理复杂的计算问题, 比如计算光年、计算弹道等。目前, 根据处理集散任务的不同类型, 可以将超级计算集群分为任务分片式和并行计算两种类型。任务分片处理模式需要将一个整体的复杂计算任务划分为多个子任务, 再把相关的子任务关联到不同的服务器节点, 分别执行计算子任务, 集成各个服务节点的计算结果再一起反馈给用户;并行式集群计算方式能够按照某种分片原则, 可以并行计算流水线传输任务, 该计算模式需要很强的耦合关系。这两种超级计算集群使用不同的数据服务处理环境。
2 Linux 集群关键技术及应用
2.1 Linux 高可用性应用方案
高可用性集群系统中, 服务器可以承担处理不同种类的任务, 并且在处理过程中, 如果某一个服务器发生了故障, 系统可以根据预先设置的不同条件, 将发生故障的服务器的任务转移到另外一台服务器, 并且转移过程中是透明的。目前, 常用的Linux平台高可用性集群软件包括许多种, 最为常用的是Turbo HA集群软件。Turbo HA集群软件关键技术包括三个方面。
一是所有的系统配置信息都保存在Dw.cfg系统文件中;二是在主备服务节点之间设置一个可以进行通信的交互区, 传递系统的运行状态上下文信息。Turbo HA集群服务软件的服务器可以实时检测通信交互区是否存在需要传输的数据, 如果存在数据传输, 需要激发传输脉冲, 以便Turbo HA正常识别服务器节点是否处在运行状态, 并且能够有效地判断服务器是否存在异常或者故障, 如果一旦检测到服务器存在故障或异常, 则可以启动另一台服务器, 持续保持任务处理状态, 以便能够完成任务处理。三是采用虚拟的IP技术, Turbo HAppy集群软件可以对外部提供一个良好的虚拟IP地址, 该IP地址可以通过客户端软件实现各个服务节点之间的通信, 无论服务器节点是否发生了切换或转移, 该虚拟IP地址都实时地指向正在工作的主机, 保障网络主机之间持续地提供通信服务。
2.2 负载均衡集群应用方案
负载均衡集群方案实现过程中, 可以由不同服务器集成在一起完成一件工作。也即是将一个完整的任务划分为多个逻辑独立的子任务, 可以在短时间内完成任务处理工作, 大大地提高系统的服务能力。在负载均衡集群中, 存在一个主控节点, 该服务器节点被称为高级流量管理器 (ATM) , 当用户将逻辑业务请求发送到ATM上时, ATM服务器绑定了对外的IP地址, 可以将接收到的业务划分为多个子任务, 将每一个子任务发送到分散的服务器节点上, 服务节点收到请求之后, 进行处理并且将结果反馈给用户。比如如果一个1s时间段内存在1000个逻辑业务请求, 负载均衡集群方案中存在五个服务器节点, 每个节点就可以处理200个逻辑业务请求, 实现服务器的负载均衡。
目前, 基于Linux操作环境的负载均衡集群软件已经诞生了很多种, 其中最为常用的是Turbolinux Cluster Server, 该软件的核心技术包括以下四个方面:一是Turbolinux Cluster Server使用ATM初始化流量路由和读取配置文件。二是ATM可以接受所有客户端发送的逻辑业务请求, 并且利用预先设置的流量转发机制和均衡负载配置将逻辑业务请求转发至其他的服务器节点。三是Turbolinux Cluster Server对外提供一个统一的虚拟IP地址, 并且该地址能够有效地表示一个有效的集群软件。四是服务器节点具有检测功能, 管理服务器节点的负载情况, 优化服务器的处理性能, 管理服务运行环境和当前处理的进程等内容。
2.3 超级计算集群应用方案
超级计算集群应用方案可以基于并行计算来实现, 能够有效地解决复杂的计算问题、科学数值计算问题。超级计算集群系统可以集成一组处理器或双处理器, 并且采用公共消息传递层实现应用程序之间的通信功能, 因此通常意义上的linux超级计算机是一个Linux集群系统, 其具有强大的数值计算能力, 并且具有较低的成本。
目前, Linux环境中常用的超级计算集群软件包括Beowulf和En Fuzion等多种软件, 常用的集群软件是Beowulf, 该软件能够将多个任务分发到不同的计算节点上, 并且实时地检测任务处理状态, 服务器节点是否发生故障, 控制任务处理队列等。
3 结语
随着计算机用户规模的扩大, 计算机任务处理越来越复杂, 为了提高用户任务处理速度和响应能力, Linux操作环境下已经诞生了许多的集群软件, 并且得到广泛应用, 大大地提高了逻辑任务处理能力, 快速响应用户需求。
参考文献
[1]付喜春, 王景德, 李家俊.基于高性能运算PC集群综合优化技术研究[J].信息技术, 2014, 42 (8) :143-146.
[2]高丙宁, 张小东, 夏涛.Linux下高可用应用基础体系的设计与实现[J].计算机工程与设计, 2013, 31 (4) :1383-1387.
[3]彭海云, 李亚.基于Linux的多网卡负载均衡技术[J].实验室研究与探索, 2012, 28 (9) :77-80.
计算机集群技术的研究 篇9
集群是一组相互独立的、通过高速网络互联的计算机, 它们构成了一个组, 并以单一系统的模式加以管理。一个客户与集群相互作用时, 集群像是一个独立的服务器。在组建超大规模的应用处理系统时, 通过采用一种或几种集群技术来构建应用集群系统, 能够极大地提高应用系统的可用性和可伸缩性。
2 集群技术的分类
集群分为同构与异构两种, 它们的区别在于组成集群系统的计算机之间的体系结构。集群计算机按功能和结构可以分为四类:高可用性集群、负载均衡集群、高性能计算集群、网格计算集群。按集群系统的应用范围, 可分为操作系统级集群和应用级集群[1]。
2.1 功能和结构的集群
(1) 高可用性集群 (High-availability clusters) 是指在集群中有某个节点失效的情况下, 其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线, 该过程并不影响整个集群的运行。
(2) 负载均衡集群 (Load balancing clusters) 通过一个或者多个前端负载均衡器, 将工作负载分发到后端的一组服务器上, 从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群 (Server Farm) 。一般高可用性集群和负载均衡集群会使用类似的技术, 或同时具有高可用性与负载均衡的特点。
(3) 高性能计算集群 (High-performance clusters) 通过将计算任务分配到集群的不同计算节点而提高计算能力, 因而主要应用在科学计算领域。
(4) 网格计算集群 (Grid computing) 是一种与集群计算非常相关的技术。网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机, 它的运作更像一个计算公共设施而不是一个独立的计算机, 网格通常采用异构的计算机组成计算机集合。
2.2 应用范围的集群
(1) 操作系统级集群作为底层基础集群架构为业务应用级集群提供操作系统级的集群服务;而应用级集群则作为操作系统级集群的子集群, 部署在操作系统级集群之上, 通过软件手段完成特定业务的集群服务。
(2) 应用级集群通过将众多的访问请求按照设定的路由策略计算和分析, 最终将请求分散到集群中的不同节点进行处理, 从而实现了更高的有效性和稳定性。实现访问请求路由的手段目前多数采用代理、硬件负载均衡、软件负载均衡。
2.3 访问请求的路由技术
(1) 代理:通过代理服务器对外提供一个统一的地址。当一个服务请求被发至代理服务器时, 根据一定规则选择一台集群节点服务器, 并将服务分发给该服务器承担, 即将负载进行均衡分摊。
(2) 硬件负载均衡:通过交换机的功能或专门的负载均衡设备实现负载均衡。对于流量的分配可以有多种方式, 但基本上都是基于网络协议层, 与具体应用无关。
(3) 软件负载均衡:集群中节点通过软件进行负载均衡处理, 可以根据应用的情况和服务器的情况采取最优的负载均衡策略。软件负载均衡可以根据应用环境的请求状态和服务状态选择最优的均衡策略, 因此它在所有的负载均衡手段中是最高效的。同时, 因为不同的应用软件提供不同的业务功能, 所以应用负载均衡不具备通用性, 它和应用产品关联性较强。
在邮政储蓄银行金融信息系统逻辑大集中项目中, 采用了硬件负载均衡与应用负载均衡配合使用构建应用集群的方式。利用硬件负载均衡器处理速度快, 对主机系统无资源损耗的特点, 对处理请求在网络层进行路由, 实现集群环境中活动主机资源的最大化使用, 满足硬件资源的可负载和可伸缩。利用应用负载均衡的准确高效, 强化业务逻辑的特点在应用层对处理请求进行均衡, 应用负载均衡模块可以根据应用节点的资源状态作更优化的路由, 最终应用集群系统对外体现出的就是持续、平稳、高吞吐的处理能力。
3 集群文件系统
大型系统的逻辑集中可以通过小型机集群方式实现, 其中部分集群应用程序需要进行文件 (如报表文件、批量处理文件等) 的共享存储、并行读写和集中管理。在集群应用中, 共享文件的并行读写有两种方式: (1) 以持续的、大量的小文件写为主; (2) 以对一个大文件的并行写为主。上述两种方式对于相关文件系统的并行读写效率和性能要求很高。由于传统的文件系统 (如NFS、CIFS等) 不支持真正的外部存储文件共享 (只能通过单一的NFS/CIFS Server实现小规模的直连存储文件共享) 和高性能的文件并行读写功能, 同时也不支持统一命名空间管理, 因此大型系统的逻辑集中应该采用集群文件系统来实现上述高性能的文件共享存储、并行读写和集中管理等功能。
3.1 功能实现方式
目前, 集群文件系统的文件共享存储、并行读写和集中管理功能通常采用以下两种方式实现:
(1) 纯软件方式:在各集群服务器的操作系统中, 通过专用集群文件系统软件的文件同步锁定管理来实现集群中文件的共享存储和并行读写功能;同时, 借助于集群文件系统软件的数据一致性管理功能, 还能够实现集群中基于共享存储的多节点负载均衡和相互冗余。
(2) 软硬件一体化方式:在集群的集中存储系统中引入高性能的集群NAS系统, 各集群服务器通过自身的文件系统 (NFS/CIFS Client) 并行访问集群NAS系统 (提供分布式文件系统访问) , 在实现文件共享存储和高性能的文件并行读写的同时, 还支持分层存储优化、容量/性能的横向同步扩展, 以及共享存储的远程容灾等增值特性。在邮政储蓄银行金融信息系统逻辑集中项目中使用集群文件系统软件或集群NAS系统实现文件共享, 具体应用实例已通过测试, 满足对性能和可靠性的需求。
3.2 系统类型
目前主流的集群文件系统软件主要有两种类型:C/S型集群文件系统和Serverless型集群文件系统[2]。
(1) 常规的C/S型集群文件系统在集群中选定一个主节点, 通过令牌锁机制统一管理多节点的并发写入, 以避免写冲突造成的文件系统损坏。在主从写模式下, 每个文件系统的交易都需要经过主节点, 如果大量的文件创建或者修改将很容易造成单节点的瓶颈。即使在主节点空闲状态下, 集群文件系统其他节点的文件创建和修改也可能造成主节点的高开销负载。如图1所示。
(2) Serverless型集群文件系统:采用Serverless型文件系统替代服务器上传统的文件系统 (如NFS、CIFS等) , 同时通过集群各节点间的心跳网络来进行全局文件同步锁定和数据的一致性管理。通过全局文件同步锁定机制的自动调度, 集群文件系统中的每个节点都可以运行交易, 同时集群文件系统命令可以在任意节点执行, 提高了可用性和效率。如图2所示。
集群文件系统软件与应用结合的较为紧密, 对于同一文件的多节点并行顺序读写效率较高, 因而较适用于本项目集群中多节点对一个大文件并行写的应用模式。
集群文件系统软件也存在着一些缺陷, 例如:需要安装在服务器操作系统中, 对于服务器的性能多多少少有一定影响;不支持在同一集群内的异构平台上部署, 节点间需要统一操作系统版本;支持的集群节点数量有限, 通常不超过64节点, 且节点和性能的扩展相对较为复杂。在银行金融信息系统逻辑集中项目中, 集群文件系统软件的部署如图3所示。
4 集群NAS系统
集群NAS系统是并行文件系统与多节点NAS集群的有机结合。从技术上来讲, 集群NAS系统在具备文件共享、兼容多文件系统访问等NAS固有特性的同时, 还具有高性能、高容量、大容量全局单一命名空间 (PB级) 的优势。与许多针对小型随机工作负载进行优化 (如文件共享) 的集群文件系统不同, 集群NAS系统在各种工作负载下都表现良好, 包括注重响应时间的小型随机工作负载和带宽密集型连续工作负载。在此之前, 用户可以尝试通过在现有NAS控制器中增加额外设备来突破可扩展性的限制, 但这会产生另外一个问题:当控制器无法应对这些额外设备时, 性能会下降, 服务水平也会随之降低[3]。而集群NAS系统通过基于分布式集群文件系统的横向扩展, 其容量和性能可以随着节点的增加呈线性增长。
此外, 集群NAS系统在高性能文件共享应用中还具有以下优势: (1) 无中断扩展和自动数据分层:集群NAS系统通过策略管理和自动化的文件迁移功能, 可以优化性能、容量。 (2) 无中断重新平衡:这可以确保集群NAS系统将工作负载分配到整个存储阵列, 以避免单个磁盘超负荷运转。 (3) 优化的数据服务:通过SSD存储的目录配额和文件克隆, 集群NAS系统可以在确保数据高可用性的同时更好地管理成本。 (4) 高可用性与动态负载平衡:集群NAS系统具有内建的冗余性, 能自动检测软硬件故障, 以保证系统正常运行。
对于大型系统的逻辑集中项目, 可以在集群的集中存储系统中引入集群NAS系统。各集群服务器通过自身的文件系统 (NFS/CIFS Client) 可并行访问集群NAS系统 (提供分布式文件系统访问) , 在实现文件共享存储和高性能的文件并行读写的同时, 集群NAS系统还可提供分层存储优化、容量、性能的横向同步扩展, 以及共享存储的远程容灾等增值特性。根据测试结果, 如果使用集群NAS系统可以达到性能和稳定性的指标要求, 可以在要求文件共享特性的地方使用该项技术。在邮政储蓄银行金融信息系统逻辑集中项目中, 可以将集群NAS系统的部署与SAN存储系统相结合考虑, 即通过多节点集群NAS网关来优化利用SAN存储, 其结构如图4所示。
5 时间同步技术
在邮政储蓄银行金融信息系统逻辑集中项目中, 通过多个小型机构建了服务器集群, 由于集群系统中各主机时间不一致, 可能会带来交易时序的错误, 从而造成业务办理差错, 给企业和客户带来不必要的纠纷。同时由于众多服务器的校时工作越来越艰巨, 原有的通过停止数据库来手工调整服务器时间的方法, 不能有效地解决系统间的时间同步问题, 已经不适合用于金融信息系统的集中工程。
5.1 基于网络时间协议的时间同步
基于网络时间协议的时间同步方法可以很好地解决问题, 它遵循了因特网时间服务器的通用标准, 通过以网络中确定的更准确的系统时钟服务器作为标准, 来调整服务器集群中各客户端主机的系统时间, 以较好解决主机间时间同步问题。但在某些项目中, 由于使用了数据库集群技术, 每个数据库节点之间禁止自动在线回调时间, 否则会导致数据库节点重启。基于网络时间协议的时间同步方法优点是可以很简单地实现各系统的时间统一, 也就是说整个系统中只有一个时钟源;缺点是对整个服务器集群中各数据库集群产生影响, 如配置不当反而会导致节点宕机。
5.2 Oracle数据库的CTSSD服务
在数据库集群中通过本身的新特性实现数据库中各节点的时间同步。Oracle数据库进入11g R2版本后, 时间同步作为稳定运行集群的先决条件, 在数据库集群管理中新增CTSSD服务用于同步集群内所有节点的系统时间, 从而进一步提升了集群的高可用性。CTSSD服务可较好解决数据库集群内节点的时间同步问题, 如果需要在多库之间保持时间同步, 则需要将相关数据库部署在同个集群之上, 这样就使得数据库间耦合度增加。通过数据库特性实现集群内各节点的时间同步的优点是可以更好地提升数据库集群的稳定性, 但该方法的缺点是只能在同个集群的各节点实现时间同步, 不同数据库集群之间及应用系统不能实现时间同步。
在储蓄银行金融信息系统逻辑集中项目中, 可以使用以下两种方法: (1) 选取准确的时钟源, 通过网络时间协议技术, 服务器和客户端的正确配置, 在邮政储蓄银行逻辑集中工程测试时从稳定性、可靠性、安全性、灵活性等方面做进一步的验证, 实现邮政储蓄银行逻辑集中各系统的时间同步。 (2) 在各应用系统之间通过网络时间协议技术, 对所有应用主机进行统一的时间同步;在数据库集群中通过集群特性CTSSD技术实现集群内各节点的时间同步, 不同集群之间不能实现各数据库节点的时间同步, 但可以进一步保障数据库集群的高可用性。具体使用方案, 应通过相关测试再作决定。
6 结语
本文对高可用性、负载均衡、高性能计算、网格计算等集群技术进行了分析, 并探讨了集群文件系统、集群NAS系统的功能和实现方式。在集群计算的需求确定之后, 如何选择各种组件构成Cluster的实现方案是比较困难的, 而且经常由于组件之间难以协同工作而导致Cluster的实现失败, 或者最终构造了一个难以使用又难以管理的Cluster。根据实际应用经验和研究成果, 针对这种情况应该优先考虑选择一体化的HPC产品。
摘要：计算机集群是一种计算机系统, 它通过一组松散集成的计算机软件和硬件协同完成计算工作。本文对高可用性、负载均衡、高性能计算、网格计算等集群技术进行了分析, 探讨了集群文件系统、集群NAS系统的功能和实现, 并研究了C/S型集群文件系统、Serverless型集群文件系统的原理和实现方式, 对计算机集群技术的应用有一定参考价值。
关键词：计算机集群,高可用性,负载均衡,集群NAS系统
参考文献
[1]张志友.计算机集群技术概述[J].实验室研究与探索, 2006, 25 (5) :607-609.
[2]李金, 李海霞.计算机集群技术探析[J].企业导报, 2010 (9) :286-287.