数据调度机制（精选9篇）
数据调度机制 篇1
0 引言
云数据中心, 是指以用户为中心, 利用分布式技术按需提供各类云服务的资源共享架构, 用户可以按需动态使用这些硬件和软件资源, 并根据服务使用量支付服务费用, 主要具有五个特点:资源池化、高效智能、服务透明、按需服务和按使用量计费。下面就从云数据中心存在的问题, 云计算环境中的调度新特征, 云数据中心资源调度机制三个方面进行综述。
1 云数据中心存在的问题
(1) 由于现有云数据中心没有实现充分有效的全局双向选择交易, 因此导致了它没有满足大多数云市场参与者的交易需求并且它的大多数云资源提供者收益偏低。
(2) 由于现有云数据中心没有充分考虑多维云资源的调度, 因此其多维云资源利用率偏低。
(3) 由于现有云数据中心没有充分考虑云任务间的通信能耗, 因此它的能耗偏高。
2 云计算环境中的调度新特征
2.1 资源环境
云计算环境下, 服务方对资源的配置差异较大, 可能是高性能集群, 可能是性能较高的服务器, 也可能是普通PC机, 以及各种硬件资源上的虚拟机环境。因此, 云计算资源具有规模大、异构性强、可用性高等特征。同时, 由于机器类型多种多样, 资源又可能从属于不同的云服务提供商, 资源的计算能力、存储能力、带宽等因素也具有较大差异, 因此云计算环境下的调度问题就变得异常复杂。
2.2 约束条件
在传统的分布式计算环境中, 系统整体性能最优往往是调度的最优化目标, 资源均为无偿免费的。云计算环境中, 云服务提供商提供资源提供服务, 用户“按需付费”, 只需要为使用的资源或服务付费。因此, 云环境中的调度问题必须考虑任务执行的成本约束。
2.3 优化目标
传统分布式环境中, 调度的优化目标均是以系统为中心, 主要面向系统性能, 如系统吞吐量、CPU利用率等, 而对用户的服务质量需求考虑较少。云计算环境中不仅注重资源利用率及系统性能的提高, 而且重视保证用户的需求, 以实现资源供给与资源消费的双赢局面。
3 云数据中心资源调度机制
3.1 基于双向拍卖机制的竞价资源调度机制
竞价调度技术是一种基于经济理论的资源调度技术。在基于经济理论的云资源调度策略中, 单位资源价格、用户的资源需求量和资源可提供量起价格调节杠杆的作用, 任何单位资源的使用都是有偿的, 云用户既是服务使用者更是服务购买者, 需要支付所使用服务的费用。资源提供者能够通过提供资源获得收益。该机制将云数据中心的云资源提供和按使用量付费使用模式映射为云市场模式, 云市场中的云资源提供者和云资源使用者 (用户) 是博弈的双方。在云市场模式下, 云资源提供者希望获得更大的云资源交易量和更高的云资源收益, 而云资源使用者 (用户) 希望获得更高的服务完成质量。在云市场模式下, 博弈双方的最终平衡点是纳什均衡点。在纳什均衡点上和不改变任何策略的前提下, 参与博弈的云资源提供者和云资源使用者 (用户) 均获得最大的满意度。博弈沦通过研究游戏中的个体预测行为和实际行为, 归纳出优化策略, 主要研究竞争中参加者为争取最大利益应当如何做出优化策略。
3.2 基于整数马尔可夫理论的多维云资源高效调度
多维云资源高效调度技术是基于三种类型资源 (计算、存储和带宽) 的资源调度技术。由于每个用户任务对三种类型资源 (计算、存储和带宽) 的需求量各不相同, 因此云数据中心会产生无法满足用户任务对某一类或某两类云资源需求的客观情况, 从而云数据中心产生了大量的闲置碎片资源。本文通过使用多维云资源高效调度技术, 更多的碎片资源被充分利用, 更多云用户任务也可以在处理机上运行, 从而有效提高了多维云资源利用率并满足了更多云用户任务对三种类型资源 (计算、存储和带宽) 的需求。基于服务等级协议的云计算资源调度架构, 主要由用户任务检查和管理控制部件, 虚拟机映射部件, 虚拟机跟踪部件和用户任务请求跟踪部件四个基本实体组成。该模型充分利用整数马尔可夫理论的无后效性—t (t>0) 时刻的用户任务调度方案与t+1时刻的用户任务调度方案无关, 多维云资源可以重复使用。而且改进后的整数马尔可夫理论的概率值取值为“0”或“1”, “1”表示某个用户任务在某个物理机上运行, 否则表示某个用户任务未在某个物理机上运行。而且, 该模型的前提假设为一个用户任务 (虚拟机) 只能在一个物理机上运行。因次整数马尔可夫理论适合用于解决多维云资源率偏低问题。在基于整数马尔可夫理论模型中, 某个用户任务是否在某个物理机上运行于随机事件, 而该模型中的用户任务调度矩阵可以映射为整数马尔可夫链 (一随机过程) 的一步整数转移矩阵。一步整数转移矩阵中的每个元素均符合两个件:每个元素的取值为“0”或“1”;矩阵中每一行元素和为“1”, 即符一个用户任务 (虚拟机) 只能在一个物理机上运行的前提假设。
3.3 基于云任务的低能耗融合调度方案
由于现有云数据中心为充分考虑云任务间的通信能耗, 因此不可避免的出现了云资源能量消耗过大的棘手问题, 从而需要根据合理优化的低能耗调度方案解决现有云数据中心能量消耗较高的重要问题。资源融合调度是一种调度云数据中心资源的有效方式, 云架构可以提供更好的资源融合调度能力。资源融合调度将计算、存储和带宽资源进行有效的融合调度, 减少了三种类型的闲置资源。不仅实现了传统意义上的单一计算资源集中使用, 而且实现了三种资源 (计算、存储和带宽) 的融合集中使用, 到来的虚拟机可以通过减少被激活的处理机资源, 并且让闲置处理机资源处于能量节省状态或者系统的关闭一些处理机资源而获得所需物理资源。
4 结束语
总之, 云数据中心是云计算环境下的硬件和软件松祸合资源共享架构, 用户可以根据需要动态地使用这些硬件和软件资源, 并根据具体使用量支付服务费用。由于现有云数据中心普遍存在云资源提供者收益偏低、多维云资源利用率偏低和云数据中心能耗偏高的问题, 因此在云计算环境下降低云数据中心能耗、提高多维云资源利用率和提高云资源提供者收益成为云计算研究领域中重要的议题。
摘要：云数据中心包含大量计算机, 运作成本很高。有效整合资源、提高资源利用率、节约能源、降低运行成本是云数据中心关注的热点。云数据中心通过虚拟化技术将计算资源、存储资源和网络资源构建成动态的虚拟资源池;使用虚拟资源管理技术实现云计算资源自动部署、动态扩展、按需分配;用户采用按需和即付即用的方式获取资源。因此, 数据中心对提高资源利用率的迫切需求, 促使人们寻求新的方式以建设下一代数据中心。
关键词：云数据中心,云计算,资源调度机制
参考文献
[1]王智明.云数据中心资源调度机制研究, 北京邮电大学, 2012 (05)
[2]孙鑫.面向云环境数据中心的高效资源调度机制研究, 北京邮电大学2012 (04)
[3]刘晓茜.云计算数据中心结构及其调度机制研究, 中国科学技术大学, 2011 (03)
数据调度机制 篇2
多元纠纷解决机制调度会上的讲话要点
昨天下午，中院多元纠纷解决机制调研小组向院党组汇报了前段时间的调研情况，发现在开展这项工作的实践中还存在一些亟需解决的问题。正是在这种情况下，院党组临时决定召开这次调度会。刚才大家都作了发言，院党组临时决定召开这次调度会。刚才大家都作了发言，谈了各法院完善多元纠纷解决机制工作的特色做法。但我感到，推动多元纠纷解决机制还存在一些问题，我就下步继续深化这项工作讲几点意见。
要明确“多元纠纷解决机制”的实质内涵。根据最高法院、省法院有关领导讲话和文件要求，“多元化纠纷解决机制”统一改称为“多元纠纷解决机制”。实质上，多元纠纷解决机制中的“多元”，一是指主体多元，解决纠纷的主体不仅包括法院，还包括党委政府、人民调解组织、社会团体、行业协会、陪审员等等，这些都是解决纠纷的主体。二是解决纠纷的方式多元，社会矛盾纠纷解决方法不是单一的，不仅仅是判决，还有调解、仲裁、和解等等。三是解决纠纷的渠道多元，解决社会矛盾纠纷不仅在诉讼中可以解决，还可以在诉讼外得以解决。
必须充分认识深化多元纠纷解决机制的重大意义。2007年中院指导在高密法院进行多元纠纷解决机制试点取得成功，并在全市法院推广。特别是去年3月市委在高密召开了由县市区委副书记、政法委书记、综治办主任及综治成员单位参加的现场会，9月中院在全市法院组织了现场观摩和点评，各法院、各部门对这项工作的意义有了一定认识，取得了显著成效。仅支年各法院运用多元纠纷解决机制化解各类纠纷3万多起。这一做法得到市委 1
肯定和群众的认可。但总体来说，认识程度不尽一致、参差不齐，影响了全市法院多元纠纷解决机制工作的整体推进。各法院、各部门必须把深化多元纠纷解决机制作为法院服务大局、贯彻落实各级党委和上级法院重大部署的重点工作来抓，积极应对形势任务变化，提高思想认识，加大工作力度，积极应对形势任务变化，提高思想认识，加大工作力度，进一步推动健全完善多元纠纷解决机制工作。一是从法院自身来看，潍坊法院近年来处结各类案件在10万件左右，法院及其他工作人员1500多人，与其他兄弟法院相比，潍坊法院的案件太多，审判力量太弱，法院工作量大，有些法官每年办理案件达300件。一个法官一年办这么多案件，要做到每起案件都非常细致，都实现服判息诉，是非常困难的。二是从社会形势来看，受国际金融危机的影响，经济形势不容乐观，现在有些企业开工不足，社会就业岗位减少，大量农民工在家“待岗”，收入减少，这必然导致劳动争议、企业纠纷、银行贷款等纠纷增多，社会治安状况下降，刑事案件也进入高发期。特别应当看到，受金融危机和经济形势影响，有些当事人的情绪不稳定，增了诉讼案件和矛盾纠纷的处理难度，现在法院在办理案件过程中，任何细节的不注意都可能导致矛盾纠纷的激化。从这方面讲，深化多元纠纷解决机制是非常必要的。三是从党委要求来看，顺利推进多元纠纷解决机制工作必须依靠党委的坚强领导和大力支持。党的十七大提出了关于健全妥善处理矛盾工作机制的基本要求，这是我们深化多元纠纷解决机制工作的“大方向”。当前全国各地法院围绕这一要求进行了很多试点，开展了很多工作，取得了很大的成效。各法院、各部门要把“讲政治”放在首位，强化大局观念，认真学习、深刻领会中央和上级的文件，研究贯彻落实措施，切实抓好多元纠纷解决机制工作。去年以来，各级党委和上级法院都在强调，要调动社会各方力量，综合运用
各种手段，有效化解社会矛盾纠纷，不可轻易将矛盾纠纷纳入司法渠道。因此，无论是各级的部署，还是潍坊的实际，都迫切要求我们深化多元纠纷解决机制。这项工作做好了，大量社会矛盾化解在基层、社会各方共赢的良好效果。诉讼案件整体减少，信访压力、执行积案下降，有利于法院工作开展，党委也是满意的。
多元纠纷解决机制经过一年来的运行，在化解矛盾纠纷、社会和谐稳定方面取得了显著成效。但也发现了一些问题。一是认识上有偏差。个别法院停留在联系点的设立、与其他部门联合下文、“制度上墙”等工作上。我们要追求的不仅是形式，而是开展的实际工作和取得的具体成效。各法院要因地制宜，不能追求有几间房子，有几张桌子，关键在于这个机制的运行。二是精力投放不够。少数法院没有具体研究工作如何开展，有些工作浮在面上，贯彻落实的少，个别工作满足于敷衍。三是实际效果还有欠缺。全市90%的民事案件在基层，多元纠纷解决机制的实际运行效果也应该在基层法院，我们的各项工作不要停留在设立多少联系点上，当然“建点”是必要的，但是在联系点的工作怎么开展，法院去联系点指导谁、怎么指导，一定要做到心中有数。四是有畏难情绪，对接协调工作开展不起来。有的法院说“与其他部门对接协调不了”，但是潍坊市委为什么对中院的工作这么支持？关键是你们向党委汇报了没有？各法院院长要主动一点，嘴勤一点，腿勤一点，对外一定要联络好，工作中遇到问题就要向党委汇报。只要是有利于促进经济发展的，有利于维护和谐稳定的，我相信党委一定会支持，遇到的问题也就迎刃而解。五是在法律框架内开展工作还不够。对于当事人打算起诉的案件，我们是如何分流的？诉讼案件立了案，我们又是如何调解的？相关工作一定要跟上指导，不要分流出去、委托出去就不管了，没有结果了。对案件立案后我们邀请调解的，一定要负责到底；诉讼内达成协议的，要出具调解文书。六是工作开展得不是很全面。建立多元纠纷解决机制需要突出工作亮点，但不是说其他方面就可以不开展了，这项工作不仅要抓亮点，全面的工作也必须要有。中院党组研究决定就多元纠纷解决机制工作，专题向市委常委、政法委书记解维俊同志汇报，依靠党委领导、政法委牵头，解决实际工作中遇到的困难，同时要把信访、执行工作都纳入到这个机制中来，协调相关部门、单位共同做好化解矛盾纠纷工作。希望各法院、各部门都要抓住党委领导、政府支持的良好契机，扎扎实实地做好各项工作，不能搞花架子，不能在原地转圈，把全市多元纠纷解决机制工作向前推进一步，实现全面的深化和发展。
数据调度机制 篇3
随着跨区、跨省电网的发展,特别是特高压互联电网的建设,各级电网之间联系日益紧密,跨区、跨省交易增多,在发电计划环节各级调度之间的相互影响、相互制约因素增多,目前的以网省自我平衡为主的计划安排模式将不再适应电网的发展要求。为此,智能电网调度计划要实现向多级协调、一体化协作模式的转变。多级调度计划一体化协作模式要求不同调度中心间分级进行发电计划编制和安全校核,最终实现满足各级电网安全约束下的全局资源优化配置[1,2,3,4]。
在智能电网调度计划一体化协作模式中,各类基础计划数据及计算结果要在多级调度中心间及时共享。在目前基于智能电网调度技术支持系统的多级调度协作的实用化过程中,由于调度计划数据缺乏有效的数据预防机制和检测手段,在上级调度收到下级调度上报的数据存在质量问题时无法及时发现并修正,导致后续的安全校核和计划编制计算不收敛和计算结果准确率低,进而导致多级调度计划协作流程难以闭环运行。如何快速辨识不良数据,保障数据质量已成为电力系统自动化建设的一项重要任务[5,6,7,8],但在调度计划领域中,目前尚未根据调度计划数据特点形成自身的数据校验方法和机制。
本文针对调度计划数据的特点与要求提出一套适用于调度计划数据的校验规则库,从系统功率平衡、机组运行约束、数据完备性和合理性等多个方面检查接入数据的质量,并基于该校验规则库,在智能电网调度技术支持系统上开发状态监视、数据校验、数据接入、质量统计分析等全过程的数据校验应用。
1 校验规则库
校验规则库由众多数据校验规则组成,这些校验规则来自于对调度计划数据的系统、全面分析,并结合长期的生产运行经验得出。一套完整、覆盖范围广的规则库将在最大程度上发现坏数据,并反映出基于该规则库建立的数据校验系统的数据检测能力和效率。
在智能电网调度计划一体化协作模式中,多级调度中心间共享的计划类数据主要包括系统负荷预测、母线负荷预测、机组发电计划、设备停复役计划、机组可调范围、联络线计划、稳定断面限额等,下级调度将其管辖区域的数据上报给上级调度,上级调度将联络线计划等数据下发给下级调度[9,10]。根据数据的传输存储方式、每类数据的特点以及对计划编制和安全校核计算收敛性和准确性影响程度的分析,并结合长期调度计划运行实际情况中各类数据值合理范围的判断,得出每类数据需要实施的校验规则集合,再由各类调度计划数据校验规则集合形成智能电网调度计划数据的校验规则库。
按照调度计划数据通用性、专属性及关联性的特点,将校验规则分成通用、单项、综合三大类。
1.1 通用校验规则
通用校验规则用于对来自外部系统的原始数据进行初始检查,集中于数据格式规范化检查和基本数据内容检查,不符合格式规范要求的原始数据将直接被丢弃。一般地,通用校验规则将被实施在外部接入的各类调度计划数据上,以保证后续进行其他更高层次的数据校验时数据源基本正确、可靠。
本文提出的数据校验系统使用文本文件作为系统间的数据存储与交换格式,并使用智能电网调度技术支持系统中标准调度设备的名称为数据识别标识。常用文本文件有电力系统E格式文件和通用的可扩展标记语言(XML)格式文件,E格式文件主要用于电力信息系统中大量数据的存储,比XML格式文件更加紧凑。
通用校验规则需进行如下校验:①检查数据文件名称是否符合规范要求;②检查数据文件内容是否符合规范要求;③检查数据文件到达时间是否已超过设定的上报时间;④检查数据文件中是否存在无法识别的设备名称;⑤检查数据文件中是否存在非本地区调度管辖的设备;⑥检查数据文件中数据是否完整,主要用于检查机组发电计划、联络线计划、母线负荷预测值个数;⑦检查数据文件中同一设备是否存在多个不同的数据记录;⑧检查上报的数据时段是否完整,在日前计划下时段数为96。
1.2 单项校验规则
单项校验规则每次只对一类调度计划数据进行校验,不涉及数据之间的关联校验。单项校验规则依据其校验对象即调度计划数据进行分类,其中联络线计划数据只有通用校验规则,无针对其自身的专属单项校验规则。单项校验规则分类如下。
1)系统负荷预测校验类:
①系统负荷预测任意两点间的差值不能大于设定值;②系统负荷预测值不能大于设定的上限值;③系统负荷预测值不能小于设定的下限值。具体各设定值可参考本地区的负荷水平。
2)母线负荷预测校验类:
①母线负荷预测值要大于0;②母线负荷预测值要小于某个设定值,具体可参考当地母线负荷水平。
3)发电计划校验类:
①除抽水蓄能机组外,其他机组的发电计划值要不小于0;②发电计划要满足机组爬(滑)坡率;③发电计划要在机组的最大、最小注册技术出力范围内;④机组的启停时间需满足最小开停机时间;⑤机组初始状态验证,即初始出力(昨日最后一点)到今日第一点计划出力间要满足爬(滑)坡率。
4)机组可调范围校验类:
①最大可调出力要小于其最大注册技术出力;②最小可调出力要大于其最小注册技术出力;③最大可调出力不小于最大注册技术出力与系数的乘积,系数默认设定为0.5。
5)设备停复役计划校验类:
①设备停复役计划时间跨度要在当前计划日期内;②同一设备不能存在多条停复役计划并且时间跨度不能存在重叠;③同一设备在同一时间段内不能同时存在停运计划和投运计划。
6)稳定断面限额校验类:
①不能存在有限额而无断面定义组成;②限额时间跨度要在当前计划日期内;③正向限额要大于0且反向限额要小于0。
1.3 综合校验规则
综合校验规则指需要涉及2类及以上的调度计划数据才能完成的校验。调度计划数据除了自身特有的属性外,往往还与其他调度计划数据之间存在多种相互关联性。综合校验规则依据电力系统的基本运行特点,多角度、深层次地挖掘数据间的内在联系,能够比较全面地检验计划数据的整体质量。由于综合校核规则涉及至少2类以上的计划数据,在缺少任一类数据时,都无法进行该项综合校验。
综合校验规则需进行如下校验。
1)检查检修计划与发电计划的矛盾性。当机组存在检修计划时,其对应时段的发电计划应不大于0;当机组计划为0时,应存在对应的检修或停机计划。
2)检查检修计划与机组可调出力范围的矛盾性。当机组存在检修计划时,其对应时段的可调出力上下限等于0;当机组可调上下限为0时,其要存在对应的检修或停机计划。
3)检查发电计划值是否在其上报的机组可调范围内。
4)检查本地区母线负荷预测的总和是否小于系统负荷预测值,并且其偏差值不能超过设定系数(默认为15%)。
5)检查是否满足发受(送)用功率平衡校验规则(发电总和与联络线计划之和等于系统负荷)。
6)检查系统负荷、厂用电、母线负荷总和三者之差是否小于系统负荷的5%,5%为可设系数。
2 系统总体架构
数据校验应用的开发基于智能电网调度技术支持系统一体化支撑平台,使用远程服务调用技术实现跨系统的数据查看,使用消息总线与本系统外部应用进行通信,使用消息总线、服务总线双总线模式完成内部功能间的交互。模块的开发采用面向服务的体系结构(SOA)组件模型,模块间通过服务定义的方式进行联系,保证了模块间的松耦合。系统总体结构设计如图1所示。
调度计划数据通过数据交换系统的数据上报模块发送到上级调度,上级调度的数据接收模块接收到数据后发送给本地的数据校验应用。数据校验系统完成数据的预处理、数据校验、日志记录和数据入库,通过数据校验并保存入库的调度计划数据再由数据交换系统的上报模块上报给更上一级调度,数据上报侧通过日志远程查询模块查看数据在上级调度的数据校验系统中生成的校验日志结果。
3 功能模块的实现
数据校验应用在功能组成上包括规则库管理、数据监视、数据校验、数据入库、日志记录与质量分析。各模块之间的数据流程如图2所示。
图2中,初始数据文件到达文件监视目录,数据监视进程对初始数据文件进行预处理生成规范化数据格式并发送给数据校验模块。数据校验模块接收到待校验数据后,加载校验规则配置信息并启动校验引擎进行校验。通过校验规则的数据发送给数据入库模块进行入库保存。对未通过校验规则的数据由日志模块记录其详细校验信息。数据质量统计分析模块获取数据校验信息形成统计分析结果。
3.1 规则库管理
规则库管理用于对校验规则的添加、删除和配置,校验规则可以指定生(失)效时间、生(失)效区域,并可以根据实际情况设置相关参数值。校验规则具备优先级,对数据进行校验时,按照其对应的校验规则的优先级顺序进行校验。采用正常、告警、错误3个处理级别来标识某条校验规则是否具有强制性,当校验规则的处理级别设置为错误级别,待校验数据无法通过该校验规则时将会被丢弃;否则,数据正常入库并记录下日志信息和通过的状态。一套配置好的校验规则应用集合形成一个数据校验方案,可以保存多个方案并根据不同的应用需求启用某个已保存的方案为当前使用方案。
3.2 数据监视
数据监视采用实时扫描的方式监视数据接入文件目录,当发现数据文件到达时,读入数据文件并对数据进行必要的预处理。预处理完成后的数据文件被放到指定的待校验文件目录,同时发送数据到达消息给数据校验模块。
3.3 数据校验
数据校验接收到数据监视发来的数据到达消息后,根据到达的数据类型加载对应的校验规则信息,之后读取待校验数据并启动数据校验引擎开始数据校验。数据校验引擎是整个数据校验应用的核心功能,它首先根据待实施的规则准备好相关数据,然后依据规则信息进行校验,并根据校验结果采用不同的处理方式:调用数据入库功能完成数据的保存,调用日志功能完成日志信息的记录。对多条校验规则按优先级顺序进行校验时,如果优先级高的校验规则没有通过校验并且此校验规则的处理级别为错误,那么校验引擎将退出校验流程,不会对比该优先级低的校验规则进行校验。校验引擎支持校验规则的动态加载,如果发现校验规则配置发生变化后,在下次校验流程中自动读取新的校验规则配置信息。
3.4 日志记录
日志详细记录了在各类数据上实施的校验规则的结果情况,通过日志信息可以快速定位问题。日志信息也可以通过远程服务的方式被下级调度查看,以便及时了解上报数据的质量情况并更正错误,重新上报。
3.5 数据质量分析
基于数据的校验日志信息,数据质量分析模块采用数据挖掘的手段,从不同角度、不同维度统计分析一段周期内的数据质量情况,统计内容包括不同区域上报数据通过的规则数、天数、通过率等,并以曲线图、柱状图、饼图、列表等多种图表方式列出统计结果,直观地展示数据质量的变化趋势,在数据质量的结果中能够直接定位数据错误的详细日志。
4 结语
数据校验是智能电网调度计划一体化协调运作模式下的一种重要数据预防机制,设计合理的数据校验库可以有效地排除坏数据、定位错误,保证计划数据的质量。
本文介绍的数据校验应用已在智能电网调度技术支持系统华东试点工程中投入运行,通过该系统能够及时发现数据异常并定位问题的原因,保证了数据质量,提高了工作效率。实际运行结果表明,通过校验后的数据,相比于原始数据能够显著提高安全校核和计划编制的计算准确率和收敛速度,其中安全校核的计算准确率平均提高了8%左右。
智能电网调度计划涉及的输入数据非常多,除上述几类计划数据外,还包括电网模型、网络拓扑、初始潮流断面以及机组发电成本、污染物排放、火电机组启停磨、水电机组振动区等,如何形成一个规则数量合理、校验效率高、校验速度快的具有最小完备集的校验规则库还需进一步深入研究。
参考文献
[1]张智刚,夏清.智能电网调度发电计划体系架构及关键技术[J].电网技术,2009,33(20):1-8.ZHANG Zhigang,XIA Qing.Architecture and key technologiesfor generating scheduling of smart grid[J].Power SystemTechnology,2009,33(20):1-8.
[2]张伯明,孙宏斌,吴文传,等.智能电网控制中心技术的未来发展[J].电力系统自动化,2009,33(17):21-28.ZHANG Boming,SUN Hongbin,WU Wenchuan,et al.Futuredevelopment of control center technologies for smart grid[J].Automation of Electric Power Systems,2009,33(17):21-28.
[3]姚建国,严胜,杨胜春,等.中国特色智能调度的实践与展望[J].电力系统自动化,2009,33(17):16-19.YAO Jianguo,YAN Sheng,YANG Shengchun,et al.Practiceand prospects of intelligent dispatch with Chinese characteristics[J].Automation of Electric Power Systems,2009,33(17):16-19.
[4]马韬韬,郭创新,曹一家,等.电网智能调度自动化系统研究现状及发展趋势[J].电力系统自动化,2010,34(9):7-11.MA Taotao,GUO Chuangxin,CAO Yijia,et al.Current statusand development trend of intelligent dispatching automationsystem of power system[J].Automation of Electric PowerSystems,2010,34(9):7-11.
[5]肖峻,史常凯,罗凤章,等.基于规则的配电地理信息系统导出数据校验与修复[J].电力系统自动化,2007,31(10):76-81.XIAO Jun,SHI Changkai,LUO Fengzhang,et al.Rule-basedverification and correction methods for exported data fromdistribution GIS[J].Automation of Electric Power Systems,2007,31(10):76-81.
[6]黎灿兵,刘晓光,赵宏俊,等.中压配电网不良负载数据分析与处理方法[J].电力系统自动化,2008,32(20):97-100.LI Canbing,LIU Xiaoguang,ZHAO Hongjun,et al.Analysisand processing methods of bad load data in medium-voltagedistribution network[J].Automation of Electric PowerSystems,2008,32(20):97-100.
[7]汪胜和,黄太贵,王正风.基于模式识别的电能量数据辨识和校正[J].电力系统自动化,2009,33(4):100-103.WANG Shenghe,HUANG Taigui,WANG Zhengfeng.Identification and correction for electric metering data based onpattern recognition[J].Automation of Electric Power Systems,2009,33(4):100-103.
[8]叶锋,何桦,顾全,等.EMS中负荷预测不良数据的辨识与修正[J].电力系统自动化,2006,30(15):85-88.YE Feng,HE Hua,GU Quan,et al.Bad data identificationand correction for load forecasting data in energy managementsystem[J].Automation of Electric Power Systems,2006,30(15):85-88.
[9]丁恰,李鹏,杨胜春.EMS日计划安全校核功能设计[J].电力系统自动化,2007,31(增刊):111-113.DING Qia,LI Peng,YANG Shengchun.Design of securitychecking for diary generation scheduling in energy managementsystem[J].Automation of Electric Power Systems,2007,31(Supplement):111-113.
数据调度机制 篇4
数据库是存储在一起的相关数据的集合，并且使其结构化并且系统化，为多方面的应用进行服务，其中相关的数据信息独立的存储于使用它的程序。
电网调度自动化系统，是利用信息的采集以及命令的执行来对发电厂以及变电站之中的我运动终端进行有效的控制盒管理，而数据库系统在电网调度的自动化当中，有着极为重要的应用和发挥，根据对数据库当中的数据进行收集和处理，进而达到对电网系统的控制效果。
2 电网调度自动化系统对于数据库的特殊要求
由于电网调度自动化系统的相关特点，其对于数据库技术也有着特殊的要求。
在其中的诸多方面当中，最为突出的就是数据的快速访问以及数据的可恢复性这两点。
数据快速访问实质上指的是从用户向数据库的管理系统发出相关的存取数据的请求直到相应存取操作完成，这当中所需要消耗的时间应该尽可能的短。
这其中的时间称之为数据库的响应时间。
在电网调度自动化系统之中，根据其相关的特点，实时数据库的响应时间应该控制在1.5毫秒之下，而为了达到这个要求，最为重要的一点就是需要提升数据库管理系统的响应速度，通过完善数据库的相关设计，来达到缩短以及减少存取路径的效果。
一般的用于事务处理的数据库系统其响应时间大概在1秒左右，所以电网的监控系统数据库响应速度比其快一千倍之多。
数据库的可恢复性，是指计算机系统或者是数据库的系统在发生相关的故障之后，能够快速的恢复到故障发生之前的状态。
而根据电网实时监控系统的相关要求来看，需要计算机数据库系统在出现单一故障的时候，能够在一个数据更新周期的时间之内，迅速的恢复系统的相关数据，恢复到正常的工作状态当中。
为了更进一步的保障数据库的可恢复性，一般是采用两台主计算机同时运行的方式，一台作为主要的运行机器，而另外一台则是作为备用机器。
Linux实时调度机制研究 篇5
关键词：实时操作系统,进程,实时调度,多处理器
1 引言
Linux本身为分时操作系统,其系统目标为较好的平均响应时间和较高的吞吐量,而实时系统则主要考虑任务的按时完成、尽量减少进程运行的不可预测性等。但与商业嵌入式操作系统相比Linux遵循G P L,具有源代码开放、定制方便、支持广泛的计算机硬件等优点,所以,近年来嵌入式Linux成为嵌入式系统方向上的一个研究热点。本文重点是学习和分析Linux应用的调度算法涉及到的技术临界。同时,也给出多种策略,这些策略只应用在Linux中,并获得了很有效的实时调度机制。
2 调度
调度者是内核的一部分,而内核是决定哪个运行的CPU将要执行的进程。调度者对运行的进程有一定有责任,管理进程对系统资源的使用。例如,每个候选进程能公平地获得处理时间,使得CPU最有效地使用。调度者必须保证进程能获得CPU资源,也就是以它们优先级分配的时间,以确保任何进程不合没有获得CPU而饥渴,不管是否是最底优先级的任务也是可以获得的。
当一个进程必须等待,经常是因为需要一些系统资源或者进程间同步,它也许选择自动放弃它对微处理器的使用权。相同的是,调度者也可以提前取消一个线程或一个进程在它分配的时间用完后。调度者选择哪个进程最适合下一个运行。
在内核中,调度者可以在几个地方运行。它可以在当前运行进程被置入等待状态后运行,或者是在一个系统的调用后运行,正好在一个进程从进程模式到系统模式之前。它为什么可能需要被运行的一个原因是系统时钟已经把当前运行的进程的计数器设置为零。
3 机制
全部的进程一部分运行在用户模式和一部分运行在系统模式。既然这些模式是怎样在潜在的硬件差别,但又存在一个安全机制来使得从用户模式到系统模式的转化。用户模式与系统模式相比较拥有相对低的权限。每次进程做一个系统调用,将会从用户模式到系统模式的转换,然后执行。在这一点上,内核是的执行是有利于进程的。在Linux中,进程不会抢占当前执行的进程,它们不能停止它的运行,而使自己运行。当进程不得不等待一些系统事件的时候,它全放弃C P U即使它正在运行。例如,一个进程等待一个字节从文件中读取。这些等待发生在系统调用,也就是系统模式下。进程用库函数打开和读文件,同时也使得系统调用从打开的文件中读字节。在这种情况下,等待的进程将被挂起,另一些进程将会被选择执行。
进程总是做系统调用,还有可能经常要等待。尽管如此,如果一个进程从执行到等待,然而它依然可能用到一个不成比例的CPU时间,所以Linux使用抢占式调度。在这些安排中,每个进程只能运行一个非常可的时间,200ms,当这些时间用完的时候其它进程被选入运行,初始的进程被设也等待状态直到它重新获得CPU时间。这个很小的时间被称做时间片。
一个可运行的进程是一个只需CPU来运行的进程。Linux系统用一个基于调度算法的简单的优先级在系统中选择当前进程。当它已经选择了一个新进程来运行,它会保存当前进程的状态。特殊寄存器和其它内容将会被保存在task_struct结构的进程中。
4 Linux系统的调度策略
Linux系统用简单的基于调度算法的优先级来选择系统中的当前进程。在Linux中有两种类型的进程:一般的和实时的。实时的进程总会运行在一般的进程前,它们可能有两种不同的策略:环行或者FIFO。因为Linux用的是抢占式的调度,每个进程分配了固定的时间片来运行。
Linux的调度策略建立在传统的Unix调度策略上的。在实时调度中,Linux有两种额外的调度级别,这三种调度级别是:
(1)S C H E D_F I F O:先进先出实时线程
(2)S C H E D_R R:环型实时线程
(3)S C H E D_O T H E R S:其它的非实时线程
任务运行在高级别用户权限时能设立S C H E D_R R、S C H E D_F I F O、S C H E D_O T H E R S策略。任务没有高级用户权限时只能用默认的S C H E D_O T H E R S策略。
两个实时策略S C H E D_R R和SCHED_FIFO中,优先级级设为从1到99的数字之间,在标准策略S C H E D_O T H E R S中,优先级必须是0。当一个进程拥有一个静态的高优先级的要运行时,它会抢占任何其它的静态运行级别比它低的运行中的进程。当高优先级的进程被阻截,挂起或终止时,与它相同优先级的进程将被运行。如果没有相同级别的准备运行的进程,Linux将给CPU予低一级的进程。这样,一般的S C H E D_O T H E R S进程将运行,如果非实时进程准备就绪运行。新进程从父进程中继承优先级。
当有多于一个的一般优先级进程等待执行时,执行顺序将会以动态优先级来管理。动态优先级不是以非零静态优先级来定的。一般级别进程的动态优先级是自动增长的,无论一个进程是等待运行但还是要等待其它进程。当调度者选项中一个进程运行,它将选择高优先级的等待进程。如果这有多于一个的相同高优先级的进程的时候,它将会选择那个等待较长时间的进程。动态优先级从20到—20,不像静态优先级,最小是的将拥有高优先级别。任务的默认的优先级是0但又是-20时,优先级最高。只有管理员才能重置一个进程的优先级少于0,但一般用户能调整优先级在正数范围。
SCHED_FIFO只能用在静态优先级高于0中,那个意味着SCHED_FIFO进程变得可运行,它将总是抢占任何运行的一般S C H E D_O T H E R S进程。SCHED_FIFO是一个简单的没有时间片的调度算法。一个SCHED_FIFO进程将会被比它高优先级的进程抢占,并放入与它相同优先级别的进程队列头中,直到比它高的优先级的进程全部执行完后执行。当一个SCHED_FIFO进程是可执行的时候,它被插入到与它相同级别进程队列的末尾。S c h e d_s e t c h e d u l e r或者s c h e d_s e t p a r a m的一个调用将把SCHED_FIFO进程被PID标识到队列的末尾,如果它以前是可运行的。调用sched_yield进程将被放入到队列的末尾。在一个拥有相同静态调度策略的可运行进程队列中,没有其它事件将把一个进程调度到S C H E D_F I F O策略的下面。一个S C H E D_F I F O进程一直运行,直到它被I/O请求阻塞,一个比它更高级的优先级进程抢占它或者它调用了sched_yield。S C H E D_F I F O进程会遵守以下规则:
系统将不会被中断直到以下进程式被调用:
其它的拥有高优先级的FIFO进程就绪。
执行中的FIFO进程被阻塞等待一个事件,如I/O。
执行中的FIFO进程自动的放弃CPU随着一个原始的sched_yield调用。
当一个执行中的进程被中断并放入一个与它相同优先级的队列中。
当一个FIFO进程有个高优先级的当前运行进程,F I F O进程抢占当前进程。如果不止一个线程高于此优先级,等待最长的将被关闭。
S C H E D_R R是一个加强了S C H E D_F I F O。每个被描述为SCHED_FIFO也同样适用于SCHED_RR,除非每个进程只能运行在最大的时间量上。如果S C H E D_R R进程被运行了大于或等于最大时间量的时候,它将会被放入到与它相同优先级的队列中去。一个SCHED_RR进程将被高于它的优先级的进程抢占同时被设置成可运行进程,它将完成还没有用完的时间片。时间片的长度可以通过sched_rr_get_interval来设定。因为SCHED_FIFO和SCHED_RR进程能抢占其它进程,只有在根进程被允许在Linux下激活这些策略。
SCHED_OTHERS是一个默认的全局时间共享调度策略被用于大部分进程。SCHED_RR和SCHED_FIFO被用在时间临界应用中,那些需要精确的时间控制在可运行进程被选入执行的方法中。SCHED_OTHERS是一个标准的Linux时间共享调度者,它被设为不需要精确静态优先级的实时机制中的全部进程。
Linux系统的调度算法应用在schedule()函数中(kernel/sche.c)。它将在不同的两点中被调用。首先,那些调用schedule()函数的系统的调用。其次,在每个系统调用和每个低的中断后,标志need_resched将被ret_form_sys_call程序修改。如果它被设置,调度者将在这被调用。因为至少时间中断将被正常调用和设置need_resched标志,调度被正常的激活是必要的。
从静态优先级0队列中选择要运行的进程,这些队列是基于动态优先级的,并由它们的队列内部决定的。动态优先级基于好的级别和被增加于每个进程就绪的时间环,但可以被调用者选择。这就确保了在S C H E D_O T H E R S进程有好的发展。一个被阻塞的高优先级的等待I/O中断的进程有一定的反映时间在它被调用之前。
调度函数包括了三个部分。第一是,这些规则必需在开始时调用。第二是,拥有高优先级的进程被选择。第三是,新的进程变成当前进程,调度者完了它的任务。
下表总结了Linux调度进程。
5 Linux多处理器中的调度
在Linux的世界中拥有多CPU的系统是相当少的,但是很多工作已经使得Linux成为多CPU的操作系统了。那就是拥有在多CPU中平衡任务的系统。没有什么地方这些任务的平衡在调度者中比这更明显了。
在多CPU系统中,全部的处理器是超载运行的。当进程时间片用完的时候,每个处理器单独运行调度者,或者是等待系统的资源。所要知道的首要关于SMP系统的事情是这不是只有一个空闲的处理器,在单处理器中,空闲的处理器是在任务向量表中的第一个任务,而在SMP系统中,每个CPU有着空闲的进程,一个空闲进程可有多个空闲CPU。此外,每个CPU有一个运行进程,所以SMP系统中必需保持对运行的和空闲的进程进行跟踪。
在一个SMP系统中,每个进程的任务结构保存处理器的数量,它所运行的CPU中和它的处理器数量。这就是为什么进程不应当运行在不同的CPU,每次它被选择运行,但Linux能保证一个进程在一个或多个处理器中。如果位N被设置,进程就可以在处理器N上运行。当调度者被选到一个新的进程中运行时,它将不能考虑它是否有合适的位给当前处理器。调度者也给那些最后运行的进程一定的条件,因为这涉及到性能当把一个进程移到另一个处理器中。
6 总结
数据调度机制 篇6
电力调度交换网是电网专用通信网络之一,作为电力调度的重要支撑系统,调度交换网为电网运行的组织、指挥、指导和协调提供技术保障。随着电网规模不断扩大、结构日趋复杂,电网运行的压力不断增加,电力通信网络也面临着“更可靠、更高效、更智能”的应用需求。为了更好地服务于电力调度,调度交换网需要不断完善。
软交换是下一代网络(NGN,Next Generation Network)的核心技术,其指导思想是呼叫控制与媒体传输承载相分离,通过软件实现基本呼叫控制功能。
软交换主要提供连接控制、翻译和选路、网关管理、呼叫控制、带宽管理、信令、安全性和呼叫详细记录等功能。运用软交换技术可以灵活便捷地实现网络的覆盖,同时能提供多媒体增值业务。近年来软交换技术获得了广泛应用。
贵州电力调度交换网紧跟新技术发展趋势,实施网络改造完善调度语音服务,在加固原有电路交换网架结构的同时引入软交换技术,利用已建成的调度数据网搭建冗余的调度交换网络。
1 现状分析
1.1 调度交换组网现状
贵州电力调度交换网经过多年建设,覆盖了贵州中调调度范围内的地调、电厂和220 kV及以上变电站,约120个站点。改造前调度交换网是单核心星形结构,贵州中调配置一套核心调度交换机,地调、500 kV变电站通过2 M通道星形汇接至中调。电厂、220 kV变电站通过二线、四线、环路等64 k通道接入中调。
随着应用需求的不断提高,现有调度交换网络的不足日益凸显,主要表现为以下几方面。
1)单交换核心:单核心不满足N-1要求,容灾性差,一旦核心交换机故障将造成整个网络崩溃。同时核心设备的容量已接近满配置,系统扩容困难。
2)不能灵活组网:采用点对点的联网方式,新建厂站要接入调度交换网受到传输设备和通道资源的限制。
3)带宽局限:多数厂站通过64 k通道接入调度交换网,带宽受到严重局限,不能提供多媒体业务。
4)依赖PCM设备:模拟通道容易产生串音、干扰等固有缺陷,造成通话质量难以得到保证,且随着PCM设备的逐渐退出运行,提供调度语音业务必须另辟蹊径。
1.2 调度数据网建设现状
贵州电力调度数据网是用路由器组建的大型广域网络,2009年建成投运,覆盖贵州中调、地调、220 kV及以上变电站、电厂。
调度数据网主要基于IP-over-SDH技术组网,分为骨干层、汇聚层、接入层。骨干层间带宽≧155 Mbit/s,汇聚层至骨干层带宽≧8×2 Mbit/s,接入层至汇聚层带宽≧2 Mbit/s。骨干节点选择中调、枢纽500 kV变,汇聚节点选择地调、500 kV变,其余站点为接入节点。除中调配置2台路由器外,其余骨干节点和汇聚节点均配置一台路由器。
骨干节点间成网状互联,汇聚节点至骨干节点配置一台直联路由器和一台迂回路由器,接入节点配置2台路由器,分别接入2个汇聚节点。
调度数据网依据“安全分区、网络专用、横向隔离、纵向认证”的技术原则组建,广域网组网采用多协议标签交换(MPLS,Multi-Protocol Label Switching)及虚拟专用网络(VPN,Virtual Private Network)技术实现。主要承载生产控制大区业务,按照安全等级分为控制区(安全区Ⅰ) VPN和非控制区(安全区Ⅱ)VPN。网络支持QoS,可确保网络拥塞时重要业务优先传送。
按照《电力二次系统安全防护规定》和《南方电网电力二次系统安全防护技术实施规范》等规范要求,生产控制大区业务应通过二次安全防护系统接入调度数据网。
2010年,贵州电力调度数据网实现了二次安全防护系统覆盖,二次安全防护系统在调度数据网各节点部署了控制区纵向互联交换机、非控制区纵向互联交换机、纵向互联硬件防火墙、横向互联硬件防火墙和纵向加密认证装置等设备,实现了业务的有效逻辑隔离和有条件跨VPN互通。其中,中调、地调、500 kV变电站、电厂的二次安防系统设备采取冗余配置,220 kV变电站的二次安防系统设备采取单配置。同一VPN内的不同业务通过划分不同VLAN来实现逻辑隔离。目前贵州电力调度数据网通过二次安防系统已成功承载了调度EMS、电能计量等生产控制大区业务。
贵州电力调度数据网和二次安全防护系统的建成为调度交换冗余网络提供了IP传送平台。
2 改造方案
2.1 总体方案
贵州调度交换网一方面对原有电路交换网络进行改造,将核心节点的一台调度交换机改造为2台Harris 2020交换机,将500 kV鸭溪变等6个枢纽500 kV变电站设置为主网汇接点,通过2条E1通道分别接入2台核心交换机,其余配置交换机的站点增加一条到主网汇接点的E1通道,形成分层汇接的网络结构;另一方面引入软交换技术,建设G2S软交换系统,并通过二次安防系统接入调度数据网,向各变电站、电厂提供IP调度电话。2台核心交换机配置内置中继网关(SIPU),实现与软交换系统的互联。总体改造方案如图1所示。
2.2 软交换主站接入方案
在主站,软交换核心服务器1+1冗余热备,全网IP网元设备受双服务器控制,能实现故障无缝切换,提高软交换网络的安全性。调度语音业务按照《南方电网通信网络生产应用接口技术规范》应接入非控制区VPN。软交换主站与二次安防系统非控制区交换机联接的防火墙应采用冗余配置。软交换主站接入方案如图2所示(图中省略了二次安防系统控制区相关设备和其他接入调度数据网的业务)。
2.3 站端接入方案
在站端,从非控制区交换机网络接口直接连接IP话机。IP电话主要覆盖220 kV及以上变电站、电厂。站端接入方案如图3所示。
2.4 IP地址规划
软交换系统采用静态IP地址,方便对设备进行管理和故障定位。
2.4.1 主站地址规划
2台G2S软交换系统核心服务器为达到冗余,需要5个IP地址,其余设备分别需要1个IP地址,每路电话一个IP地址,并考虑一定扩展空间,主站应分配32个IP地址。
2.4.2 变电站/电厂地址规划
变电站/电厂至少布放2部IP电话,并考虑一定扩展空间,应分配8个IP地址。
2.5 带宽需求分析
采用语音质量更好的G.711编码格式,每路语音的带宽在100 kbit/s以内。
视频格式基于H.264,带宽最大不超过400 kbit/s,加上其他应用,一路IP电话带宽在512 kbit/s以内。核心服务器需要处理并发呼叫,考虑带宽100 Mbit/s。
3 基于调度数据网的软交换系统的优势
3.1 多级冗余
调度交换网络从网络层面到话路层面实现了多级冗余,可以满足N-1要求。
3.1.1 网络冗余
软交换和电路交换形成了既互相联接又相对独立的2个平面,实现了网络层面的冗余。
3.1.2 核心设备冗余
软交换网采用双核心,当其中一台核心服务器不可用时,所有的IP电话可无缝切换到另一台核心服务器上,从而实现核心设备的冗余。
3.1.3 路由冗余
基于调度数据网,每个节点上都至少配置有一台直联路由器和一台迂回路由器,实现了路由的冗余。
3.1.4 话路冗余
各厂站都可使用模拟电话和IP电话,同时与中调调度通话,IP电话数量也可以根据使用需要灵活配置,实现了话路的冗余。
3.2 网络专用,业务安全
构建在调度数据网基础上的软交换系统首先在物理层面上实现了与电力企业其他数据网及外部公共信息网的安全隔离。软交换系统作为业务接入生产控制大区的非控制区(安全区Ⅱ),安全区之间采用防火墙实现逻辑隔离。处于同一安全区内的业务之间也划分了不同VLAN,进行逻辑隔离。可见软交换业务通过多重保护,具有很高的安全性。
3.3 QoS保障
由于调度数据网采用MPLS/VPN技术进行广域组网,并采用DifferServ技术保障业务的QoS。IP电话业务对抖动和延时要求较高,可通过配置较高优先级来实现QoS。
3.4 灵活覆盖新站点
在调度数据网覆盖的站点,只需在软交换核心服务器和调度数据网进行必要的数据配置,在站端联接IP话机,就能方便地接入调度软交换网络,从而实现新站点的迅速覆盖。如果系统需要扩容,也只需对核心设备进行扩容,并相应增加IP地址段即可。
3.5 灵活建立异地备调系统
由于软交换系统接入调度数据网的便捷性,可以在调度数据网覆盖的异地站点灵活部署软交换备用主站,实现异地备调的快速建立。利用双归属的技术优势,在主调核心层服务器1+1冗余热备的基础上,异地再设置一套软交换服务器,所有的网元设备都能够同时注册到2套软交换服务器中,当主调调度中心不可用时,备调调度中心能迅速投入调度指挥。
3.6 方便实现多媒体调度
只需设置相应硬件设备,软交换系统即可方便地提供视频调度、视频会议、同步浏览、电子白板、文件传输等多媒体调度功能。
4 结语
贵州调度软交换系统的建成为省级电力调度交换网引入软交换技术提供了成功案例,为调度交换网络向全软交换演进奠定了良好的基础。今后贵州调度交换网还应当深入研究挖掘软交换技术的特色应用,为电力调度提供更可靠、智能、便捷的服务。
摘要：为更好地服务于电力调度,调度交换网需要不断优化网络结构、提高网络可靠性。分析了贵州电力调度交换网络存在的问题,讨论在已建成调度数据网络和二次安全防护系统的前提下,利用软交换技术组建冗余调度交换网络的可行性,给出了软交换系统组网方案,指出主站端和用户端的接入方式,以及IP地址和带宽的规划要求。方案的成功实施,证明了通过调度数据网络和二次安全防护系统能够承载软交换调度语音系统,且调度交换网的发展方向是全软交换。
数据调度机制 篇7
MapReduce是Google开发的一种简洁抽象的分布式计算模型,其目标是使那些没有多少并行编程经验的程序员能够尽可能快地开发并行应用。在MapReduce框架中,每一次计算请求,被称为作业。在分布式计算Map/Reduce框架中,为了完成这个作业,它进行两步走的战略,首先是将其拆分成若干个Map任务,分配到不同的机器上去执行,每一个Map任务拿输入文件的一部分作为自己的输入,经过一些计算,生成某种格式的中间文件,这种格式必须与最终所需的文件格式完全一致,但是仅仅包含一部分数据。等到所有Map任务完成后,它会进入下一个步骤,用以合并这些中间文件获得最后的输出文件。此时,系统会生成若干个Reduce任务,同样也是分配到不同的机器去执行,它的目标就是将若干个Map任务生成的中间文件汇总到最后的输出文件中去。经过如上步骤,所需的目标文件生成。整个算法的关键,就在于增加了一个中间文件生成的流程,大大提高了灵活性,使其分布式扩展性得到了保证。
1. 基本框架
与分布式文件系统类似,Map/Reduce的集群同样由三类服务器构成。其中作业服务器负责管理运行在此框架下所有作业。与HDFS的主控服务器类似,它也是作为单点存在,从而简化了负责的同步流程。具体的负责执行用户定义操作的是任务服务器,每一个作业被拆分成很多的任务,包括Map任务和Reduce任务等,任务是具体执行的基本单元,它们都需要分配到合适任务服务器上去执行,任务服务器一边执行一边向作业服务器汇报各个任务的状态,以此来帮助作业服务器了解作业执行的整体情况,分配新的任务等。
除了作业的管理者执行者,还需要有一个任务的提交者,这就是客户端。与分布式文件系统一样,客户端也不是一个单独的进程,而是一组API,用户需要自定义好自己需要的内容,经由客户端相关的代码,将作业及其相关内容和配置,提交到作业服务器去,并时刻监控执行的状况。
与HDFS的通信机制相同,Map/Reduce也是用了协议接口来进行服务器间的交流。实现者作为RPC服务器,调用者经由RPC的代理进行调用,如此,完成大部分的通信,具体服务器的架构,和其中运行的各个协议状况,参见上图。
从图中可以看到,与HDFS相比,相关的协议减少,客户端与任务服务器,任务服务器之间,都不再有直接通信关系。这并不意味着客户端就不需要了解具体任务的执行状况,也不意味着任务服务器之间不需要了解别家任务执行的情形,而是由于整个集群各机器的联系比HDFS复杂得多,直接通信难以维系,所以都统一由作业服务器整理转发。
2. MapReduce编程模型调度机制
(1) master选择空闲的worker,然后分配给他们每个一个map任务或者一个reduce任务。
(2) map阶段:map worker从输入数据中解析key/value对,传给用户定义的Map函数产生中间key/value对,然后将中间key/value对写入本地磁盘并将其散布在由分割函数指定的R个区域中,最后将这些缓存对在局部磁盘的具体位置传回给master。
(3) reduce阶段:reduce worker先从master得到中间key/value对在map worker局部磁盘上的位置信息,并使用远程过程调用从map worker的局部磁盘中读取数据。读取完所有数据之后,reduceworker按照中间key进行排序,reduce worker遍历排好序的中间数据,将把key和与它对应的中间value传给用户提供的Reduce函数,最后将Reduce函数的输出写到与这个reduce对应的最终输出文件中。
(4)当所有的map和reduce任务被完成之后,master唤醒用户程序,MapReduce调用返回到用户代码。
3. MapReduce采用的容错机制
MapReduce模型具有很强的容错性,当worker节点出现错误时,只需要将该worker节点屏蔽在系统外等待修复,并将该worker上执行的程序迁移到其他worker上重新执行,同时将该迁移信息通过Master发送给需要该节点处理结果的节点。MapReduce使用检查点的方式来处理Master出错失败的问题,当Master出现错误时,可以根据最近的一个检查点重新选择一个节点作为Master并由此检查点位置继续运行。
Master周期性的ping各个worker,检测worker的状态。当一段时间之后没有响应,master将认为worker已经出现故障。在该worker上正在处理的map或reduce任务将被设置为空闲状态,以便重新调度。完成的map任务需要重新执行,那是因为它们的输出是存储在出现故障机器上的本地磁盘,而导致不可访问。完成的reduce任务输出结果是存储在全局文件系统而不存在这个问题。
4. 结束语
无线传感器网络调度机制研究 篇8
1 系统概述
无线传感器网络包括终端节点、路由节点和基站组成。这些节点通过路由协议组成一颗树型结构,如图1所示为一种典型的无线传感器网络拓扑结构图。终端节点为树的叶子节点,负责感知环境信息,选择路由节点作为父节点。路由节点组成通信网络,即树的枝干,负责将终端节点采集的数据经过多跳转发到基站。基站是树的根,所有的感知数据都在基站汇聚和融合。
在B-MAC协议中,所有节点通过周期性的休眠机制来降低能耗,假定节点的休眠周期为T(B-MAC提供多种模式来调节T的大小),即节点以时间T为周期醒来监听信道。发送节点在发送数据前,先发送前导码,其前导码的发送时间必须>T。这样可以确保数据的发送将会被所有的邻居节点所监听到并接收。这种机制没有考虑无线传感器网络节点的不同角色,对于终端节点其周期性监听机制造成了大量不必要的能量浪费。该文让不同角色的节点选择不同的调度机制:路由节点沿用B-MAC默认的调度机制,而终端节点采用一种改进的调度机制。
2 调度机制
在没有时间同步与协商的情况下,路由节点不能预知什么时候需要接收来自孩子节点的数据包。在B-MAC协议中,为了确定数据能被接收,路由节点必须监听与接收每个邻居发来的包。B-MAC的模式4被选为路由节点的调度,该模式是B-MAC的最佳工作模式。路由节点每隔100毫秒醒来,监听信道,如果有数据需要接收,则接收数据,否则进入睡眠,在下一个100毫秒醒来。发送节点需要在发送数据之前,发送长度至少为100毫秒的前导码,这样可以确保所有的邻居都可以醒来同步接收该数据包。
终端节点不需要转发数据,把自己采集的数据发送给路由节点即可,终端节点周期性采样与发包,因此终端节点能预测自己什么时候需要发送数据。在基于B-MAC协议上,我们为终端节点提出了一种简单调度机制。该机制在支持数据包发送与睡眠调度之外,还必须接收配置参数信息。每个节点有两种状态:睡眠状态与活动状态。当终端节点需要与其路由节点通信,那么它进入活动状态。由于在B-MAC中要求通信双方必须使用同一模式,所以终端节点在活动状态使用B-MAC模式4。终端节点在确定的周期醒来感知环境,然后将数据包发送给它的路由节点。在发送数据包时,它将自己的配置参数版本号附带在数据包中,当路由节点接收到数据包时,检查版本号,如果与自己的版本号一致,则回复ACK标识为0;否则回复ACK标识为1,路由节点立即发送新版本的配置参数给终端节点。终端节点发送数据后,等待ACK:1)如果收到ACK且标识为0,则节点进入睡眠状态;2)如果ACK标志为1,则等待接收新的配置信息,如果成功接收新的配置信息,则回复ACK并进入睡眠;3)超时没有收到ACK则重传,如果重传次数超过一定阈值,则进行路由维护,选择新的父节点。
3 能耗分析
下面我们对改进的调度机制与B-MAC的模式4之间的能耗进行分析。忽略参数更新与控制包交换所消耗的能量,终端节点的能量消耗主要由发送数据包(Etr)、感知环境(Es)、接收数据包(Erx)、空闲监听(Elisten)、与睡眠(Esleep)这几部分的能耗组成,总的能耗用E表示,如式(1)所示。
其中n是邻居节点个数;T是采样间隔,假定采用周期为5分钟,则T=5*60=300秒;V为电压;Nlisten是在时间T内总的监听次数;Ilisten为监听时的电流;tlisten为一次监听持续的时间;Tlisten是在时间T内总的监听时间;Tsleep是在时间T内总的睡眠时间;Isleep为睡眠时的电流。对应的各参数的取值请参考表1与表2,这些参数的值引用于文献[1],Ilisten与tlisten为我们在实验中的所获得的值[6]。
在B-MAC的模式4中,节点每隔0.1秒监听一次信道,监听持续的时间为tlisten=0.01秒。在5分钟内,总的监听次数为Nlisten=5*60/(0.1+0.01)=2,727,总的监听时间为Tlisten=27.27秒,所以监听的能耗为Elisten=163.6m J。在B-MAC中,节点将监听并接收所有邻居发送的数据包。假定节点平均有n个邻居,在时间T内,每个邻居发送一个包,则该节点在T内接收到n个包,当n=3时,接收数据消耗的能量为n Erx=17.24m J。睡眠的时间可以计算得Tsleep=271.12秒,耗能为Esleep=24.40m J,所以总的能耗为E=278.92m J。可见在模式4中,监听信道和接收数据的能耗分别占总能耗的58.6%与6.2%。
如果使用改进的调度机制,终端节点不需要接收数据包也不需要监听信道。所以终端节点的能耗由环境感知(Es)、数据发送(Etx)、睡眠(Esleep)三部分的能耗组成。可以计算得Tsleep=298.873秒,Esleep=26.898m J,总的能耗为E=100.5613m J。当采样周期为5分钟,在终端节点中,该文改进的调度机制比B-MAC的模式4要节省65%的能耗。
4 结论
Tiny OS中B-MAC协议的调度机制没有考虑不同角色传感器节点的差异,其周期性监听机制使得终端节点造成了大量不必要的能量浪费。该文改进了调度机制,终端节点可以获得最大限度的休眠,分析表明该改进机制为终端节点节约了大量的能耗。
摘要：无线传感器网络的能量主要被无线通信所消耗,延长网络生命周期的办法是尽量减少数据的接收,在空闲的期间关闭监听并进入休眠状态。该文在B-MAC协议的基础上实现一种调度机制,让终端节点大部分时间处于休眠状态,通过分析证明该机制可以有效减少终端节点的能耗。
关键词：无线传感器网络,MAC协议,能量高效,调度机制
参考文献
[1]J.Polastre,J.Hill,and D.Culler.Versatile low power mediaaccess for wireless sensor networks.In Proceedings of the 2nd Interna tional Conference on Embedded Networked Sensor Systems(SenSys),Nov.2004.
[2]Y.Wei,J.Heidemann,D.Estrin.An energy-efficient MAC protocol for wireless sensor networks.In Proceedings of 21st Int'l confIEEE Computer and Communications Societies(INFOCOM 1002),New York,NY,June 2002.
[3]B.Hohlt,L.Doherty,E.Brewer.Flexible Power Scheduling for Sensor Networks.In Proceedings of the 3rd International Symposiumon Information Processing in Sensor Networks(IPSN),Berkeley,CA,USA,2004;pp.205-214.
[4]Z.Zhang,F.Yu.A Depth-based TDMA Scheduling for Clustering Sensor Networks.In Proceedings of 4th International Conferenceon Frontier of Computer Science and Technology(FCST),2009.
[5]Levis P,Madden S,Polastre J,et al.TinyOS:an operating system for sensor networks.In Ambient Intelligence,Springer-Verlag:Ber lin,Germany,pp.115-148,2005.
数据调度机制 篇9
假如S满足, 其中S为平均服务时间;Q为处理单位消息所需要的时间, 单位为秒;为系统SIP的服务率的平均值;遭受Do S攻击系统的达间隔和服务时间符合指数分布, 系统内只存在一个缓存大小为K的核心处理单元。这样当遭受Do S攻击时, 因服务器缓存空间被耗尽, 造成系统内部其他合法用户的正常服务无法实现, 如图1和图2所示。
为降低代理服务器受NVITE flooding攻击时的损害, 采用优先级队列来解决这一问题。对SIP服务器通常采用图3所示的FIFO处理消息队列, 进行如图4所示的改进, 以克服Do S攻击服务器时导致的上述缺陷。通过这种改进, 服务器的缓存资源被分成了两个队列, 可以根据服务器性能实际需要进行分配。为简化分析, 缓存采用平均分配的处理方法, 使得所有优先级的消息都有自己独立的队列。
系统的总利用率假定为, 其中, 为各个优先级消息的系统利用率。根据2个优先级的情况, 可以得到, 其中分别为高优先级消息平均延迟时间和平均队列长, TR为服务平均残留时间。低优先级消息由于在服务器中除高优先级消息外, 还存在正在队列中等待的另外一个消息, 因此, , 由P-K方程可得到设定平均服务时间, 根据系统服务时间的指数分布假定, 易得到服务时间, 消息优先级别的响应时间, 从而得到2个优先级系统的平均响应时间。至此得到了优先级队列的分析公式, 下面将对该方案的性能进行仿真分析。
2 性能仿真
采用上述分析进行优先级队列的性能仿真。采用如图2所示的2个优先级队列模型, 其仿真参数为:SIP=731bytes, μ1=400, μ=385, μ2=85, 处理消息平均时间采用2.6ms。NS2发单队列采用drop tail模型, 优先队列和单队列的queue size分别采用500和1000, 间隔采用0.1s, 系统工作总时间采用2000s。仿真结果见表1和图5、图6、图7。
结果发现:对于单队列模型, 随着消息队列长度大量增加, 尤其是消息超过限制队长后会引起消息大量丢弃, 在1200s开始出现消息丢失, 在2 000s有653条消息被丢弃;对于优先级队列, 最终被丢弃的消息一共为111条, 在λ=350的情况下, 单队列系统响应时间为优先级队列的两倍, 当λ达到360时, 单队列系统等待时间急剧增加, 已造成服务器瘫痪, 优先级队列服务器还能够正常提供服务。由此可见, 优先级队列能够保持服务器资源始终有部分能正常工作, 避免了服务器出现瘫痪。能够确保关键消息不会被抛弃, 从而能保证合法用户得到正常服务。解决了合法消息流能在Do S攻击时得到分辨, 使合法用户对服务器正常呼叫有了可靠保证, 区分开了攻击流中的合法消息, 起到了防御SIP Do S攻击的作用。
3 结语
为解决SIP Do S攻击防御机制的缺陷, 建立有效数学分析模型是解决该问题十分关键的因素。本文通过对现有检测防御机制缺陷进行分析, 提出了分析SIP Do S攻击的模型, 并进行队列性能仿真分析, 结果表明本文提出的分析SIP Do S攻击的模型, 一定程度上综合了已有防御机制的长处, 具有操作简单、适用的优点, 在一定程度上对所提出Do S攻击防御方法的有效性进行了验证, 为今后IN-VITE消息算法的进一步改进研究奠定了基础。
参考文献
[1]殷茜.基于排队论的SIP Do S攻击防御机制的研究[J].重庆邮电大学学报 (自然科学版) , 2008 (4) :471-474.
[2]樊自甫, 杨俊蓉.定制加权公平队列调度下的SIP Do S攻击防御机制[D].重庆:重庆邮电大学, 2011 (8) :62-65.