分片管理

分片管理（精选9篇）

分片管理 篇1

1背景

我院通过三甲复审后重新组建了质管中心,构建起“三级质管、四级网络”模式[1],每月进行职能部门联合检查[2]。在深入临床一线工作中,管理人员与临床人员得以有效沟通,解决了大量实际问题,有效提升了管理部门的整体履职力。在此基础上,院党委进一步统一思想认识,对各位院长及院长助理进行调度,划片包干, 实行院领导分片管理责任制。遵循等级医院“凡事有责任部门、凡事有责任人”的管理理念,质管中心设计出 《科室工作整改反馈通知单》和《职能部门工作改进建议单》,并以此为载体 , 使检查及 反馈工作 处处有痕 迹,促进了医院精细化管理能力的进一步提升。

2组织架构

医院以“质量和服务是永恒生命线”为口号,以“规范诊疗、提高服务、保障安全、持续改进”为主题, 成立了一把手为组长的全面质量管理委员会,办公室挂靠质量管理中心, 下设4个工作组:督导组、医疗组、护理组、门急诊组。

3实施步骤

3.1统筹安排工作任务

根据各组的工作配档表,质管中心出台“年度工作计划配档表”,每月确定一个全院质控主题,提交医院全面质量与安全管理委员会审议,使该月度主题的设定能够尽量同时匹配医疗组、护理组、门急诊组的工作重点, 同时利于督导组制定督导计划。该配档表于年初通过审议后,挂院内网公示, 全院各级人员按照该配档表工作计划进行学习及督导。表1为2015年上半年全院质量管理工作计划配档表。

3.2各组培训及检查

医疗、护理、门急诊检查组成员每月上旬跟随质管中心组织的月度职能部门联合检查[3]进行检查。将科室扣分项和加分项于当月下旬报质管中心,质管中心进行为期一周的全院公示,公示期间接受科室异议,公示期满将分数交财务处,由财务处根据科室当月奖金进行核算。

3.3督导组按照当月质控主题进行督导

院领导根据各自分工带领督导组成员在责任片区进行抽查,抽查内容包括当月科室自查自纠的质控主题、 当月职能部门的培训重点、科室人员三基知识与操作等,其中重点加强对单人徒手和双人心肺复苏、呼吸机使用、除颤仪使用、手卫生等环节的检查,采用随机现场操作及扩大样本量的方法对科室进行评价。

3.4质控员迎检

在医院出 台的 《 质量控制 专员评价办法》中明确规定,科室质控员由高年资主治医师以上人员担任,原则上以年为单位轮派,晋升副高前必须持有经医院质量与安全管理委员会评定颁发的“质控员合格证”。科室质控员要统筹负责科室的质量管理工作,要在每月各组到访该科室的时候迎接检查,要提前准备好相关资料并解答问题,要收集科室日常需要院级层面解决的问题,并做好上传下达的沟通连接工作。

4各组工作职责及检查重点

4.1督导组

该组下设6个小组,各小组组长由各位院级领导担任,小组成员由两部分组成,即由医务处、护理部、门诊部、院感科、后勤科、总务处、保卫处等各职能处室指派的工作人员各一名,和由质控中心经培训考核后遴选出的优秀院级质控员若干名,督导小组成员不定期到各自负责片区进行深入抽查,利用追踪方法学发现问题。 例如 , 某督导组 可通过一 份运行病 历,检查该科室对于核心制度的学习和执行情况,找准其中的薄弱环节进行反向追踪,直至检查到各职能部门的制度落实情况,增加其履职力。检查期间,发现需要职能部门各组加大培训或监管力度的问题,以下发《职能部门工作改进建议单》的形式交由职能部门负责人后续跟进。督导组执行问责制,对医院所有楼宇楼层进行划片包 干 , 责任区域 内涉及到 的所有问题都可在第一时间与该相关小组的管理部门工作人员联系,责任区域内出现的所有问题均由该小组组长负责;如果涉及到医院制度修订、流程变更或需要跨部门联合才能够协商解决的问题,由该小组组长提交办公室,质管中心负责召开跨部门会议,直至提交院长,并负责后续跟进与解决。

4.2医疗组

该组组长 为分管医 疗的业务 院长,成员为医务处主要负责人及医院医疗质量与安全管理委员会专家,其主要职责是组织临床医务人员的各项具体培 训和日常 检查 。 在病历文 书规范方面,重点加强病历质量内涵, 全面提升涉及病历文书内容的整体水平,尤其针对住院时间较长、花费较多、病情较重甚至死亡的病人,通过医疗组定期检查,对科室涉及到的疑难危重病例讨论、会诊、死亡病例讨论、病人交接和转科等核心制度进行检查;在基础知识及技能操作方面, 内科系统 主要围绕 疑难危重 病例 , 提升各级人员分析问题、解决问题的能力。外科系统主要围绕围手术期管理,提升各级人员在手术各个环节的处理能力;在培训方面,采取医院集中培训 、 职能部门 分层次分 人群培训、各科室自行培训3种形式展开, 主要围绕心肺复苏、呼吸机、除颤仪等抢救设备的理论知识和操作培训、 医患沟通技巧培训、核心制度及病历书写规范培训,各科室同时对本专业诊疗规范、操作指南等进行培训,并自行成立抢救小组,对各项生命急救类仪器的操作及步骤进行场景模拟训练,检查过程中发现的问题,通过下发《科室工作整改通知单》的形式予以反馈。医疗组检查细则见表2。

4.3护理组

该组组长 为分管护 理的业务 院长,由于我院护理采取的是垂直化管理,即业务院长-护理部-片区护士长-科护士长-护士管理,因此检查成员为护理部主要负责人及医院护理质量与安全管理委员会专家。根据相关要求,护理组重点加强以下方面的检查:规范术中输血、抢救用血的流程、抢救用药、专科用药指引、新药的规范使用、疑难危重病人的预警评分目标值、各专业术后并发症抢救、 危重症护理等;在培训方面,针对手术科室围绕围术期管理,非手术科室围绕疑 难危重病 人护理 ; 在应急方 面,重点强化护理人员的应急能力,组织各病区进行应急小组演练,包括急性肺栓塞的处理、输血过程突发事件的应急处理、发生药物不良反应应急处理、病人发生病情变化的应急处理、呼吸机和除颤仪的使用和简单故障应对等。护理组检查细则略。

4.4门急诊组

该组组长为分管门急诊系统的业务院长,成员为门诊部的主要工作人员和部分医技科室的科主任。众所周知,门急诊是患者最先接触医院的地方,是医院的门面。对门急诊科室的检查主要围绕其核心制度,以此全面提升门诊医技人员的诊断水平及治疗能力。门急诊组检查细则见表3。

5定期反馈

质控中心 将科室每 月检查得 分项与财务处进行对接,实现科室奖金的奖惩兑现。科室当月奖金核算公式为:绩效奖金×该科综合目标实得分数/1000,质控中心每半年汇总分析各科得分情况,将扣分项和加分项予以统计、反馈,并在院周会及质控简报上予以公示。同时,对于检查过程中科室提出的需要院级层面召开跨部门联合会议解决的问题,由质管中心负责召集会议、起草草案,并指派专人跟进协调,与科室进行及时反馈。

6成效与体会

我院将院 领导分片 责任制和 职能部门联合检查相结合,不断提升质量与安 全 , 期间科室 共接获通 知单106份、职能部门接获通知单23份, 由质管中 心牵头召 开的跨部 门联合会议9次。医疗质量方面,抗菌药物住院使用率由2013年末的56%下降到2014年末的41%,抗菌药物使用强度由2013年末的48DDD下降到2014年末的32DDD,特殊使用级抗菌药物微生物送检率由2013年末的30.61%上升到2014年末的91.67%。在以往的工作中,较多医院并未太注意保留工作痕迹,导致很多文档、数据没有被及时保存而遗失,为此,我院采用通知单的形式反馈问题,它不仅如实记录了科室质量管理小组、职能部门的工作履职情况,同时真实客观反映了两者在工作中的可提升空间。由于通知单下发人和接获者均当场签名,双方均能够清楚自身责任,以更严谨的态度来解决问题。

7不足与改进

院领导分 片督导检 查是建立 在医院每月职能部门联合检查的基础之上进行的,由于各院领导身兼数职, 时间上难以完全统一,使督导组工作不能够像职能部门联合检查一样提前做出计划并全院公示,因此,在督导组到访某一科室时会出现质控员空岗或人员无法对接的情况,影响督导进度。针对这一问题,质管中心已提交医院质量与安全管理委员会,拟解决方案为每个督导组指派一名秘书,由秘书与院领导沟通后确定督导时间, 尔后与科室联系,排出到访科室的具体时间,继而进行督导检查。

摘要：山东大学附属千佛山医院通过重组质管中心,构建起“三级质管、四级网络”管理模式,每月进行职能部门联合检查。在此期间,院党委进一步统一思想认识,对各院长及院长助理进行调度,实行院领导分片管理责任制,以督导组带动医疗组、护理组和门急诊组的工作,有效促进了院科两级质管力度,使医院精细化管理能力进一步得到提升。

关键词：质量管理,医疗质量,精细化管理

分片管理 篇2

一、了解掌握所负责公交线路和客运出租车片的城市客运车辆营运情况，做到日日有联络，月月有总结，做好服务工作。

二、随时对城市客运车辆的营运秩序、安全性能和消防设施等进行监督检查，发现问题及时解决。

三、协助稽查队调查处理所负责线路和客运出租车片上所发生的举报投诉，打击非法营运活动。

四、每半年对经营者和驾驶员及经营情况进行一次全面的调查了解，随时做好有关安全教育和文明服务的指导监督工作。

五、负责督促车主按规定办理和完善客运经营手续。

IP分片数据包真实体验 篇3

基础知识:以太网数据传送大小限制

传统的以太网是共享性局域网, 采用载波侦听多路访问/冲突检测CSMA/CD协议。最小帧长必须大于整个网络的最大时延位 (最大时延时间内可以传输的数据位) 。

如果帧长度太小, 就可能出现网络上同时有两个帧在传播, 就会产生冲突 (碰撞) 而造成网络无法发送数据。如果数据帧太长就会出现有的工作长时间不能发送数据, 而且可能超出接受端的缓冲区大小, 造成缓冲益出。

由于多方面的限制, 每个以太网帧最小不能低于64字节, 最大不能超过1518字节。对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧, 一般的以太网转发设备会丢弃这些数据帧。

为了适应以太网的这种数据传输限制, IP在网络层传输时采用的了分片的技术手段。IP协议在传输数据包时, 将数据报文分为若干分片进行传输, 并在目标系统中进行重组。这一过程称为分片 (fragmentation) 。

MTU (最大数据传输单元) 是指一种通信协议的某一层上面所能通过的最大数据报大小 (以字节为单位) 。最大传输单元这个参数通常与通信接口有关 (网络接口卡、串口等) 。

我们这里是IP数据包的MTU即网络层的最大数据传输单元, 常见的以太网链路的MTU值为1500字节 (这里不包括以太网帧头开销18字节) 。

数据包MTU的大小, 并不是固定的。需要注意的是:网络层外面还会加上数据链路层的封装, 经过数据链路层封装之后, 才是一个数据包最终的大小。MTU只是限制了一个数据包经过网络层的封装后, 不要超过1500字节。

图3第1个ICMP数据包

以ICMP数据包为例, 可用您想发送的IP包的大小减去28。这是因为, IP报头的大小为20字节, 而ICMP Echo消息的ICMP报头的大小为8字节。

图1显示了二者的关系。实质上所发送的有效数据是1472字节 (1500-20-8) 。

下面我们通过最常用的PING命令发送ICMP数据包来验证IP分片的过程。这里我们采用科来网络分析系统 (中文版) 进行抓包分析。

因为以太网默认的MTU值为1500Byte, 所以为了达到分片的效果, 我们应该传输大于1500Byte字节的数据包, 才能使该数据包分段传输。

我们平时在检测网络故障时采用PING命令, 默认都是发送的32字节, 现在为了实验的效果我们发送使MTU大于1500字节的数据, 从上面分析得出最大可发送的有效数据为1472字节, 所以我们发送1473字节的ICMP数据包。

实验1发送数据包1473字节。

实验环境:内网访问, 两端电脑的MTU=1500。在Windows命令提示符下输入:ping 192.168.0.1-l 1473。

通过科来网络分析系统抓包, 我们看到, 该数据包被分片了, 由于PING命令重复ping了4次, 每次分片后有2个数据包, 所以总共抓到了16次。数据包如图2所示。

查看详细的数据包解码, 第1个发出的ICMP数据包, 如图3所示。

分析:因为ping的长度是1473字节, IP数据包就是1501 (20+8+1473) 大于了MTU1500的值, 所以会分片发送。捕获的这个数据包总长度为1500字节, 更多分段位置1, 表示还有数据分段。s, 偏移量为0。

需要注意的是IP头部的总长度字段值 (这里是1500字节) 并不全是数据的净载荷长度, 这里还包括了IP以及ICMP的头部长度, 分别是20字节和8字节。另外, IP协议的头部总长度并不一定就是MTU值1500字节, 这个值与网络环境、操作系统等因素有关。

图4第1个分片包

图5接收的分片包

图4是第一个发送出去的分片包。分析:IP字段的标识0x3D7D, 与第一个包相同, 说明这是同一个数据包, 只是被分片了。偏移量为185, 表示相对第一个包的位置, 以便接收主机根据偏移量进行数据重组。

需要注意的是此处分片包并没有ICMP字段, 接收主机会根据偏移来重组成完整的ICMP数据包。

最后, 我们来计算一下该数据包的长度:第一个数据包的总长度为1500字节, 减去IP头部长度20字节, 减去ICMP头部长度8字节, 即1500-20-8=1472字节;第二个数据包的总长度为21字节, 减去IP头部长度20字节, 即21-20=1字节, 两个数据包的净载荷1472+1=1473, 正好是我们发送的数据长度。

以上就是IP分片包的全过程, 但细心的朋友会发现发送与接收的数据包大小不一样了。

首先来说一下第1个发出的数据包大小1518, 它实质上是IP数据包大小1500字节加上以太网的帧头开销18字节, 这个接收的数据包也是1518。

再看第一个发出的IP分片大小39字节, 它由21字节的IP数据包加上18字节的以太网的帧头。但接收到的IP分片大小为64字节, 64-20-18=26字节。也就是说收到的分片数据包里有效数据是26并不是发出去的1, 通过抓包确实如此, 如图5。

以上是收到的第1个数据包及IP分片包, IP分片包中额外数据显示字节数26, 但IP总长度只有21。其实这也是以太网中有关数据包传输大小的限制了, 我们更多的时候只是关注了MTU即最大传输单元, 其实还有一个最小传输值64, 这是根据以太网的特性设置, 为了检测到网络中的冲突数据包, 规定最小传输数据帧的大小为64。

图6发出去的ICMP数据包

图7回显数据包

如果发送的数据不足, MAC子层就会在数据字段的后面填充, 以满足数据帧长不小于64字节。但为什么发出去的数据包没有呢, MAC子层的数据网络分析软件没有捕捉到, 但在接收电脑上是可以抓到的。

实验2发送数据包1453字节

实验环境:内网访问一端电脑的MTU=1480一端电脑的MTU=1500。

对方电脑的MTU是1480, 实际可以处理的数据应是1480-20 (IP) -8 (ICMP) =1452, 所以我们发送数据包大小1453。ping192.168.0.4-l1453。

图6是发出去的ICMP数据包, 因为1453比1472小不需要分片, 所以直接发送, 没有IP分片数据包了。

图7是对方电脑发来的回显数据包, 1453刚好超过1452。但请注意, 这里并不是分成第一个数据包1452, 第二个数据包1, 而是第1个数据包1448。

这是因为为了方便地址寻址, 分片后的数据包要是8的整数部 (最后一个除外) , 这样最接近1452被8整除的是1448, 所以分片后第一个数据包是1448, 第二个IP分片数据包是5。

图8是ICMP回显的IP分片数据包, 其中IP总长底是25, 其中包括20字节的IP信息, 所以真正回显的数据是5字节, 当然为了满足最小传输数据长度64, 还要填充21字节, 所以下面额外数据显示26字节。

图8回显的分片包

如表1所示, 以上两个实验都是在内网测试, 关于MTU值的设定可以通过很多工具来实现。虽然在整个互联网中, 数据包要经过很多网络设备, 不同网络设备的MTU都不一样, 但是都需要经过IP分片再重组最后到达目的地。

当然, 在分片数据包适应了网络数据传输大小限制的同时, 也带来了一些问题:

第一, 性能消耗。分片和重组会消耗发送方、接收方的CPU等资源, 如果存在大量的分片报文, 可能会造成较为严重的资源消耗。分片对接收方内存资源的消耗较多, 是因为接收方要为接收到的每个分片报文分配内存空间, 以便于最后一个分片报文到达后完成重组。

如果某个分片报文在网络传输过程中丢失, 接收方将无法完成重组, 这时应用进程要求重传的话, 那么发送方必须重传所有分片报文而不是仅重传被丢弃的那部分。这种效率低下的重传行为会给端系统和网络资源带来额外的消耗。

第二, 安全隐患。不向接收方发送最后一个分片报文的恶意报文, 会导致接收方要为所有的分片报文分配内存空间, 可接接收方的内存得不到及时的释放 (接收方会启动一个分片重组的定时器, 在一定时间内, 如果无法完成重组, 将向发送方发送ICMP重组超时差错报文) 。

只要这种攻击的分片报文发送的足够多、足够快, 很容易占满接收方的内存, 让接收方因无内存资源而不能处理正常业务, 从而达到DOS的恶性攻击效果。

由于分片只有第一个分片报文具有四层信息而其他分片没有, 这就给路由器和防火墙等中间设备在访问控制策略匹配方面带来了一定麻烦。

如果路由器和防火墙等中间设备不对分片报文进行安全策略的匹配检测而直接放行IP分片报文, 则有可能给接收方带来安全隐患和威胁, 因为黑客可以利用这个特性, 绕过路由器、防火墙的安全策略检查对接收方实施攻击。如果路由器、防火墙等中间设备对这些分片报文进行重组后, 再匹配其安全策略, 那么又会对这些中间设备的资源带来极大的消耗。

林区治安防控分片落实责任制度 篇4

为创建平安林区，实现群防群治，特制定以下分片落实责任制度：

第一条对管护责任区内的森林进行巡查，负责管护责任区内的森林资源保护，制止破坏森林资源的一切行为，并及时提供处理相关事件有价值的信息。

第二条 认真学习森林管护的相关政策、条例、办法等。

第三条广泛宣传林业法律法规、方针政策及所管护森林的范围、界限。

第四条对管护责任区内森林防火、乱砍滥伐、偷砍盗伐林木、非法侵占林地、开山炸石、开矿采沙、乱捕滥猎、破坏野生动物资源等行为及时有效地采取措施阻止扑救和制止并报告情况。

第五条准确掌握管护责任区内的四至界限，了解民情、林情和山情，做好每日巡山记录。

第六条对发生在相邻责任区内有破坏森林的行为，有义务进行制止并及时报告。

第七条加强学习，提高认识，廉洁自律，秉公办事，增强自身法律意识和安全意识。

移动通信话单分片计费策略 篇5

在复杂的竞争环境下, 移动通信不单需要网络、终端的极佳表现, 套餐资费等方面的更是客户关注的焦点。

资费套餐内容的多样化、个性化、人性化成为发展新业务、提高运营与服务水平, 进而提升核心竞争力, 成为争取市场份额的关键。随着移动通信市场需求和营销策略的日益复杂, 套餐资费的种类也越来越多样化, 当前用户多套餐共存情况普遍存在, 在此情况下计费场景更加复杂, 尤其是当话单跨越套餐边界时, 如何保证多套餐共存时最优资费原则及精确计费, 对通信计费系统的处理能力提出了更高的要求。

1 传统的计费机制下无法满足日益复杂的计费要求

在传统的计费机制下, 把一条话单作为一个整体进行批价, 当多个套餐叠加时, 需要通过套餐嵌套或递归调用来实现最优资费原则, 此种模式只适用于少量套餐的叠加配置, 随着套餐叠加的情况的增加, 套餐配置越来越复杂, 不仅大大增加了维护成本, 还造成资费之间的交叉调用, 最终陷入配置无法扩展的僵局, 且此种情况下临界计费问题变得更加复杂, 可能导致无法精确计费等情况发生, 叠加计费的严密性不足成为亟待解决的问题, 尤其是临界点计费如何保证最优资费原则成为资费扩展的瓶颈。

2 话单分片计费策略实现方案

分片计费策略实现了由传统的按整条话单计费转变为分片计费, 将整条话单按费率的不同从逻辑上分割成多个计费片段, 对每个计费片段再按最优惠资费进行计费, 实现了精确分片, 自动择优。

2.1 分片计费实现的核心功能

1) 对单条话单按费率的不同进行精确分片;

2) 分片信息能够传递给后续的计费环节使用;

3) 分片的切换点有统一的标准, 以统一的最小计费单元为标准;

4) 对每个计费片段进行试算, 将计算结果与原资费比较, 自动择优。

分片信息在内存中存储和应用, 分片以套餐资费的最小计费单元为统一切换单位, 如时长以60秒为切换单位, 流量以KB为切换单位。

2.2 话单分片字段包含的信息

2.2.1 片段所对应的费用ID、费用值

用于对应不同的费用类型, 如市话费、长途费等不同费用有不同的分片信息。

2.2.2 片段的开始时间和结束时间

只对按时长分片的类型有效, 对于不是按时长分片的情况, 所有片段的开始结束时间都是相同的。

2.2.3 片段的分片量

根据不同的计费单位取分片量, 如时长、流量、字节数等。

2.2.4 片段的取整方式及取整单位

用来判断分片不匹配的情况。

2.3 计费模块增加批价原则逻辑

批价原则增加三种类型:

2.3.1 取较低费用

1) 对于分片正常的计费事件, 对当前计费片段将本资费的批价结果与现有的批价结果进行比较, 取费用较低的作为批价结果;

2) 对于本资费政策项分片方式与上一级分片方式不兼容时, 将按整条话单批价结果进行比较和费用取舍;

3) 如果当前资费的批价结果不是较低费用而被舍弃, 则当前片段所使用的使用量属性会回退。

2.3.2 无条件取试算费用

1) 针对当前话单片段, 强制取本资费的批价结果;

2) 如果此前已经做过赠送, 费用为0, 也会按本资费批价, 而且此前用的使用量不会回退。

2.3.3 有条件试算本费用

1) 类似“无条件取本费用”, 但费用为免费时除外, 即费用为0时跳过该步骤, 费用大于0时按此费用批价;此类型主要用于兼容传统资费配置。

流程如下:

1) 根据用户资费匹配所有资费 (套餐) , 并按优先级顺序排列;

2) 排序后进行分片计费处理:

a.对于不需要分片的话单, 将整个话单作为一个片段;

b.对于需要分片的话单, 标记需要处理的片段, 记入分片信息字段, 依次对话单的每个片段进行试算, 按照“取较低费用”的计费原则将试算后的费用与现有费用比较, 取较低费用;

c.特殊情况计费规则:

>如果试算因分片不匹配而失败, 则舍弃试算费用。

>系统提供另外两种计费原则作为择优计费的补充:

“无条件取试算费用”, 用于需要强制执行某费率的情况;

“有条件取试算费用”, 用于兼容传统计费模式配置。

3 结束语

通过话单分片计费策略的实施, 移动通信计费系统整体功能得到了重大提升, 分片计费较整条话单计费增强了计费系统的严密性, 解决了普通套餐、赠送类套餐、分时段套餐等多种类型套餐叠加时精确计费的问题, 实现了计费自动择优;解决了分时段优惠的计费误差问题, 实现了优惠时段精确计费。

分片计费增强了计费系统的可维护性, 降低了维护成本和维护风险, 增强了计费系统的可扩展性, 支撑了市场发展对个性化、多样化、灵活组合套餐的需求, 提升了核心竞争力, 极大提高了移动通信运营与服务水平。

参考文献

[1]中国移动集团总公司.中国移动BOSS系统业务规范2.0.中国移动集团总公司, 2006.

[2]中国移动集团总公司.中国移动业务运营支撑系统 (BOSS2.0) 验收测试规范.中国移动集团总公司, 2006.

[3]中国移动集团总公司.中国移动业务运营支撑系统 (BOSS2.0) 技术规范.中国移动集团总公司, 2006.

[4]中国移动集团总公司.BOSS RTCC与外部网元接口说明书v100.中国移动集团总公司, 2005.

[5]中国移动集团总公司.IN/BOSS计费功能融合软课题研究报告V1.0, 中国移动集团总公司, 2005.

[6]胡建彰, 宋建新, 卢官明, 数据通信.北京.人民邮电出版社, 1997.

[7]王红梅.电信全球竞争.北京.人民邮电出版社, 2001.

[8]中华人民共和国信息产业部.公用电信网计费的基本技术要求. (YD/T1176-2002) .北京.中华人民共和国信息产业部, 2002.

[9]中华人民共和国信息产业部.YD/T1128-2001电话交换设备总技术规范 (补充件1) 北京.中华人民共和国信息产业部, 2001.

基于RNN的数据分片技术的研究 篇6

分布式数据库系统中的数据是分布存放在计算机网络的不同场地的计算机中, 每一场地都有自治处理能力, 并能完成局部应用;而每一场地也参与 (至少一种) 全局应用程序的执行, 全局应用程序可通过网络通信访问系统中多个场地的数据。因此, 分布式数据库系统比集中式数据库系统具有更好的性能、可扩充性、可用性和自治性。分布式数据库的设计是个极其复杂的问题, 其设计的步骤为:先进行全局概念设计, 再进行局部概念设计, 分布式环境中局部概念设计中的首要问题是对数据库进行分片。分布式设计决策决定如何进行分片、复制和分配。

现在, 组织存储器中数据一般采用分片的方法, 这些分片方法可分为六类:水平分片、组水平分片、单个垂直分片、物理垂直分片、组垂直分片和混合分片。每种技术都先将数据分组, 然后将这些分组分配到实际的物理页中。设计分布式数据库系统所要考虑的首要问题就是, 用最小代价把中心数据库划分为若干个子数据库。

水平分片用来把一个关系划分成具有相同属性的不同元组。可以用水平分片和数据分段方法来设计数据库。也可以用基于知识的系统在水平方向上对关系进行划分。单个垂直分片由关系和一个关键属性或元组标识列组成的。物理垂直分片方法对固定大小的物理组进行划分。组垂直分片依赖于属性相似矩阵, 这个矩阵在M c.Cromick和et’a1的Bond Energy算法中首先使用。水平分片与垂直分片方法的结合称之为混合分片方法。

2、随机神经元网络

随机神经网络 (Random neural network, RNN) 是在1989年, 由美国佛罗里达大学 (UCF) 教授Erol Gelenbe首先提出的。它是仿照生物神经网络的这种机理进行设计和应用的。它此后, Gelenbe教授又先后提出前向型二值随机神经网络模型、动态随机神经网络多类别随机神经网络等多种不同特点、不同用途的随机神经网络。

RNN仿照实际的生物神经网络接收信号流激活而传导刺激的生理机制而定义网络。对于现实的生物细胞而言, 它们是否发射信号与自身存在的电势有关系。随机神经网络模型目前已经被应用于很多领域。它与神经网络相比具有以下特点:信号以脉冲形式传递, 使它与生物神经网络的实际情况更加接近。另外, RNN的每个神经元可以用一个累加器来表示, 因此, 硬件实现更加便捷。

2.1 RNN模型描述

RNN是一种具有n个神经元的开放随机网络。在该网络中, 神经元i (i=1, 2, …, n) 的状态由其在t时刻的兴奋水平ki (t) ∈Z+来表示, 它是一个非负整数, 称之为“势”。 (+1) 正信号代表兴奋, (-1) 负信号代表抑制。当 (+1) 到达第i个节点, 该神经元的势加1, (-1) 到达使之减1 (到0时为止) 。同时, 如果一个神经元的势是正值, 它将不断地释放信号, 释放信号的时间间隔服从均值为1/ri (ri>0) 的指数分布, 并同时使自己的势减1。若神经元释放一个信号, 它作为正、负信号被传递到神经元j的概率分别为P+ij和P-ij, 这个信号也可能离开网络, 此概率为d (i) 。神经元通过彼此发送和接受正或负信号来完成信息交换, 而不自身传递信号, 所以有P+ii=P-jj=0 (1≤i, j≤n) 。而信号在∑n传递过程中存在损耗, 即d (i) >0, 显然,

2.2 RNN的学习算法

随机神经网络的学习算法主要目的是为了得到一个适当的权值矩阵, 使得输入为一对兴奋和抑制的信号流速率的矢量时, 网络输出为期望值, 或者其与期望值的二次方差最小。即对于Q组输入输出对 (P, Y) , (Pk= (Λk, λk) , k=1, 2, …;Q为n对兴奋和抑制的信号流速率构成的矢量;yk为n个网络节点的期望输出构成的矢量) , 网络在w+ (i, j) -w- (i, j) q训练过程中调整n×n的权值矩阵规则为:

3、解决数据库分段问题的随机神经元网络方法

输入及输出参数。我们选取下面8个参数作为神经元网络模型的输入。 (1) 物理页数量:存储关系所需的实际物理页的数量。 (2) 关系重组的代价:重组关系的代价 (比如, 从存储器中删除及重载入) 。 (3) 从一个模式中删除一列属性的代价。 (4) 向模式中添加一列属性的代价。 (5) 访问若干列属性的代价:即从给定关系的所有记录中删除该列的代价。 (6) 重选一条记录的代价:即从给定关系中选择一条记录的代价。 (7) 向关系中加入一条新记录的代价。 (8) 修改一条记录的代价:即修改一条给定记录的某些列的代价。

分布式数据库系统中的数据库的分块与分配所需的库结构独立于平台, 同时, 它也是独立于数据库模式的。因此, 神经元网络模型是独立于平台的方法, 由于使用这种方法对权重的计算是很精确, 所以, 得到的数据集, 可用于不同分块技术的比较。

4、结语

随机神经网络便于学习, 与标准的网络算法相比, 计算更加简单。它不用二值状态, 而用非负函数来表示神经元的兴奋水平, 对系统状态描述更为细致。设计分布式数据库系统所要考虑的首要问题, 就是用最小代价把中心数据库划分为若干子数据库。

参考文献

[1]D.Shin, K.Irani, “Fragmenting Relations HorizontallyUsing a Knowledge-Based Approach”, IEEE Transactions on Soft-ware Engineering, Vol.17, No.9, 872-883, 1991.

[2]S.Ceri, S.Navathe, G.Wiederhold, Y.Don, “Vertical Par-titioning Algorithms for Database Design”, ACM Transactionson Database Systems, 9 (4) , 680-710, 1984.

分布式数据库的复制和分片 篇7

关键词：集中式数据库,分布式数据库,数据复制,数据分片,数据透明性

在集中式数据库中,将所有数据集中存储到一台计算机上,由主机上的数据库管理系统统一管理整个数据库,用户可从终端上发出数据操作命令,经主机上的数据库管理系统接收处理后,将结果数据返回给用户。随着企业规模越来越大,企业分布于物理位置不同的多个地方,尤其是一些跨国公司,在全球有很多的分公司。采用集中式数据库的体系结构,位于多个位置的站点要访问一个存放数据的主机,这样,对主机的要求[1]就很高:首先,当企业规模很大,数据量很大时,数据仅仅存放在一台计算机上,该计算机的存储空间就要求很高,通常是一个中型机或者小型机,而这样的配置通常费用会很高。其次,当多个计算机同时访问该主机时,会造成访问速度很慢,性能下降,这种速度有时甚至是难以忍受的。最后,过多的依赖于中间的主机节点,一旦该节点出现故障,会使整个系统处于崩溃状态。

1 分布式数据库的特点

基于上面的这些原因,集中式的结构不能适应当前的物理位置上分散的要求。分布式数据库是物理上分散而逻辑上集中的数据库系统。它有这样的一些优点:1)物理分布性数据按照就近原则,存放在距离它最近的一个或者多个站点。2)逻辑整体性虽然数据存放在各个不同的站点,但将各个站点的数据集合起来,仍然是集中式中的整个数据库中的数据。3)站点的自治性相互的站点之间不存在主从关系,地位是平等的,任何一个站点出现问题,不影响其它站点,每个站点上的数据由本地的数据库管理系统来进行管理。

分布式数据库系统通过把分布在计算机网络的不同结点或场地,物理上属于多个数据子集,逻辑上属于同一系统之数据集合的海量数据实现数据应用,以实现比集中式数据库系统更好的性能、可扩充性、可用性和自治性.从数据意义上讲,数据分布即数据分片与分配的合理与否或者说合理性的高低,不仅影响着访问的局部性,即尽可能地把用户要求访问的数据就在本结点或本场地,而且也制约着数据查询及事务处理的效率。

要实现分布式系统,必须要对数据进行复制和分片[2]。所谓复制,就是将数据存放在多个站点上,这样,在一个站点出现故障时,可以通过访问存放在另外站点上的副本,仍然可以正常工作。分片就是系统把数据划分为几个片,各片存储在不同的分片上。在实际应用中,通常是将两者结合在一起,先对数据进行分片,然后将分片进行复制。

2 数据复制和分片

2.1 数据复制和分片的目的

将数据进行分片和复制后存放在多个站点上[3],当一个站点发生故障时,整个系统仍然可以正常工作,提高整个系统的可用性和可靠性。

2.2 数据分片的原则[4]

设全局关系R被划分为逻辑片段S={S1,S2,…,Sn},则S满足:

1)完整性:所有的分片S1,S2,…,Sn应该可以组合成一个整体S

2)不相交性:各个分片都应该是不相交的

3)重构性:所有的分片应该可以重构成原来的关系R

2.3 分片的方法

通常有两种基本的方法:水平分片和垂直分片

1)水平分片。一个表T被分成若干片:T1,T2,…,Tn,其中每个片包含T的一部分行并且T的每一行都会出现在一个片中。

2)垂直分片。一个表T被分成若干片:T1,T2,…,Tn,每片包含T的一部分列。每一列必须至少被一个片包含,并且每个片必须包含候选码的列。(值得注意的是,在垂直分片中,为了以后可以重构的需要,必须在每个分片中包括候选键的属性列[5]。)

3 数据分配

3.1 数据分配

所谓数据分配,就是将分片的数据放在多个站点,利用冗余[6]来达到系统的最大可用性和可靠性。将分片的副本放在多个站点,当本地系统要访问数据时,首先判断该数据是本地的数据还是其他站点的数据,如果是本地的数据,就直接可以在本地进行读取。这样就缩短了系统的响应时间。当要访问的数据的站点发生故障不可用时,系统可以直接访问其副本所在的站点,以此来达到系统的最大可用性。

3.2 数据分配的原则

1)处理局部性将数据尽量放在本地站点及其相邻的站点,这样可以在一定程度上减少站点之间的通信代价。

2)各个站点负荷的平衡性使各个站点的负荷(各个站点所负担的全局任务和局部任务)均匀化,提高各站点的本地和全局应用,尽量提高各站点的并行性。

4 数据透明性

数据透明性是指对于用户而言,并不需要知道数据的存储情况,分片情况以及位置情况。

数据透明性包括三个方面:

1)分片透明性(fragmentation transparency)指的是用户或应用程序不用去考虑关系是如何分片以及具体的分片情况,就可以对全局关系进行操作。

2)复制透明性(replication transparency)指的是用户并不需要知道数据的副本存放在哪个或哪几个站点。

3)位置透明性(location transparency)指的是用户或者应用程序不用去考虑逻辑片断存储在哪个具体的结点。

5 数据复制和分片产生的问题

分布式数据库中,进行数据复制和分片可以有效的提高物理分散站点之间访问的速度,提高系统的可用性。但是也产生了如何保持多个分布的一致性和副本更新的一致性[7],以及事务管理的问题。

1)保持多副本的一致性

保持多副本的一致性,也就是使得当对一个数据进行更新时,要保证其所有的副本的数据也得到更新,并且所有的副本的数据是一致的。进行数据的复制,提高了读操作的性能,在很大程度上保证了站点的可用性,但是却增加了更新时的开销,从而造成系统效率下降。

2)保持分布的一致性

数据被更新之后,使得数据的原有分片不再从逻辑上是一个整体。比如将全校学生按照系别进行分片,数学系的张三因为转系到计算机系,导致其系别属性值变为“计算机”,而他的信息因为分片的原因,仍然存放在“数学系”的分片中。导致“数学系”的分片从逻辑上不在是一个整体。

3)分布事务管理

由于数据是分布在不同站点的,对数据的更新操作也应该是分布的,这涉及到并发控制和恢复的问题[8]。也就是保证对数据进行更新时,要把所有的数据都更新。一旦有一个副本没有更新,那么整个事务处理失败。

6 结束语

分布式数据库系统符合当今社会发展的趋势,为物理上分散,逻辑上集中的企业提供了很好的体系结构[9]。具有灵活的体系结构,可靠性高,可用性好,资源利用率高等优点。数据的复制和分片是进行分布式数据库设计的重要环节,直接影响分布式数据库的应用。然而,随着各个分片放在不同的站点上,产生了很多在集中式数据库情况下所没有的问题。直到目前为止,许多技术上的问题仍然没有有效的解决,需要我们投入更多的精力进行更多的研究。

参考文献

[1]田俊峰,王子贤,肖冰.分布式数据库服务器的可信性研究[J].计算机工程与应用,2007,43.

[2]杨晶,刘天时,马刚.分布式数据库数据分片与分配[J].现代电子技术,2006,18.

[3]刘广钟,刘方鑫,等.分布式数据库系统中数据分布模型的研究与建立[J].小型微型计算系统,2001,22(1).

[4]肖凌,刘继红.分布式数据库系统的研究与应用[J].计算机工程,2001,27(1).

[5]Silberschatz.Database System Concept[M].北京:机械工业出版社,2003.

[6]Hoffer J A.Modern Database Management[M].北京:机械工业出版社,2004.

[7]Ponniah P.Database Design and Development:An Essential Guide for IT Professionals[M].韩宏志,译.北京:清华大学出版社,2005.

[8]Rob P,Cornel C.Database Systems:Design,Implementation&Management[M].Publishing House of Electronics Industry,2004.

分片管理 篇8

Mongo DB是一种强大、灵活、可扩展的数据存储方式。它扩展了关系型数据库的众多有用功能, 如辅助索引、范围查询和排序。 Mongo DB的功能非常丰富,比如内置的对Map Reduce式聚合的支持, 以及对地理空间索引的支持。Mongo DB既有优点也有缺点,但是总体来说还是相当不错的,它是No SQL数据库中最接近SQL数据的一种基于文档的数据库产品,主要为网页应用提供可扩展的高性能数据存储解决方案,并且已经应用在一些世界顶级的互联网公司的产品中。

2 Mongo DB的自动分片技术介绍

使用自动分片技术的Mongo DB集群包括以下三个组件:分片服务器、路由服务器配置服务器。

分片服务器负责存储数据。为了提供高可用性和数据一致性, 在生产环境中,分片服务器集群中,每一个片都是一个副本集。如果是开发环境或者测试环境中,可以不采用副本集机制。本文主要研究Mongo DB的自动分片技术,为了更好的观察Mongo DB的自动分片技术本文中的每一个片都是一个单独的Mongod服务,并没有采用副本集技术。

路由服务器,也可称为查询路由服务器,它是mongos实例程序,接收客户端的请求,把请求直接分发给适当的一个或几个分片服务器,收集分片服务器的操作结果汇总成最终结果,然后将最终结果返回给客户端。一个Mongo DB集群可以有多个路由服务器。

配置服务器存储Mongo DB集群的元数据。包括数据的分片策略。路由服务器根据这些元数据把请求分发到特殊的分片服务器。 并且在3.2版本以后,配置服务器可以应用副本集机制。

3性能测试

此次测试共涉及5台服务器:3台Mongo DB服务器。机器配置: CPU为Intel(R) Core(TM) i7-5500U CPU @ 2.40GHz、内存为16G、硬盘1T、操作系统为Linux。分别在3台机器运行一个mongod实例和一个mongos进程。在Scala程序设计语言下,使用Mongo DB官方提供的casbah工具包编写程序对Mongo DB进行操作。

(1)对三个数据集分别插入1亿条数据,要求数据的L1字段取值均匀的分布在长整型取值空间上;

在插入的数据每条为1k B的情况下,普通插入的方式在数据量小于1000万条时,三个数据集性能都是是比较高效的,但之后每秒插入数据量骤降。原因是Mongo DB的普通插入只是把数据写入内存就结束了,所以在内存有空闲时,普通插入速度是非常高效的,但是随着写入数据量的增加,内存逐渐被占用,此事再写入数据需要在磁盘和内存间进行大量的数据交换,因此性能下降较快。

虽然随着写入数据量的增加,写入性能明显下降,但是分片数据集下降率比未分片的数据集低。在数据量大于2000万后的写入数据性能,分片数据集比未分片数据集要好。

比较collection1和collection2发现,在数据量大于4000万后, collection1的写入性能更好,原因是在数据量达到4000万时,collec- tion2数据集第一个块写满,数据均衡的操作,数据在不同的shard间移动,导入写入速度下降。而collection1进行了分块操作,在数据写入之前,已经将数据均匀的分布在了三个shard上,所以collection1随着数据量的上升写入性能下降较为缓慢,写入操作的压力被均匀的分布在了三个片上。

(2)分别根据普通索引、分片索引查询1000条数据测试结果如图1所示,对未分片的数据集进行查询3,查询性能非常不稳定,但是对分片的collection1进行的1和2查询相对比较稳定。查询1使用的是分片索引,查询2使用的是普通索引,观察可以发现,使用分片索引的查询效率高于普通索引。原因是根据分片索引,mongos可以把查询操作有选择的分发到相关的一部分mongod服务器上,而根据普通索引的查询,mongos必须把查询操作分发给每一个mongod服务器。

4结语

经过测试分析得知,使用Mongo DB自动分片技术可以提高数据量较大时的性能,并且时Mongo DB更稳定。并且,在使用自动分片技术时,应设置块的划分,一方面可以使数据均匀的分布在每一个片上,而且可以减少数据平衡时的数据移动。在查询操作时,使用片索引效率比普通索引效率高。对于使用非常频繁的查询,应该考虑使用这个索引的关键词来进行分片。在未来的研究工作中,将对Mongo DB集群不仅使用自动分片技术,而且加入副本集技术,并观测在有Mongod故障情况下,Mongo DB集群的性能以及故障服务的恢复方法等。

参考文献

[1]程显峰.Mongo DB权威指南[M].北京人民邮电出版社,2011.

分片管理 篇9

随着数字信号处理技术和计算机技术的发展,机器视觉正得到广泛而深入的研究,其在移动机器人、无人驾驶飞机和自主行驶车辆中都得到了成功的应用,基于机器视觉的目标探测、对象跟踪以及模式识别技术已成为各国学者研究的热点[1,2,3]。由于光敏器件的质量、镜头类型以及视觉系统的加工偏差等影响,通过机器视觉系统采集到的图像存在着一定程度的畸变。对于采用广角镜头的机器视觉系统采集到的图像,畸变尤为明显,只有中心视场小部分(大约占全视场的10%)可以看作是理想成像[4]。因此,如果不对数字图像的畸变加以合理、有效地校正,不但图像的视觉效果不佳,而且会影响到目标识别和跟踪的质量和效率,甚至可能出现虚警和漏判现象。

传统的畸变图像校正方法的共同特点是将非线性畸变的求解和成像系统的内、外参数的求解混合在一起,这样不仅增加了求解过程的复杂性,同时由于各未知参数的互相牵制,很难获得满意的精度[5,6]。Faig等人提出的直接非线性最小优化法虽然精度高,但是模型复杂,运算量大,且选取初值需要非线性搜索[7];Tsai等人提出基于径向排列约束的两步校正法的过程简洁,收敛速度快,但是当像素分辨率较高时运算精度偏低[8];当前常用的三角形线性坐标变换法存在如下的两个局限性:一是该方法是基于图像在一个局部小区域内可近似认为是线性的这一假设条件,然而图像的几何失真是非线性的,这一假设本身就引入了误差;二是采用三角形线性坐标变换法对失真图像进行校正会使得原图像的边缘信息丢失[9,10];文献[11]提出了一种基于神经网络的畸变图像校正算法,实验结果表明该算法具有良好的精度,且具有自学习性,但不足之处在于算法耗时长,且内存占用率高。

畸变图像校正算法主要应考虑图像信息的完整性、校正精度、运算复杂程度和实时性等因素,合理有效的畸变图像校正算法应在保证图像信息不丢失且满足精度要求的基础上运算量尽量小,以满足实时性的要求。现有的畸变图像校正算法大多没有很好地解决校正精度与实时性的矛盾,因此有必要对应用于机器视觉系统采集到的数字图像的非线性畸变校正算法作进一步的研究。本文在以往文献的基础上所做的研究和改进如下:1)提出了一种基于四边形分片逼近的方法来拟合高次多项式校正模型,提高了几何校正的实时性。2)采用将数学形态学和滑动邻域操作相结合的方法确定失真图像像素点的质心,使精度达到亚像素级。3)提出了两步一维线性灰度级插值向后映射算法确定输出图像中像素点的灰度,有效地避免了空洞现象出现且减少了插值运算的运算量。

1 非线性畸变校正的数学模型

畸变是成像系统的一种像差,理想成像系统不仅成像清晰,而且满足物像相似关系。当系统能够清晰成像,但物像不相似时,其不相似的程度就是用畸变来衡量。图1所示的是机器视觉系统成像示意图。(O,X,Y,Z)是世界坐标系,表示物理空间,(O,x,y,z)是摄像机坐标系,P(X,Y,Z)是世界坐标系中的任意一点,Oc(0,0,0)是摄像机主点,Π(x,y)是摄像机前像面,像面坐标系为(O′,x,y),O′(,0,0f)是光学中心,Pi(x,y,z)是理想像点位置,Pi(x d,yd,zd)是Pi(x,y,z)所对应的畸变像点位置。

畸变过程描述的是理想像点位置和实际像点位置的映射关系,即(x,y,z)=f(xd,yd,zd),畸变校正关键在于确定此映射关系。机器视觉系统采集的图像几何畸变是非线性的,可用坐标间的多项式变换来表示该非线性变换:

校正精度与n有关,n越大,校正精度越高;但随着n的增加,校正时的计算量会急剧增加。

2 非线性数字图像校正算法的原理

对畸变图像进行校正本质上是对一幅退化图像的恢复。畸变主要体现在图像中像素点发生位移,从而使数字图像中的物体扭曲变形。畸变校正包括空间坐标变换和像素点灰度级确定两部分工作。坐标变换的目的是使像素落在正确的位置上,灰度级确定是对图像进行视觉上的修正。

本文所提出的基于四边形分片逼近控制点的数字图像畸变校正算法的流程如下:首先设计一幅标准的目标点阵图像,用机器视觉系统对标准点阵进行采集,得到发生畸变的点阵图像;其次需要确定光学光心,为了解算方便,在建立畸变校正模型时将图像坐标原点设在光心处;再次采用基于数学形态学和滑动邻域操作相结合的方法确定畸变图像点阵中对应点质心的坐标,并根据标准点阵中对应点的坐标,运用基于四边形分片逼近控制点原理确定畸变校正模型参数;然后,根据畸变校正模型进行几何变换;最后,运用两步一维线性插值向后映射法对像素点灰度进行恢复。

2.1 目标点阵的选取

目前,采用的目标面的图案有网格形图案、点阵形图案以及栅格形图案。采用点阵图案作为目标,精度能够达到亚像素级,数字图像处理过程也比较简单,因此本文采用点阵图像作为测量目标。该目标点阵为一幅等距17×13的黑点白底点阵图像,各点由25个像素组成。

2.2 光学中心的确定

建立校正模型时,为了解算方程方便,图像坐标原点应设在光学中心处。光敏元件的几何中心并不位于镜头光轴上,不能直接把几何中心作为光学中心,因此需要预先确定光学中心。光学中心的确定包括确定像面上光学中心位置和确定其对应物点的位置,这一工作是图像校正的前提。

本文采用数字图像搜索法确定光学中心,具体实现步骤如下:

Step 1:以A点为假想光学中心,确定A点的物像对应坐标,并计算A点为假想光学中心时系统畸变校正后残余畸变的大小。

Step 2:分别计算A点周围8个点为假想光学中心时系统畸变校正后残余畸变的大小,如果8个点的残余畸变都大于A点的残余畸变,转到Step 4。

Step 3:如果8个点中B点的残余畸变最小且小于A点的残余畸变,则将B点赋给A点,同时修正A点对应的物的空间坐标;转到Step 2。

Step 4:停止计算,A点即为光学中心。

由上述数字图像搜索法确定光学中心的步骤可知:光学中心是沿着残余畸变变小的方向搜索的。这种方法计算速度快,无需硬件操作和调整要求,且物像对应关系精度高。

2.3 对应点质心位置的确定

首先对采集到的发生畸变的点阵图像进行二值化处理,目的是将目标点与背景分离。畸变图像二值化后,对应点的图像比较大,为了缩小对应点的图像,需要对图像进行腐蚀。图像腐蚀是二值形态学的基本运算之一。形态学的基本思想是使用具有一定形态的结构元素来度量和提取图像中的对应形状,从而达到对图像进行分析和识别的目的。数学形态学可以用来简化图像数据,保持图像的基本形状特性,同时去掉图像中与研究目的无关的部分。失真图像经过腐蚀后,虽然对应点缩小,但是其质心位置仍然没有确定。为了确定对应点的质心位置,采用滑动邻域操作,首先选择一个邻域,让该邻域在失真图像上滑动,求出各个邻域的和,然后利用求局部极值的方法确定对应点的质心位置。具体实现过程如下:

Step 1:选择一个单独的待处理像素。

Step 2:判断像素的邻域。

Step 3:对邻域中的像素值应用一个求各个邻域的和并求局部极值函数,该函数将返回标量计算结果。

Step 4:找到输出图像与输入图像对应位置的像素,将该像素的数值设置为上一步中得到的返回值。

Step 5:对输入图像的每一个像素都重复步骤Step 1到Step 4。

2.4 基于四边形分片逼近控制点法的畸变校正模型参数的求解

多项式校正模型可以通过增加多项式次数来提高校正精度,其缺点是随着次数的增加计算量急剧增加。为了减少计算量,可使输入的控制点形成一个栅格,此栅格映射为输出图像中连通的、水平放置的矩形栅格。输入的控制点映射为相应矩形的顶点,同时,每个输入多边形内的各点映射成为对应输出矩形内的各点。可采用双线性插值进行控制栅格插值计算,而且可以产生一个能保持连续性和连通性的光滑映射。双线性空间变换的一般表达式是

本文在传统利用双线性插值进行控制栅格插值解算参数的方法上作了改进,提出了一种基于四边形分片逼近控制点法的畸变校正模型参数的求解算法。该算法的原理如下:通过重新定义式(2)中的系数a和e,可将等式(2)写为

其中:dx(x,y)和dy(x,y)表示像素的位移量,它们是x和y的双线性函数。图2中显示了这些位移量以及输入四边形和对应的输出四边形。这样问题就归结为如何为矩形内所有点确定dx(x,y)和dy(x,y)。既然dx(x,y)和dy(x,y)关于x,y是双线性的,则沿着每一个输出行,它们就关于x应是线性的。因此,对于每一行可以定义一个增量∆x如下(假定像间隔为1):

并类似地定义dx(x,y+)1。增量∆x随着行的不同而变化,但在输出矩形顶点的位移值可很容易地计算出来,即通过给定顶点的位移插值来求得。实现式(4)仅需要两个加法,一个用于dx(x,y),另一个用于dy(x,y),这样就可为每一个输出像素计算出相应输入点的坐标值,从而可以确定出每个输入多边形内的各点与对应输出矩形内的各点的映射关系。

对于视场大、图像失真特别严重的情况,用一个由四边形到矩形的映射不足以描述所期望的空间变换,这时可在输入图像中指定一组互相邻接的四边形,使之映射成为输出图像中一组相邻的矩形,可用最小二乘法求解模型参数。

2.5 输出图像像素点灰度级确定

当应用校正模型校正畸变图像时,虽然畸变图像的像素坐标为整数,但是校正后的坐标大多不为整数,因此必须使用相应方法确定输出图像像素点的灰度级。本文提出了两步一维线性灰度级插值向后映射的算法确定输出图像中像素点的灰度,具体原理如下:输出像素可依次地映射回到输入图像中,以确定其灰度级,如果一个输出像素被映射到四个输入像素之间,则其灰度值由灰度级插值决定。向后映射可逐像素、逐行地产出输出图像,每个像素的灰度级由最多四个像素参与的插值唯一确定。该方法可有效地防止图像信息丢失,避免出现空洞现象。

双线性插值方法是一种常用的灰度级插值方法,与最近邻插值相比,该算法精度高,没有灰度不连续的问题,但其较为复杂,计算量大,会影响到畸变校正的实时性。本文提出了一种两步一维线性灰度级插值方法,具体原理如下:

假定(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2)为与插值点(x,y)相邻近的四个点,灰度值分别为(z1,z2,z3,z4),其中x1≤x≤x2,y1≤y≤y2,双线性函数定义为z=f(x,y)=q1+q2x+q3y+q4xy。若固定变量x(或y),则函数f(x,y)与变量x(或y)成线性关系。

利用二维双线性函数的可分离性,即二维双线性函数可以看作两个一维线性函数的乘积,将二维双线性插值算法分为两步一维线性插值来实现:先沿着水平方向进行一维线性插值,再沿着垂直方向作一维线性插值,原理如图3所示。

由式(5)、式(6)可得:

式中:δx=x-x1,δy=y-y1,且0≤δx≤1,0≤δy≤1。

式(7)所得的结果与直接进行二维双线性法插值的结果相同,但本文提出的两步一维线性灰度插值方法大大提高了插值的计算效率,从而使畸变校正的实时性得以提高。

3 实验结果与分析

3.1 实验结果

采用本文所提出的基于四边形分片逼近控制点的数字图像畸变校正算法对课题组在研的搜救机器人视觉系统采集的图像进行畸变校正,算法实现的硬件平台为主频为600 MHz的TMS320DM6437 DSP,校正一帧图像所用的时间为0.036 s,即1 s内可以校正27帧图像,具有良好的实时性。图4~图6是采用搜救机器人的视觉系统采集到的发生畸变的图像并对其校正的结果。从图5和图6可知,图像的畸变被有效地校正,没有出现空洞和信息丢失现象,且图像的颜色没有发生失真,验证了本文所提出的算法的有效性。

3.2 畸变校正精度分析

为了获得校正精度,需要对畸变校正结果进行分析,可通过计算对应像素点的坐标残差的均方差δx、δy来衡量校正精度[12]:

其中:(xij,yij)和(xlij,ylij)分别为修正后的图像上点的坐标和理想成像状态下图像点的坐标。

通过对实验结果进行分析,本文所提出的畸变校正算法对搜救机器人视觉系统采集到的图像进行畸变校正的误差在0.31个像素以内,满足精度的要求。

4 结论

基于机器视觉的目标识别技术正得到广泛而深入地研究,而对视觉系统采集到的发生畸变的数字图像进行有效的校正是进行目标识别的前提。本文针对传统的图像畸变校正算法建模复杂、实时性差且图像信息宜丢失等缺点,提出了一种基于四边形分片逼近控制点的图像畸变校正算法。该方法以标准点阵图像作为量测目标,将数学形态学和滑动邻域操作相结合以确定畸变图像像素点质心,采用基于四边形分片逼近的方法来拟合高次多项式校正模型,运用两步一维线性灰度级插值向后映射算法确定输出图像中像素点的灰度。将该算法在主频为600 MHz的TMS320DM6437 DSP上实现,实验结果表明,校正一幅像素为768×494的图像所用的时间为0.036 s,畸变校正的误差在0.31个像素以内,有效地避免了边缘信息丢失、空洞及灰度失真现象。通过对实验结果进一步分析可知,论文所提出的基于四边形分片逼近控制点的图像畸变校正算法较好地解决了校正精度和实时性的矛盾,可满足工程应用的需要。

摘要：针对传统的图像畸变校正算法建模复杂、实时性差且图像信息易丢失等缺点,提出了一种基于四边形分片逼近控制点的图像畸变校正算法。该方法以标准点阵图像作为量测目标,将数学形态学和滑动邻域操作相结合以确定畸变图像像素点质心,采用基于四边形分片逼近的方法来拟合高次多项式校正模型,运用两步一维线性灰度级插值向后映射算法确定输出图像中像素点的灰度。将该算法在TMS320DM6437DSP上实现,实验结果表明,校正一幅像素为768×494的图像所用的时间为0.036s,畸变校正的误差在0.31个像素以内,有效地避免了边缘信息丢失、空洞及灰度失真现象。