数据可用率（精选10篇）
数据可用率 篇1
由科技部支持的国家863计划“绕月探测工程科学数据应用与研究”重点项目9月28日通过验收。
我国绕月探测工程首席科学家欧阳自远表示, “嫦娥一号”任务至此才算圆满完成, 该卫星获取的数据足够让科学家研究10年。
嫦娥一号卫星于2007年10月24日发射, 其搭载的8台有效载荷获取了大量探测数据。2010年12月, 在科技部支持下, 国家863计划重点项目“绕月探测工程科学数据应用与研究”正式立项。该项目由中科院负责组织实施, 获得了一系列科研成果和技术创新, 并组织建立起一支月球、行星及空间科学研究队伍。
在该项目牵引下, 大批技术创新成果涌现, 突破了包括微波辐射计在轨探测数据处理与月壤厚度反演新技术、激光高度计联合三线阵CCD立体影像摄影测量新技术、基于点扩散函数的CCD立体影像超分辨率重建技术、月球形貌地图制图技术、月表物质成分反演技术、近月空间粒子辐射环境模型与可视化技术、纳米离子探针微区定年技术等15项关键技术与方法, 为我国后续月球与深空探测的推进打下坚实基础。项目发表学术论文192篇、出版专著2部、申请国家发明专利34项、制定国家标准2项 (草案) 。
此外, 该项目还编制了我国首幅月球区域 (虹湾及其周边地区) 的地质图和月球构造纲要图, 获得月表7种元素、4种氧化物和4种矿物的全月含量及其分布图, 提出了岩浆洋结晶固化年龄为39.2亿年的新观点, 国际上首次获得4个频率下月球正午和子夜的全月球微波图像等。
数据可用率 篇2
2014年的520又来了，一生中只有一次，这么美好的日子您对你心中的那个她他有什么表示呢？华顺小编给大家推荐520送女朋友礼物可用可变数据印刷技术
想让你的女朋友上报纸头条？现在，通过可变数字印刷技术，可实现每张报纸都局部不同，换言之，让读者获得一张“私人订制”的报纸在技术上完全不存在问题。可变数据数码印刷是指在印刷机不停机的情况下，连续地印刷过程中需要改变印品的图文（也就是所谓的数据），即在印刷过程不间断的前提下可以连续的印刷出不同的印品图文。
数据可用性的评估方法分析 篇3
摘 要：针对日益突显的数据质量问题，文章从数据可用性的角度，介绍并分析了目前国内外基于单个属性的数据质量评估方法，指出了相关工作的进一步研究方向。
关键词：数据质量；可用性；评估方法
中图分类号：TP315 文献标识码：A 文章编号：1006-8937（2015）15-0062-02
随着大数据时代的来临，数据集合中劣质数据也随之大量产生，导致信息数据整体质量下降，数据的有效使用受到了极大限制。为了更加有效发挥各行各业大数据的作用，开展数据可用性研究具有较大的战略意义。
1 数据可用性定义
研究者们普遍认为，数据的可用性可以从数据的一致性、准确性、完整性、时效性及实体同一性五个方面进行考察，其具体定义如下：
①数据的一致性：指数据信息系统中各相关数据信息之间相容、不产生矛盾。
②数据的准确性：指数据信息系统中每个数据表示现实物体的精准程度。人们对数据进行操作的各个环节都可能影响数据准确性。
③数据的完整性：指数据集合包含的数据完全满足对数据进行各项操作的要求。
④数据的时效性：是指在不同需求场景下数据的及时性和有效性。对应用系统而言，往往对数据时效性要求较高，过时的数据即使分析出来了也不会对实际应用产生有价值的影响。
⑤实体的同一性：指同一实体在各种数据源中的描述统一。
一个数据集合，满足以上五个性质的程度称为该数据集合的可用性。
2 评估方法分析
对于数据可用性评估，国内外研究人员也进行了许多工作。以下从数据的一致性、精确性、完整性、时效性、实体同一性五个方面进行介绍和分析。
2.1 基于一致性的方法
文献[1]针对异地备份系统中数据持续变化的情况，设计并实现了一种基于累积摘要值的一致性检测方法。该方法解决了传统一致性检测需要中断备份任务的问题，保证了备份任务的连续性，并且能够迅速检测本地服务器和远程备份中心数据的一致性，提高了一致性检测的效率。
文献[2]从已有的一致性维护方法出发，针对海量数据多副本之间一致性维护，从一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容、更新冲突解决等几个方面进行了分析，提出了相应的解决办法。
文献[3]针对P2P分布存储系统中大型数据对象面临的数据一致性问题，提出了数据一致性维护方法PLCP。该方法从提高更新传播速度和减少日志空间开销的角度进行了数据优化。同时针对数据更新的问题和关键属性更新的问题，提出数据一致性维护方法DACP和KACP。
文献[5]从无线传感网络数据安全的角度，结合一些廉价的保护技术，提出了利用跨层一致性评估信息整体质量的方法。
基于数据一致性的方法，主要体现在集中存储方面，对于分布式和非关系数据方面研究还较少，适用于海量数据的一致性评估方法有待进一步探索。
2.2 基于精确性的方法
数据精确性方面的研究结果比较少见，文献[6]从精确度低的角度，提出了对应的精确性评估算法。该算法考虑了一种基于可能世界语义的描述方法。目前的研究结果显示，数据精确性的评估方法还有待研究者们深入探究。
2.3 基于完整性的方法
针对海量关系数据中普遍存在的数据不完整现象，刘永楠等研究了关系数据完整性度量问题。针对数据的完整性计算问题，提出了数据完整性计算模型，以及精确算法和基于均匀抽样的近似算法。理论分析证明了近似算法可以达到任意的精度要求，可以高效地对数据完整性进行计算，通过在DBLP数据上的实验验证了算法的有效性和高效性。
在具体应用领域，张少敏等利用IEC61970对智能电网进行信息集成，然后根据完整性定义，对智能电网数据进行自动机建模，给出了一种无需对数据进行直接操作的数据完整性定量评估模型。
Barcelo P等将传统的完整性理论扩展到XML数据上，讨论了不完整XML数据的表示问题。
另外，针对云存储服务中数据的完整性问题，一些研究者提出了PDP 和POR。这两种方案都采用了概率性证明思路，即存储服务提供商向数据拥有者证明其完整的持有数据拥有者存储的数据。
基于数据完整性评估方面的结论还较少，特别是具有普遍适用价值的方法，还有待进一步研究。
2.4 基于时效性的方法
文献[7]针对历史评价数据时效性会影响评价计算准确性的问题，引入了评价数据的时间属性，构造了评价数据衰减因子，减小了时效性对于评价计算准确性的影响。
文献[8]研究了包含冗余记录的集合在给定时效约束下的时效性判定问题，并首次提出了时效性判定问题的求解算法.
在建筑能耗领域，文献[9]通过对几类典型公共建筑能耗数据的统计分析对比，提出了采用近1年的能耗数据作为统计样本的建议。
基于时效性方面的研究非常匮乏，已有的少量研究结论都主要针对一些特殊应用，还需深入系统的研究。
2.5 基于实体同一性的方法
实体同一性是数据可用性研究较多的一个方面，实体同一性研究主要涉及两类方法：第一类是从语义规则的角度进行同一性研究，这类方法主要通过经验知识来描述实体的同一性问题；第二类是从相似性的角度进行同一性研究，该类方法主要采用相似度函数来对实体同一性进行判定。
针对实体同一性方面的相关技术，包括实体识别的效率问题、识别的增量计算、半结构化数据上的实体识别等，文献[4] 展开了相对完整的讨论。
对于实体统一性的评估方法大多针对关系数据，针对复杂结构数据、半结构化数据、非机构化数据方面的研究还很少。
3 结 语
在大数据时代，数据量急剧增长，数据的可用性问题将严重影响基于数据的知识和决策。确保大数据的可用性是进行大数据分析、处理的关键基础，将直接关系到大数据价值的体现。本文针对数据质量问题，从数据可用性的角度，介绍并分析了目前国内外基于单个属性的数据质量评估方法，将有助于促进大数据可用性的研究。
参考文献：
[1] 刘仕一，李涛，刘哲哿，等.异地备份系统数据一致性检测方法[J].计算机工程与设，2010，（17）.
[2] 周婧，王意洁，阮炜，等.面向海量数据的数据一致性研究[J].计算机科学，2006，（4）.
[3] 周婧.P2P分布存储系统中海量数据的数据一致性维护技术研究[D].长沙：国防科学技术大学，2007.
[4] 刘显敏，李建.中实体识别问题的相关研究[J].智能计算机与应用，2013，（2）.
[5] Mattia Monga，Sabrina Sicari.Assessing Data Quality by a Cross-Layer
Approach[D].Ultra Modern Telecommunications & Workshops，2009.
[6] Cheng R，Chen J，xie X.Cleaning uncertain data with quality guarant-
ees[J].Proceedings of the VLDB Endowment，2008，（1）.
[7] 杨超，吴爱荣.基于衰减因子的评价数据时效性处理方法[J].计算机工程与设计，2010，（3）.
[8] 李默涵，李建中，高宏.数据时效性判定问题的求解算法[J].计算机学报，2012，（11）.
数据中心高可用性网络设计 篇4
1980年2月,IEEE(Institute of Electrical and Electronics Engineers美国电气和电子工程师协会)802委员会宣告成立,该委员会被分成多个工作组,其中IEEE 802.3任务是制定基于以太网技术的标准。2010年6月17日,IEEE 802.3ba标准正式获批,这意味着以太网服务器连通性和核心交换产品将进一步发展。过去的三十年间,基于以太网技术的产品和应用不断丰富完善,以太网速率的标准已经从最初的10M增长到40G/100G。信息技术与用户需求相互趋使,这一系列的发展不只是一味的提速与技术的革新,更是对用户服务的一种改善,为用户提供高效的服务,那么提高数据中心的业务服务质量关键之一网络的高可用性就显得格外重要。
1 高可用性的关键技术
为了提高网络的可靠性、故障自愈性,在网络的设计中就要充分考虑网络节点冗余、链路冗余,正是网络的冗余设计使网络环路出现产生新的风险,为了消除网络环路,生成树技术(STP)应运而生,但带来链路利用不足的问题,于是多生成树技术(MSTP)出现实现了链路流量的负载分担,却带来配置的复杂,对运维人员的技术水平要求较高。如前所述,网络的提速与技术的革新是对用户服务的改善,运用一些最新的技术提高可用性是网络设计的关键,本文简要介绍部分已经运用到数据中心网络的最新成熟技术[1,2]。
1.1 虚拟化技术
交换机虚拟化技术是由最初的网络简化技术——级联(Uplink)演化而来,它是将多台设备整合成一台虚拟设备,形成一个有机的整体实现统一的运行管理,减小网络规模。这一技术是当前各个厂商重点的研发方向,国际上并没有形成统一标准。
第二代智能弹性架构(Intelligent Reslilient Framework2, IRF2)是杭州华三通信技术公司自主研发的交换机虚拟化技术,主要特点是简化管理、简化网络运行、网络扩展性好、支持丰富的功能。
StackWise Plus是思科公司的StackWise的最新升级技术,其支持跨堆叠的以太网通信连接使本地交换效率更高,支持高速融合应用。VSS是思科公司一种网络系统虚拟化技术,将两台Catalyst 6500系列交换机组合为单一虚拟交换机,从而提高运营效率、增强不间断通信,并将系统带宽容量扩展到1.4Tbps。
1.2 故障检测技术
为了减小设备故障对业务的影响、提高网络的可用性,设备需要能够尽快检测到与相邻设备间的通信故障,以便能够及时采取措施,从而保证业务继续进行。现有的故障检测方法主要包括硬件监测、慢HELLO机制监测和其他监测机制。双向转发检测(Bidirectional Forwarding Detection,BFD)是使用类似简单Hello 协议的一套全网统一的检测机制,用于快速检测、监控网络中链路或者IP 路由的转发连通状况,保证邻居之间能够快速检测到通信故障,从而快速建立起备用通道恢复通信。目前该技术支持多家厂商设备,并且具有良好的应用功能。
1.3 端口安全技术
在数据中心接入层采用相应的端口安全技术,避免终端设备对数据中心网络的冲击。端口环路监测是设备通过发送环路监测报文、并监测其是否返回本设备(不要求收、发端口为同一端口)以确认是否存在环路,若某端口收到了由本设备发出的环路监测报文,就认定该端口存在环路。边缘端口技术是针对接入层设备,接入端口一般直接与终端服务器相连,正常情况下应该不会收到STP的配置消息,此时接入端口被设置为边缘端口。当这些端口接收到配置消息(BPDU报文)时,系统会自动关闭端口,避免重新计算生成树,引起网络拓扑结构的变化[3,4,5]。
2 数据中心网络设计
数据中心网络规划设计涉及到网络架构、协议选择、流量规划等多方面问题,还需考虑用户环境、业务特点等多方面因素,所以在规划时需要考虑因地制宜,综合考虑各方面的影响,为此,本文制定以下数据中心网络设计原则:
(1)层次区域化
采用分层、分区的模块化规划方法,根据网络的访问层次不同,划分为核心层、汇聚层、接入层,根据承载的业务类型不同,划分为不同的区域。
(2)高可用性
(3)可扩展性
具有平滑扩展的能力,能够随时通过增加网络设备或模块来扩展、升级整个网络系统,同时保证原有设备的正常使用[6]。
2.1 总体架构
数据中心核心层部署两台核心交换机,核心交换机之间通过两对光纤跨板捆绑互联,向上与路由器互联;汇聚层每个区域部署两台交换机并虚拟为一台交换机,两台交换机通过两对光纤跨设备上联至核心交换机;接入层部署为每两台交换机虚拟为一台交换机,两台交换机通过两对光纤跨设备捆绑上联至汇聚交换机,如图1所示。
2.2 路由规划
全网运行OSPF(Open Shortest Path First,开放式最短路径优先)协议,共划分3个区域(Area);骨干区(Area 0):发布核心交换机之间、核心交换机与汇聚交换机之间链路地址段;业务1区(Area 1)、业务2区(Area 2):发布业务1区、业务2区业务地址网段。业务VLAN的三层网关均终结在汇聚交换机上,汇聚交换机与核心交换机之间通过COST值的计算,使得流量上下行一致[7,8]。
2.3 高可用性设计
(1)网络简化
业务1区、业务2区的划分减小了路由振荡的范围,将它们配置成末梢区域(Stub Area),进一步减少不必要的路由条目,同时新增的业务单独划分区域,互不影响。
接入交换机和汇聚交换机采用虚拟化架构,每两台交换机(也可以是多台)配置成一个虚拟组,接入交换机与汇聚交换机之间通过跨设备捆绑链路连接,因此接入交换机和汇聚交换机间不存在二层环路,简化了网络设计。
(2)故障自愈
核心交换机与汇聚交换机之间通过BFD技术实现链路的快速故障检测,减短故障路由收敛时间。当汇聚层虚拟组一台交换机设备出现故障,服务器不感知,只由接入交换机将流量转发到另一条聚合链路;当接入层虚拟组的一台交换机出现故障,服务器网卡进行切换,通过另一台交换机即可恢复网络通信,而汇聚层设备无需任何变化,数据流仍从同一聚合链路进入网络。
(3)安全可靠
业务1区、业务2区连接终端设备的交换机,开启端口安全配置,从最底层防护网络安全。
3 结束语
数据中心网络建设是一项系统工程,需要从多方面考虑设计,特别是网络的可用性更是信息平台的基础保证。随着技术的演化,化繁为简、故障自愈、安全可靠——下一代网络初见端倪,如何灵活构建高性能的网络成为热点。另一方面技术的运用也不能解决所有问题,还需要完善的运维和管理,并结合信息业务的发展趋势,不断优化。
参考文献
[1]许高攀,曾文华.高可用系统技术研究[J].微计算机信息,2010,26(5-3):5-7.
[2]邓世友.企业数据中心高可用性网络系统设计[J].IP领航,2011,4:39-47.
[3]江小云.企业网络信息建设中网络安全的探讨[J].微计算机信息,2007,23(8-3):69-71.
[4]孔靓,贾美娟,李梓.网络安全关键技术研究[J].信息技术,2012,4:48-49.
[5]张剑寒,聂元铭.数据中心安全防护技术分析[J].技术研究,2012,3:56-57.
[6]陈利,方三辉.数字油田基础网络构建技术研究[J].信息技术,2012,4:71-72.
[7]赵吉志,李金,姚萃南.云计算数据中心及标准化发展[J].标准化研究,2011,3:30-31.
数据可用率 篇5
本文介绍三种可用性测试方法，可能很多朋友已经知道，不过对于网站设计师来说可用性测试时十分重要的，所以再次整理出来供分享。
我们先说下为什么可用性测试如此重要。
首先可用性测试可以发现你网站的潜在问题，通过可用性测试获得的反馈数据，可以了解一个用户在你网站中做了什么，以及用户如何看待和理解你的网站。
此外优秀的可用性性网站可以增强用户的互动性，用户也更愿意将网站分享给其他人。对于电子商务网站来说，可用性可以增加网站转化率。
总之可用性可以增加你网站的附属价值，而如何对网站进行可用性测试则是本文将重点谈到的内容
三种可用性测试方法
可用性测试的方法其实有很多(大概有20多种)，而且在不断发展，不过本文将主要介绍的三种方法是最常用的可用性测试方法。对于任何网站来说几乎都需要使用。
单一的可用性测试
单一的可用性测试时最简单的测试方法，主要是测试网站的程序，导航结构，布局等的使用是否正常，
也就是保证网站的所有功能和页面都能正常访问和使用。
A/B可用性测试
A/B可用性测试是将A和B两个网页之间的用户使用情况进行对比，一般这两个网页都是相关的，比如更换网页上的某个按钮夜色，导航条选项，文字内容等。然后将更改过的网页与未更改的网页进行可用性测试对比，看看用户对于更改后的使用情况区别。
一般A/B测试就是为了调整网页上的局部元素而做的细节测试。下图是使用A/B测试两个搜索引擎的用户使用习惯，图中的许多圆点就是用户视觉关注点。
偏好可用性测试
下图是一个偏好可用性测试案例，两张图片并列，从用户视觉停留上来发现用户更喜欢哪张图片，通过偏好可用性测试可以了解哪些新共更能或元素更吸引用户。从而对网页进行调整。
可用性测试的目的都是为了发现问题，对于一般设计师来说不一定需要很多人参与才能做可用性测试，找几个朋友或者2~3也可以做测试。
数据可用率 篇6
电力行业集中式数据中心是电力企业应用系统数据共享的平台, 在解决核心业务数据安全性的同时, 逐步在软硬件基础设施架构方面形成了一套相互备用的一体化高可用体系[1]。随着管理信息化业务应用更多地向“优质服务”方向倾斜, 信息系统的稳定性和易用性不仅体现在企业日常生产和经营管理中, 也是一种企业社会形象的展示。随着电子商务平台、95598等关键应用的上线投运, 任何服务中断都将造成不可估量的损失, 甚至承担法律风险, 服务的高可用性也越来越重要。基于上述原因, 电力数据中心的运行也突破了传统“服务于企业内部应用的信息机房”的认知, 逐步趋近于大型互联网数据中心的运作模式。
1 电力数据中心高可用性
高可用性 (High Availability) 是一种理念, 并不特指一项或一系列具体技术。广义的高可用性不仅包括软硬件基础设施架构、软件架构的设计和开发, 还包括治理和管控体系。系统高可用性规划是以“业务需求和目标为驱动, 标准体系和系统建设并重”为原则进行的, 必须从系统规划阶段开始考虑高可用性。电力数据中心的建设同样遵循上述原则, 在规划设计阶段重点是软件应用体系架构, 运行阶段重点是IT基础设施架构体系。
IT系统的高可用性主要是通过系统的可维护性和可靠性2个指标进行衡量。通常, 以平均检修时间 (Mean Time To Repair, MTTR) 评价系统的可维护性, 以平均无故障时间 (Mean Time To Failure, MTTF) 评价系统的可靠性, 其中MTTR和MTTF之和称为平均失效间隔时间 (Mean Time Between Failure, MTBF) 。一个IT系统的可用性通常被定义为:
业内通常使用量化百分比数值评估系统的高可用性级别, 高可用性级别指标越高, 系统的服务失效时间就越短。但当指标越趋近于100%, 带来的投资就越高。系统在达到一定的高可用性级别后, 微小的提升就会带来巨大的投资成本[2], 可用性指标与投资成本关系如图1所示。
数据中心作为电力企业信息化的支撑载体, 在运行模式和技术路线选型中, 不可避免地与互联网产生越来越多的交集。但电力企业不同于互联网企业的经营模式, 其信息化建设旨在管理提升和精益化, 扩展规模和选型换代的周期要相对趋缓。因此, 电力企业信息化建设必须合理地评估和渐进式改造, 以期获得合理的投入产出比。目前, 电力数据中心面临的主要问题是:如何在尽可能提升信息系统可用性的同时, 保护现有投资, 降低系统服务中断的损失, 科学理性的增长投入。通过现阶段IT领域的技术进步, 适当引入新技术和新装备, 适应性调整现有的信息系统, 进而达到逐步改良提升整体可用性的目的, 是当前能够采取的优化原则。
2 相关技术及设备
2.1 异构数据库读写分离
业务数据量的大幅增长, 使得如增、删、改、查等数据操作的开销变得越来越大。业内较为主流的商用数据库虽然提供了扩展能力, 但节点扩展带来了建设和运行成本的大幅增加, 且无法根本提升单次操作效率。最终, 数据库所能承载的数据量和数据处理能力, 特别是联机事务处理 (On-Line Transaction Processing, OLTP) 类应用将面临瓶颈。依据OLTP应用数据库的相关研究[3], 其架构演进通常分为3个阶段。
1) 第1阶段:系统采用LAMP (Linux+Apache+My SQL+PHP) 架构, 数据库采用单机或开源数据库, 系统分为前台和后台, 分别采用PC服务器和低端存储部署。
2) 第2阶段:系统架构保持不变, 各模块软硬件配置升级, 数据库逐步从单机、开源向商用数据库过渡, PC服务器逐步升级到中高端小型机, 低端存储升级为高端存储。
3) 第3阶段:核心业务保持高端数据库不变, 或是逐步向开源分布式数据库迁移, 并完成读写分离;非核心业务直接迁移至开源分布式集群。系统按部署层次, 逐步采用大量低端廉价PC服务器构筑云支撑体系。
目前, 电力数据中心正处于第2阶段的深化期, 已投运系统较好地满足了业务快速发展的需要, 建立了以关系型数据库为核心、中间件为基础的3层应用开发架构。但随着业务量的快速增加, 这种单实例数据库的弊端正在快速显现:业务系统耦合程度加大, 多维数据多, 各类数据整合在一起且相互之间存在关联查询;业务应用覆盖面增大, 用户逐步增加以及历史数据的积累, 使得单次查询效率较低, 由此导致用户体验差;极易导致资源耗尽或服务意外终止, 阻碍业务应用的进一步集成和数据的高层次共享。
为保障业务应用的功能优化和深化完善, 有必要根据不同的业务模块进行数据库业务切分, 使得不同模块的数据分离, 避免相互之间的影响。电力数据中心可以在此基础上形成独特的企业数据服务技术路线, 即以成熟商用数据库为主用数据库, 利用其完善的写保护机制和产品体系保证数据的准确性和可用性;以“开源数据库+二次开发”打造辅助数据库资源池, 实现结构化和非结构化数据的读写分离和资源按需扩展;针对信息系统开发制订相应的数据处理规则引擎的技术标准, 达到统一设计的目的。数据库读写分离逻辑实现如图2所示。
2.2 异构数据库读写分离的技术路线
异构数据库读写分离的技术路线可以通过以下产品和技术实现。
1) 主用数据库为商用数据库集群, 提供数据的安全性和高可用性保证, 保护原有投资。
2) 辅助数据库资源池采用开源软件, 数据分片、分库分表, 每个节点放置少量数据, 数据分片内部采用复制机制。
3) 辅助数据库资源池各节点配置超大内存, 充分发挥Cache作用, 便于提高数据查询效率。
4) 主用数据库到辅助数据库资源池集群之间采用规则复制。
5) 分区索引的选择非常关键, 在系统研发过程中必须明确规范, 尽量让特定业务的数据访问落在单个数据库上。
6) 架构充分考虑了可持续性, 充分利用了现有的投资和已有高端硬件。
2.3 服务器PC化
从目前的计算机发展方向看, 小型机将趋于微型化逐步被PC服务器所取代。小型机承载的是稳定的“各类”服务, 多应用在科学计算、军事仿真等领域, 同PC服务器的主要差异体现在处理特定的连续需求的稳定性上。随着计算硬件技术的飞速发展, 芯片速率和集成度大大提高, 各种硬件成本不断下降, 各种软件技术不断融合, PC服务器和小型机的处理能力越来越接近。在能力日趋接近的同时, 由于小型机的CPU及计算架构为了更高的稳定性, 采用了复杂的设计 (RISC指令集) , 成本更高。各类服务器最为脆弱的部件是硬盘和电源, 这些部件在服务器的设计中已充分考虑“冗余性”。同时, 服务的可靠性并不仅仅依赖于硬件, 软件的架构设计也极为重要。
电力数据中心现阶段主要承载业务分为2类:面向企业内部的管理信息系统和面向社会大众的营销及客户服务系统, 主要以Web服务为主, 并不涉及专业的高精度科学计算。在高可用技术普遍应用的前提下, 小型机的稳定性、处理能力等优势并不突出。基于以下几个方面的考虑, 电力数据中心的服务器PC化将逐步成为发展方向。
1) 信息安全的要求。小型机核心技术掌握在少数国外厂商手中, 日益严峻的信息安全形势迫使电力行业在产品选型过程中更为谨慎。同期, 国内IT厂商在x86架构PC服务器方面的进步显著, 已经完全可以取代国外厂商。使用自有产权的产品, 可以有效地降低信息安全失窃密风险。
2) 投资成本的考虑。由于技术性垄断, 国内小型机的采购费用远高于全球平均水平, 近年来小型机世界各地售价比较见表2所列 (2012年赛迪网的统计数据) 。这种技术和价格的壁垒拉高了国内各行业信息化投资。
3) 新技术带来的革新。云计算、分布式计算和负载均衡等技术的快速发展, 使得原有高度集中的应用部署方式逐步向分布式计算发展, 主流集群技术已经使PC服务器能够提供媲美于小型机的处理能力和稳定性。
4) 维护门槛的降低。有助于节约后期运维费用, 灵活地应用到更加需要的领域内。
2.4 大容量固态硬盘
固态硬盘 (Solid State Disk, SSD) 通常按照存储单元介质不同划分为:闪存 (Flash芯片) 硬盘和动态随机存取存储器 (Dynamic Random Access Memory, DRAM) 硬盘, 其接口、规范、功能及使用方法上与现有的传统硬盘完全相同。传统硬盘属于磁盘, 通过磁盘的快速旋转和磁头的移动来完成数据读写;固态硬盘属于电子器件, 采用电子读写来访问数据。在读写速度上相比, 传统硬盘I/O操作的劣势极大。磁盘I/O是业务响应的瓶颈所在, 其发展的速度已无法跟上计算机其他核心部件的发展。磁盘的容量不断增大, 但是在过去十多年中, 其读写响应速度才提高30%。而同期, 网络数据传输、处理器主频均有指数级提高。
固态硬盘未大范围普及使用的根本原因在于其价格昂贵和数据安全性。在价格方面, 固态硬盘技术遵循摩尔定律, 其快速发展在带来容量增加的同时, 价格也在不断下降;在数据安全性方面, 固态硬盘内部没有任何机械结构, 数据被零散地分散在各个闪存中, 恢复数据较困难, 但随着固态硬盘RAID技术的发展, 数据安全性问题通过冗余性设计已得到了有效解决。
目前, 电力数据中心已经基本建成了高可用性、高可扩展性的业务应用集成平台, 集群技术得到了广泛应用, 磁盘I/O的优劣成为直接影响集群对于数据处理的关键因素[3], 对OLTP和联机分析处理 (OnLine Analytical Processing, OLAP) 的统计分析类应用影响较大。在优化查询设计的同时, 通过引入企业级固态硬盘, 能够短时间内解决此类问题。在运行实验室中搭建仿真环境, 进一步论证了上述观点。普通硬盘和大容量固态硬盘的性能比较见表2所列。
2.5 虚拟化资源池的使用
在企业信息化建设初期, 业务应用依托专用服务器, 底层软硬件资源“专有化”的趋势非常明显。随着业务容量和种类的快速增加, 业务应用的架构不断调整、优化和重组, 既有的“专有化”使用策略异常笨拙, 无法满足业务应用快速、灵活部署的需求。
随着云计算技术的推广使用, 电力集中式数据中心基于Iaa S逐步建立起独有的软硬件资源池。目前主要采用以下3种方式构建企业软硬件资源池[4], 根据业务应用系统的架构特性和业务特征等建立不同的“池化”策略, 以承载不同特性的关键应用。
1) 使用主流的开源或商用虚拟化软件, 对x86架构的PC服务器进行虚拟化改造, 以承载Web服务和中间件等。
2) 使用硬件厂商独有分区技术, 对RISC架构的小型机进行虚拟化改造, 以承载数据库服务。
3) 使用大型主机或专用服务器, 部署负载均衡设备, 在特定的耦合策略下, 多业务应用共享底层硬件服务器, 通过不同的服务IP和端口对外提供服务。
通过业务系统和虚拟资源映射, 虚拟资源和实际物理资源映射, 在系统架构层面构成标准化的虚拟资源池[5], 具有易扩展性和高可用性。但虚拟化技术在应用过程中也存在缺陷和不足, 如安全管理、资源使用效率等问题。多业务应用共用底层硬件支撑平台, 虚拟化交换机的不当配置, 使得传统在使用独立硬件时可以方便隔离管理的数据安全性问题集中突出。同时, 虚拟化软件通过文件系统作为中间层来完成顶层应用和底层设备资源之间的交互, 增加了CPU和硬盘I/O的开销。
电力数据中心软硬件资源池的演进是一个技术博弈的过程。虽然虚拟化技术凭借其部署和运维的便捷性, 有着不可替代的优势, 但是其并未真正打破传统物理服务器的壁垒, “池化”的过程依然存在反复。未来的电力数据中心资源池必然是充分优化的物理部署和虚拟部署的结合体 (见图3) 。从安全性、易管理等角度考虑, 传统的硬件资源使用方式依然有非常大的利用空间, 虚拟化则从快捷性、灵活性的角度加以补充, 成为一体化业务应用系统集成平台的“调峰电厂”, 电力数据中心可以根据业务类型来确定资源池的使用方式, 分别为适用于云计算的应用系统和适用于企业内部的应用系统设置专用的集成策略, 如使用企业内部应用系统来处理大部分交易和历史数据, 使用云应用系统支持更加动态的业务要求。
3 结语
电力数据中心经过近年来的快速发展, 所承载的业务应用面临着进一步的完善提升, 要切实解决“如何更好使用, 如何更好维护”的问题。依据“十二五”建设规划, 电力数据中心正在由生产/灾备的模式逐步向“双活”模式转变。在满足数据零丢失的情况下, 尽可能缩短数据中心的恢复时间, 从宏观层面上提升数据中心的可用性。作为数据中心稳定运行的重要支撑, 信息系统的高可用性架构也需进行相应调整。本文所讨论的若干关键技术, 可以在当前技术发展的水平上, 有效地渐进式提升整个数据中心的高可用性。下一步将针对特定的技术进行进一步的论证和分析。
摘要：电力数据中心在建设过程中, 面临着行业内外部用户不断增长的可用性要求。通过提升设备冗余性来提升可用性的同时, 也带来了建设成本的大量增加。随着新的信息技术和设备的不断实用化, 为电力数据中心渐进式优化部署架构, 提升整体可用性提供了新思路, 有效地缓解了投资成本与可用性指标提升之间的矛盾。文章从高可用架构演进和电力集中式数据中心高可用性需求入手, 对当前数据中心运行维护过程中高可用架构中存在的待改进问题进行剖析, 并对相关技术发展趋势及其在电力数据中心中的应用和演进前景进行阐述。关键技术的研究可以在当前技术发展的水平上, 有效提升整个数据中心的高可用性。
关键词：数据中心,高可用性,软硬件资源池,固态硬盘
参考文献
[1]王继业.电力企业数据中心的建立及其对策[J].中国电力, 2007, 40 (4) :69–73.WANG Ji-ye.Establishment and policy for electric power enterprise data center[J].Electric Power, 2007, 40 (4) :69–73.
[2]CHEN Rong, FENG Yao-wen, LI Xu-tao.High availability design and implementation of TGPMS system[C]//Systems and Control in Aeronautics and Astronautics (ISSCAA) , 2010 3rd International Symposium on, 2010:316–320.
[3]姜承尧, 陈庆奎.基于固态硬盘数据库在OLTP应用中的优化研究[J].计算机时代, 2010 (8) :37–39.JIANG Cheng-yao, CHEN Qing-kui.Research on SSD-based database optimization in OLTP application[J].Computer Era, 2010 (8) :37–39.
[4]胡威, 沈亮, 刘冬梅, 等.软硬件资源优化整合与绿色数据中心[J].电力信息化, 2009, 7 (9) :44–47.
数据可用率 篇7
2005年以来, 随着中国的工业经济步入“高增长平台”, 伴随着固定资产投资高速增长, 对外贸易增幅持续上扬, 国际收支顺差不断上升, 中国的工业经济出现了一个新的问题, 即所谓的“工业产能过剩”的现象。尤其对于钢铁、电力等行业的产能过剩问题引起了广泛的关注。关于产能过剩并没有统一的界定标志, 欧美等发达国家一般用产能利用率或设备利用率指标衡量是否存在产能过剩及过剩程度。美联储认为, 如果产能利用率达到85%, 就可以认为实现了产能充分利用。超过90%, 则可以认为产能不足, 有可能引起通货膨胀。如果明显低于79%—83%区间, 则说明可能存在产能过剩。本文主要测定我国工业产能利用率的状况, 然而, 并没有产能利用率的相关数据, 需要找个替代指标——固定资产周转率来估算出产能利用率, 固定资产周转率=产品销售净额/固定资产年平均净额。因为产能利用率=实际产能/潜在产能。即表示会计期内单位固定资产生产的产品价值, 也就含着产能利用率的水平。
一、文献综述和分析框架
(一) 文献综述
已有文献中, 关于产能利用率的考察并不是很多, 孙巍等学者用成本函数的方法核算过产能利用率, 但是计算量相对较大。很多文献对具体行业的研究都表明产能过剩问题严重, 但是大多是基于产品生产过多, 而消费低迷的宏观层面, 在微观层面并没有进行量化, 很难具有说服力。比较而言, 对于产能过剩研究的相对全面, 如林逸夫 (1997) 对产能过剩的形成机制的研究很好地解释了像钢铁等行业在价格下降的情况下, 还有企业愿意投资的现象。认为像中国这样快速发展的大国而言, 很容易出现投资行为的“潮涌现象”。
产能利用率较低, 说明存在着产能的过剩现象, 但是追寻产能过剩的本质层面上, 主要是由两方面组成的。一是供给层面, 两大主体推动了产能过剩的形成。首先是企业这一直接的推动者, 企业出于获利动机, 安置空闲的产能以便适应当市场需求突发性的增加时, 企业有能力在短时间生产出产品, 获得利润。此外, 企业追求规模经济的行为也将导致生产能力的过剩。另一个推动主体便是政府, 政府为了防止需求短时期增长迅速而导致价格呈J形曲线增长, 以至于人心恐慌, 危害社会经济秩序的情况发生, 要求企业备有充足的生产能力, 能够顺应市场的变化以达到平稳物价的政治要求。就我国而言, 由于中央政府和地方政府信息的不对称性, 地方政府为了提高绩效, 增加GDP, 盲目的上大项目, 当这些项目投入生产后, 一旦供过于求, 就会导致产能过剩的局面。二是需求方面, 需求具有不确定性, 本来市场前景很好, 于是投资扩大生产规模, 但由于对需求的变动并没有做出正确的估计, 一旦新的生产能力形成之后, 需求萎靡, 将会造成生产能力的大量空置, 而这些产能又不能及时撤销, 从而导致产能过剩。
(二) 分析框架
产能力利用率具有两个方面的重要意义:一是能够明确经济趋势、划分经济阶段。当利用率过高时, 说明市场活跃, 经济呈增长趋势;当利用率过低时, 市场萎靡, 经济呈衰退趋势。二是可以判断利润增速。稳定的宏观经济环境中, 产能利用率的上升说明企业产量较高, 在价格水平稳定的情况下, 获得的利润也就越多。因为无法高效、准确地计算产能利用率, 本文使用相对产能利用率, 即假定2004年工业产能的利用率为80%, 表明所有行业产能利用状况比较好, 以此为基准, 计算2004~2010年的相对产能利用率。相对产能利用率=【固定资产周转率 (本期) /固定资产周转率 (基期) 】×基期产能利用率。以2004年为基准年来分析近年来产能利用率的状况。
在得出相对产能利用状况后, 采用面板数据的分析方法来分析什么因素对产能利用率有较大的影响, 本文使用了投资和企业数目两个变量。在利用数据方面, 采用面板数据来分析投资与企业数目和行业的相对产能利用效率的关系更为可靠。因此, 本文对2004年至2010年我国39个工业行业的面板数据进行单位根检验的基础上, 确立回归模型。
二、单位根检验及模型的设定
单位根检验是序列的平稳性检验, 如果不检验序列的平稳性而直接进行回归容易导致伪回归。因此, 为保证面板数据的平稳性, 需要对产能利用率、投资金额和企业数目进行平稳性检验。为了消除数据中可能存在的异方差, 对面板序列进行取对数处理。由于单位根检验结果说明数据是平稳的, 可以使用Eviews6做回归分析, 选出最有说服力的模型 (个体固定效应回归模型) 来进行分析。即:
其中R2可决系数, 可决系数越大, 自变量对因变量的解释程度越高, 观察点在回归直线附近越密集。该模型的R2较高, 说明拟合效果较好。同时t检验结果表明投资对相对产能利用率有正向的显著影响, 而企业数目与相对产能利用率呈负向关系。
三、结论和政策建议
本文通过研究变量之间的均衡关系得出以下结论:
1.投资对产能利用率有显著的影响, 企业投入资金能够促进产能利用率的提升, 但是这必须建立在经济社会对企业产品的需求呈上升的阶段下。当需求减少时, 因为投资而新增的产能将会出现闲置, 反而影响了产能利用的效率。由于发展中国家靠大量的投资拉动经济增长, 所以由投资过度而引发的产能过剩现象在发展中国家容易出现。一般而言, 任何一个行业供求不可能完全达到平衡。从行业发展的角度来看, 适当的富余产能有利于行业发展。一方面它可以在一定程度上阻止新的竞争者进入该行业, 防止过度竞争的局面;另一方面它可以促使行业形成优胜劣汰的机制, 有利于落后产能的淘汰, 优化产业结构。但是, 如果这部分富余产能超过了一定的限度, 生产设备大量闲置, 就会造成很大的浪费, 带来一系列负面影响。
2.企业数目对产能利用率有负面的影响, 企业数目越大, 越难以形成规模经济效益, 小企业没有雄厚的资金, 技术上的支撑, 难以实现最优的生产绩效。这和现实中所观测的结果是相同的, 随着实际企业数目的增大, 行业中产能过剩的情况将会越发严重, 激烈竞争导致价格大幅下跌, 投资回报低落, 甚至大量企业亏损破产甚至金融机构呆坏账持续上升等后果。所以适当控制企业数量是非常必要的。
政府在制定政策时, 应该引导企业的投资行为, 将资金投入新兴行业中, 避免投资流入已经过剩的行业。应该鼓励技术创新, 技术上的进步能够带来生产方式上的变革, 能够促进经济的飞跃式增长, 这已成为不争的事实, 改革开放以来, 中国的经济实现了持续的高增长, 技术进步的影响日益突出。所以必须完善制度以促进我国向创新性国家转变。此外, 及时、全面的信息公告制度能够缓解和避免由于信息不对称而导致的社会资金涌入一个或几个特定的行业中。政府应该积极建立信息公开制度, 并且发挥政府的总量信息优势。作为发展中国家而言, 必须建立完善的宏观监管制度, 充分利用发展中国家的后发优势和经济全球化的有利条件, 推动国民经济稳定、快速、持续、健康地发展。
参考文献
[1]林毅夫, 巫和懋, 邢亦青.“潮涌现象”与产能过剩的形成机制[J].北京大学中国经济研究中心.2009.
[2]刘林, 张思彤.投资与产能利用率:面板因果关系的检验[J].产业研究.
[3]林毅夫.潮涌现象与发展中国家宏观经济理论的重新构建[J].经济研究, 2007 (1) .
数据可用率 篇8
前曾于本刊获登《企业服务器虚拟化应用平台搭建及应用研究》一文 (2009年12月, 以下简称前文) , 内中述及虚拟化概念之源起与发展此不赘述, 前文主要从采用转化软件将物理服务器转为虚拟机或镜像应用出发, 将虚拟化技术应用在企业生产环境服务器整合、安全备份、灾难恢复、硬件迁移等方面。近期在企业生产环境中持续不断应用虚拟化技术, 利用其高可用性功能, 逐渐建立“虚拟化”的数据中心。我们采用VMware的v Sphere企业架构软件中High Availability (简称HA:高可用性) 软件组件, 配合原有的服务器与存储等硬件设施, 建立了小型化的虚拟数据中心, 成为现有数据中心的绿色组成部分, 并为今后建设全数据中心虚拟化做前期准备。
二、虚拟机与VMware的v Sphere
虚拟化技术诞生直到现在, 主要采用在系统虚拟化领域, 系统虚拟化又称服务器虚拟化, 是最早的虚拟化技术实现形式之一。系统虚拟化是指将一台物理计算机系统, 虚拟化为一台或多台虚拟的计算机系统。每个虚拟的计算机系统 (简称为虚拟机) 都拥有自己的虚拟硬件 (如B I O S、C P U、内存等) , 构成独立的虚拟机执行环境。通过虚拟化层的模拟, 虚拟机中的操作系统认为自己独占整个硬件系统在运行。每个虚拟机中的操作系统可以完全不同, 并执行各自独立的应用程序。这个虚拟化层即虚拟机监控器 (Virtual Machine Monitor, VMM) 。正如前文中所述, “虚拟机技术主要应用于服务器整合, 即将多台服务器的内容合并到少数服务器中, 这样仅需使用较少的计算机即可完成更多的工作”。“更多使用虚拟机”显而易见可降低购买更多硬件的成本, 同时, “可在一定程度上避免由更多物理机器的存在带来的一系列问题……诸如能耗、散热、空间供应、管理维护人员与费用等等消耗……”。我们采用虚拟化技术建设新的虚拟化数据中心, 可对现有大量物理服务器进行虚拟化整合, 减少耗费, 增加效率, 这也符合我国建设低碳节能、绿色环保型经济的主张。
软件厂商VMware首次将原本用于大型机领域的虚拟化技术应用在x86架构上, 在x86架构软件虚拟化领域耕耘时间最长, 产品成熟度高, 在国际国内都有不少现成案例, 其最新的企业架构虚拟化软件全称v Sphere。我们已应用该架构中ESX Server 4.0 (虚拟化层VMM) 、v C e n t e r S e r v e r 4.0 (V M M管理工具) 、High Availability (在虚拟化层支持高可用性) 软件组件等部分, 用来配合硬件搭建虚拟化数据中心。
三、小型化虚拟数据中心的建立
为了从应用虚拟化中得益, 我们建立了一个实验性质的小型化虚拟数据中心, 对一些较早时期购买的服务器进行整合, 经过约半年时间的整合应用, 我们对最终应用结果感到满意。所有整合后虚拟机在可用性上表现的非常好, 停机时间几乎为零;对主机热插拔的实验测试也很成功, 可以说虚拟化整合解决了机房或数据中心管理中服务器可用性的难题;在现有的、存在大量x86服务器与通用操作系统的机房环境中, VMware提供的高可用性足够满足所需。
建立此虚拟数据中心的过程:
第一步:安装基础软、硬件:
采用现有硬件包括数台同样配置的HP Pro Liant DL580 G5刀片服务器与一台HP EVA4400存储, 和网络基础设施一起构建虚拟数据中心的硬件部分;软件组成部分包括:在数台服务器中各自安装ESX Server (虚拟机托管程序——H y p e rv i s o r) 用来承载虚拟机;安装一台Windows 2003 Server服务器并在其上安装v Center Server作管理工具, 在此或任一PC上安装v Sphere Client客户端做控制台;在安装过程中或其后配置时输入相应证书, 连接后台硬件存储设备, 确定打开V M w a r e H A (高可用性) 功能。在打开H A功能的过程中, 尤其需要注意HA功能与“群集”、“资源池”概念的关联。
“群集”是把多台计算机设备连接作为整体使用的技术, 虚拟机高可用性功能也是通过这一技术得以实现, 加入群集的任一计算机发生损坏后, 群集内的另一计算机将取代故障机继续提供服务, 保证服务不中断。而虚拟机“资源池”概念则是VMware独有, 通过“资源池”可以实现对群集 (或独立E S X S e r v e r主机) 运算资源的控制和分配。在群集或独立主机上可以创建多个资源池, 通过对多个资源池的不同配置, 可以实现运算资源对虚拟机的各种控制和分配机制。例如:根据资源池指定的CPU或内存容量, 我们可以限制某些虚拟机最高可以使用的运算资源上限, 预留部分运算资源给另一些随时需要扩容的虚拟机使用。
第二步:安装或导入虚拟机:
在虚拟机主机中安装虚拟机的过程包括硬件资源分配、操作系统和软件安装。分配硬件资源时, 可以事先定义一组资源池, 把相应虚拟机放到对应资源池中, 实现对运算资源的控制与划分。而操作系统与软件的安装与在普通服务器上安装过程基本一致。导入虚拟机的时候需要注意, 有些服务器并不适合转为虚拟机工作, 包括前文述及的6种状态, 简述即:
1、现有计算机硬件使用率高达85%
以上, 除非与虚拟主机性能相差悬殊, 否则转为虚拟机运行后只会使得性能下降或服务变慢甚至停止, 不适宜做虚拟机;
2、数据库服务器;
数据库服务通常都是需求超过资源的服务, 除非其资源使用率平均在50%以下, 否则不应做虚拟机;
3、备份服务器;
连接存储设备的备份服务器将消耗大量的计算机资源用于等待慢速存储设备的输入输出 (I/O) 请求, 从性能考虑不适宜做虚拟机;
4、视频转换/串流服务器;这类服务将不定期消耗大量CPU、内存等运算资源, 不适宜做虚拟机;
5、科学/军事国防/教育研究;这类计算机所需的运算资源庞大, 不适宜做虚拟机;
6、网络安全相关;提供网络安全相关服务的服务器因安全性问题不适宜做虚拟机;
如前文述及, 我们购买了Novell的Plate Spin产品, 用来做x86架构物理机到虚拟机的迁移工作。Plate Spin定义了“工作负载”的概念——“即剥离硬件层, 仅保留软件层操作系统与应用软件这部分”, 我们使用该工具, 把工作中的物理服务器工作负载转移至任一ESX S e rv e r虚拟机主机中, 虽然虚拟机使用了虚拟主机的运算资源 (C P U、内存、网络等) , 但其存储器部分 (含对应内存的交换文件与对应硬盘的存储部分) 实际保存在与ESX Server相连接的存储设备中, 由于存储设备通过网络基础设施和每一台ESX Server主机相连, 这就使得打开了HA (高可用性) 的指定ESX S e rv e r主机可在确定故障发生时, 接管存储设备中已打开的虚拟机工作负载文件, 实现保留当前状态继续提供服务的高可用性要求。
第三步:实测虚拟数据中心故障恢复:
我们模拟实际中可能出现的两种故障情况:
1、虚拟机故障停机
虚拟机作为完整计算机系统的抽象, 并没有物理计算机那些实体硬件部件, 但是在软件部分与物理计算机基本一致, 都采用通用的操作系统与应用软件, 虽然现代设计良好的操作系统或软件很少因出错导致宕机, 但从概率角度看停机的可能性始终存在, 如虚拟机的操作系统或应用软件出错、可能遭受安全性漏洞威胁被攻击或侵害、甚至管理员误操作等。过去服务器以物理主机形式存在, 发生故障停机时很难避免损失, 而虚拟机提供独特的快照恢复机制, 当我们按照一定时间点对系统做过快照后, 可以在故障发生时快速恢复到此一时间点的系统状态, 存储的文件都与此一时间点当时的状态相一致。这一机制比之前物理主机时代的手工恢复机制要更安全也更快。
在具体实测故障中很难再现软件错误, 为了模拟系统崩溃, 我们直接删除系统盘分区, 然后以快照恢复的方式重启系统, 结果证明快照恢复的方法可行, 故障恢复速度快, 几乎是即时的。
还需指出:快照恢复方式的缺点在于没有针对某一特定文件进行保护的功能, 我们知道在PC环境中, 如VMware的Workstation等已经实现Auto Protect功能, 每隔一段指定时间就自动记录当前系统快照, 这可以保证对系统的完整保护。但在v Sphere中尚无此种功能。
那么如果我们只丢失了某一特定文件, 只需要恢复这一文件怎么办?最后我们依靠虚拟机的“克隆”功能将未丢失文件时的虚拟机状态在另一虚拟机环境中恢复, 然后取出恢复此文件, 此一恢复方式稍嫌复杂, 它的实现还有赖于我们需要经常对系统打快照, 在生产环境中如果快照较多会拖慢系统性能, v S p h e r e中有专门的虚拟化备份工具V M w a r e C o n s o l i d a t e d B a c k u p (V C B) , 可解决多快照共存时性能问题。对于虚拟机故障停机后的恢复, 采用快照方式虽有微瑕, 但瑕不掩瑜, 采用虚拟机快照恢复功能后, 像从前那样动辄重装机器或长时间等待恢复的辛劳今后不会再有。
2、虚拟机主机故障停机
显然不只是虚拟机存在故障停机风险, 虚拟数据中心可能发生的故障更多是硬件故障, 故障的可能情况包括有:1) 网络基础设施故障:与主机连接的物理交换机网络端口损坏、网线、物理主机网卡损坏、或与主机连接的网络存储设备对应数据交换接口损坏, 对外表现为虚拟机主机故障停机, 其上搭载的所有虚拟机无法访问;2) 物理主机硬件故障, CPU、内存、主板等运算必需硬件发生故障, 物理主机实际损坏。
在具体实测故障中, 我们采用了拔出网线和直接在v Center中关闭对应ESX S e rv e r主机两种方式测试。在配置好群集与相应的HA功能之后, 可实现主机的热切换与故障即时恢复, 测试通过, 虚拟机完整无损的在另一台虚拟机主机中启动。
这里我们要强调, 在现实生产环境中, 推荐最少采用三台ESX Server做群集使用, 这才可以保障群集有足够的资源来接管故障主机的虚拟机, 否则虚拟机会因为待切换主机自身的运算资源不足而启动失败。
四、虚拟化高可用性解决方案的意义
所谓计算机信息系统安全, 其蕴含的主要概念包括完整性、保密性、可用性等。
在基于虚拟化的高可用性解决方案出现以前, 世界上尚无便于实现的高可用性方案。
业界高可用性标准规定:计算机的平均可用时间超过99.9%, 即每年平均宕机时间不超过8.5小时, 为保障此目标, 相关投入耗费非常大, 这就使得高可用性对于普通机构几乎是不可实现的。而虚拟化的高可用性方案出现以后, 由于所需代价不再高昂, 就使得计算机的高可用性可在很多时候都能够得以满足, 这使得云计算的概念得以实施, 使得运算环境安全性得以大大提高。
数据可用率 篇9
伴随着互联网的普及, 特别是在互联网上提供的商业服务的趋势在快速发展, 大家对计算机服务系统的高可用性发表了更高的要求。停机时间过长不但会给企业带来资产损失, 而且很多用户在无法得到满意的服务时会把机会转向企业的竞争对手, 进而让企业失去了忠实的客户, 承受前所未有的损失。数据库的应用系统中高可用性有两个重要原因, 即使业务保持连续性以及业务数据的可恢复性。
二、数据库应用高可用性的定义
数据库的应用高可用性主要包括三方面的内容, 即计划外的停机、计划内的停机和灾难恢复。1) 计划外的停机, 即因为应用系统的故障而导致系统不能再使用。通常情况下这些故障包括:操作人员的出错, 如失误操作等人为的原因;硬件的故障, 如网卡或硬盘受损等;应用时失效, 如数据库出错;断电情况发生;操作系统出现故障, 如操作系统的死机等。所以目前管理人员和应用系统设计人员要面临的主要任务就是要减少计划外的停机时间。2) 计划内停机, 即对操作系统、硬件、数据库的维护操作而引起的停机。如给应用系统进行的数据库升级、操作系统的提升和对它的修补等。对于所有的数据库应用来说, 每月或每年都会要求一定的计划内停机时间。由于计划内的停机操作对系统的影响是可以提前通知到用户使停机时间得到控制, 因此即使计划内的停机时间频繁发生, 但是对系统的影响却可以被控制在一定的范围内。3) 灾难恢复, 即数据库系统因为人为原因或是灾难而被受到破坏时进行的数据恢复和应用接管的工作。人为原因的灾难包括人为操作的失误以及故意破坏自然的现象而引发的灾难;自然灾难包括洪水、地震、飓风、火灾、恐怖等活动。数据库系统中的数据丢失对那些依赖数据的企业来说受到的打击是致命性的, 可能严重时还会导致这些企业无法继续正常运营。数据库的应用系统基础结构包括主机、网络、存储、数据库和操作系统, 其中任意一处的故障都可能会影响整个应用系统的可用性。数据库应用的高可用性要求要保证业务的不间断性, 它的设计技术方案要能够应对每个计算机系统的失效问题和计划内的维护任务。
三、集群技术
集群技术是一种非常成熟的数据库应用的高可用性方案, 通过主机的冗余技术防止主机出现问题, 它能使多台机器享用一组磁盘。一般这样的机器都应用Floating IP Addresses技术, 使在这些机器上运行的应用程序能在不同的机器间进行相互切换。集群核心技术已经发展到了成熟阶段。目前已推出的集群系统很多, 其中有IBM的HAcMP, SUN的Enterprise Cluster等最具有代表性。尽管市场上的集群产品有十几种, 但是几乎所有的集群服务器的功能和基本结构上都存在类似的地方。
四、数据库应用的高可用性评判标准
数据库应用的高可用性是通过可用度这个指标来衡量的。计算机系统的可用度指的是在它承诺送上服务期间, 实际提供的有效服务时间占据期望有效服务的时间百分比。期望的提供的有效服务时间相当重要。衡量数据库系统的高可用性需要进行仔细的分析用户能承受多长时间的停机, 以及停机时间对系统的影响。现在, 数据库系统的有效保障高可用度能95%-98%之间, 运用技术和通过管理手段的高可用度可以实现98%-99%。一个数据库的应用系统由网络、数据库、应用程序、服务器、硬件以及操作系统等部分构成。应用系统应该根据自身行业的特点, 对高可用系统进行单一或是组合技术手段构架自己的选择。
五、结语
现在的科技水平在不停的上升, 人们对数据库的应用也越来越多, 要求也越来越高。我们应该努力把握数据库应用的高可用性, 使它在行业中的应用更加得心应手。
摘要：本文全面介绍了数据库应用的高可用性的评判标准、定义及相关的实现技术研究。高可用性技术包括数据库的复制和硬件复制、RAID和集群, 企业可依据自身情况使用一种或多种高可用性技术, 建立符合自身要求的高可用系统。
关键词：数据库,高可用,集群
参考文献
[1]邹玉龙, 魏娟.高可用的容灾数据库应用系统的研究与构建[J].甘肃科技, 2009, 2 (24) :148-150.
数据可用率 篇10
数据库形式多种多样, 有全文电子期刊、存储介质等等。数据库其实就是一种通过网络通信计算机和其他外部设备把电子化的信息资源再现出来的一种文献信息资源。这里所说的电子化的信息资源就是以电子数据方式把各种形式的信息存储在光盘、磁盘、磁带等系列非物质的物质载体中。因为数据库具有本身的数字信息产品的特点, 不同于传统的印刷性文献资源, 所以当我们在使用时还需用计算机和网络的支持。
就我校而言, 每年花费大量经费引进的数据库只有很少的部分的到合理应用, 其他大部分都被白白浪费了。所以, 提高数据库的资源利用率就成为我校现在急需解决的问题, 合理利用资金及减少资源浪费。
2 影响数据库利用率的因素
本人通过问卷调查对我校图书馆数据库利用率低的情况得出以下几点因素。
2.1 宣传力度不够, 对数据库认知度不高
图书馆在数据库承包商和使用学生之间起着桥梁作用, 只有加大宣传对数据库的使用, 才能减少对数据库资源浪费。一方面, 在每年大一新生开学的时候, 学校都会对他们进行入馆培训, 可是因为时间少、新生人多以及参加工作人员素质不高等因素, 就会导致对图书馆数据库宣传力度不够, 培训的效果不明显等现状。所以大学生在以后的学习生活中不知道、不了解数据库的存在及其重要性。就更难说让他们加入到数据库的行列当中了。另一方面, 图书馆的宣传方式, 例如安排的资源讲座以及在网络上制作主页, 但是得到反响并不好。据问卷调查结果统计, 在所调查的192份有效问卷中, 了解数据库的方式及比例大致如表1。
由上表可知, 通过图书过宣传了解数据库的人数只占到总体的三分之一, 可见图书馆宣传不到位是造成数据库利用率低的一大主要因素。
2.2 缺乏相应的检索知识和检索技能
现在的大学生由于在在计算机使用和文献资源检索方面存在一定的缺陷, 且从没经过相关对数据库的检索技能的训练, 就大大降低了大学生的信息检索技能和利用能力, 在这一方面的困难也老大难问题。而且学校虽然在其他时间开设了一些信息检索培训的讲座, 然而大部分学生都不感兴趣。对于图书馆网站上的检索知道又让人难以看懂, 学生会觉得不会这个很尴尬, 也就大部分不会使用。及时会有学生使用, 那也是极少的, 各方面的比率都很低。
2.3 数据库利用的网络环境不完善
数字信息资源靠互联网为传输手段, 这个是大家都知道的。高校图书馆如果想搞好数字信息服务, 就必须让自己的硬件设备得到完善, 以及保证良好的网络环境及畅通状态也是必备的。但是目前我校网络环境这一方面一直存在两个问题。
2.3.1 电子阅览室“网吧”化
目前很多大学都配备了电子阅览室。为学生提供了大量方便。他们可以比较快捷的查询馆藏图书、电子文献, 也能进行对“信息资源查找与利用”的教学及培训、网上信息资源的浏览。虽然我校图书馆数据库阅览室的主办权2011年9月份以前归图书馆所有, 但是仍有许多的问题不断出现, 比如资金缺乏, 计算机系统和网络系统的性能偏低, 电子阅览室的利用率低等等问题。在9月份以后, 我校对图书馆电子阅览室实行了大量改建, 网络比以前更加通畅, 规模也比以前大了许多。但是经过问卷调查, 大部分学生都是以娱乐为主, 基本上没有时间来查询资料。
2.3.2 IP范围太小
高校图书馆数据库由于受知识产权的保护或考虑到服务器的安全因素, 一般都通过IP控制来限制用户的访问权限。目前大学生都拥有自己的电脑, 但是由于都在宿舍, 所以图书馆数据库压根不能使用。在校园里, 能使用数据库的地方又有时间和空间的局限性, 仅有电子阅览室以及学校的部分语音室。在校学生人数众多, 等待时间使得大部分学生不耐烦。时间一长, 很多学生就会慢慢淡忘, 使用数据库的人就会随之减少。
在我国, 大部分人从小就开始养成了良好的阅读习惯, 这种习惯是根深蒂固的, 想要改变是非常难的。现在随着网络的流行, 大部分人都通过手机、电脑上的搜索引擎来查询自己所需要的资料信息。于是, 现在大部分人都会找“百度”。这种简单快捷的网络搜索引擎时间、地点完全没限制, 越来越获得大众的青睐。
在我们做的调查问卷当中, 43%的学生主要依靠网络搜索引擎查询, 31.4%的学生依靠纸质资源, 利用数据库查询的人数仅有19.5%, 由此可见数据库的利用率是有多低, 在阅读习惯根深蒂固及网络搜索引擎随处可见的今天, 图书馆届数据库面临严重挑战。
3 提高数据库利用率的主要措施
3.1 进一步加强图书馆对数据库的宣传活动
学校的图书馆人流是比较大的, 因此宣传工作也是迫在眉睫的。图书馆必须让在校学生了解使用数字信息资源, 让数字信息资源发挥它应有的存在价值。下面结合我校图书馆的一些情况对高校图书馆数据库有效宣传策略做简要探析。
3.1.1 加强新生入关教育在数据库方面的教育指导
新生入学的入关培训, 目前在每个学校都积极展开。为了不让资金及资源的的浪费, 学校派遣了大量的专业老师, 进行专业演练, 让他们增强数据库重要性的意识, 让数据库展现它的价值所在。使越来越多的学生发觉信息资源在自己研究学习中的重要作用, 让他们了解专业数据库强大的功能与快捷。目前各大高校都在加大宣传讲解教育指导, 提高数据库的利用率。
3.1.2 开展个性化讲座宣传
讲座是每个大学生在大学期间都会有的项目, 我们通常都是根据自己所感兴趣才会去听课。学校抓住学生这一特点, 应开展一些专栏性的个性化讲座。不要让学生在课堂听天书, 摇摇晃晃。学校的讲座应穿插让学生获得共鸣的东西, 而不是只有死知识。如何开展类似的课堂讲座, 就看高校怎么来发展扩建了。如果高校充分利用结合图书馆LG滚动屏、图书馆网页及张贴海报的方式对讲座进行宣传, 也许效果会事半功倍。
3.1.3 开展数据库宣传周活动
在大学校园, 每年都会有各种各样的开展活动。这几年, 我校图书馆每年都会举行“世界读书月”活动, 吸引了大量在校学生的目光, 同时参与到此活动。图书馆开展了各式各样的征集活动, 让大家制作数据库宣传的活动板块, 制定大量小册子或漂流瓶, 让数据库以丰富多彩的方式流传到学生当中。活动内容也越来越丰富多彩, 在各大校区的活动现场, 资深的数据库培训师侃侃而谈, 有奖问答环节环环相扣, 无一不增加了学生们的极大兴趣, 从而大大提升了数据库的影星度。
3.2 完善图书馆用户的培训工作
3.2.1 印发检索手册
现在人们出行, 都希望轻装上阵。图书馆秉着这一服务的观念, 编制了“学生手册”“数据库使用指南”等众多的小册子。它们既携带方便又使用, 对于一些缺乏检索知识的学生是最佳选择。手册的投入使用, 既方便了学生也方便了学校。根据数据调查, 大部分都会使用检索手册的方式来获取检索知识, 根据这一条, 图书馆就应完善这一方面的工作, 让检索手册便于学生使用
3.2.2 在图书馆网站上增设使用专栏
当前的各大高等院校都有自己的网站, 这些网站的都是经过精心构思的, 因此对于数据库的介绍网上引导也最为便捷。
图书馆的网页上建立“馆藏数据库使用指南”专栏, 对数据库进行一个引导, 把学生在使用过程中所需要的基本问题详细的上传。简要包括电子信息收录范围、特点、检索方法等等。
制作视频指引性文件。网络上有专门捕捉影音的工具软件Camtasia Studio、屏幕录像专家、豪杰超级解霸等制作电子视频帮助文件, 并以Flash SWF格式发布在图书馆主页上, 使学生能够通过计算机网络更加方便快捷的查看使用数据库, 对检索技能和使用方法都能熟练掌握。
加强与学生之间的互动。我校的图书馆在很多反面都不完善, 比如咨询队伍不强, 没有集成的咨询系统, 每当学生在使用数据库遇到难以解决的问题时, 找不到有效解决的方法。在调查中, 有33%的学生遇到困难时选者放弃, 选择咨询老师同学的人数达到40%, 只有25%的学生能够通过咨询人员解决问题。由此尅有知晓, 在我校首要做的就是加强咨询人员的专业性, 对于学生问题应开展更多的通道。如e-mail、BBS讨论版、QQ或MSN在线咨询等, 让他们提供一个强有力的咨询平台。
3.2.3 根据需求开设检索选修课或必修课
学校所拥有的资源不能浪费, 简单的开设讲座也许并不能让学生掌握电子信息资源的获取能力。因此必要的检索选修课或必修课是可以放于课堂的, 采用多媒体教学手段利用软件将本馆所拥有的数据制作成多媒体文件, 融入文献检索课程中, 或是直接把它放到网上进行演示, 一定要把抽象枯燥难懂的内容变得形象化、生动化、简单化, 让学生简单易懂的熟悉专业信息资源分布。目前来说, 我校所需要做的就是扩大高素质的师资队伍, 尽快提出开课方案, 从而提高数据库的利用率。
3.3 规范电子阅览室, 扩大访问权限
在校园里, 电子阅览室越来越得到普及, 不论从规模还是服务方面都的到了较大的改善, 图书馆成了在校学生获得电子信息资源服务的重要场所。看着网络市场的越来越完善, 许多在实际应用中的弊端也渐渐的浮出水面。例如, 校图书馆电子阅览室的外包只是想着自己的利益, 图书馆没有自己科学合理的规章制度, 学生在使用电子阅览室时出现了不文明的行为规范, 学生们的常规管理和网络系统没有科学规划等等, 这些都没办法让学生有一个氛围良好的学习环境。另外, 访问权限太小了, 学生经常会因此没办法使用数据库的信息资源。经问卷调查学生对数据库宿舍访问的需求度发现, 经常需要23.2%, 一般需要61.6%。由此不难看出学生对数据库宿舍访问的需求度较高。为了提高数据库的利用率, 学校领导是否也该考虑适当扩大IP范围。让学生们不再为时间和空间上的受限而困扰, 作此措施, 对于电子阅览室而言也是一种矿建和完善。
3.4 图书馆与数据库承包商共同合作, 强化数据库优势
那么如何强化数据库优势呢?首先图书馆要加强与数据库承包商的通力合作, 进一步强化数据库自身所携带的优势如共享、时效、知识类聚等等。只要了了快速简便易操作的检索界面和统一的检索平台, 那么电子信息查全率、查准率就会的到提高, 数据库的利用率也随之上升。
4 结束语
目前, 很多高校的数据库并不完善。不过随着高校科研和教学的发展不断向前, 每个地方都在积极采取合理有效的方式对数据库进行扩建, 让数据库的价值得到真正体现。
摘要：现代的社会是一个信息社会。社会经济发展步伐和高科技信息技术的发展已经超过了我们想象的能力范围。随着越来越多的高校图书馆的建立, 为了更好的服务学生和学校教师的教学、科研工作, 数据库也被大量引用进了图书馆馆藏体系, 并且发挥的作用越来越大。但是随着时间的推移, 各种各样的问题随之产生了, 数据库资源利用率低成了最大问题。数据库的引用将会成为图书馆届信息资源建设不可缺少的组成部分, 那么各大高校应如何面对这数据库资源利用率低这一情况呢?下面将根据该校对于图书馆数据库利用率的探究分析, 得出了几点提高数据库利用率的小小建议。
关键词：图书馆,数据库,利用率,策略
参考文献
[1]徐革.电子资源评价之重要影响因子的调查研究[J].大学图书馆学报, 2006 (3) .
[2]黄克文, 刘丽霞.图书馆试用电子资源的管理及利用研究[J].科技情报开发与经济, 2007 (2) .
[3]李凯扬, 贾玉萍.基于AHP的期刊全文数据库的模糊综合评价[J].情报科学, 2005 (11) .
[4]赵春.并发用户数:一个评价和使用数据库的重要参量——兼对当前数据库评价研究的综述[J].图书馆论坛, 2007 (1) .
[5]宋迎迎.论数字馆藏的评价[J].图书情报知识, 2006 (5) .
[6]赵莉.数据库采购模式新探索[J].图书馆学研究, 2006 (4) .