备份机制（共9篇）
备份机制 篇1
1. 引言
操作系统日志按照一定的规范记录了系统运行的各个方面的细节情况,是操作系统运行中产生的重要客观历史数据,以备操作系统的排错、优化和安全审计。目前主流的Windows、Linux、AIX、HP-UNIX等操作系统都会产生包括硬件、软件、网络、用户等多种日志,其中与操作系统问题或故障的部分可以为系统维护工作提供有效的信息资源。此外,操作系统日志中还包括了一些系统用户操作的记录,可以为发现未授权用户的行为提供重要的证据。
考虑到系统日志的重要性,企事业单位都会要求对服务器日志进行定期导出备份,而一些重要业务系统的服务器的操作系统日志要求每月备份,一般业务系统的操作系统备份要求可能是二至三个月不等。由于备份内容较多,量较大,如果采用手工方法进行系统日志备份操作存在以下一些问题:
(1)需要使用系统用户口令登录操作系统,对口令的安全有影响;
(2)手工备份有可能会遗漏某些日志;
(3)需花费大量的人力和时间,在服务器较多的情况下影响工作效率。
因此,在实际工作中,应该考虑对系统日志采用自动备份机制。本文介绍的利用操作系统计划任务是简单有效而又切实可行的备份系统日志方法之一。
2. 操作系统日志自动备份的主要流程
无论是哪种操作系统,要对其操作系统进行备份,必然要经过以下几个步骤:
(1)产生或复制系统日志文件。要对系统日志进行备份,首先要产生日志文件。对于AIX、HP-UNIX、Linux等操作系统,其大部分系统日志本身就已经是文件形式了,只需复制到指定目录下,就是完成了准备工作。而对于Windows操作系统(Windows2000或以上的版本)中,系统日志是以专用格式保存的,只能在事件查看器中查看,因此需要用一些工具将Windows操作系统的日志导出,产生系统日志文件。
(2)整理系统日志文件。这一步并非必要的步骤,可根据备份者的需要设置。可能的情况有:一是对系统日志文件进行打包,并将文件名规范为与日期时间相关的文件名;二是将系统日志文件按性质分目录存放;三是直接将系统日志文件放在一个单独的目录。以上操作也可同时使用。
(3)将整理好的系统日志文件进行备份。备份一般分为本地备份、网络备份两类。本地备份包括本地硬盘备份(安全性最差)、移动硬盘备份、磁带备份等。其中使用可移动介质备份需要使用者将可移动介质从服务器上取出,否则存在被清除的可能。因此从长期自动备份的角度出发,本地备份并不合适。网络备份是将数据通过网络传输并保存到另一台服务器上,最简单的方式是利用FTP服务传输,但存在安全性问题。因为FTP虽然可以设置用户名和密码,却由于是明文传输极易被窃取,从而下载甚至删除远端服务器上的系统日志文件。其它还可以通过TFTP协议、SMTP协议、WWW协议等,系统程序员也可以自行编写一套传输程序。
(4)清理已产生的系统日志文件。由于是对系统日志的复本进行备份,需占用一定的硬盘空间,因此有必要进行清理。如果磁盘空间足够,作为本地的一个备份也可不清理,使用规范的文件名或目录进行存档即可。
3. Windows下系统日志自动备份的实现
Windows 2000 Server和Windows 2003 Server操作系统可以通过事件查看器查看系统的日志,日志内容包括系统日志、应用程序日志、安全日志三类,按照独有的EVT格式保存在Windows安装目录的system32config子目录中,不能通过直接复制的方法进行备份,因此需要使用一些工具导出日志。最为方便的就是Microsoft公司提供的Dumpel工具[1]。
3.1 dumpel工具
dumpel工具是一个运行在Win32平台的命令行程序,将Windows操作系统日志按一定的标准备份到一个可被Excel打开的格式化的文本文件中。可以直接从Microsoft官方网站下载。通过命令行参数指定备份日志的类型(应用程序、安全性、系统)、备份日志文件的路径以及往前备份日志的天数等,主要参数如下:
其中file是产生的日志文件名,server是进行备份的服务器,log是系统日志名(system、application、security)。
3.2 自动备份脚本
仅靠dumpel工具并不能完全实现日志的定期归档备份,还需调用自动备份脚本,其内容主要就是在指定目录下产生系统日志文件,然后将日志文件传输到另一台服务器上,比如使用FTP协议。最后将系统日志文件移动到指定目录下。现假设dumpel.exe工具放在D:dumpel目录下,系统日志文件最后移动到D:dumpellogbak目录下。在DOS命令窗口中依次输入以下命令:
其中的ftpcmd.cmd是一个ftpcmd.cmd的ftp协议命令文件,内容为:
3.3 设置自动运行
将上述自动备份脚本加入到Windows任务计划中,并设置运行时间,如每月1日凌晨1点运行。
浏览查看日志时,可以通过Excel的“导入外部数据”将文本文件导入,提高日志的可读性。
4. SCO UNIX下系统日志自动备份的实现
SCO UNIX下的系统日志本身即是以文件形式保存,相对而言自动备份实现较为容易。
4.1 主要操作
SCO UNIX下的系统日志文件比较分散,且作用也不一样。一般情况下至少需要备份以下几个文件:wtmp(用户登录记录)、wtmpx、sulog(用户以其他用户身份登录记录)、syslog(主要系统事件记录)、messages(一般系统事件记录)。因此需要将这些文件复制到单个目录下,例如/tmp/log目录。然后用tar命令将这些文件打包成单一文件。打包后可通过网络传输至远程服务器上,最后将/tmp/log目录清空。
4.2 自动备份脚本
类似地,可编写自动备份脚本如下:
上述脚本中传输文件没有写ftp协议命令,因为在SCOUNIX下是使用.netrc文件来实现ftp自动传输的,内容如下:
machine远程服务器IP地址login用户名password用户口令
4.3 设置脚本自动运行
可以使用crontab–l命令在当前用户的定时任务中增加该脚本,设置运行时间,如每月1日凌晨1点运行。
5. 总结
操作系统日志的归档备份,是操作系统日常运行维护的一项重要工作,对保障公司和单位业务的稳定开展具有重要意义。在遵守系统运行维护管理制度的前提下,充分运用技术手段来完成操作系统日志的自动备份,一方面可以提高工作的标准和规范,另一方面也可以减轻系统管理员的负担,并且在此基础上可以对日志做进一步提取分析[2]工作,一举多得。
摘要：考虑到操作系统日志的重要性,企事业单位都会要求对服务器日志进行备份。与手工备份相比,采用日志自动备份机制可以极大地提高工作效率。本文以Windows和SCO UNIX操作系统为例,分析了系统日志自动备份的流程及方法,具有一定的参考价值。
关键词：操作系统日志,自动备份,Windows,SCO UNIX
参考文献
[1]Microsoft.Dumpel工具[EB/OL].http://download.microsoft.com/download/win2000platform/WebPacks/1.00.0.1/NT5/EN-US/Dumpel.exe,2007,10.
[2]方航锋,汪海航.日志提取分析系统的设计和实现[J].计算机工程,2004,30:108-110.
备份机制 篇2
（2008年4月21日）
今年以来，拳铺镇党委、政府认真贯彻落实党的十七大精神，在县委、县政府的正确领导下，以科学发展观为指导，牢牢把握发展主题，不断强化招商引资工作，加快农业结构调整步伐，大力发展第三产业，开拓进取，真抓实干，经济和各项社会事业取得持续、健康、快速发展的良好势头。截止到目前，全镇已有民营企业140 家，从业人员近2万人，上缴国税1040万元，地税654万元，均比上年同期有了较大增长，全镇经济显现出了蓬勃发展的良好态势。
一、招商引资及重点项目工程建设情况
进入2008年，全镇民营经济发展如火如荼，今年以来，共新上和技改项目15个，固定资产投入2.1亿元，重点项目建设情况进展顺利。
1、山东万事达专用车制造公司建设项目。
山东万事达专用车制造有限公司是国家发改委批准的专用车公告管理企业，公司始建于2002年，主导产品为农机配件、专用车配件，2006年起规划设计生产专用汽车，并于2007年列入国家公告管理，2008年初，公司计划投资3000万元，扩建专用车生产线，占地面积80余亩。目前，已到位资金1200万元，前期建设筹备工作已全部结束，16000平方米的钢构车间大部完成，本月底即可开始车间封顶工作，预计2008年7月份建成投产，投产后，可新增销售收入2亿元，利税2000万元。
2、杨嘉挂车制造有限公司新区建设项目
杨嘉挂车制造有限公司新区建设项目始建于2007年1月份，是杨嘉挂车制造有限公司与江苏兴化汽车制造厂合资兴建的总投资6000万元，其中外方投资3500万元，该项目占地103亩，规划设计了两个总面积达26000平方米的高标准生产车间，现代化的办公区1000平方米，综合性职工生活区2000平方米，一号车间已于2007年底竣工投产。二号车间、办公区、生活区、车辆存放区等所有工程也于2008年3月份竣工，该项目投产后，可新增年产专用车5000辆，实现产值4亿元，利税4000万
元。
3、凝玉商贸仓储、物流中心项目
凝玉商贸仓储、物流中心项目是梁山聚鑫商贸有限公司与中国中钢钢铁集团有限公司天津分公司合作建设的，该项目位于拳铺镇工业园南端，济菏路南侧，计划总投资2600万元，目前已到位资金100余万元，工程规划设计的仓储、物流中心的基础设施工作已经全部竣工，钢架结构正在安装，办公楼前期筹备工作也在进行，不日即可动工建设，公司计划购置具有国内先进水平的程控设备4台，生产高精度的专用车配件，整个工程预计7月底完工，8月份投入运营。工程全部投入运营后，业务可辐射整个鲁西南地区，以及江苏、河北、河南的部分地区，可实现年增销售收入2亿元，利税3000万元。
4、山东华通旧车交易市场建设项目
该项目位于泰福路东端北侧，总投资1000万元，占地面积60余亩，目前已到位资金近300万元，厂区围墙建设已全部完工，大门、办公室、警卫室基础建设工作正在进行，该公司计划引进国外先进生产设备和技术，主要生产汽车行驶记录仪，同时兼营二手车交易及维修业务。项目投产后，可年产汽车行使记录仪15万套，旧车交易量达3000辆以上，利税1300万元，目前，各项建设工作正在紧张进行，预计6月份所有工程建设即可完工，7月份投入正式运营。
5、金宇商贸有限公司钢圈基地建设项目
金宇商贸有限公司是一家实力雄厚的贸易公司，拥有完善的产品销售网络，该项目是金宇商贸有限公司与湖北鄂州万特马车轮制造有限公司合资建设的，总投资2800万元，万特马车轮有限公司拥有一流的设备，先进的专业技术和良好的信誉品牌，双方合作，优势互补。该基地规划建设一个6000平方米的生产车间，年设计钢圈生产能力30万套，年可实现销售收入1.2亿元，利税超千万元，目前，车间基础设施建设工作正在进行，预计6月底即可竣工。
6、泰福机械制造有限公司扩建项目
泰福机械制造有限公司拥有先进和生产设备和雄厚的技术力量，专
业生产各种规格的挂车配件及冲压件，为了提升企业的核心竞争能力，促进企业的可持续发展，公司通过技术合作，计划投资2200万元，建设3跨现代化生产车间，总面积9000平方米，目前正在进行土建工作，工程建设时间为3个月，预计7月底竣工，投产后，可年增销售收入1亿元，利税1200万元。
7、贝格尔油漆公司扩建项目
该项目是格尔油漆公司与新加坡纳尔特漆业有限公司驻京办事处合作项目，总投资1000万元，一期库房面积1600平方米，计划生产汽车专用漆3000吨，目前基础工作正在进行，预计8月份建成投产，年可实现销售收入5000万元，利税800万元。
8、森利达木业有限公司板材生产项目
该项目占地面积近20亩，总投资550万元，生产高规格的建筑用板材，目前，厂房建设已近完工。
9、鑫鑫纺织有限公司扩建项目。
该项目总投资500万元，新上2条纺织生产线，目前围墙已完工。
10、梁山众意机械制造有限公司建设项目
该项目总投资1500万元，占地面积20余亩，建设高标准的生产车间3000平方米，目前车间钢架结构已完成，封顶工作正在进行。
11、运河养猪厂建设项目
总投资800万元的运河养猪厂，占地面积20余亩，建设种猪舍400余个，引进多台先进饲料粉碎机、搅拌机，进行科学喂养、科学繁育。
12、滚动轴承有限分司扩建项目
滚动轴承有限分司扩建项目总投资1200万元，专业生产圆锥滚子轴承，引进专业生产设备40台，2条热处理生产线，2条磨制生产线，年可增产轴承100万套，产值可达4000万元，目前工程已近完工。
13、平安机械制造有限公司建设项目，总投资600万元，占地面积40余亩，目前围墙建设已完工，工程预计7月份峻工投产。
目前，其它项目的建设也正有条不紊的进行，重点项目的顺利建设为全镇经济的快速发展注入了无限生机和活力。
二、农业及农村经济发展情况
今年以来，全镇上下积极发展农村经济，不断优化农业结构调整，农业产业化水平有明显提高。继继发展了以拳南、方西为中心的蔬菜种值，以拳北、玉皇庙为中心的中草药种植，以郭堂为中心的花卉苗木种植，以方庄为中心的桑蚕种养，以东杨集为中心的养殖业，大大提高了农业产业化水平，增加了农民收入。同时，不断加大新农村建设力度，全镇已基本实现了村村通油路，村村通自来水的村庄已达90%，预计到今年年底，全镇所有村庄将实现村村通处自来水。同时，投资150余万元的两处项目学校建设已经完成；镇敬老院改造工程也已完成，入院率达到80%以上，目前正在准备迎接省级验收，这些工程的实施极大地改善了群众的生产、生活条件。
三、继续深化“三学三创”，扎实开展“干部作风建设年”活动
镇党委、政府认真贯彻落实党的十七大精神，全面落实科学发展观，按照胡锦涛总书记提出的八个方面良好风气的要求以“从严管干部，从严抓作风”为重点，以着力解决机关在思想、纪律、作风、工作等方面存在的阻碍和影响发展的突出问题为目的，实现解放思想有新突破，转变作风有新举措，服务意识有新增强，工作绩效有新提高，为确保2008年全镇各项工作的顺利完成提供了良好的综合环境。
四、当前存在的主要问题及下步工作措施
备份机制 篇3
关键词：视频会议,备份,语音备份机制,优化设计
随着信息化发展的逐步深入,越来越多的政府部门引入了大量的视频会议系统。视频会议系统的建设提升了政府部门整体的自动化应用水平,使各级领导均能更加方便、快捷地进行决策,一旦发生突发事件,就可以利用视频系统进行指挥、监控、以及处理,使整体政府部门的办事效率提升,同时更方便对各部门工作人员进行培训,既提高了工作效率,又节约了大量资金。
1 政府视频网络系统概述
政府视频会议系统中包括了:H323以及SIP协议的通信设备,可以使视频系统中的各个功能之间进行转换视频系统中的终端设备,其中有摄像头、解码器以及显示器等;视频系统中各种管理系统,其中包括了硬件终端等设备;录播器要有大容量的存储功能,支持多个会议的语音存储功能,实现高清视频的接收;还有交换机或者是路由器等设备。建设有保障性的视频系统,要有足够的扩展能力,可以随时应变用户在使用过程中的各种要求。使其有良好的系统管理能力,良好的系统兼容,健全的接入能力以及系统更加的安全性。
一般的视频会议都是利用一些硬件设施进行架构整个系统的体系,通常是利用比如冗余电源及路线进行系统的可靠性辅助。不过实际系统工程的建设当中仍然有着一定的风险。
来自终端设备的风险:由于终端出现了异常情况,导致无法进行正常工作。
来自服务器的风险:MCU以及服务中心出现故障,进而整个系统不能进行视频会议,导致工作无法正常进行。
来自于各视频的连接风险:在视频系统中的广域网中出现了系统故障,也有可能使整个系统瘫痪,整个会议无法正常进行。
来自于网络设备的风险:在视频会议系统中的运行视频会议的网络配置出来了问题,也会导致会议的中断以及无法进行正常工作。
以上几种风险的阐述,可以看出,在进行视频会议系统的建设当中,硬件以及设计技术都要可靠性的保障,否则将会导致其工作无法正常进行,而且还会给工作带来许多的困扰。
2 视频会议备份系统优化设计与实践
视频会议是非常典型的多媒体业务,和通信网络的发展有着直接的联系。不管是在PSTN、DDN等一些其它的移动通信中进行视频会议都是需要多方控制技术。一般情况下多方控制技术在视频会议中都是利用MC或者是MCU分出的MC进行独立性的操作系统的。在整个系统中MCU负责系统的各方面的建立以及各种音频的混合、切换功能,MC只负责系统的建立和控制。
2.1 采用MCU进行视频会议系统的多方控制
在MCU中通过进行集合多个单元模块处理视频会议系统中的音频、视频、数据以及多路复元等功能,其各个模块中的功能信息在内部进行传递。在实际工作当中,可以实现一个MCU共同服务于多个会议的终端操作,如果超出一个MCU所负责的范围内,MCU将不能完成对系统的终端控制。一会在会议视频系统中如果有一个MCU进行系统结构的控制时,系统则会利用星型架构,如果是大型会议的系统控制时,则需要有两级MCU星形结构系统。
2.2 IP网络下的视频会议系统
IP主要是通过最新的视频技术协议H.323标准采用VOIP技术得以实现的。VOIP是利用IP技术进行信息传输以及分化,它运行的基本原理是,将语音以及图像进行压缩打包到编码处,然后再根据IP协议进行传输到信息的接收处,再利用解码器将这些数据进行处理后还原成最初的视频信号,进而达到视频通过IP网络进行传输的目的。
采用IP语音技术,覆盖整个会议系统中。它是基于现有的广域网的数据平台中,给会议系统提供各种数据平台的服务功能,实现两者之间的独立合作。这样两者之间不会由于其中一个故障而且影响另一个系统的运行。这样既可以提供备份功能还可以实现语音会议的协同发展。
备份系统中的各种组件有:
(1) IP电话会议桥:对会议系统中的各个音频编码进行处理和整合到一起,并且可以容纳下视频会议中所有的IP电话接入会议的接口,使IP电话会议终端中的各个接口都可以连接。
(2)呼叫信令处理:对IP电话所有的终端进行数据处理和信令管理;并且由呼叫信令进行统一管理,在保护投资的情况下进行冗余配置。
(3)网守(Gatekeeper):进行翻译和控制IP电话终端的各种功能。还可以实现管理带宽以及定位服务功能。还将各个设备的登记信息进行备份保存。会议系统启动后网守记录设备再与接入的网关在一个语音路由器上得以实现。
(4)IP电话会议终端:主要应用在大中型的会议IP电话中,其中包括了多个移动有线麦克风,方便会议部署。
(5)接入网关:基于IP电话系统与PSTN网关的连接,实现IP网络连接于各个运营商以及移动电话中的通话作用。接入网关后,运营商的移动、固定电话都可以与IP电话系统进行通话。使备份系统链得以满足外呼要求。还可以同时提供给内部IP内部电话许多个备份外线号码使用。
2.3 会场的优化设计实践
在进行实际会计设计中,基于会场的实际情况,采用会场集成设计。将会场的音频进行备份,然后连接到视频会议系统中;开会过程中IP网络与会议系统进行连接,而且需要调到静音状态,将扬声器关闭,进行备份音频系统的等待状态中。如果出现在会议过程中由于MCU终端的故障导致不能正常进行时,要立即启动系统备份方案,直接进入音频会议模式。这样即使会议系统中的视频出现故障,利用音频会议也可以使会议继续工作下去。
3 总结
通过进行系统的实际认证,使整体的视频网络系统一旦出现故障可以利用IP语音系统的集成管理,实现两套系统的平衡运行,并且利用IP语音系统替代视频系统,保障了会议的正常运行,达到建设视频会议系统的初始目的。
参考文献
[1]刘建磊.政府视频会议系统语音备份机制设计实践[J].通信与信息技术,201 2(05):67-69.
备份机制 篇4
一、方案背景
1.用户目前数据环境及需求
根据提供的信息，目前用户的系统环境如下描述： 操作系统：Windows 操作系统，关键数据：VSS数据库 现在用户要备份的服务器为2台数据库服务器做双机热备集群，整个系统对于备份的要求：备份系统稳定可靠，保证随时能够备份/还原关键数据；对服务器有灾备的考虑，操作系统崩溃时能通过灾难备份快速恢复操作系统。同时考虑远期建设目标平滑过渡，避免重复投资。
2.用户目前状态和存在的问题
目前用户双机服务器拓扑图如下，这样的方式存在以下问题：
a)由于主机与备机及磁盘阵列中的数据都没有备份，一旦发生磁盘阵列数据丢失、主机与备机数据丢失事故时，将会造成重大损失。
b)当服务器操作系统崩溃时，无法快速恢复。
二、设计方案
1.设计原则
根据上述问题建议的备份方案应该遵循以下原则：备份系统应该支持Open File 热备份功能磁盘阵列连接在专用的备份服务器上、对双机集群中的2台机器都能进行数据备份、备份软件支持定时计划备份、备份软软件支持服务器灾难备份、备份软件提供网络集中备份功能，能集中备份网络上其余SQL Server、ORACLE或文件数据，提供良好的扩展性。
2.方案的设计
依据上述设计原则，建议采用爱数备份软件专业备份软件安装在一台备份服务器上，通过网络对双机系统进行数据备份和操作系统灾难备份。Backup Exec 作为专业的备份软件，具有以下优点：
c)专业的企业网络集中备份解决方案，一台备份服务器可以备份网络上多台服务器数据（文件服务器、VSS服务器、数据库服务器、邮件服务器等）
d)备份软件支持Open file 热备份功能，能对正在使用的数据进行备份。
e)能根据需要制定灵活多变的备份计划任务
f)支持服务器操作系统崩溃灾难备份/恢复
g)支持集群，不论集群服务在主机还是辅机上，均能进行数据备份。
h)拓扑图如下：
3.爱数备份软件产品和模块介绍
爱数软件公司的爱数备份软件是一种多线程、多任务的存储管理解决方案，专为在单一的或多节点的Windows Servers(包括NT4，windows 2000,windows XP)企业环境中进行数据备份、恢复、灾难恢复而设计，适用于单机Windows servers工作站、小型局域网以及异构的企业网络。
爱数备份软件由以下几个模块组成：
a)管理控制台是备份的核心模块，主模块是爱数备份系统中必不可少的模块。安装在备份服务器上。每台备份服务器需要购买主模块
b)Windows服务器客户端代理为主机与辅机做数据备份，并且优化了数据传输，包括对本地注册表与系统状态信息的备份。独一无二的技术，通过在客户端提供源数据级压缩和分布式处理，实现备份和恢复性能的最大化，由此减少网络流量，最大限度地增加数据吞吐量。
c)SQL Server客户端代理，该代理能够为SQL Server 数据库提供细致的备份服务，可以精细到单个数据库或文件组。采用自动截断技术，可以执行差分备份，以及事务处理日志备份。通过时间点恢复技术，对最后一次全备份以及以后的任意备份，按照一个作业进行恢复，或者进行回溯式恢复，使数据库能够恢复到某个特定时刻，而不是根据上次的备份作业恢复到特定恢复点，可以对其进行一致性检查。为用户提供了最可靠、最快速的方法，进行完整的SQL服务器备份。每台需要备份的SQL Server 服务器需要购买。
d)Open File Option 本模块确保本地或远程服务器上的文件在被使用过程中也能备份。使用本选件，您无需提前知道哪些文件是正在使用的，只需点击鼠标，设定预定备份即可。每台需要Open file 备份的文件服务器需要购买
备份机制 篇5
关键词：数据备份,数据中心,备份策略
0 引言
进入21 世纪以来, 随着信息技术在金融业中广泛应用, 金融机构纷纷建立了自己的数据中心, 实现了数据大集中。从过去主要由服务器、网络设备、小容量存储等设备组成的运算中心, 到今天已经成为超容量、高可用、多并发的智慧中心。金融数据中心存放并管理着企业核心的金融业务数据, 包括:系统业务数据、交易痕迹数据、客户行为数据等等。这些数据涉及企业运营的方方面面, 是企业的核心信息资产。为保障企业信息资产的安全, 保障业务连续性, 金融数据中心必须对其所管理的数据进行高安全、多层次、快效率的份[1]。
数据备份是周期性地将整个信息系统的数据、运行状态以某种方式制作一个或多个拷贝, 并将其存放在专门的设备上用以保留, 以便在信息系统遭受破坏或数据丢失的情况下能够进行快速的数据恢复。其作为现代容灾管理的基础, 是保障数据完整性和一致性的最后一道防线。随着大数据时代的到来, 企业对数据的依赖性不断加强, 数据安全问题更加突出, 数据备份将在大数据时代发挥出越来越重要的作用[2,3,4]。
1 数据备份概述
数据备份是为了保证数据的一致性和完整性, 通过保存正在使用的数据, 生成数据的副本, 以备数据在遭到丢失或破坏时, 能够有效进行数据恢复。
1.1 数据备份的意义
在信息时代, 数据作为企业的重要资产, 其价值和重要性不言而喻。而数据在传输、存储、交换过程中面临着遭受损坏或丢失的各种风险, 如自然灾害、信息攻击、设备故障、误操作等等能。如果缺少数据备份措施, 数据的一致性和完整性就得不到保障, 就可能导致数据丢失或损坏的情况出现, 对企业产生无法弥补的损失, 甚至灾难性的后果[5,6]。
1.2 数据备份的原则
为保障数据备份的安全性、可靠性、一致性, 满足进行快速数据恢复的要求, 数据备份须满足以下原则:
1.2.1 全面性原则。是指数据备份需要做到对备份内容全面覆盖, 包括操作系统、数据库、应用程序、数据库、业务数据、交易日志等, 如果备份内容不完备、不全面, 就有可能导致在数据恢复时出现数据缺失, 功亏一篑, 无法达到完整恢复数据的效果。
1.2.2 容错性原则。是指数据备份的内容保存在不同介质上, 需要对备份介质进行保护并具备一定容错能力。如引入RIAD技术对磁带进行镜像, 就能更好地保证数据安全可靠, 相当于对备份数据增加了一把保险锁
1.2.3 高性能原则。由于业务的快速发展, 备份数据的量越来越多, 对于大型的系统每天备份的数据量都是TB级的。为减少数据备份对系统性能产生的影响, 一般要求数据备份要在限定的时间窗口内完成, 这就要求数据备份具备高性能的处理能力。
1.2.4 自动化原则。根据系统业务特点及运维要求, 不同系统的数据备份窗口各不相同, 多数情况下数据备份会选择在业务低峰时段进行, 不能完全依靠人工操作。因此需要数据备份具备自动化的处理能力, 能够自动定时执行, 自动记录执行过程日志, 并能在出现异常情况下自动报警。
1.3 数据备份的模式
数据备份对象及备份需求存在较大差异, 针对不同的数据对象及备份需求可采用不同的数据备份模式, 根据不同划分原则, 数据备份模式可分为以下几大类。
1.3.1 按备份数据的完整性划分, 可将备份数据划分为以下3 类:
(1) 全量备份。是指对应用系统连续产生的在某时间点的横截面的全量数据进行备份, 不依赖于数据的归档属性, 也称为完全备份。在备份在过程中, 任何现有的标记都被清除, 每个数据快都被标记为已备份, 也就是说清除存档属性。该备份方式的优点是恢复操作便捷、完整性强、可靠性高;其缺点是备份数据量大、备份时间长、备份期间数据容易变动、数据恢复时间长。
(2) 增量备份。是指对应用系统在上次备份之后所产生、更新的数据。在备份过程中, 只备份有标记的选中的数据块, 备份后标记数据块, 也就是说清除存档属性。该备份方式的优点是备份数据量少、占用空间少、单个备份或恢复时间短;其缺点是恢复操作复杂、数据完整性相对差, 一旦发现单个增量备份不能正常恢复, 整个系统的备份将受到影响。
(3) 差分备份。是指只备份在上一次完全备份后有变化的部分数据。在备份过程中, 只备份有标记的选中的数据块, 备份后不标记为已备份数据块, 也就是说不清除存档属性。该备份方式的优点是备份数据量少、占用空间少、单个备份或恢复时间短;其缺点是恢复操作复杂、备份及恢复技术要求较高。
在实际应用中, 金融行业对数据完整性、时效性、安全性要求较高, 一般在制定备份策略时会将3 种方式的结合使用。例如每周一至周六进行一次增量备份或差分备份, 每周日进行一次全量备份。
1.3.2 按备份数据的性质划分, 可将备份数据划分为以下2 类:
(1) 逻辑备份。是指对金融大数据 (如用户、数据表等) 利用工具进行导出保存。该备份策略的优点是能够实现对象级的数据备份, 易实现跨平台的数据迁移。其缺点是不能满足介质失效下的数据恢复, 仅能满足逻辑故障下的数据恢复。
(2) 物理备份。是指将物理文件进行转储保存, 需要恢复时可以利用这些文件进行还原。该备份策略的优点是备份和恢复迅速, 容易达到低维护、高安全的效果。其缺点是单独使用时只能提供到某一时点的恢复, 不能按具体数据对象进行恢复。
1.3.3 按备份时是否终止外服务划分, 可将备份数据划分为以下2 类:
(1) 冷备份。又称脱机完全备份, 在关机 (或停服务) 的状态下进行对备份对象进行完成的截面数据备份。该备份策略的优点是备份快速、安全且操作方法简便。其缺点是在备份过程中必须处于脱机状态, 对业务会造成一定的损失, 而且只能进行物理备份, 对存储介质造成空间浪费;恢复过程中只能进行完整数据恢复, 不能以小粒度进行恢复。
(2) 热备份。又称在线备份, 是在生产系统运行状态下直接进行数据备份。该备份策略的优点是能满足业务连续运行要求。其缺点是热备份会占用一定的系统资源, 一般需要选择业务低峰时段进行。
1.4 数据备份的策略
数据备份策略是指为满足数据备份需求, 制定的数据备份内容、数据备份时间、数据备份时长、数据备份方式。备份策略的好坏直接影响备份系统的投资成本、备份时效、恢复效率、安全性等。完整的备份策略需要满足以下基本要素[7,8,9]:
1.4.1 备份对象。指进行数据备份的数据内容, 数据存放的物理位置, 常见的数据备份对象有操作系统、数据库实例、数据库表、文件、磁盘等。
1.4.2 备份类型。指进行数据备份采用什么方式, 如按备份数据的完整性分全量备份、增量备份、差分备份, 按是否停机划分冷备份、热备份。
1.4.3 备份频率。指为满足备份需求执行数据备份的间隔。如:每天、每周、每4 小时等。
1.4.4 备份时间窗口。指执行备份操作可执行的时间范围, 规定了备份操作的最早开始时间、最迟结束时间。
1.4.5 备份保存时长。指为满足业务需求对备份文件保存的时长, 一般来说备份文件保存周期必须要大于备份执行周期。
1.4.6 备份存放。指备份结果文件存放的位置 (介质) , 例如:光盘、磁带、虚拟磁带库、数据库、文件系统、文件服务器、异地存放、云存放等。
2 数据备份内容
对于应用系统, 一个完整、有效的数据备份涉及多个方面和多个层级备份内容, 包括操作系统、数据库实例、物理磁盘 (存储) 、应用程序、数据库表、交易日志、非结构化数据文件等。操作系统备份、数据库实例备份、物理磁盘 (存储) 备份、应用程序备份、数据库表备份主要目标是实现系统故障恢复, 保障系统的业务连续性, 属于技术性需求的数据备份。数据库表备份、交易日志备份以及非结构化数据备份更多的是为了满足业务需求和监管部门要求, 属于业务性需求的数据备份。
2.1 基础软件备份
基础软件备份是对整个操作系统、文件系统、设备驱动程序、常用工具软件等进行备份, 主要用于实现对整个基础软件环境进行故障恢复, 主要通过自身提供的备份命令 (工具) 将系统数据备份至磁带、磁盘、光盘等外部介质上。
由于基础软件相对较稳定, 备份频率较低, 一般每季度备份一次即可, 另外在基础软件升级前后需要进行一次备份。
2.2 应用程序备份
应用程序备份是指对安装的应用程序、配置文件、用户数据等进行备份, 主要用于满足应用程序故障恢复、版本回退等运维需求。其实现机制主要是通过定时任务调用备份工具 (或脚本) , 对涉及到的应用程序、配置文件、用户数据进行备份。
因为业务发展的需要, 目前金融数据中心应用程序 (版本) 变更相对比较频繁, 其备份频率一般是每周一备, 以及在每次版本升级前进行一次备份。
2.3 物理存储备份
物理存储备份是指通过磁盘镜像、磁盘复制等方式实现对整个物理磁盘的数据备份, 主要满足磁盘级的数据保护和恢复。
磁盘镜像是指将两个磁盘接在同一个阵列卡上, 用一个阵列卡来管理两个磁盘的技术。当用户向服务器写数据时, 磁盘镜像技术就同时将数据写入两个磁盘中, 基本上满足数据实时备份, 一旦一个磁盘损坏, 便可从另一个磁盘上获得数据, 可维持系统的正常运行。
2.4 数据库备份
数据库备份是指对整个数据库实例进行备份, 用于保证整个数据库实例的数据一致性、完整性, 保障数据库在出现物理故障或逻辑故障情况下能够有效的进行恢复[10]。
数据库实例备份一般采取0 级备份和逻辑日志备份相结合的备份策略, 0 级备份实现对整个数据库的dbspace进行全备, 可用于将数据库完整地恢复到具体某个时间点所处的状态。逻辑日志记录了数据库每一步的具体操作, 基于前述的0 级备份, 再通过重做备份的逻辑日志的方式能够将数据库恢复到最近的一次操作所处的状态。0 级备份和逻辑日志备份的执行频率要视系统数据的重要性、数据库的大小、可用备份时间窗口而定。
对于重要业务系统, 一般采用每日进行一次数据库0 级备份, 每4 小时进行一次归档逻辑日志备份。
2.5 交易日志备份
交易日志备份是指对应用系统运行日志进行备份保存, 主要用于满足问题追踪分析、业务需求及监管审计要求等。应用系统时刻会产生应用日志以记录交易处理详细过程及重要的报错信息, 由于本地文件系统空间限制, 可保留的日志量有限, 因此对于某些重要的日志需要定期将其备份到外部介质上进行保存。为方便对历史日志查询, 一般是按日期每天进行一次备份。
2.6 业务数据备份
业务数据备份主要是针对应用系统在业务处理时产生的数据文件, 如:批量文件、文本文件、图像、声音、视频等非结构化数据文件进行备份。这些文件包含了重要的业务数据, 是保障业务连续性所需要的文件, 为满足业务需求及审计监管要求, 也需要定期对这些文件进行备份。其备份策略基本和交易日志备份相同。
3 数据备份不足
数据备份是日常系统运行维护工作中一项重要的基础工作, 目前在数据中心广泛应用, 但在具体的执行过程中还存在诸多问题和不足, 需要我们予以关注。
3.1 缺乏对数据恢复验证
数据恢复验证是为了检验数据备份是否有效, 及时发现在数据备份存中在的问题, 并促使进一步优化、完善数据备份策略。由于系统运维人员对数据恢复验证重视不足及缺少相应恢复验证环境, 目前普遍缺少数据恢复验证工作, 对于多数数据备份的有效性、一致性、全面性不得而知, 这就埋藏巨大的风险隐患。
对此, 建议金融数据中心应更加注重数据恢复验证, 通过制定相关的演练计划, 定期进行数据恢复验证, 测试备份介质的可用性, 备份数据的完整性及恢复所需的时间是否满足要求。
3.2 等级划分落实不够
根据《信息安全技术信息系统灾难恢复规范》规定, 信息系统等级是其灾备建设的重要考虑因素, 也就说明数据备份需要根据信息系统等级进行规划。《规范》将信息系统划分为6 级, 不同的等级对数据备份系统要求各不相同, 等级越高对于信息系统的保护效果越好, 但同时成本也会急剧上升。在《规范》中也指出了, 可以根据成本风险平衡原则 (即在灾难恢复资源的成本与风险可能造成的损失之间取得平衡) 来确定。应建立重要数据的定期数据备份机制, 至少每天进行一次完整的数据增量备份, 并将备份介质存放在安全区域内。应对关键数据进行同城和异地的实时备份, 保证业务应用能够实现实时切换[11]。应制定灾难恢复计划并定期进行测试, 确保各个恢复程序的正确性和计划整体的有效性。
业务数据备份主要了满足业务需要、监管审计要求提出的, 在制定数据备份策略过程中往往缺少相关业务部门参与, 导致出现业务数据备份需求不明确, 备份策略不完备, 无法满足业务需求的情况。
3.3 安全要求存在缝隙
数据备份所涉及的数据均属于重要数据, 其中不乏涉及客户资金账号、个人身份信息等敏感数据。因此在制定数据备份策略时, 不仅要注重数据备份的完整性、有效性, 同时也应注重数据的安全性, 对于涉及敏感数据的备份应当采用必要的加密保护机制, 对于所使用备份介质也应当采取相应的安全保护措施, 防止信息泄露。
3.4 数据去重难于操作
数据去重是在数据备份前消除冗余数据以提高数据的存储和/或传输效率, 金融业务处理中重复数据难免, 备份大量的重复数据, 会消耗一定的存储和带宽, 导致资源浪费。随着数据急剧膨胀, 该问题日益突出。因此, 在保证数据备份的完整性的同时应当尽量减少重复数据的产生, 或者应将重复数据删除和数据压缩技术纳入整体的备份策略当中[12]。
4 结束语
数据备份是金融数据中心日常运行维护的基础工作, 是保障数据一致性、完整性的必要手段。当前, 数据备份在数据中心的运用已无处不在, 各种数据备份技术成熟度趋于成熟, 但由于缺少对各种备份方法理论方面的总结和介绍, 致使系统运维人员在面对五花八门数据备份时困惑重重。随着信息技术发展, 企业对数据的依赖性不断加强, 数据安全问题更加突出, 数据备份也将发挥出更大的作用。本文从理论角度出发, 对数据备份所涉及的基本内容、基础知识进行总结, 通过概述性的介绍帮助系统运维人员提高对数据备份的认识, 在日常工作中, 有效的做好数据备份, 提升信息系统运维能力, 防范运行风险。
参考文献
[1]Suguna, S.Overview of data backup and disaster recovery in cloud[C].Chennai:Information Communication and Embedded Systems (ICICES) , 2014 International Conference on, 2014.1-7.
[2]Xiaofang Zhang.Research on the Recovery Strategy of Incremental-Data-Based Continuous Data Protection[C].Hangzhou Computer Science and Electronics Engineering (ICCSEE) , 2012International Conference, 2012.498-502.
[3]Jayadevappa, B.A new risk analysis method for data backup strategy[C].Singapore:TENCON 2009-2009 IEEE Region 10 Conference.1-6.
[4]费振婷.银行系统在数据备份恢复上的研究[D], 上海:上海交通大学.2011.
[5]主流备份技术大观[P].中国计算机报, 2003年10月27日第H12版.
[6]李伟.银行研发中心数据备份方案解析[P].中国计算机报, 2006年8月28日第B08版.
[7]刘惠敏.数据备份策略分析[J].福建电脑, 2007, 8:70-71.
[8]张岩.数据仓库历史数据归档与重构的策略研究[D], 沈阳:东北大学.2005.
[9]朱红梅, 孙玉华.银行系统备份与恢复流程设计[J].数据存储.
[10]刘超, 张明安.基于Oracle数据库系统的备份与恢复技术研究[J].软件, 2014, 35 (3) :125-128
[11]吴卫国.西安市中心医院信息系统容灾备份方案设计[J].软件, 2012, 33 (12) :172-173
备份机制 篇6
内存数据库(main memory database,MMDB)区别于传统磁盘数据库(disk resident database,DRDB),一般数据库的数据存取是针对磁盘设计的,事务操作涉及磁盘I/O,速度较慢。而内存数据库其数据存取针对内存设计,其“主拷贝”常驻内存,活动事务只与内存打交道,数据库则不再作为大量存储文件看待而作为内存中可寻址的大量数据,这使得存取速度快速、存取时间易于预测,提高了数据库性能,使内存数据库在实时系统等环境要求下表现良好。但由于内存的易失性,M M D B必须在磁盘或者其它非易失性存储器中保存它的备份,以防系统崩溃等故障导致内存中数据丢失。而数据库的备份、日志存储及异常情况下的系统恢复需要执行大量费时的磁盘I/O操作,这必将成为系统的瓶颈,影响系统正常的事务处理能力。
本文借鉴Song's No-Log Recovery Mechanism采用了两步恢复机制。即,第一步,当事务提交时,数据处理器把影子内存(Shadow Memory)中的脏页备份到备份缓冲区中;第二步,恢复处理器把备份缓冲区中的脏页备份到归档磁盘的备份数据库中,结合影子内存技术,在增加稳定内存(stable memory)的情况下,设计一种用备份取代日志和检查点的恢复方法。此种方法,无需记录日志,同时,既可以减少恢复时间,又可确保响应时间的快速性和可预测性,更进一步的,它在两个分开的区域分别执行事务处理和备份,最小化避免了彼此之间的冲突。
1 MMDB数据恢复方法概述
当系统出现各种故障时,确保数据库快速恢复到一致性状态是M M D B恢复方法的目标。目前,对于M M D B的数据恢复方法已经有了不少研究,比较典型的有预提交、成组提交、检查点、影子页面等技术。其中预提交技术可以增加事务并发度,但不会减少I/O次数;分组提交技术可以减少系统的磁盘I/O瓶颈,但会增加事务提交处理的平均时间;检查点方面,较之非模糊检查点、模糊检查点、日志驱动检查点三类,目前有研究表明模糊检查点的性能在与事务并发方面表现最好,因为模糊检查点进程不加任何锁,不阻塞事务的正常执行,但是模糊检查点更新的数据库映像无法保证事务一致性,系统故障后通过较复杂的恢复算法把数据库恢复到较近的事务一致性状态,而且在检查点过程中读写无法并发。非模糊检查点分为动作一致性和事务一致性检查点,它们都在检查点时刻对脏页加锁,影响到事务的正常运行,但是它们备份出来的数据库由于满足事务一致性恢复算法相对简单。影子页面技术是所有要更新的页都复制副本影子页,更新发生在这些影子页上,如果事务成功提交,影子页成为当前页,否则影子页丢弃,它可以节省记录事务UNDO日志,但占用内存空间比较大。
2 基于两步备份机制的MMDB恢复方法
在这节里,首先描述两步备份恢复机制的系统配置,然后详细介绍当系统出现事故后,事务处理、系统备份以及系统恢复的详细流程。
2.1 两步备份恢复机制的系统配置
图1显示,恢复机制配置主要包括数据库处理器(DP),恢复处理器(RP),内存数据库(MMDB),影子内存(SMEM),备份缓冲区(Backup Buffer)以及备份数据库(Backup DB)。其中MMDB和SMEM是置于易失性内存当中,备份缓冲区则置于非易失性固定内存之中,而永久磁盘刚存放备份数据库。MMDB储存基本的数据库及在影子内存中确实被执行的所有数据更新。当事务引发M M D B中的一个更新操作时,它并不直接改变M M D B中的数据,而是在相应的影子内存的影子页中修改数据,当事务提交时,脏页回写MMDB。两步备份恢复方法与其它恢复方法不同在于,当事务提交后,DP首先将影子内存的脏页备份到备份缓冲区中,最后把备份缓冲区中的脏页备份到磁盘备份数据库中。为了更好说明恢复和事务处理,在此作以下说明。
(1)Transaction Page List(TPList,事务页表),指影子内存中,针对当前事务的一张连续的页信息表,当事务提交时,这些页被拷贝到备份缓冲区中,同时,追加到Backup List表中。
(2)Usable Page List(UsabIeList,可用页表),指影子内存所有页中,当前已执行事务所涉及到的一张连续的可重复使用的页表。已提交事务及当前事务所使用过的页均属于这个表。
(3)Shadow Memory Area Free Page List(SFreeList,影子内存区空闲页表),指影子内存区空闲页表。
(4)Backup Page List(BackupList,备份页表),指备份缓冲区中一张连续的页表,这些页将由RP负责将它备份到备份数据库。
(5)Backup Buffer Free Page List(BFreeList,备份缓冲区空闲页表),指备份缓冲区中连续的空闲页清单。
由于在存取数据方面,内存比磁盘快得多,因此,锁的争夺就不像在传统磁盘上那样激烈,基于这个原因,可以通过选择整个数据库作为锁的粒度,从而避免并发控制消耗。许多研究也证明,这样确实有利于提高M M D B性能。
2.2 事务处理
事务处理流程如下:
(1)开始事务
(2)对于事务的每一个操作opi
(1)假设opi是读操作
a.如果读操作opi所涉及的页pagek在TPLIST中,则直接读;
b.如果读操作opi所涉及的页pagek不在TPLIST中,则读M M D B中的页。
(2)假设opi是写操作
a.如果写操作opi所涉及的页pagek不在UsableList中;
I.从SFreeList中分配一个空闲页;
II.将MMDB中的页pagek拷贝到上步分配的空闲页中;
III.追加pagek的影子页到UsableList;
b.追加pagek的影子页到TPList;
c.更新pagek影子页。
(3)事务处理过程
(1)事务终止
a.比较UsableList和TPList,在UsableList中删除TPList中的页;
b.释放TPList里页并把他们追加到SFreeList;
c.置TPList为空。
(2)事务提交
a.拷贝TPList里的所有页到Backup Buffer;
b.在BackupList中,追加上一步已拷贝的页;
I.对于TPList中每页pagei,如果它不在BackupList中或者正处于备份过程中,则把它追加到BackupList;
II.否则,删除pagei前一个拷贝页,并且使指针指向当前页pagei;
c.对TPList中每页,回写pagei至MMDB;
d.置TPList为空。
(4)结束事务
以上就是事务处理的步骤。下面进一步给出详细解释。
如果当前事务需要更新M M D B中的页时,它首先搜索UsableList,确认此页是否在SMEM中。如果此页在UsableList中,则直接更新页,否则,在SMEM中分配一个页空间,并把MMDB中所对应的页内容拷贝到刚分配的页空间来。当进行读操作时,如果所涉及到的页在TPList中,影子内存中的页应该可以读(这是因为同一事务所对应的写操作映射在影子内存中而不是M M D B中),否则M M D B中的页可以读。
当事务提交时,所有已经更新的页被拷贝到B a c k u p Buffer及被追加到BackupList,最后回写MMDB。如果某页因为同一个逻辑页号仍然保留在备份缓冲区中而没被拷贝到Backup DB,则不得不把它从Backup Buffer和BackupList删除,然后,当前页被拷贝至Backup Buffer和BackupList中。如果相同的逻辑页备份正处于进程中,则当前页不进行删除操作,直接被拷贝到Backup Buffer和BackupList中。当TPList中的所有页被拷贝到Backup Buffer和attached to BackupList中,则事务提交程序结束。
一般的基于影子页面的恢复技术,在事务提交后,将影子内存区的影子页全部删除。但在这里,两步备份机制却让他们留在影子内存区中,这是因为它们后面的事务可以继续使用它们。
当前事务的终止步骤就非常简单,丢弃脏页即可(因为更新操作发生在影子内存中)。
2.3 备份步骤
一般的M M D B恢复技术都采用检查点技术,就是周期地将MMDB中数据备份到磁盘。本文所提的两步备份机制不采用检查点技术,而是直接把Backup Buffer的页备份到Backup DB。这种备份由于没有MMDB的参与,也就不会影响事务的处理。但可能由于Backup Buffer没有空闲空间,事务提交会延迟,但这种情况在其它系统中由于其它种种原因也是不可避免的。
RP备份BackupList中的页,备份步骤如下:
(1)RP从BackupList中把他们删除;
(2)RP把他们追加到BFreeList。
2.4 恢复步骤
当系统出现故障时,由于没必要写任何日志,快速恢复成为可能。stable memory维护的页因为没有undo和redo操作,也就没有必要进行备份。系统重启后的第一项工作(重载Backup Buffer中的页至MMDB)只要花很短的时间就可在main memory和stable memory中完成,尽管在恢复过程中,系统可能再次出现故障,但数据库系统仍然保持数据一致性,这是因为Backup List中的页还在stable memory中。
恢复步骤如下:
(1)系统重启;
(2)加载BackupList中的所有页至MMDB;
(3)载入任务完成,开始新的事务。
如果新事务需要页时,在M M D B中对它进行搜索。
(1)如果搜索失败,从backup DB中重载此页到MMDB。
(2)否则,正常处理事务。
2.5 最坏情况性能分析
由于本文所提出的机制是在Song's No-Log Recovery Mechanism的改进,自然也就选用Song's模型来做比较,分析两步备份机制最坏情况下的性能。这里主要评价和比较最坏情况下的事务响应时间指标。
图2说明了分析模型所关联的五个参数及它们所代表的意思。本文假设main memory(RAM)足够容纳整个数据库和相应的影子页面,stable memory大小也足够容纳需要的信息,并且不会出现故障,事务连续被处理,stable memory的存取时间比RAM慢2倍(相关研究表明stable memory的存取时间比RAM慢2至4倍)。
最坏情况下,一个事务包含N个更新操作,每个更新操作存取不同的页,将被更新的页不在S M E M中,这样的话,N个页就应该从MMDB拷贝到SMEM。在Song's的模型中,响应时间计算如下(RT表示响应时间):
CMScopy用(CMRead+CSWrite)代替,CSMcopy用(CSRead+CMWrite)代替,则得到
在两步备份机制中,事务响应时间可以按如下计算:
CMMcopy用(CMRead+CMWrite)代替,CMScopy用(CMRead+CSWrite)代替,则
按上面假设,stable memory存取时间比RAM慢两倍,则可以用2*CMRead代替CSRead,2*CMWrite代替CSWrite,则两种机制的响应时间为
从上面得出的结果可知,在考虑stable memory存取时间比R A M慢两倍的情况下,两种算法的响应时间基本相同。
如果stable memory存取时间比RAM慢4倍,则用4*CMRead代替CSRead,4*CMWrite代替CSWrite,则两种机制的响应时间为
基于上面的比较,由此可见,两步备份机制的响应时间相对来说更快。
以上是通过理论推理得出来的结论,其实,我们也可换种角度来分析。在Song's的模型中,它利用Stable Memory作为影子内存,而本文采用的两步备份机制是在main memory中划出一块适当大小区域作为影子内存,当事务处理涉及到的页越多时,MMDB和影子内存打交道的次数越多,由于main memory存取速度比Stable memory快,两步备份机制的响应时间也就比Song's的提出的模型响应时间快。
综上所述,在最坏情况下,两步备份机制比Song's No-Log Recovery Mechanism具有更快的响应时间。
3 结束语
本文所提的两步恢复机制模型相比一般的恢复机制具有更快的响应时间,原因有三:一是由于使用部分主存作为影子内存,数据存取时间比使用stable memory更快,这样也就降低了页从M M D B到S M E M的复制损耗。第二,本文考虑到事务进程都是在主存中执行的,通过直接将备份缓冲区的脏页刷到备份磁盘中,消除了检查点对事务进程的干扰。最后,由于没有undo/redo日志,也就消除了记录日志时产生的磁盘I/O。在接下来的工作中,可以考虑研究没有stable memory硬件支持,具有更快的响应时间的恢复方法。
参考文献
[1]E.M.Song,Y.K.Kim,C.H.Ryu,et.al.,“No-Log Recovery Mechanism Using Stable Memory For Real-Time Main Memory Database Systems”,RTCSA'99,IEEE CS.December1999.
[2]G.Copeland,T.Keller,R.Krishnamurthy,and M.Smith“The case for safe RAM”,In proceedings 15th Int.Conference on Very Large Databases.1989.
[3]HUANG Lin,LU Jing,LIN Zhong“Recovery method for main memory database systems based on shadow paging”,Com-puter Engineering and Design Vol.29,NO.10.May2008.
备份机制 篇7
随着网络应用日益深入到人们的生活之中,网络冗余备份机制显得越发重要。作为IPv4的替代协议, IPv6网络必须提供可靠的网络冗余机制保证业务的可靠传输。多路由器备份是一个日益重要的网络冗余备份机制。 在多路由器备份场景中,在同一链路上的两个或多个路由器提供网络的冗余备份功能。本文中将分析研究IPv6邻居发现协议以及默认路由优先级协议,并利用路由器发现机制,邻居不可达检测机制以及默认路由器优先级实现网络冗余机制。
2 邻居发现协议
邻居发现协议是IPv6协议的一个基本组成部分。它主要利用ICMPv6协议, 增加了新的ICMPv6报文类型以解决几个问题。路由器发现:主机如何定位链路上的路由器;前缀发现:主机如何发现同一链路上有哪些前缀;参数发现:节点学习链路MTU等参数,地址自动配置;地址解析:获取邻居的链路层地址,下一跳判定; 邻居不可达检测:判定邻居可达状态,重复地址检测;重定向:路由器告知主机更好的第一跳节点。
IPv6主机利用邻居发现协议中的路由器发现过程来发现链路上的路由器网关。路由器发现过程定义并使用了路由器公告 (ICMPv6类型133) 和路由器请求 (ICMPv6类型133)两种ICMPv6消息。
路由器随机的发出非请求路由器公告报文到链路范围内所有节点组播地址(FF02::1)如图1所示。此时链路范围内的所有主机都可以接收到该路由器公告报文。
IPv6主机也可以通过发送路由器请求报文到链路范围内所有路由器组播地址(FF02::2)主动请求路由器发送路由器公告报文。当路由器收到主机的路由器请求报文时将立即发送路由器公告报文作为回应。 如图2所示。
当收到路由器公告报文后,IPv6主机将根据路由器公告报文的内容自动配置默认路由列表。IPv6主机将使用默认路由器列表来选择默认路由器转发报文。
3 默认路由优先级
如图3所示, 在同一个链路上存在多个路由器,其中与路由器1相比,路由器2可以提供更好的路由转发性能。理论上IPv6主机应该优先选择路由器2作为默认路由器。但是根据RFC4861定义的路由器发现协议, 当一个链路上存在多个路由器时,IPv6主机从默认路由器列表中循环选择默认路由器。此时路由器1可能被主机选为默认路由器。实际上这样的选择不是最优化的。
RFC4191在路由器公告报文的基础上,使用了路由器公告报文中的保留位, 增加了Prf (Default Router Preference)字段,用来定义路由器优先级:
01 High
00 Medium (default)
11 Low
10 Reserved - MUST NOT be sent
IPv6主机可以根据路由器公告报文中的路由器优先级来选择高优先级的路由器作为默认路由器。如图4所示,主机1和主机2选择了具有更高优先级的路由器2作为默认路由器。
此时如果路由器2发生故障,主机1和2将选择备份的路由器1作为默认路由转发数据报文。
4 默认路由器不可达检测
优选的默认路由器可能因为很多原因失效不能提供服务,例如硬件故障,链路故障等等。IPv6主机必须检测到优选默认路由器故障从而选择备份的默认路由器。在IPv6中, 主机使用邻居不可达检测机制来发现优选默认路由器故障。邻居不可达检测过程定义并使用了邻居公告(ICMPv6类型136)和邻居请求(ICMPv6类型135)两种ICMPv6消息。
当IPv6主机收到邻居路由器公告报文后,IPv6主机将为邻居路由器创建新的邻居列表, 其邻居状态都变为REACHABLE。经过一定时间,邻居状态由REACHABLE变为STALE状态。当主机需要发送数据给一个状态为STALE的邻居时,发送主机把邻居状态改为DELAY,并启动定时器。若定时器超时后,邻居状态仍为DELAY,则把邻居状态改为PROBE。若定时器超时前收到邻居可达确认,则邻居状态变为REACHABLE。在PROBE状态, 主机每隔一定时间重发一次单播的邻居请求, 直到收到邻居的可达性确认。当发送了若干个邻居请求后,依然没有收到邻居的回应,则中止发送,删除邻居条目,此时认为邻居不可达,如图5所示。
5 实现网络备份机制
图6给出了一个利用路由器优先级,路由器发现过程以及邻居不可达检测过程实现的路由器备份过程。
(1)路由器1和路由器2发送路由器公告。
(2)根据路由器优先级 ,主机创建路由默认路由器列表,选择高优先级的路由器作为主路由器,低优先级路由器作为备份路由器。
(3)正常情况下IPv6报文经路由器2转发。
(4)主路由器2发生故障。
(5)主机通过邻居不可达检测机制检测到主路由器2不可达。
(6)选择备份路由器1作为主默认路由器。
(7)新的IPv6报文经路由器1转发。
6 结束语
当使用IPv6承载网络业务时, 网络的冗余备份机制变得越来越普遍,越来越重要。本文通过在IPv6网络中应用路由器发现机制, 路由器优先级以及邻居不可达检测机制实现了IPv6网络的路由器冗余备份机制,为IPv6网络业务的传输提供了可靠保证,并提高了网络自愈能力。同时我们也应该注意到当IPv6网络用于语音, 数据等实时业务传输时, 业务要求可靠不间断传输。本文提供的IPv6网络路由器备份机制的有效性依赖于邻居故障发现以及备份路由器切换的有效性及快速性。根据邻居发现协议,邻居不可达检测通常需要几秒,十几秒的时间,对于传送实时业务的通信网络,这样的故障切换时间太长。如何缩短故障切换时间是我们下一步的研究方向。
摘要：随着互联网技术的爆炸性发展,网络应用日益深入到人们的生活之中。网络冗余备份机制显得越发重要。作为IPv4的替代协议,IPv6网络必须提供可靠的网络冗余机制保证业务的可靠传输。多路由器备份是一个日益重要的网络冗余备份机制。在多路由器备份场景中,在同一链路上的两个或多个路由器提供网络的冗余备份功能。本文中将分析研究IPv6邻居发现协议以及默认路由优先级协议,并利用路由器发现机制,邻居不可达检测机制以及默认路由器优先级实现网络冗余机制。
备份机制 篇8
随着电视台数字化、网络化建设的加速发展,以及媒体新业务的不断涌现,媒体资产(称“媒资”)管理系统建设在电视业务生产流程中的作用越来越大。媒资系统的安全性和适用性是未来数字电视发展的基础,系统中存储数据管理的安全可靠更是未来媒体业以内容为武器进行角逐征战的战略资源保障。沈阳电视台在新环境下,以媒资安全建设为指导思想,建立磁带双备份机制的媒资管理制度,在全台网络构架环境中开展媒资数据资源的安全管理工作。
1 建立完善的媒资系统数据库管理制度
无论从投资成本经济合理角度考虑,还是从节目存储安全可靠、方便调用角度出发,我台同时采用数据流磁带和数字格式磁带两种方式来解决大量的长期保存和再利用,并以此设计媒资带库管理系统来应对和解决两种磁带数据安全存储的问题。媒资带库管理系统主要负责管理数字磁带和新建媒资管理系统中的数据流磁带。媒资带库管理系统的核心设备是数据库管理工作站。
2 数据资源双重备份,提高数据安全度
确保媒资数据资源的安全性对于其再利用具有重要作用。为预防意外事故发生,沈阳电视台经过多次考察与研究后,决定采用数据流磁带数据双备份机制加强数据安全管理,这对数据的容错、纠错及数据灾难恢复有着重要作用。下面以历史资料的数字化转储流程简单介绍数据流磁带双备份的管理机制实施情况。
编目系统作为媒资管理系统不可或缺的一部分,对信息资源的形式及内容特征进行分析、选择和记录,然后再将这些描述信息按照一定的规则有序地组织起来,并提供检索,使得编目工作规范化、自动化、联机编目网络化。编目是系统进行元数据加工管理的核心环节,由于所有节目素材经过编目后都有了详细的标引和各种描述,所以查询很容易,工作更快捷,更简单。
沈阳电视台成立于1979年,在30年的发展过程中,积累了大量的珍贵历史资料,库存资料带4万余盘,由于时间年限久远,加上保管条件受限,大批资料亟待抢救。因此,我台经过多方调研及考核,最终选择索贝公司作为本次项目的实施单位,共同完成历史资料的数字化转储、编目整理与备份操作工作,并负责完成数字化资料与我台媒资系统数据库的对接。该项工作实现了:
1.数字化转储过程中文件与编目信息的双重备份
基于客观条件所限,我台首批抢救的资料数字化存储工作在成都实施。借助索贝公司的转储设备、专业的编目人员和先进的技术,在2007年完成2.8万多盘磁带,约计2.39万小时节目的视频资料数字化和编目工作,全部数据流磁带采用1+1备份方式。传统介质的节目信息在转化为数字存储方式写入数据流磁带之时,同时备份该数据流磁带。每盘主数据流磁带都单独产生与之对应的一盘备份带。编目工作中,建立数据库主索引后,索引文件同时也与相应的视频文件备份带建立备份索引目录。在主备份数据流磁带放入带库后,索引信息导入媒资数据库关联,节目信息的数据流磁带双重备份写入工作也相继完成。
2.数据流磁带编号自动统一管理
一般情况下,数据流磁带标签信息为原始设置,在单一数据流磁带存储管理中无需过多关注。但当出现同一节目信息在不同标签信息的磁带中相互关联并且达到完全匹配,则需人工干预。而目前高度自动化的磁带迁移系统要求在标签信息间必须具备高精准度方可有效替换应用。为此,我台与索贝公司共同研究,统一采用单盘数据流磁带间自动匹配,对应软件控制方式,实现主数据流磁带与备份数据流磁带之间的完全关联。自动化的统一配置管理方式在实现备份数据对应无误的基础上,为日后数据的自动回迁、调用奠定了基础。
3.日常运行的备份操作机制,定期测试备份数据
为确保节目制播工作的顺利开展,在日常运行中,系统采用热备份操作机制作为应急措施。即在节目数据回迁调用过程中,若发现主数据流磁带出现异常,即可通过资料库管理系统调用备份数据流磁带编号,由系统操作员取出异常主数据流磁带,并放入备份带,及时解决应用中出现的故障。
此外,为提高备份数据在今后的可用性,在传统磁带的数字化转储任务实施中,定期对主备份数据流磁带进行测试与监看,及时发现应用中的问题,并根据用户需求不断调整、完善软件功能,整体确保系统运行与数据的安全存储和高可用性。
4.完善并提高系统存储环节中AK系统的性能
AK系统是媒资管理系统的重要一环,负责任务的调度迁移,保证其运行的稳定、可靠与功能的完善至关重要,特别在实现媒资主备份磁带间数据的调用与切换方面具有核心地位。为安全、快速、准确实现媒资数据主备份之间的转换迁移与调用,在索贝公司配合下,完善并提高了AK系统的性能增加并修改了前期设计中未曾预测或少有偏颇的流程和技术参数,提高了媒资与各网络间节目数据的调用与交换。
AK系统提供了一套完整、可靠的数据保护机制。在数据层面上,支持自动生成一组数据文件的校验信息,单独保存校验信息,以用于某个文件损坏时的数据恢复;在物理介质层面上,通过统计存储介质的使用次数预测具使用寿命,定期或提前进行存储介质的数据复制工作,以防介质老化损坏对数据的破坏;在系统软件层面上,支持将逻辑的数据检索信息同时写入迁移管理数据库和存储介质,即使数据库损坏利用系统软件提供的数据读取工具也可以将存储介质上保存的数据检索信息和数据实体读出。
目前AK系统在索贝公司的配合下,已经由AK 1.0版本升级到版本3.0,AK 3.0系统既可以实现软件直接备份数据流磁带内容,又可以将所需的素材单独备份到其他的数据流磁带上,同时还增加优化了查询统计及其他等多项功能,修改了一些操作上的不顺畅和相关技术参数问题等,使AK系统在使用上更加实用、快捷、稳定。
3 磁带双备份在未来媒资建设中面临的问题
如何做好备份数据的管理与应用是未来媒资建设工作的一项重要工作。基于媒体资源的不断丰富与扩展,数据流磁带磁带数量及备份数据磁带的数量也将日益增为,随之而来的硬件配置、技术调整和成本管理等等问题都将逐渐凸显未来媒体资源数据安全保障工作将是我们的面对一个有待深入研究和解决的重要课题。
随着科技的日益发展,技术的不断提高与系统管理措施的日益完善,数据流磁带备份在短期内应用效果并不明显但它的备份应急、安全可控的管理理念是“安全播出”的有效保障,适应了无带化全自动节目制播方式的需求与发展是今后媒资建设中加强数据资源的安全意识与应对举措的必要措施,也是媒资数据资源建设的发展趋势。
摘要：本文通过阐述数据流磁带双备份机制建设的过程,突出其重点在于保护节目数据安全,保障系统安全运转。从系统安全和内容安全角度出发,建立数据流磁带的双备份机制,是今后媒资建设中数据资源的安全意识与应对举措的必要措施,也是媒资数据资源建设的发展趋势。
备份机制 篇9
关键词：数据安全,跨平台,企业级集中备份,资源整合,备份策略,主机,存储
1 企业级跨平台集中备份和备份策略设计目标
以资源整合为基础, 综合利用现有信息资源, 建立信息资源的采集、维护、共享和分析机制, 逐步建设完善以行业基础数据与业务数据为主要组成部分的全面、综合、统一、归整、积累的管理数据中心, 重视系统复杂的数据集成需求与数据间的相关性, 采用成熟先进的技术, 实现灵活的数据集成策略定制, 并保障各应用系统数据量的均衡与处理的高效率。注重系统的可扩展性, 并充分考虑与后续相关工程的结合;技术先进与经济实用并重;强化管理与注重技术相结合。针对各系统的运行环境及运行特点进行详细分析。主要包括各系统目前的数据量, 日增长量、周增长量、月增长量、年增长量。系统高峰、低谷运行的时间阶段、数据需要保留的时间、是否异地存放等关键因素来具体考虑我们的备份策略, 从而实现企业各系统的整体备份策略, 实现备份和策略的统一管理、统一监控、统一运维的目标。
2 企业级跨平台集中备份系统和备份策略设计分析
2.1 应用系统平台分析
主要涉及ERP系统 (HP-UNIX平台) 、生产管理系统 (HP-UNIX平台) 、营销业务系统 (IBM AIX) 协同办公系统 (AIX+Domino平台) 、数据中心系统 (IBM AIX+Linux平台) 、交易运营系统、招投标系统、松耦合系统 (微软Windows平台) 等多套系统, 需要考虑涉及的范围较广, 系统拓扑结构复杂, 需要分析的因素多, 如何将这些系统在现有的硬件环境下合理的分配资源, 将各个系统整合到一个备份管理平台, 是实施的难点, 实施过程中要绝对保证各个系统的安全运行, 避免数据丢失、业务受到影响等事故或故障。因此, 全面掌握实施中所涉及的现状是我们首先需要掌握和分析的。
2.2 备份网络环境部署分析
由于各系统在建设时无法全面考虑和建设时期的硬件限制导致目前各业务系统的SAN环境分散, 虽然在后期陆续新建系统时部分的利用了其他系统的SAN交换机, 但仍未做到SAN环境统一部署, 导致集中统一备份系统无法全面实现LAN FREE备份方式, 降低备份效率, 对存储的统一统筹规划也起到了一定的制约。备份网络环境包含了LAN Free备份方式也包含了LAN备份方式, 并且所有的备份所涉及到的备份服务器、介质服务器、备份客户端的管理均是通过网络实现的。将备份网络和生产应用网络混合在一切势必相互影响, 各应用系统、备份系统的效率都会下降。这就需要我们考虑建设一套以备份为目的的专用网络用于备份, 这样, 只需要增加很少的投资 (网卡、网络、交换机) 就可以解决这个问题。极大的提高了备份和恢复的速度。建立一个统一的全局的SAN环境解决了统一备份不能完全实现LAN Free的备份方式, 同时也为面临的主机、存储架构安全、优化整合奠定了硬件基础。
2.3 数据备份系统设计分析
企业跨平台集中备份系统设计时应对跨平台 (包括AIX, HP-UX、Digital UNIX、Solaris、Red Hat Linux、SuSE Linux、Red Flag Linux和Windows 2000/2003) 多应用复杂数据中心环境的的支持;备份管理软件数据库方面应支持Sybase、Oracle、SAP、DB2、Microsof SQL Server、Lotus等。
企业跨平台集中备份系统设计时必须支持重复数据块级别的数据删除, 可以极大地提高磁盘空间的利用程度, 除了能够支持文件系统外, 也包括实现Oracle、SQL、等数据库方面。支持操作系统级别的裸机恢复方式, 在文件和数据都出现问题和故障之后, 能够迅速进行系统的完全恢复。能够支持各类不同磁带库。设计采用的系统软件的售后服务和培训也是选择的重要因素。支持定时自动备份和自动换带。备份系统磁带库应安装多个磁带机并行, 提高带库的读写性能和备份时间。操作简单和直观图形化的用户界面, 能够缩短备份工作人员效率和准确操作性。企业大量的信息系统都是24小时不间断机运行的, 必然存在文件可能处于打开状态, 在备份时要进行监控, 以保证可靠地备份作业正常运行。
2.4 数据备份策略设计分析
企业跨平台集中备份系统策略设计的优劣, 重点要考虑备份间隔的时间和次数, 重要系统的数据备份可增加间隔次数;根据给定的备份数据容量大小, 分析计算出数据备份的每驱动器的单位间隔时间和备份速度, 按照测试分析后的实际数据, 设计需要的驱动器数量。
备份介质的保存时间的确定, 是按照企业对数据的依赖程度来确定的, 备份工作中要使用较多的存储介质, 通过分析备份介质要保留多长和每次备份的间隔时间, 就能够计算出所需要备份介质数量。为了提高效率和降低成本, 建议采用多磁带轮换方式, 将超过保存时间的备份介质重新覆盖使用, 按照备份类型和备份间隔时间来确定轮换频率。集中备份所需的备份介质数量=所需备份数据全备份所需的介质量+增量备份所需的介质量+保留时间或轮换频率, 通过多次测试和分析, 调整备份策略的间隔时间和保存时间, 最终估算备份容量。
2.5 数据安全风险分析
对各类信息系统形成风险威胁的主要来源于逻辑错误, 主要包括来自于系统管理员或者各软硬件厂商操作人员的误操作, 比如错误的删除了某系统数据或者修改了不合理的配置及软件程序等、软件的BUG、病毒及黑客攻击、系统资源不足、内存溢出、系统宕机等方面, 由此而造成的数据丢失、系统损坏等风险。其次是物理损坏, 主要包括系统所涉及的硬件设备的损坏, 主要包括如CPU、内存、网络、硬盘、HBA卡、磁盘阵列及控制器等方面的硬件的损坏而造成的系统无法正常运行或者数据丢失的风险。自然灾害, 主要包括由地震、火灾、战争、恐怖袭击、台风等自然灾害而造成的系统无法正常工作或者设备全部损毁的风险。
以上风险中最为常见的错误来自于逻辑错误, 如何避免以上风险成为我们目前需要考虑的重点。
3 企业级跨平台集中备份系统和备份策略实现
建立一个趋于完善的、科学合理的、高效安全的备份系统, 所有涉及统一备份的服务器、客户端均由专用的备份网络统一管理, 与生产环境网络物理分离, 各系统的生产数据通过主干网络传输, 备份数据和备份管理通过备份专用网络传输, 做到互不干扰, 提高网络运用率。
通过整合优化存储和SAN环境, 将所有存储统一到一个层面, 尽可能的利用SAN网络来传输备份数据, 实现LAN Free备份方式, 提高备份和恢复速度, 同时为建立存储标准化和存储虚拟化奠定基础。统一存储监管, 提高存储利用率, 为进一步对存储系统进行安全架构改造提供依据。
备份策略的实现, 通过定义备份策略后, 按照全备份、增量备份、累计增量备份等方式惊醒。全备份的优点在于恢复速度快, 弱点是数据量大, 所需时间长;增量备份的优点是每次备份的数据量少, 弱点是恢复时需全备份加多次备份的增量数据;实际应用中经常是三种方式的组合使用, 也可使用差分备份, 备份自上一次全备份以来更新的所有数据。组合备份方式, 能够提高备份效率, 保证了系统的7x24小时的正常、安全可靠运行。
异地备份策略:备份数据必须要实现异地保存来满足数据容灾的要求。由于在线异地容灾实施难度, 企业普遍主要考虑备份数据的副本发送到异地保存, 即将磁带异地保存并有效管理。首先要制订好磁带异地保存的标准。将要进行数据异地存放的应用系统、要复制的数据类型、要复制的数据量和需要的磁带容量、异地保存备份数据的保留期限、数据复制的时间安排、磁带运输周期等合理安排。在异地保存的备份数据过期时间应该比在本地磁带库中的备份数据要迟一些, 主要是考虑到历史数据的恢复。对备份数据进行复制要安排在备份系统比较空闲的时候, 异地备份非常适合跨地区的集团式企业, 多个不同区域的分公司相互备份和存放备份介质, 统一建设存放地点和管理备份介质, 实现企业集团的整体备份管理。
4 结束语