IP-SAN存储系统

IP-SAN存储系统（精选5篇）

IP-SAN存储系统 篇1

近年来, 各大公司、企业、院校内部的应用系统越来越多, 涉及的方面也越来越广。当一个企业单位, 它的计算机应用 (包括电子邮件、会计账务、人事管理、库存管理、CAD/CAM, CRM、ERP、SCM等应用) 数目大于6个时, 数据中心的运行人员会因计算机处理硬软件种类、网络通信设备、存储设施繁多而穷于应付, 无法有效发挥数据处理资源对企业单位主流业务的支持。为了简化对资源的管理, 提高各应用系统的安全性、可靠性, 就需要为各应用系统配置相应的存储备份系统。

一、SAN概述

SAN (Storage Area Network, 存储区域网络) , 是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。

IP-SAN是应用i SCSI技术的SAN网络, 传输介质为IP网。IP-SAN是基于TCP/IP数据传输技术构建的存储区域网络, 可将SCSI指令通过TCP通信协议传送到远方, 以达到控制远程存储设备的目的。由于传送的封包内含有传输目标的IP位置, 因此, IP-SAN是一种效率较高的点对点传输方式。i SCSI的最大好处是能提供快速的网络环境, 虽然目前其性能和带宽跟光纤网络还有一些差距, 但能节省企业约30%~40%的成本。i SCSI技术优点和成本优势的主要体现包括以下几个方面:

硬件成本低。构建i SCSI存储网络, 除了存储设备外, 交换机、线缆、接口卡都是标准的以太网配件, 价格相对来说比较低廉。同时, i SCSI还可以在现有的网络上直接安装, 并不需要更改企业的网络体系, 这样可以最大程度地节约投入。

操作简单, 维护方便。对i SCSI存储网络的管理, 实际上就是对以太网设备的管理, 只需花费少量的资金去培训i SCSI存储网络管理员。当i SCSI存储网络出现故障时, 问题定位及解决也会因为以太网的普及而变得容易。

扩充性强。对于已经构建的i SCSI存储网络来说, 增加i SCSI存储设备和服务器都将变得简单且无需改变网络的体系结构。

带宽和性。i SCSI存储网络的访问带宽依赖以太网带宽。随着千兆以太网的普及和万兆以太网的应用, i SCSI存储网络会达到甚至超过FC (Fiber Channel, 光纤通道) 存储网络的带宽和性能。

突破距离限制。i SCSI存储网络使用的是以太网, 因而在服务器和存储设备的空间布局上的限制就会少了很多, 甚至可以跨越地区和国家。

二、集中存储备份系统方案

(一) 系统总体架构

经过对现状进行分析, 做出以下存储备份规划:

1. 采用IP-SAN存储架构, IP-SAN与以太网完全

兼容, 可以大大简化日常管理需求, 为今后科学的存储管理打下良好基础。再新增一台备份服务器, 对各应用系统数据进行科学化、自动化的备份管理。

2. 前端的服务器通过以太网卡和千兆交换机与后端的主存储设备相连, 服务器的数据保留在主存储设备上。

3. 主存储设备一方面提供NAS文件共享功能, 供前端业务进行文件共享;

另一方面提供本地的数据保护, 当由于人为误删除或病毒攻击造成数据丢失时, 能快速有效地恢复。

(二) 方案详细配置

1. 配置一台IP-SAN设备作为集中存储设备, 主存

储需要支持目前业界领先的SAS接口技术, 支持SAS与SATA磁盘混插, 适合关键业务的在线存储。所有需要连接存储的服务器, 只要安装千兆网卡, 并安装软件的i SCSI Initiator就可以, 从而不需要购置价格昂贵的HBA卡。主流系统AIXSolarisLinuxWindows都支持这种千兆网卡加软件的i SCSI Initiator实现方式。

2. 近线存储采用H3C的EX1500作为核心存储设备。

通过COMMVAULT备份软件, 实现将业务数据备份到EX1500中。

3. 虚拟磁带库:

采用磁盘模拟成磁带库 (或磁带机) , 作为备份存储介质。备份管理服务器Comm Server:负责管理整个备份系统。

4. 介质代理服务器模块Media Agent:

管理备份介质、管理所有的备份数据索引。

5. 备份客户代理i DA:

负责将生产主机上的数据传送到介质服务器软件模块上。

(三) 系统结构说明

在各个计算机上安装下列主要软件模块。

1. 备份服务器模块:

管理灾备系统的工作、配置;管理所有的自动备份和恢复策略;管理界面的GUI和Web服务。

2. Media服务器模块:

管理所有的备份介质;实现集中备份的方式;管理所有的元数据索引。

3. 备份客户代理:

负责将生产主机上的数据传送到介质服务器上。

在上述系统架构上, 主要提供LAN备份模式, 在该模式下, 在生产机内只需要安装i DA模块。在备份操作时, i DA模块把需要备份的数据从生产数据存储设备中读入生产机, 并通过LAN把备份数据传给专用MA服务器, MA服务器将把数据通过SAN写到备份设备上;在恢复操作时, MA服务器将通过SAN网从备份设备上读入恢复数据, 并通过LAN把数据传给i DA, i DA把数据写入生产系统。在LAN模式下, 备份/恢复操作的数据需要经过LAN网转送。

(四) 数据备份实现的典型业务功能

1. 数据校验 (Data Verification) :

数据校验工具可以被设置为在所有备份、所有全备份后运行, 或在备份中刚出现或完成某个数据时开始运行。

2. 数据“断点续传”, 确保备份/恢复可靠性:

备份、恢复、辅助拷贝、合成全备份等一切数据传输的操作都具有检测点, 从而能保证操作中断后的重启。这一功能对WAN上备份、恢复十分重要, 也确保了备份、恢复的成功率。从而保证在网络带宽不是很充足的情况下, 确保备份/恢复任务的顺利完成。

3. 带宽限制管理, 确保网络传输可靠性:

提供带宽限制功能, 让管理员能明确地定义多少有效带宽能用于复制。另外, 带宽的分配能按管理员制订的计划来自动调整。例如, 在典型的办公环境里, 可在每个工作日的晚上和周末选90%的带宽来复制, 在上班时选40%的带宽来复制。

三、结束语

从20世纪末期开始我们的社会已经进入信息化的时代。作为信息基础的数据, 其价值被越来越多的企业所认识。数据支持着许多企业每日的交易及决策, 数据也支持着许多工厂生产线的正常运行, 为了实现存储数据在服务器和存储设备之间的高速传输, 高效地确保调度数据的安全性和可用性。本文提出采用IP-SAN技术基于高速以太网SAN架构, 通过i SCSI协议来实现。

参考文献

[1]吴廷照, 李兴国, 李秉严.数字图书馆存储系统解决方案[J].四川图书馆学报, 2004 (2) .

[2]李强.用于灾难恢复的远程备份系统的研究[D].长沙:国防科学技术大学, 2004.

IP-SAN存储系统 篇2

Katta可用于大量、重复、索引的碎片，以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop mapfiles

让大型高负荷的索引变简单

能为许多具有大型Lucene或Hadoop Mapfile 的索引碎片的服务器提供服务

在不同服务器上复制碎片以保证性能和容错性

支持插件化的网络拓扑

故障管理

快速、轻量级、易于集成

与Hadoop集群工作良好

Apache License,Version 2.0

网络存储系统综合安全研究 篇3

【关键词】网络；存储系统；安全；研究

目前计算机技术和网络技术已经在各个行业领域都发挥了重要作用，极大的提高了信息的传递速度，促进了生产力水平的提升。在这个信息大爆炸的时代，网络要想充分满足现代社会的需要，就要不断的扩大网络存储系统的容量，为人们提供海量的存储服务，并且要保证其安全性。事实上，安全一直以来都是网络技术的关键性问题，这是因为计算机网络具有开放性和自由性。而作为主要的数据中心，网络存储系统的安全与每个用户的切身利益都息息相关，更应该不断提高其安全性能，以免网络存储系统中的数据信息被人恶意破坏、更改或泄露，从而带来一些不必要的损失。在此本文笔者结合自己的理解和体会，对当前网络存储系统的综合安全问题进行深入研究。

一、网络存储系统的安全特点

虽然网络存储系统是以网络技术和存储技术为依托而形成的一种信息产物，但是其对安全性能的要求却与一般的网络安全要求有一定的区别。这是因为网络存储系统中，高速网络只是手段，其重点是利用这一手段来将所有的存储设备连接起来，形成一个集中、共享、统一的巨大数据库。因此其综合安全性能不单单是要保证网络的安全，更重要的是要保证数据库的安全，从而为用户更安全的使用存储资源提供保障。具体来讲，网络存储系统的综合安全具有以下特点：

1、数据保密性。由于网络存储系统可以将很多存储设备都连接起来，同样的，也有很多用户可以访问该存储系统。但是这仅仅只是针对被授权的用户来讲。若没有经过授权的用户侵入该系统，则会造成数据的泄漏，会给正当用户带来一些危害。因此网络存储系统的安全性能中必须要保证数据的保密性，可以通过加密的方式来是避免黑客对其进行攻击。

2、数据完整性。网络存储系统的主要作用就是为用户提供海量的数据信息，用户也是希望通过访问该系统来获取自己所需要的数据。但是若网络存储系统中的数据出现了缺失，则会严重影响到用户的访问质量。因此保证数据的完整性也是网络存储系统安全性能的重要体现，其可以通过Hash函数来检查数据是否完整，从而采取措施加以保护和完善。

3、不可抵赖性。这里所指的不可抵赖性，主要是指网络存储系统中的数据是由哪个设备发出，由哪个用户接收都是有一定记录的，是不能否认或抵赖的，这样可以避免一些不必要的纠纷发生，也能够在很大程度上保证数据使用的安全性。目前网络存储系统在这方面的安全技术主要是以数字签名技术的应用为主。

4、系统性能可用性。由于网络存储系统是一个海量存储系统，因此其用户也很多，系统的访问量很大，对数据加密保护的要求较多。这样就会给使得系统处于较大的负载运行状态下，若系统性能的可用性较差，就会出现瘫痪现象影响到用户的正常访问。为此，在网络存储系统的安全管理中，一定要保证其具有较强的使用和可用性。

二、网络存储系统的安全要素

在对网络存储系统进行综合安全管理的过程中，确定其安全要素是非常关键和重要的。只有明确了其主要的安全要素，才能更有针对性，更有目标的采取安全技术手段来保证网络存储系统的综合安全。在此笔者认为，网络存储系统的安全要素主要应该包括以下四点：

1、实体要素。这里所指的实体要素主要是指一些物理基础设施，如计算机、控制器、网络适配器、各种线路以及运行机房中的其他硬件设施，这是实现网络存储系统运行的保障和基本条件。若这些实体设备的安全都不能得到保障，那么网络存储系统的安全也就无从说起。

2、软件要素。在保证了硬件安全的基础上，要想实现网络存储系统的正常运行，势必离不开各种软件的支持。因此软件也是网络存储系统的主要安全要素。包括操作系统的安全，应用软件和工具软件的安全等。要确保其不会被病毒或黑客攻击侵入，从而避免网络存储系统中的数据被恶意篡改。当然，还要避免一些非法软件安装在网络存储系统中。

3、数据要素。在网络存储系统中，硬件和软件的存在都是为了数据的存储和使用而服务的，若数据的安全无法得到保证，那么网络存储系统也就没有存在的意义了。为此，数据安全是整个网络存储系统安全体系的核心，必须要给予高度重视。数据安全的基本要求是所有用户都能根据自己的权限合理的访问和规范的使用数据，数据的存储都能在正常的秩序下进行。并且还要能够为用户提供一定的私有存储空间。

4、管理要素。要实现良好的网络存储系统综合安全，管理自然是不可缺少的重要手段。在安全管理中，主要可以通过设置一定的安全管理机制和制度，或者对系统的安全现状进行审核和相应的评估来达到安全管理的目的。

三、网络存储系统综合安全实现的关键技术

以往对网络存储系统的安全技术的研究主要着重于容错技术和备份技术两大层面，并且也已经取得了一定的成果，如网络安全技术、信息加密技术和病毒防治技术等都已经相对较为成熟，为网络存储系统安全体系的实现打下良好基础。但是仅仅依靠这些安全技术是远远不够的。笔者认为，网络存储系统安全的实现，还要注重从以下几个技术层面进行研究：

1、操作系统的网络环境安全

由于网络存储系统主要是以网络技术和存储技术为主要依托，因此保证网络和存储设备的安全就显得很有必要。尤其是网络安全，更要引起我们的重视。值得一提的是，在当今先进科技的推动下，网络安全技术已经取得了很大的进展，动态安全策略框架已经基本形成，再结合一些其他的安全策略，网络存储系统的网络环境安全基本上可以得到保证。

nlc202309020631

2、系统访问的有效控制

网络存储系统要实现自身的价值，需要由用户的访问来实现。但是并不是指所有的用户都可以随意访问。而是应该有一定的访问控制。这是出于保护数据安全来考虑的。具体可以通过以下四种手段来实现：

2.1登录访问控制。这是访问控制的第一步，通过登录访问控制，可以将一些不具备访问权限的用户筛选掉，从而降低了访问风险。目前登录访问控制多是利用设置用户名和相应口令的方式来实现，或者是利用数字证书进行相关验证来获取登录访问权限。目前AFS、NASD等系统的登录访问控制就是通过使用由第三方认证的认证服务器来实现。

2.2访问权限控制。一些没有访问权限的非法用户会试图侵入网络存储系统中进行非法操作，而访问权限正是要对这些用户进行控制和拦截。一般合法的用户会根据自己的访问权限被分为不同的组别，不同组别所访问的目标、文件和数据都是固定的，对这些文件的操作权限也是被限制的。一旦超出自身允许范围，就会被访问权限限制。比如CFS系统就采用了用户分组的访问权限控制。

2.3目录级安全控制。针对用户设置的访问控制，控制用户对目录、文件、存储设备的访问。用户在目录一级指定的权限对所有文件和子目录有效，系统还可进一步指定对目录下的子目录和文件的权限。

2.4属性安全控制。在权限安全控制的基础上提供更进一步的安全性。当用户访问文件、目录和网络设备时，系统管理员应该给出文件、目录的访问属性，网络存储系统上的资源都应预先标出安全属性，用户对存储资源的访问权限对应一张访问控制表，用以表明用户对网络存储资源的访问能力。

3、身份认证控制

身份认证也是一道权限控制关卡，其是在用户对网络存储系统进行访问时对用户的身份做进一步的核实，这一层访问控制可以拦截已经进入系统的黑客。其主要是对用户的物理和数字双重身份进行认证，核实两者是否一致，若不一致则禁止继续访问系统内容。一般身份认证控制所采用的认证方法多是使用口令或者智能卡，也有些是通过生物识别技术来实现。身份认证的使用保证每个网络存储系统用户的访问合法性，从而确保系统安全。

4、入侵检测控制

入侵检测技术主要利用入侵者留下的痕迹来检测来自外部或是内部的非法入侵技术。入侵检测技术是防火墙技术的补充，能够从计算机网络系统中的若干关键点收集信息，并对其进行分析。在企业网络存储系统安全中入侵检测技术能够帮助系统对付网络攻击，从而提高信息安全基础结构的完整性，确保存储数据的安全性。

四、结束语

综上所述，在网络存储系统的运行中，一定要保证其安全性能，包括所有与其相关的方面都要确保安全可靠，尤其是认证、授权、数据完整和信息保密等方面，更要给予高度重视，加强对其安全管理。虽然当前网络存储系统的综合安全技术水平还相对较低，但是随着网络存储系统的作用越来越突出，其安全性能研究也势必更加深入。整体来讲，未来的网络存储安全系统技术研究方向主要是朝着层次化、专用化和主动化的方向不断发展，这也是信息时代发展对其提出的必然要求。

参考文献

[1] 高杰. 浅谈网络中身份认证技术的分析[J]. 长春金融高等专科学校学报 2004年01期

[2] 李文红. 网络存储安全技术研究[J]. 武汉理工大学学报（信息与管理工程版）. 2006（08）

[3] 李娜. 网络存储综合安全的安全要素和关键技术[J]. 商业文化（下半月）. 2012（04）

[4] 易胜兰. 大学网络环境下的网络存储系统的设计[J]. 工业设计. 2011（05）

作者简介：刘哲豪（1993-），男，内蒙古锡林浩特市人，周口师范学院计算机科学与技术学院2011级网络工程专业，研究方向为网络工程

IP-SAN存储系统 篇4

关键词：网络存储,存储区域网,IP-SAN

传统的存储是以服务器为中心的存储,从体系结构上看,它是基于总线连接的存储。存储设备通过I/O总线如IDE、SCSI等与服务器相连,客户机的数据访问必须通过服务器,然后经过其I/O总线访问相应的存储设备,服务器此时实际上起到了一种存储转发的作用。而以存储网络为中心的存储是一种全新的存储体系结构,它支持网络协议和存储设备协议,采用面向网络的存储体系结构,使数据处理和数据存储分离,把信息智能从服务器迁移到网络中的各个设备。

1 IP-SAN的特点

SAN(Storage Area Network)是基于光纤通道或IP标准的存储结构,它提供了吉比特级别的速度、长距离的传输;是一个用在服务器和存储资源之间专用的、高性能的网络体系。相比目前的传统存储模式,SAN代表着一种更先进的技术。早期的SAN采用的是光纤通道(FC,Fiber Channe1)技术,后来由于i SCSI协议的出现,把SAN分为FC-SAN和IP-SAN。FC-SAN基于企业级的核心数据以及应用而设计,是较高端的技术,适用于对于性能、冗余度和可获得性都有很高要求的高端存储需求。但存在购买和维护成本很高、配置复杂、不同厂商产品难以共存等问题,限制了其使用范围。随着技术的发展。基于千兆位以太网的IPSAN更引人注目,得到了网络厂商的广泛支持。与基于光纤通道技术的FC-SAN相比较而言,IP-SAN存储系统具有节约大量成本、加快实施速度、优化可靠性以及增强扩展能力等优点。FC-SAN和IP-SAN的主要特点对比见表1。

IP-SAN以其低实现成本、高性能、灵活易用、可管理等特性提供高性价比的存储网络解决方案。其具有一下突出特点:

1)数据传输和读写性能优异

IP-SAN刚出现时,由于采用1GB的网络带宽,与当时已经采用2GB带宽,再加上高速的光纤硬盘的FC-SAN相比,在性能上处于劣势,让用户觉得IP-SAN只能应用在对性能要求较低的小系统中。随着10Gbps以太网的应用,高速SATA硬盘的诞生,IP-SAN的数据传输和读写性能得到大幅提升,甚至超过了FC-SAN。随着IPv6和100Gbps以太网的发展和应用,IP-SAN的性能必将更上一层楼。

2)成本优势明显,管理维护容易

FC-SAN基于光纤通道协议,需要建立专有的FC网络和采用专有的设备进行通讯。如果采用FC-SAN,除存储设备外,还需购置价格昂贵的HBA、光纤交换机、光纤磁盘阵列、管理软件等。而基于i SCSI技术构建的IP-SAN则可以直接利用已有的以太网线路、交换机、路由器、网卡进行通讯,除存储设备外,一般情况下不需购买其他额外设备。有效的降低在存储连接设备方面的投资。另外,IP-SAN无需改变现有IT构架。可以充分利用现有IT技术人员,管理与维护都是基于以太网平台,初期投入成本和运行管理成本都很低。

3)扩展性、互通性灵活

在IP-SAN中,一方面可以使用SCSI、FC、SATA、SAS等多种磁盘来扩展i SCSI设备的容量;另一方面由于IP-SAN基于TCP/IP协议簇进行通讯,这样在扩展存储和增加服务器时,可以利用已有存储网络即可实现,而且不会影响到已有的存储和服务器设备的正常使用。

4)突破传输距离的限制

IP-SAN解决了FC-SAN的10KM距离极限,再加上与局域网基于同一套体系结构—标准以太网,为远程镜像、系统容灾、建设统一的存储平台提供了可能。

2 IP-SAN在远程容灾备份中的应用

容灾备份是通过在异地建立和维护个备份存储系统利用地理上分离来保证系统和数据对灾难性事件抵御能力。而IP-SAN突破了传输距离的限制,这就为远程容灾备份提供了可能。

一个典型的基于IP-SAN远程数据容灾备份结构如图1所示。

在系统中设置专门的数据中心和数据容灾备份中心。数据中心配置一套IP SAN磁盘阵列实现数据中心的高效率存储。容灾备份中心配置同样的一套IP SAN磁盘阵列实现数据中心的容灾备份。数据中心和容灾备份中心的IP SAN通过千兆/万兆IP网络互连,容灾数据流通过该连接联通。各站点通过LAN连接到数据中心,容灾备份中心复制全部数据中心数据。

该系统具有如下的特点:

·IP网络技术相当成熟,IP-SAN减少了配置、维护、管理的复杂度。现有的网络管理人员就可以完成日常的管理与维护工作。

·因为是基于IP网络的存储系统,基本没有距离限制,更好的支持异地容灾。

·和现有网络基础结构融合,支持跨平台数据共享。

·基于以太网没有速度限制。

·可随时添加存储设备,没有容量限制。

·基于IP网络的存储系统,以传统以太网的价格实现同等于光纤网络的性能,实现真正的即插即用Plug&Play,无需客户端软硬件升级、零维护成本、使用人员无需技术培训,降低企业的拥有成本与维护成本,而且升级扩容简单方便。

将IP SAN运用于数据容灾系统,可以带来存储和容灾两方面的优势。首先,在存储方面,通过设置数据中心群集主机,运行业务系统,将数据完全存储在IPSAN磁盘阵列上,多台群集主机,通过群集系统支持,共享IP-SAN存储。其次,在容灾方面,由于容灾备份中心与数据中心均采用IP-SAN存储系统,通过IP网络互连,实现数据容灾,这样即使数据中心全部崩溃,容灾备份中心仍然保存有全部的数据。

3 结束语

作为目前主流存储网络技术的IP-SAN存储网络技术,它结合了SCSI和TCP/IP技术,并能够基于IP网络整合NAS,SAN等存储系统网络架构。随着万兆以太网的成熟应用,IP-SAN存储网络技术必将更加显现其极高性价比的数据块级存储应用、存储资源的通用性、无地理限制的数据共享能力以及易实施、易管理等技术优势,IP-SAN存储网络技术必将成为架构综合性存储网络系统的主要技术而得到更加广泛的应用。

参考文献

[1]Marc Farley.SAN存储区域网络[M].北京:机械工业出版社,2003.

[2]罗全平,汪东,方兴.IPSAN权威指南:存储区域网络中的iSCSI、iFCP和FCIP协议[M].北京:中国电力出版社,2004.

IP-SAN存储系统 篇5

计算机技术的迅速发展和广泛应用,使人类从重复、繁杂的数值计算和信息处理中解脱出来,计算机中的数据成为用户越来越重要的战略资源,但是各种意外事件如:电力中断、电脑硬件的损坏、系统软件内部的Bug、恶性病毒的破坏、人为失误等造成的关键数据丢失或不可用,如不能及时得到恢复,将对用户造成巨大损失。利用IP-SAN的自有优势建立基于IP-SAN异地容灾备份系统是一种有效的方案。如何高效地确保备份系统中数据一致性问题是本系统的关键所在。

IP-SAN系统是基于iSCSI存储技术的网络存储系统。iSCSI技术可以很好地克服光纤通道存在的成本高昂和可互操作性缺陷问题。它是将现有SC-SI接口与以太网(Ethernet)技术相结合,使服务器与使用IP网络的存储装置互相交换资料,是基于IP协议的技术标准,实现了SCSI和TCP/IP[1,2]协议的连接。相对于以往的网络接入存储来说,基于iSCSI技术的IP-SAN解决了容量、传输速度、开放性、兼容性、安全性等问题,其优越的性能受到了广大用户的青睐。

本系统是基于IP-SAN(iSCSI)实现的容灾备份系统,如今大多数IP-SAN备份技术采用完全+增量备份或完全+差分备份的备份模型[3,4]。完全+增量备份的模型是在一次完全备份之后进行多次增量备份,可以通过较少使用完全备份来减少数据移动。但由于其数据恢复困难,本系统使用完全+差分备份策略,差分备份考虑的是自上次完全备份以来哪些文件发生了变化,在此策略中数据的一致性成为备份过程考虑的主要问题。在实际使用中,系统备份过程即要保持数据的一致性和完整性[5],又要保证系统的实时性即在备份过程中可以接收用户响应和数据更新。为了达到这个目标,实现的IP-SAN备份系统使用热备份的方式进行备份操作来保证数据的完整性和一致性。如何具体实现数据的一致性是研究的关键所在。

1 基于IP-SAN容灾备份系统数据一致性设计和实现

1.1 数据一致性设计

相对于目前较为成熟的数据一致性方法而言,本文提出的设计方法有其自身的优点:它基于IP-SAN系统,充分利用现有IP网络成熟性和普及性的优势,同步速度快、占用网络带宽少且源数据和备份数据的检测基于数据块进行,容易实现。具体方法如下。

数据一致性指的是本地服务器的源数据和远程服务器的备份数据是否处在一致的状态。可以通过对备份数据和源数据进行差异性检测就能判断其是否一致。假设本地服务器的源数据D、远程服务器的备份数据F初始状态下数据为一致,经过一段时间后D发生变化,同时要保持F一致的变化,最简单的实现方法是将源数据D所有内容原封不动再拷贝至备份数据F。这种方法尽管能保证数据的完整性,但是所耗费的时间以及网络、服务器资源是许多用户所无法承受的。现采取先找出源数据D和备份数据F之间的差异值,然后根据差异恢复数据F的方法来实现数据的一致。以下是具体步骤。

第一,将源数据D分成一系列固定大小的数据块,块与块之间相连不重叠,再以相同的方法对备份数据F进行同样的分块,那么D和F之间就有一个相同的块对应。第二,对D和F中每一数据块求取摘要值,将摘要值进行对比。若摘要值相同,则源数据D与备份数据F相一致不需同步;若摘要值不同,对比结束后,源数据D所在服务器发出一系列指令给备份端服务器,备份端服务器根据指令更新数据F,最终实现数据D和F之间的一致性,如图1所示。

1.2 数据一致性实现

依据上述算法,数据一致性实现步骤如下。

1.2.1 数据分块

首先定义数据单元的大小,依据大小将源数据和备份数据分成固定大小的单元,最后一数据块若小于前面所分数据块则用空格补齐至相同大小。其次定义数据块大小。最后计算数据块数目。

1.2.2 数据块摘要算法

数据分块结束后,需对每块数据求取摘要值,算法如下。

(1) 设数据块M上有信息N,将其分成i个长度为j的字符串(x1,x2,…xi)。

$\{\begin{array}{l}x{}_1=a{}_{11}a{}_{12}\cdots a{}_{1j}\\ ⋮\\ x{}_i=a{}_{i1}a{}_{i2}\cdots a{}_{ij}\end{array}(1)$

(1)式中,amn∈M(0≤m≤i,0≤n≤j),若$\left|{\rm N}\right|\le i\times j$,则填充N为N′,使得$\left|{{\rm N}}^{\prime }\right|=i\times j$

(2)利用映射关系f,构造i个向量。

$\{\begin{array}{l}W{}_1=(f(a{}_{11}),f(a{}_{12}),\cdots ,f(a{}_{1j})),\\ ⋮\\ W{}_i=(f(a{}_{i1}),f(a{}_{i2}),\cdots ,f(a{}_{ij}))\end{array}(2)$

(3)构造一个随机向量V=(v1,v2,…vj),依次做向量乘法运算。

$\begin{array}{l}W{}_m\times V={\displaystyle \sum _{n=1}^{j}f}(a{}_{mn})\times v{}_n=\\ f(a{}_{m1})\times v{}_1+\cdots +f(a{}_{mj})\times v{}_j\end{array}$

其中,0≤m≤i,0≤n≤j,把运算的结果转换成二进制数B(Wm×V)

(4)最后计算。

$\begin{array}{l}{\rm N}SC=B(W{}_1\times V)\oplus B(W{}_2\times V)\oplus \cdots \oplus \\ B(W{}_i\times V)(3)\end{array}$

在求取数据块摘要值(NSC)时,首先将数据块的内容按式(1)的原则分成若干字符串;然后利用式(2)构造相应的向量组;利用式(3)计算出数据块的摘要值NSC。另在应用时注意使$\left|\text{Ν}\text{S}\text{C}\right|2\ge 64$,可以通过调整j的大小,或者调整V的大小来实现控制NSC的值,这将有效降低NSC被强行攻击成功的概率。

1.2.3 数据块摘要传递方法

TCP是为了在不可靠的互联网上提供一个可靠的端到端字节流而设计的,是面向连接的协议,在数据传送前需要进行3次握手。当3次握手过程结束后,服务器进入连接状态,双方才开始传输数据。这种传输方法延长了传输时间,增加网络中报文的数量,容易造成延误。为了解决此问题,在本系统中,使用如下方法进行数据块摘要传递。

其思想是保证网络中不存在两个同时有效的SYN报文[6]。设先后发送两个SYN报文syn1(syn-no,syn-ts1)与syn2(syn-no,syn-ts2)。对于由SYN延期产生重复SYN报文的问题解决方案如下:当syn2建立连接并已传输结束,syn1才到达,syn1到达时刻>syn2到达时刻>syn2发送时间>syn-ts1,则syn1被拒绝,如图2所示。对于由SYN-ACK丢失或延期产生重复的SYN报文的问题解决方案如下:设syn(syn-no,syn-ts)在now时刻被接受到,分两种情况,情况1:若此时连接并未关闭,则根据last-ack的值可以过滤syn-no,如图3所示;情况2:若此时连接已关闭,则now>fin-ts>=syn-ts,则syn被拒绝,如图4所示。

使用此机制实现数据块摘要的传递避免了3次握手所需的等待时间,无须接收端再连接任何维护信息。当数据在一个最大传输单元内时,只需要一个单位的时间就能接受到数据,而3次握手机制需要三个单位时间才能接受到数据,很明显此机制效率提高了3倍。

1.2.4 差异数据同步

若摘要值相同,则源数据与备份数据相一致不需同步;若摘要值不同,对比结束后,源数据所在服务器发出一系列指令给备份端服务器,备份端服务器根据指令更新数据,最终实现源数据和备份数据的一致。

2 实验分析

为了说明本文所提方案的有效性,使用9台机器模拟一简单IP-SAN网络,进行数据一致性的检测和数据同步实验。3台机器组建一个小型的SAN作为源数据端A,另6台机器分2组,每3台机器以与源数据端完全相同的方式组建备份数据端B、C。A、B、C挂接在互联网上。首先,将A中的数据原样复制到B、C中,保证源数据端A和备份数据端B、C的初始数据完全一致。在源端服务器A和备份端服务器B、C分别配制5个测试分区,大小分别是200M、500M、700M、1 000M和1 300M。分别让源数据和备份数据处在完全相同、有部分差异、完全不同三种状态并纪录其数据一致性检测速度,以及所形成的网络负载。得到的结果如图5和图6所示。

由实验得到,当源数据与备份数据完全相同和只有部分差异的时候,其检测速度变化不大,而当源数据与备份数据完全不同时,检测速度有所变慢,如图5所示。当源数据与备份数据完全相同和只有部分差异的时候,对网络负载较小,当源数据与备份数据完全不同时,网络负载变大,如图6所示。

在基于IP-SAN实际使用情况中,源端数据和备份端数据基本处于完全相同或有部分差异的状态。因此,使用本文中提出的方法能够很快地对数据一致性进行检测,实现数据同步,且产生的网络负载低。

3 结论

设计的基于IP-SAN备份系统数据一致性测试方法充分发扬了IP-SAN自有的优势,利用可靠的摘要算法以及改进的报文传输方式,有效地提高了数据一致性测试速度,降低了对网络的负载,提高了系统的可靠性与响应速度,实验证明是一种代价相对较低且切实可行的数据一致性检测方案,具有较好的应用前景。

参考文献

[1] Wrightw G,Richari S.TCP/IP Illus2 t rated Vol 2:The Implementation M.Boston:Addison Wesley,1995:1—15

[2] Amit C,Cohen R.A dynamic approach for efficient TCP buffer allocationJ.The 7th International Conference on Computer Communications and Networks,1998

[3] IBM Companies Redbook. Integrated Catalog Facility Backup and Recovery. http://www.ibm.com

[4] Hernandez R. IP Storage Networking: IBM NAS and iSCSI Solutions. IBM Corporation, International Technical Support Organization, Feb 2002, ISBN 0738424226

[5] Beaver D.Network security and storage security symmetrics and symmetry-breaking. Proceedings of the First International IEEE Security in Storage Workshop,2002(SISW’02)