集中存储

集中存储（共7篇）

集中存储 篇1

随着计算机技术的发展, 数据存储的复杂性和对数据管理能力的要求日益增高。计算机领域存储技术的发展, 大致分为3个阶段: (1) 20世纪50年代末～80年代, 内部存储和备份设备; (2) 20世纪80年代早期开始, 直接存储和备份设备 (DAS) ; (3) 20世纪90年代末开始, 网络存储和备份设备 (NAS 和 SAN) 。前两代的存储系统多采用内部和直连的方式, 造成存储系统的资源利用率低、可管理性差, 而且也不利于系统的扩展, 而SAN (Storage Area Network) 存储网络的出现解决了这一问题, 它能够实现存储集中化, 并迅速提升存储资源的利用率。

1 主流存储架构介绍

目前, 存储体系结构大致可以归纳以下三种主要类型:

1.1 DAS (Direct Attached Storage) —— 直连式存储

DAS依赖服务器主机操作系统进行数据的I/O读写和存储维护管理, 数据备份和恢复要求占用服务器主机资源, 数据流需要回流主机再到服务器连接着的磁带机 (库) , 数据备份通常占用服务器主机资源20%-30%, 因此许多用户的日常数据备份常常在深夜或业务系统不繁忙时进行, 以免影响正常业务系统的运行。直连式存储的数据量越大, 备份和恢复的时间就越长, 对服务器硬件的依赖性和影响就越大。

1.2 NAS (Network-Attached Storage) —— 网络接入存储

NAS是采用网络技术, 通过网络交换机连接存储系统和服务器, 建立专用于数据存储的存储私网。NAS包括一个特殊的文件服务器和存储。NAS服务器上采用优化的文件系统, 并且安装有预配置的存储设备。NAS是部门级的存储方法, 重点在于帮助工作组和部门级机构解决迅速增加存储容量的要求。

1.3 SAN (Storage Area Network) ——存储区域网络

SAN采用光纤通道 (Fibre Channel) 技术, 通过光纤通道交换机连接存储阵列和服务器主机, 建立专用于数据存储的区域网络。SAN专注于企业级存储的特有问题, 主要用于存储量大的工作环境。SAN结构的组成部分:主机光纤适配卡、光纤交换机、路由器、集线器、存储设备、管理软件、备份软件等。SAN提供了灵活的存储连接, 服务器可以访问存储区域网上的任何存储设备, 如带库、磁盘阵列;同时存储设备之间、存储设备同SAN交换机之间也可以进行通信。SAN采用Fibre Channel协议, 在连接上可以使用光纤或铜缆。由于Fibre Channel具有极高的可靠性、很好的性能、超长距离支持能力、良好的扩展性, 因此SAN使得将存储同服务器分开成为现实。如图1所示:

2 SAN技术集中存储特点

2.1 高性能

SAN技术方案中采用光纤通道技术与高性能的光纤交换机连接主机和存储设备。可以提供每个端口2Gbit/sec——4Gbit/sec的高速度, 相对其它竞争产品具有明显的优势。

2.2 高可靠性

磁盘阵列在多方面均采用了高可靠性设计, 冗余控制器、冗余电源、冗余散热系统、甚至与主机的链路均采用冗余设计等等多种功能, 充分保证了磁盘阵列的可靠性, 提高了可维护性。

2.3 可扩展性

可扩展性主要表现在: (1) 容量的可扩展性。存储系统可以在现有容量的基础上, 为未来的应用提供足够的扩展空间。 (2) 接口的可扩展性。随着业务的增长, 有更多的服务器可以很方便地加入到SAN环境中, 以实现数据的集中存储和备份。 (3) 新技术的可扩展性。方案采用的硬件设备和软件产品都是业界相关领域的开放型主流产品, 采取开放性模块化设计, 当新的存储技术出现后, 可以通过升级相应的模块实现向新技术的扩展。

2.4 兼容性

方案的一切网络设备均应按照标准的SAN架构进行设计, 可兼容原有的标准设备与原有的开放系统。

2.5 可管理性

方案的一切网络设备均应按照标准的SAN架构进行设计, 需要增加SAN管理工具, 均可直接进行实施。

2.6 磁盘共享

磁盘共享的目的是节省不必要的投资。实际系统使用时, 为了管理上的方便和安全, 需要不同的系统独占各自的磁盘。为了满足共享上的需求, 方案应该对每一系统规划出所需的存储空间, 随时可以很方便地向空闲的空间进行扩容。

2.7 网络和外部接口支持

方案支持广泛的接入要求, 如外部服务器需要对集中存储数据访问的需求, 只需接入交换机的剩余端口即可。

2.8 全面灵活的备份和恢复策略

系统能够完成高度自动化的备份任务, 必须支持对应用系统的多种备份方式, 能够实现在线热备份的功能, 支持任意时间点的数据备份恢复, 支持跨平台数据备份与恢复。

由此可见, SAN技术集中存储实现了数据的集中存储和统一管理, 提高了数据的可利用度和使用效率, 并充分保障了数据的安全性, 另外还具有数据存储系统良好的可扩展性, 能够满足快速成长的业务需求。因此, 构建SAN技术集中存储方案是符合实际工作的可行性方案之一。

3 构建SAN技术集中存储的方案

3.1 SAN集中存储和集中备份的整体结构

对于单个SAN光纤交换网络, 可使用两台光纤交换机组成冗余网络, 以达到负载均衡和互为备份的目的。各应用服务器通过安装HBA卡经光纤与光纤交换机连接, 磁盘阵列和磁带库也分别通过至少两路光纤线同时与两台交换机连接, 以保证数据访问的可靠性。其中应用服务器如果使用两块或两块以上的HBA卡, 需要安装相应的负载均衡和容错软件。存储管理软件和备份软件安装在专用的服务器上, 通过局域网与被管理服务器连接, 进行存储资源管理、存储网络管理和集中备份管理。在SAN集中存储环境下, 可以有多台服务器安装备份软件共享磁带库, 由每台服务器自行提交本机备份作业, 数据经由SAN光纤交换网络写入磁带库中。如图2所示。

从图2中可以看出有两个交换机来作为冗余, 任何一个交换机出现故障都不会影响系统的正常运行;每一个磁盘阵列和主机都有两路以上的光纤电缆分别与不同的SAN SWITCH相连, 对于磁盘阵列和主机, 任何一个FC Host Adapter和电缆出现故障, 系统都能够正常运行, 提高了系统的可靠性;同时, 当增加新的应用系统 (或主机) 时, 不需要增加新的磁盘子系统, 主机只需连入SAN Switch即可, 从而提高了设备使用效率, 不仅减少了投资, 而且提高了存储设备可管理性。

3.2 SAN Switch的能力与扩展性要求

从上述逻辑结构示意图我们可以看出共有六台主机、一个核心磁盘阵列及一个带库与两个SAN Switch相连接;每一个主机需要两个光纤端口、核心磁盘阵列需要四个光纤端口、带库需要五个光纤端口 (一个机械手的光纤端口, 四个驱动器的光纤端口) 与交换机相连接, 总共要占用21个交换机的光纤端口, 分布在两个光纤交换机上, 那么每个交换机11个光纤端口就够了;考虑到应用的扩展性, 应该配备两个16端口的光纤交换机。

3.3 磁盘阵列的连接方式

磁盘阵列的光纤端口通过光纤电缆连入到光纤交换机中, 在主机能够使用磁盘阵列之前必须对磁盘阵列进行初始化的工作, 磁盘阵列初始化的工作分为如下几个方面:

3.3.1 形成多磁盘的卷组

光纤通道磁盘是高可用性的环境, 磁盘的环境一般采用RAID0、1、0+1、3、5几种方式来使用;对于读80%、写20%的环境一般采用RAID5;读和写都比较大的环境一般选择RAID0+1。由多磁盘形成的RAID, 我们叫磁盘组或卷组。卷组一般要同控制器绑定在一起, 在磁盘阵列中一般有两个控制器, 当一个控制器出现故障时, 卷组将会自动转移到另一个控制器上, 从而确保了磁盘阵列系统的高可靠性;在卷组的基础上可以形成供主机使用的卷。

3.3.2 形成主机使用的卷

在磁盘阵列上的卷就是主机所使用的硬盘, 它是在卷组的基础上实现的;例如我们要为各应用系统建立磁盘空间, 那么首先必须形成卷组, 然后再形成这些系统使用的卷 (磁盘) 。

3.3.3 形成分区 (Partition)

为了提高磁盘系统的安全性, 要求有些磁盘只能被某一个应用系统访问, 而其他应用系统不能访问甚至不能看见这些磁盘, 这需要通过磁盘阵列上的Partition功能达到这个目的。

3.3.4 磁盘阵列连入端口数的要求

每一个磁盘阵列有两个控制器, 如果我们使用两个光纤交换机的话, 为了保证系统的高可靠性, 磁盘阵列的每一个控制器必须分别与每一个光纤交换机相连;所以磁盘阵列必须至少需要四个光纤端口, 才能满足高可用性的需求。

3.4 主机的连接方式

主机是通过HBA卡 (光纤通道卡) 来与SAN FC Switch或磁盘阵列相连接的, 为了保证系统的高可用性, 在一个HBA卡故障后系统仍然能够继续运行, 一般每个主机配置两个HBA卡, 两个HBA卡分别与两个SAN Switch相连接。

3.5 磁带库系统的连接方式

在SAN 环境下存储设备连接示意图中, 磁带库系统通过光纤接入了SAN的环境中, 库体为2GB的光纤接入到SAN的交换机中, 带库内的磁带机可以选择光纤磁带机, 也可以选择其它接口的磁带机。如果选择光纤磁带机, 磁带机即可直接联入光纤交换机中, 带库在连入光纤交换机时, 应分别连入到两个光纤交换机中, 以保证在一个光纤交换机损坏, 带库还能够继续进行备份。如果带库联入光纤交换机中, 在光纤通道的环境下可以实现Lanfree的备份即备份数据不通过Lan 模式而直接通过Fibre Channel模式, 通过光纤备份不仅传输数据量大, 而且不占网络带宽, 不仅提高了备份效率, 而且不影响网络上应用数据的传输。

4 小结

SAN技术将存储系统网络化, 它提供了服务器和存储系统之间高速而灵活的连接方式, 实现了真正高速共享存储目标, SAN方式之所以不同于以往的存储体系, 主要在于它是建立在光纤通道技术体系上的, 光纤通道所具有的高带宽、长距离传输特性以及具有的全冗余、交换式和平行数据路径的设计结构, 有效克服了传统存储系统结构的诸多瓶颈。它在距离上的可拓展性尤其适应了现代计算机发展对灵活性的要求。在实际工作中, SAN技术已经逐渐成熟, 可以用于核心业务生产系统, 实现存储空间的统一分配, 实现系统数据的异地备份, 实现系统存储空间的统一管理。同时, SAN技术也为存储系统的进一步发展演变提供了更加广阔的天地。

参考文献

[1]姜宁康, 时成阁.网络存储导论[M].北京:清华大学出版社, 2007.

[2]郭玉东, 尹青.基于对象的网络存储[M].北京:电子工业出版社, 2007.

[3]顾锦旗.实用网络存储技术——信息技术应用系列[M].上海:上海交通大学出版社, 2002.

我院集中存储系统的设计与实施 篇2

广西医科大学第一附属医院是卫生部“三级甲等”医院、全国“百佳”医院、全国百姓放心示范医院, 是全国建院较早的医学院校附属医院。医院由东院、西院两院区组成, 是广西历史悠久、专科配备最齐全、医疗设备最先进、技术力量最雄厚、规模最大的省级综合性医院, 是广西医疗、医学研究、临床医学教育和医疗保健的中心。

近年来, 为提高工作效率和医疗水平, 医院加大了对信息化建设的力度, 建立了以电子医嘱为主的HIS系统、放射科图像存档与通信系统 (PACS) 、检验科实验室信息系统 (LIS) 等众多信息系统, 目前数据存储方面存在以下问题:

(1) 数据量增长快、存储需求大, 每天产生的数据达14G以上, 一般的硬盘存储已经很难满足要求;另外, 放射科PACS系统使用光盘塔存储, 随着影像资料的快速增长, 导致存储成本过高、管理开销增加, 而光盘存储介质易损、长时间保存难等问题也亟待解决。

(2) 系统独立, 数据分散, 管理工作量越来越大。由于我院各信息系统的建设时间及提供商不同, 信息中心的各信息系统的数据是孤立的、分散的, 各系统成为了“信息孤岛”, 存在各自为政的情况, 数据管理、共享以及保护均难于保证, 且数据安全性和可靠性无法得到有力保障, 难以满足7×24小时高可靠运行。

(3) 放射科PACS系统是离线保存, 不适应业务的发展。放射科PACS系统数据要求永久保存, 由于半年内访问频率高, 一般半年后可进行归档。

(4) 目前数据只实现本地保护, 还未实现数据的异地备份, 数据的安全性不高。

2. 解决方案

鉴于以上问题的存在, 实现数据的统一存储管理迫在眉睫, 需要规划长远的存储架构方案, 制定的方案应满足需求、确保安全及控制投资。存储系统的具体方案如下:

2.1 存储系统的设计

根据数据存储的需求, 我们在规划存储系统时, 提出了以下几条原则:

(1) 分期实施, 以尽可能利用最新、性价比最高的计算机技术。

(2) 集中存储, 以利于管理。

(3) 实现异地备份。

(4) 最终实现真正的离线备份。

综合以上原则, 我们决定构建一个统一的集中存储系统, 以满足目前住院大楼数据存储需求 (主要是住院系统和放射科PACS系统) 、将来的门诊大楼 (门诊收费等系统) 、未来十五年数据存储需求, 等等。下面以图示的方式, 说明我院存储系统的设计与实施思路:

第一期数据存储:满足目前住院大楼 (主要是HIS系统和放射科PACS系统) 的数据存储需求, 实现数据的集中存储, 以利于管理。第一期数据存储如下图所示:

第二期数据存储:满足将来门诊大楼的数据存储需求, 如门诊医生工作站、门诊收费系统等, 并在门诊大楼与住院大楼实现数据的异地备份, 提高数据的安全性。

第三期数据存储:满足未来十五年数据存储需求, 通过磁带或磁盘进行一定年限数据的归档存储, 实现数据的离线备份。

2.2 存储系统的实现

根据规划方案, 并参考医院数据的信息生命周期和在线读写响应要求等, 我们采用了EMC公司的存储方案, 因为EMC存储方案具有以下优势:

EMC公司的存储市场份额连续6年排名第一 (据IDC的统计报告) , CX00存储阵列已售出了超过20万套, 在国内, 国际有大量的用户群, 如宁波人民医院、绍兴人民医院、青岛医学院附属医院医院等, 是经过用户验证的成熟产品。

EMC是专业存储产家, 所有的存储阵列是自主研发, 设计, 生产, 测试。

EMC的CX00存储阵列是1990年开始的, 经过16年的持续发展, 它技术领先/成熟, 其它产家的产品是新出产的, 甚至是新的OEM产品, 技术没有持续性, 投资保护差。

基于以上优点, 我们决定采用EMC存储方案, 并进行了实施, 对存储设备进行了最优化的设置和调优, 于2007年6月上线, 至今实现了第一期数据存储的要求。

3. 结论

目前我院存储系统已成功运行第一期过程, 实现了以下目标:

(1) 满足了目前住院大楼 (主要是HIS系统和放射科PACS系统) 的数据存储需求, 达到了预期的效果。

(2) 现在存储系统稳定运行并大幅度提高了HIS系统的效率, 对医院的数据安全及信息系统的安全、稳定起到了保驾护航的作用。

集中存储 篇3

1、中小企业的存储[1]需求

中小企业的存储需求大致可以归纳为三个类型:结构化数据、非结构化数据、流数据。其中结构化数据的主要应用场景为数据库应用, 例如办公系统、业务系统、网站等所使用到的数据库。这种数据通常需要高并发、高突发的存储性能, 对于高速存取的持久性相对不是那么敏感。非结构化数据的存储应用主要为文件共享服务器、应用服务器等, 其性能需求要求综合新能高, 在并发、突发性能与持续性上要能够获得较好的平衡性。流数据主要针对视频存储服务器、监控服务器等应用场景。其要求主要是稳定持久的存取速度, 对于并发性与突发性要求不高。

通常情况下, 企业都是针对不同的应用来进行硬件投资, 例如视频监控系统, 通常会购置专门的硬盘录像机或者存储服务器。但是通过上文的总结可以看出, 将不同应用归纳总结后, 无论多少种应用, 所需的存储条件无非是三种, 针对这三种情况购置相应的设备就足以满足绝大多数应用了。

2、集中存储的硬件架构[2]

市面上常见的存储服务器通常分为两种, 网络存储和光存储。单就一台存储服务器来说, 网络存储的价格通常要低于光存储服务器, 但是考虑到性能与扩展后的代价相比, 光存储服务器的综合性价比还是高于网络存储服务器的。因为从传输速率上来说, 光存储服务器可以轻易的达到10G级别的传输速度, 而普通企业的网络环境就目前而言一般只能达到1G级别。1G级别的传输速度要想满足各种应用的同时存取, 必然会出现性能瓶颈。

企业实现集中存储的几个必要条件, 除了上文提到的传输速度, 主要还有以下几个方面:尽可能大的扩展性, 支持多种阵列技术, 支持不同大小不同容量不同接口的磁盘混插, 拥有一定的容灾能力。通过调研, 笔者发现市场上各大厂商的光存储服务器, 功能与性能基本都能满足企业实现集中存储的几个必要条件。以IBM的入门级存储服务器来举例, 在主服务器之外支持多达上百个扩展磁盘柜, 支持RAID0、1、5、6、10加热备盘, 支持不算大小不同容量的磁盘混插, 同时具有卷影复制与容灾备份等功能。HP、DELL等其他厂商的同级别存储服务器基本也都支持这些功能。

因此, 配置一台双控的主存储服务器外加两个扩展柜即可满足中小企业需求。其中结构化数据可以存储在一组SSD阵列上, 非结构化数据可以通过一组SAS阵列来存储, 而流媒体数据则可以选择价格最低的SATA磁盘阵列实现大容量存储。三组阵列分别安装在三个不同的磁盘柜中, 并配置成三个硬盘池供应用服务器调用。

3、使用Hyper-V最大化硬件资源的利用率[3]

在硬件设备配置完成后, 想要实现硬件资源的利用率最大化, 就不可避免需要使用上虚拟化技术。如果不使用虚拟化, 那么存储服务器就需要针对不同的应用服务器来配置大量的存储池, 并且分别配置容灾等各种功能, 这样资源浪费的情况就还是不可避免。主存储服务器通过万兆光纤通道与应用服务器相连, 不同的应用服务器全部以虚拟机的形式运行在主虚拟服务器上, 三个存储池分别映射为三个硬盘, 不同应用的虚拟服务器都通过磁盘文件的形式从三个存储池中获取所需的容量。

选择Hyper-V来作为虚拟化的技术主要考虑到以下几个方面:

1、Windows作为国内使用最广的操作系统, 其维护成本是最低的, 接受度是最高的。

2、自从Windows Server 2012版本退出以后, Microsoft推出了一款完全免费的全功能虚拟服务器版本Hyper-V Server 2012。对于国内中小企业来说可以节省大量的授权费用, 避免的版权纠纷问题。

3、Hyper-V Server 2012 R2的综合性能是所有虚拟服务器系统中最高的, 例如支持的CPU个数、内存大小、硬盘大小与虚拟机数量都是最高的。

4、通过笔者近几年的项目实践来看, Hyper-V的稳定性是所有虚拟服务器系统中最高的, 虽然其功能并不一定是最多的, 但是绝对满足企业的应用需求。

由于现在的服务器性能基本上都支持上百个CPU核心与TB级别的内存容量, 加上Hyper-V便利的管理方式及其稳定性与高性能, 基本上一台服务器就足以满足中小企业的所有应用。

4、现有方案的局限性与扩展性

根据上文的配置, 一台虚拟服务器已经足以应对中小企业的所有应用需求, 但是随着企业的不断扩大, 可以继续引入一些比较昂贵的技术来满足, 例如实现光存储[4]网络;双服务器组合扩展;甚至服务器集群或小型机等技术。

综上所述, 使用存储服务器与Hyper-V技术能够很好的管理中小企业的集中存储, 笔者通过实践, 将该技术使用在多个中小企业中, 大幅降低企业的软硬件投入, 大大提高产出效率, 效果显著。

参考文献

[1]张江陵, 金海信息存储技术原理华中科技大学出版社2000年6月第1版

[2]杨传辉大规模分布式存储系统:原理解析与架构实战机械工业出版社, 2013年12月第1版

[3]王淑江Windows Server 2012 Hyper-V虚拟化管理实践人民邮电出版社2013年7月第1版

集中存储 篇4

随着电信技术的发展, 电信网从最基本的语音业务、网络接入提供发展到现在的综合信息通信集成服务。运营商之间的竞争也越来越体现在综合信息服务能力提供上, 面对新的形势和需求, 提高数据分析能力, 并可对市场动向快速做出反应, 同时对市场分析给予指导性意见尤其重要。信令监测系统是保障通信网络高质量运行, 快速响应用户投诉, 提升用户感知的重要技术手段。目前, 中国联通处于三大运营商激烈竞争的市场中, 通过信令数据的采集分析, 能有效提高定位网络告警、故障的效率, 能有效提高后台解决用户投诉的效率, 从而提高用户的满意度和忠诚度, 信令的采集分析已引起各大运营商的重视。

现有信令监测系统自身存在架构封闭、接口不开放等问题。多套系统间没一个统一的接口规范, 各个系统从下向上都可分为采集、处理、应用三层, 形成烟筒式垂直架构, 各自的采集、处理与应用均相互独立实现, 系统内部采用私有接口或内部协议, 生成不同的原始数据格式和CDR字段, 系统间难以实现信令数据的共享, 很大程度上限制了上层跨系统综合性应用的拓展实现, 并大大降低了系统的灵活性, 增加了运营商成本投入。

建设统一的信令监测平台, 符合运营支撑系统集中化、综合化、平台化的总体发展趋势, 同时实现多系统、多厂家之间资源的重新整合, 有效避免资源与投资浪费。统一的信令监测平台, 可以实现统一的信令资源管理和统一信令采集数据的存储, 打造低成本、低能耗、高效益、高可靠的统一信令监测平台系统。

二、信令监测平台发展趋势分析

通信网络正在向多网合一、多网融合方向发展, 而OSS/BSS等支撑系统也逐渐向综合性、平台化、水平化、虚拟化的方向演进。现有信令监测系统的垂直化设计架构已不符合运营商支撑系统整体发展趋势, 不仅增加了建设成本, 而且增加了服务响应时间, 难以及时向业务和管理部门提供业务分析的需求。

利用统一存储方式在信令监测平台的基础资源上进行水平化整合, 通过统一的信令数据格式提供给自有业务系统或第三方, 开放基于信令分析的业务研发能力, 增强新业务适配的精准化能力和快速响应能力, 为联通提供更精准的个性化服务。通过快速的共享信令数据资源和深度挖掘信令数据, 不仅能够减少新业务的推出成本, 更重要的是能够缩短新业务从研发到应用的周期, 快速抢占市场的热点业务, 大大增强用户的粘滞力, 使得公司提供的对外业务运行于高ARPU值状态。

对于信令监测系统采集层、处理层、应用层等各层应具有的功能进行定义, 使整个系统层次更加分明清晰, 建立完善的系统功能架构。并通过各层的规范化、标准化提供一个开放的框架体系。信令监测平台的整合, 使上层应用的需求仅面对一个综合平台, 接口唯一化, 更有利于基于信令数据的各类上层应用的扩展。原始数据、CDR数据在格式上达到统一, 能够实现端到端分析等综合性的应用分析。由此可见, 统一的信令平台已成为发展的趋势。

随着移动通信网中业务的多样化, 各类基于信令监测平台的应用系统蓬勃发展, 信令分析挖掘的内涵也逐渐变得丰富起来。用户的满意度已不仅停留于简单的业务上, 他们将对更高层次的服务提出要求, 更多地根据服务质量决定对网络的选择。而基于信令监测系统平台的各类信令分析挖掘业务的不断拓展, 也必然会随着业务的不断发展而赢得广阔的市场空间。正是因为信令分析挖掘系统有助于提高运维、网优、客服等部门工作效率, 提高用户满意度, 增加业务收入, 降低营运成本, 提高网络稳定性的功效, 因此, 信令分析挖掘将会拥有更加广泛的市场需求和广阔的发展空间。

三、统一信令监测平台目标

统一信令监测平台需要拥有完整的数据接口规范。信令监测平台的整合, 使上层应用的需求仅面对一个综合平台, 接口唯一化, 有利于基于信令数据的各类上层应用的扩展, 原始数据、CDR数据在格式上达到统一, 能够解决数据共享问题。第三方厂家能够依照该接口规范开发业务接口, 从共享的信令资源池中获取需求信令, 做个性化分析开发, 以便于业务能更快、更好适应市场变化和用户的需求。另一方面, 需要对海量数据进行深度数据挖掘, 更好的为客户服务。统一信令监测平台要求达到一下目标:

(1) 平台为横向融合的体系架构, 符合综合性、平台化、水平化的发展趋势。实现多系统、多厂家之间资源的重新整合, 共享海量信令存储资源, 有效避免资源与投资浪费。对于信令监测系统采集层、处理层、应用层等各层应具有的功能进行定义, 使整个系统层次更加分明清晰, 建立完善的系统功能架构。

(2) 实现全网统一的信令数据库, 解决数据共享问题。统一的数据库保证了信令数据的完整性、一致性、独立性以及持久性。

(3) 对现网已有的信令采集设备完全兼容。

(4) 实现统一的原始数据、合成数据等规范。统一的信令数据格式保证了各系统间交互的简便性, 解决了不同设备厂家共享信令数据的问题。

(5) 提供统一的对外接口, 可作为自有业务分析或第三方系统的唯一信令数据提供接口。统一的外部接口为信令应用层厂家使用信令数据提供了保证, 外部接口需要保证信令传输的正确性、完整性和安全性。

(6) 对信令监测数据的深入分析和挖掘。从综合网络运营分析的未来发展来看, 信令分析挖掘系统应该能够提供长期的、汇总的数据, 跨专业的面向网络、面向业务的分析能力。应具备稳定性、统一性、开放性、实用性、易用性、精确性等特性。

四、统一信令监测平台

(1) 平台架构

统一信令监测平台, 需要对信令监测平台的海量数据存储基础资源上进行水平化整合, 同时制定完整的数据接口和数据格式规范, 实现信令采集共享, 不仅能够对各厂家独立采集、独立处理的现状进行整合调整, 也便于今后信令采集的扩容。将统一的信令数据格式提供给第三方厂家, 开放业务开发能力, 依照标准的接口规范开发业务, 从共享的信令资源池中获取需求信令, 做个性化分析开发, 便于业务能更快、更好适应市场变化和用户的需求。

统一信令监测平台采用分层架构如图1所示, 包括信令采集层、统一存储层及共享层、应用层。

1) 信令采集层

采集层将各采集平台进行整合, 实现对各个链路中各种物理接口和协议的实时数据采集。随着网络IP化进程的加快, 目前信令采集主要针对7号信令和IP信令两种信令。

采集层将采集到各类数据经过各自采集系统的前端机进行预处理, 将大量原始数据存储前端机上, 将合成后的XDR/CDR/TDR等合成数据送到统一存储层存储。

2) 统一存储及共享层

统一存储保证了信令数据的完整性、一致性、独立性以及持久性, 并实现了信令数据的多处理和应用共享。统一存储层中存储的合成数据可以直接提供给上层应用层使用。当存储层中存储数据不能满足上层应用需求是, 上层应用系统可通过统一指令模块下发指令到采集层, 从而生成和传送上层应用所需要的数据。

3) 应用层

位于顶层的应用层可以在下层对外接口基础上提供丰富的业务应用, 比如用于运维管理、用户行为分析、智能网优支持以及增值应用等。借助多种业务应用, 运营商可全面掌握网络情况, 并对市场动向做出快速反应, 同时依据用户行为特点对市场分析给予指导性意见。

(2) 数据挖掘

随着移动通信网中业务的多样化, 各类基于信令检测平台的应用系统蓬勃发展, 信令分析挖掘的内涵也逐渐变得丰富起来。用户的满意度已不仅停留于简单的业务上, 他们将对更高层次的服务提出要求, 更多地根据服务质量决定对网络的选择。随着网络和业务的发展, 我们可直接测量得到的体验与真实用户体验之间的差异越来越大, 传统网络质量考核体系已不能够可观地反映客户感知。

海量数据挖掘能够发现隐含在大规模数据中的知识, 基于用户行为分析, 提高信息服务的质量。统一存储的数据为数据挖掘提供了支持。四川联通针对其实际情况, 在已有应用系统基础上, 对信令数据进行了进一步的深度挖掘, 包括国际异常话务日常监控和分析、超频超短话单监控分析、智能交通、SIM复制卡等等。

1) 国际异常话务日常监控和分析

国际异常话务日常监控和分析功能支持国际话务监测统计, 包括国际话务按国家统计、按中继局统计;支持国际话务异常突变告警, 以窗口形式呈现文本告警内容, 并进行短信或邮件的提醒;对国际长途呼叫业务异常行为监测统计, 包括虚假主叫号码分类统计、主被叫号码相同统计、通话超长超频主叫号码 (按日) 统计、通话超短超频主叫号码 (按日) 统计。

2) 超频超短话单监控分析

超频超短话单监控分析能够支持维护人员定位故障, 分析出某中继在某个时间段内产生的主、被叫频率较高的用户, 并以报表的形式展现出来;支持网优人员评估网络质量能够对信令进行不同维度组合的数据查询统计, 并输出统计结果;支持深入分析, 从各维度统计分析超短通话事件, 并在各维度上进行集中度分析, 支持对超短通话的自定义设置。

3) 智能交通

智能交通通过借鉴浮动车辆采集模式, 建立基于联通无线通信系统的交通信息综合服务平台:以具有GPS功能的联通智能手机作为主要交通信息采集终端, 结合联通无线通信系统信令数据中的位置信息, 以个人的交通出行行为 (而不是以绑定车辆) 作为交通路况采集数据源, 并以其它数据源为补充 (如交管数据) ;利用联通无线移动网络向交通数据处理系统传输采集智能手机当前GPS地理信息和联通无线移动网络定位数据;通过GIS等技术对移动终端位移信息进行地图匹配, 分析获得相关路段交通状况, 通过数据挖掘技术分析计算最优路径, 实时规划出行路线, 并提供众多增值服务。

五、统一信令监测平台关键技术

(1) 开发制定原始数据格式规范。需要定义原始信令数据规范, 数据采集完成后需要按照规范形成统一的信令数据格式存储。

(2) 开发制定XDR/CDR格式规范。需制定统一的XDR/CDR接口规范, 数据采集完成后按照统一的合成数据格式进行存储。

(3) 开发制定针对上层业务功能需求的数据接口。需要定义信令共享层与应用层交互的接口与规范, 完成CDR、业务信令数据的可靠传输, 可以提供应用层关注的业务信令数据, 保证传输过程的可靠性与安全性。

(4) 完成与现网各厂家采集平台的整合, 需要现网各厂家采集平台与统一信令平台进行连接, 以便实现不同厂家采集系统间互通。

(5) 根据各接口规范进行软件开发与验证。各个信令监测系统厂家需要严格按照相关规范进行软件和系统的开发, 各个厂家不同层次的平台能够实现互联互通。

集中存储 篇5

一、SAN概述

SAN (Storage Area Network, 存储区域网络) , 是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。

IP-SAN是应用i SCSI技术的SAN网络, 传输介质为IP网。IP-SAN是基于TCP/IP数据传输技术构建的存储区域网络, 可将SCSI指令通过TCP通信协议传送到远方, 以达到控制远程存储设备的目的。由于传送的封包内含有传输目标的IP位置, 因此, IP-SAN是一种效率较高的点对点传输方式。i SCSI的最大好处是能提供快速的网络环境, 虽然目前其性能和带宽跟光纤网络还有一些差距, 但能节省企业约30%~40%的成本。i SCSI技术优点和成本优势的主要体现包括以下几个方面:

硬件成本低。构建i SCSI存储网络, 除了存储设备外, 交换机、线缆、接口卡都是标准的以太网配件, 价格相对来说比较低廉。同时, i SCSI还可以在现有的网络上直接安装, 并不需要更改企业的网络体系, 这样可以最大程度地节约投入。

操作简单, 维护方便。对i SCSI存储网络的管理, 实际上就是对以太网设备的管理, 只需花费少量的资金去培训i SCSI存储网络管理员。当i SCSI存储网络出现故障时, 问题定位及解决也会因为以太网的普及而变得容易。

扩充性强。对于已经构建的i SCSI存储网络来说, 增加i SCSI存储设备和服务器都将变得简单且无需改变网络的体系结构。

带宽和性。i SCSI存储网络的访问带宽依赖以太网带宽。随着千兆以太网的普及和万兆以太网的应用, i SCSI存储网络会达到甚至超过FC (Fiber Channel, 光纤通道) 存储网络的带宽和性能。

突破距离限制。i SCSI存储网络使用的是以太网, 因而在服务器和存储设备的空间布局上的限制就会少了很多, 甚至可以跨越地区和国家。

二、集中存储备份系统方案

(一) 系统总体架构

经过对现状进行分析, 做出以下存储备份规划:

1. 采用IP-SAN存储架构, IP-SAN与以太网完全

兼容, 可以大大简化日常管理需求, 为今后科学的存储管理打下良好基础。再新增一台备份服务器, 对各应用系统数据进行科学化、自动化的备份管理。

2. 前端的服务器通过以太网卡和千兆交换机与后端的主存储设备相连, 服务器的数据保留在主存储设备上。

3. 主存储设备一方面提供NAS文件共享功能, 供前端业务进行文件共享;

另一方面提供本地的数据保护, 当由于人为误删除或病毒攻击造成数据丢失时, 能快速有效地恢复。

(二) 方案详细配置

1. 配置一台IP-SAN设备作为集中存储设备, 主存

储需要支持目前业界领先的SAS接口技术, 支持SAS与SATA磁盘混插, 适合关键业务的在线存储。所有需要连接存储的服务器, 只要安装千兆网卡, 并安装软件的i SCSI Initiator就可以, 从而不需要购置价格昂贵的HBA卡。主流系统AIXSolarisLinuxWindows都支持这种千兆网卡加软件的i SCSI Initiator实现方式。

2. 近线存储采用H3C的EX1500作为核心存储设备。

通过COMMVAULT备份软件, 实现将业务数据备份到EX1500中。

3. 虚拟磁带库:

采用磁盘模拟成磁带库 (或磁带机) , 作为备份存储介质。备份管理服务器Comm Server:负责管理整个备份系统。

4. 介质代理服务器模块Media Agent:

管理备份介质、管理所有的备份数据索引。

5. 备份客户代理i DA:

负责将生产主机上的数据传送到介质服务器软件模块上。

(三) 系统结构说明

在各个计算机上安装下列主要软件模块。

1. 备份服务器模块:

管理灾备系统的工作、配置;管理所有的自动备份和恢复策略;管理界面的GUI和Web服务。

2. Media服务器模块:

管理所有的备份介质;实现集中备份的方式;管理所有的元数据索引。

3. 备份客户代理:

负责将生产主机上的数据传送到介质服务器上。

在上述系统架构上, 主要提供LAN备份模式, 在该模式下, 在生产机内只需要安装i DA模块。在备份操作时, i DA模块把需要备份的数据从生产数据存储设备中读入生产机, 并通过LAN把备份数据传给专用MA服务器, MA服务器将把数据通过SAN写到备份设备上;在恢复操作时, MA服务器将通过SAN网从备份设备上读入恢复数据, 并通过LAN把数据传给i DA, i DA把数据写入生产系统。在LAN模式下, 备份/恢复操作的数据需要经过LAN网转送。

(四) 数据备份实现的典型业务功能

1. 数据校验 (Data Verification) :

数据校验工具可以被设置为在所有备份、所有全备份后运行, 或在备份中刚出现或完成某个数据时开始运行。

2. 数据“断点续传”, 确保备份/恢复可靠性:

备份、恢复、辅助拷贝、合成全备份等一切数据传输的操作都具有检测点, 从而能保证操作中断后的重启。这一功能对WAN上备份、恢复十分重要, 也确保了备份、恢复的成功率。从而保证在网络带宽不是很充足的情况下, 确保备份/恢复任务的顺利完成。

3. 带宽限制管理, 确保网络传输可靠性:

提供带宽限制功能, 让管理员能明确地定义多少有效带宽能用于复制。另外, 带宽的分配能按管理员制订的计划来自动调整。例如, 在典型的办公环境里, 可在每个工作日的晚上和周末选90%的带宽来复制, 在上班时选40%的带宽来复制。

三、结束语

从20世纪末期开始我们的社会已经进入信息化的时代。作为信息基础的数据, 其价值被越来越多的企业所认识。数据支持着许多企业每日的交易及决策, 数据也支持着许多工厂生产线的正常运行, 为了实现存储数据在服务器和存储设备之间的高速传输, 高效地确保调度数据的安全性和可用性。本文提出采用IP-SAN技术基于高速以太网SAN架构, 通过i SCSI协议来实现。

参考文献

[1]吴廷照, 李兴国, 李秉严.数字图书馆存储系统解决方案[J].四川图书馆学报, 2004 (2) .

集中存储 篇6

一、自建系统数据集中存储备份平台建设

(一) 自建系统数据集中存储备份平台建设目标

自建系统数据集中存储备份平台的建设目标是根据技术环境特点, 将具备迁移条件的分行自建系统数据迁移到数据中心A区集中存储设备;通过A区备份服务器实施相应的备份策略管理, 将迁移后的生产数据备份到磁带库中;初步建立省级数据中心存储与备份管理技术规范, 满足省级数据中心现有系统及未来新建系统数据存储备份需求。

(二) 自建系统数据集中存储备份平台建设的背景

1. 省级数据中心集中存储备份平台状况

省级数据中心集中存储系统分为省级数据中心新上线系统区和账户、财务系统区2个部分。本次实施针对省级数据中心新上线系统区, 该区设备配置如图1所示。

(1) 联想HDS AMS2500磁盘阵列

联想HDS AMS2500磁盘阵列共配置38块300 GB磁盘 (10 T配置) , 其中1块磁盘用于热备, 不存储数据。按照6∶4比例分配, 总行统一推广系统使用该磁盘阵列上的22块硬盘, 剩余15块硬盘由省行自行使用。磁盘阵列前端8个端口, 分别属于2个控制器, 每控制器的第1至3个端口为总行统一推广系统使用, 第4个端口供省行使用。规划如图2所示。

(2) IBM TS3500磁带库

TS3500磁带库配置了6个驱动器和40 T磁带, 其中第1至4个驱动器和30 T磁带供总行统一推广的系统使用, 部署省级数据中心一期的数据备份。剩余2个驱动器和10 T磁带供省行自行使用。

(3) 博科32口光纤交换机

省级数据中心新上线系统区配备了博科32口光纤交换机。

2. 自建系统数据集中存储平台试点系统状况

本次集中存储备份平台实施选择省级数据中心自建系统执法检查系统 (LIAS) 及工资套改系统 (SCMS) 进行系统迁移。LIAS系统和SCMS系统应用服务器和数据库服务器均为X3650 PC Server, 数据库均为DB2数据库, 数据存储在PC Server的自带硬盘。目前数据库备份通过每天晚上执行在线备份脚本完成, 并复制到另一台PC实现异机备份。

(三) 存储区域规划与数据库应用整合规划

自建系统数据集中存储备份平台建设的核心内容是存储区域规划与数据库应用整合规划。我们使用联想HDS AMS2500磁盘阵列供省行自行使用的15块硬盘中的4块组成Raid 5的Raid Group, 作为迁移后自建系统数据库数据的存储区域。当有新的自建应用系统需要分配空间时, 在该Raid Group的862 G内未分配的空间予以分配, 且按照6∶3∶1的比例划分为LUN, 在LUN上创建对应的lv, 分别分配给数据、归档日志、活动日志使用。至于分配空间大小, 则考虑自建应用系统的实际存储需求。

迁移后的数据库应用将整合部署在专用的省级数据中心自建系统数据库服务器中, 该数据库服务器与省级数据中心存储平台连接。各应用数据库将在服务器的新建lv中建立。新建lv的命名如下:自建应用系统简称_data_4k, 自建应用系统简称_db_arclog, 自建应用系统简称_db_log。对应的mount point如下:/gddc/自建应用系统简称_dbdata, /gddc/自建应用系统简称_db_arclog, /gddc/自建应用系统简称_db_log。LIAS系统和SCMS系统初期均分配5 G空间, 具体情况如图3所示。表1描述了相应lv及mount point信息。

(四) 自建系统数据集中存储备份平台建设实施内容

在自建系统数据集中存储备份平台建设过程中, 主要进行了如下实施内容。

1. 实现自建系统服务器与集中存储系统及磁带库SAN组网配置

广州分行省级数据中心自建系统服务器原本没有连接省级数据中心A区集中存储, 需要拉一条光纤连接省级数据中心自建系统服务器和省级数据中心A区集中存储, 并在光纤交换机配置zone, 使得省级数据中心自建系统服务器可以识别省级数据中心A区集中存储以及磁带库。

2. 自建系统数据迁移的准备

在存储系统中建立分行数据保存区, 并在与之相连的省级数据中心自建系统服务器中创建对应逻辑卷, 为自建系统数据迁移做好准备。自建系统迁移需要将自建系统的数据存放在省级数据中心A区集中存储上, 为此需要按照总行存储划分规范, 在集中存储分配给分行自行使用的磁盘组中, 建立划分相应的LUN存放自建系统数据, 并在省级数据中心自建系统服务器上创建对应的逻辑卷组, 为自建系统数据迁移做好准备。

3. 迁移自建系统执法检查系统、工资套改系统的数据

在省级数据中心自建系统服务器上安装数据库管理系统DB2, 并创建相应实例db2admin, 通过db2move操作将执法检查系统、工资套改系统的数据从原有服务器迁移至与总行下发存储连接的服务器中, 实现自建系统数据向总行省级集中存储体系的迁移。

4. 备份执法检查系统、工资套改系统数据, 并进行备份可用性检查

在省级数据中心自建系统服务器安装netbackup软件并配置为media server, 以LAN-free模式实现对统一存储中自建系统数据的备份。利用netbackup管理客户端为执法检查系统、工资套改系统创建相互独立的逻辑磁带池, 并创建备份策略, 每日在线备份相关系统业务以及数据库日志。完成自建系统生产服务器数据磁带库备份实施后, 在备份服务器中安装netbackup客户端, 将备份数据在备份服务器中成功恢复, 实现异机数据恢复, 恢复来验证备份的有效性、可用性。

二、自建系统数据集中存储备份平台建设经验

(一) 自主探索与厂商远程技术支持服务相结合保证工程顺利开展

本次项目在实际过程中遇到了不少的困难, 其中既有netbackup无法备份的问题, 也有netbackup无法进行数据库恢复的问题, 通过自主思考探索, 及时总结自主实施过程中存在的问题, 并积极向厂商寻求电话远程支持, 起到事半功倍的效果。

(二) 安装netbackup服务器的经验

在cluster下安装netbackup服务器时, 如果使用服务地址, 则主机名需要填写/etc/hosts文件里配置的主机名, 不能填写执行hostname命令返回的主机名。

(三) Windows数据库迁移到aix数据库的经验

一是此次数据库迁移主要是在Windows执行db2look命令导出数据库定义脚本, 在Windows执行db2move命令导出数据, 然后在aix创建数据库后, 执行数据库定义脚本, 然后用db2move命令导入数据。

二是数据库定义脚本包含外键的定义时, 需要将数据库定义脚本拆分为两部分, 将外键定义的脚本放到执行db2move命令导入数据之后执行。

三是数据库定义脚本包含identity字段的表定义时, 建表时应该去除identity属性, 在执行db2move命令导入数据之后, 再恢复identity属性, 并将identity起始值设为当前该字段最大值+1。

(四) 执行db2恢复的经验

一是执行数据库恢复的时候可能遇到代码页问题, 可能需要在GBK代码页和ISO8859-1代码页之间进行转换。当执行db2 RESTORE DATABASE process LOAD/usr/openv/netbackup/bin/nbdb2.sl64命令时提示SQL1205N The code page“1386”and/or territory code“1”that has been specified is not valid, 则执行db2set DB2CODEPAGE=819;db2 terminate命令。

二是异机恢复时备机主机和恢复主机间通信需要得到master server的支持。具体是异机恢复前需要在master server执行touch/usr/openv/netbackup/db/altnames No.Restrictions命令。

三是异机恢复时恢复主机需要备份主机备份时用到的参数信息, 包括备份主机名, 备份策略, 备份时间安排等信息。具体是异机恢复:需要到恢复主机/usr openv/netbackup/bin下执行./db2_config, 填写数据库用户home目录, 如db2admin用户为/home/db2admin, 到home目录下执行chmod 777 db2.conf, 参考增加如下信息:

DATABASE process--数据库名

OBJECTTYPE DATABASE

POLICY Self Build_DB_DB2ADMIN_1D--备份策略

SCHEDULE Self Build_DB_DB2ADMIN_1D_Default--备份SCHEDULE

CLIENT_NAME db_svr--备份主机名

ENDOPER

四是执行前滚操作时, 需要将备份主机的对应日志文件复制到恢复主机的日志目录。具体是执行db2rollforward db process to end of logs and stop命令时, 提示SQL4970N LOG日志 (如S0000038.LOG) 挂起报错时, 需在备份主机日志目录或归档日志目录查找相应的报错文件S0000038.LOG, 替换当前数据库日志目录的S0000038.LOG文件。当前数据库日志目录通过db2 ge db cfg for process得到。

五是连接数据库时候可能遇到代码页问题, 可能需要在GBK代码页和ISO8859-1代码页之间进行转换。执行db2 connect to process命令时, 提示SQL0332N CODEPAGE错误, 则执行db2se DB2CODEPAGE=1386, db2 terminate命令。

(五) 要遵守总行对于省级数据中心设备的使用要求

本次项目中涉及到省级数据中心A区存储、光纤交换机、磁带机, 总行关于省级数据中心A区存储哪些盘、光纤交换机哪几个口、磁带机哪些端口归省级数据中心自建系统使用有明确的说明, 在项目实施过程中必须遵守这些规范。

(六) 要有良好的规划

集中存储 篇7

我国每年大约有几百万个硬盘因损坏、过于陈旧等原因需要淘汰, 更多的U盘需要销毁, 如此庞大的销毁规模, 如果不能配合有效的管理手段和技术手段, 势必造成难以想象的泄密后果。现阶段常见的数据销毁方式为数据擦除、消磁、盘体销毁3种方式分开进行, 销毁不够彻底且销毁速度较慢。

1) 数据擦除是将非保密数据写入以前存有敏感数据的存储位置的过程。硬盘上的数据都是以二进制的“1”和“0”的形式存储的。使用预先定义的无意义、无规律的信息覆盖硬盘上原先存储的数据, 完全覆写后就无法知道原先的数据是0还是1, 也就达到了清除数据的目的。采用不同类型的数据, 对要删除的数据的存储位置进行多次覆写的方法, 是数据销毁的有效途径, 处理后的硬盘可以循环使用[1,2]。

2) 消磁操作通常借助消磁机来实现, 消磁机的工作原理是对磁性存储介质 (如硬盘、磁带) 施加瞬间强磁场, 使介质表面的磁性颗粒极性方向发生改变, 失去表示数据的意义。消磁最突出的特点是快捷高效、方便监控和审计, 可在办公区操作。消磁后的硬盘不能直接使用, 可用于保修服务或丢弃。

3) 盘体销毁通常采用物理破坏或化学腐蚀的方法把记录有涉密数据的物理载体完全破坏掉, 从而从根本上解决数据泄露的问题。

以上3种方法中, 只有经过数据擦除后的硬盘才可以循环使用, 因此数据擦除也成了数据销毁技术中最经济实用的技术。

现有国内外数据擦除技术普遍存在功能单一、销毁速度不高、并发操作数少、操作结果无法确定等问题。鉴于这种实际需求, 本文的装置能够频繁地同时 (并发) 对大量不同存储介质设备中电子数据进行安全快速擦除处理。

1 装置的硬件系统设计

高速并行擦除对装置的硬件设计提出了很高的要求[3], 同时系统设计时要整合多种功能, 所以在硬件设计时要充分考虑。本装置采用最新4核i7CPU, 16 GB内存采用超线程技术, 可以支持28路存储设备并行擦除。装置的硬件由自动识别模块 (U盘和硬盘) 、磁盘销毁模块、擦除模块、报告展示模块、报告打印模块等组成, 装置硬件结构如图1所示。

1.1 自动识别模块

当装置有串行高级技术附件 (Serial Advanced Technology Attachment, SATA) 硬盘、串行连接SCSI (Serial Attached SCSI, SAS) 硬盘、USB磁盘、集成磁盘电子 (Integrated Drive Electronics, IDE) 硬盘、小型计算机系统接口 (Small Computer System Interface, SCSI) 硬盘接入时, 软件自动识别出磁盘的相应信息 (设备类型、磁盘容量、索引号等) , 并根据磁盘在硬件上接入的端口位置为其在软件界面上分配相对应的端口, 并以图形化方式让用户知道当前的磁盘处于等待执行状态;当该装置上已接入的磁盘被拔出或被断开连接时, 软件自动在界面上的相应端口位置以图形化方式让用户知道当前的磁盘端口处于空闲状态[3]。同时, 针对不同的存储介质, 自动识别模块会提供磁盘的基本信息, 包括已使用时间、健康状态等。操作界面外观示意如图2所示。

1.2 磁盘销毁模块

当需要数据擦除时, 如果发现磁盘已经损坏无法进行擦除时, 本装置可以对磁盘实现消磁处理, 以达到数据销毁的目的。

1.3 擦除模块

在擦除模块中, 本装置通过软硬件上的优化设计实现以下功能。

1) 相当于28个高速硬盘擦除机同时工作。提供2路SCSI接口、4路SAS接口、2路外置SATA (External Serial ATA, ESATA) 接口、8路USB2.0接口、8路USB3.0接口、4路IDE接口。

2) 在磁盘存在HPA、DCO隐藏扇区时, 用户可通过去除隐藏扇区功能进行解除, 并实现对隐藏扇区的擦除。

3) 快速擦除功能。对磁介质存储器的最大数据存储扇区范围使用0x00擦除一次, 以方便用户希望最短时间擦除数据的要求。

4) 用户自定义擦除功能。用户可对磁介质存储器进行自定义, 存储扇区使用自定义的字符 (0x00~0x FF) 擦除0~99次。

5) 按照不同擦除规则对磁介质进行擦除。可对磁介质存储器分别按照DOD 5220.22-M (8-306/E) 、DOD 5220.22-M (8-306/E, C, E) 、BMB 21-2007标准进行自定义扇区、自定义擦除次数的操作。

1.4 报告展示和打印模块

具有报告单管理、权限管理等功能。每次擦除操作结束 (正常完成、用户取消、因异常自动结束) 都会自动产生相应的报告。报告记录如下内容:擦除类型、擦除开始时间、擦除结束时间、擦除范围、擦除次数、擦除速度、擦除结果、是否正常结束等, 并且具有快捷的报告浏览功能。装置可以进行权限划分:系统管理员 (负责系统配置、信息消除等操作, 不应对管理员操作日志进行管理和创建安全审计员) 、安全审计员 (只能进行管理员自身操作日志的查询和管理) 。管理员口令长度可设置, 且至少为8位, 复杂度至少为字母、数字的两者组合;具有管理员身份鉴别尝试次数限制功能, 尝试次数可设置, 且至多为5次。打印模块可将每次擦除操作的信息自动生成的报告打印出来。

2 装置的软件系统设计

本装置将并行加速技术应用其中, 构成了高性能并行加速系统解决方案, 同时创新性地将多线程技术加入其中, 使得进程的整体运行效率得到较大提高, 并且增强了应用程序的灵活性。

本装置采用Windows7操作系统, 软件逻辑架构设计充分考虑用户的需求, 实现人性化处理, 体现出软件的实用性和易用性。实用性体现在支持大部分的介质格式;易用性体现在对数据存储设备自动识别, 即插即擦并能输出完整的擦除结果。

2.1 并行加速技术

并行加速技术是获得高性能计算机的有效手段, 已经成为新一代的结构特征。

本装置使用基于英特尔64位4核处理器的工作站, 构成了高性能并行加速系统解决方案。该系统从硬件结构上将每个节点分开, 分离了物理传输介质的共享, 让每个节点都独享足够的传输带宽, 拓宽了数据流行进的通道, 大大提高处理节点硬件层次上的速度;自主研发的擦除软件在软件层次提供了优越的问题求解算法, 更进一步提高了处理节点的速度, 从而实现了新一代的并行加速技术。

2.2 多线程技术

现代计算机的硬件发展很快, 很多的计算机都有较高的配置, 例如具有多个CPU或单个CPU带有多个内核, 较大的物理内存和多个外部存储设备。

本装置针对单线程技术的劣势, 采用多线程技术, 提高了CPU的利用率, 使整体效率有了很大的提升。本装置中所使用的多线程技术, 线程共享一个代码区, 但有各自独立的数据存储区。该技术在设计上充分利用了CPU的空闲时间片, 可以用尽可能少的时间对电子数据擦除工作的要求做出响应, 对于多 (核) CPU的计算机优势尤其明显, 同时多线程的最大优点之一就是可以显著地提升I/O性能, 使得进程的整体运行效率得到较大提高, 同时增强了应用程序的灵活性。多线程技术应用如图3所示。

2.3 其他软件设计

1) 流程自动化:软件设计支持一键式操作, 中间无需人工干预, 自动顺序执行选择的流程。

2) 用户权限管理:系统支持用户权限管理功能, 不同权限用户可执行相应的操作。权限划分为系统管理员和安全审计员, 系统管理员负责系统的配置和信息消除等操作, 安全设计员可进行自身操作日志的查询和管理。

3) 报告单管理:当擦除操作结束时 (正常完成、用户取消、因异常自动结束) , 系统自动产生相应的报告。系统提供便捷的报告浏览功能。当历史报告的数量达到一定值时, 提供对过期报告删除功能, 避免因历史报告数量问题干扰当前报告的浏览。

4) 日志管理:记录每位权限相关用户使用擦除机系统时的操作 (磁盘信息、用户名、权限、操作、时间、计算机名称) 。具有日志空间将满和已满时的告警提示功能, 并对日志空间已满的情况采用转存或覆盖等方式。

5) 异常处理:在数据擦除过程中能够自动检测出硬盘坏扇区, 做出相应处理, 并在报告单打印出来。当磁盘被异常拔出时, 专用机能够自动识别出被拔出磁盘的端口号和磁盘型号。

6) 高容错性:支持跳过坏扇区操作, 并可在跳过时记录坏扇区所在的位置。

3 实际测试

首先, 针对不同接口的硬盘 (IDE硬盘、SATA硬盘、SCSI硬盘、SAS硬盘) 和U盘进行擦除测试, 并分别按照DOD 5220.22-M (8-306/E) 、DOD5220.22-M (8-306/E, C, E) 、BMB 21-2007 3种规则对磁盘进行数据擦除, 擦除结束后使用Easy Recovery、Final Data等数据恢复软件对经过数据擦除的硬盘和U盘进行数据恢复, 恢复失败, 测试结果符合要求。

然后, 对本装置进行并行擦除速度测试。测试方案选取市面上主流的存储介质, 同时接入本装置, 采用DOD 5220.22-M (8-306/E) 擦除标准并行测试。擦除速度测试结果见表1所列。

4 结语

集中式电子存储介质数据同步擦除装置投入使用以来, 能同时 (并发) 对大量不同介质设备 (IDE/SATA/SAS/SCSI/USB3.0/USB2.0) 数据进行安全处理, 支持28路储存介质同步操作, 支持的最大硬盘超过10 T, 最高擦除速度可超过11 G/min, 已经成功擦除上千块不同种类接口的硬盘。实际运行证明可同时大批量的对存储介质进行高速的擦除处理, 对涉密数据进行了科学高速有效的销毁工作。

装置在使用时从方便用户使用的角度出发, 实现人机交互设计。被擦除磁盘设备环绕触摸屏幕分布, 并且在软件的交互界面相应位置呼应。

参考文献

[1]于滢, 姜立秋.电力企业网络信息安全浅析[J].东北电力技术, 2008 (8) :46–48.YU Ying, JIANG Li-qiu.The electric power enterprise networkinformation security analyses[J].Northeast Electric Power Technology, 2008, 10 (8) :46–48.

[2]潘明惠, 偏瑞琪, 张亚军.电力系统信息安全应用研究[J].东北电力技术, 2001 (12) :30–33.PAN Ming-hui, PIAN Rui-qi, ZHANG Ya-jun.Applications research on the information security of power system[J].Northeast Electric Power Technology, 2001 (12) :30–33.

[3]张冰, 卢正添, 李涛.多路恢复数据流并行传输与控制方法[J].通信学报, 2009, 30 (3) :12–24.ZHANG Bing, LU Zheng-tian, LI Tao.Multi-channel restore data with parallel transmission and control[J].Journal on Communications, 2009, 30 (3) :12–24.

[4]高志鹏, 徐志强, 吴世雄, 等.硬盘自擦除技术的研究[J].信息网络安全, 2012 (12) :10–13.GAO Zhi-peng, XU Zhi-qiang, WU Shi-xiong, et al.Researchon data self-erasing technology[J].Netinfo Security, 2012 (12) :10–13.