数据存储技术及应用（精选12篇）
数据存储技术及应用 篇1
1 引言
随着计算机技术和互联网的飞速发展, 人们不可避免地处于全球信息化的时代。无论个人、企业还是机构都将需要建立或访问大量各种各样的信息, 且仍然处于不断上升之中。作为信息载体的数据, 如何被安全高效地存储和存取, 是计算机用户必须关心的问题。传统计算机存储系统的局限性和缺陷是显而易见的, 如数据安全性、存储容量和传输速率已远远无法满足需要。现主流的DAS、NAS、SAN存储技术是解决上述问题的有效的手段, 应用非常广泛。
2 磁盘阵列的产生
由于超大规模集成电路技术的迅速发展, 计算机系统中的处理器和内存速度越来越快, 处理能力不断增强, 然而用于数据存储的磁盘存取速度远远无法与之匹配, 已成为整个系统性能的瓶颈。
在传统计算机存储系统中, 存储工作通常由计算机内置的磁盘来完成, 除了磁盘本身缺陷外, 还有如下不足:
(1) 有限的磁盘 (机械) 槽位, 难以满足大容量的需求。增加容量时需要停机;
(2) 单个磁盘存放数据可靠性和安全性得不到有效保证;
(3) 存储空间利用率低;
(4) 本地存储, 总线结构而非网络结构, 可扩展性不足, 数据分散, 难以共享。
为了改进上述的不足, DAS、NAS、SAN存储技术便应运而生, 其构成的存储系统中, 磁盘阵列是关键技术。
磁盘阵列就是由磁盘控制器来控制多个磁盘的相互连接, 采用RAID技术, 在逻辑上对其进行整合, 使多个磁盘的读写同步, 减少错误, 增加效率和可靠度的技术。磁盘阵列有三种方式:外接式磁盘阵列柜、内接式磁盘阵列卡、软件仿真。
随着磁盘阵列设备价格的逐步下降, 外挂式磁盘阵列将在企业、机构等单位得到广泛应用。
RAID:现指独立磁盘冗余阵列, 是其英文的缩写。
RAID技术的主要功能:
(1) 通过对磁盘上的数据进行条带化, 实现对数据成块存取, 减少磁盘的机械寻道时间, 通过数据存取速度;
(2) 通过对阵列中的几块磁盘同时读取, 减少磁盘的机械寻道时间, 提高数据存取速度;
(3) 通过镜像或者存储奇偶校验信息的方式, 实现对数据的冗余保护。
3 磁盘阵列的级别和数据存储技术
3.1 磁盘阵列的级别
RAID主要得益于对存储数据的分块和交叉存取技术, 磁盘阵列的性能差别就因为采取不同的数据交叉和冗余信息的放置与计算方法。因此, 按数据组织不同而分为多个级别。
RAID级别的优缺点
RAID 0存取速度最快, 没有容错。
RAID 1完全容错, 成本高。
RAID 3写入性能最好没有多任务功能。
RAID 4具备多任务及容错功能Parity磁盘驱动器造成性能瓶颈。
RAID 5具备多任务及容错功能写入时有overhead。
RAID 0+1/RAID 10速度快、完全容错, 成本高。
最常用的有1、3、5等级。
3.2 数据存储技术
目前被广泛应用的主流存储技术有三种:直接附加存储 (DAS) 、网络附加存储 (NAS) 、存储区域网络 (SAN) 。
DAS (Direct Attached Storage) 开放系统的直连式存储, 存储设备与服务器主机之间的连接通道通常采用SCSI连接。随着服务器CPU的处理能力越来越强, 存储硬盘空间越来越大, 阵列的硬盘数量越来越多, SCSI通道将会成为IO瓶颈;服务器主机SCSI ID资源有限, 能够建立的SCSI通道连接有限。
NAS (Network Attached Storage) 网络附加存储, 采用网络 (TCP/ip、ATM、FDDI) 技术, 通过网络交换机连接存储系统和服务器主机, 建立专用于数据存储的存储私网。NAS实际上是一台专用的网络文件服务器, 目前采用的文件系统协议主要有NFS、CIFS。当然它还支持HTTP、FTP等协议。NAS的特点:易于安装部署、方便使用和管理、整体性能高、跨平台使用、数据可用性高、经济。不足之处:数据备份或存储过程中会占用网络的带宽;数据访问是基于文件的, NAS访问需要经过文件系统格式转换, 不适合块级的应用以及对存储进行复杂、持续更新操作的场合。应用环境:网站存储平台、远程备份容灾。
SAN (Storage Area Network) 存储区域网络, 是一种通过网络设备将存储设备与相关服务器连接起来的专用网络。而存储器从应用服务器中分离出来, 进行集中管理, 所有的服务器可以通过这个网络对任意的存储介质进行读写。SAN可以扩展到广域网, 实现异地备份和恢复。常用的方案是基于FC协议的FC SAN和基于iSCSI协议的IP SAN。FC SAN主要用于构建具有高传输速度的存储网络, 通常以光纤作为传输媒介, 因此具有传输速度快、可靠性高、传输距离远等特点。交换式的网络使得网络所能连接的设备数量得到大幅提升。由于FC SAN没有一个统一的标准, 导致产品之间兼容性和互操作性极差, 价格昂贵, 难以普及。随着1000Mbps以太网技术的发展, 光纤已走向桌面应用, 将以太网与SCSI结合, 推出了iSCSI技术。采用iSCSI协议接口的存储设备可直接以太网上, 构成IP SAN。IP SAN以廉价和成熟的IP技术替换FC SAN的FC技术, 具备更好的成熟性、开放性、标准性、通用性。同样也具备了FC SAN的高性能和传统NAS的数据共享优势。
NAS和SAN存储系统的区别是NAS有自己的文件系统管理, SAN基于块级别的数据传输, 具备高性能、高灵活性、高扩展性和高安全性, 对大文件的传输没有限制, 具备多读写操作的快速并发处理能力, 以便适应多请求的响应速度, 核心应用基本上采用SAN架构来实现;SAN重点集中在磁盘、磁带以及联接它们的可靠的基础结构, NAS重点集中在应用、用户和文件以及它们共享的数据上, NAS基于文件共享有优势, 但不适合视频等大文件传输, 不适合块级别的数据传输。
4 具体应用案例
某电视节目采集处理中心
4.1 数据特点
每天24小时对上百套电视节目进行实时采集编码以码率为2Mbps的MPEG-4格式的视音频流存储, 存储数据被多台应用服务器调用。存储数据持续更新, 属于海量存储。
4.2 用户现状
近百套电视节目的采集编码由5台工控机来完成, 每台工控机内接6块硬盘组成存储系统, 低码率存储数据。5台工控机与16台数据查询端同接入千兆局域网, 数据查询端随时调用工控机里的视音频流。现在由于业务的展开, 该中心以百套电视节目内容为基础, 增加视听节目室、电视节目信息发布室、广告查询室、网站视音频节目等业务。原存储系统采用内置存储技术, 已无法满足新增加的业务, 必须采用开放式外挂存储技术对原有结构重新设计。
4.3 需求分析
根据总的业务要求, 各项业务都是基于电视节目内容来展开, 此时需要一个可统一管理的开放式外挂存储系统, 也能满足以后业务的增加, 为了提高数据的可靠性、安全性和I/O能力, 采用RAID 5级别组建RAID组。对视音频流的存储是连续、不断更新的, 对数据的读写要有多并发的处理能力, 因而选用SAN存储技术。磁盘阵列的要求是:能在线扩容、升级, 各存储设备组件要有冗余, 掉电数据保护, 支持热插拔。系统要支持远程管理, 要有可靠售后服务支持。按用户的要求:本着经济的原则, 组建一个适合自己, 性价比高的存储系统。利用现有网络组建一个基于iSCSI协议的IP SAN架构的存储网络。存储容量要求:每天24小时, 存储10天, 码率为2Mpbs的100套节目的数据量为:
考虑到预留30%的冗余量以及每8块磁盘组一个RAID 5中有1块热备盘
存储系统总容量为:21.6TB*1.3*8/7≈32.1TB
4.4 系统设计
在组建SAN网络时, 选择FC SAN性能是最优的, 但其高昂的价格和高深的FC技术, 导致其无法广泛使用, 而iSCSI技术的日益成熟和IP协议的广泛使用, 在千兆局域网使用有很好的性价比。基于千兆IP网搭建IP SAN, 理论数据最大传输率可达150MB/s, 在正常工作中, 数据传输率在80 MB/s-90MB/s左右 (单工模式) , FC数据传输率为190MB/s (单工模式) , 相比较差距明显。在实际应用中, 80 MB/s-90MB/s数据传输率能够满足要求的。如本方案中, 一套节目传输码率为2Mpbs, 那么同时传输100套的传输率就是2 Mpbs*100/8=25MB/S, 由此可见, 基于千兆IP网的IP SAN数据传输率约是本系统使用传输率的3倍, 完全能满足现在的需要, 即使以后存储200套节目还是有余量的。考虑后续发展, 本方案存储容量为32TB, 系统支持最大容量是96TB。选择一台基于iSCSI技术的符合要求的S2600型存储设备。该设备拥有丰富的中端存储产品的特性, 大大提高了产品的性价比。如远程复制提供等级更高的数据容灾服务、掉电保护将数据写入磁盘、磁盘预拷贝防止两块磁盘故障等全方位的数据保护。
4.5 存储数据安全性
存储数据的安全性要从整个工程 (系统) 来考虑, 可分为三个方面:基础设施、数据存储、应用系统。
基础设施方面:设置安全措施, 预防各种自然灾害、人为灾害以及不可预知灾害;保障供电持续稳定;合理布置网络布局和走线, 避免线缆故障;本地LAN和服务器不能直接与互联网连接, 杜绝外网病毒的入侵。采取对策:异地容灾技术, 设置防火墙。异地容灾技术有:远程文件复制、远程磁盘 (卷) 镜像、快照技术, 同时应用系统能实时切换到异地备份系统。
数据存储方面:采取有效的数据保护措施, 选择合适的数据存储技术, 选用可靠的有冗余的存储系统部件, 配置足够的存储容量, 保证业务的正常需求, 要求存储系统能在线扩容和升级。特别是磁盘阵列, 选择RAID级别达到数据容错, 磁盘阵列的控制器、电源模块、内置UPS、冷却系统、磁盘等不但要有冗余, 而且能自动接替失效部分, 支持热插拔, 以维护系统正常的持续工作, 达到存储数据的安全性。有保障的产品售后服务也是数据安全的一个环节。
应用系统方面:制定严格的管理规范, 防止人为的误操作和蓄意破坏以及计算机病毒的侵入;本地重要服务器应有双机热备。
诚然存储数据不可能是100%安全的, 我们需要对数据进行风险分析, 在数据风险与安全成本之间做出权衡。
4.6 解决方案
按设计要求, 采用S2600型号存储系统设备, 可满足上述设计需求
S2600具有高可靠性, 阵列控制器、电源、风扇、掉电保护电池等硬件冗余, 可在线扩容, 支持热插拔, 数据保险箱;支持远程管理, 具有设备监控功能, 日志管理, 易于配置。支持96块磁盘, 支持256个主机, 完全满足用户扩容需求。
S5120-24P交换机千兆交换机, 三层交换。
4.7 阵列配置
目前, 磁盘阵列的管理软件没有形成统一, 不同厂商的产品有专属的管理软件。
S2600配置:
S2600存储系统管理软件, 提供Web UI (User Interface) 和CLI (Command Line Interface) 两种管理方式。Web UI管理方式能便捷地配置、管理和维护磁盘阵列, 下面以此来作配置说明。
选择局域网内的一台计算机 (以后可用于远程管理磁盘阵列) 与磁盘阵列的管理口 (A控制器或B控制器) 连接, 根据已知管理口的IP将计算机的IP重置 (相同的网段) 。
(1) 从IE浏览器的地址框输入管理口IP, 进入界面。
(2) 安装JER后加载ISM进入登陆界面。
(3) 找到磁盘阵列后, 进行初始化, 其中“设置端口”这一项很关键。这项的端口是iSCSI端口, 是存储数据I/O口, 如果A控制器的00口设置IP被使用, 那么B控制器的00口也要设置IP被启用, 主要是为了达到多路径的链路冗余, IP的设置可以是局域网的网段。
(4) 选择“逻辑视图”标签, 右键已命名的磁盘阵列, 创建RAID组, 填上RAID组名称, 选择RAID组级别“RAID 5”, 选择磁盘类型, 然后手动勾选7块磁盘。
(5) 在菜单栏里, 选择“配置”项里的“热备盘管理”, 勾选一块作热备盘。
(6) 选择“逻辑视图”标签, 右键刚才创建的RAID组, 创建LUN, 输入LUN的名称、容量 (填2T) 、分条深度、归属控制器。接着继续创建LUN, 一直到瓜分完这一RAID组的容量为止。
(7) 选择“逻辑视图”标签, 左键已命名的磁盘阵列, 在菜单栏里, 选择“配置”项里的“创建主机组”填入主机组名称和选择操作系统类型。
(8) 右键刚创建的主机组, 创建主机, 填入知己名称。
(9) 右键刚创建的主机, 添加映射, 勾选其中的一个或几个LUN。
(10) 在业务主机 (需要将数据存入磁盘阵列的服务器) 安装Microsoft iSCSI Initiator和多路径软件, 打开iSCSI Initiator选择Discovery, 点击Add, 在Add Target Portal界面分别填入A控制器和B控制器的iSCSI端口的IP。
(11) 选择Targets, 选中空白窗口里一行, 点击Log On后, 勾选Automatically项。依次完成另一行。
(12) 回到ISM界面的“逻辑视图”, 右键刚才创建的主机, 选中“启动器管理”添加启动器 (实际上将ISM的主机与业务主机对应) 。
(13) 回到业务主机的“磁盘管理器”就可出现映射的磁盘。
5 结束语
数据存储技术的使用, 使存储的数据在安全性、可靠性、可用性方面得到了有效的保护, 从信息就是利润, 数据就是企业的命根子来说, 搭建一个存储系统是十分必要的。数据存储系统的使用将会越来越广泛。
参考文献
[1]John Chirillo, Scott Blaul著.存储安全技术[M].金甑平, 等译电子工业出版社, 2004 (1) .
[2]王改性, 师鸣若.数据存储备份与灾难恢复[M].电子工业出版社, 2009 (6) .
[3]张江陵, 冯丹.海量信息存储[M].科学出版社, 2003 (1) .
[4]Tom Clark著.IP SAN权威指南:存储区域网络中的iSCSI、iFCP、FCIP协议[M].汪东, 方兴, 等译.中国电力出版社, 2003 (8) .
[5]韩德志, 傅丰.高可用存储网络关键技术的研究[M].科学出版社, 2009 (7) .
[6]周敬利, 余胜生.网络存储原理与技术[M].清华大学出版社, 2005 (9) .
数据存储技术及应用 篇2
在当先信息技术高速发展的情况下，不同类型的信息、数据爆发式的产生。同时，当今社会及经济发展中需要将从前工作、生活、经济活动所产生的非数字化信息及数据进行数字化处理以方便今后对此类数据进行查询、分拣、处理及备份。此数字化过程同样会产生大量的重要数据。这就需要有相应的系统对此大量的重要数据进行备份及保存。
此种数据的特点是信息重要，数据量大。为了保证数据的安全及完备性，需要对数据进行存储，并与相应的处理设备进行分离。这样做既保证了数据的安全又保证备份数据不会受到处理设备的干扰。尤其在911事件后，对数据安全及数据完整性要求较高的企业及机构意识到需要将相应的数据进行周期性的离线备份并将此离线备份数据与原始数据进行分离保管。所以就需要一种专门快速的可以对大量数据进行离线备份的设备来满足此种功能需要。
国内外许多公司及商业、教育机构都采用离线存储设备解决海量重要数据的备份问题。
1、美国华盛顿大学采用此类设备对自身运作产生的大量实验数据和图书数据进行备份和存储。
2、美国国家图书馆采用此类设备对图书馆中的数字化图书进行备份和保存，从而有效的保存了历史文化遗产。
3、招商银行驻纽约办事处使用此类设备对敏感的客户资料和数据进行有效的保管和存储，从而保证了业务准确和快速的运作与发展。
由国家档案局档案科研所、浙江省档案局和北京汉龙思琪数码科技有限公司共同研发的海量数据离线存储柜，基于24V弱电库房安全保存保管情况，采用高科技集成技术，将多个大容量硬盘进行级联管理，采用离线保存管理系统，对电子数据进行安全、节能、便捷、利用性高的大容量数据离线科学管理。
专业的离线存储系统不仅在档案行业有广泛的市场应用前景，同时在图书、医疗、民政、广播电视、文化、军事等行业也有广泛的应用。它可以作为重要数
据在线存储的安全备份和应急服务，为在线存储的灾后数据恢复等提供安全、稳妥的数据保障。
数据存储技术及应用 篇3
摘要：
随着网络技术的不断发展，信息交互也越来越强，数据交互在整个世界范围内无时无刻不在发生，人类的信息技术迎来一个大数据的时代，而云计算的出现更是加快了信息的传播速度。云存储是云计算最主要的表现形式，在大数据环境下其作用十分突出。文章分析了大数据及云存储的相关概念，对云存储技术的应用及注意事项做出简单分析。
关键词：大数据；云存储；应用
【中图分类号】TP393.09
大数据是一个非常广泛的定义，无论是计算机还是手机，只要通过网络使用信息、通过网络让数据在世界范围内进行交流，均是大数据时代的存在方法，因此，只要通过网络进行信息交互的用户均是大数据时代的参与者。而基于大数据环境下研究云存储，是以大数据为依托，将云存储技术的优势充分发挥出来，使其更好的服务于大数据。
一、大数据对存储的要求
大数据背景下，非确定数据应用中的海量数据对数据存储系统的要求相对较高。一方面，海量数据需要通过分布式数据组织与管理策略进行组织与管理，因此其数据与数据组织方式要能满足非确定数据应用的要求。另一方面，海量数据是通过一个漫长的、持续增长的积累形成的，因此不仅要求存储支持具有一定的规模性及良好的性能，对其可扩展性也有更高的要求，并要求其具备功能完善的索引机制。大数据环境下，存储技术所面临的是海量的不确定性数据，传统的信息存储结构及对象查询方法的效率越来越低，人们迫切需要通过一种新的元数据组织结构及查询方法提高信息应用效率。在分布式环境中，各个网络结点均有数据源，大大降低了网络的传输性能，而各个数据源具有较强的自治性，再加之数据的非确定性，使得海量非确定性异构数据的集成工作越来越复杂。因此要对数据挖掘引擎的布局、多引擎的调度策略加以调整。
二、云存储概念及分类
云存储是云计算最主要的表现形式，而云计算是分布式处理、并行处理及网格计算发展到一定阶段的产物。其是利用网络把庞大的计算处理程序自动分拆为无数个相对较小的子程序，然后再利用由多部服务器组成的庞大系统对其进行计算、分析，最终再将处理结果发送至各个终端用户。云计算技术大大提高了数据信息的处理效率，可以实现与“超级计算机”相同的网络服务功能。云存储则是指通过集群应用、网格技术或分布式文件系统功能，利用應用软件将网络中大量的、不同类型的存储设备集合起来，通过这些集合在一起的存储设备向用户提供数据存储及业务访问的功能。具体而言，云存储可分为公共云存储、内部云存储及混合云存储。公共云存储是目前应用最为广泛的，比如亚马逊、百度云盘、搜狐企业网盘等均是采用的公共云存储模式，供应商可以保证每个客户在独立、私有的状态下实现信息的存储与应用。公共云存储还可以规划出一部分用于私有云存储，而私有云存储通常部署于企业数据中心或相同地点的设施上。内部云存储与私有云存储比较类似，其与私有云存储最大的区别在于，前者位于企业的防火墙内部，国内联想网盘提供的就是内部云存储服务。混合云存储顾名思义就是结合了公共云存储、私有云存储及内部云存储，根据用户要求的访问，尤其是需要临时配置容量时，从公共云存储中划分出一部分容易，用于配置一种私有或内部云，以帮助客户应对迅速增长的负载波动或高峰。
三、大数据环境下云存储的应用
现阶段云存储的应用主要包括以下几个方面：
（一）视频监控的应用
城市建设与社会的发展使得视频监控技术的应用与发展达到了空前繁荣的程度，而城市视频监控系统所面临的重要问题就是如何处理庞大的高清视频数据：网络带宽不足、存储穿间过大、性能要求越来越高、系统扩容升级存在压力等，均是需要面临的问题，而对PB级的海量网络存储需求，传统的直连式存储与网络存储技术根据无法满足这一要求。而云存储向视频监控系统提供了多种应用接口，用户无需安装任何播放及管理软件，其真正突破了传统存储方式的性能与容量的问题瓶颈，提高了系统性能及容量的线性扩展，使得海量数据的存储成为可能。并且由于不同的监控区域处于不同的地理范围，监控点数据巨大，云存储系统便于分布式管理与随时扩容。
（二）互联网络的应用
云存储技术在互联网中的应用越来越广泛，互联网可以提供一个有效的存储媒介，供用户进行交流，通过媒介获取丰富的相关信息资源，提高资源的利用率。随着移动互联网及移动终端的快速发展，用户的同步与分享需求日益强烈，互联网公司也将云存储技术的研发与应用作为自身的生果发展内容，并将互联网产品中需要存储的个人信息与云存储应用绑定，大大提高了信息处理速度。云存储平台与各类消费电子产品实现了互联互通，各种形式的数据信息开始实现跨越时间与穿间的自由流通，为各个社交网络用户提供更为丰富的交流元素。
（三）其它应用
其它应用包括视频编辑应用及家庭网络应用等。云存储技术可以实现不同设备的协同合作，通过虚拟化的管理技术大大简化了视频数据管理的流程，提高整个系统的开拓性与敏捷性。云存储系统对存储设备进行虚拟化管理，实现视频数据与物理存储位置的无关性，视频数据可跨地域存储与调用。家庭网络应用主要是实现家庭媒体文件的上传与在线播放，通过云存储访问代理与云存储平台的交互，实现家庭内多终端间的多媒体资源共享与多屏互动等，优化用户的感知。
总之，云存储不仅是存储，更多的是应用，随着云存储安全性、可靠性、实用性的不断提升，云存储必将在各个行业广泛应用，成为未来数据存储的主要发展趋势。
参考文献：
[1]李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊，2014，02（15）：129-130.
[2]文必龙，宗文栋.海量并行处理系统的大数据读写接口优化研究[J].郑州轻工业学院学报（自然科学版），2013，04（19）：105-106.
[3]何鹏.移动互联网时代的企业信息聚合——从大数据的实践到云计算的应用[J].互联网天地，2013，12（20）：206-207.
[4]景亚君，张永生，项文新.电子文件中心、电子文件备份中心和电子政务灾备中心辨析[J].办公自动化，2011，05（25）：206-207.
企业网络数据存储技术应用分析 篇4
21世纪，信息化在供电企业中的应用越来越广泛，处理的业务越来越全面。目前在用的信息管理系统有用电营销管理系统、办公自动化系统、负荷管理系统、物资管理系统、财务管理系统、两票系统、线路变电巡检系统、安全监察管理系统、信息网管理系统及数据上传、各专业报表系统等，信息系统的应用几乎遍及了企业所有工作的所有环节。
《国家电网信息系统数据备份与管理规定》中指出：“数据是信息系统的基础，是电力企业的重要财富。事实上，如何安全、高效地实现数据存储、数据恢复以及数据容灾问题，已成为目前网络数据时代的一个热点技术，同时也掀起了继互联网热之后的又一次技术浪潮，它把网络带入了以数据为中心的时代。
1 网络存储技术分析
随着企业网络应用工作的持续开展，应用数据量不断增加，企业管理者都普遍感觉自己企业的存储容量、存储性能滞后于网络应用的发展。在这种需求背景下，为满足当前不同层次应用需求的存储方案产生了，这方面的技术方案有：DAS (直连存储) 、N AS(附加网存储)、SAN(存储区域网)。
1.1 直连存储—一DAS
DAS存储技术，是指将存储设备 (磁盘阵列) 通过SCSI接口或光纤通道直接连接到网络系统的服务器上。DAS方案主要在早期的服务器上使用，由于当时数据的存储容量要求不大，单个服务器的存储能力就可以满足日常的存储需求。但存储方案中的存储设备直接挂在服务器上，随着需求的不断扩大，越来越多的存储和服务器被增加进来，导致服务器和存储孤岛的增加，资源利用率低下，在该环境下存储结构和可扩展性较差，存储的传输速率不高，它适用于小型网络中使用。
1.2 附加网存——NAS
N AS存储技术，是指存储设备通过现有的L AN，连接到一群计算机上，这种数据存储不再是服务器的附属，而作为独立网络节点存于网络之中，可由所有的网络用户共享。
在这种存储方案中，由于存储设备不是直接与服务器相连，所以存储容量很容易扩展，可达到即插即用的作用，具有较好的灵活性和可用性。它的主要缺点是：增加了网络流量，容易给数据传输造成瓶颈。
1.3 存储区域网——SAN
SAN区域存储网络，是一种类似于普通局域网的高速存储网络，提供了一种与现有L AN连接的简易方法，允许网络独立地增加存储容量，并使网络性能不受数据访问的影响。这种独立的专有网络存储方式具有扩展性高、可管理性好和容错能力强等优点。
采用DAS、N AS2种传统的存储的企业，在实际应用中存在着物理部署和数据存储分散、运维的成本提高和运维效能低下、数据存储缺乏异地容灾功能、存储容量的可扩展性差等问题。而SAN技术则可以有效克服前2个系统存在的主要功能缺陷，实现企业数据存储的高可靠性、高扩展性和高度集中。基于上述原因，选择SAN作为企业网络数据存储已成必然趋势。
2 对SAN的2种存储技术选用分析
SAN主要包括F C SAN(光纤通道的)存储方式和IP SAN(传统IP协议)存储方式。2种存储网络最大的区别是作为网络的核心连接设备不同。F C SAN使用光纤交换机，通过光纤 (或者铜缆) 连接主机和存储设备，网络中的协议是F C;IP SAN使用以太网交换机，通过IP连接主机和存储设备，网络中的协议是T CP/IP。
目前，F C SAN、IP SAN是应用于存储区域网吉比特速率的2种主要技术(见表1)。
可以看出，F C SAN在具体应用中也存在着不足，如：建设成本高、存储距离受限、维护管理不便等缺点，相对于数据存储业务在企业中的重要地位，供电企业更需要它的高性能和高稳定性，所以F C SU N是很好的选择。
3 某公司SAN技术应用的设计总体架构
3.1 实际应用
某公司于2008年5月进行存储项目的安装布署，在此之前，公司的所有在用系统，大多采用一个应用一台服务器方式，没有独立的存储区域网，在实际应用中存在如下问题：
(1)部署分散。由于各应用系统是逐步建立的，大多采用服务器和存储设备直连的方式;
(2)管理复杂。公司同时管理着50台以上的服务器，服务端设备多以PC服务器为主，覆盖了多个品牌厂商、各类档次的设备，管理的复杂度直接增加了人力的投入和运维的成本;
(3)数据分散。物理硬件的分散部署直接导致了各类数据的分散性，增加了数据管理的复杂度，同时由于历史原因，各地市采用的数据库系统包括O R ACL E、M S SQ L SE R V E R等，且涵盖各数据库不同时期的版本。数据不集中管理，综合利用率不高，同时维护人员工作强度加大;
(4)系统缺乏异地容灾功能。不能防范来自非计算机系统因素的隐患，如火灾、地震等灾难;
(5)存储容量的可扩展性差。
3.2 SAN方案
考虑公司数据存储的内在需求，结合存储系统所承受的网络负荷实际，选择了应用SAN的方案。具体做法如下：
(1)网络环境组成。目前，公司主机房面积达到140m2，机房建设规范达到国家电网机房建设规范B类标准，机房内分为：系统区、应用区、网络区、存储区。首先在主机房内进行SAN存储区域网络技术来构建主机房数据存储系统。
(2)主要设备配置。光纤交换机：采用2套32口Cisco 9134交换机组成一个冗余的SAN网络，辅助机房采用2套16口(全部激活)Cisco9124交换机组成一个冗余的SAN网络。所有SAN交换机的端口速率都为4G b/s。磁盘阵列：主存储系统选用N etapp的F AS3020C磁盘阵列，每套主存储都配置了42块146G B 15K R PM的光纤硬盘，提供6T B的存储容量。每套F AS3020C最大支持168块硬盘，并支持各类硬盘的混合使用，最大支持容量可以达到84TB。配置了一套和主存储配置一致的存储系统N etapp F AS3020C放置在容灾机房。光纤链路：每套存储8根网线，4根网线用于存储系统内连接，4根用于与核心交换连接，4个IP地址。放置光纤12芯，8芯用于主备光纤交换机互连，2芯用于管理交换机互连，2芯用于windows系统服务器空间划分(用snapdrive软件)。软件：在主存储和次级存储系统上都配置了N etapp的远程数据同步软件Snapmirror，通过该软件，在2套磁盘阵列之间实现基于阵列的数据同步，把业务数据从主存储容灾到次级存储系统上进行保护。
本次数据容灾设计利用成熟的主数据中心和备援数据中心之间的数据备份技术，基于SAN的远程复制(镜像)，即通过光纤通道F C，把2个SAN连接起来，进行远程镜像(复制)。当灾难发生时，由备援数据中心替代主数据中心保证系统工作的连续性。当主存储系统恢复正常后，可以利用Snapmirror的反向增量同步功能，把主存储失效的这段时间内所有业务数据的变化从次级存储以增量方式同步到主存储上，实现2套存储数据的一致性。关键应用系统数据迁移至存储系统上，
(3)数据存储系统方案非常简单，实际上是一种以存储为中心的扁平F C SAN拓扑设计。设计还拥有冗余的路径设置，即便单个H BA、链路、交换端口、交换元件或存储端口连接失败，存储事务仍能照常进行(见图1)。
4 SAN实际运用的若干技术环节分析
4.1 利用内置的管理系统对SAN网络与存储进行全面管理
Cisco SAN交换机都内置了基于浏览器界面的SAN网管系统，通过该系统，可以实现对SAN网络的管理。
每套F AS3020C都内置了一套基于浏览器界面的存储系统管理系统(F ilerview)，可以对存储系统进行全面的管理、配置和监控。
4.2 将SnapshotTM技术用于每日联机备份以防止数据丢失
Snap R estoreTM软件，用于将文件系统恢复为以前某个状态，利用Snapshot功能，系统管理员可以对整个文件系统进行全天候(而非仅在夜间或周末)联机备份，以防止数据丢失。只要从Snapshot目录复制所需的文件，用户或系统管理员就可以恢复丢失的文件。Snapshot可对意外删除的文件进行快速恢复，整个过程由用户启动。
4.3 利用SnapMirror软件将文件从一个主机房存储设备镜像到备用机房存储设备上，从而实现了在备用机房的集中式备份管理
Snap M irror软件可进行从源F iler到目标F iler的自动文件系统复制。Snap M irror软件可以全天候传输增量更新，以保持镜像内容与源F iler之间基本同步。源站点出现故障或问题时，即可访问目标站点镜像的关键业务数据，从而确保业务不会中断。Snap M irror软件将长备份和恢复时间的需求降到最低，可实现快速灾难恢复。
4.4 利用SnapRestore软件可在数秒内以最少的宕机时间将整个文件系统恢复为原先存储的快照副本
Snap R estore软件将恢复文件系统，而F iler可供整个生产过程使用。该软件可用于从损坏的数据库、应用程序或损坏的文件系统中进行恢复。
4.5 利用光纤通道及千兆位以太网磁带SAN解决方案有多种优势
磁带可以共享访问以及资源的在线分配;数据的备份过程对网络服务器的影响最低;磁带可热插拔;可进行动态磁带配置更改;无须关闭F iler等。
4.6 进行数据分类，对关键业务数据的保护加大
根据数据的相对优先级及在发生灾难时各种数据类型所需的恢复速度，按对企业的重要程度进行数据分类。使系统管理员可以根据恢复要求设计灵活的数据保护策略，将文件系统整理到多个卷和配额树中，从而优化数据保护措施。
可以看出，SAN技术应用是一套非常有效的解决方案。首先，它避免了出现单点故障，大到主机、存储设备，小到光纤适配器，所有部件均是冗余容错的;第二，无论主机还是存储设备出现故障，均可通过主/备份中心的光纤交换机连接来保证通信和数据的完整性;第三，万一主数据中心出现意外灾难，系统可以自动切换到备份数据中心，从而保证系统的最高可用性。
5 应用效果分析
SAN存储系统的建立，为公司信息系统提供坚实可靠的数据存储基础架构。所有应用数据可在这数据存储基础架构上进行集中控制和统一管理;通过简化管理和集中备份可降低总体存储成本;通过提高存储利用率可更有效的实现资产利用;通过灾难恢复功能(例远程镜像、即时复制)可有效降低数据丢失的风险。
数据存储技术及应用 篇5
一、需求分析
财务部门是企业开展信息化较早的部门，很多企业在实施会计电算化取得成功后，逐步将企业的信息化推向供应链、人力资源等系统。由于企业财务信息化起步早，积累了很多的数据，这些数据分散在服务器PC机和笔记本中，因为用户过于分散及管理工作过于琐碎等原因，从而疏忽了对这些机器上的数据管理，给数据的长久保存带来很大困难。财政部门在会计电算化基础工作规范中特别对企业财务数据的保存提出了要求，要求保存在较好的存储介质上，以延长数据的保存时间。同时，企业财务部门的PC由于经常使用来自不同渠道的移动存储设备（如U盘、移动硬盘等），增加了被病毒感染的机率。2007年初爆发的“熊猫烧香”病毒就给很多企业的财务数据造成巨大损失，所以对企业的财务数据进行及时备份尤为重要。
? Synology网络存储服务器作为高性能的网络存储器，在对局域网上的用户提供文件共享服务的同时，可以方便的实现对PC机和笔记本的数据备份及恢复，为财务工作环境中的PC机及笔记本电脑的数据提供了强大存储及备份功能。
二、方案介绍
Synology网络存储器安装很简单，只需将存储器接入局域网交换机，安装Synology Data Replicator 软件就可投入使用。网络连接具体看下图：
Synology服务器提供了以下备份方案：
1.通过本地备份功能，管理者可以将Synology服务器的数据备份到外接式的USB或SATA磁盘上。
2.通过网络备份功能，管理者可以将一台Synology服务器上的资料备份到另一台Synology服务器上。
3.将PC端的数据备份到Synology服务器，达到保护数据的目的。通过Synology Data Replicator，使用者可以： 1.监视使用者计算机上指定的数据夹，将所有的变动的数据实时备份Synology服务器。2.设立档案上传的版本数目及还原点数目。3.日后根据需要将备份到Synology服务器上的数据恢复到使用者的计算机。
4.管理者也可以备份服务器的使用者、群组、共享数据夹设定。可以将一台外接式的USB磁盘连接至Synology服务器的USB端口上，或将一台外接式SATA磁盘连接至Synology服务器的e-SATA端口上。
5、增量备份的功能，Synology网络存储服务器不用象一般的备份工具一样重复备份；增量备份起到节省硬盘空间的作用，让硬盘的空间可以充分的使用。
三、简便的管理
? Synology服务器还提供了以下功能：
1.通过因特网储存及分享档案
Windows使用者以及Mac使用者可以轻松在网络上分享数据。
1.使用FTP传输档案
您可以开启Synology服务器的FTP功能，设定流量管制及匿名登入，提供使用者通过网络上传或下载数据。若您有数据安全上的考虑，您亦可选择含有FTP over SSL 或是FTP over TLS 功能的存储器。
3、外壳上的「Copy」按钮只需您按动一下，就能及时将数码相机、U盘、移动硬盘的资料复制到Synology服务器上。
4、分享USB打印机
您可以将Synology网络存储服务器当作打印服务器使用，将带USB接口的打印机接入Synology网络存储服务器，普通的打印机就成为一台人人都可以使用的网络打印机。
四、应用效果
企业财务数据备份是非常重要的事情，是不容忽视的。Synology网络存储服务器数据备份非常完整且自动完成，总是在您不注意的情况下就做完了。各项完整的备份方案让您可以找到适合的备份方式。
Synology产品以节省能源的设计概念出发，相对于服务器类产品，Synology产品设计小巧，消耗较少能源，因此能够同时为您节省电费，又能保护我们的地球，同时能为企业财务数据的长久保存提供有力的帮助。
附：网络存储服务器简介
大数据时代的云存储技术 篇6
关键词：云计算；云存储
1 什么是云存储
云存储是在云计算概念上延伸和发展的一个新的概念，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储管理时，云计算系统中就需要配置大量的存储设备，那么，云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
2 云存储分类
按照服务对象可以把云存储分类如下：
(1) 公共云存储。公共云存储可以以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的、私有的，公共云存储可以划出一部分来用作私有云存储。
(2) 私有云存储。通过私有云存储，一个公司可以拥有或控制基础架构，以及应用的部署。私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由公司自己的IT部门管理，也可以由服务供应商管理。
相比传统存储模式，云存储的租购模式显得更加灵活方便，其实，企业自己构建一个数据中心需要购买硬件等必备设施及复杂多变的维护管理。
(3) 混合云存储。这种云存储把公共云和私有云结合在一起。主要用于按客户要求的访问，特别是需要临时配置容量的时候。
从公共云上划出一部分容量配置一种私有云，可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。
尽管如此，混合云存储带来了跨公共云和私有云分配应用的复杂性。
3 云存储具有的优势
作为大数据时代的云存储技术，与传统存储技术相比，具有如下明显优势：
(1) 灵活方便。对于中小企业或个人用户，完全可以将数据的创建与维护委托给云服务提供商，而只是租用云服务提供商的服务即可，用户不必考虑存储容量、存储设备类型、数据存储位置，以及更多的关于数据的可用性、可靠性和安全性等繁杂的技术层面。避免了购买硬件设备及技术维护而投入的精力，节省下来的大量时间可以用于更多的工作业务发展。
(2) 成本低廉。就目前来说，企业在数据存储上所付出的成本相当大，因为企业要建立一套存储系统不仅需要购买硬件等基础设施，同时，系统维护还需要专门的人员，企业的存储空间及管理费用都面临巨大挑战，企业必须更新或增加各种数据存储和管理设备，而且还要负担逐渐高涨的管理成本。
为了减少这种成本压力，好多企业将大部分数据迁移至云存储上，所有的升级、维护等管理任务均由云存储服务提供商来完成。因此，可以将数据存储与管理的成本降到最低，同时，还能获得最优良的数据存储服务。
(3) 量身定制。随着大数据的到来，传统的存储模式已不再适用企业的数据存储，企业急需一种新的存储方式来满足企业数据存储的个性化需求。
私有云即可满足企业这一个性化需求。云服务提供商可以专门为企业客户提供一种量身定制的云存储服务解决方案，也可以由企业自己的IT机构部署一套私有云服务架构。企业不仅可以得到最优质的个性化服务，还能在一定程度上降低安全风险。
4 云存储发展需要考虑的主要问题
由于云存储具有传统数据存储模式不具备的诸多优势，越来越多的中小企业正在将自己的数据中心逐渐转移至云端。而大型企业除了租用公共云存储服务以外，也开始着手建立自己的私有云存储数据中心。但是，云存储仍处于快速发展阶段，云存储要想得到广泛应用，还有待进一步完善和改进。
(1) 安全问题。数据存储在云计算中心，安全问题始终是用户最为关注的问题。
用户的敏感信息和个人隐私数据如何才能保证其具有安全性和私密性，云存储服务提供商应根据分布式文件中可能存在的安全威胁和安全需求，来制定相应的安全策略，以便在计算机中实施相应的保护机制，确保用户数据避免丢失或被窃。
(2) 可靠性问题。可靠性是数据存储系统最基本也是最关键的一项指标。
数据的备份复制是云存储管理中心必须考虑的问题，而且数据的备份复制可以大大提高云存储系统的可靠性和性能，同时能够增强系统的容错能力。如果云存储数据遭到破坏，云存储服务提供商应该能够快速全面地恢复数据，确保用户数据的完整性。
5 结束语
云存储不仅仅是存储，更多的是应用，是云计算时代的一场存储革命，随着云存储的安全性、可靠性、实用性等存储技术的不断成熟，人们对存储技术的认识不断提高，云存储成本的不断降低，一定会形成一个安全可靠、实用快速的云数据存储与访问系统。云存储必将广泛应用于各行各业，云存储必然是未来数据存储的发展趋势。
参考文献
[1]互动百科.http://www.hudong.com/wiki/云存储.
[2]百度百科.http:// baike.baidu.com/ view /
2044736.htm·pid=baike.box.
数据的存储备份及灾难恢复技术 篇7
一、数据的安全分类和备份要求
对数据进行分类保护是计算机信息系统实施安全等级保护的基本原则。按照数据的价值划分类别, 对不同类别的数据, 应实施不同的安全等级保护, 而对不同安全等级的数据进行备份, 要求也不能相同。其数据分类和对应的安全等级备份要求如下:
一是公开数据。该类是公开发布的数据, 需要进行完整性保护, 应按第一级用户自主保护级的要求进行安全设计, 数据进行常规备份。二是一般数据。该类数据具有一般使用价值, 需要进行一定保护。该类数据的破坏和泄露, 将会带来一定的损失, 应按第二级, 即指导保护级的要求进行安全设计, 数据进行定时重点备份。三是重要数据。该类数据具有重要价值或机密程度, 需要进行重点保护, 应按照第三级, 即监督保护级的要求进行安全设计, 数据应进行冗余备份 (一式两份) 。四是关键数据。该类数据具有很高使用价值或机密程度, 需要进行特别保护, 应按第四级, 即强制保护级的要求进行安全设计, 数据应进行冗余备份并异地存放。五是核心数据。该类数据具有最高使用价值或机密程度, 需要进行绝对保护, 应按专控保护级的要求进行设计, 数据的备份按一式多份并异地存放的原则实施。
二、数据备份方式的选择
数据备份的含义是:为防止系统出现操作失误或系统故障导致数据丢失, 而将整个系统数据或部分重要数据集合打包, 从应用主机的硬盘或阵列中复制到其他的存储介质的过程。目前, 数据备份大致可以分为三种方式, 即标准备份、增量备份和差分备份。标准备份是对整个计算机系统进行完全备份, 包括系统和数据。当发生数据丢失的灾难时, 将灾难发生之前的备份还原就可以恢复丢失的数据;增量备份是对上一次备份后增加的和修改过的数据进行备份;差分备份是对上一次标准备份之后新增加和修改过的数据进行备份。
目前, 多数系统进行数据备份时均是在后台进行, 所以, 备份时间的长短对应用系统的影响不大, 我们应根据单位存储介质的容量和系统的具体情况, 来选择合适的备份方式。
三、数据备份系统的选择
沿用至今的计算机备份技术有磁带、磁盘镜像、光盘、双机热备份、冗余阵列等。近年来, 在数据地理分散化新需求的推动下, 又出现了网络连接存储和存储区域网络存储备份技术。
传统的存储模式是直接将存储设备连接到服务器上, 它的缺点是当存储容量迅速增加时, 这种方式很难扩展。另外, 当服务器出现异常时, 将会导致数据的丢失。为了提高数据备份的效率和可靠性, IT界又开发了双机热备份系统, 它的出现适应了网络化的发展。当前, 网络操作系统正在成为主要的信息处理平台, 网络上的海量信息造成存储量的倍增, 因此, 通过网络进行数据备份已成为数据备份的主要手段。
双机热备份系统工作原理是:数据备份由专门的数据备份软件来实现, 系统应用切换一般也由专门的软件来控制。这种软件使用远程动态监测功能, 通过专线监测系统主机运行状况, 实时或定时通过网络进行数据信息备份。
企业信息系统可配置双服务器系统, 一台为运行服务器 (主) , 另一台为备服务器, 当主服务器提供的服务不作用时, 备服务器将接替主服务器工作并重新启动系统, 当主服务器恢复时, 可以采用手动或自动方式切换到主服务器工作。备份服务器不仅能承担主服务器的工作, 同时还可以执行其他应用程序工作。因此, 一台配备充分的主机可同时作为某一服务的主服务器和另一服务的备份服务器使用, 即两台服务器互为备份。企业信息系统可采用双机共享磁盘阵列技术 (建议采用TOYOU的Net Stor9000S系列磁盘阵列柜) , 在RAID5冗余技术基础上, 运行高可靠性软件 (建议采用Veritas阵列服务器管理软件) 构成高可用性数据库双机系统。双机容错软件通过RAID盘、芯跳 (heart beat) 网线对对方运行情况进行监控, 确保服务器的正常运行。
双机热备份系统基本工作机制如下图所示:
网络连接存储设备一般由硬件、软件及存储设备等多个部分构成, 独立封装在一个工控机壳内, 连接到现有的网络上, 作为网络共享盘提供数据和文件服务, 通过网络连接存储管理软件, 存储设备上的数据可以自动进行备份, 而当存储设备出现故障时, 自动进行切换和恢复工作。
存储区域网络则是通过特定的互连方式连接若干存储服务器组成一个单独的数据网络域, 提供更便捷的数据存储服务。该方式易于集成, 并可扩充, 能提高数据的可用性及网络使用的性能。利用存储区域网络, 不仅可以提供更大容量的存储数据, 而且地域上也可分散、缓解大量数据传输对网络速度的要求与影响。
随着信息技术尤其是存储技术的发展, 数据备份技术与设备也在不断进步, 采用虚拟存储技术、数据迁移技术、LAN free技术、I P存储技术的新产品渐渐浮出水面。因此, 设计数据备份系统方案可供选择的产品越来越多。企业应从实际需求出发, 综合考虑系统的性价比, 设计出适合本企业的数据备份方案。此外, 在数据备份方案的硬件系统设计时, 应重点考虑以下性能:一是存储介质的容量;二是存储介质的费用;三是系统的备份速度;四是数据的易保管性;五是硬件的可维护性。
在选择备份系统的管理软件时, 应重点考虑以下几点:一是软件界面的可操作性和易用性;二是软件的备份管理策略;三是软件的可靠性;四是软件对系统性能的影响;五是软件的可扩充性;六是软件的费用和后续技术支持。
四、数据备份的管理策略
在信息安全领域, 核心是人, 其次是管理, 第三是技术。组织者通过制度进行管理, 管理内容则通过技术来实现, 从而达到安全的要求。数据备份也是如此, 有了先进的数据备份系统并不一定就能达到预期的目标, 各企业还应制定详细、明确的数据备份管理策略, 如组织、人员、制度和法规等。制度中应包括以下五项内容:一是建立数据备份岗位责任制, 定编定人;二是人员的培训、教育;三是任务、责任的明确;四是备份数据核查;五是认真记录备份日志。在备份系统运行后, 应严格按照制度进行日常备份, 并记入日志。
五、数据的灾难恢复措施
灾难恢复技术也称业务连续性技术, 是目前在发达国家十分流行的IT技术。它能够为重要的计算机系统提供在断电、火灾等各种意外事故发生, 甚至在如洪水、地震等严重自然灾害发生时, 保持持续运行的能力。企业信息系统是企业正常运行的重要保证, 因此, 对企业计算机系统必须采用灾难恢复技术予以保护。
数据备份的最终目的就是灾难恢复, 一旦系统遭到攻击或因自然因素导致数据的破坏或丢失, 灾难恢复可以最大程度恢复系统, 保证系统的可用性。灾难恢复最重要的是建立异地存储备份中心, 同时, 在制定灾难恢复策略时应考虑以下几个因素:一是保护完整的系统配置文档;二是根据业务需要决定数据异地存储的频率;三是保护关键业务的服务器。
灾难恢复措施在整个数据备份策略中占有相当重要的地位, 因为它关系到系统在经历灾难后能否迅速恢复。灾难恢复措施包括:灾难预防制度和灾难演练制度。
灾难预防制度:为了预防灾难的发生, 需要做灾难恢复备份。企业信息系统在数据实现大集中的节点上, 应采用网络连接存储或存储区域网络备份技术进行灾难恢复备份系统建设, 在紧急情况下, 它会自动恢复系统的重要信息。
灾难演练制度:要保证灾难恢复的可靠性, 只进行备份系统的建设是不够的, 还要进行灾难恢复演练。各企业可以利用淘汰的计算机或多余的存储介质进行灾难模拟, 以熟练灾难恢复的操作过程, 检验在用的存储备份系统运行是否正常和备份的数据是否可靠。
灾难恢复拥有完整的备份方案, 并严格执行制定的备份策略, 当企业信息系统遭遇突如其来的灾难时, 它可以应付自如。
数据存储技术及应用 篇8
指挥信息系统是多功能军事信息系统[1], 目前系统存储应用的体系结构主要有3种模式:直接连接存储 (DAS) 、网络附加存储 (NAS) 和存储局域网 (SAN) , 这3种模式从体系架构逻辑上有明显的区别, 在性能、安全性、扩展性、易用性、整体拥有成本、服务等方面也存在差异[2]。这3种模式在××指挥信息系统中都有应用, 如现在使用的多机集群采用DAS存储模式, IP通信系统采用NAS模式, 而后期高级别××指挥所信息系统建设拟采用SAN模式。
1 DAS存储方式
直接连接存储 (DAS) 方式是指将存储设备与主机系统直接连接, 存储设备的访问使用必须通过所连接主机进行的方式, 使用该方式的存储设备包括内置存储设备和SCSI存储设备 (如常见的SCSI磁盘阵列) 。与存储设备相连的主机成为存储主机, 多采用较高端的服务器, 配置有高主频多核CPU、大缓存、高速QPI总线, 拥有强大的计算能力, 外部用户的数据使用请求经过存储主机处理后, 相关的I/O请求发送到所属存储设备上, 结果也由存储主机返回给用户[3]。DAS存储方式的设备连接如图1。
1.1 DAS存储方式的优点
(1) 存储主机通过总线方式 (PCI, SCSI等) 访问存储设备, 访问速度快, 操作简单。
(2) 内置存储设备在不超过主机支持驱动器数目情况下, 进行本地硬盘的扩充操作简易, 价格较为低廉 (主要就是裸硬盘的价格) , 外置SCSI存储设备在存储主机管理的范围内可以通过堆叠进行容量的扩展。
(3) 可以实现数据块级的访问, 能够较好地应用于数据库服务。
1.2 DAS存储方式的缺点
(1) 不论是内置存储设备还是外置存储设备都受限于存储主机的管理能力, 容量扩展范围有限;
(2) DAS设备的使用管理依赖于存储主机, 对DAS设备的访问必须通过存储主机, 在大规模使用场景中, 存储主机处理能力和可靠性将成为瓶颈;
(3) DAS设备依赖于存储主机本身, 其安全性也依赖于主机, 因此数据的安全性和稳定性不高。
2 NAS和SAN存储方式
NAS与SAN都是在DAS的基础上发展起来的, 是新型数据存储模式中的二个主要发展方向[4]。NAS是在RAID的基础上增加了存储操作系统, 而SAN是使用一个独立的数据存储网络, 网络内部的数据传输率很快, 但操作系统仍停留在服务器端。
NAS与SAN的存储设备具有独立的控制系统, 通过网络与其他主机相连, 使用光纤通道协议 (Fibre channel) 、iSCSI等网络传输协议以及NFS, CIFS等文件管理系统支持应用对其上的数据进行访问[5]。
NAS与SAN存储设备还拥有独立的磁盘阵列 (RAID) 处理器, 在磁盘管理和数据处理方面能力很强, 其海量数据管理能力、磁盘I/O处理能力、磁盘校验容错能力、磁盘扩展能力更为突出, 可以满足数台、甚至数十台服务器的存储响应要求。NAS存储方式的设备连接如图2。SAN存储方式的设备连接如图3。
NAS和SAN都属于网络存储模式, 区别是NAS有自己的文件管理系统, 其关注应用、用户和文件以及他们所共享的数据;SAN则更侧重底层磁盘、磁带以及联接他们可靠的基础结构。在从平台系统向网络化系统转型的过程中, 集中数据管理和存储设备管理, 共享存储能力和数据的全面解决方案将是NAS和SAN。
2.1 NAS和SAN方式的优点
(1) 可以实现跨平台和跨网络的存储容量共享和数据共享, 支持多种操作系统和服务器主机的并发使用;
(2) 强大的扩展能力, 支持TB级到PB级的数据存储管理, 只要与网络联接即可实现不停机的容量扩展, 连入的存储设备数量理论上等于网络地址数量, 不受特定的主机或操作系统限制;
(3) 支持文件系统和数据块访问模式, 支持大多数操作系统, 具备完善的管理维护工具, 应用共享方式灵活多样;
(4) 网络存储设备具备专属的管理处理器, 控制器, 可以独立工作, 同时特别针对数据处理进行了专门优化设计, 其数据处理能力非常强大;
(5) 网络存储设备独立于应用服务器之外, 其安全性和稳定性与服务器无关, 有专门ASIC电路设计, 因此稳定性和安全性高于服务器本身。
2.2 NAS和SAN方式的缺点
1) 网络存储设备不仅硬件设备比DAS存储设备更加复杂, 并且还部署专门的管理软件和控制软件, 因此价格较为昂贵;
2) 使用NAS和SAN方式存储访问数据的速度主要受限于网络带宽, 目前与DAS总线速度比较仍有差距, 但随着网络技术飞速发展, 两者差异将逐渐缩小。
3 应用比较
3.1 数据库应用
××指挥信息系统体系架构经历了从主备系统体制向多机集群系统体制演化的过程, 数据库集群架构也从基于磁盘阵列的热备结构转化到现在的多机集群结构。目前在××指挥信息系统中主要有2种数据库集群架构方式。
3.1.1 多机集群
在多机集群环境中, 每台服务器作为集群中1个节点具备完整的计算设备和存储设备, 系统使用专用中间件技术和商用数据库复制技术来实现节点间数据一致性, 通过保存冗余信息和使用异步复制技术实现节点间数据全镜像, 满足系统对负载均衡和数据使用要求。从原先采用SCSI磁盘阵列到目前使用多节点集群, 其存储方式都是数据直接存储方式 (DAS) 。
该方式的优点:
(1) 每个节点上单独安装ORACLE数据库实例, 安装配置较简单;
(2) 使用多机集群能够实现一定程度上的数据访问负载平衡。
该方式的缺点:
(1) 影响服务器主机资源。存储与操作系统和应用程序共用1套存储设备, 存在资源争用情况;节点间数据同步复制等操作需要占用额外开销, 对系统运行有一定影响。
(2) 安全性差。数据与应用同处1个物理平台, 只能使用逻辑手段进行安全性管理, 相对物理方式的安全手段而言可靠性较差。
(3) 数据同步有一定延迟。集群中每台服务器均有自己数据库实例, 服务器间数据的一致性依赖于专用数据中间件和数据复制软件, 采用这些异步复制技术, 在数据同步时会有一定延迟, 并会影响应用对数据一致性的要求。
(4) 不能完全满足网络化作战数据的使用要求。随着指挥信息系统网络化的发展, 无论在信息存储方式、信息存储数量还是信息访问要求上都发生了巨大变化。信息处理和存储向着分布式、异地化方向发展, 网络上用户对信息数据访问的透明性要求越来越高, 这种本地存储方式越发显得力不从心。
3.1.2 数据库集群+网络存储设备
另一种框架是目前正在测试使用的数据库集群加网络存储设备方式, 由Oracle RAC集群和网络存储设备组成, 网络存储设备和服务器都连接入网, 服务器通过iSCSI协议对存储设备上的存储空间进行共享使用。
该方式的优点:
(1) 数据一致性高:RAC是单一数据库、多实例的架构, 所有实例共享一套数据文件, 数据文件、联机日志、控制文件、参数文件都存储在网络存储上, 数据库集群中的每个节点均能访问该存储空间, 所以不存在由于同步延迟造成的数据不一致性。
(2) 扩展性强、容灾能力强。通过设备堆叠等方式可以方便扩展存储容量, 经过简单配置后便可以提供给各个节点访问;网络存储与使用的服务器节点可以部署在不同物理位置, 当其中1个或多个节点损毁时, 不会影响其他节点使用, 也不会影响异地网络存储设备运行, 从而保证关键数据的安全。因此, 网络存储由于其海量存储能力和较强容灾能力, 能够满足网络化环境要求。
该方式缺点:
(1) 造价较高。相对于简单添加本地硬盘方式, 网络存储设备还包含其他软件和硬件, 不仅仅是硬盘堆叠, 所以价格较贵。
(2) 访问数据的效率受网络带宽影响。虽然其本地访问速度较快, 但是服务器访问速度仍需取决于网络存储设备访问控制器, 即采用的是光纤网还是以太网与服务器连接。
(3) 集群环境部署比较复杂。部署RAC环境至少需要操作系统、集群件、集群文件系统和数据库4个软件, 相比多机集群环境只需要安装操作系统和数据库的方式复杂很多, 因此系统运行环境也比较复杂, 管理和调优的级别也较高, 也是RAC技术方面最核心、最有价值的部分。
3.2 三维图形数据应用
目前××指挥信息系统三维图形软件对地理空间数据采用3种解决方案:本机存储模式、PC服务器模式、集群服务器模式, 他们分别适用于不同场合。总体而言, 前2种模式都属于DAS方式, 第3种模式为SAN方式。
3.2.1 本机席位存储模式
本机存储模式采用在运行三维图形软件的客户机上, 直接以数据目录文件的形式存储三维地理空间数据, 三维图形软件在运行时直接读取席位本地的数据文件, 创建三维地理场景。该方式中的存储设备是DAS方式中使用内置存储设备的模式, 其特点为:
(1) 模式简单, 易于使用, 不需额外数据服务器支持;
(2) 三维地理空间数据安装和更新较为复杂, 需要通过目录文件形式将所有数据复制到系统每1台席位上, 数据可管理能力较低;
(3) 由于席位端硬件条件和系统资源限制, 可以安装存储海量地理空间数据受到局限, 一般仅用于局部地理区域三维场景展现, 难以存储和管理TB级大范围海量地理空间数据;
(4) 可靠性低, 大部分硬件设备没有冗余设计, 服务器需要配置RAID卡才能实现有限数量RAID功能。
3.2.2 PC服务器模式
PC服务器模式是一种轻量级三维地理空间数据网络服务模式, 该模式通过在系统内增加1台高性能PC服务器, 并配备具备较大存储能力的硬盘空间 (如磁盘阵列) , 以满足指挥信息系统三维图形软件对海量地理空间数据储存访问和管理维护需求。席位终端直接向PC服务请求数据服务。对PC服务器本身而言也属于DAS模式, PC服务器存储模式系统结构如图4。其特点为:
(1) 系统存储容量较大, 具有一定海量地理空间数据管理维护能力;
(2) 易于构建, 适用面广, 便于小型系统建设;
(3) 存储空间扩展能力不如网络存储系统。
3.2.3 集群服务器模式
基于××指挥信息系统的UNIX集群服务器 (安装数据库集群软件) 、网络存储系统的网络服务模式, 能够通过多台集群服务器对系统内各席位提供三维地理空间数据的访问服务。席位终端通过网络向集群服务器请求数据服务, 集群服务器调用网络存储中三维数据, 该模式为SAN存储方式, 集群服务器存储方式系统结构如图5。其特点是:
(1) 系统存储容量大, 且存储容量易于扩展, 具备TB级海量地理空间数据管理维护能力, 性能较高;
(2) 服务器的集群工作模式, 系统运行可靠性较高;
(3) 系统较为复杂, 对软硬件配置有一定要求, 价格较为昂贵。
4 结束语
网络存储实现了数据存储共享性、管理性和扩展性, 但各种存储技术本身都存在着一些问题。SAN是目前人们公认的最具有发展潜力的存储技术方案, 而未来SAN的发展趋势将是开放、智能与集成[6]。NAS是目前增长最快的1种存储技术, 然而就二者的发展趋势而言, 在应用层面上SAN和NAS将实现充分融合。NAS和SAN技术已经成为当今数据备份主流技术, 关键在于如何在此基础上开发完善全方位、多层次的数据备份系统, 在分布式网络环境下, 通过专业数据存储管理软件, 结合相应硬件和存储设备, 对全网络数据备份进行集中管理, 从而实现自动化的备份、文件归档、数据分级存储以及灾难恢复等功能。
参考文献
[1]罗强一.军事信息系统集成的核心是数据集成[C]//第十一届C3I系统与理论学术年会论文集.北京:电子工业出版社, 2004:14-18.
[2]鲁丰玲, 李朝永.浅析网络存储技术[J].科技信息, 2009 (26) :221.
[3]冯丹.网络存储关键技术的研究及进展[J].移动通信, 2009 (11) :35-39.
[4]蔡皖东.基于SAN的高可用性网络存储解决方案[J].小型微型计算机系统, 2001 (3) :22.
[5]张建中, 陈松乔.一种基于SAN架构的存储网络系统的设计与实现[J].中南大学学报:自然科学版, 2008 (2) :39.
数据存储技术及应用 篇9
随着社会各个领域信息化进程日益加速, 领域内的业务数据也在不间断地更新完善, 且趋于庞大。不论是信息的分级存储, 还是备份, 都必然要面临数据安全迁移的问题。新闻数据库, 主要指的是存在于新闻单位采编系统中的新闻资料中心库。新闻数据库的数据依存方式以文本、压缩及未压缩的音视频为主, 附以记录的属性, 条目的关联。新闻数据库不同于其他领域的数据库, 有明显的时效性和史料性, 因此迫切需要数据迁移技术的支撑, 做到有效存储和安全备份。
本文结合新闻数据库的特点阐述了数据迁移技术在密集数据的分级存储与备份中的具体应用。
2、新闻数据库数据迁移技术概述
在新闻数据库系统运行管理的过程中, 在预算数据库单位时间数据存储增长量的同时还要考虑到存储的可扩展性和可用性。数据迁移分级存储管理技术正是在这样情况下应运而生的。分级存储管理技术的发展大致经历了两个阶段, 第一个阶段采用最传统人工手动方法进行数据的迁移和调度, 第二个阶段则是智能化的分级存储管理技术。对于用户来说, 数据迁移操作是完全透明的。另外, 在数据库备份过程中, 数据迁移技术的使用也非常广泛, 虽然分级存储与数据备份目的不尽相同, 但两者应用迁移技术的需求基本一致。
分级存储与备份技术在经历了一定的发展之后, 进入了目前的智能分级存储管理阶段。这种智能分级存储管理技术是实现信息系统大容量存储数据的方法之一。它将高速、高容量的非在线存储设备作为硬盘或阵列的下一级设备, 然后将硬盘或阵列中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时, 分级存储系统会自动将这些数据从后级存储设备调回到硬盘上。利用数据迁移技术实现了在线存储和非在线存储的融合, 用户会明显感觉其整个系统的存储性能大大提高。新闻数据库系统数据应用分级存储与备份技术能在有限的存储资源下满足海量的数据存储需求, 同时也使得系统整体容灾能力得以有效提高。
基于新闻数据库的特点, 数据迁移有很多种不同的方法与策略, 迁移时机和所处环境的多样性, 就需要以不同的方法与策略像应对。通常, 数据迁移主要有“通过工具迁移”、“手工录入迁移”、“自动衍生生成”等方法。实际上, 数据迁移策略的选择, 是数据迁移方法在时间、空间上的有效分布。当然, 随着数据库技术的发展, 随着新闻数据智能化的提升, 应用更智能化的数据迁移技术才能保证数据真正意义上的智能迁移存储与备份, 实现安全有效迁移。
3、新闻数据库数据分级存储与备份中数据迁移的实现
新闻数据库数据分级与备份中数据迁移的实现, 需要结合数据库的类型与新闻数据库的特点进行部署, 使用通用的数据迁移工具和自主策略规划相结合。通常新闻数据库服务分级存储和数据备份的数据迁移系统包括三个部分:负责整个存储网络中数据迁移的“迁移服务器”, 负责数据存储的“分级存储系统”以及数据迁移“客户端”。当然, “迁移服务器”可以针对分级存储或数据备份单独设立, 也可“一机多用”。另外需要明确的是, 分级存储的部分功能实际上就是一种备份, 因此存在逻辑上的单独的存储空间用以备份数据。
“迁移服务器”可以是新闻数据库的主服务器, 备份服务器, 甚至是网络工作站, 但为了保证数据迁移的健壮及完整性, 大多选择冗余设备作为数据迁移服务器。“迁移服务器”主要担当整个存储网络中的数据管理员身份, 当数据达到迁移策略触发阈值时, 此服务器便将数据从一级存储设备向下一级存储设备复制, 并且释放出一级存储设备中的存储空间。同时, 此服务器管理所有数据迁移策略的制定, 即确定哪些新闻数据是当前需要处理重要的数据, 哪些则属于近期低访问频次数据, 从而确立数据的存储指标。此外, 数据迁移服务器还负责磁带库等存储设备的驱动和管理, 甚至是异地存储设备的联动管理和规划。
“分级存储系统”包括了在线存储系统、离线存储系统和近线存储系统。在线存储是工作级的存储, 存储设备和所存储的数据时刻保持“在线”状态, 即是可随意读取和修改的, 可满足新闻应用平台对数据访问的速度要求;离线存储主要是用于对在线存储的数据进行备份, 以防范可能发生的数据灾难, 因此被认为是备份级的存储;近线存储, 就是指将那些并不是经常用到, 或者说数据的访问量并不大的数据存放在性能较低的存储设备上。需要特别注意的是, 新闻数据“存储系统”的规划要从实际出发, 根据新闻数据库的特点进行有效设置。比如, 实时的新闻数据源显然需要在线存储;而一般的常识性资料或待编素材可使用近线存储;历史新闻数据则可使用离线存储系统。当然, 任何数据存储方式的选择, 或者是迁移策略都要因地制宜。
“客户端”其实就是在新闻数据库系统中的计算机终端。而这台计算机上有许多数据需要通过“数据迁移服务器”来完成数据的迁移, 使得数据从其本地磁盘转送到数据迁移服务器上, 并释放其本地磁盘空间。目前国内的新闻数据库系统多受控于域网络主服务器, 多数客户计算机不参与数据的存储与管理。当然对于某些特殊的新闻音视频数据库系统, 对客户端的存储需求较高, 也需要把客户端纳入迁移存储管理中。而“客户端”的存在, 既是一般迁移系统的固定数据源, 也是部分新闻信息系统的需求。其实从存储逻辑上来看, “客户端”可以被认为是“分级存储系统”的一级, 由此, 也可以说数据迁移系统可以由“迁移服务器”和“分级存储系统”两部分组成。
实际进行分级存储操作时, 我们需要从多种数据迁移策略作出选择, 如最近访问时间、访问密集程度、外储设备容量与硬盘容量的比例等。在满足条件的前提下, 系统会在策略驱动下自动进行数据迁移操作, 一旦系统接收到对被迁移数据的请求, 它会从最快捷的途径进行检索, 以透明的方式转存或者说是恢复该数据文件。而在新闻数据库备份任务触发时, 更多是依靠“数据迁移服务器”确立数据备份的级别与频度, 再选择合适的备份存储策略。一般要求建立数据迁移备份日志目录, 多级备份重要的数据资源, 并同时确立数据恢复机制, 保证数据备份的完整性和可恢复性。遇有特殊需求, 还要进行异地远程存储设备的激活, 并进行异地远程备份。
4、新闻数据库数据数据迁移的特点及技术发展趋势
新闻数据库数据分级存储与备份中数据迁移, 对于数据管理者来说, 是一项严谨而复杂的工作, 但对于数据用户而言是却是完全透明的。数据分级存储与备份中的数据迁移, 显然是在数据库日常运行时的多层次转移, 其转移是双向的, 是重复性的一次转移, 不仅是时间上的重复, 也是空间上的重复, 这与一般系统升级中的数据迁移是有着本质区别的。
目前, 数据迁移技术在新闻采编系统中及针对新闻数据库的应用还非常不成熟。现阶段仅能以普遍数据迁移理论作指导, 进行个性化迁移技术的实践, 这种情况相信会随着时间的推移而改变。成功的数据迁移能够有效地保障新系统的顺利运行, 能够继承珍贵的历史数据, 能够加强系统的稳定性, 能够提高系统的运行效率, 这些对于新闻数据而言是相当重要的。
研究数据迁移技术在新闻数据库系统中的应用, 必将加快社会信息化进程。特别是随着数据迁移存储新技术的不断涌现, 新闻智能技术的不断发展, 全智能化的数据迁移技术将带动数据库技术向更高阶段发展。另外, 自动归档技术、虚拟数据迁移技术以及免网络迁移备份技术等新迁移技术的出现, 给数据迁移技术的发展带来了无限生机。
摘要：数据迁移技术不断发展, 为新闻数据库关键数据信息的分级存储与备份提供了技术上的保障, 并使得系统整体容灾能力得以提高。
关键词：数据迁移,新闻数据库,分级存储
参考文献
[1]萨师煊, 王珊.数据库系统概论 (第三版) [M].高等教育出版社.2002.
[2]倪永军, 谢长生.网络存储技术现状、存在的问题及对策研究[J].计算机工程与应用.2003, 39 (10) :159-162
[3]张江陵, 冯丹.海量信息存储[M].北京:科学出版社.2003.
[4]Marc F.SAN存储区域网络[M].第2版.孙功星, 蒋文报等译.北京:机械工业出版社.2002.
[5]杨玉敏, 王宏艳.线性数据库系统数据迁移的实现[J].河北广播电视大学学报.2006, 11 (3) :20-22
数据存储技术及应用 篇10
高清存储技术无论是在数据的传输还是存储上都是原有标清信号数据量的五倍以上,因为图像的分辨率提高了,所以对于图像的质量也有了更高的要求,如果存储技术不够完善,那么图像中的缺陷,例如聚焦不实、图像色温的差异,都会明显暴露出来。
1 各电台在原有数据存储上存在的问题
1.1 节目重复上载,使工作量增加了
由于服务器所能存储的容量是有一定的限制的,所以电台对于节目的重复播出就要重复地上载节目,这种方式加大了工作人员的工作量,而且循环的上载节目会对数据材料进行重复的压缩和解码,导致其中节目的质量大大降低。
1.2 对于节目素材的使用效率比较低下
一些电视频道会把一些相同的节目素材进行重复的播放,但是这些不同的电视频道没有实现素材的共享,而且在节目的播出中广告的重复频率也是非常高的,所以上载到服务器中的节目素材会占用很大一部分的服务器存储空间。
1.3 管理不方便,不利于节目素材的安全播出
每个频道都需要很多个视频服务器,但是所有重复的电视素材只能放置在同一个存储空间中,这种情况对于电视素材的管理就非常不方便,而对于存储空间来说,服务器内长期的保存着重复使用的素材,使电视节目的播出安全性受到了很大的威胁。
1.4 服务器的存储容量扩容需要很多的资金投资
想要把传统的存储问题解决,就要对服务器的存储空间进行扩容,而对于电台节目的服务器来讲,扩容需要很多的资金,这就增加了电视台的节目素材存储成本。
2 网络系统数据存储技术
网络系统数据存储技术是指把网络和存储有机结合在一起,利用网络来建立存储服务器之间的连接,实现节目数据可以通过网络传播的目的,现在的网络系统数据存储可以形成一个独立的系统,不需要其他的附加设备来辅助,让很多的企业都能够保留珍贵的数据资源,所以网络系统数据的存储技术应用好处是不言而喻的。
2.1 直连式DAS存储技术
以前使用的直连式DAS存储技术通过SCSI接口与磁盘相连接,各个端口不能实现共享,所以使用者在对数据进行访问时,会在服务器之间进行很多次转发,并且每次转发都要申请服务器的参与,所以这样的模式在进行大量数据的转发时,会造成非常大的资金浪费,并且使文件对服务器系统产生阻碍,限制系统的扩容。
2.2 网络附加NAS存储技术
NAS是由存储系统和文件服务器共同构成的,它是以网络文件的形式对数据资源进行网络备份,传输方式是进行数据的传输,而且在对外提供文件访问上是自身的文件系统,可以实现不同操作系统之间的文件共享。
NAS的优点:即插即用,它是利用TCP网络来连接的,所以适用已存在的网络。操作系统专用,但是文件可以对其他操作系统实现共享。文件的访问有专门的网络协议进行优化,提高了访问的速度。
NAS的缺点:NAS设备与企业服务器两者公用一条宽带会影响NAS使用效率。而且NAS不能进行扩展,有自己专用的网络标识。
2.3 存储区域网SAN
利用SCSI协议可以让SAN服务器与很多个存储设备之间建立信道。实现多个终端同时访问存储设备的可能。SAN由主机、磁盘阵列和互连设备共同组成。
在对有现有的网络构架进行了分析之后,对每种构架的优缺点进行了总结,通过两者的比较可以得出一个统一存储的构架,就是集成式的网络附加数据存储技术,它可以实现终端对数据的访问,也能够实现数据之间的共享,成了现在最佳的一种网络系统数据存储技术。
3 结语
现在的高清节目存储系统中,最重要的一点就是数据保存的安全性,不管发生了什么事情,都要保证节目素材仍然可以正常使用,NAS的网络系统数据存储技术就实现了这种可能,它采用的一种类似镜像技术的存储技术,把相同的数据同时备份在两个不同的存储器中,使面临突发情况时,仍然可以保证数据的正常使用。
摘要：本文对高清节目的制成进行了研究,介绍了高清节目网络系统的构成,分析了高清节目整体存储框架的搭建、存储服务器的设计和选择、存储技术、数据编码、传输方式等方面的内容。从节目的运行和维护角度出发,设计合理的储存构造,利用专业的存储技术对高清节目制作网络系统数据进行存储。
关键词：高清节目制作,数据存储,技术应用
参考文献
[1]杨枫,陈鸿.高清节目制作网络系统数据存储技术应用研究[J].广播与电视技术,2010,(12):49-51.
[2]陈鸿.高清节目制作非编网的数据传输及存储技术研究[D].哈尔滨:哈尔滨工程大学,2011.
数据存储技术及应用 篇11
【关键词】分级存储；地震资料处理；并行存储；数据备份
一、建设地震资料处理数据分级存储系统的必要性
随着勘探难度增加和技术的发展，野外三维高精度采集的数据量大规模的增长，加之地震资料处理新技术、新方法的应用，地震资料处理对存储系统的存储容量和存储性能有了更高的需求，目前河南油田地震资料处理的存储系统在性能和容量上还有待提高，但是存储系统的设计要考虑容量、速度和成本三个问题。容量是存储系统的基础，都希望配置尽可能大的存储系统；同时要求存储系统的读写速度能与处理器的速度相匹配；成本也应该在一个合适的范围之内。但这三个目标不可能同时达到最优。一般情况下，存储设备读写速度越快，平均单位容量的价格越高，存储容量越小；反之，存储设备读写速度越慢，平均单位容量的价格越低，存储容量越大。
分析地震资料处理的数据流特点，我们发现：
1、在进行叠前时间偏移、深度偏移、逆时偏移等并行作业处理时，数据流表现为高并发IO和大聚合带宽，需要高性能存储系统的支撑。
2、在常规处理中的数据流相对平稳，IO吞吐量相对小，对带宽和存储的性能要求相对较低。
3、需要备份的原始数据及成果数据，需要一定数量安全级别较高的存储系统进行数据备份。
为了在容量、速度和成本这三者之间取得平衡，需要根据其地震资料处理数据的特点，采用分级存储为不同的应用提供不同性能的服务，建成高效实用的并行存储环境。
二、分级存储方案设计
（一）体系架构
地震资料处理数据分级存储系统采用开放式的存储体系架构，基于分布式的Glusterfs并行文件系统，将多台存储设备的存储容量虚拟成一个具有统一访问接口的存储空间。按照一定的负载均衡策略存储用户的数据，将数据条带化的存储到多台物理存储设备上，从而获得更高的并发数据访问性能，同时可以制定存储策略进行数据分级存储，对所有的存储设备可以实现统一的管理和监控。
分级存储系统包含管理控制器、索引控制器、数据控制器和应用服务客户端四类组件：
管理控制器：安装并行存储管理软件，提供统一的控制管理界面，实现存储系统的集中化部署、管理、监控和维护。
索引控制器：内嵌高性能数据索引引擎，管理存储系统的所有索引数据和命名空间，实现全局统一命名空间，实现数据索引的负载均衡和故障冗余。
数据控制器：提供数据存储空间，并实现数据存取的动作。
应用服务客户端：向上层应用提供数据访问接口。
（二）配置方案
整个存储系统包括2台管理控制器、2台索引控制器、22个数据控制器，总容量1197TB。分为三级存储结构：
一部分为高速存储，高速为主要特点，由容量较小、价格较贵而性能较高的SSD固态硬盘构成，为实时提供高性能的数据IO能力；
一部分为在线存储，采用容量较大、价格较便宜而读写速度较慢的SAS硬盘构成，支持一般性数据读写；
一部分为备份存储，采用容量大，价格低廉，读写速度慢的SATA硬盘，创建高安全备份卷，存储我们的原始、阶段性数据、成果数据和磁带库数据备份。
三、关键技术
（一）虚拟化管理平台Ovirt
oVirt是一个基于x86架构上的KVM虚拟化技术的开源云服务平台。它在架构设计上由ovirt-engine和ovirt-node两部分组成，这种Node/Engine分离的结构，方便功能的划分与管理。
Engine是系统的管理者，并对外提供管理服务，它挂载了自己的数据库，记录系统中虚拟机的配置，各个存储节点的状态信息，网络状态等。通过在Engine中的设置实现系统的管理逻辑，状态及策略控制。本存储系统通过在管理控制器上安装ovirt-engine来实现管理功能。
Node只负责功能上的实现，不进行状态的记录和策略的实现。oVirt里的Node可以由一个普通的Linux上安装VDSM（Virtual Desktop Server Manager）构成，也可以由一个专为oVirt定制的Linux系统构成。本存储系统采用安装VDSM的方法配置数据控制器作为node节点，实现网络、存储器、虚拟机的创建与修改。VDSM的功能包括组织数据，实现存储集群的数据共享与数据保护，故障恢复。
（二）GlusterFS集群文件系统
GlusterFS是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS通过TCP/IP或者InfiniBand网络将多个物理存储资源汇聚在一起，使用全局统一命名空间来管理数据。GlusterFS可为各种不同的数据负载提供优异的性能。
GlusterFS文件系统支持标准的网络访问协议，用户可以使用NFS/CIFS等标准协议访问数据。GlusterFS使得用户摆脱原有的独立、高成本的封闭存储系统，利用普通廉价的存储设备也可以部署可拥有集中管理、横向扩展、虚拟化的存储系统。
四、生产应用
地震资料分级存储系统采用的Glusterfs文件系统，支持五种逻辑卷，即Distribute卷（分布式卷）、Stripe卷（条带卷）、Replica卷（镜像卷）、Distribute stripe卷（分布式条带卷）和Distribute replica卷（分布式镜像卷）。分级存储系统搭建完成后，根据地震资料处理需要创建逻辑卷，创建分布式条带卷来满足并行处理作业时高并发IO和大聚合带宽数据流对高性能存储的需要。创建分布式镜像卷作为备份存储卷来存储地震资料原始数据和成果数据，满足数据高安全性的需要。投入生产运行后，多个处理项目使用了该套存储系统进行生产，在项目结束后成果数据直接转移至备份存储卷，回收存储空间。
五、结束语
根据河南油田地震资料处理的数据特点，采用分级存储系统满足地震资料处理中不同应用对存储性能的不同需求，在存储容量、存储速度和成本之间取得了平衡，建成了高效实用的分级存储环境。分级存储系统在存储性能、功能上满足了生产项目的需要，取得了良好的应用效果。
参考文献：
[1]杨传辉 大规模分布式存储系统：原理解析与架构实战 机械工业出版社 2013
[2]G.Somasundaram Alok Shrivastava 信息存储与管理 人民邮电出版社 2013
数据存储技术及应用 篇12
关键词：云计算,海量数据,存储,应用
1 云数据存储、管理数据特点分析
相比于传统的数据存储与管理模式。云数据的存储与管理具有自身的特点, 具体表现在三个方面:海量性、异构性以及非确定性。下面就这三个方面的特点进行简要的阐述。
1.1 海量性
随着经济的发展以及科技的进步, 网络技术正在以一个惊人的速度发展着, 网络技术的用户数量也日益增多, 在这种情况之下, 网络中就会产生越来越多的数据, 而云计算就是在这一环境之下被提出, 其存储与管理具有海量性的特点, 云计算之中的数据量是传统存储模式无法比拟的。
1.2 异构性
在云计算技术之下, 存在着种类较多的应用, 而在这些应用当中所采用的设备、手电以及方式等也都存在着较大程度上的差异。就以传感器为例, 其种类繁多, 主要包括有二氧化碳浓度传感器、温度传感器以及湿度传感器等, 这些传感器在主要功能方面也都表现出了自身的特点。因此。在云计算之中, 数据的存储与管理具有一定的异构性。
1.3 非确定性
云计算之中数据的不确定性表现在多个方面, 主要有数据本身的不确定性、语义匹配的不确定性等, 因此为了对信息进行准确而有效的获取, 就必须去粗取精, 只有这样, 用户才能得到最优质的服务与体验。
2 供电公司海量数据的存储模式
2.1 Map Reduce模式
在云计算之中, Map Reduce模式具有十分重要的地位与作用, 因为它是一种核心的计算模式, 同时它又是一种分布式的运算技术。对于Map Reduce模式而言, 其运行机理如下:对所需要执行的问题进行一定程度上的自动分割, 并在此基础之上将其分解成为Map (映射) 以及Reduce (化简) 的方式。当相关的数据被分割完成之后, 通过对Map函数的程序进行一定程度上的运用, 并由此对数据进行一定程度的映射处理, 在映射之后原来的数据就会成为多个区块。然后再对映射之后所划分的区块进行一定程度上的分配。通过这一系列的操作, 就可以有效达到分布式运算的效果。然后, 再通过对Reduce函数程序的运用对结果进行一定程度上的汇整, 最终输出开发者所需要的结果。
2.2 基于云计算的海量数据存储模型
通过对数据的海量性进行一定程度的参考, 并在此基础上结合了云计算技术, 提出了一种基于云计算的海量数据存储模型。模型见图1。
在图1中, 我们可以将主服务控制机群看作为一个相对独立的控制器部分, 其主要作用是对应用请求进行一定程度上的接受, 并在此基础之上结合具体的需求类型进行有效的应答;除此之外, 存储节点机群也是这一系统之中的重要组成部分, 它就相当于是一个存储器, 但是其中包含了庞大的磁盘列阵系统以及存储能力十分强的机群系统, 通过对这两个系统的结合与运用, 能够对处理数据资源的存取进行有效的实现。
3 电力系统建设国网“SG186”工程海量数据的处理
电力系统中的“SG186工程”主要是由信息网络、数据交换、数据中心、应用集成以及企业门户这五大部分构成的, 这个工程在电力系统建设中能够实现各个环节的数据共享, 还能建立企业的数据字典。电力系统中的数据采集主要包括发电、输电、变电、配电、用电、通信、公共设施等相关的空间数据以及它们自身的属性数据。电力系统数据整理的内容可以经过电网GIS平台的数据导入工具, 进行批量的数据导入, 或者也可以严格按照电网GIS平台典型设计中的数据模型要求进行一些电力数据信息的导入输入等, 比如相关的属性数据、空间数据以及拓扑连接关系数据等内容的输入, 输入之后便于在电力系统数据平台中进行数据挖掘等。
参考文献
[1]李乔, 郑啸.云计算研究现状综述[J].计算机科学, 2011 (4)