存储架构（共9篇）
存储架构 篇1
数字档案馆的快速发展, 使得对档案资源的管理和访问需求越来越大, 因此也对数字档案馆的存储建设提出了更高的要求[1]110。如何满足这些实际需求, 选择最优的存储介质以及相应解决方案, 更好地建设数字档案馆, 是一个重要的研究课题[2]29。本文基于存储介质的不同特性以及数字档案馆存储建设中的实际需求, 将数字档案馆存储架构划分为三级[3]59, 分别为高速在线存储层、海量离线存储层以及交换存储层, 并对每一层可选择的存储介质进行对比, 以便于我国各类数字档案馆结合自身建设实践选用。
一、我国数字档案馆的存储需求及指标
目前市场上主流的存储产品形式多样, 各有优缺点[4]20。如何根据数字档案馆存储建设中的实际需求选择合适的存储介质, 需要对存储成本、存取速率、可靠性以及存储寿命等多个指标综合考虑评价, 具体包括:
1. 存取速率。
存取速率是数字档案馆建设中一个极为重要的指标。数字档案馆要向公众提供基于网络的数字访问接口, 将要面对海量用户的访问请求, 存储设备的存取速率非常关键。目前的主流存储介质中, 固态硬盘 (Solid Storage Device, 以下简称SSD) 和动态随机访问存储器 (Dynamic Random Access Memory, 以下简称DRAM) 拥有最高的存取速率, 平均超过500MB/s, 随后是机械硬盘、光盘等, 磁带的存取速率较慢, 且操作过程中包含大量人工, 较为复杂烦琐。
2. 存储成本。
存储成本包含两个方面:一是存储介质本身的成本, 二是采用该存储介质前期所需要投资的设备成本。例如选择磁带作为存储介质, 则还需要购买磁带机设备等。另外, 存储成本还包括每GB的存储价格, 即存储介质价格除以存储容量。在更长时期, 大存储容量的场景下, 选择相对廉价的存储介质, 有助于减少成本开支。目前主流的存储产品中, 使用磁带库可以获得最高的存储性价比, 因而成为了大多数数字档案馆数据仓库的选择。
3. 存储寿命。
纵观存储介质的发展历史, 越是先进、高速的存储设备, 其存储寿命就越短暂。存储寿命短暂, 就意味着需要频繁地将所有档案数据信息重新备份, 带来极大的开销和烦琐的操作。目前主流的存储产品中, 在不经常访问的情况下, 磁带的存储寿命较长, 大约可以保存三十年以上。而机械硬盘和光盘通常的寿命只有两到三年, SSD存储寿命较长, 然而存在写入次数的限制, DRAM断电即丢失数据, 无法用于保存数据。
4. 存储能耗。
在数字档案馆实际建成运行后, 存储介质的能耗也是成本开支的一个重要方面。为了体现节能、节约的特点, 应尽量选择低能耗的存储介质, 以降低整个系统的运行开支。使用DRAM会给系统带来较高的运行时能耗, 其次是机械硬盘, SSD相较于机械硬盘能耗相对较低, 最低的是光盘和磁带。
5. 存储安全。
在档案信息的存储过程中, 几乎不可避免地会碰到各种黑客、病毒的攻击以及各种自然灾害。除了给所有的档案做好备份以外, 存储介质本身的安全性能, 例如是否可靠、防篡改、抗破坏是极为重要的。在目前主流的存储介质中, DRAM可靠性最差, 断电即丢失所有数据;机械硬盘由于其复杂的机械结构, 其抗震性能较差, 也容易丢失数据;SSD相较于机械硬盘可靠性较好, 不容易出现数据丢失, 然而其写入次数有一定的限制;磁带、光盘等可靠性均相对较好, 数据不易被篡改, 不易丢失。
二、数字档案馆的三级存储结构
为了实现上述各项需求, 本文提出三级存储架构的解决方案。数字档案馆存储系统可以划分为三个层次, 分别为高速在线存储层、海量离线存储层以及交换存储层, 每个层次侧重实现不同的功能, 分别介绍如下。
1. 高速在线存储层。
高速在线存储层存储所有用户最经常访问以及最新的档案信息。这一层需要直接对用户的请求作出响应, 因此对存储介质的存储速度提出了很高的要求。传统的机械磁盘, 虽然价格较低, 但是其机械构造的特性导致机械磁盘难以满足海量的高并发随机访问请求。并且随着多核处理技术的迅猛发展, 处理器的性能与磁盘输入输出性能之间的差距越来越大, 磁盘的读写性能成为了整个系统性能的瓶颈。因此, 这一层必须选择具有高存储性能的存储介质。目前主流的存储介质中, SSD和DRAM作为存取性能最高的存储介质, 价格不断下降, 成为数字档案馆的最优选择。因此, 笔者推荐使用SSD和DRAM两种存储介质作为我国数字档案馆建设优先选用的高速在线存储层解决方案。
在SSD应用实践中, 国际学者Polte[5]1采用IOZone对新上市的5款SSD产品进行了性能测试, 结果证明:对于多并发的随机读写, SSD读写速率分别为普通机械磁盘的200倍和135倍。结合价格参数, Polte进一步分析了磁盘和SSD的性能价格比, 结果显示在随机读写的条件下, SSD的性价比大约是磁盘的10倍左右。加利福尼亚大学的一个研究组使用SSD存储器来搭建高速、低能耗的集群Gordon[6]92, 研究结果显示Gordon的性能是基于磁盘的集群技术 (RAID) 的1.5倍, 而功耗只有RAID的40%左右。
虽然目前SSD还存在着价格较高、容量较小以及写入次数有限等缺点, DRAM则存在着耗电量较高、价格较为昂贵、断电后数据丢失等问题, 但是SSD和DRAM仍是目前阶段下搭建数字档案馆高速在线存储层的最佳选择。
2. 海量离线存储层。
海量离线存储层存储数字档案馆所有档案资源和其备份。这一层由于要存储海量数据, 因此, 对存储介质的容量, 存储成本以及存储寿命要求较高。目前主流的存储介质中, 磁带容量大、单位存储信息成本低、存储寿命长、可靠性强, 最适合用于海量离线存储层的实现。在超大容量存储介质中, 磁带是性价比最高、最为安全可靠易用的存储方式之一。目前最先进的是磁带技术是线性开放式磁带技术 (LinearTape-Open Technology, 以下简称LTO) , 该技术由IBM、HP、Seagate三大存储设备制造公司共同支持, 可以将磁带的容量提高到100GB, 如果经过压缩可以达到200GB。目前使用较多的磁带产品是磁带库, 由磁带机、磁带插槽以及多个磁带组成, 在软件控制下由机械手更换磁带, 并由内置摄像头摄像监视器内部工作情况。在不考虑更换磁带的情况下理想传输率可达到10MB/s。磁带库不仅数据存储量大, 而且在备份效率和人工占用方面拥有一定优势。在网络系统中, 磁带库通过存储局域网络技术 (Storage Area Network, 以下简称SAN) 可以形成网络存储仓库, 为数字档案馆存储提供有力保障, 完成远程数据访问、数据存储备份, 是海量数据仓库的良好选择。
使用磁带存储的优点是容量大, 成本低、耐用、使用寿命长, 适应各种气候条件下的长时期存放;不易受病毒、黑客以及自然灾害的威胁;小巧、携带方便、易于转移, 可用于远程灾难备份等。但是磁带存储也存在着较多缺点, 在读取之前需要加载或倒带, 搜索数据需要人工维护, 比较费时费力;由于其线性记录的特点, 涉及过多机械物理操作, 因此随机访问效率很低;没有校验操作, 文件访问可靠性较差。
3. 交换存储层。
交换存储层负责在海量离线存储层以及高速在线存储层之间提供数据交换, 将用户需要访问的数据从海量离线存储层中读出, 并将用户频繁访问的数据存入高速在线存储层, 起到缓存的作用。在这一存储层中, 对存储容量, 存取速率, 存储成本等指标都需要进行综合的考虑, 选择最为合适的存储介质。在目前的主流存储介质中, 光盘和机械硬盘由于各方面指标都较为优秀, 最适合作为这一层的具体存储实现。
光盘是采用光学方式进行读出或者写入信息的盘片, 现在通常称为CD, 目前最新的光盘技术是采用蓝光技术的DVD盘片。以蓝光DVD技术为例, 采用波长为450纳米的蓝紫色激光, 盘片结构中采用了0.1mm厚的光学透明保护层, 以减少盘片在转动过程中由于倾斜而造成的读写失常, 盘片的轨道间距减小至0.32毫米, 仅仅是红光DVD盘片的一半, 而其记录单元凹槽的最小直径是0.14毫米, 也远远小于红光DVD盘片的0.4毫米, 因此极大地提高了存储密度。目前使用光盘的主流存储产品有光盘塔/库, 以及光盘网络镜像服务器。光盘塔由几台或者十几台CD-ROM驱动器并联构成, 可通过软件来控制某台光驱的读写操作, 可以同时支持几十个到几百个用户访问信息。光盘库实际上是一种可存放几十张或几百张光盘并带有机械臂和一个光盘驱动器的光盘柜, 利用机械手从机柜中选出一张光盘送到驱动器进行读写。光盘库容量极大, 应用较为普遍。光盘网络镜像服务器是最新开发出的一种可在网络上实现光盘信息共享的网络存储设备。光盘网络镜像服务器不仅具有大型光盘库的超大存储容量, 而且还具有与硬盘相同的访问速度, 其单位存储成本大大低于光盘库和光盘塔, 成为目前光盘网络中的主流产品。
摘要：本文对数字档案馆建设中的存储需求进行分析, 划分出三级存储架构, 分析每一级存储架构应选用的存储介质, 探索数字档案馆存储的最优解决方案。
关键词：数字档案馆,存储介质,分级存储,存储架构
参考文献
[1]向理琛.当代高校档案管理中数字存储介质及其发展[J].办公室业务, 2012 (14) .
[2]闫艳.几种数字档案常用存储介质的对比分析[J].科技传播, 2010 (17) .
[3]侯明昌, 吕榜珍.浅谈数字档案的分级存储管理[J].档案学通讯, 2007 (5) .
[4]刘祥麟.数字档案存储介质的发展[J].湖北档案, 2007 (10) .
[5]Polte M, Simsa J, Gibson G.Comparing performance of solid statedevices and mechanical disks[C]//Petascale Data Storage Workshop, 2008.PDSW'08.3rd.IEEE, 2008.
[6]Ousterhout J, Agrawal P, Erickson D, et al.The case forRAMClouds:scalable high-performance storage entirely in DRAM[J].ACM SIGOPS Operating Systems Review, 2010, 43 (4) .
“电力特色”存储架构虚拟化 篇2
展，虽然国网公司、省公司对于应用资源不断整合，但地市级电力企业目前保留的关键应用仍有多个。随着时间的推移，数据呈爆发性增长，对信息系统的数据安全性、完整性、业务连续性要求越来越高；原有的存储体系架构及其运维管理已无法满足存储需求。为此，笔者希望能通过改变存储管理模式，简化存储分配、空间扩展、资源平衡、数据迁移等管理工作，增强存储的读写性能、安全性与可用性，提升信息基础架构的智能化水平和服务支撑能力。
改造方案
考虑到地市级电力企业的服务器数量较多，普遍存在Windows2003、Windows2008、Linix等操作系统、2个以上不同品牌的存储设备等现象。同时，希望既能提高异构存储统一管理能力，又能消除存储设备单点故障，提高数据安全性和业务连续性，笔者发现采用基于网络层实现存储虚拟技术是最合适的选择。
存储虚拟化管理：采用两台存储虚拟化网关（双活，互为主备），实现对异构存储设备（磁盘阵列）的虚拟化管理。存储虚拟化网关将所有的存储设备资源池化，存储设备可随意移入或退出虚拟化，虚拟化过程不破坏数据，没有数据迁移过程，大幅减小停机时间（分钟级）。存储系统的LUN不是直接映射给服务器，而是映射给存储虚拟化网关。存储虚拟化网关把不同存储系统多个虚拟磁盘进行统一管理后再将存储卷映射给服务器。通过存储虚拟化网关，可以完成对企业现有的存储及今后采购的存储统一管理以及统一数据保护，同时支持跨存储在线迁移，实现零停机，大大简化了存储区域网络架构，而且通过对存储虚拟化网关的缓存大小控制，可显著提升吞吐性能。
存储高可用容灾：通过存储虚拟化网关进行存储虚拟化整合后，虚拟化网关本身互为热备，一旦其中一台发生故障，另一台可立即接管其存储管理功能，从而不影响前端的应用。此外，存储虚拟化网关支持镜像、快照、持续数据保护、卷复制等功能，可实现对关键业务数据的容灾保护。在信息中心，可通过存储虚拟化网关的同步镜像功能、卷复制功能，将一份数据同时写入两台存储（两个卷），实现存储系统间的高可用。使用存储虚拟化网关进行跨存储系统镜像后，对于服务器获得的存储卷来说，不会因为任何一个磁盘存储系统的故障而导致业务宕机或数据丢失，有效避免存储设备单点故障所导致的数据丢失和计划外停机。
逻辑错误的恢复：在部署虚拟化网关前，原有存储系统缺少了对业务系统逻辑错误的防护，实际上无法解决概率最高的人工型错误。虚拟化网关具有“连续快照功能”，快照频率可达分钟级甚至秒级，实现了对业务系统“逻辑错误”的防范及纠错功能，对业务系统的正常运转提供有力保障。一旦发生误删除、病毒感染等任何逻辑错误，管理人员都可以找到最近的版本立即恢复。快照恢复与数据量无关，大数据量提取即刻可用。
存储虚拟化逃生：虚拟化网关应支持快速的接入和迁出组网环境的方案。该方案提供了一种双向的操作网络部署环境的功能，能够通过对实施存储环境的控制而达到快速把虚拟化网关接入到存储网络中，启动存储虚拟化功能；或者当虚拟化网关故障或其它需要把存储系统迁出虚拟化平台，屏蔽虚拟化功能，恢复原用存储网络。也就是在虚拟化网关出现故障后，对原有存储原始磁盘镜像重新分配。去除存储与原有存储的镜像关系，把“虚拟磁盘”分离为原始磁盘，并重新指定存储系统磁盘映射挂载到服务器上，服务器即可识别新加入磁盘，恢复系统业务。
应用容灾保护：通过存储虚拟化网关的卷复制、CDP等应用保护功能，可以对关键业务物理服务器进行实时镜像和快照保护。当被保护服务器发生故障或数据丢失时可直接挂载存储虚拟化网关上的同步数据或历史快照数据，5分钟内即可恢复业务运行。
实施效果
通过架设存储虚拟化网关，对原有的SAN存储区域网络实施优化改造，使得存储系统具备了资源池化、按需分配、弹性扩展、统一维护等云计算特性，同时，也去除了存储单点故障，建立了一套开放的、高效的本地灾难保护系统，有效提高信息系统的实时数据保护能力和抗灾能力，保证业务系统的连续性。
虚拟化整合异构存储：将不同厂商、不同架构（ISCSI、FC、SCSI、SAS）存储资源整合为开放、标准的存储资源池，统一调度资源给应用主机，提高资源利用率，突破单台存储设备性能瓶颈，降低维护成本。
灵活管理：虚拟存储池扩展及调配的灵活性，存储资源自由选择加入和退出虚拟化，集中统一管理存储池。
存储设备高可用：通过存储虚拟化网关的镜像和卷复制，数据可以在存储设备间一对一、一对多、多对一的复制，单台存储设备故障不会导致应用停机和数据丢失，消除了存储单点故障。
虚拟化平台的支持：可实现虚拟化平台容灾，支持P2V/V2V/V2P恢复。
快速数据迁移：支持跨存储在线迁移，按业务需求进行数据迁移，虚拟化过程不破坏数据，没有数据迁移过程，大幅减小停机时间。
智能数据保护：虚拟化容灾网关提供统一的高级数据管理功能（复制、镜像、快照、CDP），在各种故障情况下（硬件故障、病毒攻击、软件故障、误删除等）均能快速有效地恢复数据，实现智能数据保护。
数据自动接管：核心存储故障时，生产中心业务系统可进行无缝接管。
随时演练：备份卷、快照均可以方便快速地挂载给物理服务器或虚拟机，可随时验证和恢复，非常简单快捷。
电力服务事关民生和国家安全、社会稳定，电力企业信息系统的安全性、稳定性和支撑能力对电力企业的服务质量将产生较大影响。采用虚拟化容灾网关，对存储基础架构实施优化改造，对基础架构资源实现“池”化管理和统一再分配，同时可提高基础设施的安全性、可用性，实现智能的、高等级的容灾保护，将有效地提高电力信息基础设施的运行支撑能力。
数据中心存储网络架构研究 篇3
当前, 国家电网公司正在开展信息系统容灾中心的建设工作。根据规划, 将在北京、上海、西安统一建设3个集中式信息系统容灾中心, 公司各单位按就近原则接入共享, 从而形成全公司两级数据中心及3个集中式信息系统容灾中心的格局。容灾的功能将分为数据级容灾和应用级容灾2个阶段来实现。数据级阶段完成生产中心的业务数据备份, 应用级阶段实现接管生产中心应用系统功能:即生产端由于自然灾害或其他原因发生业务系统中断后, 容灾中心利用本地的备份数据接管相应业务系统, 保障公司对业务持续性的要求, 且容灾中心将来能够平滑过渡到数据中心。这就要求容灾中心的建设要立足数据级、展望应用级并考虑向数据中心过渡, 相应基础设施建设与系统实施工作要充分考虑容灾中心角色的转变。
存储技术在整个容灾中心乃至数据中心涉及的技术体系中占有重要地位。这不仅因为数据存储在上述3个阶段中处于基础性地位, 而且还是因为它必须在容灾中心演进的过程中具有可靠性、可用性和可扩展性。鉴于存储网络的重要性和上述要求, 需要了解和分析当前存储网络架构领域的技术。下面对3种存储网络技术进行介绍和对比, 通过多个维度的考量, 明确3种技术的优缺点, 从而为国内各行业容灾中心、数据中心存储网络架构设计提供借鉴。
1 存储区域网
随着经济、社会的发展, 人们对数据的请求方式越来越少地受到时间和空间的限制, 数据的增长与需求不再有很强的规律性可循。然而, 大量的独立存储仍广泛存在于企业的数据中心中, 很容易使数据分布呈现“信息孤岛”的局面, 对数据的存储、利用和分析造成很大困难。通常这些独立存储与业务系统相对应, 随着数据量的增长, 对它们的扩容也经常出现顾此失彼的现象。如果一次性扩容较大, 难免挤占其他系统的扩容预算, 如果扩容较小, 则会承受频繁扩容的压力。此类问题需要新的存储技术来解决。
存储区域网 (SAN, Storage Area Network) 是将存储设备 (诸如磁盘阵列、磁带库等) 与服务器连接起来并采用光纤接口的专用存储网络。它结构上允许服务器和任何存储磁盘阵列或磁带库相连, 并直接存储所需数据。SAN架构如图1所示。
较之传统的存储方式, SAN可以跨平台使用存储设备, 还能对存储设备实现统一管理和容量分配, 降低维护和使用的成本, 提高存储的利用率。根据美国存储专家克里斯多佛的统计, 使用独立存储方式时, 存储利用率达到50%就算比较高了, 而使用SAN架构的存储利用率通常在80%以上。更高的存储利用率意味着闲置存储设备的减少, 相应的电源能耗和制冷能耗也会降低。部署SAN的优势包括集中管控、统一交付诸如定期备份等存储服务、高效利用存储资源, 非常适用于应用的集中存储、备份和容灾。
SAN的另一大特点是文件传输与存储设备直接交互, 而传统的存储需要占用局域网 (LAN, Local Area Network) 资源, 且通过TCP/IP协议传输数据层层打包, 资源会有较大的消耗。SAN也支持IP协议, 但它针对存储数据传输的特点设计, 在需要大量、大块的数据传输时, 光纤信道 (FC, Fibre Channel) 更有优势。当客户端在LAN上请求来自服务器的数据时, 服务器将在SAN上的存储设备中检索数据。由于这种方式对数据的处理没有IP打包方面的开销, 所以能够更有效地提交数据。
采用SAN的拓扑架构示意图如图2所示。
由图2可以看到, SAN独立于LAN, 这个特点的优势已经阐述过, 然而它不可避免地带来了另外一些缺陷。因为它需要建立专属的网络, 这就增加了数据中心线缆的数量和复杂度。服务器方面, 除了连接LAN的网卡之外还需配备与SAN交换机连接的主机总线适配器 (HBA, Host Bus Adapter) 卡。它的建设成本和能耗也相应的比较高。针对这些缺陷, 以太网光纤信道 (FCo E, Fibre Channel over Ethernet) 技术应运而生。
2 FCo E技术
以太网光纤信道 (FCoE) 是INCITS T11开发的一项新标准。FCo E协议独立于以太网转发模式, 并在以太网上映射本地光纤信道。FCo E保留了所有的光纤信道结构, 保持与光纤信道相同的时延、安全性和流量管理特征, 因此可以通过循序渐进的方法向I/O端口整合的趋势演进。
数据中心既使用面向TCP/IP网络的以太网, 又使用面向存储区域网 (SAN) 的光纤信道 (FC) , 两者相互独立, 且可以并存。以太网网络通常用于满足最终用户对少量信息的需求。SAN则用于访问面向应用的I/O块, 例如在SAN上启动系统、邮件服务器、文件服务器和大型数据库等。考虑到服务器虚拟化在数据中心的逐渐普及 (例如8台虚拟机存在于一台物理主机已经比比皆是) , 需要通过光纤信道来连接这些虚拟主机。这种情况下, 系统管理程序通过光纤信道为访客操作系统提供虚拟存储资源, 并通过光纤信道网络基础设施来访问存储资源 (系统管理程序为一个虚拟化平台, 支持多个操作系统同时运行于一台主机上) 。这些服务器需要配置一对光纤信道主机总线适配器以及2个或多个网络接口卡 (NIC) 。某些高端部署会在只有2个CPU内核的高性能服务器中配置8个以太网NIC。FCo E支持将SAN和以太网流量整合到一个通用网络适配器上, 从而减少所需的适配器数量。Fo CE架构如图3所示。
理论上FC需要3种扩展, 以实现FCo E的功能:1) 把本地的FC帧封装为以太网帧;2) 以太网协议也需要改进更新, 以支持拥塞情况下的无损传输;3) 在以太网的MAC地址和FC的N_port ID之间建立映射。
由图3可知, 服务器通过聚合网络适配器 (CNA, Converged Network Adapters) 连接FCo E交换机。CNA有1个或多个以太网物理端口, 并在一张卡上同时包含了HBA和NIC的功能。虽然FCo E的封装可以通过传统N I C上的软件实现, 但CNA能够减少CPU对底层帧处理和HBA功能的压力。
FCo E能够迎合数据中心服务器虚拟化的趋势, 它支持I/O整合, 且可以为数据中心提供以下增强特性:1) 减少服务器所需的网络接口卡数量;2) 减少服务器电费预算并降低冷却要求;3) 大幅度减少需要管理的线缆数量;4) 无缝连接现有的存储网和以太网, 可继续使用现有的FC工具、安全模式和基础设施等。
3 IP-SAN技术
以上所述的SAN, 指的是采用光纤信道的存储局域网络 (FC-SAN) 。i SCSI协议出现以后, 业界把SAN分为FC-SAN和IP-SAN。i SCSI即“互联网小型计算机系统接口”, 是一种在TCP/IP上进行数据块传输的标准。i SCSI可以实现在IP网络上运行SCSI协议, 使其能够在诸如千兆以太网上进行快速的数据存取备份操作。IP-SAN和FC-SAN的区别可以用图4中的图a) 和图b) 来表示。
从图4中可以看出, 在FC-SAN架构中, 文件流存在于应用系统和文件系统之间, 文件系统和卷管理进行交互, 卷管理和存储之间进行块传送, 存储设备包含独立冗余磁盘阵列 (RAID) 和磁盘。在IP-SAN架构中, 基本的组成元素和FC-SAN是一样的, 但是应用系统和独立于服务器之外的文件系统交互文件流, 块传送因而也在存储设备内部发生, 由此可见IP-SAN降低了服务器端的复杂度。它建立在常见和稳定的工业标准上, 对IP技术熟悉的人员可以很容易接受和实施, 因而减少了聘请专业人员的成本。同时, 它还减少了网络数量, 降低了布线复杂度, 并且可以使用常规以太网交换机而不必专门采购光纤交换机, 很大程度提高了互操作性, 降低了投资。使用IP-SAN架构使得数据传播更为便捷, 可以在全球IP网络上进行以太网传输, 实际传播距离不会受到任何限制。
SAN、FCo E及IP-SAN 3种存储技术的各自特点及应用如表1所示。
4 结语
存储架构 篇4
关键词：网络存储；SAN架构；图书馆；数据资源
1背景
近年来，随着高校图书馆信息化建设和应用的蓬勃发展，图书馆借还书系统以及各类数据库系统积累了大量的数据资源。我们调研了直接存储(Direct Attached Storage，简称DAS)、以LAN接口连接的网络存储(Network Attached Storage，简称NAS)和以高速光纤通道连接的存储区域网(storage Area Network,简称SAN)等三种方案，分析各自的特点、存储效率以及可扩展能力等，最终我们认为选择SAN架构的数据存储、备份方案，更能满足我馆数据量大、传输速率要求高、可扩展能力要求强的特点。
2SAN技术
SAN(存储区域网)是指独立于服务器网络系统之外，近乎有无限存储容量的高速存储网络，采用FC+SCSI的应用协议作为存储访问协议，它通过专用的集线器或交换机和网关，建立起与服务器和磁盘阵列之间的直接连接。从物理结构上来看。一般由三个基本的组件构成：接口(SCSI、FC等)、连接设备(光纤交换机、光纤路由等)和通信控制协议(IP和SCSI等)。这三个组件再加上存储设备和服务器就构成SAN架构的数据存储。备份系统。
SAN有很多的优点：首先SAN走的是FC(光纤)协议，这种协议采用的是直通数据流方式，不像TCP／IP和ISCSI协议那样。一个一个包地发，还得打包，或者还得排列数据块，所以速度上快了很多。SAN采用的是集中式管理模式，能充分地应用存储空间，也不必宕机和中断与服务器的连接，便可以增加存储。SAN可以更好地控制存储网络环境，满足图书馆系统在性能和可用性方面的需求，SAN利用高可靠和高性能的光纤通道协议来满足这种需要。开放的、业界标准的光纤通道技术还使得SAN非常灵活。SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离。改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。
3网络存储在我馆的应用
我馆在2003-2005年之间，应用的是SAN存储区域网络(也就是把多台服务器和多台存储设备构成了一个网络，只是这个网络用的是光纤协议)。SAN由FC卡、光纤跳线。FC(光纤)交换机，光纤存储设备等组成。当时我们应用的是大恒FS8200双控光纤磁盘阵列2台／2TB的存储，加上我们原来的爱迪普磁盘阵列2TB的存储，一共是6TB，分别分给六台服务器使用。IBM445(小型机服务器)主要用于图书馆的VQD点播等视频应用。宝德服务器用于图书馆集成管理系统的应用。其他同方服务器我们分别用于CNKI期刊、论文全文数据库，万方医药信息系统。维普中文科技期刊数据库，超星数字图书馆，CBM、SCI等检索软件，还有一些其他的中外文数据库的应用。
系统主要特点：在SAN环境下，每台主机都可以直接访问备份设备。系统在执行数据存储操作时，通过配置相应的存储管理软件，可以直接通过SAN存储。共享、备份数据，释放了传统存储方式对LAN资源的占用。
主要存储设备：大恒ACCSTOR DS800oF磁盘阵列、BROCADE3200光纤交换机。
我馆现在的网络拓扑结构采用的是双链路冗余的光纤SAN架构。采用7台服务器、3台大恒光纤存储设备、2台博科的3200光纤交换机、13块光纤通道卡连接而成。每台服务器配置两蛱光纤通道卡，每块光纤通道卡分别连接到互为冗余的SAN光纤通道交换机上。同样地，每台磁盘阵列设备也通过两条光纤通道连接到SAN光纤通道交换机上。这样做的好处是：保证了每条链路的畅通，没有单点故障。如果一台交换机或磁盘阵列出现故障，服务器就会通过另外一条链路连接到交换机和磁盘阵列，保证了图书馆网络的安全运行，最大限度地提高了数据的可用性。今年我们又增加了一个大恒的DS5412存储设备，4TB容量。采用的是直链方式。主要用于一些重要的图书数据、流通数据和读者数据的备份，防止数据丢失。
4结语
基于云存储架构的安全技术分析 篇5
1 云存储的技术原理
与传统的存储设备相比, 云存储不仅仅是一个硬件, 而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。云存储提供的是存储服务, 存储服务通过网络将本地数据存放在存储服务提供商 (SSP) 提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心, 只需向SSP申请存储服务, 从而避免了存储平台的重复建设, 节约了昂贵的软硬件基础设施投资。
与传统存储技术相比较, 云存储具有三点不同:⑴传统存储系统主要是高性能计算、事务处理等的应用, 而云存储则是面向互联网的在线存储服务。⑵云存储主要是数据安全、可靠、效率等指标的技术挑战。⑶云存储要提供传统文件访问和支持海量数据管理公共服务支撑功能。
2 云存储面临的安全问题
2.1 云储存恶意程序日益增多以及对云的不良使用
根据e Marketer调查, 2012年美国智能手机市场占有率达47.7%。继“Dropbox”、“i Cioud”推出后, 许多厂商相继推出云储存, 该类型服务成为市场新兴潮流。由此可知, 在现今科学技术高速发达的社会, 云储存在各行各业的运用已经普及。越来越多的人把个人隐私资料存储在云上, 但近年来云储存恶意程序日渐增多, 许多黑客开始锁定这个目标盗取存储在云上的人们的个人隐私。若用户下载了附加恶意程序的App或使用病毒软件时, 在云上的个人隐私或企业机密就会黑客盗用, 给用户造成各种各样的损失。
为了降低成本, 许多服务供应商引进了便利性设备, 通过设备让多人共用一个云储存。虽然给用户带来了便利性, 但安全隐患也随之增加。当恶意程序感染云储存的时候, 会给多人造成危害。
2.2 数据不安全
数据不安全主要包括数据传输不安全、数据隔离不安全、数据残留不安全三种。数据传输不安全主要不是采用加密算法带来的, 而是通过采用加密数据和使用非安全传输协议造成的数据流失。由于目前还无法实现数据全加密, 而供应商又不可能提供单租户专用数据平台, 所以我们只能用公共云储存。而公共云储存又有很多程序疏漏, 这就是造成数据隔离不安全的因素。用户在删除云储存中的信息时很可能被别人重建, 造成信息流失。
2.3 应用不安全, 虚拟化不安全
2.4 恶意的内部人员
除此之外, 还有账户或服务劫持、未知风险等等, 在此就不一一说明了。
3 针对这些安全问题提出解决方案
3.1 映射技术
映射技术是一种事件触发应用, 还包括磁盘容量的扩展、缩小、损坏维修、饱和和填充。若引进映射技术, 云储存中的处理程序和管理设备之间就会形成映射关系, 它的功能有两种:⑴数据自动保存、复制、黏贴和删除。防止电脑死机等多种因素造成用户信息流失, 当云储存里的恶意程序遭到入侵时, 这种技术会通过程序的互相映射对恶意程序进行删除。⑵备份的透明替换。主要是先建立一个云储存, 在这个云储存里建立多个备份, 并在建立备份的过程中建立多个副本, 防止云储存无法复原。
3.2 缓存技术
缓存技术就是指通过准确的计算, 将缓存有效的应用到数据校对、恢复中。主要包括磁盘饱和计算和异地数据恢复计算。
3.3 磁盘技术
磁盘技术是利用客户端的代理程序将相关数据存到数据块中, 并将之备份。如果客户遗忘解密钥匙, 这种技术将给客户提供正确的相关信息帮助客户更新解密。磁盘技术防止客户既能云储存中的信息流失又能防止内部恶意人员, 为客户带来了双赢局面。
4 结束语
本文根据云储存和云计算的关系, 分析了云储存在运用过程中存在的数据不安全, 移动设备存在恶意程序, 数据应用不安全, 虚拟化不安全等因素做了分析, 并相对提出了技术解决方案, 分析了云储存架构安全技术的应用, 教云储存的用户如何安全的用云储存技术。
摘要：随着互联网技术的不断发展, “云”这一概念被提出, 云存储作为其延伸和发展也得到了广泛的关注和支持。但云存储自身所面临的安全问题阻碍了它的推广和应用, 云存储的安全问题也不仅仅是传统安全能够完全解决的。本文主要探讨了云存储的技术原理、云存储的技术使它面临的安全问题和针对这些安全问题提出的方案。
关键词：云储存,云计算,安全隐患,技术处理
参考文献
[1]朱源, 闻剑锋.云计算安全浅析[J].中国电信股份有限公司上海研究院, 2010, 51-55.[1]朱源, 闻剑锋.云计算安全浅析[J].中国电信股份有限公司上海研究院, 2010, 51-55.
[2]洪枚.移动云储存之现况与问题[J].行业视点, 2012, [15], 22-23.[2]洪枚.移动云储存之现况与问题[J].行业视点, 2012, [15], 22-23.
网络实验床存储架构分析与设计 篇6
网络实验床为网络实验提供虚拟的基础设施,模拟真实网络环境。在欧美已经开发一些网络实验床系统,如Emulab和Netbed、DE-TER、Model Net、GENI[1]。在欧美目前对未来互联网实验技术和实验创新环境的研究中,主要包括两类主要的建立未来互联网创新环境的实验技术,即基于重叠网络的技术路线和基于可编程网络设备的技术路线[2]。本文提及的网络实验床系统既是基于上述技术路线。网络试验床数据存储对象主要包括以下三大类别:(1)镜像数据和快照数据,为虚拟机快速部署一致操作系统提供支持;(2)网络试验中需要的海量网络数据;(3)用户个性的数据,如自己添加的协议、操作软件等[3]。因此,网络实验床存储系统不仅要实现数据的简单存储、获取、更新、删除等功能,更需要满足以下条件:支持大数据集;支持一次写入多次读取的处理方式;支持对数据的高并发读取。
本文设计的存储架构将针对网络实验床特殊的数据类别,设计满足需求的存储架构和存储模块,从而为用户提供安全可靠的数据存储服务。
1 网络实验床数据类别分析与架构设计
由于上述特殊需求,本文针对性的设计了网络实验床存储架构。如图1所示,存储架构采用自底向上的设计方法,主要分为物理层、逻辑存储层、网络层、控制层。(如图1)
物理层由存储磁盘、光盘和磁带集群等物理存储设备组成,是网络实验床提供数据存储的物理媒介。
逻辑存储层是在物理层之上,与网络层连接,为网络实验床系统提供分级逻辑存储结构。主要包括账户(account)服务器,容器(container)服务器,存储对象(object)服务器以及其对应的数据库。
网络层为数据存储提供存储节点之间以及存储节点与控制层之间的数据通信支持,支持通用的IP协议簇以及XFS文件系统。
控制层由多个虚拟控制节点组成。控制器主要由三个组件构成:(1)负载均衡控制器,也成为资源环生成器,利用一致性哈希算法、加权法和轮询调度算法,生成一个环状的数值链,代表数据对象到物理地址的映射;(2)代理服务器是为对外接口提供村粗API的服务器进程,符合HTTP协议规范,负责处理逻辑存储层各组件之间的通信;(3)服务器空间管理器。由于镜像数据和快照有着一次写入多次读取的特性,同时物理层基础设施条件有限,因此为实验床设计分级的数据空间管理器,以实现数据迁移和资源回收是非常必要的。
2 模块设计
2.1 逻辑存储层
逻辑存储层是物理层的逻辑结构,如图2所示,逻辑存储层主要包括账号存储服务器、容器存储服务器、对象存储服务器以及它们对应的数据库。
账号存储服务器是存储节点中负责处理对容器列表的管理。容器存储服务器与账号存储服务器类似,负责对象列表的管理。对象存储服务器是大对象块存储服务器,负责对象本身的获取获取、元数据获取、创建、更新、删除、复制请求。
网络试验床的文件采用冗余存储的方式存来保证数据的可靠性,每份数据在存储集群中会保存3个或者3个以上的备份。冗余存储伴随的数据一致性模型如图3所示,本文以客户端传送镜像数据为例详细说明。
流程如下:(1)客户端向控制器询问哪一个块服务器保存了当前的备份,以及备份的位置;(2)控制器回复Leader的标识符以及其他备份的位置;(3)客户端把镜像数据推送到所有备份上;(4)所有的备份都被确认已经得到数据后,客户端发送写数据请求给Leader;(5)Leader把写请求传递给所有的二级备份,即上图中的Replica A和Replica B中;(6)二级备份回复Leader,表明其已经完成指定操作;(7)Leader回复客户端。其中Leader和其他从属备份的地址映射信息保存在控制层代理服务器中,而“Leader”每隔一定时间在各个备份中循环切换。而在读取数据时,由于代理服务器只返回Leader的地址给客户端,如此就能使得数据备份被频繁访问时,将数据流分散到三个数据服务器上,从而一定程度上实现网络流量的负载均衡。
2.2 控制层
2.2.1 代理服务器
代理服务器是一个服务进程,集成成熟的开源云计算[4]Open Stack[5]存储组件Swift中的Proxy程序。在本小节中将介绍代理服务器的作用以及数据存储资源环Ring的概念。
Ring[6]最早由Open Stack引入,代表着存储名称到物理存储位置的映射。Ring由负载均衡器生成,与Open Stack的Ring所不同的是,网络实验床系统不仅考虑了存储节点的容量,而且还将存储节点CPU利用率、磁盘读写速率作为存储节点选择优先级评定标准。Ring分为三类,分别对应逻辑存储层的账号、容器和对象列表。对于存储对毾象的请쬀求将依次查询账号、容器和对象服务器以得到{‘/account_name/container_name/object_name’:object_db_position}[7]的映射信息。
代理服务器存储集群的对外端点,向用户提供RESTful API[8],本地数据采用SQLite[9],其中存放文件系统的所有元数据,这其中包括三种类型:1)账号、容器和存储对象的命名空间;2)账号资源环、容器资源环以及存储对象资源环;3)每个数据对象备份的位置。外部客户通过类似以下格式访问网络实验床数据服务:http://networking_testbed.com/
2.2.2 负载均衡控制器
负载均衡是存储系统必须实现的功能之一。本架构结合轮询调度算法、加权法和一致性哈希算法。实现数据存储的负载均衡。加权法:在网络实验床环境,以服务器存储容量、服务器CPU利用率、磁盘读写速率作为输入,经过一系列四则运算输出每一个物理存储服务器的权重值。轮询调度算法:创建一个循环队列,每个物理节点在队列中的地位都是等同的。数据对象存储的时候,只需要按照顺序,一个对象存入一个节点,依次循环。散列法:散列法也称为哈希法;通过不可逆的Hash函数按照某种规则将客户端请求发给存储集群。
Ring生成的步骤如下:(1)根据加权法得到的权重,计算每一个存储节点的虚节点数目;(2)利用一致性哈希算法计算每个虚拟节点的哈希值;(3)构建0到232的圆环区域;(4)将第二部得到的哈希值映射到圆环区域上;(5)利用一致性哈希算法计算数据对象,也将其Hash值映射到环上;(6)使用轮询调度算法,从数据映射位置开始顺时针查找,将数据保存到找到的第一个Node上。
如图4所示,假设Node1到Node4物理初始条件一样。因此,各虚拟节点在环上均匀分布。当存储节点添加时,以添加Node5为例。按照以上步骤将Node5添加到资源环中,受影响的存储对象只是从Node5开始,逆时针到Node3位置端的存储对象——红圈表示的存储对象存储到Node5中。
2.2.3 服务器空间管理器
本系统引入数据迁移和资源回收,使存储设备分级,在系统运行时,照服务器运行状况分级存储数据,使得数据存储容量大增。由于存储速率高的设备价格昂贵,而价格便宜的设配其存储速率却相对缓慢。利用磁盘、光盘和磁带将存储设备分为三级,当服务器存储容量达到一定阙值时,系统定为80%,服务器空间管理器将控制数据从服务器流向光盘中。当服务器数据低于某一阙值,系统定为50%的时候,停止数据迁移。当然,此种应用在网络试验床环境中,其数据迁移的对象有很大限制,只对于虚拟机镜像数据以及一些归档的数据有效。由于这些数据在很长一段时间内固定不变或者很少有可能会被访问,因此将其存储到相对廉价的光盘和磁带中将节约很多成本。
而当服务器开启时,服务器本身运行将耗费一定的资源。而在各个服务器由于负载均衡控制器,使得每一个服务器本身的资源使用效率不高,从而将会导致资源浪费。因此,本系统在服务器空间管理器上加入资源回收功能。利用服务器存储容量利用率为阙值,在平均存储容量低于50%的时候,将其中某一个服务器数据拷贝到其他服务器中。
3 结论
本文给出了网络实验床环境下存储架构和主要模块的设计,目前其对客户端提供的数据服务接口有账号/容器/数据对象的获取、元数据获取、创建、删除、复制。网络试验床系统有其特殊的诞生环境,其简单、冗余、可扩展、分级管理的架构保证了其数据服务的安全可靠。但在资源回收时,服务器上虚拟机正在运行,如何保持会话目前还不能得到很好解决。因此以后的研究目标将会把此内容加入研究日程。
参考文献
[1]陈昭瑜.存储网络:让数据自由流通[N].中国计算机报,2003-7-16
[2]Charles Thomas,Joel Sommers,Aul Barford.Passive Measurement System for Network testbeds[OL].[2012].http://pages.cs.wisc.edu/~pb/trident_12.pdf
[3]杨晴宇,赵海盟.高速海量数据存储的设计与实现[OL].[2011-02-23].中国科技论文在线,http://www.paper.edu.cn/releasepaper/content/201102-621
[4]李木梓,徐柱.云计算与GIS初探[OL].[2012-02-22].中国科技论文在线,http://www.paper.edu.cn/releasepaper/content/201202-845
[5]OpenStack.Open source software for building private and public clouds[OL].http://www.openstack.org/
[6]OpenStack.Swift Architectural Overview[OL].http://docs.openstack.org/developer/swift/overview_architecture.html
[7]OpenStack.Preparing the Ring[OL].http://docs.openstack.org/essex/openstack-object-storage/admin/content/preparing-the-ring.html
[8]Wikipedia.Representational State Transfer[OL].http://de.wikipedia.org/wiki/Representational_State_Transfer
基于云计算的数据存储架构研究 篇7
数据存储是实现信息技术的必备环节, 传统方式是将各种数据资源存储在本地进行数据交换。每当企业要建立一套专属的IT软件系统就不仅要购买一定的软件, 还要购买相应的硬件资源实现运行和存储, 而且还要聘请专业的IT人员对所存储的数据进行维护, 特别地对于重要数据还要妥善完成保留存档工作。当今, 随着企业的进一步发展, 企业就可能要面对硬件资源的升级以及海量数据的存储, 这就导致企业必须投入大量的人力和物力以满足企业发展所形成的现实需求。
随着计算机技术、网络技术和信息处理技术的发展, 云计算技术应运而生, 甫一出现, 企业即无需再如以前投入大量的人力和物力来购买硬件资源, 具体则包括存储设备以及相关的海量数据在内, 而是只需向云中心的服务人员申请所需的资源, 再由云中心的服务人员为企业用户分配相应的资源, 还可以对用户的申请进行动态分配资源, 这就大大降低了企业的运维成本, 使企业更加专注于自己的核心业务。云计算的出现, 宣告了低成本提供超级计算时代的到来, 即可为使用网络提供了几乎无限多的可能, 为存储数据提供了几乎无限量的空间, 也为各种应用提供了几乎无限大的计算能力。在众多有利态势的高效推动之下, 云计算作为未来IT的发展趋势已经不容质疑[1]。
1 云存储
云计算是一种新的计算模式, 其目的是通过网络将资源整合在一起, 使资源得到最大化的优质利用。高性能的存储是构建云计算的基础, 云存储可以向用户提供高性能的存储服务, 企业将不再需要购买自己的存储服务器。而是只需要付出少许费用就可以从云服务提供商处获得高品质的云存储服务, 企业只要专注于核心业务创新能力的提升, 由此则进一步强化了企业的核心竞争力[2]。
2 云存储体系架构
在云环境中, 存储是由许多存储设备通过集群技术整合在一起的共享存储中心。这些设备可以是相同的, 也可能是异构的。数据中心通过将这些异构的文件系统整合构建为一个高效的、高可扩展性的整体向用户提供了云存储服务[3]。云计算环境中数据存储体系架构如图1所示。
2.1 数据中心
数据中心是存储体系的基础, 其中包括各种各样的存储设备, 还包括着存放在这些设备上的文件系统。文件系统是存储体系的核心, 分布式文件系统可以实现多个存储设备之间的相互协同工作, 使网络上不同位置的文件就像在本地一样供服务器按需调用[4], 即对外提供一种服务, 也就是通过接口提供了更为强大的数据访问能力。
云存储文件系统的设计受到负载和技术的影响, 而根据存储文件系统的特点和要求可以推知, 文件系统的技术功能主要包括:安全性管理、一致性管理、文件命名系统、通信管理和容错管理。现在对其重点功能开展如下论述。
数据的可靠性是衡量存储文件系统的最重要指标。在云计算环境中, 会有成千上万个节点在参与运算, 某一时刻, 必然会有某些节点处于故障状态, 此时此刻, 数据的可靠性就显得尤为重要。所以在文件系统的设计时就需要考虑以下几个方面的问题:
(1) 可用性原则, 即系统中节点为用户提供服务的能力。
(2) 可持续性原则, 即系统可以持续无故障为用户提供服务的能力。
(3) 安全性原则, 即系统中节点在出现故障的情况下, 数据能够安全恢复的能力。
(4) 易维护性原则, 即系统在运行过程中减少工作人员的工作量的能力[5]。
文件系统的另一个重要的功能就是进程间的通信, 进程的通信都是通过底层网络进行数据交换的。网络进程间的通信协议也是文件系统的重要基础, 不能因为存储模式的不同即导致存储产生较高的延迟和缓慢的响应。在云平台中, 数据的存储和备份都需要较快的响应速度。
云平台数据的安全性也是云计算中人们普遍关注、却亟待解决的另一核心关键问题。在云计算中, 用户数据存储在共享空间当中, 无论用户还是云服务提供商, 都需要这些存储的数据能够得到完善保护, 不会出现恶意泄露以及盗窃。云服务提供商更需要对用户的敏感数据提供妥帖的安全保护, 这也成为云服务提供商的首要任务[6]。
若要提高数据中心的安全性, 就要根据云平台中的系统文件可能存在的安全威胁来确立相应的安全策略和保护机制。在云平台数据中心存储数据的访问都是基于信任机制的, 这通常都是由应用程序来实施管理, 在云平台中, 多数虚拟机是共享内存和CPU等公共资源的[7], 如何防止这些数据不被错误的虚拟机访问和破坏, 就需要考虑以下两个方面的因素:通道安全问题和权限授权问题。其中, 通道安全问题主要就是进程或者线程之间通信的安全性问题。通信安全主要涉及数据加密、身份安全认证、数据的完整性和可靠性以及数字签名等安全性方面的相关问题。而授权问题则主要是在通信安全的前提下, 对数据中心内部某些资源的可访问性的一种赋权, 这可归类于资源访问控制方面的问题。
2.2 服务接口
不同的云服务提供商, 提供的应用程序服务也是不同的, 但通过服务接口的设置却屏蔽了底层服务商的差异性, 即用户可以通过接口实现对数据中心内部数据的操作和访问, 而无需考虑底层服务商的具体差异, 服务商对用户只是根据资源的访问权限来进行分配和控制, 如此即保证了云平台中存储系统的灵活性和可扩展性的要求[8]。
2.3 服务等级
云服务等级是用户享受云服务商提供云服务的级别, 也是云平台中存储服务的一个重要指标。用户所享受的云服务等级与用户向云服务缴纳的费用有关, 用户缴纳的费用越高, 用户的服务等级就越高, 反之, 就越低。用户的服务等级越高, 用户就能更为快速地享受到定制服务[9]。合理的服务等级收费对用户来说非常重要。
2.4 云用户
享受云服务的用户既包括个人, 也包括企业等。云用户不需要很大开销就可以得到高性能的计算资源和存储资源, 更重要的是这些资源也不需要额外费用来运营和维护。用户只要通过终端设备如手机, 平板电脑或者笔记本就可以连到数据中心享受各类服务。企业是云服务的最大收益者, 以前企业建立自己的IT系统需要投入大量的人力、物力和财力, 而今企业只需要配置软件就可以获得与之前同样的现实效果。
3 云存储架构实现的关键技术
云存储系统是一个统一整体, 包含多应用、多设备和多服务等众多方面的协同合作。云储存系统的实现既需要由各种结构差异的终端来共同协作, 也需要相对成熟的各项技术的通力配合。其中网络带宽等基础设施必须能够提供充足保证, 也就是能够屏蔽各种底层硬件基础设施的差异, 向用户提供统一的服务。而且, 云存储系统作为一个协作的整体, 更是集成技术、网格技术以及分布式文件系统的统一整合, 由此可使多个设备之间协同工作, 并通过将各种闲散的资源集结成群, 使服务器具有更加强大的计算能力和存储能力。实现云存储的另一基础就是虚拟化技术, 具体来说就是, 用户是看不到各种设备之间差异的, 并且用户之间的数据也互不影响[10], 用户不必担心计算资源或者存储资源等细节问题, 而这些都是由管理员来进行统一管理和调配的。另外需要指出的是, 一定的数据加密技术也是保证用户及系统安全的必备利器。
云存储系统的结构模型可分为四层, 分别是存储层、基础管理层、应用接口层和访问层, 具体如图2所示。
3.1 存储层
云存储系统最基础的部分就是存储层。在云存储系统中, 各种存储设备比较分散, 并且数量众多, 这些设备之间均是通过局域网、广域网、Internet或者光纤等连接在一起, 再由存储设备管理系统来对这些品种繁多, 结构各异, 而且分布广泛的设备实现统一管理。针对这些设备, 该系统可以实现冗余管理、容错管理和虚拟化的管理, 同时也可以对设备的状态进行监控和故障的维护。
3.2 基础管理层
存储层系统最核心的部分就是基础管理层。管理层是集群技术、网格技术以及分布式文件系统技术的有机结合体。通过这些技术可以屏蔽底层硬件的差异, 使多个不同的设备实现协同工作, 从而对外提供统一的服务, 以及具备强大的数据访问能力。
3.3 应用接口层
存储层系统最灵活多变的部分就是应用接口层。这一层主要是根据用户的不同需求, 向外提供多样化的服务。并且根据应用程序的不同, 也需要提供不同的接口。例如:要为视频监控提供合适的接口, 为网络硬盘程序提供适合网络硬盘的接口、为视频点播程序提供有关的应用接口等。
3.4 访问层
普通的用户可以根据服务提供商允许的授权, 输入指定信息登录到服务提供商的云存储系统平台中, 并根据费用享受相应等级的云服务。而且, 由于服务提供商的不同, 所提供的访问策略和访问方式也必将有所不同。
4 企业对策
随着信息技术的发展, 云计算技术也越发成熟。为适应这一形势变化, 无论中小企业还是大型企业也都必将发生一场深刻的变革。中小企业为了降低运营成本, 企业的传统数据中心则必将会向云数据中心迁移, 而大型企业也必将因应时势而建立自己的私有云数据中心。因而在云计算发展的过程中, 不同的企业也将随之出台不同的对策[11,12]。
4.1 向服务商租用计算资源和存储资源
云计算的提出, 对于中小企业来说是一场时代机遇, 构建自己的私有云平台, 无疑给企业的发展带来了巨大的经济负担。当前中小企业的最佳对策就是向云服务提供商租用计算资源和存储资源, 这样中小企业就不需要再支取巨额费用来购买硬件资源, 也不需要专门聘请IT管理人员进行设备的维护工作, 企业就可以专注于自己核心业务的拓展, 从而降低了企业的运营成本, 提高了企业在实际市场上的核心竞争力。
4.2 构建私有云
虽然现在很多服务商都已提供了大型的云平台, 但是对于经济实力雄厚的大型企业来说, 鉴于公有云平台的安全性和不确定性, 并出于数据的安全和保密的考虑, 这些企业所做出的选择通常是构建自己的私有云平台, 以增强自身的IT业务处理能力, 降低企业的运营成本, 并进一步提高企业的综合竞争实力。这样, 大型企业既享受到了云计算技术带来的好处, 同时也保证了企业核心数据的安全问题, 进而又增强了自身的创新能力, 由此可使企业在市场竞争中立于持续不败之地。私有云平台结构如图3所示。
5 结束语
云计算的提出给企业的发展带来了巨大的变革, 得到了越来越多企业的重视和青睐。云计算让更多的资源实现了共享, 不仅是计算资源, 也包括着存储资源, 这就使资源得到了最大化的利用。但是, 由于目前的云计算仍未建立一个开放的公共标准, 对于云计算服务转移的弹性相应地也就很低。如果一个垄断了用户云计算的公司, 出现倒闭或被吞并的情形, 那么对用户就将产生非常严重的后果。要使用户能自由地进行信息共享, 就必须形成开放的云计算公共标准。此外, 虽然云计算的数据对外具有较高的安全性, 但用户在使用云计算服务时, 用户并不清楚自己的数据的储存位置, 以及云计算存储公司是否遵循了当地的隐私协议。因而, 如何提供有效机制保证数据的安全性对于云计算的发展和应用则有着重要的理论价值和实际意义。
摘要：随着云计算技术的发展, 如何实现云环境中数据的高效存储是云计算提供服务的基本要求, 本文详细讨论了云计算环境下数据的存储体系结构, 为行业打造自己的数据中心提供了一个可靠的、高可用的、可扩展性的、可灵活管理和安全的参考方案, 最后也对不同的企业在云计算中的不同的角色, 给出了不同的发展策略。
关键词：云计算,云存储,数据存储架构
参考文献
[1]袁国骏.浅谈云计算及其发展应用[J].实验室科学, 2009 (2) :103-105.
[2]赵勇军.OPC架构之上的公共数据平台技术探讨[J].数字技术与应用, 2013 (6) :222.
[3]张桂刚, 李超, 张勇, 等.云环境下海量数据资源管理框架[J].系统工程理论与实践, 2011 (S2) :28-32.
[4]朱团结, 艾丽蓉.基于共享内存的Xen虚拟机间通信的研究[J].计算机技术与发展, 2011 (7) :5-8, 12.
[5]赵又霖, 邓仲华, 黎春兰.云服务等级协议的生命周期管理研究[J].图书与情报, 2013 (1) :51-57.
[6]张峰.云计算应用服务模式探讨[J].信息技术与信息化, 2012 (2) :81-83.
[7]李大勇.私有云计算技术在石油行业的应用[J].信息系统工程, 2012 (9) :92-94.
[8]王德政, 申山宏, 周宁宁.云计算环境下的数据存储[J].计算机技术与发展, 2011, 4 (21) :82-83.
[9]陈康, 郑纬民.云计算系统实例与研究现状[J].软件学报, 2009 (5) :1340-1342.
[10]赵勇军.基于数据库属性基础上的自主安全防护分析[J].无线互联科技, 2013 (6) :135.
[11]张慧, 邢培振.云计算环境下信息安全分析[J].计算机技术与发展, 2011, 12 (21) :165-167.
对现用PACS存储架构的改进 篇8
医学影像存储与通讯系统(PACS)的存储架构决定了医院PACS的使用寿命[1]。很多医院在建立PACS后1~2年的时间,就会感觉系统运行越来越慢,数据管理(归档、迁移)越来越复杂,对在线数据、近线数据、离线数据等划分越来越细,但查询也随之越来越麻烦。尤其是CT(64排、320排)等设备的应用,产生的数据量猛增,传统打印胶片的方法也失去了这些高端设备的价值[3]。因此,临床对使用PACS数据的需求变得更为迫切。
1 现用的PACS存储架构
PACS通常是使用数据的方式去管理文件[4],是一个典型的半结构化数据模式。数据库主机、文件主机以及SAN存储组成了PACS的系统架构(图1)。
由于大多数PACS文件服务器采用32位的Windows系统,所以随着数据量的增长磁盘也不断在增加,造成服务器重启的时间越来越长,尤其是重启服务器时,有时甚至长达0.5 h以上。其原因是服务器在重启的时候需要做文件系统的扫描校验[5]。
存储归档是PACS的一个核心功能,如文件生命周期管理、管理增长,优化在线性能、优化备份以及满足将来扩展需求等[2]。为此,在文件存储归档时要考虑存储方式和存储介质问题。现用PACS的状况:
(1)PACS软件存储归档。通过程序发现文件的创建时间,当文件满足归档策略,程序将文件搬迁到归档空间并且修改数据库中的文件路径。这种方式通常归档效率非常低,一是程序需要消耗额外的服务器资源,二是文件需要从底层存储到主机,然后再从主机到存储,文件复制的效率比较低[7]。这种方式还增加了对程序的维护管理工作,也容易出现故障。文件系统限制、服务器重启时间长等问题也依然无法通过该归档方式解决。
(2)第三方软件存储归档。通过在一台服务器上安装归档软件服务器端,在PACS文件服务器上安装归档软件的客户端,客户端扫描文件,当发现满足服务器端归档策略的文件后将文件搬迁到指定的地方。该方法的好处是可以将文件搬迁到其他介质,如磁带库等。但第三方软件归档方式带来的是管理实施上的复杂,通常需要原厂实施维护,设计的软件、操作系统以及主机的更新或升级也非常容易影响到归档软件,另外还需要考虑兼容性问题。
(3)存储归档介质。(1)光盘:光盘长期存放文件,容易被损坏、且不易管理,回调文件速度慢。(2)磁带:磁带作为存储归档的介质比较多用,但依然遇到保存和管理问题,而且磁带不宜用作近线存储,因磁带是顺序访问,所以回调非常慢。因此,磁带更适合用作离线保存或备份。(3)磁盘:随着磁盘价格的逐年下调,盘体容量越来越大,目前单块盘可达3TB,已广泛用于近线存储归档,其优点是随机访问回调速度快,易于管理,支持RAID和热备,冗余性好[8,9]。
为解决现用PACS的存储归档和访问速度问题,我们对其作了改进。
2 改进的PACS存储架构
在改进的PACS存储架构中,我们采用网关式的高性能NAS取代了PACS文件服务器,使用NAS内嵌的归档功能来实现PACS的归档(图2)。
改进的PACS存储架构,在数据库方面依然使用SAN存储的高性能空间,而PACS文件部分则是把SAN存储的另一块高性能空间连接高性能NAS网关,NAS网关把空间通过网络文件系统的方式(CIFS或NFS)连接PACS数据库,把SAN存储的低转速大容量磁盘空间连接高性能NAS,在NAS上制定好策略,如按照创建时间和文件大小的组合策略。文件自动从高性能空间归档到大容量空间,归档以后留下一个指针文件,整个过程对主机透明,主机在不需要做任何操作情况下仍能够访问到所有的数据,当访问的是已经被归档的文件,则该文件就从大容量空间回调到高性能空间。
2.1 网关式的NAS
采用网关式的NAS提高了扩展的灵活性:从NAS网关方面,可以使多个网关集群式扩展;从连接存储方面,可以灵活连接多个存储设备,存储设备之间可以将高性能和大容量实施物理分开,还可以连接两个存储数据冗余保存。
2.2 解决的问题
改进的PACS架构解决了以下问题:
(1)不需要占用磁盘,单个NAS文件系统可达百TB。
(2)服务器重启或非正常重启速度快,文件系统在NAS上不影响主机重启,NAS文件系统为日志文件系统,只需扫描日志即可(可后台扫描)。
(3)管理简单,一次性配置好即可,无需后期复杂的维护。
(4)归档效率高,可以根据自定义策略满足医疗特色的存储归档;可以直接在底层实现移动文件,使对文件访问的时间较以前缩短了6倍。
3 结束语
PACS系统在现代化医院临床医学中起到举足轻重的作用,现用的PACS存储架构要适应医院的发展,就必须不断完善其功能。
参考文献
[1]朱超,猴文海,王福义,等.PACS系统建设与应用分析[J].解放军医院管理杂志,2011,18(4):317-318.
[2]张美丰,夏新,于广军,等.区域PACS建设经验与体会[J].中国数字医学,2010,5(1):71-73.
[3]张杰,汪瑞祺,王孟琳,等.医疗行业的PACS存储系统设计[J].临床医学工程,2010,17(12):218.
[4]熊新,卢虹冰,杨宏桥,等.面向服务架构的PACS系统集成[J].第四军医大学学报,2008,29(11):1051-1052.
[5]王建文.基于B/S架构的组件式PACS系统设计[J].计算机工程与设计,2008,29(20):45-46.
[6]江永宁,宋立新.一种混合式PACS系统的设计与实现[J].哈尔滨理工大学学报,2009,14(5):118-122.
[7]李享,束研,张红,等.基于WEB的全院性PACS体系改进与优化[J].中国数字医学,2011,6(7):94-96.
[8]李振涛.基于原有PACS/RIS系统的医院影像平台的实现[J].中国医疗设备,2011,26(7):45-46.
教学资源的云存储架构研究 篇9
随着科学技术的不断发展, 信息技术引发了高等教育的巨大变革, 信息化建设规模也在不断扩大, 引起计算机应用服务也相应增加, 相应的计算机教学资源出现大幅度的增长, 导致等相关设备的增加。以影视传媒专业为例, 它是近年来兴起的在美术、音乐类专业之外的又一大类高等教育专业, 主要面向电视台、广播电台、电影电视制作机构、报刊杂志社等各种影视传媒部门单位培养优秀的专业人才。由于影视容量的扩大。存储影视的服务器的容量逐渐不能满足需求, 不得不追加更高档的服务器满足教学的需求, 导致设备费用大量增加, 而已购买的计算机无法再满足需要, 造成资源的巨大浪费。为了有效解决这些矛盾, 本文提出构建校园教学资源的云存储的解决方案, 能有效避免这些问题。
2 云存储概述
云存储是在云计算概念的基础上延伸和发展的一个新概念[1]。它通常意味着把主数据或备份数据放到单位外部不确定的存储池里, 而不是放到本地数据中心或专用远程站点。支持者们认为, 如果使用云存储服务, 企业机构就能节省投资费用, 简化复杂的设置和管理任务, 把数据放在云中还便于从更多的地方访问数据。
2.1 云存储的定义
云计算是分布式处理、并行处理和网格计算的发展, 是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序, 再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储的概念与云计算类似, 它是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统, 保证数据的安全性, 并节约存储空间[2]。
2.2 云存储的分类
云存储可分为以下三类:
2.2.1 公共云存储
云计算供应商可以保持每个客户的存储、应用都是独立的, 私有的云存储。如搜狐企业网盘, 百度云盘, 坚果云, 酷盘, 115网盘, 华为网盘, 360云盘等。公共云存储可以划出一部分用作私有云存储[3]。私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由公司自己的IT部门管理, 也可以由服务供应商管理。
2.2.2 内部云存储
这种云存储和私有云存储比较类似, 唯一的不同点是它仍然位于单位防火墙内部。
2.2.3 混合云存储
这种云存储把公共云和私有云结合在一起。主要用于按客户要求的访问, 特别是需要临时配置容量的时候。从公共云上划出一部分容量配置一种私有或内部云可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。尽管如此, 混合云存储带来了跨公共云和私有云分配应用的复杂性。
2.3 云存储的相关技术
2.3.1 WEB2.0技术
Web2.0技术的核心是分享。只有通过web2.0技术, 云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备[4], 实现数据、文档、图片和视音频等内容的集中存储和资料共享。
2.3.2 集群技术、网格技术和分布式文件系统
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体, 任何一个单点的存储系统都不是云存储。既然是由多个存储设备构成的, 不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术, 实现多个存储设备之间的协同工作, 多个存储设备可以对外提供同一种服务, 提供更大更强更好的数据访问性能。如果没有这些技术的存在, 云存储就不可能真正实现, 所谓的云存储只能是一个一个的独立系统, 不能形成云状结构。
2.3.3 存储虚拟化技术
云存储中的存储设备数量庞大且分布多在不同地域, 解决不同厂商、不同型号甚至于不同类型的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题, 否则, 结构上就无法形成一个整体, 而且还会带来后期容量和性能扩展难等问题。
2.3.4 数据加密安全技术
数据加密安全技术保证云存储中的数据不会被未授权的用户所访问, 同时, 通过各种数据备份和容灾技术保证云存储中的数据不会丢失, 保证云存储自身的安全和稳定。
3 教学资源的云存储架构设计
教学资源的云存储架构[5]如下图:
3.1 数据存储层
数据存储层也是教学资源云存储体系的硬件层, 它为整个云存储系统提供基本的网络环境、物理存储资源和逻辑存储资源。存储设备数量较为庞大且分布广, 通过网络连接在一起。存储设备之上是一个统一存储设备管理系统, 可以实现存储设备的逻辑虚拟化管理、多链路冗余管理, 以及硬件设备的状态监控和故障维护。然后是数据逻辑存储系统, 包括文件系统、数据库和元数据集等。文件系统、数据库和元数据集等。
3.2 数据管理层
数据管理层是教学资源云存储体系的核心层, 通过集群、分布式文件系统、网格计算等技术, 实现云存储中的多个存储设备间的协同工作, 使多个存储设备可以对外提供同一种服务, 并提供更大更强更好的数据访问性能。
3.3 数据服务层
数据服务层根据实际业务类型, 开发不同的应用服务接口, 提供不同的应用服务。包括信息采集、加工、管理所需的存储、信息的发布与服务所需的存储以及容灾备份等所需的存储。同时, 通过应用层共享云端平台, 不同权限的用户都可以更方便地访问与管理相关资源。
3.4 数据应用层
数据应用层是授权用户通过标准的公用应用接口来登录云存储系统, 享受云存储服务。如PC、手机、移动多媒体等, 可以在任何时候任何地点通过数据应用层的教学资源存储平台使用教学资源的云存储服务, 满足自己的信息需求。
4 教学资源云存储的基本功能设计
教学资源云存储平台功能[6]列表设计如下:
教学资源上传:用户登录系统后, 可通过点击教学资源上传功能键, 上传教学资源;同时支持教学资源的批量上传;
教学资源下载:用户可以下载自己上传的教学资源, 同时下载别人共享给自己的教学资源;
教学资源共享:教学资源共享包括两方面的共享, 一方面, 教学资源拥有者对指定用户群体的共享;另一方面, 教学资源拥有者提供一个下载链接, 拥有链接的公众均可以下载该教学资源;
教学资源浏览:教学资源浏览包括教学资源拥有者的教学资源列表浏览, 教学资源被共享人的被共享教学资源列表, 教学资源相关元数据的查看、教学资源的在线预览, 其中教学资源的在线预览, 可以根据教学资源格式, 分为图片预览、视频预览、文档预览等。
5 结束语
云存储对使用者来讲, 不是指某 (一个具体的设备, 而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储, 并不是使用某一个存储设备, 而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲, 云存储不是存储, 而是一种服务。通过云存储可以对教学资源有一个统一管理和统一服务, 对高校信息化的建设提供一种参考。
摘要：针对影视传媒专业使用教学资源的频率高、资源容量大的特点, 提出建立教学资源的云存储架构模式, 进行数据存储层、数据管理层、数据服务层和数据应用层的架构设计, 形成一个统一管理、统一服务的教学资源的云存储系统, 有利于资源的合理利用, 为单位自建内部云存储系统提供了依据。
关键词：云存储,架构,教学资源
参考文献
[1]王胜航王仕云那些事儿[M]电子工业出版社2012.1
[2]陈虎基于HDFS的云存储平台的优化与实现[D]华南理工大学硕士论文2012.5
[3]孔祥杰杨卓夏锋等基于云计算的教学资源共享平台[J]中国教育信息化2012.11 31-33
[4]李爱勤鲍凌云冯晓娜数字图书馆资源云存储模型研究[J]现代情报2012.2 48-50 vol 32 No 2
[5]高宏卿汪浩基于云存储的教学资源整合研究与实现[J]现代教育技术2010.3 97-101 vol 20 No 3