云存储平台设计（精选11篇）
云存储平台设计 篇1
0 引言
近年来,随着互联网的迅速发展,每天产生数量庞大的信息,如何存储这些潜力巨大的信息,成为亟需解决的问题。如果将这些信 息都存储 在本地,则会占用 大量资源。因此,人们可以利用虚拟化云技术进行存储。首先介绍云存储的概念和特点,进而论述云存储平台在设计过程中遇到问题和解决方案,最后探讨云存储平台设计。
1 云存储特征及服务
1.1 云存储特征
云存储将大量不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储服务。云存储服务对传统存储技术的数据安全性、可靠性、易管理性等方面提出了新挑战[1]。通过对近年来互联网上的典型云存储技术进行调研和分析,大多数云存储技术具有以下特征:1按需扩展。云存储平台类似于一个空间比较大的资源池,当用户使用空间超过原有分配空间时,平台会自动按需分配出足够的空间供用户使用,不仅能满足消费者需求,而且使资源得到合理分配;2功能隐藏性。在使用云存储过程中,用户只需请求相关服务,云平台会自动进行分配,以满足用户需求,云平台对外隐藏具体实现细节;3低成本存储。随着信息量不断增加,本地化存储需要更多资源,如硬盘、软盘等,使用户增加大量存储成本,但若利用云存储平台,不仅可降低用户成本,而且也能满足用户的移动存储需求。只需具备上网条件,用户无论何时、何地都可以上传或下载所需文件。
1.2 云存储服务
云存储是将一些文件和数据存储在云端,然后开放一些标准的协议和接口,让用户能够方便地将文件和数据传输到云端。将文件保存在云端不用担心存储空间问题,也不用关心数据或文件的存储位置,并且随着云存储技术的不断发展,存储安全性也得到了极大提升。
云存储服务主要分为3类:1存储服务。该服务不仅指云存储可直接为用户提供服务,而且开发人员还可利用这些服务进行二次开发;2相关平台服务。平台技术能对普通资源进行再次抽象,并对资源进行动态扩展或收回,还加入多种容错技术。而且平台对外提供统一接口,能解决不同终端的接入问题;3云存储软件服务。主要面向普通用户群体,该用户群体可直接利用客户端使用服务,这些服务允许用户自定义使用环境,而且还可为特定人群提供个性化服务。
2 云存储关键技术与解决方法
基于对企业需求的分析和对市场中标杆产品的学习,云存储平台的研发目标是为上层应用提供海量、安全和高可用的云存储服务,帮助其有效应对高并发和海量数据的场景[2]。
2.1 拓扑结构
在利用云技术进行存储的过程中,需设计科学合理的拓扑结构,使节点间 能相互关 联。对于数据 存储服务 而言,利用传统星形结构比较合适,原因在于星形结构能进一步发挥云存储按需分配的特点,将存储空间进行合理分配和回收。因此,本文中拟采用星形拓扑结构,同时在相邻节点间进行通信。当用户查询某个数据或文件时,若在某个节点中无法查询到,该节点能将查询请求发送到相邻节点,帮助用户进行查询服务。
2.2 云存储系统架构
云存储平台主要是为用户提供数据和文件存储服务。为此,在设计云存储平台架构时,需要以用户需求为出发点进行架构设计。当用户利用客户端使用云存储平台服务时,能及时将请求传送到云存储平台。经过云存储平台处理,然后及时向客户端返回处理结果。本文采用架构主要是以客户端为核心的架构方法,客户利用客户端发送服务指令,然后存储平台节点接收并执行这一指令,如果某个节点接收该指令而无法完成,可以向相邻节点进行指令转发。该方式能使节点之间进行通信,同时可减少节点间的负荷,从而大大提高数据传输效率,为用户带来更好的服务体验。
2.3 元数据
元数据可理解为存储在云存储平台中的数据结构,其是对数据或文件进行的抽象,能将数据或文件转换为云平台存储内部的数据格式,从而使云存储平台对数据进行更好的管理。本文采用类似于Linux操作系统的文件存储类型,主要是将元数据和元数据的存储数据进行分离。在进行元数据查找过程中,可以通过对元数据索引遍历进行快速查询;同时,元数据索引所占空间小,可方便进行二级和三级索引扩展,从而方便用户使用和查询。
2.4 数据隔离
云存储平台是一个多用户、多任务的存储平台,在该平台上,不同用户可同时执行不同操作,云存储平台需对这些请求作并行化处理。因此,为防止用户数据在操作过程中相互干扰,需对用户数据进行隔离。本文的解决方案是将数据按照一定分类进行隔离。主要分类标准是应用种类、数量和规模,而且在进行分类的过程中不能出现数据交叉或重复现象。数据隔离是云存储平台设计过程中的关键问题,必须给予很好的解决。
2.5 数据存储和维护
数据存储和维护是云存储平台的核心业务。数据存储主要需考虑以下问题:1数据能方便、快速地进行插入、查询、删除和清空等操作,而且表与表之间关联性较低,不存在复杂表关系;2存储模式。目前的主要存储模式分为关系型存储和非关系型存储,因此需要根据不同文件的存储需求,选择不同存储模式;3数据维护。在云平台进行存储的过程中,由于多种因素可能导致数据破坏或消失。为更好地满足用户需求,要求云存储平台具有数据维护功能,主要是利用数据校验和容错技术,保证数据能在云存储平台进行安全存储。
3 云存储平台设计
3.1 系统结构
通过以上论述和分析,云存储平台系统结构主要分为以下部分:1客户端。客户端主要是使用户能利用可视化界面进行操作,发送文件或数据存储和读取命令到云存储平台并进行相应处理;2云存储服务端。服务端主要是对数据进行存储,然后对节点进行管理,通过服务端节点可以生成很多子节点;3中间接口和协议。云存储平台对外开放标准协议和接口,使用户或其他开发者能方便地使用云存储平台,在云存储平台基础上进行二次开发,从而能为用户提供更加丰富的服务。
3.2 分布式存储流程
为满足众多用户的 服务请求,对数据进 行分布式 存储,可有效减少服务器性能损耗,同时也可提高用户查询数据的效率。为了更好地进行分布式存储,需合理设计分布式存储流程和架构。存储流程主要分为以下步骤:1当用户通过客户端发送 请求后,需读取用 户信息的 相关文件,检查该用户是否存在,如果存在,则继续进行后续服务;否则返回用户不存在提示,结束服务;2当用户通过客户端向服务端发送请求时,携带用户IP地址和请求命令,并根据用户请求IP到特定服务器查询用户的相关数据和服务,从而实现分布式存储。
3.3 系统相关模块
如图1所示,云存储平台系统架构设计完成后,通过对云存储平台的分析,抽象出系统的3个主要子模块:1管理节点模块。该模块主要是对节点进行管理,使云存储平台节点能及时有效地响应客户端需求,同时通过对节点的管理,及时发现节点问题,从而提高平台有效利用率;2子节点。为更好地实现节点功能,可将节点划分为更加细致的子节点,各子节点任务间需要具有较高的无关性,从而能使各子节点间进行并行的任务处理,有效提高节点性能;3客户端。客户端是用户使用服务的重要工具,因此客户端不仅需要满足基本功能,还需具有一定美观性。
4 结语
云技术的出现,可使大量计算和存储过程都利用云技术加以解决。利用云技术不仅能使文件和数据方便、安全地存储在云端,而且能帮助本地节约大量资源。随着科学技术的不断发展,云存储平台将得到进一步完善,从而为人们提供更加方便、快捷的服务。
摘要：随着计算机技术的不断发展,互联网为人们提供越来越丰富的服务,只需具有基本的上网条件,即可方便地使用互联网提供的各种服务。尤其在云技术出现后,人们可利用云技术进行“云”存储。介绍了云存储的相关概念和特征,并论述了云存储关键技术和解决方法,最后探讨了云存储平台设计。
关键词：云技术,云计算,云存储,存储平台
云存储平台设计 篇2
摘 要：云计算的出现在极大程度上降低了个人计算机性能，放大了个人计算机的功能，以新的分配方式将资源进行重组，更好地满足现代网络教学管理所提出的需要。文章就云计算框架下的网络教学平台的设计与实现分别作了简要的论述，以期能够为云计算下网络教学平台的进一步建设和发展提供有效的参考和借鉴。
关键词：云计算;网络教学平台;教学资源
发展愈加成熟且普及程度不断提高的云计算模式，促进学校、教育机构以及个人信息处理的“云”模式进程，为网络教学的健康高效发展与建设带来巨大的推动力。在云计算模式下，一切信息和资源被封装成“云服务”形式，跨越时空的阻碍，传递到手机、PDA、笔记本电脑等信息载体上，信息接受者可以通过在线查看的方式，浏览或使用电子教案、教学视频、电子图书资源等信息。云计算的出现不仅进一步的满足了网络教学管理的需要，且极大的提高了教学资源的利用效率。笔者拟对云计算下的网络教学平台的设计和实现做出初步的探索，供相关人士参考。
云存储平台设计 篇3
关键词： 开放教育； 云存储； 资源推荐； 基于项目的协同过滤算法
中图分类号：TP31 文献标志码：A 文章编号：1006-8228（2013）01-12-02
Design of service-oriented open education cloud storage system
Zhang Xueyan
（Ningbo TV&Radio University， Ningbo， Zhejiang 315016， China）
Abstract： How to apply cloud storage technology in service-oriented open education is studied. A cloud storage service system for service-oriented open education is designed to solve the following two problems： resource storage and the problem of bored of study caused by information asymmetry in open education. The level of service of the open education is enhanced. Combined with the characteristics of open education， through the analysis on the concept of cloud storage， a cloud storage system which can recommend resources is designed. Project-based collaborative filtering algorithm for resource recommending is applied in it.
Key words： open education； cloud storage； resource recommended； project-based collaborative filtering algorithm
0 引言
互联网技术的迅速发展，为现代开放教育提供了新的教学手段，促进了开放教育的发展。在基于计算机技术、网络通讯技术的新型教学模式中，各种教学资源通过网络提供给开放式教育的学员自主学习的环境。但随着教学资源数量急剧增加及资源类型的多样化，产生了以下两个问题：①传统的资源存储方式无法适应实际需求；②学生无法获取或无法及时获取有效的资源或信息，即产生了开放教育中的信息不对称问题。
云存储技术的出现，为解决教学资源存储问题带来了曙光[1-4]。云存储专注于向各类用户提供基于网络的在线存储服务。云存储的核心是存储设备与应用软件的结合，利用应用软件实现存储服务[3-5]。本课题旨在设计面向服务（具有资源推荐功能）的云存储系统，以解决上述的两个问题。
1 云存储系统介绍
云存储是一个以数据存储与管理为核心的云计算系统。云存储由大量的同构或异构的存储设备组成，融合了虚拟化技术、网格技术、数据保护及管理技术，为用户提供按需分配的灵活方便的云存储服务[5，6]。云存储系统利用云存储技术把存储设备转换为存储服务。图1是一个云存储系统。
目前典型的云存储结构模型可分为存储层、基础管理层、应用接口层及访问层，如图2所示。
其中API是应用程序接口，iSCSI是互联网小型计算机接口，FC为光纤通道，NAS为网络连接式存储，P2P为对等存储系统。存储层位于模型的最底层，由许多多样的存储设备组成。存储层可以实现同构或异构设备的虚拟化管理。基础管理层是云存储的核心层，是最难实现的部分，对外提供统一的数据服务。应用层相对其他层来说较为灵活，在此可根据不同的需要提供不同的应用服务。访问层是云存储系统与用户的接口部分。
2 面向服务的开放教育云存储系统设计
服务于开放教育的云存储系统为私有云存储系统，即只有注册了学籍的用户才能访问系统资源。云存储系统面向学员提供基于web的访问方式，提供文件在线存储、备份、共享及多版本控制等功能，内部采用多种虚拟化技术，底层提供iSCSI、FC、NFS等API访问接口。
本系统的功能包括：教师通过上传资源来建设课程；学生可通过系统来完成作业并上传；系统根据不同用户的需求向用户推荐资源。
2.1 系统的总体结构
本系统涉及到管理员、教师用户及学生用户三类用户，这三类用户通过云存储系统对资源进行操作。系统另外提供一个推荐资源或通知通告的功能模块。具体的系统UML类图如图3所示。
图3中，User为三类用户的父类。File类包括文件和目录，具体由属性type来决定，type为true时为文件，false为目录；dir为路径信息，包含了文件或目录的名称。
2.2 系统的主要类功能设计
本系统主要类为用户类User，资源类File及系统功能类Recommender。其中User类是管理员类Administrator、学生StudentUser及教师TeacherUser三个类的父类。
⑴ Administrator类具有创建用户、删除用户、初始化用户密码、创建课程、指定课程责任教师、关联课程与班级、删除课程等功能。
⑵ StudentUser类具有上传作业及删除自己已上传作业的权限。本系统暂时考虑不允许学生用户上传资源。另外本系统还需要知道学生所在的班级，因此在此类中还需要class属性来说明学生所在的班级。
⑶ TeacherUser类具有上传资源，删除已上传的资源，批改学生作业及发布通知的功能。另一个教师可以教授多门课程，因此增加一个字符数组类型course来记录该教师所负责的课程。
上述三个类从User类继承的功能是修改自己的密码，下载文件或文件夹，重命名文件或文件夹。
⑴ File类是一个资源类，可表示文件或文件夹。包括文件编号，文件路径及文件名，权限信息，创建者，创建时间及最后修改时间等属性。其中，权限主要包括只读和读写两个权限，若文件夹为只读，说明该文件夹下不可创建文件或文件夹，也不能删除文件或文件夹，从而保证了资源的安全。文件编号id是一个系统自动生成的惟一编号，可标识File对象。
⑵ Recommender类实现系统的资源及通知通告推送服务。具体参考2.3。
我们在该云存储平台中提供了一个接口给在线作业系统，教师可以在线批改作业，具体由checkAssignment方法实现。
2.3 Recommender类设计
Recommender类是本系统最重要的类之一，是面向服务的具体体现，本课题主要参考文献[7]中个性化服务推荐的方式来实现。系统通过该类向学生发布信息，其中popNotice方法是直接向学生在该系统中登记的手机号码发送短信，并将通知的副本拷贝到学生所在的云盘目录中。而popResource类是把资源拷贝到学生用户所在的云盘相关目录中，并发短消息提示学生查看资源。
Recommender类中最主要的功能，同时也是最难实现的功能是个性化资源的选择，即为不同的学员推荐不同的学习资料。本课题组采用基于项目的协同过滤算法（Project-based Collaborative Filtering Algorithm， PCFA），计算出资源之间的相似性，得出目标资源的相似资料集合与利用加权和计算资料的预测评价分值。根据预测评价值的高低向学员推荐学员最偏好的前N个资源。系统的推荐流程图如图4所示。
计算当前资源可能评价值时，首先要计算资源间属性相似度，获得当前资源属性相似的资源，然后才能得到该资源的可能评价值。对于最后图4中资源下载到学员本地计算机，学员可以在个人设置处进行配置，可供学员选择的项有：
⑴ 自动下载（系统推荐）；
⑵ 询问后下载；
⑶ 显示资源列表，允许选择性下载。
对于top-N中N的值也可由学员自行配置，系统默认为10。在下载完成后，系统会给出一份已下载的资源列表，并提示哪些是教师推荐的资源。
3 结束语
本系统通过给教师和学生提供一个基于云存储的个人存储空间（云盘），初步实现了向学员个性化推荐资源及通知通告的功能，并且使得学生可在任何联网的计算机上完成自己的作业。初步解决了远程教育中由于信息不对称而引起学员学习热情下降的问题，在本课题组给出的500份调查问卷（有效问卷为378份）中，79.4%的成人学员肯定了资源推荐对于学习积极性提高具有非常重大的意义，认可了本系统的资源推荐服务。
目前系统存在的主要问题是无法获知学生对推荐给他们的资源是否满意或还需要哪些资源。在今后的工作中，我们将会在Recommender中再增加一个学生对推荐资源的认可度的参数，返回给Recommender系统用以校正相似度参数，为学员提供更好的资源推荐服务。
参考文献：
[1] 刘鹏.云计算[M].电子工业出版，2009.
[2] Armbrust M，Fox A，Griffith R，et al. A view of cloud computing[J].Communications of the ACM，2010.53（4）：50-58
[3] 刘贝，汤斌.云存储原理及其发展趋势[J].科技信息，2011.5： 470-471
[4] 高宏卿等.基于云存储的教学资源整合研究与实现[J].现代教育技术，2010.3：97-101
[5] 郅斌.一种私有云存储系统的设计与实现[D].北京邮电大学，2011.
[6] 王丽娜等.一种适于云存储的数据确定性删除方法[J].电子学报，2012.2：266-272
企业云平台存储资源池设计与实现 篇4
进入云计算时代,IT平台的建设已进入业务需求多元化、建设要求快速化的新形态。传统IT平台的建设周期长、设备利用率低,业务连续性保障机制、容灾机制较弱,而维护复杂性却越来越高［１］。同时各平台基本采用配置独立SAN交换机和磁阵供内部主机使用的方式,使存储自成一体,这种构建方式极不利于新业务平台的及时响应和快速部署。
1需求分析
经过多年建设,某运营商现有各类业务平台40多套, 这些平台分别建设,具有各自独立的服务器、网络设备、存储设备和备份资源。大部分设备的资源利用率很低,存储容量无法在各平台间共享,不能实现统一的调度管理,存储资源整体利用率低,无法实现异构存储平台之间的迁移和复制,复杂SAN环境中的存储资源无法采用统一的容灾策略。
业务量的不断变化,需要下线部分平台,有些平台需要扩容服务器和存储,而新业务需求又要投资建设新平台,这样的建设需求往往很急迫,需要及时响应、快速部署。同时多业务融合需要平台间共享数据,逐步实现统一数据库管理和用户视图。传统模式下的信息孤岛,已不利于业务平台的统一整合和大数据挖掘分析［２］。云计算时代,将计算资源、存储资源、网络资源虚拟化,构建统一的虚拟资源池,实现按需分配,满足业务平台的快速部署已成为必然。
2云平台架构
云平台的硬件资源以高性能刀片服务器和大容量存储设备为基础,利用部分性能较好的下电服务器和存储设备。通过VRM (Virtualization-Resource Management) 模块和CAN(Computer Node Agent)虚拟化软件对每台物理服务器进行虚拟化处理,将单台服务器虚拟为多台虚拟主机,每台虚拟主机都拥有自己的硬件资源［３］。在云平台中,虚拟机以文件的形式统一存放在存储资源中,每台虚拟机通过物理相连的光纤交换机与统一存储资源池进行数据传输,确保了虚拟机与存储资源池的无障碍交互, 其总体架构如图1所示,分为基础设施层、存储资源层和核心应用层。
硬件基础层基于华为FusionComputer的虚拟化架构,包括存储、物理服务器和网络设备。每台物理设备通过虚拟化组件实现资源虚拟化,所有设备通过部署VRM软件的节点集中管理、监控与调度。
存储资源层以华为OceanStor S3900和S5900为主, 同时通过物理服务器的虚拟化将硬盘也纳入虚拟化存储资源池,提供块状存储能力。资源池中除配置这些存储外,部分已有的空闲存储也纳入资源池共享使用,最大限度发挥存储资产的功效。
核心应用层对云平台中的软硬件进行全面监控和管理,向外提供资源的分配与回收、云主机快速部署、资源监控和统计报表等功能,实现各类资源的自动化发放和基础设施的自动化运维管理。
3存储资源池实现
3.1存储资源层规划
云平台的存储配置主要由华为OceanStor S3900、 S5900和S6800E磁阵组成,总容量达到53T,采用SAN存储网络方式,磁盘阵列配置等级为RAID5。RAID5能提供良好的传输速度和数据保护,在磁盘阵列的配置中得到广泛使用。 存储的主机组、RADI级别、RAID容量、 LUN容量等规划如表1所示。
3.2光纤交换机规划
光纤交换机采用高性能的HP AM866B,配置光电端口、接入多模光纤,并支持网络远程管理,实现对端口状态的监控和交换机的设置,所有端口同时全线速工作,全双工状态。云平台的光纤交换机、存储链接规划如图2所示。
在SAN存储网络中,Zone技术非常重要,设计好Zone能消除许多常见问题,同时还能充分发挥系统性能。 光纤交换机上的Zone功能将连接在SAN网络中的设备从逻辑上划到不同的区域,不同区域中的设备不能直接互访,从而实现设备的隔离［４］。
3.3存储性能测试
通过使用IO Meter测试工具,在特定业务模型下测试虚拟主机的虚拟磁盘IO性能情况。
测试场景:S6800E:7+1RAID5,15000SAS,如表2所示。
测试场景:S3900:7+1RAID5,10000SAS,如表3所示。
虚拟机在16K、60%Wirte、100%Random的业务模型下,在队列深度为1和32的情况下,能够获取的IOPS和MBPS均处于正常水平,可以满足虚拟机正常业务的存储性能需求。
队列深度指标主要衡量系统并发处理IO的能力,IO延迟随着队列深度的增加而增加。随着IO数目的增多, 存储设备提供的最大IOPS处理能力也会很快达到［５］。 因此队列深度为1的情况更多表明,单个虚拟机运行正常业务时能够获取的最大IO能力;队列深度为32的情况更多表明云平台能够获取的单个存储设备(主要指LUN)上的最大存储能力。以上述获取数据为例,LUN采用9+1磁盘RAID5方式组成,单盘为SAS 10000转,按照通用标准,该LUN提供的IOPS能力粗略计算为:150*10= 1500IOPS,这和实际测试的数据基本一致。
通过测试结果可以看到,云平台虚拟机的存储性能正常,完全能满足业务系统的各项要求。
4结语
本文云平台已承载十多套业务系统运行半年有余,尚未出现故障。构建统一的云平台和存储资源池,可减少相互独立或闲置的平台,简化存储基础架构。统一存储资源池能为SAN内的多个应用提供共享存储服务模式,从而提高存储利用率,具有灵活的可扩展性、良好的性能以及数据可用性,避免了各个业务平台独立建设带来的弊端。 该云平台具备全面操作与维护功能,提供了较为完备的基础设施虚拟化能力和大容量的存储资源池,有力支撑了运营商业务的稳定可靠运行。
参考文献
[1] 石屹嵘,段勇.云计算在电信IT领域的应用探讨[J].电信科学,2009(9):24-28.
[2] 石磊,部德清,金海.Xen虚拟化技术[M].武汉:华中科技大学出版社,2009:5-10.
[3] 耿昌兴.基于Hadoop的新校区云计算存储服务平台设计与研究[D].天津:天津大学,2012.
[4] 梅圣民.云计算存储安全技术研究[D].长春:吉林大学,2014.
云存储平台设计 篇5
关键词：国土资源档案；基础构建云；平台云；应用云
国土资源档案是指国土资源主管单位及下属单位在开展各项专业工作中直接形成的、具有保存价值的各种文字材料、图纸、图表、声像等原始记录。同时，国土资源档案涵盖了土地、地质、矿产、测绘等各类具有地理位置特征的空间数据档案，数据形式呈现海量多源异构的特点。国土资源档案承载着国家的土地、矿产等国家基础资源信息，在社会发展中发挥着重要的基础作用。目前，信息化建设已成为国土资源档案建设的关键和核心，许多国土资源档案部门的信息化建设年度预算已达到数百万元至数千万元。
以广东省为例，省级国土资源档案馆和市县级国土资源档案保管部门，都是以单个档案部门为单位进行信息化建设的。各单位都投入了大量的资金进行数字档案馆信息化建设，从机房设施（数据中心）建设、购置大量网络设备和存储设备、网络安全等设备，到海量空间数据加工、数据资源整合、档案网站建设、开发国土资源档案信息管理系统等，虽然极大地推动了本部门的国土资源档案信息化进程，提升了信息化水平，但同时也看到，由于每个地方经济发展水平不同，档案信息化建设水平参差不齐，存在着档案信息资源整合困难、共享程度低，档案信息知识管理与服务手段落后等一系列的问题。方昀、郭伟认为，在信息时代有大量的数据存储需求并且要求能快速获得，导致了数据中心的大量增加。[1]如何使海量国土资源数据得到更好的应用，如何破解以上这些问题，云计算技术给我们提供了崭新的思路。
1 云计算典型层级介绍
经过近几年的大力发展，云计算技术在各行业的应用已较为广泛，云计算技术的概念也深入人心。简而言之，所谓云计算，是指基于互联网、通过虚拟化方式共享信息资源的新型计算模式，使计算、存储、网络、软件等资源，按照用户的动态需要，以服务的方式提供。SUN 公司在《云计算架构介绍白皮书》中也提到：云计算把虚拟化、按需部署、网上服务提供和开放源软件融合在一起。[2]
近年来，云计算技术的迅速发展对档案信息化进程产生了越来越重要的影响。运用云计算机技术，搭建省级和市级两级档案的沟通桥梁，加速现代档案理念与新信息技术的融合，是本文研究的目的。
云计算可以按照用户对资源和计算能力的需求动态部署虚拟资源，不受物理资源的限制。用户基于云的计算和应用工作全部在虚拟化的资源上，不需要关心资源部署在哪些物理资源上，用户可以方便地变更对计算资源的需求。云计算统一管理大量的物理资源，并将这些资源虚拟化，形成一个巨大的虚拟化资源池。云计算可以分为三种类型的云，亦即表述为基础设施即服务（Infrastructure as a Service，“IaaS”）、平台设施即服务（Platform as a Service，“PaaS”）和软件即服务（Software as a Service，“SaaS”），构建一个完整的云平台，如图1：
第一层次（“IaaS”）搭建基础设施云：对分布在大量计算机和存储设备（包括本地或远程设备）上的计算资源和存储资源（包括内存、I/0设备、计算能力CPU、带宽、存储等）集中起来形成一个虚拟的资源池，采用虚拟化技术整合设备资源，构建基础数据中心。
第二层次（“PaaS”）需要搭建一整套平台运行环境，包括开发环境、应用程序运行环境、数据库环境等，作为一个综合环境平台，以服务方式提供给用户，由后者在该环境中开发和部署自己的应用程序，再通过互联网提供服务。
第三层次（“SaaS”）就是通过网络（Internet）提供应用软件的服务模式。其特点是：供应商将应用软件部署在自己的服务器上，通过Internet提供给用户。用户不用再购买或者重新开发应用软件，而通过一些协议，可直接在网络上使用这些应用软件。目前网络上多数是按租用的服务类型和时间付费使用软件。
2 构建省级国土资源档案云平台
本文以广东省国土资源档案云平台为例进行研究。关于档案云平台方面的研究，祝庆轩等认为，“云档案馆”作为一新生事物，可以作如下定义：以互联网为平台，运用云计算技术和理念，向用户提供服务的虚拟档案馆。[3]广东省国土资源档案馆保管省级国土资源档案数据，对省内各地市的国土资源档案业务进行指导，省级与市级的档案保管职能属于上级与下级的关系，以省馆为中心，辐射各市。
网络方面，广东省国土资源政务网络已开通，省馆与市馆的业务可以直接在政务网络上进行；硬件资源方面，省馆已建成网络机房，有网络设备和存储设备若干台，具有一定的规模；软件资源方面，网络安全软件、服务器运行环境软件、数据库管理平台、档案管理平台和各类应用系统都已具备；而市馆则因各地经济发展水平不一致，信息化水平差别较大，但总体来说都属于较低水平，有些地方由于人才缺乏、经费紧张，根本就没有信息化成果。在这些情况下，依托省馆现有的信息化设备和各类资源，构建区域性的省级国土资源档案云平台（包括云存储平台），其他市馆可以利用省级云平台提供的各类资源，实现对本单位的档案数据在云存储平台上管理，直接应用云平台的应用系统而无需重新开发，达到快速提升档案信息化水平的目的。
通过对云平台基本原理的理解，省级国土资源档案云平台应属于区域性的私有云，搭建该平台，可以从“三朵云”的部署着手，即基础架构云（Infrastructure Cloud）、平台云（Platform Cloud）和应用云（Application Cloud）。
2.1 省级国土资源档案基础架构云。首先要摸清省馆与市馆（包括本地或远程设备）机房设备的硬件资源（计算资源和存储资源），了解各类设备上的资源信息（包括内存、I/0设备、计算能力CPU、带宽、存储等），采用硬件虚拟化技术，对列入云平台的计算机或操作系统进行虚拟化，形成一个虚拟的资源池，构建硬件虚拟平台。如图2：
通过虚拟化技术构建的省级国土资源档案基础架构云是以虚拟机的形式，安装在基于政务网络的虚拟机上。根据百度百科的介绍，虚拟化技术可以同时运行多个操作系统，而且每一个操作系统中都有多个程序运行，每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上。[4]构建国土资源档案基础架构云，主要形成以下四种虚拟效果：
虚拟内存：将不相邻的内存区，甚至硬盘空间虚拟成统一连续的内存地址。
存储虚拟化：将实体存储空间（如硬盘）分隔成不同的逻辑存储空间。
网络虚拟化：将不同网络的硬件和软件资源结合成一个虚拟的整体。
存储器虚拟化：将网络系统中的随机存储器聚合起来，形成统一的虚拟内存池。
这样，省级国土资源档案基础架构云通过网络就可以提供CPU、网络和存储等计算服务，市级馆的用户可以将操作系统和应用程序安装在省级国土资源档案基础架构云上。同时还可以实现基于IP的VPN广域网及通讯服务，所有虚拟客户端的用户都可以通过网络接口来管理自己的虚拟资源。
2.2 省级国土资源档案平台云。平台云也就是平台即服务（PaaS）。从网络化应用系统宿主环境的视角出发，平台云是支撑网络化应用/服务开发、部署、运行和管理的一系列中间件系统的合体平台。省级国土资源档案平台云是在基础架构云的基础上进行搭建的，它提供了一个位于云架构上的硬件和软件集合，从而为档案管理的用户提供档案业务应用系统开发环境，以及相应的档案管理系统建设所需的主机环境及档案管理系统基础架构。主要包括操作系统、平台数据库、档案应用开发环境和档案业务管理架构四种类型的平台云集合，如图3：
操作系统：共享的操作系统虚拟化允许多个不同应用在一份操作系统拷贝的控制下隔离运行。在省级国土资源档案云平台建立的根操作系统，或称为宿主操作系统，通过划分其特定部分，成为一个个隔离的操作执行环境，供程序运行。将操作系统资源访问虚拟化，对省级馆而言，它是运行于自己的独立的操作系统实例中；对市级馆而言，又可以提供上层应用的命名空间、资源进程需求等，使不同级别的用户存在于一个操作系统内核和硬件资源中。
数据库：在省级国土资源档案云平台上创建云数据库平台，使各级用户可以快速使用和管理数据库，无需再对服务器安装数据库软件，在平台云上，市级馆的用户只需要选择自己想要的数据库软件，点击安装，就能把数据库安装到服务器中。
档案应用开发环境：在省级国土资源档案云平台上，统一配置国土资源档案开发与应用的环境，其他用户只需在平台上直接使用该环境，而无需自己构建开发环境。
档案业务管理架构：对于国土资源档案而言，省级和市级馆的业务基本上是一致的，只需在平台上定制开发好档案业务管理流程，不同用户就可以直接使用，无需再开发。
2.3 省级国土资源档案应用云。在云计算的典型层级里面，应用云亦称为软件即服务（“SaaS”），也可称作应用即服务（“AaaS”）。在这个层级里所进行的事情，就是将整个应用集合虚拟化并提供给最终用户。省级国土资源档案应用云要构建的，就是把国土资源档案管理系统和利用系统整合集成并在云平台上虚拟化，最终直接提供给各级档案部门使用。
广东省国土资源档案“一张图”云服务平台，是最终要在省级国土资源档案应用云中体现的应用系统。平台框架以IaaS（基础设施即服务）和PaaS（平台设施即服务）为基础，基于GIS技术管理空间数据库。平台将面向广东省国土资源档案馆和全省21个地市的国土资源档案部门提供三方面的服务：国土资源档案“一张图”公共服务平台面向公众，提供最基本的档案目录服务，以后可以进一步拓展至互联网，实现国土资源档案公有云的服务；国土资源档案管理与利用服务平台保障各级各档案部门对档案数据进行技术保管并提供给外界应用；国土资源档案数据中心可以对国土空间数据档案进行多源异构数据处理（包括矢量数据格式转换、坐标转换、位置匹配、拓扑检查、叠加分析等）、数据编辑和更新维护以及第三方公共服务集成起来。平台系统架构以SOA规范为基础，以OSGI标准对各个服务进行统一封装，为服务提供者提供统一的服务发布功能，为服务提供者和消费者之间提供统一的通信方式。
3 结语
广东省已经具备构建省级国土资源档案云平台的三个典型层级的条件，基础设施即服务（“IaaS”）是对硬件资源的整合，形成资源池，平台即服务（“PaaS”）则是对硬件资源的补充和切合，两者共同形成了构建应用即服务（“AaaS”）条件。广东省国土资源档案馆已经基本完成了第三层级的平台软件开发。构建省级国土资源档案云平台优点不言而喻：实现全省档案信息资源共享，在档案部门之间共同构筑档案信息共享池。各级档案部门可以分享由省级云平台提供的基础设施，以极低的成本投入获得极高的运算能力，克服服务器访问限制的瓶颈，不再需要为了满足用户需求花费大量的资金购买更高级别的服务器等相关的硬件。另外，还可以解决各地档案部门信息化人才短缺的问题。因此，构建广东的省级国土资源档案云平台将为未来国土资源档案信息化提供宽广之路。
参考文献：
[1]方昀，郭伟.云计算技术对档案信息化的影响和启示[J].档案学研究，2010（04）：71～72.
[2]SUN公司.云计算架构介绍白皮书[M]，第一版，2009（6）：2.
[3]祝庆轩，桑毓域，方昀.基于云计算的档案信息资源共享模式研究[J].兰台世界.2011（7）：8.
[4]百度百科，虚拟化技术.[2013-08-12].http：//baike.baidu.com/view/13605.htm？fr=aladdin.
云存储平台设计 篇6
关键词：云储存,移动应用,视音频实时预览
快速变化的外部环境、不断更新的信息资源、即时交流的业务需求, 不断促使着信息化的进程。在这个高节奏的社会中, 信息是否能得到及时获取和处理在很大程度上关系着企业的成败。
移动云存储平台通过云服务的应用模式, 提供了跨网络、跨终端的一体化存储、访问、分发的服务, 让企业员工彻底摆脱时间和地点的局限, 进一步提升企业的信息化水平。
1广电云移动存储平台的架构
广电云移动存储平台解决企业用户信息访问无处不在, 随时随地通过PC、手机、平板电脑来访问和共享文档、资料及相关企业应用, 安全、合理、高效的为用户提供存储资源。借助于无处不在的移动无线网络, 实现数据无处不在, 应用无处不在, 随时随地办公, 提高工作效率。
广电云存储移动平台整合现有的软硬件资源, 打造具有广电特色的、移动便捷的、安全私有的应用平台。从建设初期就总体规划建设一个有利于今后应用扩展的基础平台架构, 以移动互联网信息门户为统一接入平台, 在移动终端上安全集中地呈现企业各项移动应用。
为了解决企业用户信息访问无处不在、安全无处不在的需求, 云存储平台采用了“终端接入层+应用服务器云层+存储数据交换层+云存储数据单元层”核心硬件体系, 以及由趋势科技Safe Sync for Enterprise软件应用和防护体系, 来满足应用服务以及企业用户对于通过移动类终端进行数据的传输、存放、迁移和备份等多种诉求。
终端接入层:终端接入层包括有线接入和无线接入两个方面, 云盘服务包括存储备份、云端共享、打包传输、自动同步等功能, 将用户的需求提交给位于应用服务器云层的云盘。
应用服务器云层:应用服务器云层硬件构成由云盘应用服务器集群和数据库服务器集群组成, 应用软件平台包括操作系统平台和云存储应用服务器系统, 用来支持云盘应用服务, 提供上传下载、存储管理、对象操作、用户管理、认证授权、存储策略管理、统计等功能, 一对一共享、云端共享、磁力链接传输、自动同步、盘符形客户端等功能的同时, 对外提供访问接口。
存储数据交换层:采用双链路结构, 存储交换机进行双点配置, 采用IP SAN架构, 充分考虑存储数据交换的链路瓶颈, 采用端口汇聚、流控、负载等技术。
云存储数据单元层:云存储数据单元层由两台云存储分布管理服务器和多个云存储单元 (存储服务器) 组成, 通过云存储分布管理服务器配置的云存储分布管理系统对存储服务器组成的云存储集群池资源进行有效管理。云存储数据单元层设计上整合系统中所有可用存储资源通过云存储分布管理系统连接成池, 构造一个海量存储系统。
2广电云移动存储平台的安全设计
目前, 有多家互联网公司推出了公有云存储平台, 那么企业用户为什么要自建企业级的云存储平台?
通过企业云盘和共有云盘对比表可以看出, 企业云盘主要解决公共网络云盘系统数据安全性、保密性以及服务可持续性等方面的隐患, 在便捷性的同时确保存储信息安全和可靠。
广电云存储移动平台依托企业接入的互联网和办公网, 在互联网接入区域设立DMZ高安全区, 采取安全防护手段, 在无线互联网区和局域网不同安全域间构造了一个安全地带, 确保局域网内网的网络信息安全。在DMZ区内部署无线移动应用平台及云存储系统、监听监看回放系统等相关应用系统的外网访问服务器。
广电云存储移动平台是安全和开放的应用平台, 集成了各个移动信息化办公和节目生产管理系统应用的主体框架, 采用了LDAP统一认证, 不仅实现单点登录、分散授权、对外提供相关接口服务, 还可接收其它平台的消息、支持IOS和Android智能终端操作系统的交互, 支持调用其它第三方应用程序。在开发环境上, 前端采用HTML5体系结构、数据库使用企业级Oracle, 后台开发采用JAVA技术及J2EE体系架构, 保障系统的数据安全。
3广电云移动存储平台的关键技术
广电云存储移动平台不仅具有云盘的基本功能, 还具有广电行业的特色。
3.1团队文件夹提高团队协作力
现代化企业中, 团队协作往往成为企业成败的关键, 团队合作比独自工作更有效率。而团队协作中往往需要进行数据共享, 资料信息及时快速的送达。广电云存储移动平台提供了团队文件夹 (Team Folder) 分享的文件或文件夹。用户可以隶属于某个团队或多个团队, 这样用户可以便捷地浏览和维护这些授权团队文件夹中共享的文件信息;而当用户把文件上传到团队文件夹中, 所有团队成员都能第一时间获得新文件, 这样使所有团队成员能够实时获取版本更新, 保证队员间所持文件版本一致性, 提高与同事、客户和合作伙伴协同办公的效率, 有效提升团队协作力。团队文件夹还可以实现版本管理等功能, 用户可以便捷获取各个时期文件内容的变迁。
3.2视音频实时预览技术
广电行业需要存储和分享大量高品质的视音频文件, 但是这些高码率的视音频文件对于具有互联网的云存储平台是极大的挑战。为了让用户能够更便捷、实时地分享到视音频文件, 合理使用互联网的有限带宽, 需要第一时间在后台对上传到云存储中的视音频文件进行转码, 并以流媒体方式向用户提供这些视音频的预览, 让用户即使在有效的互联网带宽下也能流畅的搜寻、预览视音频资源。
广电云移动存储平台采用了FFmpeg开源跨平台的视频和音频流方案。FFmpeg集成录制、转换以及流化音视频的完整解决方案, 它是一个开源方案, 属于自由软件, 采用LGPL或GPL许可证。FFmpeg支持MPEG、Div X、MPEG4、AC3、DV、FLV等40多种编码, AVI、MPEG、OGG、Matroska、ASF等90多种解码。
FFmpeg包含了多项功能:
●Lib AVCodec:先进的音频/视频编解码库;
●Lib AVFilter:过滤器, 包括水印等功能;
●Lib AVFormat:mux/demux对音视频格式进行解析;
●Lib AVUtil:常用的算法工具函数库;
●Lib Postproc:视频预处理函数库;
●Lib Swscale:视频场景比例缩放、色彩空间映射转换等。
视音频实时预览技术主要依赖Lib AVCodec和Lib AVFormat功能库。Lib AVFormat是一个包含了所有的普通的音视频格式的解析器和产生器的库。它提供AVInput Format、AVOutput Format和AVFormat Context接口。
3.3与广电业务平台互联互通
广电行业正面临传统媒体和新兴媒体加速融合期, 强化互联网思维, 以互联网技术为依托, 充分利用新技术新应用创新媒体传播方式, 占领信息传播制高点, 挖掘移动互联网资源成为当前广电行业的共识。
广电云存储移动平台利用互联网资源和时空优势, 第一时间为传统业务和新媒体业务提供便捷快速的节目素材和新闻稿件, 推进节目形态及内容生产。
新兴媒体的崛起, 广电行业将产生更多的多媒体数据, 更多类型的业务系统, 更多跨平台的应用数据共享, 不仅对数据容量的要求越来越高, 同时作为广电重要资产, 数据的安全性也至关重要。云存储移动平台具备了海量存储容量、高扩展性、高安全性、数据共享功能, 可以轻松实现数据的安全备份和异地容灾。
4结论
云存储平台设计 篇7
移动云计算是一种提供一组共享的计算资源的方法, 用户可以通过连接的智能移动设备访问在云端的应用程序。云端拥有大规模的数据中心, 计算资源如果可以动态总署并共享, 可以显著实现节能高效的规模经济。当前, 云计算的应用主要体现在客户可以直接从“云”里 (服务器端) 获得计算能力, 并按照使用情况付费。为了满足民生领域的信息化服务需求, 智慧城市建设中需要集成居民生活、生产、生活和管理的信息环节, 大量数据需要存储、访问。云数据通信中心主要依靠云存储区域网络来达到云存储设施之间的数据传输。提出动态云的智慧城市移动应用平台架构, 将尝试将一些客户端纳入云中, 通过虚拟化客户端资源, 提高云存储网络的安全性, 可用性和有效性和扩容性来达到数据访问的同时保护数据的安全, 将云中心的部分数据存储压力合理转移, 减少中心建设的成本, 是本文讨论的关键。
1 云计算在智慧城市中应用现状介绍
“智慧城市”是指能够充分运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息, 从而对于包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能的响应, 为人类创造更美好的城市生活。智慧城市的发展, 从技术的角度来讲, 应该是用最小的资源实现需要的功能, 满足用户真正的具体需要来达到目的。城市是一个高速的物流、人流、信息流、资金, 人通过信息流来控制城市的运转。城市建设中需要将人与人、人与物、物与物的关联, 通过物联网及智能感知手段关联起来。我们的物理基础建设, 如机场、公路, 水电气相关设置等与我们的宽带、个人电脑, 数据中心是分开建设的。如何有效的规划、管理, 以改善我们现有的管理运营生态, 从局部应用上升到更多层面, 需要理性的思考和审慎的决策。
智慧城市建设中的基于云服务的医疗服务, 可建立庞大的医疗、医药云, 实现用户的实时问诊;基于云服务的地理信息服务, 以云服务的方式向移动智能终端设备提供有关地理位置、拥堵情况、道路选择、公里测算等智能化的应用服务;另外, 当移动云服务与物联网互联时, 用户使用移动智能终端将能够拥有非凡的用户体验, 如用户可以随时随地的与家中的任何设备进行通信联系, 建立自己的云档案, 实现智能家庭、智能办公、智能健康等。
2 智慧城市建设中的云存储
智慧城市建设面临海量信息数据如何存储的问题, 而云存储可以在网络上方便快捷的存储处理这些信息。云存储实际上是在云计算机概念上延伸和发展出来的一个新的概念。它是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。云存储不仅仅是一个硬件, 而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心, 通过应用软件来对外提供数据存储和业务访问服务。云存储有两个不同层面的含义, 一个层面是指借助于云计算理念和技术提供存储服务, 如google的picassoweb在线照片存储服务;另一层面则为实现云计算机系统提供存储技术和支撑, 如网络文件系统、分布式文件系统和高性能并发文件系统 (HFPS) 等技术。
云存储的两个层面是作为云计算支撑的存储计算, 主要涉及分布式存储 (如分布式文件系统、IPSAN、数据同步、复制) 、数据存储 (如重数据删除、数据压缩、数据编码) 和数据保护 (如RAID、CDP、快照、备份与容灾) 等技术领域。和云安全技术一样, 云存储技术也需要利用现有的所有存储技术对平台进行分层架构, 同时对架构中的各个环节采用适当的存储技术, 才能取得最佳效果。
3 智慧城市动态云架构
数据存储在任何IT机构中一直是关键的问题。存储是复杂和昂贵的。在动态云环境中, 云存储是一种将存储抽象为定义良好接口的技术, 可以以自助服务的方式管理。智慧城市的动态云架构涉及客户端数据动态存储、客户端数据动态处理和客户端资源虚拟化三个方面。
数据动态存储是将企业客户端的数据存储能力结合到数据中心, 在用户使用时, 作业服务提供给其他客户使用, 包括用户或者其他第三方企业。智慧城市移动云架构如果是强数据中心, 弱客户端的架构, 那么, 如图1, 最终用户都是和云中心互动, 所有数据都需要汇集到云中心平台处理。而如果采用动态云架构, 那么, 如图2所示, 最终用户似乎都是和云中心互动, 实际是云中心只提供中转, 具体数据存储或处理可以到第三方企业终端调取, 弱化了云中心的存储和处理数据的能力。对于用户来说, 没有感觉到明显变化, 因为用户无需了解云中心的具体架构。在不需要和用户交互时候, 该架构可以从图2收缩成图1;需要和用户交互时, 又恢复到图2架构, 实现动态云架构。
4 智慧城市移动云存储平台建设原则
平台是战略的基础, 建设智慧城市, 提供各种便民应用服务, 涉及到国情民生和各职能部门, 必须谨慎, 充分考虑可管理性, 可成长性, 可扩充性, 需要一个成熟高效的数据存储平台作为支撑, 这个面向未来的的智慧城市移动服务存储平台框架, 需要充分考虑各方数据的融合处理, 还要考虑业务流程的处理, 尽可能减少在后期因为需求和技术变化而产生的重复性投入。
4.1 依托整体的战略规划部署应用
信息建设的发展需要高速的宽带网络和智能平台的支撑。智慧城市建设的重点是消除信息孤岛和利益壁垒。城市的公共研究设施资源、公共数据资源、公共服务资源需要统一建设, 真正实现信息共享, 系统共生, 为了更好的为各种智慧应用服务, 统一的的规划和部署显得尤为重要。
4.2. 依托统一的技术标准拓展应用
建立智慧城市移动应用信息化架构标准, 有助于协调各方资源, 实现包括公共安全、政务、医疗、交通、文化教育、旅游、农业、园区、环保、物流等诸多城市公共系统的信息共通共享, 实现跨系统应用集成, 跨部门信息共享, 最大限度的开发、整合和利用各类信息资源, 实现移动应用集成化, 进一步将智慧城市移动应用推向更高的深度和广度发展, 进一步丰富服务民生的各个应用。
5 云存储平台体系架构设计
5.1 平台的体系架构
智慧城市动态云存储平台体系设计以“统一架构、统一支撑、统一管理”为基本思路。通过整合现有数据资源, 重视移动应用信息的共享和业务的协调, 逐步实现各类信息的整合集中与共享, 避免重复建设。智慧城市移动云存储服务平台整体体系着眼于提升政府服务效率、节约政府管理成本, 在需求最迫切、最易实现的领域开展移动应用项目建设, 以点带面, 重点推进, 同时加强安全意识, 保证信息安全。
智慧城市移动应用云存储平台的体系框架以标准规范体系为保障, 分为数据服务层、数据管理层、数据存储层、用户访问层共四层 (如下图所示) 。
数据存储层提供智慧城市移动应用领域的数据支撑。存储设备可以是FC光纤通道存储设备, 或是NAS和ISCSI等IP存储设备, 或是SCSI或SAS等DAS存储设备。云存储中的存储设备数量庞大, 分布区域多, 彼此通过网络连接, 存储设备之上是一个统一存储设备的管理系统, 通过存储设备的虚拟化和多链路冗余管理, 以及硬件设备的状态监控和故障维护等, 实现云存储的基础部分。
数据管理层通过集群、分布式文件系统和网格计算等技术, 实现多存储设备之间的协同工作, 提供更强更好的数据访问性能, 通过DDN内容分发系统, 数据加密技术数据安全, 数据备份和容灾技术可以保证数据不会丢失。考虑用户信息安全, 实现各类信息的整合与集中, 聚合业务数据并具备副本数据服务二次封装整合的集成能力。
数据服务层提供了对用户、对设备、对应用的综合管理服务, 并在此基础上提供统一应用、内容发布、接入控制、用户验证等关键服务接口, 为智慧城市移动应用打造完善全面的移动数据服务体系。
用户访问层解决用户对数据的访问问题, 如个人空间服务、运营商空间租赁等。企业单位访问数据归档, 视频等。根据智慧城市移动应用领域的业务需求, 为政府、企业和市民提供精细化、智能化的数据访问和信息推送服务。移动数据访问应用包括政务、公共安全、能源、交通、文化教育、农业、企业等领域, 面向政府人员、企业人员, 普通市民主要实现移动办公和现场移动作业等。移动服务应用主要面向市民和企业, 提供对外客户服务, 延伸政府及企业服务窗口, 借助先进的移动互联网技术, 为市民和企业提供全面快捷的社会服务。
5.2 平台的存储方法
移动云存储平台的云中心, 涉到大海量的数据的管理, 为了满足不断变化的存储需求, 云存储平台的存储管理方法有三种。
直接连接存储 (DAS) :存储设备在本地总线上完成, 存储设备可能是计算机内部的硬盘存储器, 或是外部驱动器, 或者可能是在服务器上或专用服务器上共享的网络资源。多台机器可以共享存储, 但DAS通常不能被其他服务器直接访问, 在DAS的布置中, 一般不能共享数据, 但可以让一组用户访问。
存储区域网络 (SAN) :存储设备互相连接的高速网络。这些存储设备可以是服务器、光盘驱动器或其他存储介质。用户的局域网或广域网上的所有设备都可以访问那里的所有存储设备。它需要大量的配置和安装支持。
网络可寻址存储 (NAS) :NAS通常被构造为特殊的计算机, 被连接到网络上, 为其他计算机提供基于文件的存储。它是一种采用直接与网络介质相连的特殊设备实现数据存储的机制, 它容易安装, 并提供了可靠的文件级数据整合。NAS在数据必须长距离传送的环境中可以很好地发挥作用, 但没有SAN高速。如果对数据管理程度要求较高;网络中有异构平台就可以考虑NAS。
6 结论
智慧城市的发展离不开各种新技术和新模式的应用, 构建一体化移动应用数据资源中心, 需要政府和企业不断协调和规划, 尽管商业化的云存储平台像如亚马逊等, 能够提供成熟的解决方案, 在具体的部署数据规划时, 仍然需要考虑哪些应用和数据出于保密和安全的考虑存储在政府或企业内部, 哪些存储在公共云中, 而只有公共云部分才能考虑运用动态云技术。运用动态云, 将智慧城市建设中第三方企业终端是否纳入云中心来实现云存储平台动态的扩展和伸缩, 实现处理和资源化, 可以减少硬件成本, 降低网络性能要求, 它是值得考虑和研究的问题, 如何提高访问速度和效率, 真正实现城市信息资源数据共享应用, 是智慧城市移动应用建设始终要面对的问题。移动云存储平台仍然需要围绕各个架构层面以及用户、设备等, 以硬件加密和安全证书等安全措施为系统安全基石来规范智慧城市移动信息化建设。
摘要：智慧城市建设一般采用“云—端”模式, 架构采用强数据中心 (服务端) , 瘦 (弱) 客户端模式。本文从减轻云数据中心的数据存储、数据处理、资源配置等压力出发, 考虑动态云的智慧城市移动云存储平台架构, 考虑将一定存储能力和处理数据能力的企业客户端, 根据需要, 结合到云数据中心, 使云中心动态的扩大或缩小, 同时讨论了基于动态云的智慧城市移动云存储平台的架构设计及存储管理方法, 该架构具有一定的应用意义。
关键词：动态云,智慧城市,移动应用,平台
参考文献
[1]John W.rittinghouse James F.Ransome云计算实现、管理与安全[M], 机械工业出版社, 2010.5
[2]周洪波云计算技术、应用、标准和商业模式[M], 电子工业出版社, 2011.06
云存储平台设计 篇8
2010年开始, 广电宽带用户井喷式的发展。时至今日, 随着三网融合业务的开展, 广电宽带用户发展趋于平缓, 如何找到新的增长点, 如何利用新技术, 是必须要去思考的问题。
我们可以分析一下我们的竞争对手——中国电信, 大家可能都认为互联网出口是电信的看家法宝, 其实不然, 电信手中的IDC才是它的传家至宝, 可以这么说, 就算现在剥夺中国电信手上的所有互联网出口, 中国电信仅凭手中的IDC, 依然可以迅速崛起。我们再把目光投向北美, 以北美在线电影点播市场的第一名Netflix为例, 旗下拥有2700万用户, 提供支持PC、手机、Pad、TV、PS3、Wii和XBox等各种终端在内的点播服务, 速率为1.5Mbps至8Mbps的高清视频, 并且为用户提供个性化推荐服务, 是典型的OTT服务商, 它不但没有自己的传输网络, 甚至连整个服务平台也是租用Amazon的云平台, 超过1PB的视频全部存储在S3, CDN服务由Akamai、Limeline和Level3提供。再看2013参加CCBN展会的思科Videoscape视频服务交付平台:Videoscape Unity, 它实质上就是一个多屏互联系统, 所有的业务基础全部借助云存储平台。另外, 数码视讯在2013CCBN展会上也展出了它的云媒体及云转码平台, 其云媒体服务科横跨多种网络, 基于统一门户呈现, 统一身份标识, 统一行为记录, 统一消息管理等;云转码平台可面向多种终端, 提供多协议, 多格式, 多终端的转码服务, 并实现了转码任务的统一管理, 自动调度。
目光转向笔者工作的湖北黄石广电, 从2011年起, 黄石广电相继建设了内容缓存平台、PPTV镜像平台、PPS热点镜像平台, 引进了视频资源专线等, 这些工作都是对内容存储建设的有益尝试, 可谓牛刀小试。但说起来是小试, 取得的效果可不小, 缓存平台日均吐出流量200M左右, PPTV镜像平台日均吐出流量250M左右, 视频专线日均吐出流量25 0M左右。以黄石广电联通资源出口及电信资源出口为例, 截取2013年4月10日至5月9日 (此时段未使用视频存储平台) 及2013年5月10日至6月9日 (此时段已使用视频存储平台) 日平均流量记录作为对比, 对比数据如下图:
可以看出, 2013年5月10日至6月9日在宽带用户数量不断增加的情况下, 视频存储平台对互联网出口流量拉动效果仍然比较明显, 平均流量基本都有50M左右的降幅。对缓解互联网出口资源紧张的局面起到了巨大作用。用户侧在视频存储平台上线前后差别巨大, 没有视频存储平台且不限速情况下, 点播视频供速500K以下较多, 而视频存储平台上线以后, 视频供速基本都在1M以上, 最大可达10.3M, 可以说用户体验呈直线上升态势。正所谓省钱就是赚钱, 原本需要花费高昂代价购买的互联网出口流量化为了内网流量, 缓解了日益增加的用户点播需求造成的网络出口压力, 大大节省了宽带建设支出, 更为重要的是用户视频点播体验直线增长。
如今的用户作为终端消费者并不关心传输网络, 用户只在乎所需内容是否能被正常播放, 各大运营商已经实质上沦为“管道”, 作为有线电视来讲, 如果没有政策壁垒, 现有的运营模式将在若干年之后无法生存。并且OTT对IPTV业务也形成强力冲击, 既然趋势无法阻止, 何不顺势而为。量变产生质变, 随着视频资源的整合和扩充, 本地化资源和互联网资源的不断更新, 整个平台外吐流量必然超过下行流量, “管道化”风险荡然无存, 广电宽带的未来发展趋势是网络为辅, 内容为主, 服务为王, 体验至上。科技以人为本, 当广电的科技创新不断带给用户便捷时, 已经转身的用户才会重新回头, 回到客厅, 拥抱电视。广电必将创造一个更加辉煌的未来。
摘要：在全球传统电视用户数骤减的趋势下, 电视很可能会被边缘化, 为了对抗竞争谋求发展, 广电必须找到新的增长点, 建设基于智能网络的视频云存储平台为成为当务之急, 依靠该平台, 广电可以轻易实现多资源整合、多终端同步、多功能融合, 凭借该平台, 广电必将华丽转身, 走上一个更大的舞台。
关键词：平台,内容整合,智能网络,云存储
参考文献
[1]张虎, 李明东.云存储技术及其应用[J].宜宾学院学报, 2012 (12) :68-70.
[2]张海涛, 孙业志, 张立强, 赵华.“云存储”在广电行业的应用探讨[J].广播与电视技术, 2011 (11) :41-42+44+46.
云存储平台设计 篇9
关键词：家庭数字信息,云存储,安全,私密性
引言
随着数码相机、数码摄像机在我国家庭中的普及,越来越多的家庭面临着如何有效、安全地存储大量的数字照片、数字视频等家庭数字信息的问题。移动硬盘、光盘等传统的存储介质,难以连续、安全、便捷地存储信息、检索信息、整理信息。为此需要针对家庭用户信息存储的特点,设计一种新的存储解决方案。云存储是根据用户需要通过整合互联网资源动态分配网络存储资源的系统,云存储提供商通过这种形式收取服务费用。云存储给用户提供了新的存储形式,提高了数据存储的便捷性,同时也引入了新的安全问题。本文基于Amazon S3的云存储服务,探索了一种云存储系统中用户数据私密性的保护方法。
1 Amazon S3云存储
Amazon的简单存储服务S3(Simple Storage Services,S3)提供一个开放的服务,目前在云存储行业具有较大的市场占有率。S3的用户可以在其上存储大量的信息,可以包括文本、照片和视频等。S3集成了不同地理位置的网络存储设备,但用户通过一台与互联网相连的计算机,就可像访问本地的存储设备一样方便地访问它的存储服务。使用S3存储服务的费用很低,用户仅仅花费少量的成本就可以享受到Amazon S3服务器上较大空间的存储服务[1]。
用户通过S3Brower、Dragon Disk等客户端工具,就可对S3上的云存储进行访问操作,还可以通过云存储信息的本地映射机制,进一步简化操作流程。但这些客户端工具均未对数据文件进行加/解密操作,数据文件通常以明文形式存储在服务器上,更没有数据文件的访问检测机制,使得用户的数据文件存在极大的安全性和私密性隐患。
2 云存储系统安全架构设计
目前,大部分云存储服务商的数据安全监督工作仅由服务商自己负责,其安全存储架构由用户、数据存储中心和网络通信三个部分构成。在这种外部监管缺失的状态下,用户只能被动地接受服务商设定的服务条款,将自身的数据信息安全寄托在服务商的企业道德上。因此,云存储用户需要一套第三方审计监管机制,通过规范的审计协议和可信的第三方审计机构的约束力,增强用户对云存储数据信息安全的信心[2]。
本文的云存储安全架构通过引入第三方审计机构,如图1所示,委托可信的第三方审计机构对用户数据文件进行审计监管。通过规范的审计协议约束云存储各利益相关者的行为,使云存储中的数据信息得到应有的审计监管,从而更好地保障用户权益。安全架构中的各部分功能如下图1所示。
(1)数字家庭用户。一般情况下,用户可以使用计算机、手机等终端设备,通过特定的客户端软件访问云存储服务。用户仅对自身的访问控制信息和客户端软件的安全防护负责,其它方面的安全问题不须考虑。
(2)云存储服务提供商。服务商的数据存储中心包括海量存储设备和集群控制管理服务器。海量存储设备提供巨大的存储空间,控制管理服务器完成数据存储中心的组织管理工作,包括:响应用户的请求,保障访问控制的安全性以及与第三方审计机构的通信任务。
(3)第三方审计机构。该机构根据所在国家及地区的法律法规,对存储中心的行为进行审计监督。该机构应具有完全的可信度,能够满足数字家庭用户对存储中心数据的信息安全需求,包括数据的完整性、一致性和私密性等,同时还应具备追踪服务商对用户数据访问操作的能力,使服务商对于用户数据的所有操作具有不可抵赖性[3]。
(4)网络通信。网络环境的好坏决定着云存储服务的质量。电信运营商通过提供安全、可靠、稳定、快速的通信服务,避免在通信过程中恶意丢包或窃听的现象。网络通信安全性的提升,对云存储的服务质量和安全性有巨大作用。
3 云存储安全系统设计方案
3.1 数据操作可验证性方案
基于上节的安全系统架构,设计了数据操作可验证性方案。存储中心完成用户数据文件的存储工作后,向审计机构发送数据文件的存储验证信息。当用户对数据文件修改时,存储中心会生成更新的验证信息,并发送给审计机构,同时通知用户存储验证信息的生成与发送工作已经完成。此时,用户可以请求审计机构对数据文件的完整性和一致性进行验证。
如果用户申请审计机构对数据文件进行验证,且当审计机构收到用户的请求后,审计机构的审计系统会根据用户需求对存储中心的数据文件进行审计,并保留所有审计操作日志。如果验证失败,审计机构会通知用户,并要求存储中心对数据文件实施补救措施。具体验证过程如图2所示。
3.2 数据访问控制方案
基于密文属性加密算法在分布式环境下所具有的优势,提出了一种云存储环境中的数据访问控制方案,较好地解决了云存储中心解密方不固定的问题。
采用128位的AES对称加密算法对存储中心的数据文件加密,再使用基于密文属性加密的算法对对称密钥进行加密,以保证对用户数据文件的安全访问[4]。方案中加密工作都由存储中心完成。不论对称加密密钥还是属性加密密钥的生成、变更以及分发工作,皆由存储中心在第三方审计机构的监督下完成。该策略在很大程度上还解决了云存储环境下的数据存储服务,受用户环境计算能力不足影响的问题。通过将可信第三方审计机构引入安全架构中,大大减轻了文件属主的计算压力。
除了委托审计机构对存储中心进行监管外,方案还要求审计机构能够实时与存储中心的数据文件访问控制信息保持同步,当用户无法访问数据文件问时,可以通过审计机构完成权限和文件信息的验证。因此,方案不仅有效地保证了用户数据文件访问控制的安全性,也使数据文件权限的更改变得更加方便,极好地保护了用户的权益。数据访问控制方案的总控算法流程如图3所示。
4 结语
随着互联网技术的发展,云存储具备存储成本低、设备维护工作量少等优点,逐步受到个人用户的青睐。在云存储中,由于存储介质不为用户所有,数据文件又多以明文形式存储,这使得云存储服务商拥有访问和修改数据文件的能力。因此,家庭用户仅仅存储一些非敏感信息文件在云存储中心。本文基于Amazon S3的云存储系统,设计了一种云存储安全系统架构,并从数据操作可验证性和数据访问控制两方面提出了解决方案,增强了家庭数字数据文件在云存储上的安全性和私密性。
参考文献
[1]Amazon Simple Storage Service(S3),[DB/OL].http://aws.amazon.com/s3/,2012/2/21
[2]陈丹伟,黄秀丽,任勋益.云计算及安全分析[J].计算机技术与发展,2010.2(20):2-4
[3]Q.Wang,C.Wang,J.Li,et al.Enabling public verifiability and data dynamics for storage security in cloud computing[C].Saint Malo:ESORICS’09,2009,pp355-370
云存储平台设计 篇10
关键词：条形码技术；物流管理；云平台设计
中图分类号： F74 文献标识码： A 文章编号： 1673-1069（2016）34-150-2
0 引言
近年来，信息技术不断发展，在此基础上产生并不断发展起来的电子商务越来越受到人们的喜爱，为物流业的快速发展奠定了良好的基础。然而，据有效调查显示，我国快递公司以及中小物流企业在日常运行过程中，仍然存在各种缺陷，如集中的发货时间、以人工开单为主的货物接收方式等，充分说明我国物流业现阶段的发展过程中需要面对复杂的工作流程，因此工作效率极其低下。为了实现物流业的长期可持续发展，现阶段条形码技术被广泛应用于物流管理云平台设计当中，极大地提升了物流业的工作效率并降低了成本。
1 物流管理云平台概述
新时期，在构建物流云平台的过程中，可以说是有效整合我国所有物流企业资源的过程，促使其在不断变化的市场环境中，能够有效地改造自身的经营发展流程，应用全新的管理理念和措施，提升物流质量[1]。值得注意的是，在构建并不断完善物流管理云平台的过程中，需要经历一个不断变化的过程，从长远的角度来看，我国的现代物流在未来的发展过程中，将面对电子物流这一重要发展趋势，并在物流当中有效地融入绿色理念，在提升物流服务水平和范围的过程中，通过对信息技术和网络的有效应用，将最终实现全球化的物流。在这一背景下，物流业将呈现出规模化、一体化的特点。目前，我国在构建以及使用物流管理平台的过程中，需要不断对其进行完善，只有这样，才能够促进物流业的创新，实现该领域的长期可持续发展。
2 条形码技术在物流管理云平台设计中的应用
2.1 条形码技术
在信息技术不断发展的过程中，工业生产中开始广泛应用各种先进的信息技术，为了提升工业企业日常运行过程中的管理、仓储、过程控制以及邮递等工作环节的效率，条形码技术得以研发和应用，它极大地提升了以上各个环节实施过程中的输入速度，并以较低的成本和较高的准确度赢得了工业企业的喜爱。而自动识别是该技术应用过程中最大的优势[2]。条形码技术自产生之日起至今，已经发展的相对成熟，其产生了高于98%的首读率，而仅拥有百万分之一的错误率，由此可见，该技术在使用过程中呈
现出较高的准确率、较高的可靠性以及较快的输入速度等优势，最重要的是该技术能够被有效应用于各个领域当中。
物流管理中对条形码技术的应用，能够将唯一的标识码应用于货物当中，保证货物可以准时、完整地到达目的地。货物实际运送过程中，用户可以通过对标识码的查询了解货物现在的位置以及运输过程中将消耗的时间。
2.2 物流管理云平台设计
2.2.1 运作流
首先，发货。注册用户端的工作需要在网络中完成，这一过程中的主体是发货方，需要利用的媒介是智能手机或PC机等，在网络中对发货单进行填写以后，管理条形码编号就能够在系统当中自动生成。在扫描条形码的过程中，可以对条形码扫描枪、条形码阅读器等进行应用，同时还必须保证安卓智能手机条形码扫描APP能够对其进行扫扫描[3]。物流企业相关业务人员在外派的过程中，要想进行登录可以对安卓智能手机进行应用，并将其作为重要的业务终端。
发货方在网络中可以随意对承运物流商进行选择，并将已经生成的条形码编号发送给物流商。接下来在对条形码扫描器进行应用的过程中，物流公司业务人员可以对承运的价格等进行核定，并对接收承运进行确认，在此基础上能够促使承运单、货物标签等自动生成并对其进行打印。业务人员可以通过短信的方式将相关货物信息发送给发货人。在这一整个流程当中，不仅促进了收货效率的提升，同时也极大地节约了劳动力资源。
其次，承运。当发货单被发货方发送到物流公司以后，物流公司需要进行承受处理。如果上门收货是发货方选择的服务内容，物流公司方面的相关业务人员将以短信的形式接收到各种发货方的信息，在上门收货的过程中，将受到有效的业务监督，而上门收货的业务员电话等各种信息将以短信的形式发送到发货方的手机当中；接下来，货件在被承运的物流公司进行接收的过程中，需要对条码扫描器进行应用，从而对承运的价格进行核定，此时不需要对收货人信息、发货人信息等进行二次输入，并能够促使承运单以及货物标签的自动生成[4]。人工货物已经处于待运的状态，业务员也可以选择短信的方式通知发货人。在将条形码技术应用于物流管理云平台当中以后，承运的速度明显提升，同传统的承运方式相比，人力资源最高节省了50%。
货物装车信息的管理也需要对条码扫描器进行应用，此时能够促使相应的单据得以生成，当货物到达目的地并进行卸货时，接收入库的工作也需要对条码扫描器进行应用，此时还会自动将货物到达目的地的信息发送到收获人的手机当中。
再次，提货。在提货以及签收的过程中，收货人可以凭借身份证进行扫描。
最后，退货。如果货物在到达目的地以后存在无法联系到收货人或者是收货人的信息不够完整的现象，必须将货物重新发回到发货站点，货件的管理工作由发货站点实施，发货方会以短信的形式收到货物的各种信息[5]。
2.2.2 云平台数据管理
在货物被签收以后，30天内都可以利用云平台，对货物运送信息等进行免费的查询，当超过这一期限以后，使用者要想及时进行货物信息查询，需要对一定的增值收费服务进行缴纳。人工货物始终没有被签收，那么系统将永久保存这一交易，并将其作为重要的信用评级依据，为用户以及物流公司提供服务。
商户端物流数据的注册是由快递或物流公司来完成的，在免费保存相关数据的过程中，该期限为60天。增值收费服务将在多于60天的数据保存中产生。同时会永久保存为签收的物流交易内容，该内容将作为重要的信用评级依据，为用户或物流公司进行服务。
在保存云平台大数据的过程中，最低期限为2年，最高期限为3年，在这一期限基础上，为报表的制作、统计以及数据的查询工作带来了极大的便利，对于提升物流管理质量和水平具有重要的促进作用[6]。
在货物运输的过程中，货物的丢失以及损害现象是客观存在的，而物流企业在运行过程中，必须承担赔偿的责任，由此而产生的各种数据，在该平台当中将被有效保存3年，而物流公司信用评级的重要依据就是客户对这一处理结果所表现出来的满意度。
3 结束语
综上所述，近年来，电子商务飞速发展，一定程度上为物流业的发展创造了空间。然而，传统的物流业在运行过程中，拥有相对复杂的工作流程以及较高的成本，无法适应飞速发展的电子商务和社会经济现状，物流管理云平台就是在这种情况下产生并得到广泛应用的。在对条形码技术进行有效应用的基础上，物流管理云平台的设计产生了创新，本文对条形码技术基础上物流管理云平台设计中的运作流和云平台数据管理进行充分介绍，希望对我国物流业的长期可持续发展奠定良好的基础。
参 考 文 献
[1] 杨敬辉，李国华，赵建国，等.武警无缝医学救援系统中物流管理平台的构建[J].武警医学，2015（9）：963-965.
[2] 曾庆元，赵国锡.浅谈条形码技术在物流管理中的应用[J].柴油机设计与制造，2016，14（4）：54-56.
[3] 吴兵，郭晓军，刘邦国，等.条形码和电子标签技术在医院物流管理中的应用[J].解放军医院管理，2013（12）：1139-1141.
[4] 李铮.基于条形码技术的服装企业仓储物流管理研究——以广东溢达纺织企业仓储管理为例[J].物流技术（装备版），2014（6）：35-38.
[5] 陈蕾.论信息识别、采集与交换技术在物流信息处理中的应用[D].北京物资学院，2015.
云存储平台设计 篇11
近年来,档案资源作为高校重要的信息资源和知识资源,越来越受到高校管理者的重视。国内各大高校在不断的发展过程中产生了海量的业务数据。这些数据具有海量、复杂、多样、异构等特性。这些重要的档案信息资源由于缺乏统一的归档和存储标准及规范处理,从而形成了很多信息孤岛。如何存储和管理海量档案数据,使这些数据资源得到高效的利用,为高校的发展和管理层的决策提供支持,成为高校档案管理者研究的课题。因此构建一个高校私有的海量档案数据存储平台是目前充分发挥档案信息资源价值的现实途径,也是高校自身可持续发展的必然要求。
对大规模数据处理,传统的方式多使用并行的高性能计算、网格计算等技术,这需要耗费昂贵的计算资源,而且计算成本很高,一般的组织机构很难自身搭建这样的计算设备。如何通过大量廉价的硬件设备搭建计算和存储集群把大规模数据进行有效分割存储和计算。Hadoop分布式技术的发展正好可以解决以上的问题。本文在Linux集群技术的基础上,利用Hadoop技术构建一个易扩展的、高效的、稳定的、安全性高的海量数据存储管理系统。
二、相关技术
1、私有云计算
对于“云计算”的有多种定义,比较广泛接受的是美国国家标准与技术研究院(NIST)的定义[1,2]:云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式。对于云计算的模式,目前业界普遍的得到的共识是云计算一般分为公有云、私有云和混合云。私有云计算[3](Private clouds)是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。该客户自身拥有基础设施,并可以控制和管理在此基础设施上部署应用程序。私有云可部署在单位局域网内,也可以将它们部署在一个安全的主机托管场所。私有云具有如下几个特征:一是可靠性高;二是可扩展性强;三是服务成本低;四是信息安全性高;五是易于自身管理。
2、云存储
云存储[4]是在云计算(Cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,所以云存储是一个以数据存储和管理为核心的云计算系统。严格来讲,云存储不是存储,而是一种服务[5],因为使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务,云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。
3、Hadoop
Hadoop[6,7]是一个利用计算机集群对处理海量数据 集进行分布 式处理的 软件框架 。其核心 的模块是HDFS(Hadoop Distributed File System)和Map Reduce。HDFS为海量的数据提供了存储,而Map Reduce为海量的数据提供了并行计算。
Hadoop它主要有以下几个优点:一是高可靠性。Hadoop对数据的存储和处理都很稳定,具有高容错性;二是高扩展性。Hadoop可以利用多个廉价的计算机集群进行数据存储和计算,并且存储和计算规模可以扩展到更大计算机集群;三是数据处理高效。Hadoop能够在数以千计的计算节点之间动态地分配数据,并能控制各个节点的动态平衡,以至于对数据处理速度非常快;四是计算成本低。Hadoop可以部署在廉价的计算机集群上,并且自身又是开源软件,因此部署该软件的成本因此会大大降低。
三、高校档案馆私有云存储平台
随着数字化校园和办公自动化网络的建成 ,高校各业务部门产生了大量的电子数据,其中有结构化的数据,更有大量的非结构或者半结构化的数据,比如大量的照片、视频、电子公文和网页等等。要保存和处理这些有价值的档案信息资源,这对高校档案管理者提出了较大的挑战。利用高校自身的数字校园网络并整合高校自身的计算资源 ,利用Hadoop分布式技 术 ,对海量的 档案数据进 行高效的处理 后存储到可 扩展的分 布式数据 库中 ,从而构建一个易扩展的、高效的、私有的海量数据存储管理系统。
1、平台网络拓扑结构
从图1中可以知道该平台由多个数服务器集群组成,其中包括平台原来的Web应用服务器、数据存储服务器和容灾备份服务器等组成,还包括基于Hadoop的集群服务器,该集群可以根据数据的增加和应用需求的复杂变化,平台可以进行扩展,而在云计算平台环境下,这种变化对用户来说都是透明的。该平台也是整合于校园网内网平台中,利用校园内网可以安全、稳定地为各个部门及个人用户提供档案资源的存储和利用服务。
2、平台总体架构模型
私有云存储主要是一种软件服务,结合海量档案信息数据自身的特点,对于该平台在设计上采用分布式、分层结构,由下而上划分为数据存储层、数据管理层、应用和接口层三个层次如图2所示。
(1)数据存储层。数据存储层包括了各种物理硬件存储设备,主要是廉价计算机集群上的硬盘 (包括机械硬盘和SSD固态硬盘等)。在物理设备之上有控制存储的软件,包括了对存储进行虚拟化的软件和对数据存储状态进行监控和管理的软件。
(2)数据管理层。来自于高校内外的各种海量档案数据资源通过Hadoop平台的HDFS存储这些数据然后利用Map Reduce、Hbase、Hive、Pig、Zoo Keeper等对数据 进行处理和管理。数据管理层还包括对数据安全性的管理,增加数据加密、数据备份、数据容灾等措施,这些措施更多基于软件层面进行设计。
(3)应用与接口层。该层是直接面向用户,提供数据归档、数据访问、数据共享等操作界面。控制用户的认证和操作权限、提供更高层次应用软件设计的算法接口等。
3、平台的功能模块
基于Hadoop的高校私有云存储平台的功能模块具有如下几个方面:
(1)用户管理模块。该模块主要包括用户账号的注册、登录、用户身份认证、用户对数据权限的管理和用户之间的相互通信等;
(2)数据管理模块。该模块包括用户对数据的上传和下载、删除、恢复、备份等操作;
(3)计算机集群管理模块。该模块包括对计算机集群的状态、节点和任务进行管理,以及对网络日志文件和数据处理日志文件进行保存和分析处理等。
4、平台特性分析
传统的数字档案馆在存储数字档案信息资源过程中,多采用传统的服务器集群、磁盘阵列技术等技术手段,但是其存在计算资源利用效率不高,计算和存储扩展性和可靠性不强等缺点,我们将其与本平台原型作以下比较如表所示.
5、平台安全性分析
国家档案局在公布的数字档案馆建设指南[8]中指出数字档案馆的安全包括数字档案数据的安全和信息系统及其网络平台全。数据安全就是要保证数字档案信息的可靠、可用、不泄密、不被非法更改等;系统及其网络平台安全就是要保持系统软硬件的稳定性、可靠性、可控性。我们构建的私有云存储平台也遵循这样的规范。目前,Hadoop平台难以对数据进行有效的安全控制,存在安全风险。规避档案信息资源存储的安全风险,必须采取相应的安全机制加强对平台和数据的安全管理。云存储平台是特殊的信息系统,其安全保障应从技术和管理两个方面实施。该平台在计算环境方面进行如下设计:一是对用户身份鉴别通过授权的口令和数字证书两种组合进行识别并对鉴别数据进行保密性和完整性保护。二是记录并分析各种安全事件的日志,对安全事件进行预警分析。三是保障档案数据的完整性,如数据在受到损害时能对数据进行及时恢复。四是采用密码等技术对特殊密级的档案数据进行保密。五是在安全策略控制范围内,控制用户对平台存储的档案资源的访问操作权限。在制度建设方面,我们沿用数字档案馆建设过程中制定的档案数据操作、访问、利用等一系列的安全管理制度,并严格遵照实施。同时应当制订应急预案,完善灾难恢复机制,提高应急处置能力。
四、结语