存储时代的东芝

存储时代的东芝（共5篇）

存储时代的东芝 篇1

1 云计算概念

云其实是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网, 后来也用来表示互联网和底层基础设施的抽象。云计算分狭义云计算和广义云计算。狭义云计算指IT基础设施的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需服务。如果仅下一个定义, 人们仍然无法理解到底什么是云计算, 我们举一个很浅显的例子。传统模式下, 企业建立一套IT系统不仅仅需要购买硬件等基础设施, 还有买软件的许可证, 需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说, 计算机等硬件和软件本身并非他们真正需要的, 它们仅仅是完成工作、提供效率的工具而已。对个人来说, 我们想正常使用电脑需要安装许多软件, 而许多软件是收费的, 对不经常使用该软件的用户来说购买是非常不划算的。如果能够提供我们需要的所有软件供我们租用, 我们只需要在用时付少量“租金”即可“租用”到这些软件服务, 为我们节省许多购买软硬件的资金。我们每天都要用电, 但我们不是每家自备发电机, 它由电厂集中提供;我们每天都要用自来水, 但我们不是每家都有井, 它由自来水厂集中提供。这种模式极大得节约了资源, 方便了我们的生活。面对计算机给我们带来的困扰, 我们可不可以像使用水和电一样使用计算机资源?这些想法最终导致了云计算的产生。云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众, 使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下, 用户的计算机会变的十分简单, 或许不大的内存、不需要硬盘和各种应用软件, 就可以满足我们的需求, 因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主机”的电线无限长, 从而可以把显示器放在使用者的面前, 而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络, 把“主机”变成云服务提供商的服务器集群。在云计算环境下, 用户的使用观念也会发生彻底的变化:从“购买产品”到“购买服务”转变, 因为他们直接面对的将不再是复杂的硬件和软件, 而是最终的服务。用户不需要拥有看得见、摸得着的硬件设施, 也不需要为机房支付设备供电、空调制冷、专人维护等等费用, 并且不需要等待漫长的供货周期、项目实施等冗长的时间, 只需要把钱汇给云计算服务提供商, 我们将会马上得到需要的服务。这就是云计算, 在这样的模式下, 云存储又是怎么一回事, 它与云计算有怎样的联系呢?

2 云存储概念

云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念, 是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时, 云计算系统中就需要配置大量的存储设备, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说, 云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时间、任何地方, 透过任何可连网的装置方便地存取数据。然而在方便使用的同时, 我们不得不重视存储的安全性, 存储必须具有良好的兼容性, 以及它在扩展性与性能聚合方面等诸多因素。首先, 作为存储最重要的就是安全性, 尤其是在云时代, 数据中心存储着众多用户的数据, 如果存储系统出现问题, 其所带来的影响远超分散存储的时代, 因此存储系统的安全性就显得愈发重要。其次, 在云数据中心所使用的存储必须具有良好的兼容性。在云时代, 计算资源都被收归到数据中心之中, 再连同配套的存储空间一起分发给用户, 因此站在用户的角度上是不需要关心兼容性的问题的, 但是站在数据中心的角度, 兼容性却是一个非常重要的问题。众多的用户带来了各种各样的需求, Windows、Linux、Unix、Mac OS, 存储需要面对各种不同的操作系统, 如果给每种操作系统更够配备专门的存储的话, 无疑与云计算的精神背道而驰, 因此, 云计算环境中, 首先要解决的就是兼容性问题。再次, 存储容量的扩展能力。由于要面对数量众多的用户, 存储系统需要存储的文件将呈指数级增长态势, 这就要求存储系统的容量扩展能够跟得上数据量的增长, 做到无限扩容, 同时在扩展过程中最好还要做到简便易行, 不能影响到数据中心的整体运行, 如果容量的扩展需要复杂的操作, 甚至停机, 这无疑会极大地降低数据中心的运营效率。最后, 云时代的存储系统需要的不仅仅是容量的提升, 对于性能的要求同样迫切, 与以往只面向有限的用户不同, 在云时代, 存储系统将面向更为广阔的用户群体, 用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升, 只有这样才能对请求作出快速的反应, 这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能, 这显然是传统的存储架构无法达成的目标, 传统的存储系统由于没有采用分布式的文件系统, 无法将所有访问压力平均分配到多个存储节点, 因而在存储系统与计算系统之间存在着明显的传输瓶颈, 由此而带来单点故障等多种后续问题, 而集群存储正是解决这一问题, 满足新时代要求的千金良方。

3 云存储技术与传统存储技术

传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理, 所有的数据集成到单一的存储体系之中, 以满足业务持续性需求。但是在面临大数据难题时显得捉襟见肘:1) 成本激增。在大型项目中, 前端图像信息采集点过多, 单台服务器承载量有限, 就造成需要配置几十台, 甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加;2) 磁盘碎片问题。由于视频监控系统往往采用回滚写入方式, 这种无序的频繁读写操作, 导致了磁盘碎片的大量产生。随着使用时间的增加, 将严重的影响整体存储系统的读写性能, 甚至导致存储系统被锁定为只读, 而无法写入新的视频数据;3) 性能问题。由于数据量的激增, 数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据, 在索引时往往需要花上几分钟的时间。

作为最新的存储技术, 与传统存储相比, 云存储具有以下优点:1) 管理方便。其实这一项也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后, 所有的升级维护任务都是由云存储服务提供商来完成, 节约了企业存储系统管理员上的成本压力。还有就是云存储服务强大的可扩展性, 当企业用户发展壮大后, 突然发现自己先前的存储空间不足, 就必须要考虑增加存储服务器来满足现有的存储需求。而云存储服务则可以很方便的在原有基础上扩展服务空间, 满足需求;2) 成本低。就目前来说, 企业在数据存储上所付出的成本是相当大的, 而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力, 许多企业将大部分数据转移到云存储上, 让云存储服务提供商来为他们解决数据存储的问题。这样就能花很少的价钱获得最优的数据存储服务;3) 量身定制。这个主要是针对于私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案, 或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务, 而且还能在一定程度上降低安全风险。

传统的存储模式已经不再适应当代数据暴增的现实问题, 如何让新兴的云存储发挥它应有的能力, 在解决安全、兼容等问题上, 我们还需要不断的努力, 就目前而言, 云计算时代已经到来, 作为其核心的云存储必将成为未来存储技术的必然趋势。

摘要：随着信息化以及计算机网络技术的高速发展, 从计算机应用由于资源匮乏而不得不采取的计算资源大集中模式到如今IT技术高度发展而带来的云计算时代。数据信息量的不断增加, 给传统的存储技术带来了新的挑战, 如何让数据存储适应新技术的发展无疑是我们在发展的道路上必须弄清楚的一个重要问题。本文由浅入深, 首先从云计算、云存储的概念谈起, 进而分析在云计算时代云存储技术的实际作用。通过对传统存储技术与云存储技术的对比, 体现云存储技术是未来数据存储的必然趋势。

关键词：网络,云计算,数据存储,云存储

参考文献

[1]高岚岚.云计算与网格计算的深入比较研究[J].海峡科学, 2009 (2) .

[2]卢大勇, 陆琪, 姚继锋.伯克利云计算白皮书 (节选) [J].高性能计算发展与应用, 2009 (1) .

[3]李德毅, 孟海军.隶属云和隶属云发生器[J].计算机研究与发展, 2009.

[4]中国云计算网.什么是云计算, 2009.

[5]维基百科.Cloud computing, 2009.

[6]Amazon Amazon elastic compute cloud (Amazon EC2) 2009.

[7]IT168.云计算技术的产生, 2012, 1.

东芝存储带你畅游迪士尼 篇2

性能稳定大容量

什么时候会拍照片呢？对于大多数用户来说，旅行时会“谋杀”不少快门。特别是在迪士尼这样的主题乐园里，除了感受那些大型的游乐项目，各种经典的卡通形象一定会让你应接不暇。

除了一台轻巧便携的相机，一款稳定大容量的存储卡也十分重要。东芝新推出的极至瞬速TM N302系列SD存储卡就是不错的选择。随着各类影像设备的不断升级，超高像素的照片和4K格式的视频在不断地涌现出来.普通速度的SD存储卡越来越难满足用户的需求。这款存储卡速度等级达到U1/U3，读取速度高达90MB/秒*，最高容量达到了128GB。

摄影攻略供参考

相信不少朋友去迪士尼前都做好了游玩攻略，不过笔者还是从摄影师的角度向你推荐一下哪里可以拍到比较美的照片。

进入迪士尼乐园后正面就是奇想乐园，这里可以利用湖面倒影拍摄迪士尼城堡。在明日世界主体乐园的创极速光轮区域，利用慢速快门与大型的弯曲穹顶造型能拍到不错的照片。

熊天宇

《摄影之友》器材编辑

迪士尼不仅小朋友们喜欢，我们这些“上了岁数”的成年人一样充满向往。而拍摄这样题材的存储卡并不需要多么极致的性能表现，稳定、大容量同时性价比高的产品绝对会赢得用户的青睐。东芝极至瞬速TM N302系列SD存储卡具备出色的读取速度，同时还有多种不同容量供用户选择。这款产品非常适合旅行、家庭聚会时拍摄照片与視频使用。

存储时代的东芝 篇3

1 高清视频监控存储现状与要求

1.1 现状简述

近年来,高清视频监控存储首先是由DVR进化而来的NVR,遇到了网络能力不足和大容量存储的问题。其次是IP-SAN,相对于NVR的分布式架构来说,IP-SAN采用了集中管理的方法,接入、存储和转发都需要依赖服务器,视频的数据量非常大,于是服务器承载了相当大的负载。

1.2 高清监控存储要求

存储系统的性能主要包括前端并发写入的路数、平台管理的能力以及视频回放的并发路数等。由于带宽大小、缓存速度以及数据处理能力等方面对高清监控的应用均存在不同程度的影响,多路并发写入能力在监控存储系统中要求更高,设备响应IO、处理能力等方面也相应有更高要求。

影响存储功能的因素主要可以分为三点:一、系统录像延长。这要求存储器要具备适应传输带宽的强大缓存能力;二、设备异常时自动切换。当出现数据过大导致设备发生性能发生变化时,存储系统应能自动切换为备份文件,这个功能可以将大容量数据在设备突然发生异常时及时保存不至于丢失;三、优化监控数据流。高速的数据流需要功能强大的读写能力,这不但要求存储系统能够在技术上达到智能存储的能力,还要能够在数据流因意外情况发生丢失或损毁之前将数据空间碎片覆盖,保护设备中已经存储的数据不受到损害。

如果想要在存储系统的性能和功能上有所突破,必须采用新的技术,引进大数据时代下的云存储,为监控存储系统的发展提供有效支撑。

2 大数据时代下的云存储

大数据具有典型的四大特点,分别是海量的数据规模、快速的数据流转、多样的数据类型和密度低的价值。

云存储就是在大数据时代应运而生的一种技术。云存储是一种新兴的网络存储技术,通过集群应用、网络技术或分布式文件系统等功能将网络中各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。首先,云存储的海量存储空间能较好地满足海量数据的存储需求;其次,其设备的线性扩展与收缩可以实现对数据的智能化管理。

3 云直存技术

3.1 云直存技术简述

云直存技术的系统内部具有专门针对视频应用优化的流媒体应用服务,借助流媒体的应用服务,云直存可以实现前端摄像头与云存储海量存储空间的直接对接。首先,云直存技术产自于“IT云存储”,但其主要特点是没有任何文件系统的继承。文件系统内频繁地删除或处理文件会产生大量的文件碎片,会降低文件系统的性能及稳定性。云直存技术的无文件系统设计通过直接与前端建立“一对一”交互,没有经过其他任何的设备或模块做中转处理或转发,实现了系统处理的高效率和高稳定。

其次,云直存技术支持多块硬盘同时故障的超级RAID5技术。传统的RAID技术用于保护监控系统文件中的数据,但出现系统内两块磁盘同时故障时,RAID技术便会失效,将导致数据无法继续输入也无法读出。

云直存技术通过存储虚拟化技术,将各种云存储设备虚拟化成一个统一的存储池,并能提供给多个系统同时使用。系统单元可管理256个数据节点,支持16PB空间,且系统能多域扩展无上限。云直存技术借助存储池可以实现为每个系统或者每个用途划分独立的存储空间。比如可以给视频存储,图片存储,视图库各自划分一个空间,也可以细化到为每个摄像头划分一个空间,实现文件与功能的灵活配置。

3.2 云直存构架

云直存系统采用了分层结构:

存储层:基于单个存储节点,管理本地的硬盘,文件和数据块。

存储管理层:提供存储资源虚拟化、集群自动化管理能力。

流媒体服务层:提供流媒体集群管理能力。

接入层:提供前端视频设备接入以及后端平台访问的功能。

业务层:根据用户需求将前端系统、云存储系统、监控平台进行对接后,在业务平台上进行可视化应用。

3.3 云存储系统设计

为了满足用户架构需求,监控云存储系统硬件架构采用数据中心集中和分布式结合的部署方式。数据中心部署中心平台以及云存储,数据可以通过平台来共享数据,实现集中管理的要求,降低运维成本。各站点采用NVR分式存储,实现就近存储、调阅的需求。

如图1所示,云存储系统采用集群化部署,保证系统的可靠性以及可用性;采用虚拟化技术,将存储资源统一为存储池。系统由元数据服务器和数据存储节点组成,元数据服务器负责节点管理、负载均衡调度、数据恢复;数据存储节点负责数据存储和读取。

3.4系统数据流图

3.4.1 录像&回放

录像流程:流媒体服务集群从前端取流,直写存储节点集群。流媒体服务集群支持N+M设备,当主节点发生故障后,热备节点自动接替,保证录像数据的完整性以及业务不中断。录像视频存入存储集群,由流媒体服务通过纠删码计算出视频数据以及冗余数据,切片存储在不同的节点上。录像视频的元数据信息同步到元数据服务器节点。存储节点根据容量和性能自动进行负载均衡,一方面将数据合理地分配到存储节点,另一方面也保证在节点故障发生时可以自动切换。

回放流程:流媒体服务器从多台存储节点读取录像数据切片进行合并,由于存在冗余切片,即使丢失数据切片,录像数据仍可完整计算出来。再由流媒体服务器将录像数据返回给客户端播放。

3.4.2 实时视频

实时视频流程的数据流程如图3所示。流媒体服务器参与转发,可以对视频流进行多份复制,可同时满足多用户实况和并发录像的多码流需要。

3.5 数据恢复

云直存技术采用的分布式系统,通过数据冗余和数据恢复可以屏蔽集群内的磁盘故障和节点故障。文件写入时,数据被分片冗余存储在不同的存储节点上,采用节点间冗余容错机制进行容错,可在组内任意损坏一个存储服务器节点的情况下保证数据的完整可靠性,降低硬件故障、网络异常等给系统造成的数据丢失风险。

以节点间4+1冗余策略为例,客户端在元数据服务器的调度下,将一定长度的文件内容切分成四个数据块,通过利用算法计算得到一份冗余数据,然后客户端将五份数据分发到元数据服务器指定的五台存储节点上,就完成了一次数据写入动作。这五台存储节点任意一台故障或节点内存储这份数据的磁盘故障,不会导致数据的丢失,从而实现了数据的高可靠性。

由于数据存储的时候被分片存储在不同的存储节点上,任意节点或者硬盘损坏,除了损坏的节点和硬盘,元数据管理服务器会调度其他所有的存储节点和硬盘参与恢复,以最大的速度将该硬盘上的数据恢复出来,维持数据健康状态。

4 结语

大数据时代下的云存储技术为高清视频监控存储技术的发展提供了保障及准备。用户可以通过云存储服务解决海量视频图像存储问题,并通过图像云识别帮助提升大规模图像计算能力,提高大数据挖掘的能力,使得视频数据价值可以发挥地更加完整。

摘要：作为云时代海量数据的来源之一,安防视频监控行业产生了海量的非结构化视音频数据和相关数据的存储、管理、分析等应用的要求。文章介绍了大数据下的云存储技术,同时对视频安防监控行业的新技术——云直存技术做了简要介绍。

关键词：大数据时代,云存储,云直存技术,安防监控,视频存储

参考文献

[1]赵金明.大数据时代的高清视频监控存储[J].中国铁路,2013(4):81-82.

[2]闫真才.高清视频监控系统存储的探讨[J].中国公共安全(综合版),2012(24):86-88.

存储时代的东芝 篇4

关键词：云计算,数据存储,资源共享

1 概述

随着网络技术的不断发展和深化, 信息数据的存储和资源共享已深入到人们生活的方方面面, 影响和改变了人们的传统生活方式和工作模式, 云计算时代的数据资源共享更是将传统的网络共享推到了一个更高层次, 它可利用最小化的客户端实现复杂高效的处理和存储功能, 给我们的信息资源共享管理带来巨大的发挥空间, 极大的提高信息资源共享的能力。

云计算带给我们的不仅是高速共享的便捷, 更是资源的高效利用。云计算将计算和存取集中于网络中的集群服务器, 用户只需要通过客户端的浏览器软件实现应用需求, 使得个人计算机能以最小化的配置和资源完成最大化的功能和应用。不仅极大的节省了个人计算机硬件投入, 也使得软件应用的安装更新等一系列工作更加便捷。

2 云计算的概念和内涵

对于云计算的概念有很多解释, 目前被大家广泛认可的是中国云计算专家咨询委员会副主任、秘书长刘鹏教授给出的定义:“云计算是通过网络提供可伸缩的廉价的分布式计算能力。”

云计算是一种商业计算模型, 它将计算任务分布在大量计算机构成的资源池上, 使用户能够按需获取计算力、存储空间和信息服务。这种资源池称为“云”, 是一些可以自我维护和管理的虚拟计算资源, 通常是一些大型服务器集群, 包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来, 并通过专门软件实现自动管理, 无需人为参与。用户可以动态申请部分资源, 支持各种应用程序的运转, 无需为烦琐的细节而烦恼, 能够更加专注于自己的业务, 有利于提高效率、降低成本和技术创新。

3 云计算的优点

3.1 降低用户基础设施投资。

云计算能够使用户利用最小化的客户端实现复杂高效的处理和存储, 这就极大的降低了用户购买电脑等基础设施的投资, 这种投资的降低不仅是对普通的用户, 还包括一些大型组织的IT部门。云计算中的用户不再需要配备高端的硬件来运行程序, 因为这些程序不是在本地运行而是在云上运行, 这就极大的降低了用户的基础设施投资, 并使得用户可实现复杂高效的程序运行和存储等操作。

3.2 改善计算机运行性能。

传统的计算机为改善运行性能需要用户升级自己的电脑硬件, 并只能在一定程度上改善计算机的运行性能, 而云计算很好的解决了这一问题, 云计算的大部分程序运行是在云上进行, 不需要本地提供过多的资源, 极大的改善了计算机的运行性能和稳定性。

3.3 降低维护成本。

计算机在使用过程中不管是硬件还是软件都会出现各种问题, 云计算的硬件有云计算的提供者统一管理, 减少了使用者的硬件维护成本, 软件的更新和维护同样由云计算提供者进行维护, 有效的降低了用户的维护成本。

3.4 增强了数据的安全性。

云计算能给用户数据带来更安全的保证, 可能很多人并不同意这个观点, 但是云计算能给用户带来的安全是真实存在的。在我国, IT人员比较缺乏, 网络安全人员也相对较少, 很难对每台计算机的安全做到固若金汤, 而云计算则能够很好的解决此类问题, 服务提供商能够给用户提供最完善、最专业的解决方案, 使用户数据安全得到最大保证, 用户不用再担心数据丢失、病毒入侵等麻烦。

3.5 快捷的数据共享。

传统的数据存储多是在个人计算机硬盘上, 这种存储方式不仅有容量的限制, 也有访问限制, 需要相应的移动存储设备帮助我们进行数据的共享和传递。而云计算是将数据存储到云端, 不仅是存储空间无限量扩充, 更方便我们及时的共享和传递, 只需要一台连接互联网的电子设备即可随时随地的访问我们的数据。

4 云计算的数据存储和共享面临的挑战

云计算受到业界的极大推崇并推出了一系列基于云计算平台的服务, 然而在用户大量参与的情况下, 不可避免的出现了各种问题和挑战。

4.1 数据隐私问题。

用户在云计算平台上共享信息使用服务, 那么云计算平台需要收集其相关信息。一旦数据脱离内网被共享至互联网上, 就无法通过物理隔离和其他手段防止隐私外泄。因此, 许多用户担心自己的隐私权会受到侵犯, 其私密的信息会被泄露和使用。云计算的隐私安全问题主要包括: (1) 在未经授权的情况下, 他人以不正当的方式进行数据侵入, 获得用户数据。 (2) 政府部门或其他权利机构为达到目的对云计算平台上的信息进行检查, 获取相应的资料以到达监管和控制的目的。 (3) 云计算提供商为获取商业利益对用户信息进行收集和处理。

4.2 数据安全性。

云计算的核心特征之一就是数据的储存和安全完全由云计算提供商负责。对于许多用户来说, 这一方面降低了组织内部和个人成本, 无需搭建平台即可享受云服务。但有些数据是企业的商业机密, 数据的安全性关系到企业的生存和发展。云计算数据的安全性问题解决不了会直接制约着云计算在企业中的应用。

4.3 网络传输问题。

云计算服务依赖网络, 目前网速低且不稳定, 使云应用的性能不高。云计算的普及依赖网络技术的全面发展。

4.4 用户的使用习惯。

如何改变用户的使用习惯, 使用户适应网络化的软硬件应用是长期而且艰巨的挑战。

4.5 缺乏统一的技术标准:

云计算的美好前景让传统IT厂商纷纷向云计算方向转型。但是由于缺乏统一的技术标准, 尤其是接口标准, 各厂商在开发各自产品和服务的过程中各自为政, 这为将来不同服务之间的互连互通带来严峻挑战。

5 结论

云计算的出现使我们对未来网络信息服务产生了无尽的遐想, 为信息时代数据存储和资源共享提供了新的机遇和挑战, 我们也希望云计算技术能早日克服面临的种种困难, 使云计算服务能够早日普及到我的生活和学习, 让我们切身感受到科技带来的巨大变革。

参考文献

[1]拓守恒.云计算与云数据存储技术研究[J].电脑开发与应用, 2010 (9) .

[2]段翼真, 王晓程, 刘忠.云计算安全:概念、现状与关键技术[J].信息网络安全, 2012 (8) .

[3]王婷, 黄国彬.近四年来我国云安全问题研究进展[J].情报科学, 2013 (1) .

存储时代的东芝 篇5

1 云计算时代计算机网络存储系统功能

云计算时代, 为了能够为用户提供海量数据管理功能, 计算机网络存储系统主要功能包括元数据管理、文件估值、迁移控制、访问重定向、文件系统监视及数据迁移等六个模块, 具体功能如下所述。

1.1 元数据管理

云数据管理可以实时存储、访问网络文件位置, 记录用户访问的文件属性等信息记录[2]。文件位置包括文件归属层次和系统构建全局文件地址, 以便数据迁移和访问重定向时能够及时调用。

1.2 文件估值

可以根据数据资源访问频次、数据容量、读写模式及创建时间等属性进行文件估值, 以便能够反馈数据文件的访问量和活跃程度, 实现数据迁移。

1.3 数据迁移控制

网络数据在被用户访问时, 需要根据文件估值信息动态改变数据资源的存储位置, 实现数据迁移, 从而将活跃程度高、贡献价值大的数据分配到较快的存储器上, 以降低用户访问时间, 提高数据资源的命中率。

1.4 数据访问重定向

云计算时代, 网络数据能够为用户提供透明的、分布式的服务。因此, 无论用户在哪个地方, 只需要记住数据访问的逻辑地址。如果数据物理地址发生改变, 比如, 迁移到其他地方, 使用数据访问重定向功能即可寻找到数据。

1.5 文件系统监视

文件系统监视可以实时统计存储系统运行状态, 计算系统延时、存储空间利用率、读写比例及文件访问命中率等, 并且将这些辅助信息提供给迁移控制模块。

1.6 数据迁移

数据迁移可以放置在相关的迁移计划列表中, 记录迁移数据的大小、存储位置、创建时间及访问频次。同时, 采用相关的算法将数据迁移到合适的目标位置, 数据迁移的主要目的是实现数据存储优化。

2 云计算时代计算机网络存储系统设计

2.1 存储系统架构及业务处理流程

网络存储系统可以将阵列式的存储器集成在一起, 使用NAS或DAS模式实现各个存储器之间的通信。存储网络可以根据逻辑业务请求将相关的读写操作发送给关联设备, 存储设备完成操作之后, 即可将结果反馈给请求程序。网络存储可以根据用户访问数据频次, 将数据资源放置于不同的设备, 实现数据的自动化迁移, 以便提高数据的命中率[3]。计算机网络存储系统架构及逻辑业务流程如图1所示。

2.2 存储系统实现核心技术

网络存储系统实现过程中, 其关键技术包括数据分类、数据放置和数据迁移[4]。

2.2.1 数据分类技术

随着互联网技术的快速发展, 其已经积累了海量的数据资源, 比如, 文档数据、图像数据、视频数据等, 按照不同的划分标准, 不同的数据资源拥有不同的属性。因此, 数据分类技术可以将海量网络数据分类, 是数据迁移的基础。目前, 数据分类不存在统一的定义和标准, 通常情况下根据网络数据的原始类型, 可以将其划分为机构化数据、半结构化数据和非结构化数据;根据网络数据的访问顺序, 可以将相关的数据划分为只读数据、顺序访问数据、周期性访问数据;根据数据的访问读写频次, 可以将数据划分为高频次访问热点数据、低频次访问非热点数据。目前, 随着数据划分技术的快速改进, 已经诞生了贝叶斯理论、聚类、神经网络、K均值及支持向量机等。这些数据划分技术可以根据人们的需求分类数据, 更好地保存在不同类型的数据库中, 以便人们访问。

2.2.2 数据放置技术

网络存储系统中, 数据放置可以采用相关的原则, 将系统中新添加的数据、被迁移的数据放置在某一个特定的位置上。数据放置可以采用更加科学的方法, 直接影响数据读取、写入等访问操作效率, 影响用户使用感知。目前, 网络存储系统容量巨大, 创建时期不同, 采用存储介质不同, 因此存储系统较为复杂, 数据放置问题也更加复杂。为了解决上述问题, 目前网络数据放置存在两个关键技术:一是确定数据放置在何种类型的存储介质上;二是数据放置的形式, 包括随机放置、顺序放置或文件分割放置等。网络存储系统数据放置过程中, 要充分地考虑数据大小、存储器容量大小, 选取合适的放置策略, 如先进先出、先进后出等, 以提高数据访问效率。

2.2.3 数据迁移技术

随着人们对海量网络数据的应用, 无时无刻不在进行访问数据资源, 比如, 电子商务系统随时为用户提供购物选择服务, 以便满足人们的生活需求。在网络存储系统中, 由于用户访问数据是动态变化的, 因此数据访问频次也在随之发生动态改变的。为了能够提高数据访问效率和命中率, 需要根据网络存储的数据和相关指标进行数据迁移。传统的数据迁移可以根据软硬件环境升级的需要, 将新的数据存储到相关的网络存储系统中, 以提高数据的命中率。同时, 均衡存储器的负载。数据迁移常用的技术包括同级数据迁移和异级数据迁移两种模式。同级迁移模式根据相关的存储系统硬件容量的大小, 迁移集中出现在相关存储系统中数据, 目的是均衡各个存储设备的负载。异级迁移模式则是在存储系统中经常发送的时间, 可以更好地优化数据存储内容, 实现自动化迁移。异级迁移过程能够提高低性能存储设备向高性能存储设备的数据迁移, 同时也可以向相反的方向迁移。数据迁移方法还可以采用离线迁移和在线迁移, 离线迁移的实现方法较为简单, 可以采用U盘、数据线等进行数据迁移。但是, 无法实时迁移数据, 同时效率较低。在线迁移实现过程复杂, 可以采用中间件技术实现数据迁移。合理制定良好的数据迁移计划和实施流程, 提高数据库存储系统的实时性和完善性。

3 结语

多层次网络存储系统具有云数据管理、访问重定向、数据迁移控制等功能, 能为用户提供动态的、安全的数据库访问存储功能, 提高云计算时代网络资源的访问效率, 进一步改善人们的网络资源利用率。

摘要：互联网促进了分布式计算、移动计算的应用和改进, 使人类社会迈入云计算时代, 积累了海量的网络数据。为了提高数据的可用性、安全性和处理能力, 需要构建一个完善的网络存储系统, 以动态改善热点数据资源, 提高热点数据的响应优先级, 更好地提高存储系统的访问、读写效率。本文详细分析云计算时代网络存储系统的主要功能, 描述了网络存储系统的业务流程及实现技术, 为网络存储系统的设计与开发提供参考。

关键词：网络存储系统,数据放置,数据迁移,元数据

参考文献

[1]谭鹏许.云计算环境下安全分布式存储架构与容错技术研究[J].解放军信息工程大学学报 (自然科学版) , 2013, 24 (7) .

[2]苏文, 王焕东, 台运方, 等.面向云计算的多核处理器存储和网络子系统优化设计[J].中国电子商务, 2013, 32 (4) .

[3]刘飞.基于云计算的分布式存储系统的研究和应用[J].西安工业大学学报 (自然科学版) , 2012, 26 (9) .