计算机存储技术（共12篇）
计算机存储技术 篇1
1 云计算概念
云其实是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网, 后来也用来表示互联网和底层基础设施的抽象。云计算分狭义云计算和广义云计算。狭义云计算指IT基础设施的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需服务。如果仅下一个定义, 人们仍然无法理解到底什么是云计算, 我们举一个很浅显的例子。传统模式下, 企业建立一套IT系统不仅仅需要购买硬件等基础设施, 还有买软件的许可证, 需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说, 计算机等硬件和软件本身并非他们真正需要的, 它们仅仅是完成工作、提供效率的工具而已。对个人来说, 我们想正常使用电脑需要安装许多软件, 而许多软件是收费的, 对不经常使用该软件的用户来说购买是非常不划算的。如果能够提供我们需要的所有软件供我们租用, 我们只需要在用时付少量“租金”即可“租用”到这些软件服务, 为我们节省许多购买软硬件的资金。我们每天都要用电, 但我们不是每家自备发电机, 它由电厂集中提供;我们每天都要用自来水, 但我们不是每家都有井, 它由自来水厂集中提供。这种模式极大得节约了资源, 方便了我们的生活。面对计算机给我们带来的困扰, 我们可不可以像使用水和电一样使用计算机资源?这些想法最终导致了云计算的产生。云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众, 使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下, 用户的计算机会变的十分简单, 或许不大的内存、不需要硬盘和各种应用软件, 就可以满足我们的需求, 因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主机”的电线无限长, 从而可以把显示器放在使用者的面前, 而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络, 把“主机”变成云服务提供商的服务器集群。在云计算环境下, 用户的使用观念也会发生彻底的变化:从“购买产品”到“购买服务”转变, 因为他们直接面对的将不再是复杂的硬件和软件, 而是最终的服务。用户不需要拥有看得见、摸得着的硬件设施, 也不需要为机房支付设备供电、空调制冷、专人维护等等费用, 并且不需要等待漫长的供货周期、项目实施等冗长的时间, 只需要把钱汇给云计算服务提供商, 我们将会马上得到需要的服务。这就是云计算, 在这样的模式下, 云存储又是怎么一回事, 它与云计算有怎样的联系呢?
2 云存储概念
云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念, 是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时, 云计算系统中就需要配置大量的存储设备, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说, 云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时间、任何地方, 透过任何可连网的装置方便地存取数据。然而在方便使用的同时, 我们不得不重视存储的安全性, 存储必须具有良好的兼容性, 以及它在扩展性与性能聚合方面等诸多因素。首先, 作为存储最重要的就是安全性, 尤其是在云时代, 数据中心存储着众多用户的数据, 如果存储系统出现问题, 其所带来的影响远超分散存储的时代, 因此存储系统的安全性就显得愈发重要。其次, 在云数据中心所使用的存储必须具有良好的兼容性。在云时代, 计算资源都被收归到数据中心之中, 再连同配套的存储空间一起分发给用户, 因此站在用户的角度上是不需要关心兼容性的问题的, 但是站在数据中心的角度, 兼容性却是一个非常重要的问题。众多的用户带来了各种各样的需求, Windows、Linux、Unix、Mac OS, 存储需要面对各种不同的操作系统, 如果给每种操作系统更够配备专门的存储的话, 无疑与云计算的精神背道而驰, 因此, 云计算环境中, 首先要解决的就是兼容性问题。再次, 存储容量的扩展能力。由于要面对数量众多的用户, 存储系统需要存储的文件将呈指数级增长态势, 这就要求存储系统的容量扩展能够跟得上数据量的增长, 做到无限扩容, 同时在扩展过程中最好还要做到简便易行, 不能影响到数据中心的整体运行, 如果容量的扩展需要复杂的操作, 甚至停机, 这无疑会极大地降低数据中心的运营效率。最后, 云时代的存储系统需要的不仅仅是容量的提升, 对于性能的要求同样迫切, 与以往只面向有限的用户不同, 在云时代, 存储系统将面向更为广阔的用户群体, 用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升, 只有这样才能对请求作出快速的反应, 这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能, 这显然是传统的存储架构无法达成的目标, 传统的存储系统由于没有采用分布式的文件系统, 无法将所有访问压力平均分配到多个存储节点, 因而在存储系统与计算系统之间存在着明显的传输瓶颈, 由此而带来单点故障等多种后续问题, 而集群存储正是解决这一问题, 满足新时代要求的千金良方。
3 云存储技术与传统存储技术
传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理, 所有的数据集成到单一的存储体系之中, 以满足业务持续性需求。但是在面临大数据难题时显得捉襟见肘:1) 成本激增。在大型项目中, 前端图像信息采集点过多, 单台服务器承载量有限, 就造成需要配置几十台, 甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加;2) 磁盘碎片问题。由于视频监控系统往往采用回滚写入方式, 这种无序的频繁读写操作, 导致了磁盘碎片的大量产生。随着使用时间的增加, 将严重的影响整体存储系统的读写性能, 甚至导致存储系统被锁定为只读, 而无法写入新的视频数据;3) 性能问题。由于数据量的激增, 数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据, 在索引时往往需要花上几分钟的时间。
作为最新的存储技术, 与传统存储相比, 云存储具有以下优点:1) 管理方便。其实这一项也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后, 所有的升级维护任务都是由云存储服务提供商来完成, 节约了企业存储系统管理员上的成本压力。还有就是云存储服务强大的可扩展性, 当企业用户发展壮大后, 突然发现自己先前的存储空间不足, 就必须要考虑增加存储服务器来满足现有的存储需求。而云存储服务则可以很方便的在原有基础上扩展服务空间, 满足需求;2) 成本低。就目前来说, 企业在数据存储上所付出的成本是相当大的, 而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力, 许多企业将大部分数据转移到云存储上, 让云存储服务提供商来为他们解决数据存储的问题。这样就能花很少的价钱获得最优的数据存储服务;3) 量身定制。这个主要是针对于私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案, 或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务, 而且还能在一定程度上降低安全风险。
传统的存储模式已经不再适应当代数据暴增的现实问题, 如何让新兴的云存储发挥它应有的能力, 在解决安全、兼容等问题上, 我们还需要不断的努力, 就目前而言, 云计算时代已经到来, 作为其核心的云存储必将成为未来存储技术的必然趋势。
摘要：随着信息化以及计算机网络技术的高速发展, 从计算机应用由于资源匮乏而不得不采取的计算资源大集中模式到如今IT技术高度发展而带来的云计算时代。数据信息量的不断增加, 给传统的存储技术带来了新的挑战, 如何让数据存储适应新技术的发展无疑是我们在发展的道路上必须弄清楚的一个重要问题。本文由浅入深, 首先从云计算、云存储的概念谈起, 进而分析在云计算时代云存储技术的实际作用。通过对传统存储技术与云存储技术的对比, 体现云存储技术是未来数据存储的必然趋势。
关键词：网络,云计算,数据存储,云存储
参考文献
[1]高岚岚.云计算与网格计算的深入比较研究[J].海峡科学, 2009 (2) .
[2]卢大勇, 陆琪, 姚继锋.伯克利云计算白皮书 (节选) [J].高性能计算发展与应用, 2009 (1) .
[3]李德毅, 孟海军.隶属云和隶属云发生器[J].计算机研究与发展, 2009.
[4]中国云计算网.什么是云计算, 2009.
[5]维基百科.Cloud computing, 2009.
[6]Amazon Amazon elastic compute cloud (Amazon EC2) 2009.
[7]IT168.云计算技术的产生, 2012, 1.
计算机存储技术 篇2
1 概述
自从网络概念问世以来， 从局域网到广域网， 网络规模不断扩张， 给人们的生产生活带来了巨大的变化。二十一世纪以来， 随着信息时代的到来， 互联网已经成为人们生产生活中必不可少的重要组成部分， 特别是随着智能手机、平板电脑等移动终端设备的普及， 使得互联网的接入方式更加便捷。随着互联网规模的不断增长， 网络信息量十分巨大， 特别是随着信息化进程的不断深化， 网络信息量仍将进一步增长， 网络的信息容量已经成为制约互联网进一步发展的重要瓶颈， 网络数据的存储开始得到人们的广泛关注。互联网信息容量大， 数据交互速率高， 这就要求网络中的数据存储既要满足较大容量的存储需求， 又要满足高效快速的读取、存储速率， 这就给计算机网络存储技术提出了新的较高要求。本文主要针对计算机网络存储技术的发展现状进行了分析， 并对下一步新型存储技术的发展进行了探讨与展望。
计算机存储技术 篇3
关键词：云计算环境；分布存储；相关技术
中图分类号：TP333
随社会与科技的发展进步，作为新型计算手段的云计算，在现阶段科学计算与商业计算中所具有的作用越来越重要。而因云计算的数据存储具有较大的规模，很容易就出现数据失效或者消失的情况，不但使其成本增加，也在一定程度上限制云计算的应用与推广。云计算通过浏览器的访问模式向商业提供通用的在线服务，给用户提高可配置并且能资源共享的计算方式，并把大量数据在数据中心内存储，给上层提供更为安全可靠的资料数据，从而实现其作用的发挥。
1 云计算及其产生的背景
1.1 云计算
云计算是指能够提供大量的信息与数据的计算存储服务，也是在科技的发展中而形成的新型计算模式，其能够为用户提供更为方便、更为安全可靠的计算与存储服务。云计算能够结合网络设备与数据节点，建立起一个或多个大型数据中心，从而为用户提供更多的基础服务，满足用户需求。云计算将大量数据库在数据中心不同的节点上存储，也有被存在不同数据中心不同的节点上，而数据信息存储的位置对其使用的用户所提供的服务具有透明性与共享性，用户使用云计算只需提供其访问节后，便能读取在数据中心当中的相关信息[1]。云计算的存储能够给用户提供的服务更为安全可靠，在一定程度上对于成本费用的减少具有促进意义，用户能够根据需求来存储数据，避免了存储空间的浪费。但是因云计算存数数据的信息量非常巨大，对于成本费用与存储技术的要求还需进一步改善。
1.2 云计算产生的背景
当前信息时代的到来，使得计算机在各行各业当中被广泛的应用，使得存数数据的量也随之增加。而随数据量增加，在原有计算机当中的计算模式难以满足当前的需求，因此，云计算应运而生，并有效的处理在数据计算与数据存储当中存在的一些问题，满足其存储需求。云计算在数据分布和存储技术当中，主要是根据用户本身需求来分析计算机存储系统，接着用户再根据本身需求在互联网上购买相应的存储空间[2]。在云计算存储中，数据在数据中心各个节点中被存储，接着数据中心再合理的编排这些数据，同时经由专门端口来把数据传送到客户中，加上云计算的使用，最大的特点是能够实现资源的共享，为用户使用提供更为方便快捷的服务。
2 云计算的环境下分布存储关键技术
2.1 容错性
以往一般都采取高性能的服务器与专用存储设备及RAID技术将存储的容错性有效提高，但是这个方法手段的成本过高，而云计算的供应商所获取的利润比较低，并呈现逐渐降低的趋势，再加上巨大的节点规模与数据量，数据失效率也被进一步提高，并在云计算的环境之下，数据失效逐渐成为一种常见的状态[3]。这样就很容易出现错位行为，对云计算供应商与客户服务带来非常大的损失，所以针对这个问题，必须采取有效的解决对策将其有效的处理。
2.2 可扩展性
在以往以个人的计算机作为核心的数据存储当中，提高计算机可扩展性的主要手段就是运用一个预留磁盘来达到可扩展性要求，这样的方法在以往数据量比较少的时候还能够适用，但是在当前数据量不断增加的现状中，云计算的数据量更为庞大，不管是哪个供应商所提供的存储手段皆难以满足当前的数据存储相关要求[4]。由此可以看出，要求数据中心存储的硬件与组织结构必须具有较大可扩展性，并且只有加大的可扩展性，才可以不断适应数据的存储要求，从而进一步满足用户需求，提高用户满意度。
2.3 成本控制
以往分布存储的数据与节点规模都较小，对于能耗要求也比较低，所以其成本也就比较少。而在云计算的发展环境中，分布存储与数据变得越来越多，其规模也变得原来越大，能耗开销变得越来越重，应用的范围也变得更加的宽广。于制冷设备和散热设备当中的投入越来越大，使得对成本的有效控制就成为几个亟需解决的重要问题。采取降低能耗的方式，不但可以延长设备硬件的使用寿命，还能给商家一个更加简单的获利手段，其在低碳生活理念的范畴当中，为保护环境提供一个新的卖点。
3 在云计算的环境下对分布存储相关技术结构进行对比分析
3.1 将交换机作为核心的结构
该结构主要是通过交换机把数据中心当中的各个服务器有效的连接，从而构建层次分明的树形结构，主要由边缘层与聚合层以及核心层构成。而交换机主要负责的是将服务器连接的用时负责转发相关的数据包，这种将交换机作为核心的结构在操作的过程中非常简单、易于上手，并且较为方便，但是其灵活性相对较差，下层服务器只是负责数据的存储与处理，并不需占用到CPU资源，其利用率也比较低。
3.2 将服务器作为核心的结构
该结构不需要通过交换机来将数据进行转发，在这个结构当中，转发数据的任务就交接给了服务器，主要是由于服务器不但要对数据进行存储与处理，还要转发相关的数据包。这种将服务器作为核心的结构在线路的连接与结构的组成中较为方便快捷，能够让服务器和底层网络交互作用[5]。但是因其没有了交换机，使得该结构链路冗余比较多，导致服务器所具有的负担比较中，从而造成服务器整体的计算效率进一步降低，使得性能发生损失，加大了运行的成本。
3.3 混合结构
所谓的混合结构，就是将交换机作为核心的结构和将服务器作为核心的结构相结合，通过交换机作为服务器的连接节点，并在服务器当中安装更多网卡，同时通过交换机与服务器来提供数据路由的转发功能，从而让服务器参与到转发数据包的功能当中，但是其需要占用比较大的CPU资源。而采取混合结构所具有的灵活性更高，能够有效的在特定网络场景结构当中应用，并在相同的条件之下，其所需消耗的成本更加低。
4 结束语
综上，云计算于商业计算与科学计算的领域当中被广泛应用，数据中心在云计算当中作为基础性存在，必须有效的解决当前大量数据环境中分布存储所出现的容错性与可扩展性及成本控制等问题。由此可知，在数据中心的网络拓扑构建技术应用当中，其分布存储技术还需要进一步研究，而有效的将云计算的环境下分布存储技术所具有的容错性提高，创新节能技术来降低能量消耗，充分的应用各方面有用技术，对构建一个具有较强容错性与良好扩展性及低成本的分布存储技术具有重要的促进作用。而在当前的现状下，在云计算的环境中构建出一个较为先进科学的分布存储空间还具有较大的难度，这就给未来相关的研究指明了研究的方向。
参考文献：
[1]李华清.云计算体系架构与关键技术分析[J].电子制作，2014（14）：201-203.
[2]曹鲁.云计算数据中心建设运营分析[J].电信网技术，2012（23）：514-516.
[3]叶可江，吴朝晖，姜晓红.虚拟化云计算平台的能耗管理[J].计算机学报，2012（32）：821-823.
[4]张莉.浅谈云计算技术国内发展现状[J].计算机光盘软件与应用，2012（25）：502-505.
[5]龚兰兰，刘晓升，朱巧明.远程调试系统的关键技术分析[J].计算机应用与软件，2010（08）：441-443.
作者简介：陈晓红（1966-），女，罗田人，副教授，硕士，研究方向：计算机应用。
计算机数据存储备份技术探析 篇4
1 计算机数据存储系统种类
DAS ( 直接依附 ) 、NAS ( 网络依附 存储系统 ) 与SAN(存储区域网络 ) 三者是目前普遍应用的数据存储技术。
DAS技术以服务器为中心, 其存储设备直接与服务器或者客户器后端相连接, 存储备份也依靠服务器与客户机控制完成,其本身只是单纯的存储备份载体, 并未有专门操作系统, 需要服务器或者客户机上由第三方软件进行专门操控, 在服务器提供其他服务或者用户数量增加时, 运行响应速度不可避免会变慢, 因此在随着前兆以太网的普及应用, 其制约发展瓶颈越来越典型, 在应用与推广方面变得困难重重, 应用范围缩小。
NAS技术以网络为中心面向文件提供存储服务 , 其存储设备是单独作为文件服务器与网络相连, 数据的存储应用部分并不在同一服务器, 所以设备数据其实都存储在NAS设备中, 通过网络LAN接口与文件系统服务器相连接, 这种性质决定了NAS的网络独立性, 即使遇到用户数量增加或者运行服务过多等情况也不至于像DAS技术一样导致服务器过载,影响运行响应速度, 所以NAS存储备份模式下网络运行性能还是较为可靠的。
SAN简单来说是依靠光纤通道的高传输速度以及大容量 ,从而将服务器和存储设备有效地连接在一起, 形成网络结构,二者通过高带宽FC交换机连接, 可随时完成工作站在局域网中的访问, 不通过服务器也能够成功实现存储设备存储数据之间的相互交换, 减少了数据交换与传输带来的网络冲突与堵塞, 减少了服务器运行荷载压力, 可显著提升系统整体运行的灵活性与伸缩性, 这也是为何现今SAN技术备受期待的原因所在, 是目前计算机存储备份领域最引人注目的技术之一[1]。SAN技术的优势在于可更加快捷、简便地完成数据资源的存储应用, 还可对这些庞大的数据资源实施集中管理, 直接提升了应用与管理的便利性, 因而具有较好的应用与发展前景。SAN技术以光纤为接口决定了其拥有其他技术不可比拟的高传输速度, 高性能、高扩展性的光纤网络、光纤交换机与存储阵列可提供更大的服务器扩展空间与吞吐量。在存储管理方面, SAN技术直接提供了存储、备份系统与系统相连接的架构, 数据在以太网络上流通直接提升了网络运行性能, 用户可以获得一个与服务器分开的存储管理理念, 文件的存储、备份、恢复与安全管理都将变得更加可 靠与简便 ,依靠网络方式连接的不同存储池在数据交换、共享方面具有更多优势, 用户访问数据的安全性与完全性得到了可靠保障。SAN技术的另一优势在于简易扩容与高效容错性能 , 只需要加入新的SAN设备做简单设置即可实现在线扩容配置, 及时存储设备有损坏丢失情况也不会影响整体数据的完整性与安全性, 通过更换损坏硬盘即可做数据容灾与备份, 而无需重启磁盘阵列那么麻烦, 数据灾备方面具有天然优势。
2 计算机数据备份系统种类
2.1 冷备份
冷备份是一种技术结构简单、成本较低的备份方式, 主要以打孔器、磁带机等进行定期存数备份, 处理后的数据被分别备份以实现灾备。从这种描述就可看出冷备份技术含量低、易于实现且应用成本低, 但是其也存在着巨大的 不足 ,一是备份数据转移较为麻烦, 且一旦被破坏, 恢复时间 慢 ,一旦备份介质出现问题很有可能永远无法恢复, 因此多数适用于经费或者周期紧张时段的数据备份, 多数也只适合一些中小企业和个人系统应用。
2.2 热备份
热备份是目前所有备份技术中效果最好、恢复最快的一种备份方式, 这种备份技术需要设置专门的灾备设备与技术中心, 通过光纤通道与需备份服务器之间实现连接, 在专门软件辅助下实时对备份服务器进行监控与自动探测, 在灾备系统安装完成后不需要人工操作即可完成灾备工作, 在监控服务器出现故障与问题时自动进行备份, 完成数据转移操作,祈祷防患于未然的作用。但是暖备份这种技术目前还有较多不足, 比如专用灾备设备价格昂贵、安装复杂, 需要配备专门的管理设备与软件, 且只能实现点对点传输, 扩容性、容错性与扩展性较差, 初期安装技术难度和施工难度较高, 且对设备厂商依赖程度较高, 因此适用范围较窄。目前热备份技术主要针对一些对数据存储高安全性、高可靠性、实时性要求较多的时候才予以使用, 或者超大规模的应用系统与企业计算机数据服务中心才予以采用。
2.3 暖备份
对于暖备份来讲, 不管是成本还是技术难度, 两者均处于冷备份和热备份之间, 属于这两者之间的一个折中。但是目前在实际应用中, 这一方案则是应用最为广泛的, 主要用途为数据库复制、硬盘远程影像设置以及灾备中心等等, 可以对存储数据的完全备份有效实现[2]。
硬盘远程镜像与主服务器相比, 设置出一个与之相比较差的另外一个服务器, 将其与众多磁盘阵列硬盘结 合应用 ,从而将数据存储工作有效实现, 关于数据的传输和备份则可以通过光纤通道及RAID技术完成, 相对来讲不管是成本还是技术难度均比较低。这一技术虽然技术难度并不高, 然而依旧需要花费大量费用在光纤铺设上, 还要受到距离 的影响 ,重点是这一技术并没有应用同步复制技术, 因此很难实现数据的同步存储, 但是并不会对正常使用产生较大影响[3]。和硬盘镜像技术相比, 数据库复制技术与之有一定相似, 但是在存储方式上具有一定差异, 但是数据库复制技术能够对存储不同步问题有效处理, 并且在对数据库软件强大功能的应用之下, 还能够有效地实现邮寄备份, 和RAID技术相比具有更高科学性和可靠性。因此在优缺点对比上, 两项技术并没有太大差异, 应用优势主要也就集中在数据同步存储上, 但是同时也因为数据库存在的差异, 目前也就只能单纯地实现同厂商之间的数据传输, 无法实现跨库操作, 并且在应用中兼容性比较差, 依旧可以将其认为是一种解决灾备问题的有效方式之一。设置灾备中心这里的概念与热备份中所提到的灾备中心有一定差别, 暖备份的灾备中心主要实在企业公司或者机关所在地构建较大数据备份中心, 基于这一中心将整体结构内全部数据存储及灾备管理工作全部完成。
3 结语
计算机磁盘存储设备 篇5
计算机硬盘的常见问题就具有复杂性和特殊性，其中一些与硬件修理技术相关的技巧性修理需要不断改进，在网络计算机发展速度日益加快的今天，计算机硬件的问题与改进需要不断的完善。
在文中作者以计算机硬盘存储为主要方向讨论了计算机硬盘存储常见的问题和改革对策。
关键词：计算机;硬盘存储;常见问题
一、计算机硬盘存储的概述
在日常计算机教学过程中需要了解计算机硬件的各项数据和使用性能，更需要注意计算机硬盘存储的重要作用和意义。
硬盘是电脑的重要组成部分，硬盘是一个可以存储的设备，可以暂时储存很多有效的资源，在一台电脑之中必须要配备硬盘才可以实现电脑的正常运用，硬盘对电脑起着相当大的作用，它存储了电脑的一部分资源和信息，在电脑的运行中起着决定性作用。
一个好的硬盘可以实现无故障运行两万个小时，一个较差的硬盘则难以实现长期运行，如果错误的使用硬盘，则会对硬盘造成巨大的损害。
笔者站在使用者和教学者的角度在文中分析这个问题。
硬盘具有一些其自身的特点，比如说转速，硬盘的转速是决定硬盘写入速度和写出速度的一个关键点，硬盘的转速标示的是硬盘盘片在一分钟内所能完成的最大转数，转速的快慢是硬盘档次的一个重要参数，是决定硬盘内部传输率的关键因素之一，决定着硬盘的品质。
硬盘的转速越快，硬盘寻找文件的速度也就越快，相对的硬盘的传输速度也就得到了提高。
硬盘转速以每分钟多少转来表示，单位表示为RPM，RPM是的缩写，是转/每分钟。
RPM值越大，内部传输率就越快，访问时间就越短，硬盘的整体性能也就越好。
二、计算机硬盘存储常见的一些问题分析
(一)计算机开机无法识别硬盘
计算机开机无法识别硬盘是一个最常见的硬盘存储自身的问题，这类问题对硬盘造成了一定的使用障碍。
计算机开机时不能够被识别，系统从硬盘处无法启动，从软盘或者光盘引导启动也无法访问硬盘，使用CMOS中的自动检测功能也无法发现现存的计算机硬件问题。
系统在使用硬盘时无法进入A盘也无法进入C盘，对于CMOS的自动检测没有办法实现全时监控硬盘，不能实现硬盘的顺利运行。
对于这类故障的分析作者主要进行两点归纳：第一，这类故障属于硬性故障，指的是磁头损坏、主线路板烧毁、微线路损坏、盘体损坏等故障。
磁头损坏的典型现象就是开启计算机没有办法进行自我检验和识别，并且硬盘无法实现运转的咔嚓的声音，硬盘的马达没有转动起来，用手贴近硬盘也没有丝毫的震动感，这类就是硬故障，如果排除了电源及其线路的故障，就有可能是硬盘电路板的损坏导致的故障。
第二，是软故障造成的，这些问题表现在连接线的差错或者是IDE端口的位置错误。
(二)硬盘坏道的故障与问题
硬盘故障中硬盘扇区的坏道是造成硬盘使用障碍的主要问题，硬盘使用会导致微电路的数据传输太快而造成硬盘的烧毁，这类故障的表现主要是：突然间硬盘使用速度下降，出现操作变慢和使用变异常的现象，有时会发出异响，系统会直接提示系统无法读取或者无法写入该文件，每一次开机时就会启动自动磁盘扫描程序，自动运行该检测程序
但是却难以实现全面和顺利的检测，有时启动硬盘没有反应，无法进行有效的引导，用软盘或者光盘进行工作与驱动时会显示硬盘盘面不存在，而且在我的电脑操作中看不见盘符，具体表现如开机自检过程中，屏幕提示“Hard disk drive failure”，读写硬盘时提示“Sector not found”或“General error in reading drive C”等类似错误信息。
造成这类故障的主要原因是硬盘出现坏道的一种表现，硬盘坏道是逻辑坏道和物理坏道两种情况的综合体，逻辑坏道是可以用软件来修复的，而物理坏道是无法利用软件修复的，物理坏道是一种不可修复的坏道，会造成硬盘分区失败，扇区数据丢失。
(三)无论使用什么设备都不能正常引导系统
这种故障一般是由于硬盘被病毒的“逻辑锁”锁住造成的，“硬盘逻辑锁”是一种很常见的恶作剧手段。
中了逻辑锁之后，无论使用什么设备都不能正常引导系统，甚至是软盘、光驱、挂双硬盘都一样没有任何作用。
“逻辑锁”的上锁原理：计算机在引导DOS系统时将会搜索所有逻辑盘的顺序，当DOS被引导时，首先要去找主引导扇区的分区表信息，然后查找各扩展分区的逻辑盘。
“逻辑锁”修改了正常的主引导分区记录，将扩展分区的第一个逻辑盘指向自己，使得DOS在启动时查找到第一个逻辑盘后，查找下个逻辑盘总是找到自己，这样一来就形成了死循环。
三、针对计算机硬盘存储常见问题的一些解决措施
(一)计算机硬盘开机不可识别的故障排除
对于这种故障的排出，根据其自身故障形成的原因可以实现故障的排出，作者认为应该先从软故障排除开始入手。
软故障的排除做法主要有：第一，可通过重新插接硬盘电缆或者改换IDE口及电缆等进行替换试验，就会很快发现故障的所在;第二、如果新接上的硬盘也不被接受，一个常见的原因就是硬盘上的主从跳线，如果一条IDE硬盘线上接两个硬盘设备，就要分清楚主从关系。
而硬故障的解决方式也是一种有技巧性的选择，如果是硬盘电路烧坏采用的解决措施，那么就是盘体造成的问题，这就需要硬故障检测手段来解决这类问题。
第一，采取替换零部件的方式，第二，采取将数据转换出来重新更换在新的硬盘之中，避免数据丢失，硬盘修复后再将其还原。
(二)解决硬盘坏道的措施
硬盘坏道对计算机使用带来了困境，作者选用的针对性解决措施有两种：第一，针对逻辑坏道，推荐使用MHDD配合THDD与HDDREG等硬盘坏道修复软件进行修复，一般均可很好的识别坏道并修复。
或者选用插入软盘进入DM界面，选FILL ZERO选项执行就可以了，清零速度很快，只需一两分钟就可以了，清零以后就可以推出DM，重新启动计算机，坏道就可以进行修复了。
第二，针对物理坏道，直接推荐选用新的硬盘。
(三)解决硬盘设备的引导问题
在计算机的硬盘设备使用过程中硬盘设备会出现设备的无法引导问题，在出现无法引导时一般称为“逻辑锁”问题，针对“逻辑锁”的解决方法是进行“热插拔”硬盘电源。
这种方式的主要功能在于可以在系统启动时，先不给锁定的硬盘加电，而是等待启动完成后再给硬盘进行“热插拔”电源上的充足性。
启动完成插上电源后就可以实现系统正常控制硬盘了。
但是这种做法风险较高，作者多年的工作经验总结后，选择两种比较科学合理，风险较低的方式进行修理。
第一，先准备一张启动盘，在正常使用的机器上进行二进制的工具修改软盘的IO.SYS文件，在文件中搜索寻找一个新的字段为“55AA”字串符，在确定字符串之后修改为其他的任意数值，利用这张修改过后的系统软盘可以顺利的带着锁定的硬盘启动。
第二、因为DM是不依赖于主板BIOS去识别硬盘的一种工具，
就算在主板BIOS中将硬盘设为“NONE”，DM也可识别硬盘并进行分区和格式化等操作，所以我们也可以利用DM软件为硬盘解锁。
首先将DM拷到一张系统盘上，接上被锁硬盘后开机，按“Del”键进入BIOS设置，将所有IDE接口设为“NONE”并保存后退出，然后用软盘启动系统，系统即可“带锁”启动，因为此时系统根本就等于没有硬盘。
这样设置后再重新启动DM就可以发现D，M可以识别硬盘了，而且选中该硬盘就可以进行分区格式化的操作了。
参考文献：
[1]姜峰.计算机硬盘常见故障及维修,计算机软件与光盘,2010,9,80-82
[2]陈峰.计算机硬件故障分析与维护探析,计算机工程应用技术,2010,9,43-45
计算机存储技术 篇6
该A200产品补充了希捷ClusterStor横向扩展存储系统产品线。A200能够使用户在保持在线快速检索的同时，不间断地从性能优化的主存储层中迁移指定数据。在共享HPC环境中，企业往往被迫要在使用所有可用数据做最佳分析和从磁带检索数据所需的时间之间做出选择，而A200解决了这一常见难题。通常，通过迁移数据和释放空间就可以实现数据的有效布局，提升主存储器的性能。预置ClusterStor A200解决方案包括一个自动策略驱动分层存储管理系统（HSM）和超高的横向扩展能力。
希捷高性能计算系统业务副总裁兼总经理Ken Claffey 表示：“A200是我们高性能ClusterStorLustre和IBM Spectrum Scale工程系统的有效补充。它不但能够平衡性能，还提供用于针对最小资本支出和运营成本的优化系统，适用于动态归档应用。许多关键的HPC系统需要重读并分析已经归档的有价值的数据，但是我们客户却希望这些大量的归档能够形成可以即时在线的大规模数据集。ClusterStor A200是一个特制的解决方案，能够帮助客户在HPC环境中实现存储分层和点对点的工作流程。”
ClusterStor A200针对满足客户最苛刻的HPC需求而设计，包括天气、生命科学、石油和天然气、金融服务、制药及地理空间情报等领域。
ClusterStor A200的机架由多达7块可扩展的存储单元组成，而且还可以轻松添加存储单元和机架到存储池和高可用性ClusterStor管理单元。A200系统也包括一个全面的管理系统，配有独立、易用的管理界面，采用第三代ClusterStor擦除码，提供无与伦比的数据和灾难保护以及极高的耐用性。全新优化的基于网络的擦除码可以使用整个系统的资源，从而快速重建失效的驱动器，提升可用性，同时使交付到客户应用的可用存储最大化。为进一步提升A200系统的耐用性，ClusterStor擦除码配备了独特的机制优先排序最重要的重建数据，从而显著提升系统恢复的时间，实现数据保护最大化。
计算机存储技术 篇7
1 计算机信息技术的存储方式
随着计算机信息技术的不断发展, 企业在运营的过程中要处理的信息数据越来越多。数据可分为2大类:非数值型数据和数值型数据。在计算机中, 使用二进制表示数据, 二进制数既可以表示汉字, 也可以表示字符或数量值以及其他内容。由于代表的数据不同, 二进制数也会具有不同的含义。计算机信息技术的存储实际上就是在计算机的存储设备中对这些数据进行存储。
数据的最小单位是位 (bit) , 主要是由数字1和0组成的, 数据的下一单位是字节 (byte) , 简写为“B”, 一个字节是由8个二进制位组成的。在计算机的信息处理中, 基本的单位是字节。由此可见, 对信息进行解释需要使用字节。1个整数占2个字节, 1个汉字国际码占2个字节, 1个ASCII码占1个字节。字长值必须是1个字中包含的二进制的位数。因此, 由于计算机的不同, 也会具有不同的字长。常用的字长有64位、32位、16位和8位。如果1台计算机用16个二进制表示1个字, 则该计算机的字长为16位, 该计算机就是16位机。要对计算机的性能进行衡量, 字长是一个良好的标准, 计算机的字长越长, 则说明其性能越好。
计算机的存储设备主要用来存储数据信息, 包括光盘、软盘、硬盘和内存。在这些存储设备中, 仍然是以字节为单位来对数据信息进行存放的。每个计算机的内存容量都不同, 这是由计算机系统配置的主存总字节数决定的。使用MB和KB两个度量单位对内容容量进行计算, 同时, 计算机还具备外存容量, 即光盘、软盘和硬盘, 其用GB、MB作为度量单位对外存容量进行计算。目前, 高档微型计算机的外存容量已经达到了几十吉字节。
2 计算机信息技术存储平台
随着计算机信息技术的不断普及, 信息数据的数量越来越多, 整理工作也变得越来越困难。传统人工记录的方式存在很多弊端, 比如错误率较高、效率较低等, 且还会占用较大的数据空间、信息数据容易被丢失或损坏, 不利于数据的更新。因此, 需要对传统的数据管理进行有效改进, 以适应发展的需要。
计算机信息技术的存储技术不仅能提供强大的数据备份和录入平台, 还能使信息数据管理的效率和质量得到提升。计算机存储技术不仅能进行数据的更新和录入, 还能对数据进行逻辑管理。因此, 计算机信息技术的存储技术的发展和应用前景非常广阔。
3 计算机存储技术设计中存在的问题
计算机存储技术已在我国的很多企业得到了应用, 企业利用计算机存储技术进行内部管理, 主要是对员工信息和内部信息进行管理, 从而使企业的内部管理效率得到了极大的提高。然而, 由于企业的实际情况不同, 对计算机存储技术也有着不同的需求, 导致计算机存储技术的开发和应用过程中出现了一些问题。
计算机存储技术能有效管理企业的员工信息和内部信息, 使企业的管理效率得到提高。因此, 在设计计算机信息技术存储平台时, 绝大多数都采用E-R模型的形式。
在计算机存储技术的开发过程中, E-R模型非常重要, 应用范围也比较广泛。这是因E-R模型能准确分析用户的需求。通过分析E-R模型, 能对不同的需求进行表格分离, 并有针对性地分析不同的需求点。在计算机的存储技术开发中, 普遍运用了E-R模型, 这是因为E-R模型能有效进行实体之间的联系, 并具有关系集和属性, 进而形成严格的结构逻辑关系, 最终可连接不同实体的附属关系, 使E-R模型更加完整。可用椭圆形表示E-R模型中的属性, 用菱形块表明关系, 用矩形框表示实体。
图1是某中学向社会招聘教师的E-R模型。在该模型中, 数据之间存在一定的对应关系, 即学校与教师之间的实体关系为“1-N”, 学校可以同时向社会招聘多名教师。
4 计算机信息技术存储平台的设计过程
4.1 设计计算机信息技术存储平台的需求
在计算机信息技术存储平台的设计和开发过程中, 需求设计是非常重要的设计阶段, 也是计算机信息技术存储技术的基础设计和开发阶段。这是因为在设计的过程中必须先了解用户的实际需求, 才能保障后续的设计和开发不偏离正确的轨迹。因此, 在进行需求设计分析时, 要正确地整理用户的需求, 并对用户需求中的每一个具体需求和细节进行完善, 从而使设计出的信息技术存储平台更加符合实际情况和用户的要求。
4.2 具体设计和开发过程
在需求设计中主要是对用户的具体需求进行分析。此时, 用户需求尚处于模拟阶段。所谓“模拟阶段”是指这些需求还没有具体的定义。在进行计算机信息技术存储平台的设计中, 程序设计人员需要最终定义这些抽象的概念, 并解析这些概念之间的关系, 从而确定这些需求之间的关系。此外, 存储平台的概念理解和设计非常重要, 该阶段的主要工作是归纳和总结用户的整体需求, 对具体的模型进行抽象比较。
同时, 在计算机信息技术存储平台的应用和开发流程中的其他环节有:计算机存储技术的维护、物理实现和逻辑设计等。在计算机信息技术存储平台的开发和应用中, 这些流程都发挥着重要的作用。
5 开发和应用计算机存储技术
在计算机存储技术的每个设计阶段, 都具有不同的核心内容。在进行计算机信息技术存储平台的开发过程中, 计算机本身也具有一定的存储功能。计算机的存储技术比较简单, 主要是使用录入界面录入数据, 并对录入的数据进行必要的存储。在数据存储的过程中, 数据必须经过严格的审核后才能存储。
在计算机存储技术的使用中, 完成数据的录入后, 还要注意存储录入的数据。在使用计算机存储技术进行存储的过程中, 要注意对所有数据信息进行汇总, 并进行相应的备份。在整个计算机存储技术中, 数据的存储功能发挥了核心作用。如果数据的存储功能出现问题, 则整个计算机存储系统将难以正常运行。在计算机中, 为了保护用户的个人信息安全, 避免信息泄露, 一般都将存储的文件设置为不可读。因此, 在应用计算机信息技术的存储中, 要对管理员的权限和个人信息进行设置, 从而保障数据信息安全, 避免数据信息丢失, 进而对企业和个人造成经济损失。
6 结束语
计算机技术正在改变人们的生活。在这个过程中, 产生了越来越庞大的数据信息。企业在发展过程中, 必须重视计算机存储技术, 通过计算机存储技术提高数据信息的利用率。在计算机数据技术的开发和应用中, 要深入分析客户的需求、设计概念逻辑, 从而使计算机存储技术发挥最大的作用。计算机信息技术存储平台具有广阔的发展前景, 研究人员应积极创新、不断努力, 推动计算机信息技术存储平台的开发和利用, 从而为社会发展服务。
参考文献
[1]白凤娈.浙江中控ECS-700DCS与All Link数采终端数据采集的设计与实现[J].河北企业, 2013 (02) .
[2]郑迎凤, 李莺.网络计算机存储技术加密在高校数字化校园建设中的设计与应用[J].电脑与信息技术, 2013 (01) .
[3]孙晓伟, 毕晓清, 吴洪越.基于DOM和VBA的Word文档数据交互式抽取[J].计算机应用与软件, 2013 (02) .
基于云计算的分布式存储技术 篇8
自从亚马孙推出Amazon Web Service (AWS) 的Iaa S服务以来, 现在其Amazon EC2、Amazon AWS、Amazon S3、Amazon SQS等云计算平台已经被上千家公司使用。Google公司在2008年提供了基于Paa S的Google App Engine。在Google的基础架构上运行网络应用程序, 能让开发人员在支持着自己的应用程序的可扩展系统上构建网络应用程序。随后, 微软公司也推出了Windows Azure操作系统, 这个系统作为微软云计算计划的服务器端操作系统 (Cloud OS) 为广大开发者提供服务。IBM在2007年提出了“蓝云”计划, 推出共有云和私有云的概念。IBM提出私有云解决方案是为了减少诸如数据、信息安全等共有云现存的问题, 从而抢占企业云计算市场。
在我国云计算产业的发展也得到了政府的高度重视, 在2010年10月召开的十七届五中全会的报告中, 重点提到发展新一代信息技术, 而云计算和三网融合、物联网等一起被作为最重要的方向之一。从2008年开始, 已经有多个地方政府在积极推进云计算产业和应用的发展, 例如:无锡中国云计算中心、上海的“云海计划”、北京的“祥云计划”, 等等, 此外, 成都、佛山、东莞、鄂尔多斯等城市也在纷纷跟进。可以预见, 未来云计算将成为十二五期间, 信息技术领域最重要的发展方向, 无论是技术研发、产品推广还是应用示范等方面, 都将获得政府在政策、资金、项目等方面的大力支持。
云计算的概念与特点
云计算是网格计算 (Grid Computing) 、分布式计算 (Distributed Computing) 、并行计算 (Parallel Computing) 、效用计算 (Utility Computing) 、网络存储 (Network Storage Technologies) 、虚拟化 (Virtualization) 、负载均衡 (Load Balance) 等传统计算机和网络技术发展融合的产物。广义云计算指服务的交付和使用模式, 指通过网络以按需要、易扩展的方式获得服务。这种服务可以是IT软件和互联网相关服务, 也可以是其他服务。狭义云计算指IT基础设施的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需资源。总体来说云计算具有以下几个特点:
(1) 超大规模:“云”具有相当的规模, Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。
(2) 虚拟化:云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”, 而不是固定的有形的实体。应用在“云”中某处运行, 但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机, 就可以通过网络服务来实现我们需要的一切, 甚至包括超级计算这样的任务。
(3) 高可靠性:“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性, 使用云计算比使用本地计算机可靠。
(4) 通用性:云计算不针对特定的应用, 在“云”的支撑下可以构造出千变万化的应用, 同一个“云”可以同时支撑不同的应用运行。
(5) 高可扩展性:“云”的规模可以动态伸缩, 满足应用和用户规模增长的需要。
(6) 按需服务:“云”是一个庞大的资源池, 你按需购买;云可以像自来水, 电, 煤气那样计费。
(7) 廉价性:由于“云”的特殊容错措施可以采用极其廉价的节点来构成云, “云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本, “云”的通用性使资源的利用率较之传统系统大幅提升, 因此用户可以充分享受“云”的低成本优势。
云计算与云存储
云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念, 是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时, 云计算系统中就需要配置大量的存储设备, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说, 云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时间、任何地方, 透过任何可连网的装置方便地存取数据。同时, 在云数据中心所使用的存储必须具有良好的兼容性。在云计算时代, 计算资源都被收归到数据中心之中, 再连同配套的存储空间一起分发给用户, 由于众多的用户带来了各种各样的需求, Windows、Linux、Unix、Mac OS, 存储需要面对各种不同的操作系统, 如果给每种操作系统都配备专门的存储的话, 无疑与云计算的精神背道而驰, 因此, 云计算环境中, 首先要解决的就是兼容性问题。其次是存储容量的扩展能力。
Hadoop软件平台
Hadoop是根据Google公司公开的资料开发出来的类似于Google File System的Hadoop File System以及相应的Map/Reduce编程规范。Hadoop是开放源代码, 开发人员可以使用它来开发云计算应用, 尤其是云硬件平台。
Hadoop实现了一个分布式文件系统 (Hadoop Distributed File System) , 简称HDFS。HDFS有着高容错性的特点, 并且用来设计部署在低廉的硬件上。它提供高吞吐量来访问数据, 适合那些有着大量数据的应用程序。HDFS可以以流的形式访问文件系统中的数据。
Hadoop还实现了Map Reduce分布式计算模型。Map Reduce将应用程序的工作分解成很多小的工作块。HDFS为了做到可靠性, 创建了多份数据块的复制 (Replicas) , 并将它们放置在服务器群的计算节点中, Map Reduce就可以在它们所在的节点上处理这些数据。Hadoop是由HDFS、Map Reduce、HBase、Hive和Zoo Keeper等组成, 其中, HDFS和Map Reduce是两个最基础、最重要的成员, 其他子项目提供配套服务。总体来说Hadoop具有以下几个主要特点:1.扩展性强:能可靠地存储和处理千兆字节 (GB) 数据。2.成本低:可以通过普通机器组成的服务器群来分发以及处理数据, 服务器群总计可达数千个节点。3.高效率:通过分发数据, Hadoop可以在数据所在的节点上并行地处理它们, 非常快速。4.可靠性好:Hadoop能自动地维护数据的多份复制, 并且在任务失败后能自动地重新部署计算任务。
1、Hadoop Map/Reduce编程模型
Hadoop Map/Reduce是一个软件构架, 基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上, 并以一种可靠容错的方式并行处理上T级的数据集。一个Map/Reduce作业 (job) 通常会把输入的数据集切分为若干独立的数据块, 由map任务 (task) 以完全并行的方式处理它们。构架会对map的输出先进行排序, 然后把结果输入给reduce任务。通常, 作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控, 以及重新执行已经失败的任务。
Map/Reduce框架和分布式文件系统通常是运行在一组相同的节点上的, 也就是说, 计算节点和存储节点通常在一起。这种配置允许框架在数据节点上高效地调度任务, 可以非常高效地利用整个集群的网络带宽。Map/Reduce框架由一个单独的主 (master) Job Tracker和每个集群节点一个次 (slave) Task Tracker共同组成。Master负责调度构成一个作业的所有任务, 这些任务分布在不同的slave上, master监控它们的执行, 重新执行已经失败的任务;而slave仅负责执行由master指派的任务。
应用程序至少应该指明输入/输出的位置, 并通过实现合适的接口或抽象类提供map和reduce函数, 再加上其他作业的参数, 就构成了作业配置 (job configuration) 。然后, Hadoop的job client提交作业和配置信息给Job Tracker, 后者负责分发这些软件和配置信息给slave, 调度任务并监控它们的执行, 同时提供状态和诊断信息给job client。
Map Reduce框架的核心步骤主要分成两个部分:Map和Reduce。当向Map Reduce框架提交一个计算作业时, 它会首先把计算作业拆分成若干个Map任务, 然后分配到不同的节点上去执行。每一个Map任务处理输入数据中的一部分, 当Map任务完成后, 它会生成一些中间文件, 这些中间文件将会作为Reduce任务的输入数据。Reduce任务的主要目标就是把前面若干个Map的输出汇总到一起并输出。
Map Reduce的工作过程分为两个阶段:map阶段和reduce阶段。每个阶段都有键/值对作为输入和输出, 并且它们的类型可由程序员选择。程序员还具体定义了两个函数:map函数和reduce函数。在处理大数据集的过程中, 将大数据集分解为成千上万个小数据集, 每个 (或若干个) 数据集分别由集群中的一个结点进行处理并生成中间结果, 这些中间结果又由大量的结点进行合并, 形成最终结果。如图1所示。
2、HDFS的分析
HDFS是Google GFS的开源版本, 是一个高度容错的分布式文件系统, 它能够提供高吞吐量的数据访问, 适合存储PB级的大文件。HDFS采用Master/Slave结构;Name Node维护集群内的元数据, 对外提供创建、打开、删除和重命名文件或目录的功能;Data Node存储数据, 并负责处理数据的读写请求。Data Node定期向Name Node上报心跳, Name Node通过响应心跳来控制Data Node。如图2所示。
Name Node和Data Node被设计成可以在普通的机器上运行, 这些机器一般运行着Linux操作系统。HDFS采用Java语言开发, 因此任何支持Java的机器都可以部署Name Node或Data Node。由于采用了可移植性极强的Jave语言, 使得HDFS可以部署到多种类型的机器上。一台机器上只运行一个Name Node实例, 而集群中的其它机器分别运行一个Data Node实例。集群中单一Name Node的结构大大简化了系统的架构。Name Node是所有HDFS元数据的仲裁者和管理者, 用户数据不会流过Name Node。
(1) HDFS读取数据过程
客户端通过调用Distributed File System对象的open () 来打开文件。对于HDFS来说, 这个对象是分布式文件系统的一个实例。分布式文件系统 (Distributed File System) 通过使用RPC来调用名称节点, 以确定文件开头部分的块的位置。对于每一个块, 名称节点返回具有该块的数据节点地址。此外, 这些数据节点根据它们与客户端的距离来排序。如果该客户端本身就是一个数据节点, 便从本地数据节点中读取。分布式文件系统返回一个FSData Input Stream对象给客户端读取数据。FSData Input Stream转而包装了一个DFSInput Stream对象。接着, 客户端对这个输入流调用r e a d () 操作。存储着文件开头部分的块的数据节点地址的FSData Input Stream随即与这些块最近的数据节点相连接。通过在数据流中重复调用read () , 数据会从数据节点返回客户端。到达块的末端时, DFSInput Stream会关闭与数据节点间的联系, 然后为下一个块找到最佳的数据节点。客户端只需要读取一个连续的流, 这些对于客户端来说都是透明的。客户端从流中读取数据时, 块是按照DFSInput Stream打开与数据节点的新连接的顺序读取。它也会调用名称节点来检索下一组需要的块的数据节点的位置。一旦客户端完成读取, 就对文件系统数据输入流调用close () 操作。如图3所示。
(2) HDFS写入数据过程
客户端通过在分布式文件系统 (Distributed File System) 中调用create () 来创建文件。分布式文件系统通过一个RPC去调用名称节点, 在文件系统的命名空间中创建一个新的文件, 这时没有块与之相联系。名称节点执行各种不同的检查以确保这个文件不存在, 并且客户端有可以创建文件的适当的许可。如果这些检查通过, 名称节点就会生成一个新文件的记录;否则, 文件创建失败并向客户端抛出一个IOException异常。分布式文件系统返回一个文件系统数据输出流, 让客户端开始写入数据。就像读取一样, 文件系统数据输出流控制一个DFSOutput Stream, 负责处理数据节点和名称节点之间的通信。在客户端写入数据时, DFSOutput Stream将它分成一个个的包, 写入内部的队列, 即数据队列。数据队列随数据流流动, 数据流的责任是根据适合的数据节点的列表来要求这些节点为副本分配新的块。DFSOutput Stream也有一个内部的包队列来等待数据节点确认, 称为确认队列。一个包只有在被管线中所有节点确认后才会被移出确认队列。客户端完成数据的写入后, 就会在流中调用close () 操作。在向名称节点发送完信息之前, 此方法会将余下的所有包放入数据节点管线并等待确认。名称节点已经知道文件由哪些块组成, 所以它只需在返回成功前等待块进行最小量的复制。如图4所示。
(3) HDFS负载均衡
HDFS集群会处于长时间运行状态, 尤其是大量的delete操作后, 集群中各个Data Node上的空间使用率可能会存在比较大的差异。所以需要一种机制使各个Data Node保持平衡, 防止少数Data Node存储过多的文件。少数使用率过高的Data Node会导致对其的数据访问效率变低, 并且如果该Data Node停止服务, 则需要更多的时间进行恢复, 对集群也会造成更大的影响。
Hadoop中提供了balancer的机制。Hadoopbalance rthreshold
阀值设置的越小, HDFS各个Data Node的使用率越接近, 整个集群也更加平衡, 但会消耗更多的时间和资源来达到该平衡状态。如果阀值设置的过小, 对于操作非常频繁的HDFS集群, 有可能永远也不会达到该阀值所指定的平衡状态。阀值设置越大HDFS各个Data Node的使用率差距越大, 但是会较容易达到平衡状态。
在balancer的过程, Hadoop会递归的把b l o c k从使用率高的Data Node转移到那些使用率低的Data Node上。在每次递归的过程中, 单个Data Node转移或者接受的block不得超过10G或者它的存储能力的阀值 (根据该Datanode的总空间决定) 。并且每次递归过程的执行也不能超过20分钟。在每次递归过后, 会更新Data Node的最新状态信息, 决定下一次递归的执行。
整个balancer过程是比较复杂的, 首先会计算集群总的使用率, 然后分别计算各个正常运行的Data Node结点的使用率。根据balancer阀值对各个Data Node进行分类, 找到那些使用率过高的和使用率过低的结点。
结语
计算机存储技术 篇9
近年来,云计算无疑是最热门的研究热点之一。2006年谷歌最先提出“云计算”想法,同年又推出了“Google 101计划”,并正式提出了“云”的概念和理论。随后各大知名IT企业都大力开发和推进云计划,如亚马逊的AWS[1],IBM的“蓝云”计划,微软的Windows Azure计划。这些都对云计算的商业价值给予了巨大肯定。学术界也纷纷掀起了云计算研究的热潮。在企业及学术界的共同推动下,一些初步的云计算产品目前已经投入使用了,但云计算还处在发展阶段,各项技术还不是很成熟。
随着互联网的普遍应用,计算机产生的数据量正急剧增加,用户对计算机的要求也越来越高,如何提高普通计算机的存储能力和计算能力成为一个亟待解决的问题,而云计算的出现为这个问题提供了一个很好的解决办法。云计算改变了用户使用计算机的模式,云服务提供商把存储资源、计算资源、基础设施以及其它资源通过互联网以服务的形式提供给用户,用户可以根据需要购买相应的服务。这不仅打破了个人计算机在存储空间和计算能力上的局限性,还大大降低用户的软、硬件采购费用。
2 云计算
2.1 云计算的概念
云计算是网格计算、分布式计算、并行计算、网络存储等传统计算机技术和网络技术发展融合的产物,是一种新兴的商业化计算模型。人们对于云计算的理解仍在不断发展变化,至今还没有一个标准的定义。
美国Argonne国家实验室的资深科学家Ian Foster定义云计算为:云计算是由规模经济拖动,为互联网上的外部用户提供一组抽象的、虚拟化的、动态可扩展的、可管理的计算资源能力、存储能力、平台和服务的一种大规模分布式计算的聚合体[2]。
维基百科的定义:云计算将IT相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下,通过Internet获取需要的服务[3]。
云计算的定义还有很多,不同的人可以根据自己的理解给出不同的定义。综合不同的定义,我们可以看到云计算定义的共同点就是均认为云计算就是将计算资源、存储资源、网络资源以及其它一些资源以服务的形式提供给用户,云计算的最终目的是服务用户。
下面根据个人理解给出一种定义。云计算是基于网络的超级计算模式,它融合了网格计算、并行计算、分布式计算、数据存储与管理技术、网络技术等。它将硬件、数据存储、计算分析、软件等以服务的方式提供给用户,允许用户在不了解技术的情况下,通过网络采用付费的方式获取需要的服务。云计算通过网络将大量的数据和计算分拆成无数个较小的数据片和计算,然后由多个计算机所组成的计算机群搜索、计算、分析之后再将处理结果返回给用户。
2.2 云计算的特点
云计算环境下的数据存储、管理方式和传统的数据存储、管理方式相比,有很多新的特点。
首先,购买方式更加灵活。用户可以根据需求,灵活的选择自己需要的服务,并按照使用的服务来支付一定的费用,这样用户就不再需要因为需求变化而不断购买新的硬件设备和软件资源。
其次,云计算环境下企业可以很好的应对突发的大量访问。使用云计算系统,企业可以随时根据突发情况临时调用云端的计算和存储资源。
第三,云服务提供商负责存储设备的升级和数据的有效管理。云服务提供商负责完成存储设备的升级和日常管理,并通过一定存储机制保证数据的安全。
第四,云存储可靠性高。云服务提供商采用分布式存储和冗余存储来保证服务的高可靠性。
第五,可扩展性强。云服务提供商可以根据不断变化的需求不断开发新的云服务,扩展云计算系统的功能。
最后,存储能力和计算能力是前所未有的。云计算系统把数据存储在多个计算机上,把计算任务分配给多个计算机并行进行,因而它提供的存储能力和计算能力都是普通计算机无法比拟的。
3 云计算数据存储及管理技术
云计算的核心问题是海量数据的存储与管理,因此云计算的关键技术主要包括数据如何存储在云端以及如何对云端的数据进行高效的管理。另外云计算还需要其他一些技术的支持,例如需要分布式并行编程技术实现任务的并行执行和任务调度,需要虚拟化技术实现服务器资源的动态分配等。
3.1 数据存储技术
在云计算系统中,云端存在着海量的数据,为了保证数据的可靠性和可用性,云计算采用了分布式存储方式,并采用了冗余的方式(为一份数据保存多个副本)来保证数据的可靠性。所谓分布式存储,就是把一份数据分割成多个数据块,存储在不同的服务器上。下面以谷歌的GFS为例介绍一下典型的云计算存储技术。
GFS是一个管理大量分布式数据的可扩展性良好的分布式文件系统,一个GFS集群通常由一个Master服务器和多个块服务器构成。Master服务器主要负责存放文件系统中与数据文件相关的所有元数据,元数据包括文件和块的名字空间、访问控制信息、文件与块的映射信息以及块副本的位置等。简单地说,元数据就是管理文件的目录结构。另外,Master服务器还负责创建新块与副本、回收垃圾块、在块服务器间负载平衡等。
GFS将文件分割成64MB的块存储在各个块服务器上,在每个块创建时,服务器会为它分配一个不变的、唯一的64位的标识符对其进行标识。GFS默认为每份数据保存3个备份,一个为主块,其余的为副本。为了保证数据的一致性,对于数据的修改需在所有的备份上进行。读数据时先读取主服务器上的元数据获取数据块的位置,然后再根据数据块的位置信息到相应的块服务器上读取数据,这可以避免大量读操作对Master服务器带来的拥挤。
GFS的写操作将控制流和数据流分开。具体的讲,就是客户端在得到Master服务器的写授权后,先将数据传输给所有的数据副本,只有在所有的数据副本都收到修改的数据后,客户端才发出写请求控制信号。在所有的数据副本更新完数据后,再由主副本向客户端发出写操作完成控制信号。向GFS写数据的过程如下[4]。
(1)GFS客户端向主服务器请求块服务器用于增加或修改现有数据。如果是增加数据,主服务器就分配块服务器;如果是修改现有数据,主服务器则查找请求文件所在的块服务器的位置。
(2)Master服务器向客户端返回主块的标识符和其他副本的位置。
(3)客户机得到主服务器授权后将数据发送到所有备份所在的块服务器上,每个备份所在的块服务器会把这些数据保存在其内部的缓冲器内。
(4)客户端在所有数据发送结束后向主服务器发送写主块请求,由主服务器负责将数据写入所有备份。
(5)所有备份在写入数据后发送消息给主块。
(6)最后主块向客户端回复写入操作已经完成。
3.2 数据管理技术
云计算需要对大数据集进行处理和分析,因此所采用的数据管理技术必须能够高效地管理大规模的数据。在云计算环境下,数据的读操作频率远远大于数据的更新频率,云计算的主要任务是读取数据后进行大量的数据分析。因此,云计算系统的数据管理往往采用按列存储的模式。下面以谷歌的Big Table为例来介绍云计算环境下的数据管理技术[5]。
Big Table是建立在GFS之上的一个大型分布式数据库,它把所有的数据都作为对象来处理,从而形成一个巨大的表格来分布地存储大量结构化的数据。Big Table采用多级映射的数据结构,从结构上可以把Big Table看成是一个有序、稀疏、多维度的映射表,每个Cell由行关键字、列关键字和时间戳三个维度来进行定位。行是划分数据对象的标准,将多个行组成一个小表保存到同一个服务器节点中,这样的一个小表称为Tablet。列关键字的命名规则是列族:限定词,一组列关键字组成“列族”,列族是访问控制的基本单位,在创建之后很少改变。时间戳用来标识不同时刻数据的不同版本,不同版本的表项内容按时间戳倒序排列。
Big Table分为三个部分:一是Master节点,负责给Tablet服务器分配任务并使其达到负载平衡,监测Tablet服务器的状态,垃圾回收等。二是Tablet节点,负责处理Tablet的读写请求,并将大的Tablet进行分割。三是一个链接到每个客户端的库。其基本架构如图1[6]。
3.3 编程模型
为了让用户能快速使用编程模型编写程序来实现特定的目的,方便地使用云平台提供的服务,云计算系统使用的编程模型必须十分简单,并要保证后台复杂的并行执行和任务调度向用户及编程人员透明。大部分云计算系统采用了一种非常简单的Map-Reduce分布式编程模型,它最早是由Google提出的。Map-Reduce主要用于数据的并行运算和并行任务的调度处理,它在处理T级别以上的大规模数据集的运算方面具有明显的优势。
Map-Reduce编程模型通过Map(映射)及Reduce(化简)两个步骤来并行处理数据,它先把分割不相关的数据块文件通过Map程序进行高度的并行处理和计算,再通过Reduce程序将结果汇集整理输出。Map-Reduce的模型图如图2所示。
用户使用Map-Reduce时需要定义两个函数Map和Reduce。程序员需要在Map函数中指定对各分块数据的处理过程,在Reduce函数中指定如何对分块数据处理的中间结果进行归约。执行时,首先将数据分割为多个片段并分配给多个服务器进行Map操作,不同的Map操作之间是高度并行执行的。Map函数接收
4 云计算的发展趋势
云计算有着广阔的发展前景,与之相关的各项技术也在迅速发展。未来云计算的发展会向构建大规模、能与应用程序密切结合的底层基础设施的方向发展。由于现有的云存储系统大都存在着缺陷,设计新一代的云存储和云数据管理系统是迫切需要解决的问题。另外,由于云存储和云数据管理通常要用于很多种不同的场景,云系统还需针对各种应用场景分别做出优化。因此,云计算的发展还有很长的路要走。
5 结束语
云计算是一种新兴的商业计算模式,由云服务公司搭建计算机存储、计算中心,用户通过网络就可以很方便的享受云端的服务。云计算所带来的资源共享和应用模式,必将能为云计算提供更广泛的市场和应用场景。但目前云计算还存在很多问题,如数据的安全性、可用性等,这些问题将随着学术界和商界的研究和应用逐步得到解决,云计算的相关技术也会越来越成熟。未来云计算将会在越来越多的应用中发挥重要作用,给我们的生活带来更多便捷。
参考文献
[1]VARIA J.Cloud architectures-AmazonWebservices[EB/OL].[2009-03-01].http://acmbangalore.org/events/monthly-talk/may-2008——cloud-architectures——ama-zon-web-services.htm.l.
[2]Ian Foster,Yong Zhao,Ioan Raicu,et a.lCloud Computing andGrid Computing 360-Degree Compared[C]∥Proceedings of IEEEGrid Computing Environments workshop(GCE08).USA:IEEE ComputerSociety,2008:1-10.
[3]维基百科.Cloud computing[EB/OL].[2009-03-10].http://en.wikipedia.org/wiki/Cloud_computing.
[4]Ghemawat S,Gobioff H,Leung S T.The GoogleFile System[C]//Proceedings of 19th ACMSymposium on Operating Systems Principles,2003:20-43.
[5]CHANG F,DEAN J,GHEMAWATS,etal.Big-Table:A distributed storage system for struc-tured data[J].ACM Transactions on Comput-erSystems,2008,26(2):1-26.
计算机存储技术 篇10
1分布存储关键技术在云计算环境下的构成
数据中心是云计算技术体系安全平稳运行的根本保障。通常, 云计算的基本构成主要分为两个部分, 其中硬件部分为计算机设备及相关系统提供必要支撑, 软件部分主要为了数据中心的正常运行提供服务。根据数据中心数据信息通路的转发节点功能类型的不通可将云计算环境下的网络建构划分为以下几种类型, 下面进行具体介绍:
1.1交换机
在云计算环境下分布存储技术出现之前, 交换机设备久已经在现代计算机技术领域得到了十分广泛的应用。在云计算技术体系中, 交换机能够发挥数据中心的作用, 有了交换机, 就能够将用户和整个网络体系联系起来, 实现数据的无障碍交换。一般情况下, 交换机是通过与计算机服务器相连发挥作用, 能够顺畅有序的让数据包在互联网技术环境中进行转发和传递。需要注意的是, 这里提到的计算机服务器其本质上是一种存储设备, 能够进行数据存储和读取操作。交换机通常为树形结构, 从里到外有3层, 分别为聚合层、边缘层和核心层。结合交换机的实际使用情况, 可以看出交换机在使用过程中具有操作简单、连接容易、扩展简单的显著特点。但是, 交换机技术也有一个致命的缺陷, 无法满足大量数据的应用。
1.2服务器
随着服务器在互联网领域的出现, 网络技术传统的服务模式很快就被完全打破, 此后, 运用单体计算机设备, 就可以实现与互联网的顺利连接。就服务器而言, 其主要的任务就是对互联网环境中的数据信息对象进行转发, 其最大的技术优点就是内部结构极其简单, 而最大的缺点则是数据存储空间过于狭小, 这是限制其广泛的最大问题。
2分布存储关键技术在云计算环境中存在的问题
2.1容错性问题
对于容错性问题的解决, 可以通过先进的科学技术得以解决。在此前, 主要是应用RAID技术来解决计算机的容错性问题。当然了还可以通过应用高性能服务器和专用的存储设备, 这些对计算机容错性问题都能够得到有效改善。但是我们必须清楚, 在当前大数据背景下, 数据信息规模和节点数一直在不断增加, 这进一步加大了数据的失效率。如果计算机容错性问题在短时间内不能很好的解决, 一方面势必会增加客户的经济损失, 另一方面, 还会严重影响数据信息处理的工作效率。因此, 计算机容错性问题的解决已经逐渐成为我国相关领域的学者们研究的热点话题, 只有合理解决这一问题, 才有可能实现云计算的长远发展。
2.2扩展性问题
一直以来, 计算机扩展性问题的解决主要是靠冗余磁盘的预留来完成的。客观的讲, 这种解决措施能够使计算机存储磁盘的空间得到有效拓宽, 这样数据的存储将会拥有更大的存储空间。但是我们看到这种解决方式仍然不能解决当前大规模数据存储的情形。因此, 如果一味的通过冗余磁盘的预留方式解决数据存储空间的扩展性问题, 往往是很难彻底解决大规模数据的存储和处理的问题。特别地, 我国当前数据发展的规模已经达到了EB级, 照这个发展速度, 未来我国的数据规模将会更大, 级别也会发展到更高地步。正因为这样, 才有必要对数据网络中心和数据组织结构进行适应性调整, 以满足现代社会的需求。
2.3成本控制问题
在此之前, 云计算技术还没有得到广泛应用, 传统的数据分布储存结构只能适用于小规模数据的存储、计算和处理, 更无法合理解决能耗的问题, 因此在传统技术条件下, 分布储存的材料成本和管理成本都处于较低水平。但是我们必须看到, 当今社会计算机网络信息技术高速发展, 各国直接联系正逐步加强, 相应的, 无论是数据规模还是数据数量都在急剧增加, 使得相关成本也有很大增加, 在这种情况下, 成本的控制问题就成为了现代信息企业所需重点考虑的问题, 如何在获取经济利益最大化的同时保证能耗和成本控制在最低水平, 这是众多商家讨论的焦点。很明显, 商家除了要考虑如何在满足经济利益最大化的同时尽可能的降低成本外, 还要考虑如何在激烈的市场竞争中占据一席之地, 并树立良好的企业形象。
3云计算环境下分布存储关键技术
通过前面的分析可知, 分布存储技术在云计算环境下普遍存在容错性问题、扩展性问题以及成本控制问题三种, 这些问题导致了云计算环境下数据的存储、计算、处理的效率都极其低下, 有待有效提高。目前, 由于网络信息技术发展速度的进一步加快, 顺利有效的解决了容错性问题和成本控制问题。下面所要介绍的容错性技术和节能技术都能够实现云计算环境下分布数据储存能力的有效提升, 下面进行详细介绍:
3.1数据容错技术
数据容错技术在分布存储关键技术研究领域是一项极其重要关键技术, 通过该技术的应用, 不仅能够使得系统的可靠性和实用性得到大幅提高, 还能有效提高数据的访问效率。很多时候, 数据容错技术的应用都是通过增加数据冗余来完成的, 因为一旦有了冗余数据, 这样可以保证在数据失效或者丢失时还能够查找到数据, 但是由于大量的数据冗余, 使得存储资源的消耗进一步加大, 这是个不容忽视的问题。因此, 要考虑在保证容错的同时, 尽量提高存储资源的利用效率, 达到降低成本的目的。目前, 数据容错技术应用最为广泛的主要分为两种, 一种是纠删码容错技术, 另一种是复制容错技术。
3.1.1纠删码容错技术
这种容错技术本质上是一种基于编码的容错技术, 它实际上是通过对多个数据对象的编码, 进而获得已经生成编码的数据对象, 达到完全复制时能够尽可能的降低存储空间。就纠删码容错技术而言, 是一种基于信道传输能够容忍多数据模块丢失的编码技术, 能被应用于分布存储领域, 在实际应用中, 通过纠删码容错技术, 多个数据块信息可以被容忍到极少的冗余信息中, 这种做法可以最大限度的节省存储空间, 但是这种容错技术有一个很大缺陷, 就是在数据的下载时, 下载量往往比失效数据要大的多, 造成计算开销过大, 修复的成本费用也比较高, 不是经济的表现。
3.1.2复制容错技术
就复制容错技术而言, 其基本原理是在一个数据对象中进行多模块的创建, 并将所创建的多个模块分不到多个存储节点中去, 一旦某个数据出现了异常或者失效, 借助于其他数据模块就可以很容易获得该数据。通常复制容错技术主要包括两个方面, 即数据复制策略和数据组织结构。结合实际应用我们发现, 该技术既方便实现又简单直观, 能够大幅改善数据的读取效率, 正是基于这一特点, 复制容错技术才在云计算环境中得到了广泛应用, 但是, 因为该技术针对每个数据对象都进行数据模块的创建, 往往需要巨大的存储空间, 这也是该技术的主要缺陷。
3.2节能技术
在云计算环境中, 数据存储是至关重要的, 它是进行各种计算与服务的基本前提。据有关数据资料显示, 整个数据中心将近一半的能耗都要用于存储系统的能耗, 从这个角度看, 在云计算环境下进行分布存储节能技术的研究, 既可以有效降低运营成本, 还能带来生态效益。就云计算环境下节能技术主要分为两类, 一类是软件节能技术, 另一类是硬件节能技术。下面进行详细论述:
3.2.1软件节能技术
就软件节能技术而言, 其基本思想是在保证系统性能不受影响的前提之下达到降低数据存储中心能耗的目的。目前, 软件节能技术有两个重点方面:一方面就是节点管理技术。该技术主要是通过选择并应用分布存储中的部分节点或磁盘进而使未被选择的节点和磁盘处于低能耗或者完全关闭状态, 从而实现降低能耗的目标;另一方面就是数据管理技术, 该技术与节点的选择有直接关系, 在该技术中, 从数据的类型出发, 可分为三种具体类型, 即基于动态数据的管理技术、基于静态数据的管理技术以及基于缓存预取的管理技术。
3.2.2硬件节能技术
如果从硬件层次角度对硬件节能技术进行技术划分, 主要分为两种技术。第一种主要是基于数据中心, 主要思想是对高性能、高能耗的硬件设备进行更换, 取而代之的是那些低性能、低能耗的设备, 这样能够有效降低能耗。第二种技术主要是基于计算机整体部件, 使用目前最新的体系结构, 降低计算机节点以及分布存储的整体能耗, 实现硬件节能的目标。
参考文献
[1]刘月.云计算环境下分布存储关键技术研究[J].江苏科技信息, 2015 (09) :21-22.
计算机存储技术 篇11
希捷HPC系统业务副总裁兼总经理Ken Claffey表示：“新设计的系统集合了IBM Spectrum Scale的功能和希捷ClusterStore系统独有的性能效率和可扩展性，帮助用户更加高效地管理需求高数据量的高性能计算应用。基于希捷的核心竞争力，我们研发了这样的创新设计，无论是现场部署还是在云端，希捷不仅致力于产品创新，同样也将其扩展到信息基础设施领域。”
希捷ClusterStor解决方案专门针对高性能计算设计，帮助解决了目前HPC存储中最大的挑战——为依托于超级计算应用的各行业用户输送电力、提升性能和可扩展性，并增强可靠性。希捷已经为主要的原始设备制造商提供了超过17，000PB的存储容量以及200万个存储设备，并成功研发了一些全球最大、最具效率和产能的HPC存储系统。希捷ClusterStor解决方案极具创新性，可以为信息驱动型机构提供极大帮助，使他们能够有机会快速地、低成本地从其大数据中获得有用信息，从而获取巨大价值。
作为IBM业界领先的光谱存储软件定义存储系列产品，IBM Spectrum Scale旨在帮助用户管理全球范围内的海量数据，用户可以通过单一操作面板简单快速、随时随地轻松地获取和管理数据。
IBM 软件定义基础架构副总裁Bernie Spang表示：“各行各业的机构都在寻求更快、更经济有效地方式为关键业务流程和机会创造分析存储、管理和获取数据，IBM 利用其Spectrum Storage产品组合为合作伙伴创造了研发新型创新技术解决方案的基石，满足了用户对多样化的需求。”
IBM Spectrum Scale是可靠的、可扩展的、高性能的文件和对象管理解决方案，提供简化的数据管理和集成的信息生命周期管理工具，能够管理PB级的存储数据和海量文件，控制在管理与日俱增的数据时不断攀升的成本。
计算机存储技术 篇12
关键词：云计算,计算机网络,存储系统
本次研究是云计算技术和当前多种技术共同发展的结果。云计算技术在发展过程中已经日益成熟,并且得到了企业的广泛应用,云计算技术的应用能够将用户的大量数据均成功存储在云端中,从而显著降低企业的信息数据存储投入资本,同时也能够提高数据存储操作便利性。但是目前云计算技术在网络安全数据存储中容易导致出现各种不断,从而导致用户流失,因此必须要对其安全问题加大研究。
1 设计目标
其中在本次研究中,主要是针对云计算技术下的B/S系统架构模型在实际网络中的应用需求,不但要满足用户存储需求,同时也必须要满足客户网络存储安全需求。关于Web服务器和客户端两者之间的数据加密传输则可以应用https协议实现,安全技术为数字签名认证以及加密存储,提高数据传输安全性,提高其网络设计的可行性,从而显著提高云计算技术下的计算机网络存储系统安全性。
2 云计算技术下的计算机网络安全存储系统设计
2.1 整体结构设计
云计算下的计算机网络安全数据存储系统的设计,整体结构建图1所示。
2.2 系统功能设计
进行系统设计云模式选择时,一定要基于自身实际需求确定。在本次云计算技术下的系统功能结构设计见图2。
其中在登录注册模块功能设计中,不但有用户的登录及注册操作,同时也要通过https协议实现和服务器的通信,在数据库中进行注册信息保存的时候,必须要实现信息加密传输,数据在被Web服务器收到之后解密处理,之后还需要对其实施加密存储。
在生成数字证书模块功能设计中,主要是实现订单文件的数字认证。在用户操作中,可以对自己需要进行存储的文件进行加密传输,文件在被Web服务器收到之后解密处理,之后还需要对其实施加密存储。
在系统操作模块设计中,需要实施网络信息加密传输,在被Web服务器收到之后解密处理,之后还需要对其实施加密存储。
2.3 设计云计算服务
云计算技术下的计算机存储系统设计,需要结合用户的实际需求,如果对于存储系统有特殊要求,那么也就会从黑客视域对其实施黑客攻击方式测试,一次对系统安全性进行合理评估,对网络安全数据存储系统中存在的安全风险及早发现,如果在云服务中存在安全漏洞,系统则能够依照检测结果进行自动修复。云计算存储系统可以对整个系统数据实现存储,其中包括主机端数据、网络数据。相对来讲数据来源范围比较广泛,因此可以有效实现对防护面上的漏洞及盲点有效覆盖。在进行数据处理过程中,不但需要进行数据存储,同时也可以对其实施进行计算。系统可以对用户应用系统中存在的安全风险以及攻击用户情况等通过计算获取。
2.4 系统代码实现
云计算技术下的计算机网络存储系统安全认证工作,在一开始的登录部分均可以对其提供保障。其中系统在依照用户客户端发出的请求实现加密的代码如图3。
云计算技术下,可以应用相关技术手段实现系统数据的加密处理,对传输数据实施冗余、回溯以及多种计算之后,也就可以将成功转化为加密文件,传送给系统接收端之后,则首先需要对其进行解密,提高数据存储安全性。算法代码则如图4。
3 结语
综上所述,在进行网络安全数据存储系统设计过程中,云计算技术可以有效实现系统的可扩展性及高性能,显著提高计算机存储系统应用安全性,促进云计算技术以及计算机网络存储的安全性发展。
参考文献
[1]梁彪,曹宇佶,秦中元等.云计算下的数据存储安全可证明性综述[J].计算机应用研究,2012,29(7):2416-2421.
[2]王筱娟.云计算与图书馆发展的研究[J].科技风,2015,(7):224.
【计算机存储技术】推荐阅读：
计算机网络存储技术08-25
云计算的数据存储技术12-31
计算机存储09-08
计算机存储设备01-30
云计算下的存储变革08-07
云计算环境分布式存储01-09
计算机云计算技术05-16
信息技术与计算机技术11-07
计算机技术运用07-16
利用计算机技术05-15