存储管理(精选12篇)
存储管理 篇1
随着社会的发展和计算机网络技术的广泛应用, 网络已经深入到每个人的学习工作和生活中, 人们越来越依赖各种数字化信息。无论是个人的信息资料、摄影摄像作品、影视和音乐, 还有企事业单位的核心数据、重要的商业机密和人力资源数据等数字化信息无处不在。同时数据的格式和类型也多种多样, 不再是单一的文本数据, 还有大量的多媒体数据, 数据量呈现了爆炸式的增长。而这些数据均离不开存储、传输和处理, 这对于数据的存储提出了更高的要求和巨大的挑战。
一、对象存储技术的产生
对象 (Object) , 它是一种数据的逻辑组织形式, 是系统中数据存储的基本单位, 一个文件的数据及其属性组合就是一个对象, 提供与文件类似的访问方式, 例如打开、关闭、读/写等。对象存储起源于1995年卡内基·梅隆大学开始研究的NASD (Network-Attached Secure Disks) 项目, NASD将计算能力加入到单独的磁盘中, 包括网络、安全性和基本的空间管理功能。基本思想有四个方面:直接向客户端传输数据, 通过加密实现安全接口, 异步非临界通道 (即客户端的多数操作不需要向文件管理器发出同步请求) , 大小可变的数据对象。因为对象存储的可扩展性和易管理性得到了广泛的研究和进一步的挖掘, 从而使对象存储技术成为信息存储技术领域中的热点。
二、对象存储的组成
为满足日益增长的数据存储需求, 网络存储系统需要具备以下特点:1.较高的存储性能, 能满足大量服务器聚合访问的容量、性能和吞吐量的要求;2.能够提供安全的数据共享访问, 实现存储的负载均衡;3.提供较强的容错能力, 确保存储系统的可用性。而对象存储同时具有高速直接访问和数据共享的优势, 是一种具有高性能、高可靠性、扩平台以及安全的数据共享的存储体系结构。
对象存储系统的组成:
1.对象, 包含数据和数据属性, 是有语义变长结构的实体, 具有自组织特性。
2.基于对象的存储设备 (Object-Based Device, OSD) , 拥有自己的CPU、内存、网络和磁盘系统, 比常见的磁盘驱动器更加智能, 主要功能有: (1) 数据存储, 将对象数据储存在磁盘系统上, 客户端请求数据时用对象标识、偏移对数据读写。 (2) 智能分布, OSD用自身的CPU和内存优化数据分布, 智能的支持数据预取, 优化磁盘性能。 (3) 进行数据元数据的管理, 降低客户端的开销。
3.元数据服务器, 保存文件的元数据信息, 并协调运行环境中的集群服务器, 使它们能共享数据的同时保持缓存的一致性。
4.网络, 客户端、存储设备和元数据服务器连接在一起。
5.对象存储文件系统, 它将计算节点集成一起, 接受来自文件系统的命令和数据, 直接寻址对象存储设备。
三、对象存储系统的管理
当系统的存储容量、存储设备、服务器和网络设备越来越多时, 系统的维护和管理变得更为复杂, 存储系统的可用性和易用性将受到关注。为了减少人工管理和配置的时间, 系统要通过简单方便和智能的设计提供更高的管理性。对象存储系统的可管理性, 主要围绕虚拟化技术展开, 主要由三种技术:
(一) 基于主机的虚拟化技术
基于主机的虚拟化技术依赖于主机上的逻辑卷管理软件, 对分配给主机的物理磁盘虚拟化, 并进行统一管理和配置, 屏蔽了上层应用对物理磁盘的管理。代表作有Linux LVM虚拟卷软件, 主要在服务器实现虚拟存储, 通过服务器将镜像映射到外围存储设备上建立虚拟存储设备。
(二) 基于存储设备的虚拟化技术
将具有虚拟化功能的存储控制器和相应的设备接入到网络中, 由存储控制器统一udui服务器提供存储空间。但是基于存储设备虚拟存储技术多为硬件实现, 但对于多个厂商的产品无法共同使用, 所以在实际应用过程中存在局限性。
(三) 基于网络的虚拟化技术
基于网络的虚拟化存储技术支持多种网络和传输协议, 它将不同的生产厂商、不同设备品牌和不同连接方式的磁盘阵列组成一个虚拟的存储池, 然后按照应用系统的需求将虚拟存储池的存储空间映射给网络上的服务器上, 提供虚拟存储空间和数据传输通道, 也可以让客户机通过网络文件共享协议或者软件实现数据共享服务, 还可以根据变化随时调整。
理想的存储系统应该提供安全性、跨平台数据共享、高性能以及系统的可扩展性, 存储的要求使得数据管理和存储管理变得愈发复杂。对象存储中, 存储对象管理的目标是达到“自管理”层面的智能管理, 对象存储既具备了数据的内容、属性, 又具备处理数据的方法, 使存储对象具备感知环境特征的能力。对象存储主要用于构建大规模存储系统, 这对系统的可扩展性、数据并发性和消除访问瓶颈等方面有很高的要求, 因此对象存储系统一般采用了分布式元数据管理方式。分布式元数据管理可以将客户访问请求分散到各个元数据服务节点上, 提供并发访问和负载均衡以及系统的可用性。
对象存储同时具备了跨平台共享特性和高速直接访问, 并且对象存储还嵌入了存储管理功能, 使客户端能直接与对象存储设备端交互, 绕过元数据管理的中间环节潜在的管理瓶颈得到了缓解。通过使用基于网络的虚拟化技术, 为不同的厂商和用户提供了虚拟存储控制平台, 不仅促进了数据存储方式的变化也提升了数据的安全性, 使得对象存储称为了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。
参考文献
[1]郑纬民, 舒继武.下一代分布式智能网络存储系统的发展趋势.世界电信, 2004
[2]谭毓安, 余锋.面向对象的网络存储技术.高性能计算技术2003
[3]刘劲松.关于存储系统性能的测试、仿真与评价的研究[D].华中科技大学2004
存储管理 篇2
该制度旨在通过加强对存储涉密信息笔记本电脑与移动存储介质(包括移动硬盘、优盘、光盘和磁带等)的安全保密管理,增强使用人的防范意识,防止因为使用笔记本电脑与移动存储介质不当造成泄密。对于违反保密规定的,将追究相关人员的责任。科室负责人对全部门执行保密制度的情况进行检查,发现问题及时处理。具体管理制度如下:
一、本部门存储涉密信息的笔记本电脑和移动存储介质,限本部门人员使用;对存档使用的涉密应哦按、优盘、光盘、磁带等,同意交给科室专人保管。
二、个人使用的优盘、移动硬盘等移动存储介质,一般不得存储涉密信息,因工作需要确实必须使用的,使用后要及时消除涉密信息。
三、不准携带存储涉密信息的笔记本电脑和移动存储介质离开工作场所,确实因为工作需要携带的,必须办理相关审批手续。
四、禁止将存储涉密信息的笔记本电脑和移动介质外借,禁止通过移动存储介质将涉密信息拷贝在私人电脑或者外单位电脑,禁止将涉密信息上传至网络。
五、因为工作需要借用公司笔记本电脑、移动硬盘存储信息的,归还前必须清楚存储的涉密信息,并将使用的设备格式化。
存储管理 篇3
富士通(中国)信息系统有限公司营销总部平台业务企划事业部资深总监李帆就企业关键业务系统对数据存储的需求特点进行了总结,他归纳出四个特点:第一,需要更高的容量、更高的性能和I/O处理能力,即满足Scale-up(向上扩展)的要求;第二,高端存储要支持更大数据量和更高的性能,而且还要面向未来,架构上必须有所创新;第三,要确保数据的安全、可靠,高端存储不仅要有很高的IOPS性能,更重要的是它要保证业务的连续性、数据的安全和可靠,同时保证服务质量;第四,是整个系统的高度自动化和智能化。
“这是富士通对高端存储市场的理解,富士通也是按照这样的理解来设计其高端产品的。”李帆告诉《计算机世界》记者,富士通最新推出的高端存储系统FUJITSU Storage ETERNUS DX8700 S3 与 DX8900 S3也正是这样的产品。
据悉,富士通刚刚推出的全新ETERNUS DX8000 S3系列高端存储系统,能够为企业提供两位数的PB级存储能力,可提供多达24个控制器,最大支持14 PB超大存储容量。作为富士通的一款旗舰级存储系统产品,它提供实测多达每秒400万I/O操作(IOPS)的卓越存储性能,而且具备超大规模的可扩展性。同时,作为面向高端存储市场的产品,ETERNUS DX8700 S3 与ETERNUS DX8900 S3还是一个软硬件高度协调配合的存储系统,软件在其中扮演着重要的作用,从而使得其在数据保护、恢复上具有出色的表现。
比如,其中的Storage Cluster能实现同一个站点内数据的复制和集群、双活或是两地三中心之间的数据异地容灾。还有富士通独有的RAID技术,它对RAID6进行了扩展,可以利用一些磁盘的可用空间来实现快速的数据恢复,能比传统方式快1/2,极端情况下可以到达1/6。这些软硬件技术的结合保证了在存储层面业务系统可以安全无忧。
除了存储之外,富士通还在数据管理领域发力。与ETERNUS DX8700 S3 和ETERNUS DX8900 S3的发布同步,富士通还在中国市场上首次推出了一款基于开源数据库PostgreSQL的企业级数据库管理系统FUJITSU Enterprise Postgres,以及集成了该数据库系统的数据库一体机。其中,FUJITSU Enterprise Postgres数据库提供了100%的PostgreSQL兼容性,能够实现从开源平台到企业级数据库的快速迁移。同时集成了各种软件包、信息利用系统、开发工具和应用运行环境,使得企业能够轻松获得开源系统的高度灵活性。
而其数据库一体机集成了FUJITSU Enterprise Postgres,除了具有上述优点之外,还可以通过软硬件的整合来简化部署与维护。另外,为了满足市场多样化的需求,其数据库一体机除能采用常规的内部部署(On-Premise)方式之外,还提供了数据库即服务(DBaaS)的产品形式,以满足企业对极致性能、快速部署上线,以及按需、托管服务的需求。
“作为一个执着于存储研发的厂家,我们一直坚持把更好的存储产品或者好的架构提供给客户,并且保证其是一个真正可以用的企业级产品。”李帆表示。
基于存储区域网络的复制管理研究 篇4
1 数据复制管理的相关概念
复制就是将数据从一个磁盘拷贝到另一个磁盘。通过把重要数据复制到其它磁盘来保证数据的高可用性和安全性。要进行数据复制,当然需要两个磁盘实现相互复制,因此先说明一下磁盘对PAIR的概念。PAIR就是将两个独立的磁盘连接到一起组成的一个磁盘对。通过发行pair命令可以将原本不相关的相互独立的磁盘相互连接成一个磁盘对。并且该磁盘对是有序的,分为主磁盘和备份磁盘。其中一个是备份数据源所在的磁盘,称其为MV,与之相互连接的用来存储备份数据的磁盘称为RV。MV和RV相互连接组成的这个有序的磁盘对称为一个PAIR磁盘对。通过pair命令可以将两个磁盘组成一个PAIR,也可以对一个PAIR磁盘对发行unpair命令,将一个PAIR分离使之成为互不相关的独立的磁盘。MV和RV所在磁盘阵列可以是同一个也可以不同,因此PAIR有两种类型:DDR的PAIR和RDR的PAIR。DDR(Dynamic Data Replication)即动态数据复制,DDR类型的PAIR的MV和RV在同一个磁盘阵列上。RDR(Remote Data Replication)即远程数据复制,RDR类型的PAIR的MV和RV分别处于两个磁盘阵列中,也可以处于同一数据中心里。由于PAIR的类型的不同,在PAIR中的RV也可以进一步细分为两种:处于DDR连接的PAIR中的RV称为d RV,处于RDR连接的PAIR中的RV称为r RV。复杂的连接也都是这两种PAIR通过串联和并联的组合而已。例如:可以进行多级volume串联和并联连接。最后,说明unpair命令和PAIR执行pair/unpair命令的变化过程。对于unpair命令有时发行后并不能保证一定顺利成功执行。当有其它的操作在执行中时,unpair命令不会成功。如果用户依然要执行unpair命令解除两个磁盘的PAIR关系,可以通过强制unpair命令来实现。所谓强制unpair命令,在命令格式上需要在命令后加参数-force[all/mv/rv],如果指定了强制解除PAIR关系,不管此时PAIR的状态,直接解除PAIR关系,但是该方式一般情况下不要使用,可能会导致不应该出现的后果。其中可以强制MV和RV双方解除,也可以强制MV或RV单方解除。
2 基于存储区域网络的数据复制管理系的体系结构
SAN的体系结构分为SAN的基础结构、SAN服务器、存储系统和软件四层。
1)SAN的基础结构
在SAN中,接口是一种物理连接,在存储设备和服务器之间或接口所连接的连接部件提供一种通讯方式[3]。SAN接口为存储数据提供了一种通用的方式,该方式只负责传输数据包而不管它连接的设备为何种类型。
SAN的连接部件将服务器和存储设备连接在一起。连接部件也可以充当构造和接口之间的中间设备。SAN的连接部件包括以下7种:(1)线缆和连接器。(2)扩展器:扩展器用来连接超过理论最大值的超长距离节点。(3)集线器:通过集线器,一个逻辑环路上可以连接多达126个节点。(4)路由器:存储路由器与网络路由器的不同在于,存储路由器数据的路由选择使用的是FCP之类的存储协议,而不是TCP/IP之类的通信协议。(5)网桥:网桥的作用是使LAN/SAN能够与使用不同协议的其它网络通信。(6)网关:网关是网络上用来连接两个或更多网络或设备的站点,可能执行也可能不执行协议转换。通过网关,SAN可以延伸并越过WAN。(7)交换机:交换机是用于连接大量设备、增加带宽、减少阻塞和提供高吞吐量的一种高性能设备。
构造是用来将不同的连接设备连接起来的物理部件。构造与接口的不同之处在于接口连接的是设备和连接部件,而构造连接的是连接部件。
2)SAN服务器
在SAN中服务器是通过接口连接到存储设备上的,而连接部分实现了SAN中数据的外向化存储,就是存储部件不在服务器中。服务器到存储设备之间的连接可以通过各种形式的网络拓扑结构实现连接。
3)存储系统
在SAN中可采用一系列的存储系统。常用的磁盘系统为RAID和JBOD统。其中RAID提供了一种高速、高可靠存储和检索数据的方法。RAID(Redundant Arrays of Independent Disks)存储系统是一种快速存储和共享数据的技术[4]。它是由多个磁盘驱动器的存储容量结合在一起构成的磁盘阵列系统。RAID常用的级别有0,1,3,5,6五个:(1)RAID 0:将多个较小的磁盘合并成一个大的磁盘,不具有冗余,并行I/O速度最快。但是RAID 0没有冗余功能的,如果一个物理磁盘损坏,则所有的数据都无法使用。(2)RAID 1:两组相同的磁盘系统互作镜像,速度没有提高,但是允许单个磁盘出错,可靠性最高。但是其磁盘的利用率却只有50%,是所有RAID上磁盘利用率最低的一个级别。(3)RAID3:以一个硬盘来存放数据的奇偶校验位,数据则分段存储于其余硬盘中。不过,如果物理校验盘损坏的话,则全部数据都无法使用。利用单独的校验盘来保护数据虽然没有镜像的安全性高,但是硬盘利用率得到了很大的提高,硬盘的利用率为n-l。(4)RAID:构成RAID 5至少要有三块硬盘来实现。在向阵列中的磁盘写数据时,奇偶校验数据存放在阵列中的各个盘上,允许单个磁盘出错。RAID5也是以数据的校验位来保证数据的安全,但它不是以单独硬盘来存放数据的校验位,而是将数据段的校验位交互存放于各个硬盘上。这样,任何一个硬盘损坏,都可以根据其它硬盘上的校验位来重建损坏的数据。硬盘的利用率为n-l。(5)RAID6:类似于RAID 5,RAID 6也是将数据分解为多个数据块写入磁盘阵列的,当主机读取数据时要重新组合分散在各个磁盘上的数据。但是不像RAID 5,RAID 6采用2个盘存储数据的校验位,因此它允许二个盘出错,更好的保证了数据的有效性和安全性。
4)SAN的软件组成
SAN的软件一般有以下几种:操作系统组件,它不仅实现传统驱动程序的功能,而且还要能够实现了SAN的相关功能。存储中间件,如卷管理器等。应用程序的中间件,如集群管理软件和磁带共享软件,它们实现了SAN的可用性和可扩展性。应用程序和数据库管理软件,它们基于SAN并能够充分利用SAN带来的功能。备份管理软件,当数据正在被应用程序使用的时候,备份管理软件能够在开销最小的情况下进行一致的数据备份,且在发生灾难时可以迅速的进行数据的恢复。专门管理SAN环境的新型软件,如SAN的管理软件等。
3 基于存储区域网络的复制管理的实现
数据复制的前提条件是发行对象是一个PAIR磁盘对,不能是相互没有联系的IV,且该PAIR的状态为separate分离状态。
首先要将两个相互独立的磁盘连接成一个PAIR,后对该PAIR通过发行replicate命令把存储在MV上的数据拷贝到RV上。随着数据拷贝的进行,MV和RV上数据的差分量将会随着数据拷贝的进行逐渐减少,当存储在MV上数据全部拷贝到RV上后,此次数据复制也就结束且达到数据一致,此时MV和RV中的数据的差分量为零。PAIR此时所处的状态为replicate完了状态。
数据恢复的前提条件与数据复制的相同,它是通过restore命令将存储在RV中的数据向MV中拷贝,恢复之前存储在RV上的MV中的数据。restore命令又可分为一般restore和保护restore。一般restore和保护restore的区别是:保护restore将RV中的数据拷贝到MV中后,PAIR的状态变成separate分离状态。而一般restore执行完后PAIR的状态是restore完了状态,但是并没有分离,依然存在连接关系。
虽然可以对PAIR发行replicate和restore命令,但是并不是所有的PAIR都可以进行replicate或restore操作,对其操作对象还要有一定的约束,其约束条件如下:
1)处于replicate或restore执行中的PAIR不能再发行replicate或restore命令。
2)如果一个volume既是MV又是RV,而且它作为RV与它上位的MV正在执行replicate或restore操作,则该volume作为MV的PAIR不能执行replicate或restore操作。
3)如果一个volume既是MV又是RV,而且它作为MV与它下位的RV正在执行replicate或restore操作,则该volume作为RV的PAIR不能执行replicate或restore操作。
4 结论
本文对基于存储区域网络的复制管理系统的设计进行了详细的讨论,主要是复制机能的详细设计方案,以及相应的实现方式,其中包括了各个命令的约束控制和组成条件。
摘要:有效的进行数据备份和数据灾难恢复是数据存储领域的一个重点需要解决的问题。该文提出了基于存储区域网络的复制管理的方案,首先详细介绍了数据复制管理的相关概念,然后重点设计了SAN复制管理的体系结构,最后给出了复制机能的设计方法。
关键词:存储区域网络,数据备份,数据复制
参考文献
[1]叶硕磊.存储区域网(SAN)的基本结构与应用环境[J].中国科技信息,2005(17).
[2]刘书香.建立基于SAN技术的存储网络[J].北京工业职业技术学院学报,2005,4(1).
[3]吴凯峰.网络存储技术[J].电力信息化,2004,2(9).
第四章 存储管理习题 篇5
一、选择题
1、存储分配解决多道作业(A)的划分问题。为了解决静态和动态存储分配,需采用地址重定位
,即把(B)变换成(C),静态重定位由(D)实现,动态重定位由(E)实现。
A:① 地址空间
② 符号名空间
③ 主存空间 ④ 虚拟空间
B、C:① 页面地址 ② 段地址
③ 逻辑地址 ④ 物理地址 ⑤ 外存地址
⑥ 设备地址
D~E:① 硬件地址变换机构
② 执行程序 ③ 汇编程序
④ 连接装入程序 ⑤ 调试程序
⑥ 编译程序 ⑦ 解释程序
2、提高主存利用率主要是通过(A)功能实现的。(A)的基本任务是为每道程序做(B);使每道程序能在不受干扰的环境下运行,主要是通过(C)功能实现的。
A、C:① 主存分配
② 主存保护
③ 地址映射 ④ 主存扩充
B:① 逻辑地址到物理地址的变换; ② 内存与外存间的交换;
③ 允许用户程序的地址空间大于内存空间; ④ 分配内存
3、由固定分区方式发展为分页存储管理方式的主要推动力是(A);由分页系统发展为分段系统,进而以发展为段页式系统的主要动力分别是(B)。A~B:① 提高主存的利用率; ② 提高系统的吞吐量; ③ 满足用户需要;
④ 更好地满足多道程序运行的需要; ⑤ 既满足用户要求,又提高主存利用率。
4、静态重定位是在作业的(A)中进行的,动态重定位是在作业的(B)中进行的。
A、B:① 编译过程; ② 装入过程; ③ 修改过程; ④ 执行过程
8、对外存对换区的管理应以(A)为主要目标,对外存文件区的管理应以(B)为主要目标。
A、B:① 提高系统吞吐量;
② 提高存储空间的利用率;③ 降低存储费用;
④ 提高换入换出速度。9、从下列关于虚拟存储器的论述中,选出一条正确的论述。
① 要求作业运行前,必须全部装入内存,且在运行中必须常驻内存;
② 要求作业运行前,不必全部装入内存,且在运行中不必常驻内存;
③ 要求作业运行前,不必全部装入内存,但在运行中必须常驻内存;
④ 要求作业运行前,必须全部装入内存,且在运行中不必常驻内存;
13、在请求分页系统中有着多种置换算法:⑴ 选择最先进入内存的页面予以淘汰的算法称为(A);⑵
选择在以后不再使用的页面予以淘汰的算法称为(B);⑶ 选择自上次访问以来所经历时间最长的页面予淘汰的算法称为(C);
A~D:① FIFO算法;
② OPT算法;
③ LRU算法; ④ NRN算法;
⑤ LFU算法。
14、静态链接是在(A)到某段程序时进行的,动态链接是在(B)到某段程序时进行的。
A、B:① 编译;
② 装入;
③ 调用;
④ 紧凑。
15、一个计算机系统的虚拟存储器的最大容量是由(A)确定的,其实际容量是由(B)确定的。
A、B:① 计算机字长;
② 内存容量;
③ 硬盘容量;④ 内存和硬盘容量之和;
⑤ 计算机的地址结构。18、以动态分区式内存管理中,倾向于优先使用低址部分空闲区的算法是(A);能使内存空间中空闲区分布较均匀的算法是(B);每次分配时把既能满足要求,又是最小的空闲区分配给进程的算法是(C)。
A~C:① 最佳适应法;
② 最坏适应法;
③ 首次适应法;
④ 循环适应法。
19、某虚拟存储器的用户编程空间共32个页面,每页1KB,主存为16KB。假定某时刻该用户页表中已调入主存的页面的虚页号和物理页号对照表如下:
虚页号物理页号
05
110
24
37
则下面与虚地址相对应的物理地址为(若主存中找不到,即为页失效)
虚地址
物理地址
0A5C(H)
(A)
1A5C(H)
(B)
这里,(H)表示十六进制。虚拟存储器的功能由(C)完成。
A、B: ① 页失效;
② 1E5C(H);
③ 2A5C(H);
④ 165C(H);
⑤ 125C(H);
⑥ 1A5C(H)。
C: ① 硬件;
② 软件;
③ 软硬件结合。
二、填空题
1、使每道程序能在内存中“各得其所”是通过_内存分配_功能实现的;保证每道程序在不受干扰的环境下运行,是通过内存保护_功能实现的;为缓和内存紧张的情况而将内存中暂时不能运行的进程调至外存,这是通过_对换_功能实现的;能让较大的用户程序在较小的内存空间中运行,是通过_内存扩充_功能实现的。
3、在连续分配方式中可通过_紧凑_来减少内存零头,但此时必须将有关程序和数据进行_重定位_;而_动态重定位_是一种允许作业在运行中、在内存中进行移动的技术。
4、分段保护中的越界检查是通过_段表寄存器_中存放的_段表长度_和段表中的_段长_实现。
8、在分页系统中若页面较小,虽有利于_提高内存利用率_,但会引起_页表太长_;而页面较大,虽有利于_页表长度_,但会引起_页内碎片增大_。
9、在分页系统中的地址结构可分为_页号_和_页内偏移量_两部分;在分段系统中的地址结构可分为_段号_和_段内偏移量_两部分。
10、在分页系统中,必须设置页表,其主要作用是实现_页号_到_物理块号_的映射。
11、在分页系统中进行地址变换时,应将页表寄存器中的_页表起始地址_和_页号_进行相加,得到该页的页表项位置,从中可得到_物理块号_。
12、在两级页表结构中,第一级是_页表目录_,其中每一项用于存放相应的_页表首址_。
13、在分页系统中为实现地址变换而设置了页表寄存器,其中存放了
_页表起始地址_和_页表长度_。
15、在页表中最基本的数据项是_物理块号_;在段表中最基本的数据项是_段的内存起始地址_和_段长_。
20、在作业_装入_时进行的链接称为静态链接;在作业运行中_调用_时进行的链接称为动态链接。
22、为实现存储器的虚拟,除了需要有一定容量的内存和相当容量的外存外,还需有_地址变换机构_和_缺页中断机构_的硬件支持。
25、在请求分页系统中的调页策略有_预调页策略_,它是以预测为基础;另一种是_请求调页策略_,由于较易实现,故目前用得较多。
三、问答题
1、存储管理的 主要功能是什么?
2、解释下列与存储管理有关的名词:地址空间与存储空间;逻辑地址与物理地址;虚地址与实地址;地址再定位;虚拟存储器。
3、什么是请求页式管理?能满足用户那些需要?
4、请求页式管理中有哪几种常用的页面淘汰算法?试比较它们的优缺点。
5、什么是虚拟存储器,其特点是什么?为什么从逻辑上说采用虚拟存储器能扩大内存存储空间?
6、简述什么是内存的覆盖和交换技术?两者有什么区别?
7、你认为内存管理和外存管理有哪些异同点?
8、用哪些方式将程序装入内存?它们分别适用于什么场合?
9、在进行程序链接时,应完成哪些工作?
11、为什么要引入动态重定位?如何实现?
12、分页式和分段式内存管理有什么区别?怎样才能实现共享和保护?
13、在系统中引入对换后带有哪些好处 ?
14、对于如下的页面访问序列:,2,3,4,1,2,5,1,2,3,4,5
当内存块数量分别为 3 和 4 时,试问:使用 FIFO、LRU
置换算法产生的缺页中断是多少?(所有内存开始时都是空的,凡第一次用到的页面都产生一次缺页中断)
15、某虚拟存储器的用户编程空间共 321KB,内存为16KB。假定某时刻一用户页表中已调入内存的页面的页号和物理块号的对照表如下:
页号 物理块号5
10
4
7
则逻辑地址 0A5C(H)所对应的物理地址是什么?
16、某段表内容如下:
段号 段首地址 段长度
0 120K 40K
760K 30K 480K 20K
370K 20K
一逻辑地址为(2,154)的实际物理地址为多少?
答 案
一、选择题
1、A:③ B:③ C:④ D:④ E:①
2、A:① B:④ C:②
3、A:① B:⑤
4、A:② B:④
5、A:① B:③ C:④
6、A:③ B:④ C:①
7、A:① B:② C:④ D:①
8、A:④ B:②
9、④
10、A:③ B:④ C:② D:⑤
11、A:③ B:④
12、A:② B:③ C:④
13、A:① B:② C:③
14、A:② B:③
15、A:⑤ B:④
16、② ⑥
17、A:② B:⑤ C:③
18、A:③ B:④ C:①
19、A:⑤ B:① C:③
二、填空题
1、内存分配、内存保护、对换、内存扩充。
2、地址递增、空闲区大小递增。
3、紧凑、重定位、动态重定位。
4、段表寄存器、段表长度、段长。
6、阻塞、优先级最低、就绪且换出、在外存中驻留最久。
7、进程、页面、分段。
8、提高内存利用率、页表太长、页表长度、页内碎片增大。
9、页号、页内偏移量、段号、段内偏移量。
10、页号、物理块号。
11、页表始址、页号、物理块号。
12、页表目录、页表首址。
13、页表始址、页表长度。
15、物理块号、段的内存始址、段长。
16、物理、系统管理、逻辑、用户。
20、装入、调用
21、多次性、对换性、请求调页(段)和页(段)置换。
22、地址变换机构、缺页中断机构。
25、预调页策略、请求调页策略。
问答题
1.答: ⑴、内存区域的分配和管理:通过建表、查表、改表和回收登录内存使用情况,系统或用户申请内存时按选定的分配算法确定分区等,保证分配和回收;
⑵、内存的扩充技术:使用虚拟存储或自动覆盖技术提供比实际内存更大的空间;
⑶、内存的保护技术:各道作业、任务或进程在自己所属区域中运行,不破坏别的作业或不被“别人”破坏,更不要破坏整个系统工作。
2、⑴、目标程序所在的空间称为地址空间,即程序员用来访问信息所用的一系列地址单元的集合。由内存中一系列存储单元所限定的地址范围称为内存空间或存储空间。
⑵、:用户程序经编译之后的每个目标模块都是以0为基地址顺序编址,这种地址叫相对地址或逻辑地址。内存中各物理存储单元的地址是从统一的基地址顺序编址,它是数据在内存中的实际存储地址,这种地址叫绝对地址或物理地址。
⑶、:虚地址即用户程序地址,实地址即内存中实际存储地址。
⑷、重定位是把逻辑地址转变为内存的物理地址的过程。根据重定位时机的不同,又分为静态重定位(装入内存时重定位)和动态重定位(程序执行时重定位)。
⑸、虚拟存储器是一种存储管理技术,用以完成用小的内存实现在大的虚空间中程序的运行工作。它是由操作系统提供的一个假想的特大存储器。但是虚拟存储器的容量并不是无限的,它由计算机的地址结构长度所确定,另外虚存容量的扩大是以牺牲CPU工作时间以及内、外存交换时间为代价的。
3.答:把内存和用户逻辑地址空间都分成同样大小的块分别称为实页和虚页,利用页表建立起虚页和实页的联系,通过地址变换将虚页的逻辑地址转换成实页的物理地址。页式系统的逻辑地址分为页号和页内位移量。页表包括页号和块号数据项,它们一一对应。根据逻辑空间的页号,查找页表对应项找到对应的块号,块号乘以块长,加上位移量就形成存储空间的物理地址。每个作业的逻辑地址空间是连续的,重定位到内存空间后就不一定连续了。
此外,页表中还包括特征位(指示该页面是否在内存中)、外存地址、修改位(该页的内容在内存中是否修改过)等。
页式存储管理在动态地址转换过程中需要确定某一页是否已经调入主存。若调入主存,则可直接将虚地址转换为实地址,如果该页未调入主存,则产生缺页中断,以装入所需的页。
能满足用户扩大内存的需求,动态页式管理提供了内存与外存统一管理的虚存实现方式;内存利用率高;不要求作业连续存放,有效解决“碎片问题”。
4.答:有 4种常用的页面淘汰算法:
⑴、先进先出法(FIFO):先进入内存的页先被换出内存。它设计简单,实现容易,但遇到常用的页效率低。
⑵、最近最少使用页面先淘汰(LRU):离当前时间最近一段时间内最久没有使用过的页面先淘汰。这种算法其实是照顾循环多的程序,其它则不能提高效率,且实现时不太容易。
⑶、最近没有使用页面先淘汰(NUR):是LRU的一种简化算法,“0”“1”分别表示某页没被访问或被访问。它较易于实现,开销也较少。
⑷、最优淘汰算法(OPT):系统预测作业今后要访问的页面,淘汰页是将来不被访问的页面或者在最长时间后才被访问的页面。它保证有最少的缺页率,但它实现困难,只能通过理论分析用来衡量其它算法的优劣。
5.答:虚拟存储器是由操作系统提供的一个假想的特大存储器,是操作系统采用内外存的交换技术逻辑上提供对物理内存的扩充。采用虚拟存储器技术时,操作系统根据程序执行的情况,随机对每个程序进行换入、换出,用户却没有察觉,得到了一个比真实内存空间大得多的地址空间。所以从逻辑上说采用虚拟存储器能扩大内存存储空间。
6.答:在多道系统中,对换是指系统把内存中暂时不能运行的某部分作业写入外存交换区,腾出空间,把外存交换区中具备运行条件的指定作业调入内存。对换是以时间来换取空间,减少对换的信息量和时间是设计时要考虑的问题。
由于CPU在某一时刻只能执行一条指令,所以一个作业不需要一开始就全装入内存,于是将作业的常驻部分装入内存,而让那些不会同时执行的部分共享同一块内存区,后调入共享区的内容覆盖前面调入的内容,这就是内存的覆盖技术。
两者的区别主要有:交换技术由操作系统自动完成,不需要用户参与,而覆盖技术需要专业的程序员给出作业各部分之间的覆盖结构,并清楚系统的存储结构;交换技术主要在不同作业之间进行,而覆盖技术主要在同一个作业内进行;另外覆盖技术主要在早期的操作系统中采用,而交换技术在现代操作系统中仍具有较强的生命力。
7.答:相同点:它们都要提供给用户方便的方法来进行分配和管理存储空间,都有自己的分配算法。它们都要考虑保护问题,使作业或文件不被破坏。
不同点:内存管理还要使用扩充技术以增大虚拟空间。外存管理提供给用户键盘命令及系统调用的控制操作。
8.答:区式:为支持多道程序运行而设计的一种最简单的存储管理方式。早期操作系统的存储管理中使用较普遍。
页式:利用划分大小相等的虚页和实页存储。它允许程序的存储空间是不连续的,提高了内存的利用率。
段式:拥护程序被划分成有逻辑意义的段。它便于段的共享及新数据的增长。
9.答:应进行各逻辑段的合并及地址重定位,及将逻辑地址转变为物理地址。
最近最久未使用算法 LRU:
选择内存中最久未使用的页面被置换。这是局部性原理的合理近似,性能接近最佳算法。该算法必须对每个页面都设置有关的访问记录项,而且每次访问都必须更新这些记录。
最不经常使用算法 LFU :选择到当前时间为止被访问次数最少的页面被置换。这只要在页表中给每一页增设一个访问计数器即可实现,当该页被访问时,计数器加,当发生一次缺页中断时,则淘汰计数值最小的那一页,并将所有的计数器清零。
最近没有使用页面置换算法 NUR :从那些最近一个时期内未被访问的页中任选一页淘汰。在页表中增设一个访问位来实现,当某页被访问时,访问位置 1,否则置 0。系统周期性地对引用位清零。当需淘汰一页时,从那些访问位为零的页中任选一页淘汰。
11、答:静态重定位是在链接装入时一次集中完成的地址转换,但它要求连续的一片区域,且重定位后不能移动,不利于内存空间的有效使用。所以要引入动态重定位,它是靠硬件地址变换部分实现的。通常采用重定位寄存器等实现。
12.答:分页式是将线性地址空间直接分成大小相同的页进行存储,段式则是根据用户有逻辑意义的程序模块划分地址空间。页的共享是使相关进程的逻辑空间中的页指向相同的内存块,若页中既有共享的部分又有不共享的部分则不好实现。页面保护必须设置存储保护键指明对其内容的存取权限。实现页(段)的共享是指某些作业的逻辑页号(段号)对应同一物理页号(内存中该段的起始地址)。页(段)的保护往往需要对共享的页面(段)加上某种访问权限的限制,如不能修改等;或设置地址越界检查,对于页内地址(段内地址)大于页长(段长)的存取,产生保护中断。因为页的划分没有逻辑意义,故共享和保护不便实现。段的共享一般是硬件实现,要比页 的共享容易的多。段的保护可由存储保护键和界限寄存器实现。
13、能将内存中暂时不运行的进程或暂时不用的程序和数据,换到外存上,以腾出足够的内存空间,把已具备运行条件的进程或进程所需的程序和数据换入内存,从而大大地提高了内存的利用率.FIFO 淘汰算法:
内存块为 3 时,缺页中断(或称缺页次数、页面故障)为 9 ;内存块为 4 时,缺页中断为 10
。(这似乎是一个奇怪的现象,同时也告诉我们,操作系统是一个复杂的机构,直观是靠不住的!)
LRU 淘汰算法:
内存块为 3 时,缺页中断为 10 ;内存块为 4 时,缺页中断为 8。
答:逻辑地址 0A5CH)所对应的二进制表示形式是:0000 10 10 0101 1100,由于1K=2 10,下划线部分前的编码为000010,表示该逻辑地址对应的页号为3查页表,得到物理块号是4(十进制),即物理块地址为:0001 00 10 0000
0000,拼接块内地址0000 00 00 0101 1100,得0001 00 10 0101 1100,即125C(H)。
存储管理 篇6
关键词:教学资源 网络 分布 存储 管理
中图分类号:TP316 文献标识码:A 文章编号:1672-3791(2014)11(b)-0153-01
随着Internet的发展和计算机的普及,数字资源分布式存储管理技术有了明显的提高。为了适应用户不断增加的数据存储需求和系统规模的不断扩大,出现了网络型分布式存储技术。教学资源是一种异质媒体,在存储和使用过程中容易受到外来因素的影响。另外,随着教学数字化、信息化进程加快,校内的数字资源会不断地增加,原来的资源存储系统不堪重负,因此,要不断的加强。同时,各学校之间的教育资源交流有利于减少教育资源的重复开发,提高教育资源的利用率。为了实现上述目标,就要研究教学资源网络型分布式存储于管理的方法。
网格存储是一种比较新的资源存储方式。它是基于信息时代出现的网络基础设施而发展出来的,是网络技术的一种。这种存储技术以节点为基础,通过建立多个站点来完成网内的大量数据传输与存储工作。网格存储既可以在单个节点上进行数据存储与管理,也可以在数个节点之间实现数据传输。另外,网格存储的范围具有相对的封闭性,用户需要进行认证,而且不同的用户操作权限不同,所以网格存储的信息安全性和保密性比较高。目前,网格存储包括网络网格、计算网格和存储网格三种。网格存储可以實现各类资源的优化配置,保护资源的传输安全。因此,将网格存储技术应用于教学资源存储,有利于减少教学资源作为异质媒体易发生的在传输过程中的数据丢失等问题。
1 教学资源网络型分布式存储与管理的必要性
研究教学资源网络型分布式存储与管理是由于现实的需要,具有一定的必要性,具体体现在以下几个方面。
(1)研究教学资源网络型分布式存储与管理是避免教学资源存储与取用受到外来冲击的需要。教学资源是一种异质媒体,而异质媒体在传输过程中容易受到外界的干扰,导致数据丢失或传输超时。因此,通过建立一种网络型分布式存储管理系统,形成一种新的资源共享方式,可以有效地减少传输过程中出现问题的可能性。
(2)研究教学资源网络型分布式存储与管理是对校内数字资源进行管理与使用的需求。现在许多高校的图书馆都有数字资源库,资源库中包括各种各样的数字①资源。另外,我国的教育改革要求学校要推进教学信息化与数字化,学生与教师在教学过程中也不断创建新的数字资源,比如论文发表、学生作业等。长此以往,学校内的数字资源数量将会非常巨大。由于学校的数字资源的数量骤然增加,原来的资源存储系统不能适应这种情况,就很容易出现管理上的混乱。如果不将这些数字资源进行分类存储,创建一个稳定的环境进行长期保存,一方面容易造成这些资源的遗失,另一方面也不利于学生、教职工获取、使用教学资源。
(3)研究教学资源网络型分布式存储与管理是加强各教育机构之间的教育资源交流的需要。在过去,各校的教育资源都是存放在本校内的节点中,访问的范围有限,各校之间的数据交流较少。这样常常导致了教育资源的重复开发,造成教育资源的浪费。要促进教育改革,就要加强教育资源交流,提高教育的质量与效率。
2 教学资源网络型分布式存储和管理的实现
与过去的存储方式不同,网络型分布式存储并不是将数据存储在特定的节点上,而是将网内的零散存储设备连接起来,形成一个虚拟的存储设备。由于网络型分布式存储管理系统主要是通过网格存储技术将网内零散的存储设备连接起来实现存储目的的,这种存储管理方式充分利用了设备的空闲存储空间,使得存储系统的存储量和分布范围大为提高。教学资源网络型分布式存储和管理系统的建立具体步骤如下。
首先,布建广泛的AP站点,将不同的数字资源存储在不同的站点上,形成一个数字资源存储网络。从网络的整体功能出发,可以将网络分为三层,分别是应用层、服务层和资源层。应用层是提供给用户上传、下载与共享资源的一个虚拟空间。用户可以通过操作界面对自己空间里的资源进行管理,也可以通过服务接口,访问其他用户的资源。服务层主要是为客户提供网络资源服务的一个窗口。资源层由不同的系统节点以及节点之间的网络组成。随着计算机技术的不断发展,节点之间的距离在不断扩大。现实中,资源层可以根据地理位置分布存储节点,实现就近原则。另外,在站点之间建立起多个通道,提高站点间的信息传输效率,使系统具有高度的灵活性。
其次,每个站点配备硬盘,以存贮相应的数字资源。网络型分布式存储并不能像网络一样实行集中控制,因此要在每个站点配备硬盘,实现每个站点的独立控制。为了方便资源的管理,系统采取了树网结合的混合拓扑结构。一方面,树网结构有利于站点之间的联系,方便站点之间的互相查询。另一方面,树网结构减轻了存储中心的负担,维护了系统的稳定性。
最后,要建立起藉以辅助集中的课件存贮中心,目的在于缓冲部分的课件内容于本地硬盘上。课件存贮中心具有两个方面的功能,一方面是教学资源存储系统的网格中心节点,负责网内存储资源的调配工作。另一方面,课件存贮中心相当于一个缓存盘,将课件内容暂时存贮在中心,并利用校园数字化系统的离峰时间,例如半夜两点到五点的时间段进行定时的站点间的课件内容传递。这样有利于减少AP站点的存储负担,加快传输的速度。
3 结语
综上,随着教育信息化、数字化程度的加深,学校内的数字教育资源必然会不断地增加。而要适应这种情况的发生,就必然要建立起一个高效、灵活的数字资源存储、管理系统。网格是以网络技术和计算机技术为依托发展起来的一种资源存储方式。这种存储方式的性能比较高,安全性好,适合校内教学资源的存储使用。因此,该文以网格技术为基础,建立一个教学资源网络型分布式存储与管理系统。这个系统的建立,有利于加强学校间的教育资源交流,改变过去信息孤岛的状况,提高教育资源利用效率,避免资源浪费,同时也保证了信息在传输过程中的安全性与保密性。
参考文献
[1]李雪萍,张文华,胡春,等.基于网格存储、P2P分布式存储和云存储的比较研究[J].现代情报,2011,31(8):38-43.
存储管理 篇7
在这一千余项改进中,存储管理技术的革新占有重要地位。SuperFetch、ReadyBoost及ReadyDrive技术,磁盘I/O优先化技术,Bit Locker技术等都是从Vista开始采用的、重要的存储管理技术。
1 Vista存储管理新技术分析
(1)使用SuperFetch、ReadyBoost、ReadyDrive技术加速电脑
SuperFetch是一个创新的内存管理器,用于分析随时间变化的计算机使用模式,以优化保存在内存中的数据,提高系统工作效率。具体地说,SuperFetch可以记录或者说“学习”用户对于操作系统和应用程序在每一天中的使用时段、操作流程。经过一段时间的“学习”之后,系统在用户执行这些常规操作之前,将操作相关的文件信息加载到物理内存的备用页面列表中去,当这种操作启动时,系统可直接从内存备用页表中调用文件数据,而无需从硬盘载入,于是,这种经常性工作得以提速,系统工作效率得以提高。
SuperFetch不但继承了Windows XP预取技术的全部优点,还进一步具备了监视程序运行状况、运行时间等功能。但是SuperFetch要提前加载程序信息至内存备用页,增加了系统对内存的需求。ReadyBoost技术就是为克服系统内存不足而设计的。
ReadyBoost技术使系统可以采用外部存储器件(如闪盘、SD/CF卡等电子器件)为缓存,在内存与硬盘之间建立闪存缓冲区,这个缓冲区能够作为SuperFetch内存备用区。尽管它的读写速度不如主内存,但在随机存取时比机械式硬盘的存取速度要快得多。当Vista系统检测到插入USB存储设备时,若系统允许“自动播放”则自动播放对话框被弹出,见图1所示(与XP不同的是该对话框提供了“加速我的系统”选项),选择“加速我的系统”,进入ReadyBoost属性对话框,见图2,通过该属性对话框即可完成系统加速设置。
微软声称:用于ReadyBoost的USB存储设备的容量要达到计算机上安装的随机存取内存(RAM)容量的一至三倍;用于Ready Boost的USB存储设备空闲读写速度最低要求为2.5MB/s(随机读4KB以上文件)、1.75MB/s(随机写512KB以上文件)。当今主流的、正规厂家所产闪存设备已经达到或超过了此要求。
ReadyBoost技术不仅克服了某些计算机扩充内存的不便和因扩充内存所需的花费,而且实际上也增加了USB存储设备的使用寿命[2,3]。
ReadyDrive技术则使系统支持混合式磁盘驱动器(hybrid hard disk drive,H-HDD)。H-HDD相比传统磁盘增加了较大容量的非易失快闪存储芯片(nonvolatile cache,NV cache)作为缓存(见图3)。
ReadyDrive技术能够巧妙利用H-HDD硬盘的NV cache改善系统性能。当系统需要H-HDD提供随机I/O操作服务,在数据量较少的情况下,读写H-HDD时,可以将随机读写数据缓存到盘内NV Cache中,读写速度较传统硬盘可以提高10倍。
ReadyDrive技术使带有H-HDD的系统引导速度更快。系统在关闭前,可以将启动所需要的一些数据读入到H-HDD的NV cache中去;系统重新启动时,从NV cache中读入这些数据比从硬盘上读入要快得多。
ReadyDrive技术延长了笔记本电脑的电池的使用时间和寿命。读写H-HDD的NV cache,勿需旋转HDD盘片,可以节省系统的电池能量,延长电池和磁盘驱动器的使用寿命,提高笔记本电脑的续航能力[4]。
考虑到固态硬盘技术的发展,微软公司将ReadyDrive技术在Windows 7中演变成了对固态硬盘SSD的有效支持。
(2)设计磁盘I/O优先级,克服磁盘I/O瓶颈,提高系统响应能力
多任务的计算机操作系统给用户带来了方便,但是也带来了资源的争夺。用户打开多个应用程序,执行多种工作任务,操作系统自动执行“计划任务”等后台程序。各类应用程序都要使用CPU,读写磁盘,占用内存,争夺资源。在CPU、内存、磁盘这些主要的争夺资源中,磁盘I/O往往不能满足需求。近十年来,CPU速度越来越快,核心越来越多,CPU的计算速度不成问题;而内存容量和速度也增加很快,尤其是速度。若内存容量不足,Vista采用前已述及的ReadyBoost技术使用USB存储设备替代部分内存可以解决。但是,机械式磁盘设备的性能提升没有CPU和内存组件那么显著。当今流行的机械式磁盘设备的I/O带宽比内存的I/O带宽要低一个数量级,在传输低于4KB的小文件时,速度还要下降!磁盘I/O成了瓶颈,如何解决?
Vista一方面使用ReadyDrive技术实现支持混合式磁盘,提高I/O带宽,另一方面对磁盘I/O请求加以分类,设计优先级,以满足当前用户较紧迫的I/O请求,提高系统响应能力,缓解I/O瓶颈。Vista根据I/O请求模式和对象,设计了I/O层次优先化策略,I/O空闲优先化策略及I/O带宽预留优先化策略,满足系统不同层次、不同时间段对磁盘I/O的请求。例如:当病毒扫描程序在后台运行时,此时用户启动Word字表处理程序。系统会自动将Word程序对磁盘的I/O请求设为正常优先级,而将病毒扫描程序设为低优先级,及时响应了用户请求。这种磁盘I/O的优先级在系统资源监视器中可以查看,Windwos 7已将正常优先级改称为标准优先级[5]。
(3)使用Bit Locker和改进后的加密文件系统EFS,提高数据存储安全性
Bit Locker又称为安全启动,它用来加密Windows操作系统卷。该功能可防止未授权用户突破丢失或者失窃计算机上的Windows文件。
Bit Locker使用TPM(Trusted Platform Module,受信任的平台模块,一个内置在计算机中的微芯片)存储加密信息,如加密密钥。存储在TPM上的信息可以避免外部软件攻击和物理盗窃。和以往的软件登录密码相比,它集成硬件和软件保护机制于一身,因此极大提高了安全性能。
Bit Locker还可以在系统没有TPM的情况下使用。此时,应调整系统组策略,更改Bit Locker安装向导的默认行为,或使用脚本配置Bit Locker,将所需加密密钥存储在USB闪存驱动器中。解锁存储在卷上的数据必须提供该驱动器。
为了增强安全性,还可以将TPM与用户输入的PIN或存储在USB闪存驱动器上的启动密钥组合使用,Bit Locker通过结合使用TPM和启动密钥(来自USB闪存驱动器),来获取Bit Locker加密卷的访问权限[6]。
Vista中的EFS与XP相比,得以改进。Vista下的EFS更简便易用,而且具备全加密功能。Vista下的加密和解除加密操作在文件或文件夹的高级属性对话框可以解决。至于全加密,是指Vista克服了在XP中仅对数据文件进行加密的局限性,能对系统数据加密。例如,Vista能对系统产生的临时文件和虚拟内存的页面文件等可能包括用户重要信息的文件进行加密。
EFS加密各类文件数据,Bit Loker加密驱动器卷,此二者配合,可满足各类用户对数据存储安全性保障需求。不过,Bit Locker技术仅在Vista的Ultimate(旗舰版)和Enterprise(企业版)得以采用,而EFS文件系统在各版本中都可以使用,但对于Home Basic(家庭基础版)和Home Premium(家庭高级版)需要命令行程序Cipher.exe配合,虽然操作不简便,但相比XP的Home Edition不支持EFS还是有进步。
Bit Locker技术在Windows 7中操作起来更简便。
2 Vista的许多技术是革命性的,研究Vista具有十分重要的意义
虽然,微软推出了新一代的Windows 7,Vista再也难以成为主流操作系统,但是,作为微软投资了最为巨大的人力和财力,费时近10年开发的一个重量级操作系统,它的许多技术是革命性。本文所阐述的SuperFetch、ReadyBoost、ReadyDrive、磁盘I/O优先级调度、Bit Locker等存储领域技术就是很好的实例。不仅如此,这些革命性的技术大多在Windows 7中被继承和发展[7]。对比Vista和Windows 7我们会发现更多,不用说Vista的实用性,单是研究Vista就具有十分重要的意义。
摘要:微软在Vista中采用了较多的存储管理新技术。使用SuperFetch、ReadyBoost、ReadyDrive三大存储管理新技术加速系统,提升系统性能。设计磁盘I/O优先级策略,区别对待磁盘I/O请求,提高系统响应能力,克服磁盘I/O瓶颈。利用BitLocker磁盘驱动器加密技术,配合改良的加密文件系统EFS,满足磁盘数据存储的安全性需求。Vista采用了许多类似的新技术,而且大多数技术在Windows7中得到了继承和发展,研究Vista具有十分重要的意义。
关键词:SuperFetch,ReadyBoost,ReadyDrive,I/O优先化,BitLocker
参考文献
[1]Cbsi中国.Windows Vista新闻发布会现场实录[EB/OL].电脑之家,2007-01-30,http://article.pchome.net/content-160241-1.html.
[2]Ed Bott,Carl Siechert,and Craig Stinson周靖译.Windows Vista官方攻略[M].清华大学出版社,2008.
[3]Microsoft Corporation.Windows PC Accelerators:Performance Technol-ogy for Windows Vista[S/OL],WHDC Home,2006-12.http://www.microsoft.com/whdc/system/sysperf/accelerator.mspx.
[4]Microsoft Corporation.Windows ReadyDriveTMand Hybrid Hard DiskDrives[S/OL],WHDCHome,2006-12,http://www.microsoft.com/whdc/2006.
[5]Microsoft Corporation.I/O Prioritization in Windows Vista[S/OL],WHDCHome,2006-5-10 http://www.microsoft.com/china/whdc/driver/priorityio.mspx.
[6]褚诚云.Windows Vista安全特性分析:改进和局限(下)[J].程序员,2007(3):110-113.
播出节目存储管理安全性分析 篇8
电视技术发展带来节目存储方式改变的同时也存在风险和安全隐患, 尤其在播出部门, 当节目素材数据遭到损坏时, 对播出的影响是直接的、严重的, 为了安全地存储管理这些节目素材, 并在最大程度上提高存储设备的利用率和保证素材的正常播出, 本文结合南宁电视台播出部节目存储管理思路从以下几个方面对播出节目素材存储管理方法进行分析探讨。
1 存储设备的安全性
1.1 硬件设备安全
1.1.1 在线存储
播出使用的在线存储设备采用高性能大容量的SCSI磁盘阵列, 用于存储播出的视音频素材, 优点是速度快、可靠性高、支持热插拔。SCSI磁盘阵列具有极高的数据安全性, 能够长期稳定的运行, 在盘阵部分模块故障时仍能提供不间断的数据服务。目前的SCSI硬盘采用的是正反两面记录的多盘片结构, 单个SCSI硬盘的存储容量已相当可观, 而RAID技术的应用, 硬盘的存储容量将进一步扩大, 独立磁盘冗余阵列RAID技术是在计算机的SCSI技术的基础上发展起来的, 可以把若干个硬盘加上控制器组成一个大容量, 快速响应, 高可靠性的存储子系统, 从用户看可作为一个逻辑盘或者虚拟盘, 从而大大提高了数据传输, 适合访问要求频繁, 并且对反应和数据传输都要求较高的应用。同时冗余技术确保在磁盘损坏的情况下不影响数据的读取传输。
1.1.2 近线存储
近线存储介于在线存储和离线存储之间, 它可以将数据的访问量不大的数据存放到性能较低的备份设备上。比起磁带备份, 近线存储设备搜索素材更迅速、传输率更高, 同时又具有与磁备份一样的海量存储容量。近线存储设备用于存储近段时间采集的视音频素材或近段时间制作播出的新闻片、专题片、纪录片、资料片等。
1.1.3 离线存储
离线存储介质相对价格比较便宜, 存储量可以比较大, 是对在线存储数据的备份, 以防范可能发生的数据灾难。离线存储的典型产品是磁带库, 播完的节目素材录入磁带保存, 当需要重新读取节目素材时, 需要把磁带重新进行上载。因此, 离线存储的访问速度慢、效率低, 用来存储不常用的数据, 包括制作年代较远的新闻片、专题片、纪录片、资料片等。
1.2 软件管理安全
节目素材从不同采集工作站上载到上载频服务器, 然后根据节目播出需求再把素材同步到播出服务器。节目素材通过素材管理软件实现对素材的管理, 给上载到服务器的每段素材赋予一些基本信息, 如节目ID号、上载时间、出入点等, 控制素材在在线存储和近线存储中的走向, 制定迁移和删除策略这样可以更加充分、合理、有效地利用存储空间。其软件的主要功能有:存储迁移策略的制定, 根据电视台内部的工作实际, 制订和修改存储和迁移策略;素材的常规管理, 包括素材的查询、删除以及索引信息的修改。
1.2.1 数据库维护
技术维护工作人员定期对数据库进行维护, 对录入节目日志、播出日志、删除节目日志、播出表编辑日志等进行管理, 并且很方便地进行查询。可根据节目ID号对每个素材进行查询:如节目名称、节目编号、长度、入出点及其他相关信息等, 并对每天的播出情况进行记录, 并可打印存档。播出素材管理程序人性化操作界面, 显示素材当前的状态, 查找方便, 提供诊断程序, 发现问题及早报警。
在某些情况下计算机可能发生系统崩溃或数据丢失, 因而, 备份是保证系统安全最基本、最常用的手段。因此, 必须采取数据的自动备份和恢复措施, 数据库要定期进行数据备份, 部分重要数据根据需要采取异地备份措施, 以防止灾难性事故的发生。
1.2.2 设置用户权限
对节目素材在上载工作站中的各种操作 (如上载、编辑、设置) 有详细的权限管理。用户的权限由系统管理人员在部门管理者的授权下进行设置。应用系统一级的用户的权限不但决定了用户是否可以使用某个设备资源, 还决定了用户是否可以使用系统中的某个功能。从而保证所有工作站的操作与操作人员对应, 保证播出安全性, 降低人为破坏的可能性。
其次有效的网络监控手段和防火墙设置可以保证合法用户在授权范围内调用数据, 杜绝非法用户的入侵, 保证数据的安全。
2 制度保障安全
2.1 制定工作流程
节目素材管理实行专人管理, 由上载工作人员根据节目的播出时间、播出次数, 分类管理。素材迁移工作流程的设计直接决定素材使用的效率, 并且会影响播出系统的安全性, 为了保证素材迁移的安全性及有效性, 制定了一套完整的调度方案, 总体原则就是以节目单为周期, 一周之内要播出的节目保存在播出服务器, 待播或重播的先迁移至近线存储。其基本工作流程如图1所示, 本地存储的素材根据节目单调度到近线存储和播出服务器;素材经过近线存储进入播出服务器;播出与上载服务器之间需要有同步操作, 这样设计既保证了素材的集中存储, 又提高了素材的传输效率及安全性。
2.2 设立监督检查制度, 层层把关
节目素材从上载、审核、同步及迁移至近线存储最后到回迁使用, 每一步操作都建立复核检查制度, 进行技术审片, 最后由复核检查的上载工作人员签字确认, 以确保素材的准确性、完整性和安全性, 排查安全隐患, 保证播出安全。
2.3 加强设备维护, 建立设备检修档案
充分利用好每周的设备维护时间, 检查维修, 定期重启服务器, 特别是在重大安全播出确保时期, 提前做好维护工作, 避免设备故障造成素材丢失或损坏。
3 小结
移动存储介质的保密管理工作 篇9
看来仅仅通过制度的约束而不采取有效的技术手段是很难达到预期的效果, 如何能够既有效的控制单位移动存储介质的管理, 防止泄密案件的发生, 又不影响单位信息化效率的提高, 笔者认为应从以下几个方面入手。
一、加强宣传教育, 增强保密意识
要积极开展计算机信息保密宣传教育活动, 要定期举办保密知识、保密法规制度、保密技术常识、案例教育等讲座。要通过保密教育, 使干部职工多了解一些计算机信息技术快速发展时期的泄密途径和原因, 认识到目前我行的计算机信息保密现状不容乐观, 一些泄密隐患严重存在, 特别是移动存储介质的管控、互联网与笔记本电脑的设防等问题突出, 终端的管理和技术防范措施也不到位, 保密形式十分严峻。使干部职工在思想上筑牢严守国家秘密的思想防线, 在行为上提高保密知识水平和技能, 增强防范失泄密的实际能力。要将总行保密委员会办公室新近摘编的“十个不得”和“八项禁令”传达至全体干部职工, 人手一份, 务必严格遵守。
二、完善现有制度, 加大监管力度
要尽快修改或废止内容过时的规章制度, 对管理要求模糊的工作环节要尽快明确具体管理措施, 对制度空白的工作领域要尽快出台相应规定, 要在总行、分行近期下发的《中国人民银行涉密移动存储介质管理暂行规定》和《中国人民银行济南分行计算机保密管理暂行办法》基础上, 结合自身工作实际, 制定实施细则。要确保制度的制定科学、可行, 监督的措施合理、有效。为监督、检查移动存储介质是否在涉密和非涉密计算机之间混用, 可以开发一些小的检测工具, 通过U盘设备序列号和计算机设备序列号即可查出一台计算机通过USB接口插入的所有U盘, 也可查出一个U盘所插入过的计算机, 最好是再有一个U盘设备序列号匹配检测工具, 可以方便、快速检测出一台计算机中记录过的U盘设备序列号是否与该单位涉密移动存储介质登记表中的U盘设备序列号相匹配。可以借助于技术手段促使各项制度要求和管理措施落到实处, 收到实效。
三、采取必要的技术支撑手段防止移动存储介质交叉混用
由于人民银行内联网的特殊要求, 建议总行研制开发USB移动存储介质使用管理系统, 在全国推广使用。科技管理人员利用移动介质管理系统, 可以从技术层面落实针对计算机移动存储设备的管理策略, 对U盘进行分级安全管理, 即保留U盘使用的方便性, 又可预防U盘病毒传播和内部信息泄漏。系统要能实现以下几个主要功能。
(一) 实现外部U盘进入内联网无法使用, 立刻自动阻断。
(二) 经过单位授权的U盘, 利用系统包含的安全U盘转换模块进行转换后, 可以实现。
1.单位内部专用的U盘拿到外部无法使用;
2.U盘绑定单机, 在其他电脑均无法打开;
3.特殊需要时, 可以解除U盘锁定, 与外单位涉密电脑交互文件。
(三) 可以实现单位内部U盘按照部门区分使用, 避免单位涉密级别不同的网络间混合使用, 分组以计算机硬盘为参照物, 可以按照单位部门, 也可按照涉密级别进行有效的分组管理。
(四) 对于非法用户的使用, 中心阻断后, 客户端收到报警信息, 同时中心显示报警以及违规记录。
(五) 可以实现在服务器端对网内某一台电脑上连接的USB设备现场远程阻断。
(六) 产品支持一切具有存储功能的USB设备 (包括手机卡, MP3, USB打印机等) , 同时具有自动识别功能, 对于常规的不具有存储功能的USB设备 (比如USB鼠标、键盘等) 不做任何设置, 即可正常使用。
(七) 支持分级管理。
(八) 客户端无法自行卸载, 管理员方有此权利。
四、转变使用观念, 利用网络资源, 减少U盘的使用量
防止移动存储介质泄密的另一条有效途径就是尽可能地不用U盘或少用U盘, 但U盘、移动硬盘、手机存储、数码相机、MP3/MP4、各种CF/MD/SD卡/各类Flash Disk等移动存储介质 (简称U盘) 由于使用灵活、方便, 被很多人用作传递数据的载体, 而且随着其储存容量越来越大, 体积越来越小, 又被很多人当作数据双备份的主要载体。在人民银行内联网上传递数据, 完全不需要借助U盘, 只需要每人建立一个个人邮箱即可实现。至于数据备份可以在邮件服务器上加挂一个大容量的硬盘, 为每个人开辟一存储空间即可实现个人数据的双备份。所以, 在内联网上的计算机之间的数据传递和数据备份完全可以不使用U盘, 而只需要改善内联网运行环境, 扩充邮件服务器的容量。具体做法为:
(一) 可以使用NOTES邮件服务器作为文件交流的重要工具。以往我们的NOTES服务器只开设了少量的用户, 无法满足全行所有员工的需要, 这主要是因为服务器硬件条件的限制, 现今, 随着服务器的不断升级, 已经完全能够以较低的成本为全行职工设立邮箱, 满足大家使用NOTES邮箱进行文件交流的目的。
(二) 使用大硬盘服务器, 为全行所有职工建立专用的网络数据备份中心。以往, U盘的数据备份不仅容易造成各种安全隐患, 而且U盘中的数据文件也常常因为硬件的原因造成重要数据的丢失, 而专用的网络备份中心完全可以解决这个问题, 设想一下, 全行每个职工在网络上都有自己的硬盘空间, 由科技科在机房内对其统一维护, 不仅可靠, 而且安全, 能充分的满足行内职工对于个人工作数据备份的需求。
存储管理 篇10
一个Oracle数据库可以分割为小的逻辑单元, 称之为表空间。Oracle数据库由一个或多个表空间组成。Oracle数据库中的数据存储在表空间中。一个表空间可能包含一个或多个段, 每个段由一个或多个盘区组成。表空间的一个重要作用是分布数据于不同的设备之间以改善性能。
Oracle数据库表空间分为系统表空间和非System表空间。系统表空间有System表空间和SYSAUX表空间, 随数据库创建, 所有数据库均需要, 不包括用户数据, 不能删除、不能重命名、不能置为read only。非System 表空间分为永久表空间 (Permanent Tablespace) 和还原 (撤消) 表空间 (UNDO TableSpace) 。
某Oracle数据库系统有31个表空间, 运行速度快, 另一Oracle数据库系统只有9个表空间, 而且基本上是使用系统生成的表空间, 数据都放置在USERS表空间, 容易造成磁盘竞争, 影响系统并发, 运行缓慢。表和表的索引应该存储在不同的表空间, 一个表空间中的不同数据文件还应该存放于不同的盘区以改善性能。手工指定表空间, 可以防止某个表空间的表太多, 减少磁盘竞争, 提高I/O性能。统计表空间总数语句如下:
2 增加必要的索引项, 删除从未使用的索引
索引是一个对象, 通过快速路径访问方法定位数据可以减少磁盘I/O, 加速检索。索引和它所引用的表相对独立, 被Oracle服务器自动使用和维护。
适合建立索引的列:经常被查询的列, 在ORDER BY子句中使用的列, 外键或主键的列, 该列的值唯一。
索引创建策略:导入数据后再创建索引, 经常查询的记录数目少于表中所有记录总数的5%时就应当创建索引, 经常进行连接查询表时, 在连接列上建立索引能够显著提高查询的速度。不需要为很小的表创建索引, 不能在LONG、LONG RAW、LOB数据类型的列上创建索引。存储索引的表空间最好单独设定。
创建索引语法:
改进系统中的索引可以提高性能。如果查询是瓶颈, 在作为查询条件的属性上建立索引, 能提高查询效率。如果更新是瓶颈, 每次更新都会重建表上的索引, 增加系统开销, 降低数据增删改效率, 还会占用空间, 所以删除从未使用的索引能提高数据更新效率。
使用函数索引:select * from dept where substr (dname, 1, 5) ='abcde';
下面是某信息系统删除从未使用的索引举例:
SELECT * FROM ALL_INDEXES WHERE TABLE_NAME='FIN_OPR_BOOKING' --查询表FIN_OPR_BOOKING的索引, 结果节选如表1。
——为每个索引增加监控, 语句如下:
抽取一个表, 查出建了3个索引, 经过较长时期的监控, 其中一个索引从未使用。对使用过的索引取消监控, 语句如下:
通过如下语句查询到某数据库的表和索引数目分别为2 734和3 430个, 把索引都加上监控, 找出从未使用的索引并删除, 可以大大节省系统开销, 减少系统响应时间。
合并索引可以收回多余空间, 语法如下:
3 选用合适的数据库备份方式
数据库备份的类型分为物理备份和逻辑备份。物理备份是将实际组成数据库的操作系统文件 (数据文件、控制文件、日志文件等) 从一处拷贝到另一处的备份过程。物理备份又分为冷备份和热备份。冷备份需要在关闭数据库的状态下进行数据库完全备份。热备份是指在数据库处于运行状态下进行的数据库备份。
导出 (exp) 是数据库的逻辑备份, 导入 (imp) 是数据库的逻辑恢复。某数据库采用如下脚本实现备份与恢复:
Oracle Database 10g系统引入了一种新的Data Pump (数据泵) 体系架构。利用Expdp, Impdp可以在服务器端多线程并行地执行大量数据的导出与导入操作。
当数据库发生介质损坏而无法启动时, 不能利用逻辑备份恢复数据库。因此, 数据库备份应以物理备份为主, 逻辑备份为辅。
RMAN ( Recovery Manager, 恢复管理器 ) 是一种用于备份 (backup) 和恢复 (recover) 数据库的 Oracle 工具, 它能够备份整个数据库或数据库部件, 如表空间、数据文件、控制文件、归档文件以及Spfile参数文件。RMAN也允许进行增量数据块级别的备份, 和OS命令备份方式相比, 使用RMAN备份执行期间不需要人工干预, 因此减少了误操作的机会。支持除逻辑备份以外的所有备份类型, 包括完全备份、增量备份、表空间备份、数据文件备份、控制文件备份以及归档日志文件备份;可以识别坏块;可以跳过未使用过的数据区块;方便实现定期 (定时) 备份;自动生成备份日志;RMAN的备份副本和OS无关, 方便移植。基于以上论述优点, 应使用RMAN工具。
摘要:如果数据库存储管理策略不当, 信息系统的查询或更新速度就会非常缓慢, 甚至部分功能不能正常运转, 也有可能导致整个计算机系统瘫痪。对数据库的存储管理策略进行了研究。适当增加并合理使用表空间;增加必要的索引项, 删除从未使用的索引;选用合适的数据库备份方式等手段不仅可以提升数据库的性能, 提高存储数据的可靠性, 还对保障计算机系统的正常运转具有十分重要的作用。
关键词:数据库,表空间,索引,物理备份,逻辑备份,数据泵
参考文献
[1]王亚平.数据库工程师考试辅导[M].西安:西安电子科技大学出版社, 2004.
[2]马晓玉.Oracle10g数据库管理、应用与开发标准教程[M].北京:清华大学出版社, 2012.
个人云存储:精彩在存储之外 篇11
云计算仍让人觉得有些飘渺,但个人云存储已经在不经意间走进了人们的生活。网盘类云存储公司Dropbox在2011年获得2.5亿美元的巨额融资,国际IT“三巨头”微软、苹果、谷歌相继推出了云存储服务,国内的百度、腾讯、阿里巴巴、华为、京东商城也加入云存储的竞争队列。笔记类云存储公司Evernote估值已达10亿美元并计划上市,国内的盛大、网易也推出类似产品。
云存储是指将企业和个人的文件或数据集中存储在数据中心而非本地,并按实际使用进行付费的技术。云存储的大发展受到多重力量的推动:首先,移动终端的火热催生了用户对于多终端内容同步的需求,而移动互联网的发展为其提供了便利性;其次,互联网时代的信息爆炸对数据的存储、管理、分析提出了更高的要求,而云存储满足了这种要求;另外,云计算的逐步成熟让云存储能够在技术上得以实现。
艾瑞咨询数据显示,2011年,中国个人云存储用户规模达2300万,增长率高达804%。艾瑞预计,个人云存储将在近两年迎来快速发展,到2013年,个人云存储用户规模将达到2.23亿,在中国网民中的渗透率将达到36.7%。
Dropbox:网盘类云存储典范
Dropbox是网盘类云存储的先行者和典范,其2007年成立于美国旧金山,2008年产品上线。Dropbox的创始人是来自麻省理工学院的两位研究生,他们创办公司的初衷是“为了让生活变得更简单”。Dropbox提供本地文件的网络同步存储,用户可以在多个平台随时随地存取文件,可以在离线情况下更改Dropbox中的内容,网络恢复后自动将修改的部分同步至云端,Dropbox还可以通过发送邀请的方式实现内容的共享。
Dropbox创立不久便获得了720万美元的融资,产品上线半年后,用户达到100万。2009年9月,Dropbox注册用户数超过200万,并于同年底拒绝了苹果公司高达“九位数”的收购提议。2010年6月,Dropbox注册用户数突破600万。2011年10月,Dropbox获得2.5亿美元巨额融资,估值达到40亿美元。目前,Dropbox的用户数量已经超过5000万。
Dropbox的盈利模式为有限空间免费、升级付费。Dropbox为个人用户提供2G的免费空间,且其每邀请一个好友便可获得500M的额外空间,通过邀请好友而获得的额外空间最多为16G。也就是说,用户可获得的免费空间最高为18G。如果想要获得更大的空间,则需要付费。2012年7月,为应对竞争,Dropbox将付费用户的存储空间提高了一倍,年付费99美元的用户的存储空间从50G上升到100G,年付费199美元的用户的存储空间从100G上调到200G,并添加了每年499美元获得500G空间的新类别。2011年,Dropbox营收超过2.4亿美元,付费用户比例约为4%。
巨头搅局:扩展云存储边界
Dropbox凭借先发优势在云存储领域获得暂时领先,但作为互联网的重要新兴领域,云存储吸引了众多巨头前来搅局,它们纷纷将云存储与自有优势进行深度结合,不断拓展云存储的边界。云存储的精彩,将远在存储之外。
微软从2007年开始低调启用云存储服务SkyDrive,并于2012年4月推出付费版本,用户可用Windows Live或MSN账号进行登录,老用户可获得25G免费空间,4月22日之后注册的新用户可获得7G免费空间。微软还通过提示好友更新等方式,将SkyDrive与Hotmail、MSN等业务联系起来。2011年6月,苹果推出云端服务iCloud,代替之前具有云存储功能的Mobileme。iCloud的免费空间为5G,集成了App Store、iBooks和iTunes音乐的功能。2012年4月,谷歌推出云存储服务Google Drive,免费空间为5G,Google Drive与谷歌文档Google Docs深度整合,不同用户可实时共同处理各类文档。
国际IT“三巨头”纷纷出手,国内公司也不甘落后。2011年,抢在苹果正式推出iCloud之前,阿里巴巴推出“阿里云OS”操作系统和搭载了此系统的天语云智能手机,为用户提供100G的免费云存储空间;2012年3月,百度推出个人云存储服务百度网盘,并可能将其与百度·易智能手机平台进行整合,并计划通过付费升级的方式探索多样化盈利;2012年7月,腾讯正式发布名为“微云”的个人云服务平台,提供微云网盘、微云相册、微云传输三大功能;2012年7月,京东商场上线云存储服务JBOX,目前仅向电子书用户和金牌以上用户开放,用户可将购买的电子书直接上传到JBOX。此外,新浪依托新浪微博的优势推出云存储应用微盘,用户可在微博上对微盘内容进行分享。华为、金山、中国电信等也都推出了自己的云存储服务,国内市场还出现了酷盘、115网盘等一批专门的云存储公司。
显然,这些公司并非将云存储业务单纯视为一项存储和同步的功能,而是希望借助原有用户数量优势,把其打造成自己生态系统中的一部分,借此来与其他业务整合,或者把云存储服务打造成一个应用平台。当用户把大量的照片、通讯录、文件等个人数据存储在云存储平台之后,较高的迁移成本增强了用户黏性,这或许意味着,尽管目前云存储还只是通过付费升级的方式盈利,但未来,当用户群体形成后,更大的盈利空间便水到渠成。
笔记类云存储:个人信息管家
网盘类云存储主要是对文件进行存储管理,笔记类云存储则以帮助用户随时随地记录信息为核心功能,可编辑性更强,可以在多个终端随时写入和读取,充当着个人信息管家的功能。
Evernote是目前全球用户量最大的云笔记产品,于2008年6月上线。截至2012年6月,其用户量达到3400万,月均增速36%,其中付费用户140万。Evernote通过向高级用户收费的方式盈利,用户可选择每月支付5美元或者每年支付45美元,付费用户可获得多项特权,例如可上传更多类型的文件、每个月的限定流量更大等。2012年,Evernote成功获得D轮融资7000万美元,公司估值达到10亿美元,并有上市的计划;5月,Evernote推出“印象笔记”,正式进军中国。
Evernote的目标不仅仅是做一个笔记产品,而是希望成为“全人类记忆中枢平台”。按其规划,第一阶段是记录用户的一切想法,第二阶段则是更好地管理和挖掘这些信息的价值。2010年7月,Evernote宣布推出官方应用平台Evernote Trunk,其中集合了可以与Evernote协同工作的多种应用,例如发送邮件内容到Evernote、将名片等纸质内容扫描到Evernote等。
国内市场也相继出现了一批模仿Evernote的产品。2010年9月,盛大创新学院推出永久免费的云笔记产品麦库记事,这也是国内首款云笔记产品,并于2012年二季度向开发者开放API;2011年6月,网易旗下有道搜索推出云笔记产品有道云笔记,用户可使用网易邮箱积分兑换空间,有道云笔记也表示会将免费进行到底。
考虑到中国网络用户的付费习惯,免费仍将是国内云笔记产品的主流做法。在Evernote进军中国之时,其CEO菲尔·利宾(Phil Libin)曾表示Evernote在中国可10年不求盈利,只为做一款伟大的产品。麦库记事和有道云笔记背靠盛大和网易两家实力雄厚的公司,短期来看盈利压力并不大。完善产品、培育用户,或将是中国云笔记市场现阶段的主要任务。
“安全”是道坎
无论网盘类云存储还是笔记类云存储,“安全”都是一道绕不过去的坎。以前,黑客只能攻击某家公司,如今,鉴于云存储是把信息存储到数据中心,黑客只需要攻击数据中心就可以获得大量的数据。抛开黑客,作为信息管家的云存储公司是否会监守自盗,或者因为技术问题而“失职”,也是使用者担心的问题。实际上,仅从近两个月发生的云存储安全事件来看,用户的这种担心不无道理。
2012年7月,荷兰的一位用户发现,在上传了9G的文件后,自己的SkyDrive账户被封号了,这也引发了对微软监控用户数据的质疑;也是在7月,一位用户称其为Dropbox专门设置的邮箱收到带有欺诈性质的垃圾邮件,对此Dropbox否认存在安全漏洞,但这样的否认难以让人信服,因为就在2011年Dropbox还曾出现过任何人都可以仅通过邮箱地址登录Dropbox的漏洞;8月6日,盛大云发布声明,称因为无锡机房的一台物理机本地磁盘损坏,导致部分用户个人数据丢失;同样是在8月初,一位记者的iCloud账户遭到黑客攻击,黑客删除了其在iCloud里的全部资料,并盗取了与之关联的Twitter账号。
浅谈知识管理的云存储 篇12
在知识经济时代的今天, 知识已成为企业最重要的资源, 知识资源成为企业创造收益的实际生产力, 并成为衡量企业成功的实际推动力。知识管理是企业识别自己拥有的, 并对其加以整理、分类、索引、存储, 以便有效地利用知识, 获取竞争优势的过程, 对于设计所这类知识型的组织更是如此。而首当其冲的是需要全局考虑知识的存储问题, 任何一个企业的知识都是经过多年的积累和沉淀, 其数据量都较为庞大;而且随着知识的不断利用和挖掘, 知识的产生速度也会不断加剧, 这些因素都会对知识的存储架构提出较高的要求。
1 传统存储方式存在的问题
(1) 文档存储安全
采用文档存储的方式产生的主要问题在于数据的安全风险较高以及知识的利用率较低。从数据安全的层面, 一旦存储设备发生故障 (例如硬盘损坏) , 则其中的所存文档数据都将面临损坏的风险;而且, 即便对文档进行备份工作, 但该工作量较大, 且无法做到实时同步。从知识利用的层面, 文档方式过于分散, 知识的粒度较粗, 不利于知识的索引和检索, 更谈不上高效的利用。
(2) 文档版本管理
传统存储方式对文档版本管理的考虑并不是很充分, 对于文档修改的迭代信息并没有进行很有效的管理, 部分企业采用文件名上带版本号的方式进行版本的管理, 但是即便这样, 由于文档本身存放较为分散, 用户往往无法获知当前文档的最新版本。
(3) 文档权限管理
在传统存储方式中, 对于文档权限的管理主要从文档访问的主体 (用户) 出发, 应用系统主要对文档访问主题的权限进行控制 (授权) , 这种方式的粒度较粗, 无法满足对文档访问权限的细分, 例如:只能读取不能下载, 只能读取不能修改;这些权限的细分需要从访问客体 (文档) 的角度进行权限的定义, 并作为授权的依据。
(4) 协同工作
知识的形成是一个汇集和迭代的过程, 一个文档可能需要多个人同时编写, 每个人还要进行多次的修改, 然后进行组合, 形成最终文档。编写任务的分配、进度的跟踪、工作的协同都较为频繁, 如果没有一个系统的管理手段, 就会造成总体进度的拖延、工作推诿、合成质量较差的结果。
2 云存储的技术特点
云存储:主要文档和数据都保存在云端, 在授权许可的情况下, 用户可以随时访问相关文档和知识库。
分布式网络存储:企业和个人的文档资料根据算法和安全策略采用分布式存储。
文件传输校验:文件传输涉及到高并发、断点续传。
文档转换浏览:用户需要在线浏览云端各种文档的部分或全部内容, 无需下载到本地用专门软件打开。
文档安全及权限管理:包括文档存储的安全和文档访问的安全。
智能数据采集:文档中的相关数据会做采集并进行智能分析, 形成知识库。
3 拟解决的关键问题
1) 文档是企业的重要资产, 如何保证文档的安全尤其是面向多企业服务时文档数据的隔离和安全, 是知识管理系统能够大范围推广使用的关键问题;
2) 高效智能的知识挖掘算法、知识库构建技术以及智能搜索算法设计, 将对知识管理系统有举足轻重的影响;
3) 海量文档如何在"云"环境下存储、组织管理及分类对系统的成功实施有着重要影响, 也是需要解决的关键技术问题;
4 云存储的选型 (Hadoop)
建设企业私有云, 通过虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术, 将所网络中大量的存储设备通过软件集合起来高效协同工作, 共同提供低成本、高扩展性的数据存储服务。
Hadoop的Hadoop Distributed File System (Hadoop分布式文件系统) 做为云存储选型, 主要考虑以下几个方面:
1) HDFS是技术层面最好, 使用最广泛的文件存储方案, 现在360、百度网盘等都使用该项技术, 中国科学院计算技术研究所在Hadoop上开展了数据挖掘和地理信息处理等的研究。
2) HDFS自己实现了文件冗余, 因此不需要额外再使用NAS等存储设备做备份, 如果要做异地备份, HDFS本身也提供了相应的策略, 配置很容易。
3) HDFS存储扩展方便, 后期只需要添加文件存储节点, 实施方便。
4) HDFS可以作为统一的文件存储服务器, 提供给第三方软件厂商使用, 如蓝波的打印系统。这样也解决所有文件存储的问题。
5) 如果不采用HDFS作为文档存储服务的话, 如果将来上文件的话, 所有文件要进行加密存储, 各家采用的加密算法不一样, 将来程序修改维护、升级都会有大量的问题。
6) 总部已经在准备推进云计算和大数据分析, 应该也是采用HDFS技术, 在技术上710所也将会走在前面, 技术上也有继承性。
7) 使用HDFS, 主要从长远, 一体化解决文件存储以及将来大数据分析方面考虑的。
8) HDFS具有高容错性, 并且可以被部署在低价的硬件设备之上, 有利于高效利用所内比较紧张的硬件资源, 让不同时期采购的硬件设备协同工作。
5 建设意义
通过建设企业私有云存储平台, 整合了零散的知识存储, 提高了硬件的利用效率, 同时兼顾了数据存储扩展, 为将来进行高可靠性、高性能的云计算和大数据挖掘分析提供了基础支撑。
参考文献
[1]龚靖, 雷俊智, 龙洋.云存储解析.人民邮电出版社.
[2]中国云计算机网.网址:http://www.chinacloud.cn/default.aspx.
[3]张为民.云计算:深刻改变未来.科学出版社, 2009.
[4]左美云.国内外企业知识管理研究综述[J].工业企业管理.
【存储管理】推荐阅读:
存储管理技术10-02
资料存储管理论文07-12
存储器管理09-25
对象存储系统的管理09-12
数据存储与数据管理07-05
第4章存储管理答案08-18
散装水泥存储管理制度09-09
移动存储设备保密管理规定09-16
多级存储技术在媒体资产管理系统中的应用07-19
虚拟存储07-16