存储器管理

存储器管理（精选12篇）

存储器管理 篇1

1 AUTOSAR架构

AUTOSAR的架构划分为三个大的层次:顶层为应用层, 底层为微控制器硬件, 还有由AUTOSAR运行时环境 (RTE) 和一套完整的基础/环境软件栈 (AUTOSAR BSW) 组成的中间层。本论文所要讨论的内容位于基础/环境软件栈中存储器服务栈的存储服务层实现。

2存储服务

存储服务由NVRAM模块组成。该模块提供服务用于在汽车控制软件环境中完成数据向非易失性存储器中的存储和对存储于非易失性存储器中的数据进行管理维护。

2.1 基本存储对象

NVRAM模块中的存储区域称为基本存储对象, 包括存储于NVRAM中的NV block、存储于RAM区域中的RAM block、存储于NVRAM中只读的ROM block以及运行时位于RAM中的Administrative block。

2.2 管理类型

NVRAM模块共有3类管理类型, 功能由小到大依次为Native类型的组织结构, Redundant类型的组织结构, 和Dateset类型的组织结构。

2.3 功能需求

(1) NVRAM管理器启动时, 功能函数NvM_Init仅仅由ECU状态管理器调用。

当管理器关闭时, 由函数NvM_WriteAll请求调用关闭函数。

(2) NVM模块采用队列机制通过一个异步接口接收并行写入权限请求。

模块将根据其优先级串行处理所有请求。

(3) DEM负责对循环进行检测, 避免无限循环。

NVRAM模块的数据一致性检查通过NV块的循环冗余码校验计算来完成。

(4) 应用程序与NVRAM管理器之间的同步通信包括:

写请求, 读请求, 恢复默认请求, 多块读请求, 多块写请求, 取消操作, 控制块的修改。

3功能结构设计

3.1 模块启动初始化

功能描述:NvM模块提供接口完成模块上电初始化

预置条件:NvM模块所在的ECU上电, 模块处于未知状态

操作:NvM模块读取配置信息, 建立运行时数据结构, 初始化模块全局变量;

后置状态:NvM模块处于已经初始化状态, 完成模块全局变量的设置, 以及运行时数据结构的设置。

3.2 数据块操作及状态管理

非易失性存储管理器模块NvM提供服务接口用于获取操作结果状态以及提供服务接口给应用程序显式地标示RAM数据块的修改状态。

功能描述:NvM模块提供服务接口用于查询操作结果状态

预置条件:NvM模块经过了初始化

操作:根据参数获取相应数据块操作结果状态信息

后置状态:应用程序获取到相应的操作结果信息

3.3 多数据块读取

功能描述:ECU启动过程中ECU状态管理器模块EcuM通过ReadAll功能完成对数据的加载

预置条件:NvM模块经过初始化

操作:NvM模块根据配置从NV block或ROM block中读取数据加载到RAM block中, 并进行数据一致性完整性检查, 更新初始化管理数据信息

后置状态:NvM模块将配置中的标记为需要在启动过程中进行读取的数据块的数据从NV block或ROM block中或用由应用提供的数据加载到RAM block, 并完成相应的数据一致性完整性检查, 初始化设置数据块的管理数据信息。

3.4 多数据块写入

功能描述:ECU关闭过程中ECU状态管理器模块EcuM调用WriteAll功能将RAM数据块数据批量写入到非易失性存储器。

预置条件:NvM模块经过初始化

操作:NvM非易失性存储管理器模块将RAM数据块中需要自动保存的数据通过调用下层存储抽象层接口完成数据保存, 并更新数据一致性完整性信息。

后置状态:RAM数据块中需要自动保存的数据写入到非易失性存储器中, 并更新一致性完整性数据信息

3.5 模块初始化前拒绝一切服务请求

功能描述:NvM功能模块完成初始化操作前拒绝来自各个交互模块的所有服务请求

预置条件:NvM模块所在ECU上电, NvM模块还未经过初始化

操作:NvM拒绝来自所有交互模块的服务请求, 如果开发错误检查开关打开, 向DET上报错误

4结语

AUTOSAR概念的提出, 为汽车电子系统开发模式从ECU驱动向功能驱动和架构集成的转变奠定了技术和方法学基础。随着其规范的进一步完善和推广应用, 将使汽车电子系统的复杂度管理、组件重用、以及产品生命期软件修改、升级和更新变得相对容易, 且汽车电子系统的可扩展性、软件质量及可靠性亦将得到较大程度的提高。本文给出了符合AUTOSAR规范的存储方法设计开发方法和过程, 通过分析得出其具有可行性。

参考文献

[1]AUTOSAR Specification of RAM Test V1.3.0.AUTO-SAR GbR.2009.

[2]AUTOSAR Specification of NVRAM Manager V3.0.0.AUTOSAR GbR.2009.

[3]王安军, 蒋建春, 陈培然:符合AUTOSAR规范的底层驱动软件开发

存储器管理 篇2

存储管理软件

，

存储器管理 篇3

富士通（中国）信息系统有限公司营销总部平台业务企划事业部资深总监李帆就企业关键业务系统对数据存储的需求特点进行了总结，他归纳出四个特点：第一，需要更高的容量、更高的性能和I/O处理能力，即满足Scale-up（向上扩展）的要求；第二，高端存储要支持更大数据量和更高的性能，而且还要面向未来，架构上必须有所创新；第三，要确保数据的安全、可靠，高端存储不仅要有很高的IOPS性能，更重要的是它要保证业务的连续性、数据的安全和可靠，同时保证服务质量；第四，是整个系统的高度自动化和智能化。

“这是富士通对高端存储市场的理解，富士通也是按照这样的理解来设计其高端产品的。”李帆告诉《计算机世界》记者，富士通最新推出的高端存储系统FUJITSU Storage ETERNUS DX8700 S3 与 DX8900 S3也正是这样的产品。

据悉，富士通刚刚推出的全新ETERNUS DX8000 S3系列高端存储系统，能够为企业提供两位数的PB级存储能力，可提供多达24个控制器，最大支持14 PB超大存储容量。作为富士通的一款旗舰级存储系统产品，它提供实测多达每秒400万I/O操作（IOPS）的卓越存储性能，而且具备超大规模的可扩展性。同时，作为面向高端存储市场的产品，ETERNUS DX8700 S3 与ETERNUS DX8900 S3还是一个软硬件高度协调配合的存储系统，软件在其中扮演着重要的作用，从而使得其在数据保护、恢复上具有出色的表现。

比如，其中的Storage Cluster能实现同一个站点内数据的复制和集群、双活或是两地三中心之间的数据异地容灾。还有富士通独有的RAID技术，它对RAID6进行了扩展，可以利用一些磁盘的可用空间来实现快速的数据恢复，能比传统方式快1/2，极端情况下可以到达1/6。这些软硬件技术的结合保证了在存储层面业务系统可以安全无忧。

除了存储之外，富士通还在数据管理领域发力。与ETERNUS DX8700 S3 和ETERNUS DX8900 S3的发布同步，富士通还在中国市场上首次推出了一款基于开源数据库PostgreSQL的企业级数据库管理系统FUJITSU Enterprise Postgres，以及集成了该数据库系统的数据库一体机。其中，FUJITSU Enterprise Postgres数据库提供了100%的PostgreSQL兼容性，能够实现从开源平台到企业级数据库的快速迁移。同时集成了各种软件包、信息利用系统、开发工具和应用运行环境，使得企业能够轻松获得开源系统的高度灵活性。

而其数据库一体机集成了FUJITSU Enterprise Postgres，除了具有上述优点之外，还可以通过软硬件的整合来简化部署与维护。另外，为了满足市场多样化的需求，其数据库一体机除能采用常规的内部部署（On-Premise）方式之外，还提供了数据库即服务（DBaaS）的产品形式，以满足企业对极致性能、快速部署上线，以及按需、托管服务的需求。

“作为一个执着于存储研发的厂家，我们一直坚持把更好的存储产品或者好的架构提供给客户，并且保证其是一个真正可以用的企业级产品。”李帆表示。

浅谈对象存储系统的管理 篇4

一、对象存储技术的产生

对象 (Object) , 它是一种数据的逻辑组织形式, 是系统中数据存储的基本单位, 一个文件的数据及其属性组合就是一个对象, 提供与文件类似的访问方式, 例如打开、关闭、读/写等。对象存储起源于1995年卡内基·梅隆大学开始研究的NASD (Network-Attached Secure Disks) 项目, NASD将计算能力加入到单独的磁盘中, 包括网络、安全性和基本的空间管理功能。基本思想有四个方面:直接向客户端传输数据, 通过加密实现安全接口, 异步非临界通道 (即客户端的多数操作不需要向文件管理器发出同步请求) , 大小可变的数据对象。因为对象存储的可扩展性和易管理性得到了广泛的研究和进一步的挖掘, 从而使对象存储技术成为信息存储技术领域中的热点。

二、对象存储的组成

为满足日益增长的数据存储需求, 网络存储系统需要具备以下特点:1.较高的存储性能, 能满足大量服务器聚合访问的容量、性能和吞吐量的要求;2.能够提供安全的数据共享访问, 实现存储的负载均衡;3.提供较强的容错能力, 确保存储系统的可用性。而对象存储同时具有高速直接访问和数据共享的优势, 是一种具有高性能、高可靠性、扩平台以及安全的数据共享的存储体系结构。

对象存储系统的组成:

1.对象, 包含数据和数据属性, 是有语义变长结构的实体, 具有自组织特性。

2.基于对象的存储设备 (Object-Based Device, OSD) , 拥有自己的CPU、内存、网络和磁盘系统, 比常见的磁盘驱动器更加智能, 主要功能有: (1) 数据存储, 将对象数据储存在磁盘系统上, 客户端请求数据时用对象标识、偏移对数据读写。 (2) 智能分布, OSD用自身的CPU和内存优化数据分布, 智能的支持数据预取, 优化磁盘性能。 (3) 进行数据元数据的管理, 降低客户端的开销。

3.元数据服务器, 保存文件的元数据信息, 并协调运行环境中的集群服务器, 使它们能共享数据的同时保持缓存的一致性。

4.网络, 客户端、存储设备和元数据服务器连接在一起。

5.对象存储文件系统, 它将计算节点集成一起, 接受来自文件系统的命令和数据, 直接寻址对象存储设备。

三、对象存储系统的管理

当系统的存储容量、存储设备、服务器和网络设备越来越多时, 系统的维护和管理变得更为复杂, 存储系统的可用性和易用性将受到关注。为了减少人工管理和配置的时间, 系统要通过简单方便和智能的设计提供更高的管理性。对象存储系统的可管理性, 主要围绕虚拟化技术展开, 主要由三种技术:

(一) 基于主机的虚拟化技术

基于主机的虚拟化技术依赖于主机上的逻辑卷管理软件, 对分配给主机的物理磁盘虚拟化, 并进行统一管理和配置, 屏蔽了上层应用对物理磁盘的管理。代表作有Linux LVM虚拟卷软件, 主要在服务器实现虚拟存储, 通过服务器将镜像映射到外围存储设备上建立虚拟存储设备。

(二) 基于存储设备的虚拟化技术

将具有虚拟化功能的存储控制器和相应的设备接入到网络中, 由存储控制器统一udui服务器提供存储空间。但是基于存储设备虚拟存储技术多为硬件实现, 但对于多个厂商的产品无法共同使用, 所以在实际应用过程中存在局限性。

(三) 基于网络的虚拟化技术

基于网络的虚拟化存储技术支持多种网络和传输协议, 它将不同的生产厂商、不同设备品牌和不同连接方式的磁盘阵列组成一个虚拟的存储池, 然后按照应用系统的需求将虚拟存储池的存储空间映射给网络上的服务器上, 提供虚拟存储空间和数据传输通道, 也可以让客户机通过网络文件共享协议或者软件实现数据共享服务, 还可以根据变化随时调整。

理想的存储系统应该提供安全性、跨平台数据共享、高性能以及系统的可扩展性, 存储的要求使得数据管理和存储管理变得愈发复杂。对象存储中, 存储对象管理的目标是达到“自管理”层面的智能管理, 对象存储既具备了数据的内容、属性, 又具备处理数据的方法, 使存储对象具备感知环境特征的能力。对象存储主要用于构建大规模存储系统, 这对系统的可扩展性、数据并发性和消除访问瓶颈等方面有很高的要求, 因此对象存储系统一般采用了分布式元数据管理方式。分布式元数据管理可以将客户访问请求分散到各个元数据服务节点上, 提供并发访问和负载均衡以及系统的可用性。

对象存储同时具备了跨平台共享特性和高速直接访问, 并且对象存储还嵌入了存储管理功能, 使客户端能直接与对象存储设备端交互, 绕过元数据管理的中间环节潜在的管理瓶颈得到了缓解。通过使用基于网络的虚拟化技术, 为不同的厂商和用户提供了虚拟存储控制平台, 不仅促进了数据存储方式的变化也提升了数据的安全性, 使得对象存储称为了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

参考文献

[1]郑纬民, 舒继武.下一代分布式智能网络存储系统的发展趋势.世界电信, 2004

[2]谭毓安, 余锋.面向对象的网络存储技术.高性能计算技术2003

存储器管理 篇5

q. 1 : oracle immediately re-uses the space assigned to row-directory portion of the data block once you delete the corresponding rows.

1. true

2. false

2

q. 2 : which of the following three portions of a data block are collectively called as overhead.

1. table directory, row directory and row data

2. data block header, table diretory and free space

3. table directory, row directory and data blcok header

4. data block header, row data and row header

3

q. 3 : which portion of the data block contains table or index data

1. table directory

2. row directory

3. overhead

4. row data

4

q. 4 : what are the two space management parameters for controling the use of free space in a data block

1. initial and next

2. pctfree and pctused

3. tablespace and storage

4. free space cannot be controlled at block level

2

q. 5 : the maximum number of transactions that a block can support is

1. 100

2. 255

3. 1000

4. unlimited

存储器管理 篇6

关键词：教学资源 网络 分布 存储 管理

中图分类号：TP316 文献标识码：A 文章编号：1672-3791（2014）11（b）-0153-01

随着Internet的发展和计算机的普及，数字资源分布式存储管理技术有了明显的提高。为了适应用户不断增加的数据存储需求和系统规模的不断扩大，出现了网络型分布式存储技术。教学资源是一种异质媒体，在存储和使用过程中容易受到外来因素的影响。另外，随着教学数字化、信息化进程加快，校内的数字资源会不断地增加，原来的资源存储系统不堪重负，因此，要不断的加强。同时，各学校之间的教育资源交流有利于减少教育资源的重复开发，提高教育资源的利用率。为了实现上述目标，就要研究教学资源网络型分布式存储于管理的方法。

网格存储是一种比较新的资源存储方式。它是基于信息时代出现的网络基础设施而发展出来的，是网络技术的一种。这种存储技术以节点为基础，通过建立多个站点来完成网内的大量数据传输与存储工作。网格存储既可以在单个节点上进行数据存储与管理，也可以在数个节点之间实现数据传输。另外，网格存储的范围具有相对的封闭性，用户需要进行认证，而且不同的用户操作权限不同，所以网格存储的信息安全性和保密性比较高。目前，网格存储包括网络网格、计算网格和存储网格三种。网格存储可以實现各类资源的优化配置，保护资源的传输安全。因此，将网格存储技术应用于教学资源存储，有利于减少教学资源作为异质媒体易发生的在传输过程中的数据丢失等问题。

1 教学资源网络型分布式存储与管理的必要性

研究教学资源网络型分布式存储与管理是由于现实的需要，具有一定的必要性，具体体现在以下几个方面。

（1）研究教学资源网络型分布式存储与管理是避免教学资源存储与取用受到外来冲击的需要。教学资源是一种异质媒体，而异质媒体在传输过程中容易受到外界的干扰，导致数据丢失或传输超时。因此，通过建立一种网络型分布式存储管理系统，形成一种新的资源共享方式，可以有效地减少传输过程中出现问题的可能性。

（2）研究教学资源网络型分布式存储与管理是对校内数字资源进行管理与使用的需求。现在许多高校的图书馆都有数字资源库，资源库中包括各种各样的数字①资源。另外，我国的教育改革要求学校要推进教学信息化与数字化，学生与教师在教学过程中也不断创建新的数字资源，比如论文发表、学生作业等。长此以往，学校内的数字资源数量将会非常巨大。由于学校的数字资源的数量骤然增加，原来的资源存储系统不能适应这种情况，就很容易出现管理上的混乱。如果不将这些数字资源进行分类存储，创建一个稳定的环境进行长期保存，一方面容易造成这些资源的遗失，另一方面也不利于学生、教职工获取、使用教学资源。

（3）研究教学资源网络型分布式存储与管理是加强各教育机构之间的教育资源交流的需要。在过去，各校的教育资源都是存放在本校内的节点中，访问的范围有限，各校之间的数据交流较少。这样常常导致了教育资源的重复开发，造成教育资源的浪费。要促进教育改革，就要加强教育资源交流，提高教育的质量与效率。

2 教学资源网络型分布式存储和管理的实现

与过去的存储方式不同，网络型分布式存储并不是将数据存储在特定的节点上，而是将网内的零散存储设备连接起来，形成一个虚拟的存储设备。由于网络型分布式存储管理系统主要是通过网格存储技术将网内零散的存储设备连接起来实现存储目的的，这种存储管理方式充分利用了设备的空闲存储空间，使得存储系统的存储量和分布范围大为提高。教学资源网络型分布式存储和管理系统的建立具体步骤如下。

首先，布建广泛的AP站点，将不同的数字资源存储在不同的站点上，形成一个数字资源存储网络。从网络的整体功能出发，可以将网络分为三层，分别是应用层、服务层和资源层。应用层是提供给用户上传、下载与共享资源的一个虚拟空间。用户可以通过操作界面对自己空间里的资源进行管理，也可以通过服务接口，访问其他用户的资源。服务层主要是为客户提供网络资源服务的一个窗口。资源层由不同的系统节点以及节点之间的网络组成。随着计算机技术的不断发展，节点之间的距离在不断扩大。现实中，资源层可以根据地理位置分布存储节点，实现就近原则。另外，在站点之间建立起多个通道，提高站点间的信息传输效率，使系统具有高度的灵活性。

其次，每个站点配备硬盘，以存贮相应的数字资源。网络型分布式存储并不能像网络一样实行集中控制，因此要在每个站点配备硬盘，实现每个站点的独立控制。为了方便资源的管理，系统采取了树网结合的混合拓扑结构。一方面，树网结构有利于站点之间的联系，方便站点之间的互相查询。另一方面，树网结构减轻了存储中心的负担，维护了系统的稳定性。

最后，要建立起藉以辅助集中的课件存贮中心，目的在于缓冲部分的课件内容于本地硬盘上。课件存贮中心具有两个方面的功能，一方面是教学资源存储系统的网格中心节点，负责网内存储资源的调配工作。另一方面，课件存贮中心相当于一个缓存盘，将课件内容暂时存贮在中心，并利用校园数字化系统的离峰时间，例如半夜两点到五点的时间段进行定时的站点间的课件内容传递。这样有利于减少AP站点的存储负担，加快传输的速度。

3 结语

综上，随着教育信息化、数字化程度的加深，学校内的数字教育资源必然会不断地增加。而要适应这种情况的发生，就必然要建立起一个高效、灵活的数字资源存储、管理系统。网格是以网络技术和计算机技术为依托发展起来的一种资源存储方式。这种存储方式的性能比较高，安全性好，适合校内教学资源的存储使用。因此，该文以网格技术为基础，建立一个教学资源网络型分布式存储与管理系统。这个系统的建立，有利于加强学校间的教育资源交流，改变过去信息孤岛的状况，提高教育资源利用效率，避免资源浪费，同时也保证了信息在传输过程中的安全性与保密性。

参考文献

[1]李雪萍，张文华，胡春，等.基于网格存储、P2P分布式存储和云存储的比较研究[J].现代情报，2011，31（8）：38-43.

集群存储实现海量备播数据管理 篇7

以往,电视台节目生产与播出业务受传统技术模式的限制,播出系统备播工作流程主要是基于效率底下的节目磁带库作为近线存储,节目素材从本地上载到播出服务器,人工将播后素材再迁移到带库,无法直观地统一管理备播素材。

近年来,随着电视台网络化制播系统的建设发展,节目的播出业务模式发生了根本的改变,我国电视节目备播系统正在向网络化、文件化以及流程化的业务系统发展。而随着高标清同播业务需求,按照标清播出文件的码率为12Mb/s,高清播出文件的码率为50Mb/s来计算,每小时高标清同播的素材大小为62×3600/8=27.9GB。传统的在线存储空间早已不能满足日益增长的海量备播节目数据的存储需求,因此,建设集中的后台集群存储作为备播业务支撑是非常有必要的,可以更有效率地完成播出素材的上载工作,安全稳定地保障备播区域素材到播出服务器的迁移工作,方便直观地开展播后素材管理以及重播、重审工作。

但是海量的备播数据爆炸式的增长向集中的集群存储数据管理方式提出了挑战,一方面要应对数据容量的不断扩充,另一方面需要确保所有有效数据的高安全性和可管理性。

2 集群存储平台介绍

2.1 集群基础架构

集群存储平台系统主要由元数据服务器集群、存储服务器集群两大部分组成。元数据服务器集群管理文件系统的元数据,管理整个存储系统的命名空间,对外提供单一的系统映像。存储服务器集群存储用户的实际数据,是整个集群存储系统的存储资源提供者。整个集群按大模块分类可以分为以下三个部分。

元数据服务器(Metadata Server,简称MDS)。元数据是集群存储的核心,文件的地址、基本属性、列表、一致性维护、负载均衡和副本等信息都存储在元数据服务器上,读写文件时能提供高效的信息随机访问。

存储服务器节点(Data Server)。存储节点仅提供单纯的存储服务,功能较简单,应用客户端根据元数据反馈给它的设备信息和偏移信息直接和存储节点建立通信存取数据。

应用客户端(Client)。此模块安装在需要访问集群存储的服务器或PC上,负责提供统一视图的存储空间给服务器(Windows服务器看到如同新增一个本地硬盘,Linux新增一个挂载目录),同时负责跟元数据服务器交互元数据属性信息,跟存储节点交互数据流。

2.2 元数据工作原理

(1)为了提高元数据的安全性,元数据服务器总是成对出现的,每台元数据服务器上存放的元数据信息metadata在设计时又被拆分为metadatal (M1)和metadata2 (M2)两部分。(2)元数据服务器MDS2提供M1的服务、M2的备份;元数据服务器MDS1提供M2的服务、M1的备份。(3)元数据服务器MDS1既提供M1的服务,又提供M2的服务;元数据服务器MDS2作为备份服务器。(4)元数据服务器MDS2既提供M1的服务,又提供M2的服务;元数据服务器MDS1作为备份服务器。

默认情况下,元数据服务器1提供metadata1的服务,元数据服务器2提供metadata2的服务,假如元数据服务器2异常离线或服务关闭,用户在访问客户端(客户端有读/写操作)时,metadata2的服务会自动切换到元数据服务器1上。元数据服务器2启动恢复服务后,元数据服务器1上的数据会自动同步到元数据服务器2上,保证了主备元数据的一致性和冗余性。

3 备播系统采用集群存储优势

3.1 系统容量扩展

由于备播节目数据量在非结构化大数据时代背景下指数增长,未来系统所需容量难以预估,初步部署时可预估两年内容量进行部署。集群系统支持ScaleOut的扩展方式,保证整个系统的扩展非常平滑,任何存储节点可以在线地添加和删除,相应地可以在线扩容和缩小容量。添加或删除节点后,存储节点上的数据会均匀分布到每一个节点。

3.2 数据读写性能

集群存储可以使用全台网备播系统现有的以太网环境,总带宽达到2.2GB/s以上,部署万兆+千兆工作站及服务器的高速交换网络。单存储节点的64M分配机制可保证同时多硬盘的读写,加上分布式文件调度的多节点同时读写,使所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用,这样集群存储系统的聚合带宽由多台存储服务器上的IO带宽相加而成,从而克服了NAS的单一出口点所造成性能瓶颈,可以满足高速度素材送播。

3.3 数据安全性

存储器管理 篇8

在这一千余项改进中，存储管理技术的革新占有重要地位。SuperFetch、ReadyBoost及ReadyDrive技术，磁盘I/O优先化技术，Bit Locker技术等都是从Vista开始采用的、重要的存储管理技术。

1 Vista存储管理新技术分析

(1）使用SuperFetch、ReadyBoost、ReadyDrive技术加速电脑

SuperFetch是一个创新的内存管理器，用于分析随时间变化的计算机使用模式，以优化保存在内存中的数据，提高系统工作效率。具体地说，SuperFetch可以记录或者说“学习”用户对于操作系统和应用程序在每一天中的使用时段、操作流程。经过一段时间的“学习”之后，系统在用户执行这些常规操作之前，将操作相关的文件信息加载到物理内存的备用页面列表中去，当这种操作启动时，系统可直接从内存备用页表中调用文件数据，而无需从硬盘载入，于是，这种经常性工作得以提速，系统工作效率得以提高。

SuperFetch不但继承了Windows XP预取技术的全部优点，还进一步具备了监视程序运行状况、运行时间等功能。但是SuperFetch要提前加载程序信息至内存备用页，增加了系统对内存的需求。ReadyBoost技术就是为克服系统内存不足而设计的。

ReadyBoost技术使系统可以采用外部存储器件(如闪盘、SD/CF卡等电子器件)为缓存，在内存与硬盘之间建立闪存缓冲区，这个缓冲区能够作为SuperFetch内存备用区。尽管它的读写速度不如主内存，但在随机存取时比机械式硬盘的存取速度要快得多。当Vista系统检测到插入USB存储设备时，若系统允许“自动播放”则自动播放对话框被弹出，见图1所示(与XP不同的是该对话框提供了“加速我的系统”选项)，选择“加速我的系统”，进入ReadyBoost属性对话框，见图2，通过该属性对话框即可完成系统加速设置。

微软声称：用于ReadyBoost的USB存储设备的容量要达到计算机上安装的随机存取内存(RAM)容量的一至三倍;用于Ready Boost的USB存储设备空闲读写速度最低要求为2.5MB/s(随机读4KB以上文件)、1.75MB/s(随机写512KB以上文件)。当今主流的、正规厂家所产闪存设备已经达到或超过了此要求。

ReadyBoost技术不仅克服了某些计算机扩充内存的不便和因扩充内存所需的花费，而且实际上也增加了USB存储设备的使用寿命[2,3]。

ReadyDrive技术则使系统支持混合式磁盘驱动器(hybrid hard disk drive,H-HDD)。H-HDD相比传统磁盘增加了较大容量的非易失快闪存储芯片(nonvolatile cache,NV cache)作为缓存(见图3)。

ReadyDrive技术能够巧妙利用H-HDD硬盘的NV cache改善系统性能。当系统需要H-HDD提供随机I/O操作服务，在数据量较少的情况下，读写H-HDD时，可以将随机读写数据缓存到盘内NV Cache中，读写速度较传统硬盘可以提高10倍。

ReadyDrive技术使带有H-HDD的系统引导速度更快。系统在关闭前，可以将启动所需要的一些数据读入到H-HDD的NV cache中去;系统重新启动时，从NV cache中读入这些数据比从硬盘上读入要快得多。

ReadyDrive技术延长了笔记本电脑的电池的使用时间和寿命。读写H-HDD的NV cache,勿需旋转HDD盘片，可以节省系统的电池能量，延长电池和磁盘驱动器的使用寿命，提高笔记本电脑的续航能力[4]。

考虑到固态硬盘技术的发展，微软公司将ReadyDrive技术在Windows 7中演变成了对固态硬盘SSD的有效支持。

(2）设计磁盘I/O优先级，克服磁盘I/O瓶颈，提高系统响应能力

多任务的计算机操作系统给用户带来了方便，但是也带来了资源的争夺。用户打开多个应用程序，执行多种工作任务，操作系统自动执行“计划任务”等后台程序。各类应用程序都要使用CPU，读写磁盘，占用内存，争夺资源。在CPU、内存、磁盘这些主要的争夺资源中，磁盘I/O往往不能满足需求。近十年来，CPU速度越来越快，核心越来越多，CPU的计算速度不成问题;而内存容量和速度也增加很快，尤其是速度。若内存容量不足，Vista采用前已述及的ReadyBoost技术使用USB存储设备替代部分内存可以解决。但是，机械式磁盘设备的性能提升没有CPU和内存组件那么显著。当今流行的机械式磁盘设备的I/O带宽比内存的I/O带宽要低一个数量级，在传输低于4KB的小文件时，速度还要下降!磁盘I/O成了瓶颈，如何解决?

Vista一方面使用ReadyDrive技术实现支持混合式磁盘，提高I/O带宽，另一方面对磁盘I/O请求加以分类，设计优先级，以满足当前用户较紧迫的I/O请求，提高系统响应能力，缓解I/O瓶颈。Vista根据I/O请求模式和对象，设计了I/O层次优先化策略，I/O空闲优先化策略及I/O带宽预留优先化策略，满足系统不同层次、不同时间段对磁盘I/O的请求。例如：当病毒扫描程序在后台运行时，此时用户启动Word字表处理程序。系统会自动将Word程序对磁盘的I/O请求设为正常优先级，而将病毒扫描程序设为低优先级，及时响应了用户请求。这种磁盘I/O的优先级在系统资源监视器中可以查看，Windwos 7已将正常优先级改称为标准优先级[5]。

(3）使用Bit Locker和改进后的加密文件系统EFS，提高数据存储安全性

Bit Locker又称为安全启动,它用来加密Windows操作系统卷。该功能可防止未授权用户突破丢失或者失窃计算机上的Windows文件。

Bit Locker使用TPM(Trusted Platform Module，受信任的平台模块，一个内置在计算机中的微芯片)存储加密信息，如加密密钥。存储在TPM上的信息可以避免外部软件攻击和物理盗窃。和以往的软件登录密码相比，它集成硬件和软件保护机制于一身，因此极大提高了安全性能。

Bit Locker还可以在系统没有TPM的情况下使用。此时，应调整系统组策略，更改Bit Locker安装向导的默认行为，或使用脚本配置Bit Locker，将所需加密密钥存储在USB闪存驱动器中。解锁存储在卷上的数据必须提供该驱动器。

为了增强安全性，还可以将TPM与用户输入的PIN或存储在USB闪存驱动器上的启动密钥组合使用，Bit Locker通过结合使用TPM和启动密钥(来自USB闪存驱动器)，来获取Bit Locker加密卷的访问权限[6]。

Vista中的EFS与XP相比，得以改进。Vista下的EFS更简便易用，而且具备全加密功能。Vista下的加密和解除加密操作在文件或文件夹的高级属性对话框可以解决。至于全加密，是指Vista克服了在XP中仅对数据文件进行加密的局限性，能对系统数据加密。例如，Vista能对系统产生的临时文件和虚拟内存的页面文件等可能包括用户重要信息的文件进行加密。

EFS加密各类文件数据，Bit Loker加密驱动器卷，此二者配合，可满足各类用户对数据存储安全性保障需求。不过，Bit Locker技术仅在Vista的Ultimate(旗舰版)和Enterprise(企业版)得以采用，而EFS文件系统在各版本中都可以使用，但对于Home Basic(家庭基础版)和Home Premium(家庭高级版)需要命令行程序Cipher.exe配合，虽然操作不简便，但相比XP的Home Edition不支持EFS还是有进步。

Bit Locker技术在Windows 7中操作起来更简便。

2 Vista的许多技术是革命性的，研究Vista具有十分重要的意义

虽然，微软推出了新一代的Windows 7,Vista再也难以成为主流操作系统，但是，作为微软投资了最为巨大的人力和财力，费时近10年开发的一个重量级操作系统，它的许多技术是革命性。本文所阐述的SuperFetch、ReadyBoost、ReadyDrive、磁盘I/O优先级调度、Bit Locker等存储领域技术就是很好的实例。不仅如此，这些革命性的技术大多在Windows 7中被继承和发展[7]。对比Vista和Windows 7我们会发现更多，不用说Vista的实用性，单是研究Vista就具有十分重要的意义。

摘要：微软在Vista中采用了较多的存储管理新技术。使用SuperFetch、ReadyBoost、ReadyDrive三大存储管理新技术加速系统,提升系统性能。设计磁盘I/O优先级策略,区别对待磁盘I/O请求,提高系统响应能力,克服磁盘I/O瓶颈。利用BitLocker磁盘驱动器加密技术,配合改良的加密文件系统EFS,满足磁盘数据存储的安全性需求。Vista采用了许多类似的新技术,而且大多数技术在Windows7中得到了继承和发展,研究Vista具有十分重要的意义。

关键词：SuperFetch,ReadyBoost,ReadyDrive,I/O优先化,BitLocker

参考文献

[1]Cbsi中国.Windows Vista新闻发布会现场实录[EB/OL].电脑之家,2007-01-30,http://article.pchome.net/content-160241-1.html.

[2]Ed Bott,Carl Siechert,and Craig Stinson周靖译.Windows Vista官方攻略[M].清华大学出版社,2008.

[3]Microsoft Corporation.Windows PC Accelerators:Performance Technol-ogy for Windows Vista[S/OL],WHDC Home,2006-12.http://www.microsoft.com/whdc/system/sysperf/accelerator.mspx.

[4]Microsoft Corporation.Windows ReadyDriveTMand Hybrid Hard DiskDrives[S/OL],WHDCHome,2006-12,http://www.microsoft.com/whdc/2006.

[5]Microsoft Corporation.I/O Prioritization in Windows Vista[S/OL],WHDCHome,2006-5-10 http://www.microsoft.com/china/whdc/driver/priorityio.mspx.

[6]褚诚云.Windows Vista安全特性分析:改进和局限(下)[J].程序员,2007(3):110-113.

剖析Unix(V6)的存储管理 篇9

1 分页地址映射

Unix存储管理的硬件基础是PDP-11存储管理单元。主要包括两组活动页寄存器,分别用于核心态和用户态。每个活动页寄存器又由一对页地址寄存器(PAR)和页说明寄存器(PDR)组成。活动页寄存器组为现运行进程实施虚、实地址映照。

1.1 虚地址空间

进程在核心态下虚地址空间的分配如图1(a)所示。其中,第0~5页(即前6页)存放Unix代码。第7页,也就是最后一页是输入、输出页。这7页(0~5、7)对所有进程皆相同。第6页存放现运行的ppda区,其实际长度是1024字节,随现运行进程不同而变化。

用户态下进程图像在逻辑上可以分成三段:共享正文段(不可修改段)、数据段以及用户栈段。它们在虚地址空间中的位置总是共享正文段第一、数据段第二、栈段最后,而且栈段地址是由最高地址向低地址方向延伸。每段皆占用整数页,例如:若共享正文段的实际长度为2.5页,则在虚地址空间中占用3页;若数据段实际长度为2.25页,则在虚地址空间中也占3页;如果栈段为0.5页,则在虚地址空间中占1页。空间的分配如图1(b)所示。

1.2 内存中进程图像的分布

虚地址空间中的上述分配关系不能照搬到物理地址空间中去。实际上,在内存地址空间中各个进程图像分布如图2所示。

其中,Unix代码总是驻在内存从0地址开始的低地址区,而输入/输出页则总是占有物理地址空间的最后一页(4kw)。各个进程非常驻内存部分的图像不论在内存还是在外存,除共享正文段外,ppda、数据段和用户栈段相互紧靠占用连续存储区。共享正文段则可能被多个进程共享。

1.3 虚、实地址映照

现运行进程虚、实地址空间的映照关系用内存管理寄存器组建立。核心态下起作用的页地址寄存器PAR在Unix中被称为KISA(KISA0~KISA7),页说明寄存器PDR被称为KISD(KISD0~KISD7)。在用户态下起作用的则分别被称为UISA(UISA0~UISA7)和UISD(UISD0~UISD7)。

1.3.1 核心态虚、实地址映照

核心态第0~5页和第7页,即操作系统代码部分和输入、输出页,在物理地址空间中的位置是固定的,不随现运行进程的变化而变化。核心态第6页随现运行进程不同而变化,它总是指向现运行进程的ppda区。这是Unix操作系统区别现运行进程和其它处于运行状态(SRUN)且图像在内存中进程的唯一标志。

1.3.2 用户态虚、实地址映照

用户态下虚、实地址的映照情况与核心态不同。以图1为示例,则UI-SA0~UISA7、UISD0~UISD7的值如图3所示。图中数字皆以内存字符块为单位。

1.3.3 相对虚、实地址映照表

处理机中只有一组UISA、UISD寄存器,只能为现运行进程建立虚、实地址映照关系,而其它进程虚、实地址映照是靠进程扩充控制块user结构中的两个整型数组u-uisa[16]、u-uisd[16]来实现。它们被用来存放该进程的虚、实地址空间映照表。数组的大小取16是为了能适应指令和数据空间分开的情况。这种映照表的u-uisa部分和UISA有所区别,它是相对于起始地址而构成的,即假设ta、paddr皆为0而构成的,所以称此为相对映照表。仍以图3中的进程为例,其相对映照表的u-uisa如图4所示。它与图3中UISA的区别是:ta代换为0,da代换为16。u-uisd则与UISD相同。

当进程切换调度程序将某进程选为现运行进程时,根据其uuisa以及共享正文段起始地址xcaddr、ppda区首址p-addr构成虚、实地址映照表,并送入UISA寄存器组。u-uisd则不作任何变动直接送入UISD寄存器组。

相对虚、实地址映照表的构成由程序estabur(nt,nd,ns,sep)来实现。其中,参数nt为共享正文段长度,nd为数据段长度,ns为栈段长度,sep是指令空间和数据空间是否分开的标记。

按照相对虚、实地址映照表形成虚、实地址映照表的过程是由Unix系统中程序sureg()来实现的。

2 分段空间管理

2.1 可用存储区表

Unix进程图像或驻在内存中或驻在盘交换区上,这两部分存储资源的分配和释放使用同一算法。但是为了对它们分别进行管理,系统设置了内存可用存储区表和盘交换区可用存储区表。分别是:

数组中每两个元素构成一表目项,所以它们各包含50个表目项。表目项数据结构如下:

所有的map结构构成一个结构数组,已分的map结构按其所记录的空闲区的起始地址从小到大的顺序排序。

2.2 存储区分配算法

Unix按照进程对存储区长度的要求,采用首次适应法(first fit)进行分配。实施这一分配算法的程序是malloc(mp,size)。其中,mp是coremap或swapmap;size是要求分配的存储区长度。

2.3 存储区的释放

某存储区被释放时,它和前后相邻空闲区的关系可能有四种(如图5所示)。针对这四种情况,对可用存储区表作相应修改。

(1)释放存储区和相邻前空闲区紧相连接,但和相邻后空闲区之间有正在使用的存储区(如图5(a))。于是,前空闲区和释放区合并构成了一块新可用存储区,但其首址仍为前空闲区首址。为此修改可用存储区表中前项长度,也就是将原前项长度加上释放区长度。

(2)释放区和相邻前、后空闲区皆紧相连接(如图5(b))。它们合并构成一块可用存储区,为此对可用存储区表作下述处理:

(1)对原前项长度加释放区长度和原后项长度构成新前项长度。

(2)在表中取消后项,即将后项以下各表目项顺次上移一个表目项位置。

(3)释放区和相邻后空闲区紧相连接,和相邻前空闲区之间则夹有正在使用的存储区(如图5(c))。于是,释放区和后空闲区构成一块可用区,长度是释放区长度和后空闲区长度之和;首址是释放区的起始地址。据此修改后项的长度和首址。

(4)释放区与前、后空闲区皆不相连接(如图5(d))。为此要在可用存储区表中为释放区构成新表目项,也就是要将后项及以下各表目项都下移一项,然后在原后项位置填入释放区的长度和首地址。

实施这一释放算法的程序是mfree(mp,size,aa),它按被释放存储区的长度和起始地址对相应可用存储区表进行处理。其中,mp是coremap或swapmap;size是被释放存储区的长度;aa是被释放区的起始地址。

3 结束语

Unix(V6)存储管理的核心思路是:分页地址映射,分段空间管理。存储管理所使用的数据结构和算法都比较简单,软、硬件之间的配合非常贴切。其不足之处主要有两个方面:第一,进程用户态虚地址空间只有32kw;第二,进程图像基本上作为一个整体驻在内存或外存上,但当进程占用处理机运行时,往往只存访其图像的一部分。

摘要：根据Unix(V6)公开的源代码,详细地分析了Unix(V6)的存储管理技术,及其具体实现过程。

关键词：Unix,存储管理,地址映射

参考文献

[1]John Lions著.莱昂氏UNIX源代码分析[M].尤晋元,译.北京:机械工业出版社,2004.

移动存储介质的保密管理工作 篇10

看来仅仅通过制度的约束而不采取有效的技术手段是很难达到预期的效果, 如何能够既有效的控制单位移动存储介质的管理, 防止泄密案件的发生, 又不影响单位信息化效率的提高, 笔者认为应从以下几个方面入手。

一、加强宣传教育, 增强保密意识

要积极开展计算机信息保密宣传教育活动, 要定期举办保密知识、保密法规制度、保密技术常识、案例教育等讲座。要通过保密教育, 使干部职工多了解一些计算机信息技术快速发展时期的泄密途径和原因, 认识到目前我行的计算机信息保密现状不容乐观, 一些泄密隐患严重存在, 特别是移动存储介质的管控、互联网与笔记本电脑的设防等问题突出, 终端的管理和技术防范措施也不到位, 保密形式十分严峻。使干部职工在思想上筑牢严守国家秘密的思想防线, 在行为上提高保密知识水平和技能, 增强防范失泄密的实际能力。要将总行保密委员会办公室新近摘编的“十个不得”和“八项禁令”传达至全体干部职工, 人手一份, 务必严格遵守。

二、完善现有制度, 加大监管力度

要尽快修改或废止内容过时的规章制度, 对管理要求模糊的工作环节要尽快明确具体管理措施, 对制度空白的工作领域要尽快出台相应规定, 要在总行、分行近期下发的《中国人民银行涉密移动存储介质管理暂行规定》和《中国人民银行济南分行计算机保密管理暂行办法》基础上, 结合自身工作实际, 制定实施细则。要确保制度的制定科学、可行, 监督的措施合理、有效。为监督、检查移动存储介质是否在涉密和非涉密计算机之间混用, 可以开发一些小的检测工具, 通过U盘设备序列号和计算机设备序列号即可查出一台计算机通过USB接口插入的所有U盘, 也可查出一个U盘所插入过的计算机, 最好是再有一个U盘设备序列号匹配检测工具, 可以方便、快速检测出一台计算机中记录过的U盘设备序列号是否与该单位涉密移动存储介质登记表中的U盘设备序列号相匹配。可以借助于技术手段促使各项制度要求和管理措施落到实处, 收到实效。

三、采取必要的技术支撑手段防止移动存储介质交叉混用

由于人民银行内联网的特殊要求, 建议总行研制开发USB移动存储介质使用管理系统, 在全国推广使用。科技管理人员利用移动介质管理系统, 可以从技术层面落实针对计算机移动存储设备的管理策略, 对U盘进行分级安全管理, 即保留U盘使用的方便性, 又可预防U盘病毒传播和内部信息泄漏。系统要能实现以下几个主要功能。

(一) 实现外部U盘进入内联网无法使用, 立刻自动阻断。

(二) 经过单位授权的U盘, 利用系统包含的安全U盘转换模块进行转换后, 可以实现。

1.单位内部专用的U盘拿到外部无法使用;

2.U盘绑定单机, 在其他电脑均无法打开;

3.特殊需要时, 可以解除U盘锁定, 与外单位涉密电脑交互文件。

(三) 可以实现单位内部U盘按照部门区分使用, 避免单位涉密级别不同的网络间混合使用, 分组以计算机硬盘为参照物, 可以按照单位部门, 也可按照涉密级别进行有效的分组管理。

(四) 对于非法用户的使用, 中心阻断后, 客户端收到报警信息, 同时中心显示报警以及违规记录。

(五) 可以实现在服务器端对网内某一台电脑上连接的USB设备现场远程阻断。

(六) 产品支持一切具有存储功能的USB设备 (包括手机卡, MP3, USB打印机等) , 同时具有自动识别功能, 对于常规的不具有存储功能的USB设备 (比如USB鼠标、键盘等) 不做任何设置, 即可正常使用。

(七) 支持分级管理。

(八) 客户端无法自行卸载, 管理员方有此权利。

四、转变使用观念, 利用网络资源, 减少U盘的使用量

防止移动存储介质泄密的另一条有效途径就是尽可能地不用U盘或少用U盘, 但U盘、移动硬盘、手机存储、数码相机、MP3/MP4、各种CF/MD/SD卡/各类Flash Disk等移动存储介质 (简称U盘) 由于使用灵活、方便, 被很多人用作传递数据的载体, 而且随着其储存容量越来越大, 体积越来越小, 又被很多人当作数据双备份的主要载体。在人民银行内联网上传递数据, 完全不需要借助U盘, 只需要每人建立一个个人邮箱即可实现。至于数据备份可以在邮件服务器上加挂一个大容量的硬盘, 为每个人开辟一存储空间即可实现个人数据的双备份。所以, 在内联网上的计算机之间的数据传递和数据备份完全可以不使用U盘, 而只需要改善内联网运行环境, 扩充邮件服务器的容量。具体做法为:

(一) 可以使用NOTES邮件服务器作为文件交流的重要工具。以往我们的NOTES服务器只开设了少量的用户, 无法满足全行所有员工的需要, 这主要是因为服务器硬件条件的限制, 现今, 随着服务器的不断升级, 已经完全能够以较低的成本为全行职工设立邮箱, 满足大家使用NOTES邮箱进行文件交流的目的。

(二) 使用大硬盘服务器, 为全行所有职工建立专用的网络数据备份中心。以往, U盘的数据备份不仅容易造成各种安全隐患, 而且U盘中的数据文件也常常因为硬件的原因造成重要数据的丢失, 而专用的网络备份中心完全可以解决这个问题, 设想一下, 全行每个职工在网络上都有自己的硬盘空间, 由科技科在机房内对其统一维护, 不仅可靠, 而且安全, 能充分的满足行内职工对于个人工作数据备份的需求。

存储器大战 篇11

首先，三星公司宣布如今它在批量生产3D垂直结构NAND（V-NAND）芯片；随后，新兴公司Crossbar表示，它已开发出了电阻式随机访问存储器（RRAM）芯片的原型产品。

3D NAND拿来如今做在水平面上的闪存后，将它转向一侧。之后，就像微型存储器摩天大楼一样，并排堆放，形成密度大大提高的芯片，其写入性能是如今2D即平面结构NAND的2倍，可靠性更是后者的10倍。

制造将数据存储在平面结构NAND上的硅闪存单元的最密集工艺介于10～19nm这个尺寸之间。知道这个尺寸有多小吗？人的头发比采用25nm工艺技术制造的NAND闪存还要粗3000倍，1英寸相当于2500万nm。

NAND闪存使用晶体管或捕获电荷（又叫电荷捕获闪存）技术，将一位数据存储在一个硅单元中，而RRAM使用极小的导电细丝来连接硅层，从而表示一位数据：数字0或1。

在RRAM中，最上面一层硝酸硅形成一个导电电极，而下面一层是不导电的二氧化硅。两个电极之间施加编程电压后，上面那个电极的纳米粒子就会在交换材料里面扩散，形成细丝；细丝接触下面那个电极时，存储器单元就可以导电。两个电极之间施加反向电压后，丝片就会被推回去，随之消失。这时存储器单元不导电。

哪种存储器技术是赢家

这两种存储器中哪一种会在5年后称霸非易失性存储器市场，这是个未知数，因为专家们对于3D（或可堆叠式）NAND闪存能够让目前NAND闪存技术的寿命延长多少年莫衷一是。有些人表示，3D NAND闪存会超越三星目前的24层，将来会增加到100多层；另一些人则认为，这种存储器的寿命只有两三代，这意味着等它达到大概64层后，就会面临瓶颈。

相比之下，RRAM一开始就具有优势。它的密度大于NAND，有更高的性能和更久的耐用性。这意味着，RRAM能够使用大小只有目前NAND闪存代工厂所用尺寸一半的硅晶片。据Crossbar首席执行官乔治·米纳西安（George Minassian）声称，最棒的是，现有的闪存代工厂不需要改变设备就能生产RRAM。

米纳西安说：“工厂想引入这项技术，我们计划大概需要花费几百万美元的技术成本。这与引入一种新的NAND闪存节点的成本大致一样高，比如从65nm节点改为45nm节点。”

Crossbar声称，其RRAM技术的延迟时间仅为30ns。三星的顶级闪存产品840 Pro SSD其延迟时间长达0.057ms。1ns是1/10亿s——也就是说要快100万倍。

据米纳西安声称，RRAM本身经得住10000次写入擦除周期，这比典型的消费级多层单元存储（MLC）NAND闪存如今的周期要长一点——这还没有任何纠错码（ECC）。ECC用来将现在的MLC NAND闪存升级到企业级闪存卡和固态硬盘（SSD）。

实际上，Crossbar预计两年后RRAM芯片有望批量生产。米纳西安表示，他公司已经与汽车行业的一家闪存代工厂签署了一项协议，以生产这种芯片。他还表示与一家规模大得多的代工厂眼看就要签署协议。

RRAM和3D NAND都预示着存储器性能和存储容量将迎来巨大的飞跃。较之今天的平面结构NAND闪存，Crossbar的RRAM有望提供20倍的写入性能和10倍的耐用性。米纳西安表示，与3D NAND一样，RRAM存储器芯片也将堆叠起来，1TB模块的大小相当于存储容量相似的NAND闪存模块的一半。

3D NAND提供了更大的容量。每添加一层NAND闪存“摩天大楼”，容量就会翻番。三星表示，其V-NAND最初的存储容量只从128GB到1TB，用于嵌入式系统和SSD，具体要看客户需求。所以，三星似乎倾向于通过降低生产成本（每位价格），而不是提高存储容量来推动V-NAND的销量。

Crossbar最初的RRAM芯片也能够存储多达1TB数据，但是它在比一枚邮票还小的芯片上做到这一点。该存储量相当于在200mm2的表面上存放长达250小时的高清电影。

说到性能，RRAM带来了另一个优势。如今，NAND闪存芯片的写入速度约7MB/s。SSD和闪存卡通过并行使用多块芯片，可以达到400MB/s的速度。

米纳西安表示，RRAM芯片声称拥有140MB/s的写入速度，而且不用并行连接多块芯片就能达到。

3D NAND和RRAM都声称有望显著提升性能，这意味着存储设备将不再是现在这样的系统瓶颈。在将来，瓶颈将是总线，即计算机部件之间的通信层。换句话说，如果NAND闪存是时速100 km/hr的汽车，RRAM是200 km/hr的汽车，要是它们行驶的道路有限速50 km/hr的弯道，它们能跑得多快并不重要。

据Crossbar声称，除了性能外，RRAM存储数据所用的耗电量只有NAND闪存的一小部分，这意味着它有助于将电池续航时间延长到“数周、数月乃至数年”。

比如说，NAND闪存要求大约20V的电压才能将一位数据写入到硅芯片中。RRAM仅需3V电压就能完成写入操作。

并非只有Crossbar一家公司在研发RRAM。惠普和松下都已开发出了各自版本的电阻式存储器，但是据Objective Analysis公司的首席分析师吉姆·汉迪（Jim Handy）声称，Crossbar比其他研发公司有更巨大的领先优势。

他声称：这项技术一个非常大的优势在于，选择元件做入到存储单元中。而其他RRAM不是这样，所以就得植入外置元件（二极管或晶体管）。这个方面吸引了大量的研发资金，但是对其他许多技术而言仍是个棘手问题。

汉迪表示，RRAM替代技术市场很有限，因为闪存制造商往往使用效果还行而成本最低的技术，尽管其他技术提供了更好的性能。

nlc202309011553

RRAM有优势

RRAM不是存储器领域惟一有希望的进展。将来有望与NAND和DRAM竞争的其他种类的非易失性存储器包括：Everspin公司的磁阻式RAM（MRAM）和相变存储器（PCM），后者则是三星和美光力推的一种存储器。另外还有赛道存储器（Racetrack Memory）、石墨烯存储器（Graphene Memory）和惠普自主开发的RRAM：忆阻器（Memristor）。

格雷格里·王（Gregory Wong）是调研公司Forward Insights的创始人兼首席分析师，他认为Crossbar的RRAM是一款可行的产品，有一天会叫板NAND，“我所说的NAND还意味着3D NAND。”他说。

赛道存储器至少5年后才会变成可行的产品。王说：“眼下，这项技术看起来像是值得关注的概念。它最终会不会商业化，那是很遥远的事情。”

王继续说：“至于相变存储器，现在已有一些产品。但问题是，它适合存储器市场的哪个领域？眼下，它是NOR存储器的替代品。它的性能和耐用性像NOR存储器，而不是像NAND。”

他说：“其他厂商在大肆宣传RRAM时，一般会受到怀疑，但是我们看了Crossbar及其技术后，却觉得值得关注。”

汉迪也认为，采用硅制造的存储器（比如Crossbar的RRAM）会继续称霸存储器市场，因为代工厂已经拥有使用硅的生产装备，而硅是一种成本低廉的材料。

汉迪说：“在很长时间内，硅较之更新颖的材料会继续保持主导地位。像Crossbar的这些技术会扮演小众角色，直到3D NAND气数已尽。目前看来，在2D NAND消亡后，3D NAND还有两三代的寿命，而2D NAND工艺再过两三代就将寿终正寝。”

NAND闪存工艺技术一直以来，每隔12个月左右就取得重大进展。比如说，英特尔将由生产19nm工艺节点改为生产14nm节点。这意味着，19nm工艺两三年后可能会被更新换代。

不过不是所有人都认为3D NAND的寿命如此有限。吉尔·李（Gill Lee）是应用材料公司（Applied Materials）的高级主管兼技术骨干。他认为，3D NAND可能会发展到深度超过100层。应用材料公司专业提供半导体行业生产NAND闪存和RRAM所需的设备。他说：“改用3D让NAND技术得以继续相应缩减尺寸。它能走多远？我认为它能走得相当远。”

李表示，他已经看到过代工厂准备将3D NAND发展到128对或128层的路线图。李表示，第一代3D NAND深24层，紧跟在不到20nm节点2D NAND的后面，但由于密度更高，3D NAND有望将生产存储器的每位成本降低30%左右。

他补充说，至于消费者会看到密度更大的NAND闪存，还是代工厂仅仅会继续生产成本较低、容量相同的存储器，那将取决于这个行业。

-沈建苗编译

大坝可视化数据的存储与管理 篇12

三十年来, 国内外就大坝观测资料的分析已进行了多方面的研究, 大坝观测资料分析产生的数据量巨大, 虽然目前已有多种软件投入运行, 但现存的大坝分析软件在实际工程计算时, 只能利用已知的几个控制层参数, 而不能得出大坝在任意部位处相应的分析数据;同时在分析过程中的计算机图形处理技术主要针对二维数据的可视化分析, 而所有数据的可视化分析大多数是以二维图形效果展示, 缺乏立体、直观效果[1]。

大坝应力成果分析数据、仪器所测得的监测数据量非常庞大, 应力成果、属性和图形数据之间的关系比较复杂。采取何种数据结构, 实现对数据一致的存储管理, 方便数据检索和可视化需要进行灵活存取, 实现其三维可视化表达, 是对大坝应力成果可视化检索、测量数据处理可视化的最为关键的环节, 本文就大坝数据可视化研究课题的数据存储管理做一探讨。

2 大坝观测数据存储和管理 (Dam’s observation data storage and management)

大坝应力分析和观测数据是一个动态的数据, 而且信息量非常庞大, 甚至是海量数据, 有关大坝数据可视化中的信息不仅仅是由数字、文字组成的, 同时还有一系列的图表等非文字性质的数据。大坝的分析成果和监测到的数据一般具有较为稳定和动态更新两种情况, 一般工程的特征信息、枢纽信息、观测设备的坐标、属性等资料不会经常变动, 是属于较为稳定的数据;而应力的监测数据、位移监测数据和分析的成果数据等是动态变化更新的。对较为稳定的数据, 因数据容量不大, 系统处理中较为常定, 以存放在稳定表中处理;而对观测和分析到的数据则是存储容量大, 检索频率高, 而且速度较慢, 所以对这部分的数据如何存储和管理, 直接影响到系统可视化检索的性能。

2.1 大坝数据存储方式

由于大坝有限元分析的工况节点数据非常多, 一个工况的节点数据就达到20000多个, 而分析的工况数一般达到40多个, 同时, 大坝监控的监测项目类型多, 需要用到各类监测仪, 一般大坝安置的仪器少则十几种, 多至几十种, 为了利于数据库的管理和维护, 有限元分析数据按工况种类分表存放, 监测数据按仪器类型分表存放。这样, 存放有限元应力成果数据和监测数据的基础数据表就有工况表、工况节点表、仪器特征表、监测值表等。

就课程研究的某大坝中布置了近200个监测仪, 大坝一年的监测数据就有上万条, 随着时间的推移, 表中的数据将达到上千万, 从该类型表中检索某些时间段和方位点的数据值, 检索速度是一个大问题。虽然当前流行的数据库管理平台都提供快速检索的索引功能, 但不能满足大坝监控数据的检索速度和时间段检索, 为解决这个问题, 本课程采用了下面解决方法。

(1) 建立有效的索引机制。

(2) 对表结构进行优化管理。表设计的标准要求达到3NF, 冗余度降。大坝观测数据表由点名、时间、上下游水位和观测值等属性字段, 其国点名和时间字段组合为主码, 以保持数据完整性, 工况节点表有12个字段:正应力3个字段、剪应力3个字段、位移3个字段、节点坐标3个字段, 以z和y轴字段作为主键。

(3) 使用视图。

2.2 数据管理方式

2.2.1 数据检索

检索数据可通过SQL和缓冲区快照两种方式。使用SQL是顺序检索数据, 而缓冲区快照则是在附加检索条件下把数据表中全部或部分记录映射到内存区, 缓冲区数据保持与原表数据完全一致的索引性质。通过该快照数据既能进行顺序查询, 又能通过索引值定位检索, 读取某些特殊数据。

2.2.2 数据操作

对数据库的主要操作是数据录入和查询。大坝监测数据通常是按采集时间先后顺序存储。在对大坝进行数据分析时, 需要对各测点和各时间段内的观测数据进行不断读取, 若通过缓冲区快照附加检索条件, 具有一定的灵活度, 但分析效果较慢, 检索条件的改变将需频繁连接数据库, 重新生成快照, 缓冲区数据刷新率高, 这对系统效率是一大打击。为此可通过测点时序检索表优化数据结构, 以降低缓冲区快照的刷新频率[2,3,4,5]。

2.2.3 测点时序索引表

根据大坝对观测数据的检索是按测点和时间查询的特点以及观测数据的存储特点, 建立了测点时序索引表。测点时序索引表是按时间序列划分原始观测值表, 从原始观测值表中找到测点时序的逻辑行, 存入测点时序索引表中。检索时以测点时序索引表中的测点时序逻辑号作为索引值, 在原始观测表中定位数据段。索引表具有测点名、时序起点年和终点年、观测点值在原表中的起始逻加行、观测值记录条数等属性组成, 其中以测点名和时序起点年作为主码。

在检索观测值时, 先用缓冲区快照方式生成全部观测数据的全映射。根据缓冲区快照数据与原始表具有一致的顺序规律, 索引值对缓冲区的划分也相同。检索测点观测数据时, 先识别该数据的观测时间在测点时序索引中所在的时序记录;再从这些时序记录中, 查到该测点时序的原数据记录行号和记录条数;然后从缓冲快照区中相应记录段中读出所需的数据, 从而完成一次检索。在这种检索机制下, 每次检索不同的测点时序数据, 只是改变一下索引值, 就可以检索到所需观测数据, 不需重新生成快照, 而不需要不断更新缓冲区快照。大大提高快照的使用率, 优化了系统整体性能。

为保证索引表的正确性和有效性, 测点时序索引表与原始表应保持同步更新管理。根据观测数据的存储是按时间次序采集入库的, 所以在有观测点数据入库时, 需要先在索引中增加这一新时序观测数据的索引记录, 然后根据增加的记录数目, 修改其后各索引记录的起始行数值, 以保证索引表各索引条目中记录的原始数据起点位置的正确性;删除原始观测数据也用一样的原理, 先找到删除数据在索引表中的索引记录, 若跨多条时序索引条目, 则删除前面的时序条目, 修改最后一条索引条目记录的起点行数值, 否则只修改找到的第一条索引的起点行数值, 然后同样需修改后面各索引条目中记录的起始行数值。

在原数据入库有时间顺序这一特征, 索引的维护简单容易, 能够快速更新管理, 可通过触发器实现索引自动维护更新。

3 数据入库处理 ( Data loading and processing)

仪器测得的数据和有限元分析数据, 经过前处理软件进行前处理之后, 得到.txt类型文件和.out类型文件, 根据系统数据的存储特点, 这些数据入库存储的表名按规定的格式命名, 如:工况节点表数据的文件名格式:“y上游数据_ 下游数据”, 若工况是上游24m, 下游10m的节点数据表名为:y24_10;监测数据以监测仪类型规格命名。每个数据文件在入库前都必须按照一定的格式记录数据。工况节点数据和监测数据有自动入库和手工入库 (即编辑) 两种方法。

主要数据的入库方法是:

首先, 用户确定入库数据的类型 (应力成果数据或观测数据) 、文件路径和数据存储名称 (工况表名或仪器类型规格) 。

然后, 系统在工况表或仪器特征表中搜索该数据资料:

(1) 若未找到信息, 则提示用户继续输入完整资料, 实现对工况表和监测仪器特征表的数据的输入, 利用recordset对象的addnew方法和update方法实现, 然后系统自动生成新表, 并把数据文件加载到库表中 (用BULK INSERT…FROM…WITH实现) 。

(2) 若找到信息, 系统自动识别数据文件记录是否已经存在, 若不存在, 则加载入库。

4 结论 (Conclusion)

本文就大坝可视化数据主要针对大坝应力数据和观测数据的特点, 在数据库存储方式和管理技术方面进行了详细的研究和论述, 根据大坝咨询系统的需求, 对数据库表的分类管理、数据结构以及数据的入库方法提出了详细的解决方法。并对大坝数据量大而造成访问速度低、数据利用率低的现状, 提出了采用测点时序索引的数据管理方法, 较好地解决了数据查询速度慢的问题, 有利于快速生成大坝数据可视化分析视图。

摘要：针对大坝可视化处理中的监测和分析数据量较大, 用于观测分析的成果、属性以及图形等数据之间的关系较为复杂的问题, 提出了观测大数据的存储和管理模式, 采用了测点时序索引表的数据管理方法, 较好地解决了数据可视化检索速度慢的问题, 便于数据处理和绘图所需的灵活存取, 实现快速可视化。

关键词：观测数据,数据存储,数据管理

参考文献

[1]李曙光, 刘天佑, 杨波.基于OpenGL的综合地球物理可视化及其应用[J].工程地球物理学报, 2008, 5 (2) :205-209.

[2]SHASHI S, 著.谢昆青, 等, 译.空间数据库[M].北京:机械工业出版社, 2004.

[3]郭薇, 郭箐, 胡志勇.空间数据库索引技术[M].上海:上海交通大学出版社, 2006.

[4]史文中, 郭薇, 彭奕彰.一种面向地理信息系统的空间索引方法[J].测绘学报, 2001, 30 (2) :156-16.