存储处理（共11篇）
存储处理 篇1
摘要：为了提高网络无纸化考试系统的数据访问速度, 对考试流程进行具体分析, 提出集中存储和分散存储两种部署的方案, 在数据访问量相当的情况下, 对两种方案的数据访问时间进行比较, 得出分散存储的效率高于集中存储。根据分散存储的特点, 给出使用Delphi编写程序时, 在客户端创建临时表的方法。应用结果表明, 使用分散存储, 降低了网络数据传输的负荷, 提高了数据的访问速度, 增加了系统的整体性能。
关键词：无纸化考试,数据存储,临时表,Delphi
0引言
随着计算机网络技术和数据库技术的发展, 网络无纸化考试系统以其公正性、安全性、准确性、灵活性、随机性、及时性、方便性等特点已成为目前国际上普遍采用的一种考试形式。例如, 遍布全球的美国思尔文学习系统有限公司的计算机化考试系统, 包括计算机类的微软专家认证, 外语的GRE, TOEFL等[1], 都得到用户的广泛使用。
目前, 计算机基础课程已成为高等学校各个专业的一门公共必修课。该课程的教学目的是培养学生的计算机文化素养, 提高学生的计算机应用能力, 为学生从事各项实际工作打下一个良好的基础。计算机基础课程的实践性很强, 学习效果主要体现在对计算机的实际操作能力上, 因此实现对学生计算机实际操作能力的考核就显得尤为重要。然而, 传统的考试方式从出题、考试、阅卷到成绩统计分析, 过程繁琐, 环节较多, 教师阅卷工作量大, 试卷分析工作难以开展, 特别是无法真正实现对计算机应用能力的考核[2]。网络无纸化考试系统有效整合校园网的软硬件资源, 利用计算机网络技术和数据库技术, 实现网络化考试, 与传统考试方式相比, 既体现考试的公正、公平, 又能减轻考试组卷、评卷的工作量, 特别是它能比较客观地考核学生的计算机应用能力, 对于提高教学质量具有十分积极的意义。
作为网络无纸化考试系统开发的前期工作, 考试过程中数据存储处理的设计起着至关重要的作用, 从一定程度上它决定了数据的存储效率和访问速度, 决定了算法复杂度和程序执行的效率, 也从一定程度上决定着考试系统的优劣和稳定性。
在此基于自主开发的计算机等级考试系统, 从考试流程分析、系统存储部署和临时表的创建等方面, 对利用客户端文件临时表来提高系统效率和稳定性方面做了具体阐述。
1考试流程分析
学生使用网络无纸化考试系统进行考试, 大体上经历登录系统、组卷、答题、交卷等几个阶段。在此期间, 系统要进行考生身份验证、考试考卷生成、考试情况记录、考试结果评分等几个阶段。考生考试和系统处理流程如图1所示。
考题由系统从题库中随机抽题生成, 每个考生的考卷不尽相同。由此, 为每个考生单独保存生成的试卷, 并在考试过程中记录考生的考试进度, 就成为考试中系统数据存储和处理的关键。考试过程中遭遇突发情况, 如断电、死机等, 是否能保存考生试卷和考试进度, 考生是否可以接着继续考试, 都将直接影响系统的稳定性和决定系统的优劣。
2系统存储部署
在设计系统的存储部署时, 提出两种部署方案:一种方案是集中存储, 即将考生试卷和考试进度都集中保存到数据库服务器上, 遭遇突发情况后, 考生可重启计算机或换机进行二次登录续考;另外一种方案是分散存储, 即将考生试卷和考试进度保存在考生机 (客户端) 上, 遭遇突发情况后, 考生可重启计算机续考或由管理人员迁移考试数据后换机续考。
对实现技术来说, 两者大同小异, 都是采取生成临时数据表的方式保存考生试卷和考试进度的, 前者是在数据库服务器上生成临时表;后者是在客户端上生成临时表。考生提交试卷给系统评分后, 这些临时表都会被清除。
系统中对数据的存取是最频繁的操作, 数据的访问速度是衡量系统性能和程序执行效率的重要指标, 在两种存储部署方案下, 数据访问量相当, 因而数据的访问速度就直接取决于数据的访问时间。可以归结于以下计算公式:
式中:T是数据的访问时间;N是访问的数据量;
在两种存储部署方案下, N始终是相等的, 即:
式中:ND是直接在数据库服务器进行存取时的数据量;NC是在客户端进行存取时的数据量。
当计算机处理的数据量比较大时, 会建立一个等待队列。显而易见, 由于数据库服务器要处理考场内全部考生的数据, 其数据量大, 因此数据库服务器处理数据时的等待时间会大于客户端处理数据时的等待时间, 即:
在数据库服务器上存取处理数据时, 数据要在服务器和客户端之间来回传输, 耗时较多, 而在客户端直接存取处理数据时, 数据只在计算机内部总线传输, 耗时可以忽略不计, 即:
因此, 可以得出如下结论:
即:
可以看出, 在系统性能和程序执行效率方面, 在数据库服务器上直接存取数据的部署方案远不如在客户端存取数据的部署方案。因此, 设计系统存储部署方案如图2所示。
3临时表的创建
使用Delphi创建的临时表可分为两类, 即内存临时表和文件临时表。内存临时表创建后驻留在本机内存中, 访问速度较快, 但遭遇断电或死机等异常后, 整个表和其中的数据都会丢失, 无法实现考生二次登录续考。文件临时表创建后以文件形式存放在本机磁盘, 访问速度较内存临时表稍慢, 但数据的存储是永久性的, 除非人为删除, 这有利于保存考生试卷和考试进度, 从而进一步实现考生二次登录续考。
创建文件临时表的方法较为简单, 只要确定表的结构, 即表中有哪些字段, 每一个字段的字段名、类型、宽度等[3], 就可以用一个过程来实现文件临时表的创建。下面以创建保存单选题的文件临时表为例, 表结构为题号 (整型, 流水号) 、题干 (字符串, 255) 、选项A (字符串, 255) 、选项B (字符串, 255) 、选项C (字符串, 255) 、选项D (字符串, 255) 、正确答案 (字符串, 1) 、考生答案 (字符串, 1) 。
设表文件的存储路径为“c:estdata”, 表文件名为“SingleSel.db”, 表的类型为“ttParadox”, 可以利用以下代码实现该文件临时表的创建:
4结语
这里主要是在综合考虑数据存储处理的速度、程序执行的效率和系统稳定性等因素的基础上, 对网络无纸化考试系统的数据存储处理提供一个设计方案, 并给出利用Delphi在客户端创建文件临时表的方法。该方案在后期系统使用过程中体现出很大的优势;大大减少了服务器在数据存储上的开销, 提高了数据的访问速度, 降低了网络数据传输的负荷, 增加了系统的整体性能。
参考文献
[1]郝莹.网上无纸化考试系统的意义与实现[J].北京建筑工程学院学报, 2000, 16 (2) :108-113.
[2]徐守萍.计算机基础课程无纸化考试系统设计[J].广东交通职业技术学院学报, 2007, 6 (3) :62-64.
[3]李文华, 杨奔全.数据表结构的动态创建与动态更新[J].中国科技信息, 2005 (5) :22, 15.
[4]郭志, 陈金良, 郭书俊.临时表在系统开发中的应用[J].计算机工程与设计, 2003, 24 (8) :69-71, 74.
[5]杨新锋, 刘平.Office无纸化考试自动化评分研究[J].科技广场, 2007 (3) :153-154.
[6]刘作军, 任永峰.无纸化考试数据库设计方案改进研究[J].现代电子技术, 2007, 30 (20) :64-65, 68.
[7]殷大发.无纸化考试系统的研究和开发[J].计算机与现代化, 2004 (3) :82-85.
[8]丁亚涛.无纸化考试平台构建技术[J].巢湖学院学报, 2007, 9 (3) :32-35.
[9]陈清利, 刘琳.基于B/S结构的网络考试系统的分析与设计[J].信息技术与信息化, 2008 (2) :30-32.
[10]胡枫.无纸化考试系统的设计与开发[J].湘南学院学报, 2008, 29 (2) :90-93.
存储处理 篇2
1.函数的参数列表中模式只能为IN，
2.函数必须返回一个值，它的类型被定义于函数的头部
3.函数能被SQL语句所调用
4.函数可能不返回任何结果集
DELIMITER $$
DROP FUNCTION IF EXISTS discount_price$$
CREATE FUNCTION discount_price
normal_price NUMERIC(8, 2)
RETURN NUMERIC(8, 2)
DETERMINISTIC
BEGIN
DECLARE v_discount_price NUMERIC(8, 2);
IF (normal_price >500) THEN
SET discount_price = normal_price * .8;
ELSE IF (normal_price >1000) THEN
SET discount_price = normal_price * .9;
ELSE
SET discount_price = normal_price;
END IF;
RETURN (discount_price);
存储处理 篇3
[关键词]多线程；处理器；计算机技术；访存款带
[中图分类号]F224.39 [文献标识码]A [文章编号]1672-5158（2013）06-0053-01
多线程和向量技术是当前计算机技术发展的一个重要的趋势，也是现代化社会发展中研究最多的处理器设计要点。这种设计工作中，是通过提出一个多现场向量处理其设计要点为基础，利用多线程切换数据的方式来隐藏访存延迟现象的出现，并使得向量数据在运行中能够直接访问到二级cache从而提高宽带运行效率的一种结构。基于这些优势，因此在目前的向量处理器工作中，这些技术的应用较为常见，也是实现现代化计算机技术发展的核心内容。
一、向量处理器与多线程技术分析
在目前的社会发展中，多线程技术和向量技术一直深受着业内人士的关注，是处理器结构体系中结构和编程模式的技术要点，其在整个处理器发展中扮演着重要的角色。
1、向量处理器分析
向量处理器也被人们广泛的称之为阵列式处理器，是在工作中能够同步进行多种数据综合处理和运算操作的一种复杂的计算机结构。然而截至目前的社会发展中，多数计算机组装中都仍然是采用纯良处理器为主，这种处理器在应用中只能够一次处理一个要素，而无法对多套数据进行处理和归纳。向量处理器的出现使得计算机领域发生了翻天覆地的变化，它的出现使得整个计算机结构、构成和功能发生了重大变化，尤其是在上个世纪八十年代至九十年代着一段时期内，其更是成为各种超级计算机运行和主要基础。当今社会中，大多数的商业处理器仍然是以向量处理器为主的，已成为整个社会领域中最为常见的一项。
2、多线程技术分析
所谓的多线程技术主要指的是多个线程能够同时、并发运行的一项综合性技术体系，具有多线程能力的计算机因为有重组的硬件和软件系统的支撑能够在同一时间运行多个不同的软件和线程，进而提高了计算机的处理效率和处理质量，同时从整体上提升了计算机技术的应用优势。截至目前，我们在工作中可以将多线程技术分为以下三个方面：主要指的是细粒度多线程体系结构、粗粒度多线程体系结构和同时多线程体系结构。这三种结构体系的相互促进、相互协调运行使得整个计算机体系呈现出巨大的发展态势，也为计算机技术的全面、综合、统一迈进提供了扎实的基础平台。
3、向量技术
向量技术从诞生以来一直应用在高性能计算机当中，是计算机技术发展的指导依据和基础平台。随着科学技术的发展和计算机技术的进步，向量技术也得到了极大的迈进，其已经广泛的应用在各类处理器结构当中，成为处理工作中的指导依据和应用基础。经过多年的实践证明，向量技术的能够更好的适应计算机技术、处理技术和自动化技术的发展要求，从阿尔达到更高的实际应用性能的优势。
二、多线程向量存储结构设计
1、多线程向量体系结构
多线程处理器中设计有多套独立的线场，包括PC、通用寄存器、浮点寄存器、向量寄存器、状态寄存器等。每个线程从软件的角度看都是一个独立的处理器，线程的数量可以很多。多线程处理器设计有专门的向量部件，执行扩展的宽向量指令。多线程向量处理器通过将来自多个线程的指令交叉执行来隐藏长延迟操作带来的流水线阻塞，当来自某个线程的指令由长延迟操作而阻塞的时候，其他线程的指令仍可以继续执行，从而保持流水线的满负荷工作。
2、多线程向量存储结构
将多线程与向量技术结合，可以隐藏向量数据访问的存储器延迟，但需要处理好向量数据与标量数据的存储结构和数据相关性。我们设计了一种向量与标量混合访问的存储层次，一级数据缓存只缓存标量数据，不缓存向量数据。向量访存操作将不进入一级数据缓存，直接通过二级缓存访问。这样做是基于两点考虑：首先，L1D容量小而向量数据规模大，这样避免了向量数据与标量数据争夺有限的LID资源，避免LID的数据抖动，利于充分发挥标量处理部件的计算性能；其次，由于有多线程的延迟隐藏机制，二级缓存高速缓存的访问延迟可以得到很好的隐藏，不会对向量处理部件的性能造成过大的影响。高速缓存数据块的大小与向量寄存器的位数一致。这样，每个向量访存操作都能够消耗或生成一个完整高速缓存块，便于高速缓存的控制及向量访存部件的设计。
三、多线程向量处理器中向量数据存储结构实现
向量处理器是通过向量操作来支持数据并行性的处理器。为了有效地利用向量计算中的数据并行性，向量处理器的结构通常包括向量寄存器文件、深度流水的ALU和一维的SIMD组织形式的多种组合。向量寄存器文件存储的是数据向量，而不是单个的数据字，它们是在对向量进行操作时，顺序地进行传送的。不仅图像处理采用向量处理器技术，当前世界上处理速度最陕的超级计算机——日本NEc的《地球仿真测试系统》，也是以0.15mm工艺实现的向量处理器为基础，由5120个向量处理器（共有640个节点，每个节点有8个向量处理器）组成的。
1、多线程向量处理器中向量数据存储结构的回顾
整个计算机界似乎总是在不停的重复着“前进-回退-再前进”的步调。很多基础性的创新结构在很早之前都被提出了，但由于市场、技术和现实条件的限制最终只有很少的技术在一段时间内成为主流。一种主流技术在走到生命尽头之后，以前一种被遗忘技术可能被人们从故纸堆中翻出来，以崭新的面目引导新的技术革新。
在处理器体系结构设计中的上一次回归是RISC。当VAX开启了变长指令，多寻址模式等CISC技术之后，处理器设计变得越来越复杂，纯粹的CISC很难设计，也难以实现；这时提倡精简的RISC替代了VAX处理器体系结构称主流技术。在80 90年代，RISC思想JL5e遍布所有厂商的处理器。
2、桌面优化
在开始详细分析向量处理器的结构之前，不妨先看一下近30年的发展过程中桌面系统体系结构的变迁。除了CPU而外，桌面系统的其他部件的功能也不断增强。在向量处理器中以内部互连EIB总线为核心，8个完全相同的SPE（synergistic Processor Element）向量处理核心和一个PowerPC兼容的PPE（Power Processor Element）核心围绕在环状数据总线四周。XIO接口提供与Rambus XDR内存的高速互连，FlexIO提供了高速I/O通道，同时在应用中也为整个计算机工作的持续进行提供了方便。
四、结束语
本文提出一种多线程向量的存储结构，该结构支持标量数据和向量数据的混合存储，利用多线程切换来隐藏访存延迟，并让向量数据直接访问cache来提高带宽。模拟实验表明多线程能提高实用带宽，所提出的存储结构能支持高带宽的向量数据访问。
参考文献
[1]孙彩霞同时多线程处理器中的资源分配策略研究[学位论文]2006
存储处理 篇4
DICOM标准中涵盖了医学数字图像的采集、归档、通信、显示及查询等几乎所有信息交换的协议;以开放互联的架构和面向对象的方法定义了包含各种类型的医学诊断图像及其相关的分析、报告等信息的对象集;定义了用于信息传递、交换的服务类与命令集, 以及消息的标准响应;详述了唯一标识各类信息对象的技术;提供了应用于网络环境的服务支持;结构化地定义了制造厂商的兼容性声明。DI-COM3.0版本的内容分为15部分, 标准中的核心内容主要是第三到第八部分, 以及扩展的第十部分。
2 DICOM图像存储
影像设备所产生的标准图像, 以一定的形式存放在物理媒质上, 在DICOM标准中, 媒质存储模式分为三层结构, 如图1所示。
物理媒质层:定义了物理媒质的特征, 这些特征包括媒质形成因素、维数、特征、记录特性。该层还定义了记录位的组织和分组等特性。
媒质格式层:物理媒质比特流组织成特殊的结构体。该层还定义了数据文件结构和相关的目录结构以便能高效的访问和管理物理媒质层。
DICOM数据格式层:该层包括了4个方面的内容:
(1) DICOM媒质存储SOP服务类以及相关信息对象的定义。
用于在数据格式层转换成专用的医学图像信息。SOP服务类和IOD用在媒质存储的时候应该遵从标准中规定的框架。
(2) DICOM文件格式。
将数据集封装到一个文件里面, 文件包括了所有的数元素, 一个文件中的数据集前面必须有一个文件元信息, 用来指明该文件为DICOM文件, 并包括文件头、文件标识、组长度、元信息版本、媒质存储SOPUID等一些相关信息。每一个文件都包含了单个数据集, 该数据集表示与单个SOP类或者一个相关的IOD。一个文件也可以包括多个二维的图像帧, 如超声图像、数字减影像等, 可以包含能回放的多帧序列图像, 每一帧都是有相同文件信息的二维图像, 共用一个文件元信息。
(3) DICOM媒质存储目录。
SOP类多个图像文件可以存放在同一个文件集里, 图像之间的逻辑关系也就是文件之间的逻辑关系, 该关系是图像IOD、检查结果IOD等信息对象的逻辑关系的体现。用来描述这样关系的IOD由标准中基本目录信息对象定义来进行定义封装。基本目录IOD由多个目录实体组成, 每个目录实体包含了一个或者多个目录记录, 这些目录记录都依次引用到下一级目录实体, 形成一个递归记录。目录记录包含了四种信息:①对下一级目录的引用;②引用到一个文件, 这个文件存放了相关的IOD;③一套选择键值用于设置一个记录实体中所有记录的选择性;④提供了一套机制用于将同级目录连接起来为了便于关联一个文件集中的图像文件, 标准采用了一个特殊的目录文件DICOMOIR来记录文件集中文件的相互关系, 即以病人-检查-序列-图像为主线的这样一个逻辑关系。
(4) DICOM媒质存储应用文档标准。
提供了一套机制, 用于规范各种医学影像的存储归档, 涉及到不同的设备产生的, 不同编码格式等不同类型图像的具体归档选取。这套机制实际上就是给应用开发者提供了各种方案, 用于解决在不同环境不同性能要求下的媒质存储。
3 系统构架
系统在一般PACS系统的体系结构下, 依据国内中小型医院的现实情况所设计的, 实现了PACS系统核心内容, 即医学图像处理系统。一般PACS系统包括各种影像设备所在的工作站, 存储归档系统, 医生工作站和其他系统通讯的网关, 临床监护系统, 检验系统, 数据库服务器。每一个组成部分或者接入终端都有复杂的结构和标准, 同时提供一致的接口, 实现互联。存储归档系统是用于存储图像和本信息的存储介质, 通常是大容量的磁盘阵列或者磁带库, 医生工作站与临床中各个门诊科室工作需要有密切关系。数据库负责全部信息的存储管理和安全, 其他通讯系统的网关可能负责与医院的HIS系统或者互联网的连接。
整个系统主要涉及的是医生工作站, 打印机模块, 存储系统, 数据库系统等模块, 如图2。
3.1 系统基本模块
系统的基本模块包括:病历登记、胶片打印、报告打印、病案、权限设置、图像浏览等事务性模块。
3.2 图像处理模块
图像处理模块是整个系统的核心部分。包括图像的显示与处理两部分内容, 其中对医学图像的处理的内容包括医学图像的预处理, 窗宽窗位调整, 图像测量等一系列处理。
首先要根据对DICOM文件格式的解析, 获得文件中所有数据元素的信息。系统DICOM文件格式转换成Windows下BMP格式来实现图像显示的。然后DICOM转换成BMP显示医学图像处理BMP转换成DICOM保存。这里一个关键技术在于图像格式的转化, 图3给出了格式转化的流程。
在获取图像数据的基础上对医学图像进行预处理, 窗宽窗位调整, 血管狭窄度测量, 心脏动态测量, 数字减影等一系列处理。完成这些操作后, 需要把BMP格式的图像再次转换为DICOM格式进行保存, 以便在其他医疗设备上进行显示, 胶片打印等其他操作。
图像预处理:应用各种数字图像处理技术来改善图像的质量, 使处理过的图像清晰、对比度增强、目标区域突出和噪声得以消除等。目前, 数字图像处理的方法有很多, 这里主要包括图像的平滑处理, 边缘锐化和边缘检测。
窗宽窗位调整:由于医学图像数据通常是一种相对数值且有较大得动态范围, 其字长一般都在10bit以上, 10bit的数字相当于有1024个灰阶, 而显示器只有256 (8bit) 个灰阶。为了使人眼能够看到更多的数字图像信息需要对显示范围进行调节, 医学上称之为窗宽窗位调节。系统使用的窗宽窗位调节算法为线性变换。即指通过限定一个窗口, 将窗口区域的图像数据线性地转换到显示器的最大显示范围内, 高于或低于窗口上下限的图像数据则分别设置为最高或最低的显示值。这样通过动态地调节窗口的窗宽和窗位, 则可以观察到医学图像的全部细节。
图像测量:在常用的医学图像学检查中, 常常需要对医学图像作测量。由于要求测量的对象比较细小, 测量之前图像要先进行窗位调整, 然后进行降噪, 边缘加强和边缘检测的处理, 最后再进行测量和计算。系统实现了血管狭窄度测量和心脏动态测量这两种最常用的测量。
4 系统的实现
系统运行环境为:硬件配置:Inte l (R) P4以上CPU;1G以上的内存;至少40GB硬盘。
软件环境:Microsoft Windows XP或更高版本操作系统;SQLServer 2000数据库;本系统使用VC++6.0开发。
5 结束语
本文设计并实现了一种基于DICOM标准的图像存储和处理系统。其主要存储和传输部分依靠DICOM标准完成。对于图像处理, 系统根据中小医院的实际, 在实现显示的基础上, 完成通用的医学图像预处理, 以及窗宽窗位调整、图像测量等一系列处理。
摘要：本文研究和实现基于DICOM协议的医学图像存储和处理系统, 其针对中小型医院的需求, 提供经济实用的解决方案。
关键词：PACS,DICOM,图像处理
参考文献
[1]林春漪, 尹俊勋, 马丽红, 等.论解读DICOM医学图像文件及其显示的VC++实施方法[J].广州:现代医学仪器与应用, 2005, 17 (1) :1-4.
[2]ACR-NEMA.″DIGITAL imaging and communication in medi-cine″.Version3.0.2003.
[3]谢长生, 熊华明.DICOM图像显示的研究与实现[J].长沙:计算机工程与科学, 2002, 24 (6) :38-41.
[4]曹玉磊.DICOM标准研究与图像处理工具的实现[D].西安:西安电子科技大学, 2007.
[5]Levine BA, Clery K.R, Norton G.S, et al.Challenges enc ountered while Plementing a multiendor teleradiology network using DICOM3.0.SPIE proceedings Medic al Imaging1997:PACS Design and Evaluation, Engineering and Clinical Issue1997.237-245.
[6]Yongmin K, Steven C.Handbook of Medieal imaging-Volum-e3Display and PACS[M].Bellingham, Washington USA:SPIE Press, 2002.
[7]崔屹.图像处理与分析—数学形态学方法及应用[M].北京:科学出版社, 2000.
存储处理 篇5
你是否听说过超顺磁效应（superparamagnetic effect）？这是一种限制可用硬盘的大小的理论，（比如，不能超过120G等）。简单来说，就是当磁盘上的磁体区变得太小时，它们将不能在室温下保持磁 的正确方向，就会产生空比特。空比特=丢失的数据=无用的存储。因此，研究磁存储的科学家和工程师 都在寻找新的解决方法。至少目前为止，还没有解 决超顺磁效应。因此，硬盘工程师分析了目前驱动的 结构。现在的硬盘所使用的数据存储采用的是纵向记录方式。打个比方，硬盘好象一个平台，上面有很 多很小的多米诺骨牌， 每块骨牌代表一个比特的信息。在纵向记录方式下，每块骨牌都是按磁力的南北 级一块接一块的平行放置在磁盘平面上。当每比特数据靠得越来越近，就可能发生超顺磁现象。
解决方法：垂直记录
目前磁盘中数据位都是水平放置，而在垂直记录方式下，他们都是垂直站立起来的，也就是说在同样 的空间中，可以放置更多的数据位，可以很好的解决超顺磁效应。现在，同样空间里可以容纳更多数据位，而无需将他们靠得太近。（数据位之间的距离被称为过渡区），
正如您所期待的，磁盘使用在垂直记录方式下与纵向记录方式下是不同的。垂直记录方式下磁头更加 出色，因为它的工作范围更小。而且，另人吃惊的是，垂直式与纵向方式相比具有更好的容错性。
在水平记录方式下，每个数据位的南北磁极与临近数据位的南北级相互吸引和排斥。但是，在垂直记录方式下，南北级垂直向上或向下，就解决了磁极之间的冲突问题，减少了空数据位的数量。新旧两 种方式的另外一个不同点就是数据位下面软件底层的叠加。这个新的平层提高了硬盘磁头读写的可靠性。简单来说，这个新的层阴阳级更为稳定，避免造成硬盘系统不稳定 。
对于您来说垂直记录有何意义呢？如果只需增加少量成本就能获得10倍存储容量的话您会怎么想？垂直存储方式，做为数据位摆放方式改变的产物（当然也有其他方面的一些改进）将有可能将现有存储能 力提高十倍。不过这些新的磁盘最终也会碰到超顺磁效应，但是科研专家们已经在全力开发新一代磁盘了。
垂直磁盘已在市场上出现，如果你不知道它的存在，说明这些磁盘设计得有多么巧妙：这些磁盘只改 变了记录方式，但依然能用于现有接口，也就是说你也可以在现有系统中加入 这样的磁盘。例如，您可以购买一块带有并行或者串行ATA接口的希捷Momentus 5400磁盘。
存储处理 篇6
关键词：云存储 教学资源 存储与服务
1.引言
高职教育正在推广模块化，项目化教学改革，采用基于工作过程的项目化课程体系，“教学做”一体，必需大量课件、视频、模拟仿真软件，而且强调通过在线考试，实训操作更多需要在线仿真，示范院校和骨干院校建设也需要上传大量的教学资源。相比本科院校，存储量更大，存储形式更多样化，教师更希望通过教学资源服务实现网络教学，项目提交，答疑，师生交互，远程测试，加强自主学习和协同学习。
教学资源是教学工作开展的基础，包括文本资源、图形图像资源、动画资源、声音资源和视频资源等类型。进行教学资源的整合有利于合理、高效地使用，促进教学质量的提高。
将云存储运用到教学资源的整合中，学校不仅能节省投资费用，简化复杂的设置和管理任务，而且把教学资源放在云中还便于从更多的地方访问资源，实现教学资源的共享，提高精品课程、示范特色专业和特色专业等优秀职教成果的辐射作用。
2.云存储
2.1云存储基本概念
云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问的功能。在云存储环境下，存储不再是单纯的硬件设备，而是一种服务。用户将不用再购买存储设备，而只需要购买存储服务提供商所提供的存储服务即可。从而使用户从繁重的存储设备的管理中解脱出来，集中精力关注他们所关心的数据。
采用云存储，我们无须像使用某一个独立的存储设备时，要清楚这个存储设备是什么型号，什么接口和传输协议，存储系统中有多少块磁盘，分别是什么型号、多大容量，存储设备和服务器之间采用什么样的连接线缆。而且对于保证数据安全和业务的连续性，无须自己建立相应的数据备份系统和容灾系统。除此之外，用户也无需关心存储设备的状态监控、维护、软硬件更新和升级。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过接入线缆与云存储连接，对云存储进行数据访问。
2.2HDFS
HDFS（Hadoop Distributed File System）是Hadoop 的分布式文件系统，具有高容错性，并且可以被部署在低价的硬件设备之上。HDFS 提供对数据读写的高吞吐率，很适合那些有大数据集的应用。HDFS 是一个master/slave 的结构，就通常的部署来说，在master 上只运行一个Namenode，而在每一个slave 上运行一个Datanode。
HDFS 支持传统的层次文件组织结构，同现有的一些文件系统在操作上很类似，比如创建和删除一个文件，把一个文件从一个目录移到另一个目录，重命名等操作。
3.基于云存储的教学资源整合模型
在进行教学资源服务平台设计时，我们以“个性化、共享性”为目标，重点考虑个人体验，系统的功能包括：智能搜索、个性化课程自动推荐、公共信息展示、全媒体浏览支持、核心资源访问控制等。为教师用户提供在线备课、在线课程、技能测评库和资源管理等教学应用服务模块；为学员用户提供网络课堂、技能测评等课堂教学模块以及职业规划、项目案例库、仿真实训平台、职业提升、在线求职等职业服务模块；为企业提供网络招聘、技能认证和实训管理等服务模块。
3.1基础平台设计
依据高标准、国际化的建设原则，在原有系统基础架构上融入云存储模型，采用集中式服务、分布式布局的网络体系架构，搭建技术先进、功能强大的基础支撑平台。校园网采用IPv4 和IPv6 双栈设计， 核心设备均采用冗余热备；6个电信网络出口、万兆光纤骨干、千兆到桌面；服务器负载均衡，思科防火墙和入侵检测设备。
3.2平台实现
教学资源系统使用JSP+Oracle+Linux开发模式，既保证了平台的灵活性、稳定性和安全性， 又提供了良好的兼容性、可移植性和可扩展性，有效地实现了海量资源和分布式资源的整合。
系统采用B/S/S（Browser/Web Server/Cloud Server）来开发设计，即客户端采用浏览器，中间服务器是Web 服务器，后台为云服务器。由客户端在Web 页面发出请求至系统管理、服务目录等进行一系列的分类处理后，发送至Web 服务器， 然后再由中间服务器对云服务器发出请求， 客户端与云服务器不直接联系， 保证了数据的安全性，具有跨平台、可移植、操作简单等优点。
4.性能分析
下面我们将对云存储系统读取和写入教学资源的速度进行测试。目前，在系统的实际运行中包含126台的数据节点存储教学资源，而且拥有大量的用户对资源进行访问。但是为了便于测试，我们使用171 台电脑构建云存储环境，其中1 台设置为名称节点，50 台为数据节点。120 台电脑作为客户端。名称节点和数据节点的配置均为双核CPU，4GB内存，1T 硬盘，一块100M 全双工网卡，并以一台交换机相连。120 台客户端都配备一块100M 全双工网卡，并以另一台交换机相连。两台交换机之间使用1 Gbps 的链路相连。
我们分别在51 台电脑上部署Hadoop-0.18.3 构建云存储环境。其中操作系统为FC10，Java 版本为jdk1.5。首先修改51 台电脑Hadoop 目录下的conf/hadoop-site.xml 文件，其中fs.default.name 为NameNode 的IP 地址和端口号；mapred.job.tracker 为JobTracker 的IP 地址和端口号；fds.replication 为HDFS 中每个Block 被复制的次数，起到数据冗余备份的作用，我们设置为5。其次配置SSH，因为Hadoop启动以后，名称节点通过SSH（Secure Shell）来启动和停止各个数据节点上的各种守护进程的，这就需要在节点之间执行指令的时候不需要输入密码，所以需要配置SSH 使用无密码公钥认证的方式。
5.结束语
教学资源的建设是远程教育发展的重要的环节，对教学资源进行整合有利于教学资源的共享，减少教学的成本，提高教学的质量。而云存储作为一种新的服务形式，能够很好地解决教学资源整合中产生的问题。云存储作为教育资源整合的有力手段，对教育资源的建设和发展有着积极的促进作用。随着云存储的不断发展和完善，必然会在高等院校和教育网络中有着越来越多的应用。
参考文献：
[1]张铮，顾京，尹洪.共享型高职专业教学资源库体系的构建——以数控技术专业为例？，职业技术教育，2010（05）：34—3.
[2]尚建新，解月光，王伟.云计算模型下的PLE 构建初探[J].现代教育技术，2009，19（04）：46-49.
[3]高宏卿，汪浩.基于云存储的教学资源整合研究与实现，现代教育技术， 2010（3）：97-101.
存储处理 篇7
关键词：大数据,IOPS,并行存储,PC集群
随着石油地震勘探技术的发展和计算机技术的迅速发展,宽方位高密度外业采集已成为普遍的外业采集方式。宽方位高密度小面元采集使得采集的石油地震勘探原始资料数据体迅速膨胀。新疆油田公司2013 年一年采集的外业数据达到了120TB以上,这个数据量相当于新疆油田公司数字地震勘探以来采集的所有探区数据体的总和。其中2013 年采集的H区块的外业采集数据体达到了46TB、这是以往数据体的十几倍到几十倍。
从表1 可以看到,2013 年高密度采集的MH区三维和H区三维数据是常规采集区块在单位采集面积上采集数据体的几倍到几十倍,是2011 年采集的M区三维的上百倍。原始资料数据量和接收道数的急剧增加,给地震资料处理也带来了影响,地震数据处理系统出现了系统效率极低的情况( 如图1所示) 。
为了解决集群效率低的问题,对处理集群节点和地震数据处理软件进行了细致的测试记录。通过对大量的数据进行分析后,导致处理集群系统效率低的原因有了清晰认识,并有了可行的解决方法。
1 高密度数据对数据处理系统的影响
高密度宽方位采集数据在已建设的地震数据处理集群系统中处理时,对集群系统进行数据和系统分析。首先,对处理集群系统的计算节点配置和性能进行分析。
新疆油田公司的集群系统主要是用H公司的刀片服务器组成。为了提高单位体积运算效率,降低冷却系统费用,选用的是双计算单元刀片服务器。该服务器系统在10U空间内可容纳32 台服务器,服务器主要配置如表2 所示。
从以上的配置信息可以看出,计算节点上配备了较强的CPU、48GB内存和10Gb网卡。实际地震数据存储在性能高的分布式并行存储系统上。通过实测在10Gb网络环境下该网络存储节点到存储之间的访问带宽在700MB以上,单个卷的IO带宽也在3000GB以上,整个系统的IOPS也可以达到300万次,因此该计算节点上的本地硬盘是该系统的最薄弱环节。节点上的本地硬盘承载着操作系统的安装空间,又负责震数据处理软件的缓存空间。针对计算节点本地硬盘进行了详细测试分析。
1. 1 本地硬盘对计算节点效率的影响
目前使用的地震数据处理软件在安装时需要在安装节点上配置和保留缓存空间,为作业运行时磁盘数据和应用所需内部数据之间做转换和缓存。因此,安装地震数据处理软件时在本地硬盘上需划分足够的缓存空间。在运行地震数据处理作业时,部分模块会对缓存区进行频繁读写操作( 如图2 所示) 。
从图2 可以看出,当运行地震处理作业时,本地硬盘sda状态已经达到100% busy,读操作为0、写操作为74,系统出现了97% 的等待。这表明该计算节点上的本地硬盘写能力无法满足地震数据处理对临时缓存盘的读写需求。另外对各种存储介质进行性能对比:
常见磁盘平均物理寻道时间为:
7200 转/ 分的SATA硬盘平均物理寻道时间是10. 5ms。
10000 转/ 分的SAS硬盘平均物理寻道时间是7ms。
15000 转/ 分的SAS硬盘平均物理寻道时间是5ms。
如果假设5400 转/分的SATA硬盘的平均物理寻道时间也是10. 5ms,那么它的常见硬盘的旋转延迟时间为: 60* 1000 /5400 /2 = 5. 6ms。
最大IOPS的理论计算公式: IOPS = 1000 ms/( 寻道时间+ 旋转延迟) 。
那么5400 转/分硬盘的理论IOPS为IOPS =1000ms / ( 10. 5ms + 5. 6ms) = 1000 /16. 1 = 62. 1。
图2 显示本地硬盘每秒写次数74,大于理论最大值62,因此,可以推断该节点的本地硬盘已经出现了读写瓶颈,在只运行一个地震数据处理作业时,导致了计算节点性能的急剧下降。
1. 2 石油地震勘探数据的存储方式对计算效率的影响
在了解本地硬盘对计算节点运算效率的影响后对集群系统和石油地震勘探处理系统进行分析,发现在计算节点本地硬盘上没有出现读写瓶颈时,也同样存在集群系统效率低下的问题( 如图3 所示) 。
从图3 可以看出,在计算节点没有出现本地硬盘IO等待时,地震数据处理作业的实际输入和输出数据量并不大,计算节点一直处于有效数据的输入状态。通过大量测试和分析,发现在完成这类作业时,计算节点网卡的接收数据和发送数据出现了不对称现象( 如图4 所示) 。
针对计算节点网卡接收发送数据不对称进行了多方面分析,排除地震作业数据输入输出不对称因素后,关注焦点集中在外业采集数据自身的存储方式上。
在外业采集时,石油地震勘探数据以线束为单位,按照炮集( shot) 和接收道集( trace) 的方式记录在存储介质上。处理时同样以线束为单位按照炮集进行加工,并以道集记录在存储系统,在以后的处理过程中被频繁使用。但是在处理的其他环节上,地震数据处理软件所需要的数据格式并不是炮集( shot) ,而是以共中心点( CMP) 的方式去读写。为了了解炮集和CMP的关系,先了解外业采集的方法和数据采集单元间的关系。
该高密度宽方位采集的三维工区共有126986炮,外业采集原始数据供22. 57TB,每一炮约214MB。在外业施工过程中,采用按照某一个特定方向如图上红色箭头所示,边激发边接收的形式逐个采集所有接收点的信息,并且以单炮为单元记录每一次激发后所接收到的所有信息。一次激发后所接收到的所有数据称为单炮,一个单炮中的每一个接收点信息称为接收道。该区块每一炮数据包含与该炮相关的142 条( 2031 - 2172) 测线上的不同接收道。每条测线有CMP点数范围( 1291 - 1562) ,总的CMP个数与每个单炮道数一致,共16023 个CMP。
在地震数据处理中主要应用的是CMP数据,如果在处理过程中用到的数据是以单炮形式存储,那么需要从存储系统读取的炮数据中抽取具有相同的CMP数据。抽取过程和所涉到的单炮数据在磁盘上存放的顺序有关。极端情况下,需要搜索全部数据22. 57TB,才能抽取一个完整的CMP道集数据。在理想状态下,即一个CMP数据所涉及的炮数据在磁盘上连续存放,及需要搜索的数据大小为一个CMP所涉及的所有炮数据的大小。图中一个CMP涉及的炮数和它的覆盖次数相关,即一个CMP中来自不同的炮的道数。该探区一个CMP有1268 道,即它涉及1268 炮,得到这样一个CMP,需要搜索1268 × 214MB = 271352MB。
在处理宽方位高密度采集的外业数据时,如果读取的数据是用单炮形式记录的,处理集群在地震数据体中进行大量的搜索操作,导致处理节点效率低下的同时影响存储系统和网络带宽,造成整个处理系统处理效率下降。
2 提高宽方位高密度采集数据处理效率
2. 1 消除本地硬盘对系统效率的影响
对于本地5400 转/分硬盘IOPS低导致的计算节点性能下降,我们进行了大量测试。为了验证计算节点效率低是由本地SATA硬盘所致,选用了配备RAID控制器和10k转/分4 块900GB SAS硬盘的机架式服务器进行了相关测试。在测试过程中创建了两组RAID1,一组为系统硬盘,另一组为应用程序提供的缓存盘,并进行了对比测试。
测试中,利用dd命令来模拟应用对硬盘的写操作,命令如下:
dd if = / dev / zero of = test2 bs = 512 count =102400000&
可以看出,10k转SAS硬盘组成的RAID1 盘的读写效率明显高于5400 转SATA硬盘。5400 转SATA硬盘在执行一个dd命令时,硬盘已达到100%busy状态,并且出现了76% 的等待,而RAID1 盘在执行4 个dd时硬盘busy度没有达到30% ,并且等待只有7% 。这个结果说明,在RAID1 测试中,提高读写效率的不仅是10k转SAS硬盘,RAID控制器对硬盘性能提升也有明显的帮助,尤其是RAID控制器所配备的缓存,可以显著提升预读数据的命中率。
虽然得到了很好的测试结果,但是现有的集群服务器不支持10k转SAS硬盘,由于集群系统选用的刀片服务器为双计算单元高密度刀片,无法安装RAID控制器。因此,无法实施以RAID盘方案来解决现有集群系统出现的问题。但是该结果提供了很好的思路。可以通过高IOPS高存储带宽的存储来替代应用所需缓存盘。
目前,新疆油田公司石油勘探数据处理集群系统使用的主力存储系统主要是高性能并行网络存储系统。通过长期的观察得知目前承载的应用没有完全消耗该存储系统的有效带宽和读写能力,同时计算节点在正常运行时网络带宽也远超出了应用所需要的网络带宽。将应用所需缓存区部署到了地震数据所在的存储系统上,并进行了实际生产测试,得到了较好的效果。
从作业完成情况看,同样的作业在本地硬盘作为缓存时用11 小时完成了作业,当缓存设置在网络并行存储时则用了3 小时。利用高速并行存储系统替代本地硬盘上的地震数据处理软件作业缓存区是在已有系统上实现高效运行的最佳方案。
2. 2 改变数据存储方式提高处理效率
对于地震数据存放方式引起的计算节点效率低的问题,也进行了相关分析和测试。在石油地震数据处理过程中,反褶积以后的作业都需要以CMP方式访问,建议处理员将反褶积输出数据指定成CMP道集输出。虽然从炮域转换成CMP域会消耗较长的时间,但是从炮集转换成CMP道集后,每个CMP道集所需要的数据将从与该CMP相关的不同单炮中随机分布的存储系统中的随机分散存储状态转换成相关接收道顺序排列的存储状态。
对于存储系统来说顺序读写效率是最高的,同时,以后的处理过程中直接读取CMP道集时,应用系统不再需要在整个数据体中搜索抽取需要的接收道数据,而是直接顺序读取所需要的CMP道集即可,会提高计算节点的计算效率,同时避免了数据的多次反复读,降低了共享存储的系统开销。
从图5 可以看出,输入数据为CMP道集的作业运行效率是从单炮方式记录的数据中抽取CMP的道集作业的5 倍左右。这个测试结果可以说明高密度采集的大数据体的存储方式会影响处理作业在集群节点的运行效率。
3 结束语
在解决高密度宽方位采集地震数据处理系统效率低的过程中,认识到以下两点。
首先,高密度外业采集技术的广泛使用,标志着石油勘探步入了大数据时代,对以往的处理系统及处理手段提出新的要求,需要深入研究大数据本身内部结构和关联性。数据体内部结构是解决问题的关键。
其次,目前已建成的石油地震勘探处理系统在处理地震勘探大数据时必然会出现不适应的问题。需要按大数据要求对数据处理系统进行必要的调整和完善,也需要数据处理人员在工作习惯和方法上的改变。只有做到合理改变才能适应大数据时代石油勘探数据处理中遇到的问题。
参考文献
[1]陆基孟.地震勘探原理[M].东营:中国石油大学出版社,1993:85-129.
[2]汪中夏,王英华,栾伟.Raid数据恢复技术揭秘[M].北京:清华大学出版社,2010:1-48.
[3]贺春光,王英华,栾伟.地球物理勘探海量地震数据高效操纵技术[J].石油工业计算机应用,2011(2):25-28.
[4]杨传辉.大规模分布式存储系统:原理解析与架构实现[M].北京:机械工业出版社,2013:66-141.
存储处理 篇8
在计算机的发展历史上,出现了多任务和多用户系统。这种多任务系统建立在CPU时钟周期多元化的基础上,所需完成的任务分别进驻在主存储器中,从而可以获得较高的资源利用[1]。为了满足多任务系统发展的要求,实现虚拟存储的功能,计算机系统中产生了存储管理单元MMU(Memory Management Unit)。存储管理单元是处理器支持虚拟存储器的核心部件[2],它的主要作用是进行虚拟地址到物理地址的转换,并且提供多任务间存储器访问的保护机制。
基于SPARC V8结构,设计了一种用于该处理器的存储管理单元,并采用SOC(System On Chip)技术,将其集成到处理器核中,以提高系统的性能和可靠性。
1 MMU的总体结构
SPARC V8处理器采用虚拟地址cache的存储结构[3,4],即在指令流水时,CPU发出的虚拟地址可以直接访问cache,而不是每次都要等到MMU将虚拟地址转换成物理地址以后才能进行,这样显著地减少了访问cache所花费的时间,大大提高了系统的访存速率,其结构如图1所示。
可以看到,处理器核中集成了片内的cache和MMU等存储模块,片外则通过AHB(Advanced High-Performance Bus)总线与主存相连。
该系统中cache的标记部分存储的是虚地址标记,当CPU访问cache时,将发出的虚拟地址与cache的虚地址标记进行比较,如果匹配,则访问命中,这时CPU直接从cache的存储器中获取所需的数据或指令,省去了MMU进行地址转换的时间。如果cache未命中,则就需要MMU将虚拟地址转换成物理地址,送回给cache的控制器后再由物理地址去访问主存,MMU的工作原理如图2所示。
MMU模块中主要包括TLB(Translation Lookaside Buffer)表项及其相应的控制电路,其中TLB表项是一个类似于cache的存储模块,它保存着虚实地址的转换信息。对应于处理器中独立的I-cache和D-cache,其MMU也分别设置了I-tlb和D-tlb,两者在结构和转换原理上完全一样,使得指令和数据的地址转换可以独立进行,这样提供了更大的转换带宽,进而提高了处理器的性能和处理速率。
另外,MMU还提供了存储器保护功能,确保一个进程不能读/写其它进程的地址空间。如果当前访问违背了存储保护的原则,或者虚拟地址到物理地址的转换不成功,都会产生相应的异常信号去告知CPU,并通过操作系统调用异常处理程序来进行处理。
2 MMU的地址映射策略
SPARC V8处理器的MMU把来自CPU的32位虚拟地址转换成36位的物理地址,从而提供了32位总线到64GB物理空间的存储器映射。MMU采用了页式存储管理,它把主存储器、虚拟存储器和磁盘存储器都分成固定大小(4K)的块,称为页。因此,虚拟地址和物理地址具有共同的页偏移量,只要找到了物理页号就可以形成物理地址。实际上,虚拟地址到物理地址的转换,就是从虚地址标志映射到物理页号的过程,它按照图3所示的五个步骤进行。
主存中的三级页表用来存储全部的地址转换信息,而第一级页表的根指针则存储在上下文表中,通过页表中页表项的最低两位ET来判断是否要继续查找页表。可见,MMU可以实现不同级数的页表访问,最少1级,最多4级[5]。页表中的存储项如果为PTD(Page Table Descriptors),则它包含了指向下一级页表的指针(PTP);如果为PTE(Page Table Entry),则它包含了物理地址的页号(PPN)。虚拟地址Vaddr中的三个虚拟地址标志index1、index2和index3分别为查找相应级别的页表提供了索引。
图3中,CTPR和CTXNR分别是MMU的上下文表指针寄存器和上下文寄存器,CTP是指向上下文表(Context Table)的首地址;Context Number是上下文号,作为查上下文表的偏移量。在查找过程中,首先由CTPR和CTXNR的内容去查上下文表,得到三级页表的入口地址,判断该地址是PTD还是PTE。如果是PTE则不需要再查页表,这样每页有4GB的寻址空间;否则继续查找页表。如果在Level-1 Table中找到PTE,则每页有16MB的寻址空间;如果在Level-2 Table中找到PTE,则每页有256KB的寻址空间;如果在Level-3 Table中找到PTE,则每页有4KB的寻址空间;如果找不到PTE的话,则提示错误。找到PTE后,由PTE中的PPN加上虚拟地址Vaddr的offset偏移量,就得到了物理地址Paddr。
3 TLB的设计实现
从主存中查页表来形成物理地址的过程可见,每一个虚拟地址到物理地址的转换,至少要一次访存(在上下文表中就找到了PTE),最多要四次访存(在第三级页表中找到PTE),其地址的转换速率太慢。为了加快虚拟地址到物理地址的转换,MMU中专门设有页描述符cache,也叫TLB(Translation Lookaside Buffer),它里面高速缓存有地址转换所需的页表项信息。这样,每次地址转换时,只需要将虚拟地址和TLB中的虚地址标志进行比较,若匹配成功,就可以直接利用与虚标志相对应的页表项来形成物理地址,大大加快了地址转换的速率。TLB的结构如图4所示。
TLB实际上是专门用于地址转换的cache,其结构包含相联存储器CAM、TLB条目的替换逻辑和写回主存的同步存储器Syncram三部分。MMU的TLB最多可以配置64个全相联的CAM条目[6],如果条目数太多,会影响相联比较的速度;如果条目数太少,又会降低TLB的命中率,所以选择合适的CAM条目数也非常关键。
3.1 TLB的匹配逻辑
判断TLB是否命中是通过相联存储器CAM(content-addressable memory)来实现的。CAM是按内容寻址的存储器,它的基本原理是:把存储单元所存内容的某一部分作为检索项(即关键字项),去检索该存储器,并将存储器中与该检索项符合的存储单元内容进行读出或写入。
在图4中,TLB有8个CAM条目项,编号从“000”到“111”。每个条目项中存有进程号ctx、虚地址的三个索引(I1、I2和I3)、页表级别LVL、页表项的有效位VALID、超级用户位su和对应的PTE信息。
在TLB进行虚实地址的转换时,将输入的用户进程号、虚地址同时与所有CAM条目中的进程标志、虚地址标志进行比较,并按照每个条目的LVL进行匹配。若匹配成功且VALID为1,则TLB命中,此时将对应CAM条目中的PPN取出,与虚地址部分拼接来形成物理地址,拼接的规则如下。
(1) 当LVL=PAGE时,表示该条目的PTE来自第三级页表,此时需要ctx、I1、I2、I3都匹配。生成的物理地址由该条目的PPN与虚拟地址的页偏移量拼接而成,即PA[35:0]=PPN[31:8]&VA[11:0]。
(2) 当LVL=SEGMENT时,表示该条目的PTE来自第二级页表,此时需要ctx、I1、I2都匹配。生成的物理地址由该条目中PPN的高18位与虚拟地址的I3和页偏移量拼接而成,即PA[35:0]=PPN[31:14]&VA[17:0]。
(3) 当LVL=REGION时,表示该条目的PTE来自第一级页表,此时需要ctx、I1都匹配。生成的物理地址由该条目中PPN的高12位与虚拟地址的I2、I3和页偏移量拼接而成,即PA[35:0]=PPN[31:20]&VA[23:0]。
(4) 当LVL=CTX时,表示该条目的PTE来自上下文表,此时只需要ctx匹配即可。生成的物理地址由该条目中PPN的高4位与整个32位的虚拟地址拼接而成,即PA[35:0]=PPN[31:28]&VA[31:0]。
3.2 TLB的替换策略
如果虚地址标志匹配不成功或者页表项的VALID为0,则TLB未命中,表示本次地址转换所需的信息不在TLB中。这时需要到主存中查相应级别的页表,找到对应的PTE并装入TLB,然而如果此时TLB中没有空余的条目,就必须将某些条目替换掉。这里用到的替换算法有LRU和随机法两种,一般选用LRU算法。
随机法是从编号0到编号7(假设TLB中一共有8个条目)依次加1循环计数,把当前的随机数(用三位逻辑向量表示)作为被替换的条目地址。这种算法简单,易于实现,但没有利用条目使用情况的历史信息,反映不了程序的局部性,其命中率低,因此很少采用。
LRU(最近最少被使用)算法则是根据各条目的使用情况,将所有条目的编号按照从左到右的顺序排列,最左边表示最近最少被使用的,最右边表示刚被访问的,这样每次要进行替换时,就把最左边的条目替换掉。其过程如图5所示。
图5中(a)表示TLB未命中时条目的替换过程。此时,最左边的0号条目被来自主存中的新条目替换掉,并将该新装入的条目放在最右边,而其它的条目依次向左移动。在新序列中,条目1移到了最左边,成了最近最少被访问的、下次最先被替换的条目。
如果TLB命中的话,也是要修改LRU序列的,因为访问命中了某个条目后,表示该条目最近刚被使用过,应该把它放在最右边,其过程如图5中(b)所示。由图可知,当访问命中条目5后将其移到了最右边,它左边的条目位置不变,而它右边的条目依次向左移动。
3.3 TLB的写回
与cache的写回特性相似,MMU中的指令TLB不能被CPU更改,所以在这里只需要讨论数据TLB被修改后所实现写回主存的操作。
如前所述,每次在TLB未命中时,都要去主存中查找所需的PTE。查找结束后,将该PTE及相关的虚地址标志信息写到要被替换的那个CAM条目里;同时还将该PTE的地址写到Syncram里,如图4所示,所以TLB中的Syncram预先记录了所有CAM条目中PTE所对应的主存地址。
如果CPU修改了数据TLB中的某个条目,相应的M位会变为1。在实现时,使用两个信号NEEDSYNC和twNEEDSYNC来分别表示在TLB命中和未命中的情况下,是否有某个条目的PTE被修改并需要写回到主存中。如果有,则将该PTE作为要写的数据、将Syncram中存的PTE地址作为访存地址通过AHB总线去更新主存,这样保证了TLB和主存页表中PTE信息的一致性。
3.4 快速TLB操作
以上设计思想是虚拟地址在访问cache未命中以后才去访问MMU中TLB的,其实还可以选择一种快速的TLB操作,即每次让虚拟地址同时访问cache标志和TLB。这样在cache缺失时,该操作比原方法要节省2个时钟周期,进一步提高了系统的吞吐量,然而它需要在某种程度上增加硬件面积。所以,应针对处理器不同的性能需求,来综合考虑选择哪一种TLB操作。
4 存储保护与异常处理
4.1 存储保护
MMU除了实现虚拟地址到物理地址的转换外,还可对页面的读、写、执行和用户权限做出相应的保护。SPARC V8处理器的存储保护功能[7]是通过上下文寄存器和PTE中设置标志位来完成的。
上下文寄存器里的上下文号(Context Number,即进程号)表明了当前的地址空间是属于该用户进程的,所以此时此刻其它进程都不能进行存储器的读/写操作。上下文号在任意两个进程间都建立起了保护墙,同时它也方便了进程间任务的切换。另外,在页表项PTE中设置了访问权限位ACC来表明当前的访问是超级用户还是一般用户、是读操作还是写操作、是指令空间还是数据空间,如表1所示。
这里使用了地址空间标识符ASI。其中,ASI=0x8和ASI=0xA分别表示一般用户的指令空间和数据空间;ASI=0x9和ASI=0xB分别表示超级用户的指令空间和数据空间。表中的“读/写”表示对数据的读写操作,“执行”表示指令的执行操作。从表可知,当ACC=6或者7时只允许超级用户的访问,此时一般用户没有访问权限。
4.2 异常处理
如果当前的访问与相应的存储保护标志相匹配,那么转换出来的物理地址是有效的,可以用它去访问存储器;如果当前的访问违反了保护规则,那么将导致访问错误,转换出来的物理地址就无效,这时MMU会把错误类型和发生访问错误的地址分别记录在故障状态寄存器和故障地址寄存器中。
如图6所示,故障地址寄存器中存储的是32位的故障地址;故障状态寄存器中各字段所表示的含义说明如下:
OW—从上次读故障状态寄存器以来,重复写入同一种故障的标志位;
FAV—故障地址的有效位;
FT—当前发生的故障类型;
AT—引起故障的访问类型;
L—引起故障的条目所在页表的级别;
EBE—外部总线错误;
reserved—保留位,其值必须为零。
当异常发生时,MMU根据标志信息确定属于何种异常,然后把故障信息输出给CPU,最终转到相应的异常处理程序进行处理[8]。在测试与验证中,我们总结了一些可能引起异常的情况,如表2所示,同时还列出了MMU对这些异常情况的处理方式。
5 结论和展望
在实现多用户和多任务技术的计算机系统中,通过MMU把虚拟地址转换成物理地址来支持虚拟存储的管理,是当今微处理器设计的普遍趋势。本文基于SPARC V8体系结构的处理器,提出了一种存储管理单元的设计方案。在处理器访问cache未命中的情况下,可通过MMU生成的物理地址去访问主存以获取其所需的数据或指令,同时采用了TLB技术为MMU的虚实地址转换做了加速处理;在不同任务之间进行任务切换时,为页表的访问提供了存储保护;如果当前的访问违背了所规定的保护机制,MMU能够根据发生故障的类型进行相应的异常处理,提高了系统的容错性和灵活性。
此外,进一步的研究工作主要是通过量化分析为TLB中CAM条目的数量选择最佳值,以寻求高命中率、高地址转换速率和低功耗的平衡点,使得在满足处理器应用需求的前提下,达到优化处理器性能的目的。
参考文献
[1]夏晓,陆明达.32位嵌入式微处理器中存储管理单元结构的研究与设计.上海:同济大学硕士论文,2004
[2]Patterson D A,Hennessy J L.Computer Architecture:A Quantitative Approach,Third Edition.San Francisco:Morgan Kaufman Publish,2002
[3]施蕾,刘波,周凯.基于SPARC V8结构处理器的计算机系统设计.空间控制技术与应用,2008;34(3):46—50
[4]胡越明.计算机系统结构.北京:北京航空航天大学出版社,2007;10
[5]吴志雄,郑灵翔,周剑扬.SPARC V8处理器断电调试的设计与实现研究.电子技术应用,2008;34(8):38—44
[6]Gaisler J,Catovic E,Isomaki M,et,al.GRLIB IP Core User’s Manual,Version1.0.20,February,2009
[7]SPARC International Inc.The SPARC Architecture Manual,Version8,1992
存储处理 篇9
高性能的IC制造装备涉及超过40个运动轴的超精密同步运动控制, 具有实时性高、任务复杂、计算量大和数据吞吐率高等特点, 对计算性能的要求超过了单一处理器的计算能力, 因此通常采用多处理器并行计算架构[1]。超精密运动控制涉及多种测量系统, 且测量数据需要在多个并行计算节点间传输;工作台多自由度运动存在紧密的运动耦合[2], 多轴运动控制可能在不同的并行计算节点中实现, 各节点需要共享临时数据。此外, 工作台的响应频率、控制精度等要求较高的伺服带宽, 这意味着需要在较短的采样周期中完成针对所有轴的运动控制[3]。因此, 如何实现并行计算节点间的高效数据交互成为了关键问题。数据交互须具备高可靠性、高数据吞吐量、低传输延迟等特性, 同时应占用较小的处理器软件开销[4], 以确保多维精密工作台运动控制的实时性。
通常在并行架构中设计数据传输网络来实现节点间的数据交互, 根据不同传输网络结构, 并行计算系统可分为紧耦合式系统和松 耦合式系统[5], 前者共享总线或存储器, 编程模型简单, 适用于大量共享数据且实时性要求不高的应用, 但随着处理器的增多, 处理器之间的访问竞争和不断增加的延迟易造成总线带宽瓶颈, 从而限制了系统性能[6];后者采用分布式内存结构, 易于扩展, 但需设计专门的消息传递机制, 如广泛应用于并行计算 系统的MPI (message passing inter- face) [6,7]需专门设计数据通信层来处理数据传输, 编程模型复杂且占据较多的处理器软件资源[8,9]。文献[10-11]采用较新思路设计了共享内存模型, 避免了总线带宽瓶颈, 分别实现了3个、 4个处理器之间的高速数据传输, 但基于该思路的共享内存结构在处理器增多时会异常复杂。运动控制算法具备明显的周期性, 即在每个插补周期中具备一致的数据传输交互需求, 即使具备复杂的数据传输源、目的地址, 但数据传输关系仍具备明确的周期性。
本文提出了一种应用于多处理器并行计算运动控制系统的分布式储存机制方案, 为每个并行计算节点定义了本地存储区, 设计了基于自定义总线高效消息传递服务, 实现了分布式存储区之间共享数据的自动刷新, 在分布式物理内存上建立了统一编址的共享内存模型;数据刷新过程不占用处理器软件资源, 软件编程模型简单, 数据交互服务性能不受并行计算节点数量的影响。
1分布式存储结构与并行计算节点
分布式存储区结构如图1所示, 采用自定义内部总线 (internal bus, IB) 来构建数据传输网络, 各个DSP拥有其本地存储区, 各存储区之间通过数据传输网络进行共享数据交互。并行计算节点的处 理器采用TI公司的浮 点型DSP TMS320C6713。
考虑到针对不同运动轴的控制算法可能在不同的并行计算节点中实现, 而并行计算节点间的数据访问相互独立即存在并行计算节点同步访问共享数据 (如工作台的位置测量数据等) 的需求, 因此采用拷贝策略, 即允许针对同一共享数据的不同拷贝存储在各个本地存储区中, 则各处理器可同步访问其本地存储区, 而无共享总线冲突, 不会导致数据传输性能瓶颈问题。采用内部总线构建了本地存储区之间的数据传输网络, 来实现共享数据的拷贝。在各并行计算节点的地址映射中, 本地存储区的对应物理地址是独立的, 但为了实现分布式存储区间的数据拷贝, 在分布式存储空间中定义了统一的逻辑地址。如图1所示, 内部总线包含1个主控制器与若干个从控制器, 数据传输由主从控制器协同实现。
图2描述了基于DSP并行计算节点的结构。 DSP为处理核心, 其外部存储器访问接口 (exter-nal memory interface, EMIF) 与外部设备无缝连接。因此扩展的 数据存储 器 (包含SRAM与FLASH) 挂接在EMIF总线上, 可实现DSP对外部数据的高速访问。利用FPGA (field program- mable gate array) 的片内存储资源设计了双端口RAM (dual-port RAM, DPRAM) , 并将其作为每个并行节点的本地存储区。在FPGA内部设计了针对DPRAM的双端口访问时序, 一方面, DSP可通过EMIF总线访问DPRAM;另一方面, 内部总线控制器通过自定义的内部总线时序, 亦可同步访问DPRAM。设计了总线缓冲 (buffer) 来隔离高速数据访问 (SRAM访问) 与低速访问 (其他数据访问) , 改善了数据访问通道的物理特性, 使DSP能达到较高的数据访问带宽。
DPRAM允许内部总线与DSP对其同步访问, 但若两侧的访问针对同一个物理地址, 则将导致访问冲突, 发生存储错误。因此, 需考虑到当内部总线执行共享数据拷贝的同时, 一旦DSP执行外部数据访问, 将可能导致错误情况。在DSP侧, 可通过配置EMIF接口来应对访问冲突问题, 如维持数据访问控制信号直到访问冲突结束, 但在内部总线上难以设计相类似的机制。因此内部总线的数据访问应该具备更高的优先级, 即内部总线上的数据传输一旦启动, DSP对其本地存储区的访问应被禁止, 以避免产生本地存储区访问冲突。将本地存储区定义为共享资源, 并设计了针对DSP的中断信号 (作为访问共享资源的信号量, 来开启或禁止DSP对于本地存储区的访问) 。
2分布式存储机制的实现
2.1分布式存储空间分配
分布式存储空间分配的目的是统一各分布式内存的存储空间定义, 建立统一编址的共享内存模型。根据分布式内存的拷贝策略, 每个节点的本地存储区既含有需要被其他节点共享的数据, 也含有源自其他节点的共享数据拷贝, 分布式存储空间分配如图3所示。
存储空间的组织规则如下:①各并行计算拥有一个私有的存储空间, 且该空间基地址与DSP编号相关, 如2号DSP持有0x2000~0x2fff的存储空间;②各DSP能对其私有存储空间执行读或写操作, 但对其他空间仅能执行读操作。上述存储空间的总存储深度为64K×32bit, 其组织规则支持16个并行计算节点, 各节点持有4K×32bit存储空间。将多轴运动控制的插补周期作为一个并行计算周期, 在每个并行计算周期内, 各并行计算节点将需共享的数据写入其私有存储空间, 此时, 共享数据刷新尚未开始, 分布式存储区的状态如图4a所示。在内部总线上, 周期性执行的消息传递服务实现共享数据的刷新, 即将各节点的共享数据拷贝到所有节点的分布式存储区对应地址, 数据刷新之后的分布式存储区如图4b所示。
各节点的分布式存储区包含了所有的共享数据拷贝, 即忽略节点间的数据交互关系, 简化了软件编程模型。但带来以下问题:①冗余数据可能浪费部分传输能力;②必须严格确定消息传递服务的数据刷新与并行节点数据访问的时序关系, 否则会引起各分布式存储区间数据的不一致。
2.2基于内部总线的消息传递服务
内部总线为分布式存储区之间的数据传输提供实时、快速的媒介。内部总线信号定义如表1所示, 含16位的地址总线信号 (Addr) 、32位的数据总线信号 (Data) 、地址有效信号 (AEn) 、输出使能信号 (OEn) 。
内部总线采用了总线型的拓扑结构, 其数据传输规范如下:①内部总线上包含了主从控制器。 其中, 主控制器唯一 (对应DSP0) , 从控制器有多个, 各对应一个其他编号的DSP, 如图1所示。② 主节点提供地址总线信号、控制信号。在控制信号作用下, 主节点或从节点协同完成数据传输。 虽然内部总线上并无同步的时钟信号, 但所有控制信号基于同一内部时钟触发, 数据传输过程中无需涉及握手。③通过地址总线信号来寻址数据发送方。每个内部总线周期中, 如果地址总线信号的高4位所表征的二进制数值和节点DSP的编号相符, 则该节点被选中作为数据发送方, 其余节点作为数据接收方, 可见, 在每个内部总线周期, 有且仅有一个数据发送方。④数据发送方从存储区读取数据到总线, 数据接受方将总线上的数据存入其对应存储区。
根据数据传输规范, 内部总线被设计成非复用的同步广播方式总线。“非复用”意味着数据和地址信号同时出现在总线上。“同步”意味着总线信号基于统一的同步时钟驱动, 在数据发送者与数据接收者之间无通信握手。因此, 不可能出现总线数据传输的任何一方去影响 (延迟或者终止) 总线数据传输过程的情况。“广播”意味着在总线上一个设备提供数据而其他所有设备可同时存储数据。
图5描述了内部总线上的数据传输过程。在每个内部总线数据传输周期, 内部总线主控制器地址FIFO (first in first out) 将输出一个地址到地址总线信号上。由于在该地址中定义了数据传输的源、目的方, 故可通过设置内部总线主控制器中的地址FIFO, 来定义内 部总线的 数据传输 行为。
每个定义的地址对应一个内部总线周期。当内部总线地址FIFO中的地址逐一输出, 将构成一个数据传输序列 (它含有若干个内部总线周期, 在每个周期内执行32bit共享数据的广播发送) 。 通过上述消息传递服务, 在每个并行计算周期中, 各并行计算节点仅需将共享数据写入其私有存储区;此后, 数据传输序列启动, 且一旦地址FIFO中的地址被遍历, 则所有规划传输的数据已完成其传输, 分布式存储区对应存储地址空间已实现数据刷新, 所有并行计算节点皆获取所有共享数据拷贝。
由于内部总线采用广播方式, 故上述的数据传输服务并未因为冗余数据传输而耗费不必要的时间开销。分布式存储区及内部总线控制器皆基于FPGA实现, 因此, 分布式存储区之间的数据拷贝对于系统软件而言是透明的, 有效减少了DSP用于数据交互的软件开销, 传输时序一旦被规划便能始终如一地执行。根据上述的数据传输方式定义, 传输延迟仅取决于底层数据传输硬件的性能, 因此数据传输模型会更加精确。
2.3共享数据的传输规划
共享数据的刷新过程中, 若某DSP访问了其分布式存储区, 则可能会引发内部总线上的数据读写与DSP读写的冲突。此外, 需考虑共享数据的一致性, 即所有分布式存储区中的共享数据应被同步一致刷新。针对伺服控制运算的特点, 将每个伺服周期作为一个并行计算周期。共享数据传输规划策略如图6所示。
将信号量作为数据传输过程与DSP数据访问之间的标识, 即在每个伺服周期中的数据传输序列启动时, 产生同步 触发信号1 (用于中断DSP, 禁止其访问共享存储区) ;在数据传输序列结束时, 产生同步触发信号2 (表明所规划的共享数据已全部刷新, 开启DSP对共享存储区的访问) 。同步触发1和2交替出现, 使得在每个并行计算周期内, 各处理器的运算与数据访问皆遵循同一个时序基准, 确保了分布式存储区中的共享数据一致性。
3实验平台与验证
如图7所示, 内部总线数据传输实验平台包含有2块DSP处理器板、内部总线主控制器板、 Power PC处理器板。所有的板卡安装在自行设计的内部总线底板之上。每个DSP处理器板包含1个并行处理节点DSP及FPGA器件。调试PC机通过仿真器连接DSP, 以查询其存储区状态。DSP处理器板卡及内部总线主控制器板卡皆为自主设计。
实验过程如下:Power PC完成所有设备初始化后, 内部总线主控制器启动内部总线数据传输序列, 本文所描述的存储机制数据刷新开始进行。
图8所示为内部总线信号波形, 该波形采用SignalTapⅡ工具捕获。经测试, 实际的内部总线的误码率低于10-14。
通过示波器的数字通道测量内部总线信号, 可分析内部总线性能, 所采用的示波器型号为Agilent MSO7032A, 采样率为2GHz。图9所示为不同并行节点数和大小不同的数据包时, 内部
总线数据传输延迟。可见, 内部总线上能实现稳定320Mbit/s的数据传输带宽。内部总线的速度瓶颈在于总线信号的物理特性, 采用定制的总线底板可保证该特性, 进一步提高内部总线速度。 此外, 由于采用文中所讨论的数据广播传输方式, 当共享数据输出数据到总线上时, 多个节点可同步接收, 使得总线的数据传输性能不受并行节点数量增多的影响。
本文所讨论的分布式存储机制已得到实际应用。实际应用中, 并行计算周期设定为400μs, 内部总线速 率为320 Mbit/s, 共享数据 大小为200byte, 共享数据刷新时间大约占整个并行计算周期的2.5%。
4结论
(1) 基于自定义实时总线构建了高效数据传输网络, 能达到稳定320Mbit/s的数据传输带宽, 实现了分布式存储区间的数据交互通道。
(2) 设计了高性能的消息传递服务, 实现了分布式存储区共享数据刷新, 建立了基于分布式物理内存的共享内存模型。
(3) 分布式内 存及数据 传输控制 皆依赖FPGA硬件实现, 因此不占用处理器的软件资源, 编程模型简单, 与处理器类型无关。
(4) 本研究的不足在于仅针对具备明确周期性数据交互需求的应用, 即在每个并行计算周期中仅需进行静态源和目的地址的数据传输, 这是下一步研究需解决的问题。
参考文献
[1]杨亮亮, 周云飞, 潘海鸿, 等.步进扫描投影光刻机同步机制研究[J].中国机械工程, 2009, 20 (1) :20-23, 43.Yang Liangliang, Zhou Yunfei, Pan Haihong, et al.Research on Synchronous Mechanism of Step-scan Projection Lithography[J].China Mechanical Engineering, 2009, 20 (1) :20-23, 43.
[2]穆海华, 周云飞, 周艳红.洛仑兹电机运动控制耦合机理分析及动力学建模[J].中国电机工程学报, 2009, 29 (15) :95-100.Mu Haihua, Zhou Yunfei, Zhou Yanhong.Coupling Mechanism Analysis and Dynamic Modeling for Lorentz Motor Motion Control[J].Proceedings of the CSEE, 2009, 29 (15) :95-100.
[3]程鑫, 周云飞.针对多轴精密同步运动控制的并行计算架构设计[J].中国机械工程, 2011, 22 (18) :2156-2162.Cheng Xin, Zhou Yunfei.Design of Parallel Computing Architecture for Multi-axis Ultra-precise Synchronous Motion Control[J].China Mechanical Engineering, 2011, 22 (18) :2156-2162.
[4]Kohout J, George A D.A High-performance Communication Service for Parallel Computing on Distributed DSP Systems[J].Parallel Computing, 2003, 29:851-878.
[5]Milenkovic A, Milutinovic V.A Performance Evaluation of Cache Injection in Bus-based Shared Memory Multiprocessors[J].Microprocessors and Microsystems, 2002, 26 (2) :51-61.
[6]Bruck J, Dolev D, Ho C T, et al.Efficient Message Passing Interface (MPI) for Parallel Computing on Clusters of Workstations[J].Journal of Parallel and Distributed Computing, 1997, 40 (1) :19-34.
[7]Lauria M, Chien A.MPI-FM:High Performance MPI on Workstation Clusters[J].Journal of Parallel and Distributed Computing, 1997, 40 (1) :4-18.
[8]Hurwitz J, Feng Wuchun.Analyzing MPI Performance Over 10-Gigabit Ethernet[J].Journal of Parallel and Distributed Computing, 2005, 65 (10) :1253-1260.
[9]Karwande A, Yuan Xin, Lowenthal D K.An MPI Prototype for Compiled Communication on Ethernet Switched Clusters[J].Journal of Parallel and Distributed Computing, 2005, 65 (10) :1123-1133.
[10]Yan Luxin, Zhang Tianxu, Zhong Sheng.A DSP/FPGA-based Parallel Architecture for Real-time Image Processing[C]//Proc.of 6th World Congress on Control and Automation.Dalian, China, 2006:10 022-10 025.
存储处理 篇10
在英特尔至强C5500及C3500系列处理器中,英特尔工程师首次将PCI Express*(PCIe*)和所有输入/输出(I/O)功能集成到一个双核至强处理器之中,从而能够为像网络电视(IPTV)、视频点播服务、多媒体数字电话(VoIP)、网络连接存储(NAS)、存储域网络(SAN)和无线网络控制器等密集型存储和通讯解决方案提供更有力支持。英特尔至强C5500及C3500系列处理器专为通讯、嵌入式和存储市场而设计,保持了英特尔Nehalem架构所具备的卓越性能,此外,与面向服务器应用的英特尔®至强®5500系列处理器相比,系统功耗降低了27瓦。
英特尔公司嵌入式与通讯事业部高性能产品部门总经理Rose Schooler表示:“通过推出英特尔至强双芯片解决方案,英特尔为客户提供了具有更具卓越性能的处理器,可全面满足快速发展的通讯环境和嵌入式市场不断提升地对于高密度计算应用需求。同时,英特尔还致力于为设备开发商提供更多的产品选择,支持他们通过充分利用英特尔架构具备的诸多优势而不断革新自己的系统设计,从而快速面向市场推出最佳产品。”
英特尔数据中心事业部存储部门总经理Seth Bobroff表示:“这次发布的新型处理器将英特尔至强处理器的强大性能延展到了包括存储在内的关键领域数据中心应用中。通过集成PCIe以及例如RAID加速和非透明桥在内的存储特性,客户将能够在通用架构上,设计出具有强大性能和出色散热方案的各式系统。”
产业链厂商产品详情
全球设备制造商在通讯、嵌入式和存储市场推出了多款基于英特尔至强C5500/C3500系列处理器的产品,其中包括:
·Caswell CAR-5000:该产品是一款双插槽、2U机架安装式网络设备,用于支持高性能网络应用,如通用横轴墨卡托投影(UTM)系统、防病毒、防火墙、虚拟专用网(VPN)以及内容过滤等应用;
·技嘉GA-7JASV:该产品是一款通用的ATX规格的主板,专为网络服务器和其它通讯系统而精心设计;
·Kontron AM5030:该产品是一个为高密度服务器环境而设计的双倍宽度、全尺寸的AdvancedMC*处理器模块,适用于部署在存储、军事/航空以及通讯网络中;
·Lanner FW-8910:该产品是一款2U机架安装式双CPU设备,旨在为网络安全、网络准入控制(NAC)和WAN性能加速市场带来更高性能;
·Trenton JXT6966:该产品是一款PICMG*1.3系统主机板(SHB),可用于计算密集型的嵌入式、军事/国防、医疗成像和通讯系统设计之中;
·此外,其他许多厂商也为存储市场推出了基于英特尔至强处理器C5500及C3500系列的产品。这些厂商包括A-IC/Xtore、邦诺、天弘、乔鼎资讯、创新科和Xyratex International Inc.等。
定价与上市情况
全新英特尔至强处理器将面向通讯、嵌入式以及存储客户推出,享有英特尔七年生命周期支持服务。定价方案如下:
云计算时代的存储技术——云存储 篇11
云其实是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网, 后来也用来表示互联网和底层基础设施的抽象。云计算分狭义云计算和广义云计算。狭义云计算指IT基础设施的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式, 指通过网络以按需、易扩展的方式获得所需服务。如果仅下一个定义, 人们仍然无法理解到底什么是云计算, 我们举一个很浅显的例子。传统模式下, 企业建立一套IT系统不仅仅需要购买硬件等基础设施, 还有买软件的许可证, 需要专门的人员维护。当企业的规模扩大时还要继续升级各种软硬件设施以满足需要。对于企业来说, 计算机等硬件和软件本身并非他们真正需要的, 它们仅仅是完成工作、提供效率的工具而已。对个人来说, 我们想正常使用电脑需要安装许多软件, 而许多软件是收费的, 对不经常使用该软件的用户来说购买是非常不划算的。如果能够提供我们需要的所有软件供我们租用, 我们只需要在用时付少量“租金”即可“租用”到这些软件服务, 为我们节省许多购买软硬件的资金。我们每天都要用电, 但我们不是每家自备发电机, 它由电厂集中提供;我们每天都要用自来水, 但我们不是每家都有井, 它由自来水厂集中提供。这种模式极大得节约了资源, 方便了我们的生活。面对计算机给我们带来的困扰, 我们可不可以像使用水和电一样使用计算机资源?这些想法最终导致了云计算的产生。云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众, 使人们能够像使用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。在云计算模式下, 用户的计算机会变的十分简单, 或许不大的内存、不需要硬盘和各种应用软件, 就可以满足我们的需求, 因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件。这就像连接“显示器”和“主机”的电线无限长, 从而可以把显示器放在使用者的面前, 而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络, 把“主机”变成云服务提供商的服务器集群。在云计算环境下, 用户的使用观念也会发生彻底的变化:从“购买产品”到“购买服务”转变, 因为他们直接面对的将不再是复杂的硬件和软件, 而是最终的服务。用户不需要拥有看得见、摸得着的硬件设施, 也不需要为机房支付设备供电、空调制冷、专人维护等等费用, 并且不需要等待漫长的供货周期、项目实施等冗长的时间, 只需要把钱汇给云计算服务提供商, 我们将会马上得到需要的服务。这就是云计算, 在这样的模式下, 云存储又是怎么一回事, 它与云计算有怎样的联系呢?
2 云存储概念
云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念, 是指通过集群应用、网格技术或分布式文件系统等功能, 将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时, 云计算系统中就需要配置大量的存储设备, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说, 云存储就是将储存资源放到网络上供人存取的一种新兴方案。使用者可以在任何时间、任何地方, 透过任何可连网的装置方便地存取数据。然而在方便使用的同时, 我们不得不重视存储的安全性, 存储必须具有良好的兼容性, 以及它在扩展性与性能聚合方面等诸多因素。首先, 作为存储最重要的就是安全性, 尤其是在云时代, 数据中心存储着众多用户的数据, 如果存储系统出现问题, 其所带来的影响远超分散存储的时代, 因此存储系统的安全性就显得愈发重要。其次, 在云数据中心所使用的存储必须具有良好的兼容性。在云时代, 计算资源都被收归到数据中心之中, 再连同配套的存储空间一起分发给用户, 因此站在用户的角度上是不需要关心兼容性的问题的, 但是站在数据中心的角度, 兼容性却是一个非常重要的问题。众多的用户带来了各种各样的需求, Windows、Linux、Unix、Mac OS, 存储需要面对各种不同的操作系统, 如果给每种操作系统更够配备专门的存储的话, 无疑与云计算的精神背道而驰, 因此, 云计算环境中, 首先要解决的就是兼容性问题。再次, 存储容量的扩展能力。由于要面对数量众多的用户, 存储系统需要存储的文件将呈指数级增长态势, 这就要求存储系统的容量扩展能够跟得上数据量的增长, 做到无限扩容, 同时在扩展过程中最好还要做到简便易行, 不能影响到数据中心的整体运行, 如果容量的扩展需要复杂的操作, 甚至停机, 这无疑会极大地降低数据中心的运营效率。最后, 云时代的存储系统需要的不仅仅是容量的提升, 对于性能的要求同样迫切, 与以往只面向有限的用户不同, 在云时代, 存储系统将面向更为广阔的用户群体, 用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升, 只有这样才能对请求作出快速的反应, 这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能, 这显然是传统的存储架构无法达成的目标, 传统的存储系统由于没有采用分布式的文件系统, 无法将所有访问压力平均分配到多个存储节点, 因而在存储系统与计算系统之间存在着明显的传输瓶颈, 由此而带来单点故障等多种后续问题, 而集群存储正是解决这一问题, 满足新时代要求的千金良方。
3 云存储技术与传统存储技术
传统的存储技术是把所有数据都当作对企业同等重要和同等有用来进行处理, 所有的数据集成到单一的存储体系之中, 以满足业务持续性需求。但是在面临大数据难题时显得捉襟见肘:1) 成本激增。在大型项目中, 前端图像信息采集点过多, 单台服务器承载量有限, 就造成需要配置几十台, 甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加;2) 磁盘碎片问题。由于视频监控系统往往采用回滚写入方式, 这种无序的频繁读写操作, 导致了磁盘碎片的大量产生。随着使用时间的增加, 将严重的影响整体存储系统的读写性能, 甚至导致存储系统被锁定为只读, 而无法写入新的视频数据;3) 性能问题。由于数据量的激增, 数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据, 在索引时往往需要花上几分钟的时间。
作为最新的存储技术, 与传统存储相比, 云存储具有以下优点:1) 管理方便。其实这一项也可以归纳为成本上的优势。因为将大部分数据迁移到云存储上去后, 所有的升级维护任务都是由云存储服务提供商来完成, 节约了企业存储系统管理员上的成本压力。还有就是云存储服务强大的可扩展性, 当企业用户发展壮大后, 突然发现自己先前的存储空间不足, 就必须要考虑增加存储服务器来满足现有的存储需求。而云存储服务则可以很方便的在原有基础上扩展服务空间, 满足需求;2) 成本低。就目前来说, 企业在数据存储上所付出的成本是相当大的, 而且这个成本还在随着数据的暴增而不断增加。为了减少这一成本压力, 许多企业将大部分数据转移到云存储上, 让云存储服务提供商来为他们解决数据存储的问题。这样就能花很少的价钱获得最优的数据存储服务;3) 量身定制。这个主要是针对于私有云。云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案, 或者可以是企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务, 而且还能在一定程度上降低安全风险。
传统的存储模式已经不再适应当代数据暴增的现实问题, 如何让新兴的云存储发挥它应有的能力, 在解决安全、兼容等问题上, 我们还需要不断的努力, 就目前而言, 云计算时代已经到来, 作为其核心的云存储必将成为未来存储技术的必然趋势。
摘要：随着信息化以及计算机网络技术的高速发展, 从计算机应用由于资源匮乏而不得不采取的计算资源大集中模式到如今IT技术高度发展而带来的云计算时代。数据信息量的不断增加, 给传统的存储技术带来了新的挑战, 如何让数据存储适应新技术的发展无疑是我们在发展的道路上必须弄清楚的一个重要问题。本文由浅入深, 首先从云计算、云存储的概念谈起, 进而分析在云计算时代云存储技术的实际作用。通过对传统存储技术与云存储技术的对比, 体现云存储技术是未来数据存储的必然趋势。
关键词：网络,云计算,数据存储,云存储
参考文献
[1]高岚岚.云计算与网格计算的深入比较研究[J].海峡科学, 2009 (2) .
[2]卢大勇, 陆琪, 姚继锋.伯克利云计算白皮书 (节选) [J].高性能计算发展与应用, 2009 (1) .
[3]李德毅, 孟海军.隶属云和隶属云发生器[J].计算机研究与发展, 2009.
[4]中国云计算网.什么是云计算, 2009.
[5]维基百科.Cloud computing, 2009.
[6]Amazon Amazon elastic compute cloud (Amazon EC2) 2009.