数据采集与存储（共12篇）
数据采集与存储 篇1
摘要：伴随着互联网信息技术的发展以及大数据时代的到来, 当今社会的信息交流与传递具有高速便捷的特点。足不出门可知天下事已经成为可能。信息技术的高速发展对当今社会的经济政治和文化发展都有着很大的促进作用。但是, 与此同时, 互联网中也暗藏着种种不安全的因素, 数据存储安全也越来越受到人们的重视。
关键词：数据安全,数据备份,存储技术
一、数据安全
1.1逻辑上的安全。数据的不安全性主要原因包括病毒入侵, 黑客攻击, 人为篡改等等, 其中硬件和软件的故障是造成数据不安全性的主要原因。逻辑上的安全, 一般是指防止不法分子入侵或病毒破坏的措施。就比如说, 现在很多企业都是通过互联网来进行业务往来或通过互联网与其分支机构进行联系与管理, 一旦数据丢失, 造成的损失是巨大的。所以这些企业都很重视存储在服务器里的数据, 比如说, 公司内部文件, 公司账户, 或客户资料。而硬盘在数据存储中发挥着重大的作用, 正因为如此才成为黑客攻击的对象, 硬盘的价值是有价的, 但是存储在硬盘内的数据是无价的。
1.2物理上的安全。这就是对于电脑本身而言, 电脑受到人为因素的破坏或者不可抗力的灾害时, 若之前没有对电脑内部存储的数据进行数据备份, 那这些数据也会随着电脑的损坏而消失。
其实不管是逻辑上的安全还是物理上的安全受到威胁, 数据备份都是一个直接有效的措施, 这也就是俗话说的有备无患。
二、数据备份
数据备份是防止数据安全性受到挑战的有效措施, 一旦原有数据受到侵犯, 在对不法分子进行法律追踪的同时, 也能启动备用数据, 使服务器快速再次投入使用, 将受到的损害减少到最小的限度, 减少损失。
三、数据备份技术分类
数据备份从不同的角度可以分为不同的类型, 以备份模式的角度来看, 可以分为逻辑备份和物理备份。
3.1逻辑备份。逻辑备份也可以称为基于数据的备份, 前面我们提到过, 硬盘是有价的, 而硬盘内的数据是无价的, 逻辑备份就是针对数据进行备份。
每一个文件都是由不同的数据组成的额逻辑块组成的, 而每一个逻辑块都存储在有顺序的物理磁盘块上。备份软件不仅可以对磁盘块进行操作, 也可以对文件进行操作, 智能识别文件结构, 将所有的文件和数据拷贝到备份资源系统中去, 这样就可以按照文件的排列顺序读取文件, 并且录入备份媒介上, 这样极大地促使了单独文件的恢复速度。但是, 长期连续存储数据, 会让备份文件的速度减慢, 因此在进行无顺序文件的查找时需要消耗更多的时间。逻辑备份的缺点就在于, 因为其备份的原则是按照顺序连续备份, 如果只是其中一小部分的文件出现问题, 也要对整个文件进行备份。
3.2物理备份。物理备份也被称为“基于设备的备份”, 故名思义就是在电脑操作方面对文件进行备份。电脑系统在将数据拷贝到备份媒介上时, 会自动忽略文件的结构, 因为备份文件要求在实施过程中花费较少的时间和开销, 因此就需要以这种方式提高文件的性能。不过, 这种方法也有它的缺点, 因为物理备份与逻辑备份不同, 它并不是将文件连续的存储在备份媒介上, 这样的话文件恢复起来就会比较缓慢。在这种情况下, 要对数据进行备份的话, 就需要了解文件在磁块上的组织信息。物理备份的另外一个缺点就是可能会导致数据引入的不一致, 一般电脑在进行数据备份时, 会对要备份录入磁盘块的数据进行缓存, 而物理备份跨越磁盘块的特点会忽略缓存文件的数据, 造成数据的丢失。
即使两种备份方法或多或少地存在一些缺点, 但也不能否认其在数据备份中的重要性以及实用性, 对数据安全的保护作用。
四、结束语
数据备份的技术多种多样, 以上着重讨论了逻辑备份和物理备份技术, 人们在进行数据备份时, 也可以根据需要备份数据的不同, 选择合适的备份方式。但是, 不管如何, 数据安全与数据备份的目的都是为了保护重要信息不泄露, 保证数据的完整以及防止数据丢失。
参考文献
[1]章壮洪, 刘谦.组织的数据安全与容灾备份[J].会计之友 (中旬刊) , 2009 (02) .
[2]刘丽, 李海洋.浅析数据的存储备份及灾难恢复技术[J].中小企业管理与科技 (下旬刊) , 2009 (04) .
数据采集与存储 篇2
初始安装SQL Server时，安装程序和脚本初始化主设备，并建立master、model、tempdb和sybsystemprocs数据库，
系统数据库、预定义设备和段按下列默认方式组织：
a.master、model、tempdb数据库安装在主设备master上;
b.sybsystemprocs数据库安装在安装时选择的设备上(sysprocsdev);
c.为每个数据库创建三个预定义段：system、default和logsegment;
d.所有用户创建数据库的默认设备是master设备;
e.如果选择安装了审计数据库sybsecurity，它位于自己的设备上，
2.设备与存储管理考虑的主要问题
(1)恢复
物理磁盘崩溃时，磁盘镜像或在单独的物理设备上保存日志为数据库恢复提供了两种机制。
(2)性能
磁盘读写速度是I/O操作的瓶颈，正确地把数据库对象放置到物理设备上有利于改进性能;
把日志和数据库对象置于单独的设备上可以提高系统性能;
把表放在一个硬盘上而把索引放在另一个硬盘上，由于把工作分置于两个硬盘驱动器上，所以可以确保物理读写速度加快;
医院计算机数据存储与安全之我见 篇3
关键词：医院；计算机；数据存贮；安全
中图分类号：TP309
现代医院在发展过程中，其信息管理系统是其基础建设内容，有效应用计算机与网络技术为医院的管理、病人的状况、医院财务决策等数据进行搜集、整理、分析显得尤为重要。并且这项信息管理系统在医院建设过程中占据越来越重要地位，该系统在提升医院管理水平、优化医院管理流程等方面都发挥着作用，这样的管理形式对医院的发展有着重要的影响作用。但当这一系统出现差错的时候，也将对医院的正常运营产生巨大影响，影响正常的医疗活动进行。针对这样的发展状况，做好医院信息管理系统的维护，保障计算机数据存贮与安全显得十分重要。
1 医院进行数据备份的主要目的
医院在工作过程中实施数据备份的工作形式，是一种非常有效的管理策略，将原始数据进行拷贝的时候，就能够在防止相应数据丢失的状况下，有效恢复原始数据，这样就能够有效保障医院工作正常进行，在计算机系统中，應该将所有与用户相关的数据信息进行备份。医院进行数据备份工作主要是为了有效保障数据的恢复，这样就能够最大限度的降低医院管理运营风险，当系统出现严重危害的时候，使用数据备份的工作方式就能够有效保障整个系统的安全，保障医院工作顺利进行。
2 医院数据丢失的影响因素
（1）自然因素。比如医院发生火灾、水灾、地震等计算机所在位置的自然灾害，这样就会对医院数据信息造成破坏，这样就会影响系统的安全。
（2）人为因素。比如相应的系统管理人员、维护人员以及使用人员的错误操作，或者是黑客对其产生的破坏等，都会影响医院信息存贮与安全。
（3）系统故障。在系统故障中主要分为软件故障与硬件故障。软件故障主要说的就是计算机硬件设备出现故障，包含信息存贮介质、传输介质的故障促使数据流失；硬件故障主要说的系统本身产生的漏洞，数据库代码错误或者是数据逻辑发生的破坏，尽管相应的数据信息仍旧能够使用，但从整体上就能够发现数据信息的不完整，当其发生数据信息产生错误的时候，就不容易还原。
3 医院进行数据备份的关键要素
只有在有效考虑相应的被封恩时间、备份形式以及备份环境的基础上，选择最适应的工作形式才能够真正有效保障系统环境的可靠性，并且这才是为系统恢复做好了准备。
3.1 备份的方式选择
使用专门的备份软件对数据信息进行备份，就能够有效解决医院计算机数据存储与安全方面问题。并且大部分备份软件都支持全备份或者是增量备份的形式。全备份就是将所有的数据信息全部都拷贝下来，增量备份就是在全备份基础上进行的。这里我们将全备份与增量备份的优缺点进行一些讨论分析。
（1）全备份的优缺点。优点：全备份的形式可靠性较高，当意外事故发生之后，只要直接进行恢复就行，不用考虑其它影响因素。并且使用全备份的方式耗时较短，直接恢复就行。
缺点：进行备份的时间太长，占用的数据资源较多，并且这种方式对备份介质占用量过大。
（2）增量备份的优缺点。优点：备份的时间较短，并且这种备份的形式相对耗时较短，并且系统占据的资源较少，并且这也对介质占用状况较小。
缺点：这种备份的方式风险较大，并且这种数据备份方式主要是在全备份的基础上进行，假使这种全备份数据形式、介质发生损坏的时候，就不能够将数据信息全部进行恢复，并且只有恢复上述内容之后就能够将全备份内容进行恢复。并且这种恢复的时间较长，在恢复的时候就需要率先恢复增量备份中上一部分的全备份，在恢复所有全备份数据基础上再进行增量备份恢复。
（3）相关建议。针对这样的发展状况，只有选择合适的备份形式，才能够满足医院的工作需要。在环境业务允许的状况下，使用的备份时间较长，并且占据的资源量较多的时候，就不能够使用全备份的形式。并且当系统长期处于初始运行时期的时候，这时候这一系统大概处在一个不太稳定的阶段，这时候就能够使用全备份的形式开展工作。对于一些恢复时间要求较为挺严格的备份，就需要进行全备份状况，一些对数据信息安全性要求较高的环境，也需要进行全备份的方式，对一些环境运营方式压力较大环境，就不能够使用系统资源占用，这样就能够在保障硬软件进行，这时候就能够使用增量备份的方式进行。
3.2 备份的周期以及时间
因为各个医院的数据信息都是不断在发生变化的，针对这样的发展状况就需要对相应的信息资源进行有效备份，在选择好相应的备份形式之后就需要有效确定相应的备份周期与时间，这也需要依照医院实际发展业务进行。
就全备份的形式来说，主要是依据数据安全的标准要求进行，医院管理人员能够选择每周或者是定期方式进行备份，但这种形式占用的时间较长，并且资源占用较多。针对这样的发展情形就不适合在白天进行，应该在系统占用量不大的时间开展备份工作。全备份一般都是在凌晨时间进行，并且具体的时间安排可以依照实际状况作出调整。
在进行增量备份的时候，一定要严格控制这两种备份的时间。当这种备份形式的数据量较大，并且数据变化不大的时候，可以一周进行一次备份，然后将剩余的内容使用另外的时间进行备份。并且备份的具体时间也应该依照实际发展状况进行调整，尽管这样的备份方式使用的时间稍短、占用的时间较短，但这样的工作形式不适应在白天进行，之后依照具体情况进行。
3.3 实施异地存贮的方式
为了有效保障医院信息数据的安全，防止各种自然灾害对其产生的影响，就可以使用异地存贮的形式防止信息资料的损坏，这种异地存贮主要有两种形式，其中一种就是将已经备份的信息资料整理取出之后，进行异地存贮，这样形式能够保障数据信息的安全，并且费用低廉；另一种方式不仅在本地进行存贮，还通过互联网在异地进行数据备份，尽管这种方式费用较高，但这种形式的安全性能更高。
在使用第一种备份形式的时候，为了有效提升相应使用介质的效率，还能够将这种介质定期进行更换，再将其投入使用。
假使使用的形式全部都备份完全之后，相应的数据信息变化情况较大的时候，就能够将其取出之后进行异地存贮。在采用增量存贮的时候，假使信息数据变化情况较大的时候，就能够将备份资料及时取出作出调整，具体的情况应该根据医院的发展实际进行。
医院在工作过程中对历史遗留数据较为重视，所以，相关管理部门在工作时候应该将较为关键的数据全部进行备份，并将这些信息资料实施异地存贮。通常情况下存贮周期应该在三年左右，因为备份占用的系统资源较大，这时候就需要定时清理一些不重要的历史资料，这样就能够有效减轻备份产生的压力。
4 结束语
进行数据备份主要是为了有效保障数据的安全。当医院管理数据出现状况的时候，只要使用备份数据对其进行保管，就能够有效将相应的管理数据恢复到原始状态，这样就能够有效保障医院营运活动正常进行。
参考文献：
[1]赵炬红，陈坤彦.浅议企业计算机数据存储与安全管理[J].煤炭技术，2012（03）：281-282.
[2]郭志旭，陈金雄.PACS数据存储与安全管理[J].中国医疗设备，2010（08）：9-10+91.
[3]翁坚克.医院信息化环境下计算机审计风险防范探讨[J].财会通讯，2013（22）：99-101.
数据仓库中数据存储与访问的实现 篇4
数据仓库的概念自出现后，首先被应用于金融、电信、保险等传统数据处理密集的行业。国外许多大型的数据仓库在1996-1997年建立。随着工业竞争的加剧，数据仓库已成为营销的必备武器----一种通过更多地了解客户需求而保住客户的途径。
1 数据仓库研究现状
OLAP (On-line Analytical Processing) 是面向特定问题的联机数据访问和分析，它主要用于支持目标明确但比较复杂的查询分析操作[1]。目前数据仓库数据存储的实现主要有三种模式，一是单纯的关系数据库存储即ROLAP (Relational OLAP) ，二是多维数据库存储即MOLAP (Multidimensional OLAP) ，三是关系数据库和多维数据库的混合型存储[2]。第三种模式在国内已经开始广泛应用，但还存在存储效率低，访问权限难以控制等问题。
目前，我国很多商业银行都尝试构建了应用于某一方面的数据仓库系统，数据仓库的构建几乎都是基于ROLAP来实现的，绝大多数是用Microsoft SQL Server完成的。对于汇总数据和历史数据的访问及访问速度的要求，还是有些欠缺。
2 一种高性能的技术--HOLAP
根据OLAP的自身特点，它主要就是对用户请求的快速响应和交互式的操作，多维分析则是OLAP的核心所在。OLAP系统在具体实现时首要解决的是如何存储数据的问题。数据的存储有三种方式，即ROLAP、MOLAP和HOLAP (Hybrid OLAP) ，HOLAP是对他们的良好折中。它得益于ROLAP较大的可伸缩性和MOLAP的快速计算。MOLAP的查询性能很好，它可以很好地解决对于历史数据和汇总的查询问题，它的分析能力很好，这正是数据仓库应用系统所应有的特点。MOLAP多数用于存储那些历史的、聚合的数据，当要查询一些细节数据时，就要选择ROLAP这样才能满足需求，更好地完成查询分析任务。
3 改进后的存储模式
在考虑到实际应用和用户需求的基础上，可以基于关系数据库和多维数据库共同来搭建企业级的数据仓库。实现的方法是把聚合的、历史的数据存储在多维上，明细数据存储在关系数据库中，各取所长，达到事半功倍的效果，基于这两种存储方式实现的即HOLAP。
与之前的应用模式不同的是数据平台的数据仓库是用关系数据库和多维数据库共同组建的。关系数据库选择了由IBM DB2 UDB完成，多维数据库则选择了Essbase/DB2 OLAP Server来完成。数据展现平台用Java实现，基于MVC设计模式实现，并将该平台分为Web层、服务层和数据访问层。由于要访问不同的数据库系统，所以要区别对待，访问关系数据库数据则采用开源的Ibatis框架，将各种SQL语句存放在配置文件中进行统一维护通过JdbcDao访问关系数据库；对于多维数据库数据, DB2 OLAP Server的多维数据集访问的脚本语言的接口也提供了Java接口，由于数据展现平台是用Java开发的，所以我们可以直接访问多维数据库。但是在实践过程中证明，通过这种方式访问多维数据库的速度是相当的慢，之后尝试使用我们最熟悉的C，采用Java原生接口来实现对多维数据库的访问，它是通过Essbase/DB2 OLAP Server的C接口访问多维库的。使用C后效果则截然不同，如果将采用Java访问多维库的系统称为原有系统，将采用C访问多维库的系统称为改进系统。
4 结束语
本文对于我国的数据仓库的应用模式提出了将历史的、聚合的数据存放在多维库中，将细节数据存放在关系库中的存储方式，并采用C接口访问多维数据库，采用Ibatis框架访问关系库的改进方案。改进后更适合于对汇总数据及历史数据的查询，并提高了数据访问速度。
摘要：从分析国内外的数据仓库应用现状入手, 指出银行在应用数据仓库过程中存在的存储效率低, 访问权限难以控制等问题。然后基于对数据存储的分类, 提出关系数据库和多维数据库混合存储的方法, 测试表明该系统达到节省存储空间和提高访问速度的效果。
关键词：数据仓库,商业银行,联机分析处理
参考文献
[1]颜石专, 李战怀.基于数据仓库和OLAP的商务决策系统[J].微电子学与计算机, 2006, 23 (2) :64-67.
数据采集与存储 篇5
矢量地图数据存储与管理技术是嵌入式GIS系统的重要研究内容,结合电子地图工作模式和地图数据访问特点,在常见的图幅分块和数据分级基础上,提出建立实体附加检索数据区和实体详细属性数据区;同时引入超块单元,并对超块内地图数据重新组织,从而使得人机交互时,数据定位时间缩短,数据读取冗余量减少,矢量地图操作性能表现更好.
作 者：胡泽明 岳春生 王志刚 HU Ze-ming YUE Chun-sheng WANG Zhi-gang 作者单位：信息工程大学信息工程学院,郑州,450002刊 名：测绘科学 ISTIC PKU英文刊名：SCIENCE OF SURVEYING AND MAPPING年，卷(期)：200934(4)分类号：P282关键词：嵌入式地理信息系统 图幅分块 数据分级 超块单元
★ linux系统备份MySql数据库的方法(MyISAM和InnoDB)linux操作系统
★ iOS开发:用SQLite3存储和读取数据
★ 如何结合云存储来做数据分析和数据挖掘?
★ MySQL 5.0新特性教程 存储过程:第一讲MySQL5
★ 土壤电导特性及影响因素试验研究
★ 高效降氰菌的筛选及其特性研究
★ 无法枚举证书存储
★ 电视节目的存储及管理
★ 物流车辆监控系统的数据组织研究
数据采集与存储 篇6
[关键词]多线程；处理器；计算机技术；访存款带
[中图分类号]F224.39 [文献标识码]A [文章编号]1672-5158（2013）06-0053-01
多线程和向量技术是当前计算机技术发展的一个重要的趋势，也是现代化社会发展中研究最多的处理器设计要点。这种设计工作中，是通过提出一个多现场向量处理其设计要点为基础，利用多线程切换数据的方式来隐藏访存延迟现象的出现，并使得向量数据在运行中能够直接访问到二级cache从而提高宽带运行效率的一种结构。基于这些优势，因此在目前的向量处理器工作中，这些技术的应用较为常见，也是实现现代化计算机技术发展的核心内容。
一、向量处理器与多线程技术分析
在目前的社会发展中，多线程技术和向量技术一直深受着业内人士的关注，是处理器结构体系中结构和编程模式的技术要点，其在整个处理器发展中扮演着重要的角色。
1、向量处理器分析
向量处理器也被人们广泛的称之为阵列式处理器，是在工作中能够同步进行多种数据综合处理和运算操作的一种复杂的计算机结构。然而截至目前的社会发展中，多数计算机组装中都仍然是采用纯良处理器为主，这种处理器在应用中只能够一次处理一个要素，而无法对多套数据进行处理和归纳。向量处理器的出现使得计算机领域发生了翻天覆地的变化，它的出现使得整个计算机结构、构成和功能发生了重大变化，尤其是在上个世纪八十年代至九十年代着一段时期内，其更是成为各种超级计算机运行和主要基础。当今社会中，大多数的商业处理器仍然是以向量处理器为主的，已成为整个社会领域中最为常见的一项。
2、多线程技术分析
所谓的多线程技术主要指的是多个线程能够同时、并发运行的一项综合性技术体系，具有多线程能力的计算机因为有重组的硬件和软件系统的支撑能够在同一时间运行多个不同的软件和线程，进而提高了计算机的处理效率和处理质量，同时从整体上提升了计算机技术的应用优势。截至目前，我们在工作中可以将多线程技术分为以下三个方面：主要指的是细粒度多线程体系结构、粗粒度多线程体系结构和同时多线程体系结构。这三种结构体系的相互促进、相互协调运行使得整个计算机体系呈现出巨大的发展态势，也为计算机技术的全面、综合、统一迈进提供了扎实的基础平台。
3、向量技术
向量技术从诞生以来一直应用在高性能计算机当中，是计算机技术发展的指导依据和基础平台。随着科学技术的发展和计算机技术的进步，向量技术也得到了极大的迈进，其已经广泛的应用在各类处理器结构当中，成为处理工作中的指导依据和应用基础。经过多年的实践证明，向量技术的能够更好的适应计算机技术、处理技术和自动化技术的发展要求，从阿尔达到更高的实际应用性能的优势。
二、多线程向量存储结构设计
1、多线程向量体系结构
多线程处理器中设计有多套独立的线场，包括PC、通用寄存器、浮点寄存器、向量寄存器、状态寄存器等。每个线程从软件的角度看都是一个独立的处理器，线程的数量可以很多。多线程处理器设计有专门的向量部件，执行扩展的宽向量指令。多线程向量处理器通过将来自多个线程的指令交叉执行来隐藏长延迟操作带来的流水线阻塞，当来自某个线程的指令由长延迟操作而阻塞的时候，其他线程的指令仍可以继续执行，从而保持流水线的满负荷工作。
2、多线程向量存储结构
将多线程与向量技术结合，可以隐藏向量数据访问的存储器延迟，但需要处理好向量数据与标量数据的存储结构和数据相关性。我们设计了一种向量与标量混合访问的存储层次，一级数据缓存只缓存标量数据，不缓存向量数据。向量访存操作将不进入一级数据缓存，直接通过二级缓存访问。这样做是基于两点考虑：首先，L1D容量小而向量数据规模大，这样避免了向量数据与标量数据争夺有限的LID资源，避免LID的数据抖动，利于充分发挥标量处理部件的计算性能；其次，由于有多线程的延迟隐藏机制，二级缓存高速缓存的访问延迟可以得到很好的隐藏，不会对向量处理部件的性能造成过大的影响。高速缓存数据块的大小与向量寄存器的位数一致。这样，每个向量访存操作都能够消耗或生成一个完整高速缓存块，便于高速缓存的控制及向量访存部件的设计。
三、多线程向量处理器中向量数据存储结构实现
向量处理器是通过向量操作来支持数据并行性的处理器。为了有效地利用向量计算中的数据并行性，向量处理器的结构通常包括向量寄存器文件、深度流水的ALU和一维的SIMD组织形式的多种组合。向量寄存器文件存储的是数据向量，而不是单个的数据字，它们是在对向量进行操作时，顺序地进行传送的。不仅图像处理采用向量处理器技术，当前世界上处理速度最陕的超级计算机——日本NEc的《地球仿真测试系统》，也是以0.15mm工艺实现的向量处理器为基础，由5120个向量处理器（共有640个节点，每个节点有8个向量处理器）组成的。
1、多线程向量处理器中向量数据存储结构的回顾
整个计算机界似乎总是在不停的重复着“前进-回退-再前进”的步调。很多基础性的创新结构在很早之前都被提出了，但由于市场、技术和现实条件的限制最终只有很少的技术在一段时间内成为主流。一种主流技术在走到生命尽头之后，以前一种被遗忘技术可能被人们从故纸堆中翻出来，以崭新的面目引导新的技术革新。
在处理器体系结构设计中的上一次回归是RISC。当VAX开启了变长指令，多寻址模式等CISC技术之后，处理器设计变得越来越复杂，纯粹的CISC很难设计，也难以实现；这时提倡精简的RISC替代了VAX处理器体系结构称主流技术。在80 90年代，RISC思想JL5e遍布所有厂商的处理器。
2、桌面优化
在开始详细分析向量处理器的结构之前，不妨先看一下近30年的发展过程中桌面系统体系结构的变迁。除了CPU而外，桌面系统的其他部件的功能也不断增强。在向量处理器中以内部互连EIB总线为核心，8个完全相同的SPE（synergistic Processor Element）向量处理核心和一个PowerPC兼容的PPE（Power Processor Element）核心围绕在环状数据总线四周。XIO接口提供与Rambus XDR内存的高速互连，FlexIO提供了高速I/O通道，同时在应用中也为整个计算机工作的持续进行提供了方便。
四、结束语
本文提出一种多线程向量的存储结构，该结构支持标量数据和向量数据的混合存储，利用多线程切换来隐藏访存延迟，并让向量数据直接访问cache来提高带宽。模拟实验表明多线程能提高实用带宽，所提出的存储结构能支持高带宽的向量数据访问。
参考文献
[1]孙彩霞同时多线程处理器中的资源分配策略研究[学位论文]2006
数据采集与存储 篇7
Matlab是一种基于矩阵运算的交互式数值计算软件, 作为“第四代”计算机语言, 具有极高的编程效率, 在高等教育领域正发挥着日益重要的作用[1]。Matlab下的GUIDE[2]是内嵌在Matlab环境中面向对象的图形用户界面开发工具, 通过GUIDE用户可以方便地设计程序界面, 在GUIDE自动生成的应用程序框架内, 用户可以方便地编写事件代码, 进行GUI程序的开发。在测试技术实验教学中, 传统的实验数据采集程序往往是一个封闭的环境, 几乎不可能增加、修改现有程序的功能。此外, 采集程序得到的实验数据以文本文件的格式存储, 无形中减低了数据精度。本文采用Matlab语言, 实现实验数据的采集与存储, 不仅可以方便地增加、修改程序的功能, 而且由于采用.mat文件格式存储实验数据, 保证了数据精度, 同时也节省了存储空间, 提高了数据传递的效率。
二、实验平台的组成
本文采用8051系列单片机实现实际的数据采集, 通过RS-232C串口向上位机发送采集到的实验数据, 通过Matlab GUI程序实现数据的接收、显示和保存。一套这样的单片机系统价格不过百余元, 还可以作为单片机课程教学的实验装置, 降低了总体实验成本, 有利于不同课程之间的衔接。作为上位机程序的Matlab GUI, 可以根据不同的下位机采集模块, 实现不同实验的数据采集。学生在MATLAB环境下, 利用获得的实验数据, 可以方便地进行信号分析和实验数据的处理。
单片机与PC机RS-232C串口的连接如图1所示, 这里采用可在线编程的AT89S51单片机。AT89S51的串行口RXD、TXD分别对应数据的接收端和发送端, MAX232实现TTL与RS-232C的电平转换, SIN、SOUT分别对应PC机串口的数据接收端和发送端[3]。
三、实验平台的软件实现
在Matlab外部接口中, 提供了一组对于串口操作的API函数, RS-232C串口被当作特殊的文件, 对串口的打开、读写、关闭利用了Matlab下文件操作的函数。
基于Matlab面向对象的概念, 首先要创建串口对象, 并进行必要的配置。建立串口的方法如下:
其中变量s即为所创建的串口对象, 它对应于计算机上的COM1口。当PC机上有多个串口时, 应根据需要, 对串口进行选择和设置。
为此, GUI界面上有一个“串口设置”按钮, 可以根据实验条件对串口参数进行设置, 如图2所示。
对串口对象的操作, 主要通过文件操作API函数实现[4]。下面以两通道的信号采集为例, 说明对串口对象操作的方法。首先, 用fopen函数打开串口, 由Matlab发送采集数据命令, 命令标识为"readblock";然后检测单片机的响应信息, 收到"ready"后, 由Matlab发送要采集的数据数目num;最后, 单片机按要求发送数据, 由Matlab接收, 完成一次数据采集, 并用fclose函数关闭串口。
主要的实现代码如下:
采集到的数据可以保存为.mat数据格式, 数据保存的实现代码如下:
四、应用实例
应用本文所开发的数据采集与存储实验平台, 对两路不同幅值和频率的电压信号进行了采集, 程序运行界面如图3所示。图中“采集”按钮实现数据采集与显示, “保存”按钮将实验数据保存为.mat格式文件。默认条件下, 实验数据被保存在data.mat文件中。在Matlab下, 可以随时读入实验数据, 进行进一步的信号分析与处理。
五、结论
1.本文通过计算机串行口, 实现了Matlab环境下实验数据的采集、波形显示与存储。所开发的GUI实验平台, 以Matlab的串口控制API函数为核心, 运行稳定可靠, 操作方便。
2.实验数据保存为.mat格式, 存储精度高。便于用户充分利用Matlab的数值计算功能, 提高信号分析与数据处理的效率。
参考文献
[1]薛定宇, 陈阳泉.基于MATLAB/Simulink的系统仿真技术与应用[M].北京:清华大学出版社, 2002
[2]陈垚光, 毛涛涛, 王正林, 等.精通MATLAB GUI设计[M].北京:电子工业出版社, 2008.
[3]李朝青.单片机原理及串行外设接口技术[M].北京:北京航空航天大学出版社, 2008.
闪电定位数据转换与存储系统 篇8
我国目前还没有建立高水平的大范围雷电监测网,但是我国闪电定位技术从20世纪80年代末得到了迅速发展后,目前国内其他专业部门已经发展了一定规模的闪电定位系统。例如,内蒙古先后在呼伦贝尔、兴安盟等地陆续投资建设了23套雷电监测定位系统。现在已基本形成了一张覆盖“内蒙古雷电灾害多发区”的雷电定位监测网。大范围的雷电监测网对于雷电监测站运行监控和建立技术保障规范有着非常重要的意义。
该系统是为了及时方便了解监控到雷电监测站的运行情况而研发的监控系统。以UDP方式实时接收闪电定位数据、仪器状态数据,并存储到本地电脑特定的位置。接收到得二进制状态数据要转存为对应的十进制状态数据文件,且提供转换后文件内的各个字段含义。为了能够及时了了解雷电监测站的运行状态、迅速排除故障,该系统添加了日志文件,详细记录程序启动、状态数据转发、运行错误的错误信息,并存储到本地目录。同时,为了灵活性,程序设置了配置参数信息,修改参数后,只需要重新启动程序文件,就可以按照修改后的参数信息运行。
1 程序设计
1.1 系统物理构成
该系统主要是将各个雷电监测站采集到的数据通过NPORT,以UDP方式传送到本地的信息中心。其简单的流程如下:
这里我们不考虑雷电监测站是如何采集到数据到。只考虑数据是如何传送到信息中心的。
1.2 数据的传输与接收
本系统是以UDP方式实时接收闪电定位数据和仪器状态数据的。UDP是一个简单、面向数据报的无连接协议,提供了快速但不一定可靠的传输服务。它速度快,可以用于广播,且消耗网络带宽小,有消息边界。使用UDP有两种技术。本系统主要使用了Udp Client类,属于System.Net.Sockets命名空间中的Udp Client类对基础Socket进行了封装,发送和接收数据时不用考虑底层套接字收发时必须处理的一些细节问题。该程序中数据发送流程图如下:
如图所示,我们可以看到,在接收数据块中,首先需要创建一个套接字。然后才能收发数据。发送的数据首先用一个字节数组存放。此时,最关键的就是如何将这些二进制数据解包为十进制显示。这就关系到雷电观测站中二进制状态数据帧格式。根据二进制状态信息帧每个数据的数据类型、字节数,从接收到的字节数组中取出相应的字节数,并转化为相应的数据类型。比如一个字节,就转换为byte,两个字节的word类型可以转换为ushort,四个字节的real类型转换为float。这样就可以转换十进制数据。
1.3 数据存储
台站仪器状态数据是以二进制文编码方式每隔30秒钟就发送一次。这里我们需要用到timer控件的Tick事件。同时,通过设置Interval属性可以设置时间间隔。接收到得状态数据需要存储在本地,并且以时间命名的文件夹。为了灵活方便,状态数据转存频次可以根据业务需求,接收不同频次的TXT数据文件。比如可以每十分钟保存一条数据,或者三十分钟存储一条等等。后面会详细讲到。这里我们以每隔一分钟为例。
首先我们需要用一个Text Box控件来设置接收数据的频次,只需用到它的Text属性就可以了。其次创建文件夹和Text文件要用到Directory Info类和File Stream类。在创建Text文件的同时就可以将之前按照数据类型转换的十进制写入到文件中。这里首先需要判断以当前年月日为命名的文件夹是否存在,不存在则建立新的文件夹。同理,建立Text文本文件也要先判断是否存在。我们在程序启动时为创建一个新的线程,专门用做数据的接收。下面为测试时接收到的数据样本图:
图3为系统在某地运行过程接收到的状态数据。图中2012120611176发送状态信息的年月日和时分秒。116.4706为经度,39.8082为纬度,RS为最近一次自检的通过标志,TS为当前的阈值,TCR为当前的阈值平均通过率,DOP为最近一次自检开始时的GPS误差放大因子。FE为10MHZ恒温槽石英晶振频率值得偏差,CS为帧校验和,SD为数据源。
1.4 日志文件
日志文件可以同步记录系统出现错误时的错误信息,提供程序运行时的精确环境,可供开发人员尽快找到程序中的BUG,也可以为以后的研究之用。
异常的处理我们通常会用到try-catch语句。Try指定希望被通知有关的异常抛出,就需要编写捕获异常的代码,并在代码中处理报告的错误,catch用来指定当捕获到异常时应该执行哪段代码。这里当有异常出现时,我们就创建日志文件或者在日志文件中记录错误出现的地方和时间。系统的正常运行首先需要程序的成功启动,因此这里需要记录程序的启动状态。在界面加载的时候如果出现错误,就会将错误信息记录在本地的TXT文件中。程序中最重要的是数据接收,因此我们还需要在数据接收的时候记录异常信息。
1.5 参数配置文件
为了便于记录、修改本程序所需要的参数信息,并且在程序启动时,自动获取配置参数信息,该程序添加了参数配置文件config.ini。这样在需要的时候,修改config内容后,只需要重新启动程序文件,就可以按照修改后的参数信息运行。
参数配置文件是一个独立的文件。C#操作INI文件的过程,就是C#调用Win32API函数的过程。API是指应用程序编程接口。它是一些预先定义的函数。目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。Windows API是一套用来控制Windows的各个部件的外观和行为的一套预先定义的Windows函数。用户的每个动作都会引发一个或几个函数的运行以后告诉Windows发生了什么。API函数包含在Windows系统目录下的动态连接库文件中。
进入该系统首先我们进入参数设置界面。这样我们也不需要找到INI文件。当然在INI文件中设置也是一样可以达到效果的。下图为参数界面:
而INI文件中也可以更改其中重要的参数,下图为INI文件图样:
1.6 站点状态界面
图6为该系统在某地运行并监控该地各个雷电监测站的界面。从界面中我们可以清晰的看到各个站点的运行状态。
2 结束语
该系统主要是为了方便监测雷电监测站的运行状态而设计的,以提高雷电监测的水平和能力。并且为建立大的雷电监测网提供基础。但是还有很多需要改进的地方。比如可以通过网站的形式显示各个省市,甚至全国的雷电监测站的状态数据,这需要后期的改进。
摘要：为了实时监控雷电活动范围,精确定位雷电区域,确定雷电强度,我们国家很多地方都建成了统一的雷电定位监测网。该系统主要是为了做好雷电监测站运行监控与技术保障工作而设计的。主要在Microsoft Visual Studio 2010环境下,使用C#[1]语言做了闪电定位仪运行监控系统的研发。该文主要介绍在研发过程中的一些主要技术,包括UDP[2]技术,编码方式等,此系统为监控雷电监测站的正常运行提供方便依据。
关键词：闪电定位,监控,UDP方式
参考文献
[1]Jeff Ferguson Brian Patterson.C#宝典[M].北京:电子工业出版社,2009.
数据库编程与数据库存储技术探究 篇9
关键词：数据库,编程技术,计算机技术,存储技术
二十一世纪是信息化的时代, 计算机已经深入到了每一个人的日常生活当中, 其在工业生产中发挥的作用也日益突出。计算机技术的迅速发展离不开数据存储技术的支撑, 无论是个人电脑还是大型的数据处理系统都需要数据存储单元, 数据存储是计算机正常运行的必要条件。特别是在这个高度重视大数据分析的时代, 数据存储技术已经成了计算机技术的支柱, 只有不断的提高数据库的存储能力和存储速度才能促进计算机技术的高速发展。但是由于种种原因, 我国的计算机技术和数据库存储技术都起步较晚, 一些核心技术仍然被发达国家所垄断, 这也是制约我国数据库存储技术发展的主要原因。
1 数据库存储技术简介
1.1 数据库存储技术的概述
数据库存储技术是随着计算机发展而逐渐兴起的一门技术, 数据库存储技术的提升很大程度上来源于计算机性能的改善, 特别是在近十几年以来计算机的硬件性能发生了翻天覆地的变化。随着计算机的运用范围不断扩大, 传统的存储方式已经不能满足计算机发展的需求, 计算机的存储空间也从曾经的以K为单位到了现在的TB级别。计算机存储空间的不断增大意味着必须采用更加合理的数据管理方式对数据进行更有效的管理, 而各种编程语言的迅速发展又为数据库存储技术的发展提供了可靠的保障, 使得数据库编程水平和数据库存储技术都得到了巨大的提升。
1.2 数据库存储技术的发展简介
数据库这个名词最早出现在20世纪50年代, 但是当时的数据库仍然是采用人工管理的方式, 并且还没有形成软件的形式, 因此那个所谓的数据库与如今所受的数据库还是有很大的差距的, 但是那已经为数据库存储技术的发展打下了坚实的基础。20世纪60年代中期, 计算机存储设备的出现, 带动了计算机存储技术的发展, 数据管理软件也是诞生于这个时期, 但是受制于当时的技术条件, 那时的数据存储能力还是相当有限的。到了二十一世纪, 计算机在企业的日常管理运用中发挥着更加重要的作用, 数据库存储技术也得到了迅速的发展, 数据库的存储速度和共享能力等技术指标都得到了很好的改善。随着数据库存储技术和数据库编程水平的提高, 也出现了一批新的数据库存储技术, 例如数据流、WEB数据管理、分散式数据库等, 这都有效的带动了数据库存储技术的发展。
1.3 数据库存储技术的特点简介
与传统的纸质存储相比, 数据库存储技术具有可靠性高、读写速度快的特点。纸质的存储方式容易受到环境的影响, 特别容易出现遗失的情况, 这也是为什么很多重要的历史资料都被损坏了的主要原因, 并且手写存储的方式已经不能满足当今时代发发展的需求了。采用数据库存储技术, 可以将信息转化成电子的方式存储在在计算机硬盘中, 这不仅提高了数据存储的可靠性, 还大大的提高了数据存储的速度, 这对于当今这个信息量巨大的时代来说是至关重要的。
2 数据库编程与数据库存储技术的关系概述
2.1 数据库存储的类型由数据库编程实现的
数据库的类型多种多样, 在不同领域所用到的数据库的种类也是大不相同, 例如在电力、交通控制领域一般采用的都是实时数据库, 而企业的人事管理系统、网上视频网站等, 一般都是采用关系数据库, 此外还有很多在一些专业领域运用的数据库, 都是为了让满足特定的需求而专业定制的。数据库的类型是由数据库编程的方式所决定的, 其实所有类型的数据的工作原理大致是相同的, 只是在软件的开发过程当中编程者会为了满足实际的需求, 在编程的设计阶段做一些结构上的调整。在编程的过程中, 不同的编程人员可能会采用不同的程序编写软件, 但是无论是选用哪种编程软件, 其编程的原理是相同的, 只是存在形式上的差异而已。因此在数据库的开发阶段, 就应该根据实际的需求确定数据库的类型, 然后再在数据库编程的过程中对其进行实现。
2.2 数据库编程的核心是数据库存储技术
数据库编程人员的核心工作就是实现数据库的存储功能, 虽然随着数据库技术的不断提高, 如今数据库的结构也变得更加复杂, 并且其功能也变得更加多元化, 但是数据库的核心功能仍然是数据存储, 其它的录入、修改、调用等功能虽然也是不可或缺, 但它们都是为数据存储服务的。数据库存储技术作为数据库的核心部分, 在数据库编程的过程中编程人员应该对其更加重视, 所有的工作都应该围绕着数据存储这个功能展开, 这不仅可以提高编程工作的工作效率, 还能提高数据库存储技术的可靠性。
3 数据库存储技术的应用简介
数据库存储技术主要分为在硬件和软件两个方面的运用。在硬件的运用方面, 主要是通过添加高速缓存的方式, 来提高数据存储的效率, 同时达到保护硬件的目的。数据库存储技术主要运用在软件方面, 由于硬件条件的限制数据存储和管理的效率都是有限的, 要想进一步的提高存储效率, 只有在软件上下功夫, 通过数据库存储技术不断的对软件进行优化, 这不仅提高了数据库的存储效率, 改善了性能, 还具有相当高的性价比。
4 结语
总而言之数据库编程和数据库存储技术是息息相关的, 只有数据库编程的水平得到了提高, 才能促进数据库存储技术的快速发展, 才能使计算机的性能得到更大的提升。
参考文献
[1]解启超.数据库存储技术的应用与分析[J].数字技术与应用, 2013 (08) :101-102.
[2]吴敏宁, 高楠.Delphi数据库编程开发[J].电脑知识与技术, 2009 (11) :2882-2883.
数据库编程与数据库存储技术研究 篇10
1 编程设定的数据类别
微机软件特有的属性, 包含设定好的初始性能。后续编程之中, 应能凸显本源的设定性能。数据库特有的编程之中, 编程设定出来的数据类别, 决定了后续时段的存储类别。按照细化的多样领域, 存储依托的技术, 也会带有差异。例如:电力交通关涉的这类领域, 通常采纳带有实时特性的数据库;网站建构的数据库, 是关系数据库, 适宜视频网站。除此以外, 商业特性的数据库、规模偏小的微型库, 满足着多层级的真实需求。
在各个时段, 某一类别范畴的数据库, 会表征出主流的倾向。真正去编写时, 筛选出来的编程语言, 也会涵盖多种。数据库特有的类别设定, 在辨析软件的本源需求之时, 就应被确认。接续的编程时段, 应能实现拟定好的这一性能。编程时段中, 常常没能全面考量, 带来这一时段的设计漏洞。实际上, 若发觉了设定好的存储类别并不适宜, 则应随时修改。这样做, 能优化建构好的编程, 也优化了关涉的存储技术。
2 存储技术的根本机理
2.1 新颖技术的内涵
早期时段中, 数据库的拓展, 密切关涉微机固有的总体性能升高。在这个时段, 微机表征的多重性能, 都是偏低的, 只能应对单一情形下的数值运算。伴随科技进展, 晶体管及规模偏大的集成电路, 运用在多重领域以内。这种态势下, 微机渐渐用来搜集、管控相关数据。对于搜集得来的复杂数据, 惯用的存储手段, 没能满足新需求。
DSMS特有的存储形式, 在这一背景之下, 逐渐变得完善。数据库特有的管控技术, 经历了这一变革。数据库细分出来的存储手段, 包含SQL、配套范畴的其他手段。传统编程之中, 编写时间带有差异;采纳的编程语言, 也会带有差别。惯用的软件, 包含VB、VC、常见的JAVA。采纳这些软件, 可制作完备状态下的某一数据库。每类对应软件, 都带有自身特性。对应着的编程领域, 筛选出来的独特软件, 也会有着差别。
2.2 数据存储的凸显价值
数据库关涉的存储技术, 变更了传统情形下的纸质存储, 带有侧重价值。纸质存储惯用的方式, 很易丢失数据。伴随时间延展, 初始时段的存留数据, 通常会被损毁, 带来偏大损失。数据库特有的存储, 就化解了这一疑难。数据库建构的总环境之下, 存留的多样信息, 都被替换成先进特性的电子形式, 存留在预备好的硬盘以内。硬盘存留依托的方式, 比对传统方式, 凸显高层级的便捷优势。很多配套架构内的存储器, 都带有防火优势。
数据库范畴内的存留数据, 可被大量复制。从现状看, 很多企业单位, 提升了存留数据这一范畴的安全性。企业建构了映像特性的数据库, 拟定特定时段, 对于保留着的若干信息, 都予以备份。若工作状态之下的数据库, 被查验出了故障, 则依托原初的数据还原, 恢复存留着的这些备份。
2.3 技术进展历程
数据库特有的根本概念, 起始于20世纪这一时段的50年代。在这个时段, 传统情形下的手动操作, 占到主导位置。软件特有的初始形式, 还没能被形成。60年代特有的时段中, 微机存储必备的配件诞生。这种情形下, 微机可以存留搜集得来的数值。数据管理特有的软件, 也由此产生。然而, 受到外界局限, 只好把制备出来的各类文件, 当成根本单位。搜集得到的数值, 被存储至衔接着的外部设备以内。配套特性的界面系统, 便于存储数据的平日管理。
微机固有的性能, 正在逐渐拓展。它能够存留的数值量, 也在不断递增。伴随业务进展, 企业用户原有的数目递增。人们希望建构起来的数据库, 能够存留更多数据。在这个时期, 数据存储特有的技术, 获取凸显进展。按照现有指标, 数据流及更高层级的Web管理, 也被划归为这一技术。对于大型软件, 数据存储被设定成软件架构中的性能侧重点。数据编程之中, 受到存储属性这样的影响, 微机表征出来的存储容量, 紧密关涉数据处理表征的真实水准。
3 重视存储方式
数据库惯用的各类程序, 都把体系架构以内的数据存储, 设定成中心。通常情形下, 某一完备数据库, 可分成多层级的模块。在这之中, 配套范畴的中心模块, 包含存储技术。附带着的其他模块, 整合了数值录入、数值更改及平日以内的调用步骤。数据库特有的流程核心, 即存储技术, 应凸显侧重的位置。
真正编写时, 采纳存储技术特有的侧重点, 应注重初始时段的录入步骤、修改及调用等。若能提升原有的存储成效, 则可变更体系架构以内的其他模块。若没能考量核心范畴的数据存储, 则即便变更了原初的类别, 也很难维持住数据安全。大规模特有的数据库, 存储步骤凸显的效率, 应被拟定为侧重点。在这种指引之下, 才会提升整合状态下的运作实效, 建构最佳框架。数据存储依托着数据库, 规避了纸质存储潜藏的多重局限。应当审慎维护这一范畴的数据安全, 防止数据泄露。
4 结语
伴随软件更新, 程序设计关涉的行业, 凸显了多层级的应用语言。带有可视化特性的新颖软件, 便利专业范畴的编程思路。若要提升原有的编程实效, 应整合多重的领域, 采纳最优特性的存储方式。选出适宜类别, 编写适当程序。对于惯用的数据程序, 予以适当优化。
参考文献
[1]李华勇.计算机数据库存储技术的开发与应用[J].长沙铁道学院学报:社会科学版, 2013 (2) :199-200.
[2]谢仕华.数据库编程与数据库存储技术分析[J].山东工业技术, 2013 (7) :134, 136.
[3]马英凡.数据库编程与数据库存储技术分析[J].科技与企业, 2013 (24) :177.
[4]解启水.数据库存储技术的应用与分析[J].数字技术与应用, 2014 (2) :101.
云存储之数据迁移 篇11
1.应用场景
假如在有300台存储节点（Storage Node）的云存储环境中，在存储过程中，Controller会尽量做到负载均衡，就是说这300台Storage Node的磁盘使用率会慢慢趋于相等，但是当管理员认为整体容量快满而又不足以触发清盘策略时，都会考虑加几台新的机器到集群中。加新机器之后，因为老的一批Storage Node空间基本用尽，所以之后的写存储过程都会集中到后来新增的几台机器上。
同时，对最近数据的读取也会集中在新增机器上，这就很容易造成热点问题，导致集群整体效率降低和带宽损耗。所以要求有数据迁移的负载均衡，把老的Storage Node上的数据部分迁移到新Storage Node上，直到所有StorageNode达到一个相对平衡值，这样对集群的读写访问将可以随机分配到所有Storage Node上，对在单Storage Node上新增的新磁盘也要求能进行数据迁移。
2.分类
（1）同Rack中，数据从高利用率向低利用率的Storage Node进行迁移；
（2）单Storage Node，数据从高利用磁盘向低利用磁盘进行迁移。
3.问题及解决方法
3.1Storage Node利用率的高低怎么定？
同Rack的Storage Node间的数据迁移：Comntroller会根据所有StorageNode汇报的磁盘使用信息计算出一个当前平均利用值，通过设定配置常量“上下浮动最大值”，来定位哪些StorageNode是利用正常，哪些利用是过于高的，哪些利用是过于低的。
同Storage Node的磁盘间的数据迁移：Storage Node根据自己的每个磁盘计算出各自的利用率，与当前所有磁盘平均利用率与浮动值进行比较，筛选出哪些磁盘是利用率正常的，哪些磁盘利用率是过高的，哪些磁盘利用率是过低的。
3.2数据迁移过程由谁控制？
（1）同Rack的Storage Node间迁移：发起由Comntroller控制，过程由Storage Node自己控制。
（2）同Storage Node的磁盘间迁移：发起由Storage Node控制，过程由Storage Node控制。
3.3谁向谁迁移？
（1）同Rack的Storage Node间迁移低利用的Storage Node都会向高利用的Storage Node复制文件块（见图1）。
（2）同Storage Node的磁盘间迁移：发起迁移命令，低利用率磁盘向高利用率磁盘复制文件块（见图2）。
3.4迁移多少？
如果目标Storage Node拒绝迁移请求或者迁移完成后自己还远没有达到平衡值，而首先建立连接的高利用率的Storage Node已经达到平衡值时，停止本次迁移，这个Storage Node不可以向余下的高利用Storage Node发送拷贝请求；等待下次迁移任务。
3.5迁移哪些数据？
首先一定是按块进行迁移，因为现在云存储上的文件都是以块为基础单元。接下来块的选取第一步是同StorageNode不同磁盘间数据迁移，优先选择单磁盘利用率高的数据；第二是同Rack下Storage Node间数据迁移，优先选择最高利用率的Storage Node上的数据。
数据传输与存储安全问题构建 篇12
云计算能够为用户提供更加虚拟化的资源服务,在虚拟模式下,用户不需要对资源进行创建与管理,而是可以通过付费的方式使用云计算服务。云计算发展趋势良好,但是从理论与实际出发,云计算面临着安全威胁,尤其在数据安全方面。因此,云计算安全管理是云计算的保障,尤其在为用户提供服务方面,在实际的云计算中,不仅需要改变云计算中的数据传输,还要对存储安全进行改革。
1云计算
1.1概念
云计算以Internet为基础,存储内容以及运算并不运行在计算机或者服务器中,主要分布在Internet上的计算机上。换言之, 云计算在数据计算中起到搬运的作用,将原来个人计算机、数据控制中心中执行任务的有效转移Internet上,然后由用户共享的计算中心对数据搬运任务进行总结与处理,最终能够实现计算机软、硬件的功能,例如,对计算数据资源的安装、维护以及配置等服务。云计算也可以被看作是并行计算、分布式计算以及网格计算的发展与延续,但是云计算与网络计算的区别在于,云计算更加的致力于计算、存储以及应用资源的共享,而后者则侧重于解决计算上以及资源的分配问题。对于用户而言,能够吸引用户集中精力自己的业务,达到降低成本的效果。在实际的云计算中, 云用户能够按照数据协议上传数据,将数据以密文方式存储在服务器中,从而保证数据的安全。
1.2云计算的特点
规模大,云计算是一种分布式的计算形式,规模大是云计算的首要特征,尤其在数据服务上,实现方式较多。例如在经济规模中的云计算处理技术。
虚拟化,云计算的虚拟化特点主要表现在,将各个层次的功能进行封装,最终成为一个抽象实体,向各个层次的数据用户提供云端服务,该环节中每一个技术都能够通过虚拟化技术实现。 在任意位置,用户都能利用各种终端技术,从云中获取相应的应用的数据服务,不需要对具体实现与位置进行了解。
可靠性,云计算技术的高速发展,大部分取决于云服务市场的发展趋向,而云服务业务的不断拓展,依赖于云服务的数据可靠性。因此,在云计算中,必须采取一定的措施,对云服务进行可靠性保护,由此可见,可靠性在云计算技术中地位突出。
2数据传输与存储安全问题
2.1身份认证存在的问题
对用户的身份验证主要有三种方式,第一,用户知道密码; 第二,用户本身特征,例如指纹与声音等;第三,用户独特物品。 目前,智能卡认证和口令认证都是常见认证方式,例如,网银中的口令、电子口令卡、用户口令以及USB KEY方式都是在多种因素基础上的数据认证策略。
其中,智能卡、口令的双因子认证机制共同使用前两种认证方式。在实际的登录系统中,用户需要正确的ID,同时用户需要有服务器发放的智能卡,用户才能通过认证。但是在这样的过程中,智能卡只对服务器的身份进行验证,并没有对服务平台的安全性进行验证,不能完全保证服务器的安全状态,有可能造成用户个人隐私被泄露的问题。因此,身份验证中应该双向的,验证要完整。
2.2安全问题
在云计算中,我们应该充分保证数据在传输过程中不被非法分子破译与获取,其次,需要对用户上传到云环境中的应用程序和数据进行加密存储,确保数据在计算与运行中的安全。数据信息的加密与解密是对数据安全的保证,其中非对称的加密算法安全性比较高,但是在加密与解密过程中数据处理速度慢,只能局限于少量数据的加密,相反,对称数据加密算法效率高,原因在于对称密钥的存储问题上。由于加解密以及数字签名都需要相应的密钥来完成,因此使得密钥产生以及存储成为云环境中安全保障。
3数据传输与存储安全技术分析策略
3.1身份认证技术分析
对于云计算中的身份认证技术问题,首先,需要在云服务器中引入安全芯片,其中,安全芯片的主要功能就是能够为用户提供密码功能,增加用户身份认证的稳定性;其次,用户在获取智能卡之后,由云服务器生成AIK密钥,此时云服务器向CA申请AIK证书。当用户向云服务器发送认证时,云服务器能够对用户相关信息进行验证,将AIK证书签名信息发送给用户,完成用户的基本要求。接下来,用户对AIK证书的有效性展开CA验证, 主要利用AIK公钥验证数据真实性,并根据日志来确定平台的可信性。以上过程中就完成了用户与云服务器的双向认证。
3.2安全问题技术分析
用户上传数据之前会对数据加密,在安全模型中,每一个应用程序都能生成一对RSA非对称密钥PKAPP/SKapp,还能生成一个对称密钥AES。最初用户需要向虚拟机管理器提交程序注册请求。然后,用户通过模型提供的加密工具对程序和数据文件进行对称密钥与不对称加密,并将加密处理的文件传送到服务器的终端。
在这样的过程中,最重要的是对密钥的存储。其中提高用户信息安全的有效措施就是将用户的私钥存储在智能卡中,保证用户信息不被他人窃取;另外,用户的私钥、应用程序都保存在VMM内存中,这一模块的内存不能被OS以及应用程序访问, 提高密钥存储的安全性能。此外,云服务器具有备份数据的功能, 在云计算中,合法或者非法的数据复制不能对数据安全造成威胁。
3.3系统的可行性分析
3.3.1抗攻击性
云端用户数据登录过程中,用户向云服务器发送消息,信息内容中包含时间截T1,其中,时间截的有效利用是避免攻击产生的有效措施。然后,在可信云服务器发送命令,并加入命令版本号,用户能够自动生成维护命令的128位增加数版本。
3.3.2抗云内部人员攻击
在用户注册的过程中,h(PW+n)来代替PW向云服务器提交信息,云服务器的内部人员不能直接得到用户的密码。此时用户产生的随机数n并没有泄露给云服务器,内部人员不能对h(PW+n)进行攻击,信息在云端进行传输时都是以加密形式存在,不会被交换到磁盘或者设备中。
3.3.3抗服务攻击
在用户登录过程中,用户需要云服务器提供的智能卡,只有在输入用户名和密码之后,用户才能对服务器身份进行验证,并能对平台进行访问,如果攻击者不能通过相关的账号验证,那么将不能发动服务攻击。
3.3.4抗假信息攻击
如果攻击者占据两台服务器,其中真假各半,那么他将会利用不可信的服务器欺骗用户,并发动攻击。在系统中,云服务器利用AIK私钥对PCRS进行签名,如果攻击者没有可信平台私钥, 则不能完成签名操作。
4结论
综上所述,随着科技不断发展,人们对云用户以及云服务器交互的实际应用,提出了数据传输和存储安全方向的问题。本文结合云计算的功能特点,对数据传输以及存储安全做出了有针对性的问题解决,并提出了数据传输以及存储安全所采用的关键技术。云用户与服务器在交互数据前,需要相互验证身份,才能得到通信密钥,以此来保证数据传输安全。
参考文献
[1]毛宇.面向移动云计算的数据安全保护技术研究[D].广东工业大学,2013.
[2]余琦.云计算环境下数据安全多维防护体系的研究与设计[D].广东工业大学,2013.
[3]曾文英.面向移动环境的数据存储管理方法关键技术研究[D].华南理工大学,2011.
[4]刘邵星.云计算中数据安全关键技术的研究[D].青岛科技大学,2014.