数据存储与交换

数据存储与交换（精选12篇）

数据存储与交换 篇1

1 数据的存储结构

采用XML技术构造的网上业务系统的本质就是文本文件。业务系统数据的存放方式一种是采用大对象的方式保存在数据库中, 还有一种是采用文件的方式, 保存在文件服务器中, 另一种方式是采用XML数据库的方式。在本系统中采用了文件服务器的方式进行存放。首先对每一个客户的一次业务进行唯一的编号, 同一个客户使用同一个编号。每次业务生成的交易记录、业务往来记录都作为独立的文件存在。

2 XML与关系数据库之间的映射

为了使基于XML的网上业务系统数据交换成为可能, 就必须将业务数据库中关系数据映射为XML文档。关系数据库将信息存储在表中, 表是一个二维的结构, 由行和列组成, 表中的每行存放数据库记录, 表中的每一列为表的字段。关系数据库使用类似主健和外健的构架维护相关表之间的联系。用户可将不同的信息存储在表中。XML不存在真正的行和列, 只存在分层关系, XML没有主键和外键的概念, 但XML的ID属性和idref属性有类似的功能。

在XML Schema定义语言中也可采用unique元素来实现惟一性约束, 可以验证某些元素或属性的值在某个特定范围内是惟一的。采用key元素来表示关键字约束, 表示元素的惟一性, 且不能为空。关键字引用用来保证XML实例文档中的两个数据集合之间存在匹配, 它们类似于数据库中的外来关键字。在Schema中关键字引用以元素keyref元素表示。通常, 数据库中的关系数据到XML文档的映射规则为:表———元素, 列———属性或子元素, 值———属性值或子元素值。通过使用元素标记和属性标记, 使XML文档的内容具有可识别性。元素标记和属性标记是自定义的, 它们的描述都存放在Schema文件中。元素标记和属性标记在XML文档中呈<>和配对出现, 属性标记嵌套于元素标记中, 标明从关系表中获取的字段信息。每个表的字段既可以映射为它的子元素, 又可以映射为它的属性。主要的原则是构成主键和外键及索引的字段, 往往反映一些基本性质且变化较小, 所以应映射为属性。对于映射为属性的字段如果不能为空, 则相应的属性应为required, 否则为imPlied。而其它的字段为了保证将来的可扩充性, 可以映射为子元素。如果这个字段允许为空, 则元素的后缀为“?”, 否则没有后缀。如果几个字段的组合在另外一张表或是几张表中同时出现, 则表明其具有一定的意义, 所以可以将这几个字段组合映射为一个新元素。

对于“业务往来”和“基本信息”两个实体之间的联系转换关系模式, 按照以下的原则进行:

1:1联系可以转换为一个独立的关系模式, 也可以与任意一端对应的关系模式合并。如果转换为一个独立的关系模式, 则与该联系相连的各实体的码以及联系本身的属性均转换为关系的属性, 每个实体的码均是该关系的候选码。如果与某一端实体对应的关系模式合并, 则需要在该关系模式的属性中加入另一个关系模式的码和联系本身的属性。

在这里与“基本信息”实体合并, 把“业务往来”关系中的主键ID加入到“基本信息”关系中, 命名为IID。“基本信息”关系为参照关系, “业务往来”关系为被参照关系。这样我们得到的表格为:

业务往来 (ID、基本信息、业务记录、合同记录、财务记录) ;基本信息 (IID、单位名称、单位地址、电话、主要联系人、联系人电话、性别、职务、备注) 。其中ID是业务往来的记录号, 为内部主键, ID为外码, 这样, 我们就把这两张表格连接在一起了。

3 网上业务系统数据的存储

基于XML的网上业务系统与关系数据库结合的存储模型, 把XML文档存储在关系数据库中就是按照一定的映射规则将XML文档的结构和内容映射到关系数据库中, 这种映射规则的映射语言, 表述如下:

从XML到关系数据库的映射是由一组规则组成的。给定一个关系模式R= (R1, R2, …, Rn) , 并为每个关系表R1定义表映射规则Rule (Ri) , 由字段映射规则Rule (Ri, S) , 定义从XML到关系的映射t, 表示为t= (Rule (R1) , Rule (R2) , …, Rule (Rn) ) , 则Rule (Ri) ={Rule (Ri, S) , S∈att (Ri) }, 其中S是关系表Ri的字段, 表示为S∈ (Ri) , 取值为value (x) 或id (x) , 表示为S:value (x) │id (x) ;Xi是一组路径变量, 在Xi中表示根节点。路径变量x→y.P, 其中y∈Xi表示x∈y[p]。当表映射规则Rule (Ri) 符合下列条件时, 该规则为良构的:

(1) 每个x与根节点Xi相连, 即x←Xi.P1, 或x←y.P, 且y与Xi相连。

(2) 若存在路径变量x1←y.P1, x1←y.P2, 则P1, P2必无共同前缀。即, 不存在非空路径P、P1’, 、P2’使得P1=P.P1’, P2=P.PP2’。并且对任何x←y.P, 除非y是根节点, 否则p一定是简单路径 (即, 不带“*”的路径) 。

(3) 存在字段规则S1:f (xi) 、S2:f2 (x2) , 若S1和S2是不同属性, 则xl和x2是不同变量, 或f1和f2是不同函数。

若映射t对应的所有表映射规则都是良构的, 则称该t是良构的。对一个良构的映射规则, 若把"*"当作节点标识, 则每个映射规则都可用一颗树来表达, 称为表树, 该树反映了映射到该关系表的XML数据的结构。

采用关系数据库与XML结合的方式对网上业务系统数据进行存取和操作, 将半结构化数据转化为结构化数据, 通过查询数据库来提取, 分析XML文档的数据。这样可利用相对成熟的数据库技术提供的强大的数据管理服务, 而且目前大量的数据都是存储在关系数据库中, 基于关系数据库进行XML文档数据的存储技术为将来在同一个数据库系统内对XML文档数据和结构化数据协同工作打下了坚实的基础。

图1所示的XML-DBMS是一种用于进行XML文档与关系数据库之间转换的中间件。它将XML文档看作一个有详细数据的对象树, 应用“对象—关系”映射理论将对象映射到关系数据库中。它提出了一个映射工厂 (MapFactories) 的概念, 使得要存入数据库中的XML文档与一个映射模型进行匹配。当需要进行数据转换时, 协调模块首先根据DTD文档通过映射工厂的一个映射实体来描述DTD与关系视图的映射关系, 并对于需要特殊映射处理的数据产生元数据 (如列的数据类型) 和一些Insert, Select等命令的一个实体对象, 应用组件进行有详细数据的文档对象树与数据库的转换。在将XML数据转换到数据库中时, 协调者应根据L文档建立一个对象模型树 (DOM) , 并与映射实体一起提交给数据对象模型到数据库管理系统 (DOMToDBMS) 组件, 该组件返回给协调者。在从数据库中获取数据时, 协调者将映射实体和文档获取信息提交给数据库管理系统到数据对象模型 (DBMSTODOM) 组件, 并获取文档对象模型树。此外, 还可以利用面向对象数据库的存储管理来存储XML文档, 面向对象数据库用自身的方法、关系和语义来管理分层XML树, 同时提供了强大的导航和连接的能力。面向对象数据库的体系结构非常适合存储XML数据。

如果要在关系数据库基础之上建立XML数据库, 那么就要将XML数据模型映射为二维的表结构。一般情况下, 选择的XML数据模型为文档对象模型DOM, 这样问题就转化为将内存中的树结构映射到数据库中的表结构。映射还需要一些前提条件:首先对DOM树中的所有元素节点进行编码, 编码按照前序遍历的顺序, 也就是以文档顺序进行编码。所有元素节点都具有唯一的编码, 元素与子元素之间的边用子元素的名字来表示。所有的PCDATA即文本节点都在DOM树的叶节点中, 如图2所示 (0表示根节点) 。

4 网上业务系统信息的集成与交换

公司员工出差在外或不同地点的多个子公司或办公室, 可通过数据中心来共享公司业务系统, 公司定时将业务数据上传到数据中心, 分散在各办公地点的业务人员向数据中心提出请求, 经过认证后, 在数据中心查找到此项业务的基本信息。接收和生成XML文档的代码如下:

这样, 各个办公地点就可以将业务信息上传到数据中心, 保存在数据中心的数据库中。同时, 业务逻辑层应用服务器通过消息驱动Bean, 采用异步方式支持XML更新功能, 将数据服务器上的数据的变化及时地传递给客户, 反之亦然。

5 业务系统的数据安全

数据库的安全性主要考虑:数据的真实性、完整性、保密性、使用者身份的合法性。本系统中使用者身份的合法性的基本设计是采用认证的方法。依据每位工作人员所处的职能角色不同, 通过用户名与口令控制工作人员在系统中不同的操作权限。实现时首先建立系统用户账户表, 并按职能角色不同设置不同的用户名及用户等级。可以将不同的用户划分为: (1) 数据库登录权限; (2) 资源管理权限; (3) 数据库管理员权限, 授予不同的权限。

5.1 XML加密

XML数字签名不能解决数据被窃取者看到后破解的问题, 而这个是XML加密的功能, 它能够加密XML文档部分或全部内容信息, 该特点可以使得对于不同权限的用户, 通过XML的加密隐藏关键信息, 用户最终看到的信息在权限允许的范围内。

5.2 数字签名

XML数字签名的核心内容是, 如何采用XML的语法规则来对数字签名作出恰当而充分的描述, 并且还要对签名的生成和验证过程做出准确的描述。

XML数字签名提供数字认证过程, 确保接收到的消息和发送的消息是一样的, 对发送者进行身份鉴定, 提供了可以审核的消息发送证据, 包括发送源和发送传输本身的数据, 数字签名主要解决两方面的问题:确认信息是由签名者发出的, 信息自签名者发出后, 未曾作过任何修改。XML数字签名不仅能够实现对整篇文档进行签名, 更重要的是能够对XML文档的特定部分内容签名, 当文档的某个部分很关键, 且不能被篡改时, 这种灵活性就显得尤为重要。在文档中, 各个组成部分可能需要不同的负责人进行签名确认, 这样, XML数字签名的特点就可加以应用。流程如图3所示。

参考文献

[1]谢金崇.虚拟企业产品信息共享技术[D].北京:北京航空航天大学, 1999.

[2]林建宇, 张国俊.一种异构数据库集成的方法[J].南京理工大学学报, 2002 (5) .

[3]孙鹏文, 张敏, 叶奇.基于XML的协同仿真信息集成与共享技术研究[J].组合机床与自动化加工技术, 2007 (3) .

[4]张建, 刘更, 贺朝霞, 等.基于XML实现Java内容仓库和关系型数据库的双向映射[J].计算机应用研究, 2009 (1) .

[5]蒋宏潮, 王大亮, 班晓娟, 等.基于XML的Web数据半自动采集[J].计算机工程, 2009 (21) .

[6]成益鑫, 梁龙.基于XML数字化造船领域标准接口解决方案[J].计算机工程与设计, 2009 (18) .

[7]尹建璋.基于XML的应用层数据交换技术的研究[J].计算机与现代化, 2009 (8) .

[8]孙铁利, 古丽娜孜.基于XML的Web数据挖掘模型的探讨[J].新疆大学学报 (自然科学版) , 2009 (3) .

[9]熊才权, 李永辉.基于XML的空间数据互操作与可视化的研究与应用[J].计算机与数字工程, 2009 (6) .

[10]苏鹏, 李钊, 王文, 等.基于SSIS企业数据集成系统的技术实现[J].计算机应用与软件, 2008 (9) .

[11]王海燕, 周思方, 支建飞.基于XML元数据交换的电子试卷管理系统[J].计算机工程, 2009 (19) .

数据存储与交换 篇2

1 数据迁移技术

数据迁移方法，要根据具体的存储设备类型、系统软硬件架构、系统数据类型等特点，选择合理、高效、便捷的技术，实现一种或多种技术并用、混用，才能有效地确保业务的连续，减少停机时间，可靠安全地进行数据迁移。目前，业界通用的数据迁移技术实现大致分为如下几类。

1. 1 基于存储的迁移方法

基于存储的迁移特点是基于存储系统的虚拟化技术或存储管理技术，有3 种方法实现:存储阵列内部数据复制，是利用存储阵列内置数据复制软件，将源数据卷复制到目标数据卷，如clone。存储阵列间的数据复制，可基于存储管理系统的远程复制技术不消耗服务器资源，并且可根据阵列io 对主应用的影响，来调整数据复制的速度，但条件有所限制，必须在同种品牌厂商存储设备间进行，如EMC 的VMAX 系列设备同DMX 系列设备间可使用cold push 方式和hot push 方式，利用存储设备具备的数据复制迁移功能进行数据迁移; 或是基于主机操作系统，利用专业的存储复制迁移工具软件，将不同存储连接至同一台主机，实现阵列到阵列的数据复制，但是会耗费一定的系资源，因此要根据应用场景，调整数据复制的速度。利用虚拟化存储技术，将虚拟化设备融合进SAN 架构的存储系统，实现存储设备统一封装，可以很方便地将数据从源端迁移至目的地，并可兼容主流存储设备、支持不同厂商或品牌存储系统间的数据迁移和容灾、适合于频繁的数据迁移，某些业务场景，可实现跨物理存储数据迁移而业务无需中断，但是需要配置专有的虚拟化设备如EMC 的Vplex，或具备虚拟化功能的存储阵列。

1. 2 基于主机操作系统命令的迁移方法

基于主机操作系统命令迁移的特点是数据迁移操作的发起和控制均发生在主服务器端，支持联机迁移，可在不同存储系统间进行，但对主机性能有一定影响，影响承载业务的响应效率，适合于主机存储的非经常性迁移，并且必须根据实际情况评估系统负荷的可行性。

有两种实现方法: 一种是对采用逻辑卷管理器管理的系统通过逻辑卷数据镜像实现数据迁移，但目标卷可添加至原卷缩在的卷组中，有些卷组属性参数支持物理卷数量有限，有一定局限性; 另一种是利用操作系统拷贝( 复制) 命令，如在Unix 系统上使用命令cp、dd、tar 等命令来实现数据复制、lv 复制、文件打包迁移等操作，或在Windows 系统使用图形界面拷贝或copy命令灵活地进行，但需要进行脱机处理。

1. 3 基于备份管理软件的迁移方法

基于备份管理软件迁移的特点是利用备份管理软件将数据备份到物理或虚拟带库，再恢复到新的存储设备中。如采用在线备份，数据迁移过程对服务器业务影响相对较小，但在备份时间点与切换时间点之间源数据因联机操作所造成的数据变化，需要通过手动方式进行同步如数据库备份工具DSG; 如采用离线备份，必须停止服务器业务，在数据恢复成功后再恢复业务运行。备份管理软件可使用存储系统自带软件，第三方备份工具如EMC network。由于选择备份方式不同，数据迁移所耗费的.实践会有较大的差异。

1. 4 基于专有应用软件的迁移方法

采用应用软件本身的迁移工具、或第三方支持的迁移工具来实现数据迁移，这种方法依赖于应用软件自身的机制，与主机、存储种类关系不大，可实现实时复制、定时复制、静态复制或数据转储。如Oracle 自带的工具DataGuard 或动态复制工具goldenGate。一般情况下存储系统上都有多种应用系统，因此，数据迁移大多采用多种工具及技术并用来实现存储系统的数据迁移。

2 陕西联通综合联机系统数据迁移

根据陕西联通综合联机系统存储现状，运用不同的存储迁移技术，制定数据迁移方案，实现非正常环境下，跨存储数据迁移。

2. 1 陕西联通综合联机系统现状

陕西联通于 年建立综合联机系统，利用两台IBMP570 小型机，利用DMX 存储，利用HA 软件构建双机互备份群集环境，采用SAN 架构搭建，如图1 所示。由于设备老旧故障频发，于 年购买IBM P740 小型机及EMC VMAX10K存储来替换上述设备。本次迁移面临的困难: DMX2000 与Vmax10K 存储位于不同的San 交换机上，需要跨不同的SAN网络进行数据迁移。ED140 交换机有故障，无法进行配置更改，无法与ED4800 交换机进行连接，配置链路。DMX2000有前端和后端板卡故障，无法进行change bin 操作，不能与VMAX10K 存储建立链路连接，不能使用EMC 存储使用的coldpush 方式和hot push 方式进行数据迁移。迁移系统时间不超过6 h。

2. 2 数据迁移方案

在上述硬件环境下，确定迁移方案，分为两个步骤进行: 首先进行操作系统层面数据迁移，然后利用存储Clone 技术，存储内部再进行数据迁移，实现主机和存储的同时替换。

现有主机各有一块空闲HBA 卡，连接至SAN 48K 交换机，VMAX10K 1F0 和3F0 端口连接到SAN 48K 交换机上，使主机可以访问VMAX10K 上的磁盘，利用OM 软件进行源主机VG数据复制; 然后将复制好数据的磁盘，作为clone 数据源盘，创建对应的Clone 关系，将clone 目标盘分配给新主机，运用全量与增量clone 技术，完成在线实时迁移。利用上述技术，可进行多次数据复制，可在新主机环境中进行多次应用测试，最终的业务割接测试时间很短，30 min 用于启停应用，30 min 可完成数据同步，业务割接1 h 完成。迁移工作全部完成后，拆除虚线链路。

2. 3 系统回退方案

由于前期数据已经进行全量数据迁移，并进行了业务测试，正式割接过程，仅仅适用于追平数据的实践差，数据跨存储迁移无需回退。

2. 4 数据完整性验证方案

数据完整性、一致性验证重点放在小型机系统数据迁移应用侧数据，由于前期测试阶段，首先进行了全量数据同步后的应用验证及数据一致性检测，和多次增量clone 后，应用验证及数据一致性检测。此方案将大量的检查验证工作在正式割接前进行，有充足的实践做全面的检测和一致性检查，因而正式割接仅仅是数据增量，无任何风险。

3 结语

数据交换与信息共享在广西的实践 篇3

交流和网上服务的要求逐步提高，一些异构政务系统间的信息交换与共享问题，迫切需要获得良好解决途径。笔者在广西开展电子政务建设、推进政务服务跨系统、跨部门、跨地域数据交换、信息共享和业务协同中作了一些研究和实践，取得了一些经验。

业务需求与难点分析

广西在推进一服务两公开信息化中，数据交换和信息共享需求较为迫切地体现在以下三个方面：

一是自然人（人口）基础性数据和信息共享需求。在人口领域，各部门的人口信息库存在着多头采集、重复采集、信息一致性差等问题，特别是人员的死亡、失踪、出境定居等带来的户籍注销和变更的信息无法及时共享，急需通过整合公安、劳动、教育、民政、计生、司法、残联、老龄等部门人口信息，进行数据交换和共享，以便各级各部门统筹资源，更好的提供社保、司法、医保、计生、教育培训等公共服务。

二是法人基础性数据交换和共享需求。在社会管理公共服务方面，与法人相关的数据使用频率很高，在实际业务中，工商、税务、质监等部门在企业管理方面建有各自的业务系统和企业信息数据库，存在着独立运行、无法实现共享等问题，造成单部门掌握信息不完整，影响了监管和服务水平的提升，急需建立企业（法人）基础信息数据交换和共享，确保企业基础信息的准确、完整、一致，优化企业登记数据流程，减少企业重复填报，提高政府部门的监管水平和服务水平。

三是部门联合发文、并联审批等管理和服务行为需要进行数据交换和信息共享。政府在服务和管理中，相当一部分工作需要多个部门相互配合才能有效推进，如联合发文需数据信息能在部门间流转；并联审批需通过审批信息在部门之间交换，实现审批业务调度，推进跨部门协同审批办事，实现“一门受理、协同处理”。

电子政务要朝纵深发展，必须解决部门间信息数据不一致、共享程度低等问题，目前难点主要在于：

一是电子政务应用无操作性的细化标准。国家陆续出台的一系列电子政务方面的标准，大都是“关于标准的标准”，描述的是以怎样的技术和规范来做标准，即标准框架。标准框架是指导标准本身建设的，标准本身的内容才是指导信息系统项目建设的实质。信息资源整合是当前电子政务建设的主要矛盾，有标准框架而无应用标准是无法实现信息资源整合的。

二是需要建立电子政务核心组织枢纽。在各级政府大力推进电子政务建设的同时，大量存在各自为政、多头管理的问题，各地区在电子政务建设中普遍缺乏统筹组织、统一规划和集中管理，导致各级政府之间、政府各部门之间无法实现资源共享和有效协同，无法释放电子政务的潜能和体现其价值。电子政务分散建设模式和分部门管理方式本身，成为阻碍电子政务发展的重要瓶颈。

三是需要建立和完善电子政务绩效管理机制。目前电子政务重建设、轻维护的现象仍然相当突出，电子政务绩效管理体系缺失，电子政务建设实际处于一种监督缺失状态，电子政务资金投入后，难以说清其建设是否达到了预期效果。

基于数据交换和信息共享的政务服务信息化实践

广西在推进政务服务政务公开政府信息公开信息化建设中，不断深化政务信息资源在部门之间共享，逐步实现政务信息资源管理的集约化、规范化、更新制度化、共享普遍化，促进政府行政能力和服务水平的提升。

(一)明确牵头和组织实施机构

为加强组织领导，广西先后成立了广西壮族自治区政务服务工作领导小组、广西壮族自治区政务公开工作领导小组、广西壮族自治区政府信息公开工作领导小组，实行三块牌子一套人马的机制，并明确其作为信息化的牵头单位，负责指导全区政务服务政务公开政府信息公开信息化建设，实行全区统一规划，突出顶层设计，以信息共享、互联互通、业务协同为原则，逐步将一服务两公开信息化建设由传统型的碎片式、项目式的发展方式，向集约化、效能型的发展方式转变。

(二)建立标准规范，共建数据交换和信息共享平台

解决“信息孤岛”问题、促进资源共享和业务协同，统一标准规范是关键。2006年国家信息化工作领导小组发布的《国家电子政务总体框架》（国信〔2006〕2号）中提出，将政务信息资源目录体系与交换体系列为电子政务基础设施，以支持政务信息资源的共享交换。

广西以“参照、设计、整合”为出发点，从政务信息资源目录内容建设、标准规范制定、目录系统建设和管理制度制定等多方入手，启动了电子政务信息共享交换标准规范体系的建设工作。其中，政务信息资源编码作为规范体系建设的核心工作，在参照国家标准和国际相关标准的基础上，采用9位字母和数字作为前段、不定长字符串作为后段的两段码格式，对政务信息进行编码，编码形式如图所示。

各级各部门在梳理制作本单位政务信息资源目录的基础上，依照统一编码规范为政务信息资源赋予唯一标识符，以方便信息的采集、监管和使用。目前，依托编码规范，广西统一规范了政府信息公开、政务服务审批事项、政府网站信息内容保障等政务信息资源的编码方案，为进一步深化全区政务服务、政务公开和政府信息公开工作，起到了良好的推动作用。

与此同时，广西积极研究探索建立覆盖全区各级各部门业务系统的电子政务信息资源共享交换平台，平台以统一的政务信息资源编码规范、统一的信息共享交换模式、统一的信息管理方式为基础，引入数据字典概念，各级各部门在共享交换平台上注册并公布本单位政务信息资源目录和按规则编码编制的信息资源码表，信息需求者想要获取信息时，需按照信息提供方码表向其提交所需信息编码，信息提供方解析编码并从前置交换信息库中查找所需共享信息，以XML标准文档格式通过信息交换系统传递给使用者。

在具体交换共享过程中，根据信息共享范围可将应用模式划分“公共信息共享模式”和“部门信息交换模式”。其中，公共信息共享模式是指将需要长期定时定期交换的信息存储在前置共享信息库中，信息需求方通过信息码表识别共享信息，采用数据交换系统和数据自动获取的方式，实现业务系统对基础数据从“重复录入”向“核对读入”的转变，实现所有用户访问和下载。如下图：

“部门信息交换模式”交换的政务信息按照“按需交换”的原则，在指定的或事先约定的部门之间进行交换的信息，信息在传输交换过程中需要共享交换平台对交换信息内容进行加密,同时根据信息提供方的设定范围，判定信息需求方是否有权限获得所需信息。“部门信息交换模式”又可划分为“协同交换”和“请求交换”两种模式。“请求交换模式”需要信息需求方根据信息码表发送请求，经共享交换平台验证后方可传递请求到信息提供方，信息提供方通过解析请求中的信息编码回送反馈信息，见下图。

与“请求交换模式”中信息需求方主动提出交换申请不同，“协同交换模式”不需要上图中①—⑤的过程，信息提供方需主动提供交换信息，并将交换时限纳入电子监察，在规定时间内, 对外交换的信息仍未发送,电子监察系统就会督促信息提供方尽快发送信息，该种模式主要应用在多部门应用系统的协同办公中。

(三)建立基于业务协同的数据交换和基于审批结果的信息共享

为加强全区政务服务信息共享工作的组织领导，推动全区各级各部门行政审批和政务服务事项信息共享，2011年自治区人民政府决定成立自治区政务服务信息共享和窗口服务扁平化工作领导小组，负责组织、指导、协调、监督全区政务服务信息共享和窗口服务扁平化工作。并于同年针对全区各级各部门行政审批业务需求，联合自治区人力资源和社会保障厅、自治区商务厅、自治区工商行政管理局、自治区质量技术监督局等多个部门，整合政务服务资源，实现了“全区高级职称信息”、“全区参保人员社保信息”、“全区外商投资企业注册登记信息”、“工商企业注册登记信息”、“全区组织机构代码证信息”等信息资源的全区政务服务试点共享工作。

自治区政务服务信息共享试点单位通过前置机方式，提供完整、准确、实时更新的项目信息作为自治区政务服务信息共享数据信息。全区各级政务服务中心窗口在办理行政审批事项时，可以通过自治区政务服务业务通用软件的“信息共享”功能实现共享校验，从而减少申请人提交材料，降低审批工作强度，提高审批工作效率。

(四)建立数据交换和信息共享评估机制，纳入绩效考核

随着“一服务两公开”信息化工作的推进，广西依托全区统一的绩效考核体系，对“一服务两公开”信息化项目建设单位、共建部门进行考核，细化考评指标，不断完善、创新信息化建设绩效考核方式方法，使考核工作制度化、常态化。以制度机制来规范和引导“一服务两公开”数据交换和信息共享，把绩效评估结果与政府部门业绩挂钩，发挥绩效评估的正面导向作用，更好地控制和引导一服务两公开信息化的发展方向，提高建设实效，避免重复建设，保证“一服务两公开”数据交换和信息共享目标的实现。

数据安全与数据备份存储技术分析 篇4

关键词：数据安全,数据备份,存储技术

一、数据安全

1.1逻辑上的安全。数据的不安全性主要原因包括病毒入侵, 黑客攻击, 人为篡改等等, 其中硬件和软件的故障是造成数据不安全性的主要原因。逻辑上的安全, 一般是指防止不法分子入侵或病毒破坏的措施。就比如说, 现在很多企业都是通过互联网来进行业务往来或通过互联网与其分支机构进行联系与管理, 一旦数据丢失, 造成的损失是巨大的。所以这些企业都很重视存储在服务器里的数据, 比如说, 公司内部文件, 公司账户, 或客户资料。而硬盘在数据存储中发挥着重大的作用, 正因为如此才成为黑客攻击的对象, 硬盘的价值是有价的, 但是存储在硬盘内的数据是无价的。

1.2物理上的安全。这就是对于电脑本身而言, 电脑受到人为因素的破坏或者不可抗力的灾害时, 若之前没有对电脑内部存储的数据进行数据备份, 那这些数据也会随着电脑的损坏而消失。

其实不管是逻辑上的安全还是物理上的安全受到威胁, 数据备份都是一个直接有效的措施, 这也就是俗话说的有备无患。

二、数据备份

数据备份是防止数据安全性受到挑战的有效措施, 一旦原有数据受到侵犯, 在对不法分子进行法律追踪的同时, 也能启动备用数据, 使服务器快速再次投入使用, 将受到的损害减少到最小的限度, 减少损失。

三、数据备份技术分类

数据备份从不同的角度可以分为不同的类型, 以备份模式的角度来看, 可以分为逻辑备份和物理备份。

3.1逻辑备份。逻辑备份也可以称为基于数据的备份, 前面我们提到过, 硬盘是有价的, 而硬盘内的数据是无价的, 逻辑备份就是针对数据进行备份。

每一个文件都是由不同的数据组成的额逻辑块组成的, 而每一个逻辑块都存储在有顺序的物理磁盘块上。备份软件不仅可以对磁盘块进行操作, 也可以对文件进行操作, 智能识别文件结构, 将所有的文件和数据拷贝到备份资源系统中去, 这样就可以按照文件的排列顺序读取文件, 并且录入备份媒介上, 这样极大地促使了单独文件的恢复速度。但是, 长期连续存储数据, 会让备份文件的速度减慢, 因此在进行无顺序文件的查找时需要消耗更多的时间。逻辑备份的缺点就在于, 因为其备份的原则是按照顺序连续备份, 如果只是其中一小部分的文件出现问题, 也要对整个文件进行备份。

3.2物理备份。物理备份也被称为“基于设备的备份”, 故名思义就是在电脑操作方面对文件进行备份。电脑系统在将数据拷贝到备份媒介上时, 会自动忽略文件的结构, 因为备份文件要求在实施过程中花费较少的时间和开销, 因此就需要以这种方式提高文件的性能。不过, 这种方法也有它的缺点, 因为物理备份与逻辑备份不同, 它并不是将文件连续的存储在备份媒介上, 这样的话文件恢复起来就会比较缓慢。在这种情况下, 要对数据进行备份的话, 就需要了解文件在磁块上的组织信息。物理备份的另外一个缺点就是可能会导致数据引入的不一致, 一般电脑在进行数据备份时, 会对要备份录入磁盘块的数据进行缓存, 而物理备份跨越磁盘块的特点会忽略缓存文件的数据, 造成数据的丢失。

即使两种备份方法或多或少地存在一些缺点, 但也不能否认其在数据备份中的重要性以及实用性, 对数据安全的保护作用。

四、结束语

数据备份的技术多种多样, 以上着重讨论了逻辑备份和物理备份技术, 人们在进行数据备份时, 也可以根据需要备份数据的不同, 选择合适的备份方式。但是, 不管如何, 数据安全与数据备份的目的都是为了保护重要信息不泄露, 保证数据的完整以及防止数据丢失。

参考文献

[1]章壮洪, 刘谦.组织的数据安全与容灾备份[J].会计之友 (中旬刊) , 2009 (02) .

数据存储与交换 篇5

CAN（ControllerAreaNetwork——控制器局域网）是一种由带CAN控制器组成高性能串行数据局域通信网络，是国际上应用最广泛的现场总线之一，它最早由德国Bosch公司推出，用于汽车内部测量与执行部件之间的数据通信。其总线规范已被ISO估计标准组织制定为国际标准。由于其具有多主机、传输距离远（最远为10km）、传输速度快（最快为1Mbps）、抗干扰能力强等诸多优点，所以被认为是最有发展前途的现场总线之一。

CAN协议是建立在国际标准组织的开放系统互连模型基础上的。1991年9月，PhilipsSemiconductors制定并发布的CAN技术规范Version2.0为现行最高版本。其中规定了两种模式：标准模式和扩展模式。本文主要对标准模式进行介绍。

TCP/IP（TransmissionControlProtocol/InternetProtocol——传输控制协议/网络协议）是一个工业标准的协议集，包括IP、TCP、UDP等子协议，保证数据在网络上的正确传输。TCP/IP协议是现代因特网的基础。

TCP/IP协议为四层模型：应用层、传输层、网络层和数据链路层。每层都有不同的功能，而且层和层之间在逻辑上是相互独立的。每层都对应一些子协议，如图1所示。本文用到的协议包括ARP、IP和TCP等。

2、应用背景

CAN总线在很多行业被广泛应用。由其组成的局域网可以将很多底层测控设备连接起来，最远距离可达10km(在不接中继器的条件下)。相对其它现场总线，该距离已经是很远了。但随着以太网的发展，人们希望对底层设备也能进行真正意义上的远程控制。工控机加接口卡已经被用来实现这一目的，但价格和接口卡带来的瓶颈等问题也随之暴露出来。本文是以单片机、CAN器件和网络芯片为核心的模块来完成该功能进行叙述的。这种方案降低了成本，避免了瓶颈。

3、硬件部分

硬件的实现方案有多种，可以采用集成TCP/IP协议的单片机外加CAN收发器和控制器；也可采用集成CAN控制器的单片机外加CAN收发器和网络芯片。本文的实例采用不带任何集成的单片机PhilipsP89C668，外加CAN控制器SJA1000、CAN收发器TJA1050以及网络芯片RTL8019AS，组成一个转换模块，功能模块如图2所示。

P89C668：微控制器，主要的控制部分，实现对网络芯片以及CAN器件的控制，并进行两者之间的协议转换。

SJA1000：CAN控制器，两种工作模式（BasicCAN和PeliCAN）。BasicCAN仅支持标准模式，PeliCAN支持CAN2.0B的标准模式和扩展模式（本文仅介绍BasicCAN模式）。支持错误分析功能，对CAN收发器进行控制，为微控制器提供了控制CAN总线的简单接口。

TJA1050：CAN收发器，微控制器对CAN控制器进行相应配置后，收发器自动过完成相应的CAN总线动作。

RTL8019：网络芯片，提供给微控制器控制以太网的简单接口，使微控制器只需要对其进行相应读写即可完成对以太网的操作。

实验中另外用到一个CAN模块作为一个CAN节点，和转换模块一起组成一个简单的CAN网。

4、软件部分

CAN编程

BasicCAN模式中的CAN编程相对简单，只需要对SJA1000相应的寄存器进行读写操作即可。在该模式下，报文识别码为11位，在经过验收滤波器的筛选后，符合条件的报文才能被接收，并存入SJA1000接收缓冲区。识别码值越小，优先级越高，

如果总线上出现报文冲突，优先级高的报文选占据总线。CAN节点间每次最多传送的数据为10个字节。发送缓冲区寄存器的描述如表1所列，它与接收缓冲区寄存器结构大体相同，只是地址不同。

表1 发送缓冲区寄存器

本实验中用到P89C668的外部中断1。该中断由SJA1000引发，设置为当SJA1000收到来自另一节点的数据时，向P89C668发出中断信号。在中断处理程序中，P89C668读取并保存SJA1000中断寄存器的值，作为在相应程序中进行处理的依据。

TCP/IP协议

由于TCP/IP协议很复杂，涉及的内容很多。下面仅就几点作简要介绍。

（1）封装和分层的概念

发送数据时要对数据进行逐层封装，既加上相应的首部，作为所经过每层的标识。具体原理如图3所示。接收到的数据是按一定结构封装好的，我们要根据前面的首部信息，判断数据应交付给下面哪一层，并将相应首部信息去除，这样依次向下传，到最后可以得到所传送的真正数据。具体原理如图4所示。

（2）以太网驱动程序

以太网驱动程序是提供链路层物理接口与网络层交互的软件接口。网络层数据必须先交付给以太网驱动程序，由它将网络层数据打包交付给物理接口，完成数据发送。反之，以太网驱动程序在接收到数据时，要按照应用层可以接收的形式进行处理并交付给网络层。

（3）ARP协议

即地址解析协议，提供逻辑地址到物理地址的动态映射。发送站必须知道接收站的物理地址才能对数据进行封装，才能在以太网中进行传输，因此只知道接收站的逻辑地址是不够的，必须事先通过ARP协议得到接收站的物理地址。

（4）IP协议

即网络协议，提供一种不可靠的、无连接的服务，完成的功能有将运输层待发送数据封装成IP数据报，调用以太网驱动程序发送数据，从数据链路层接收数据，以及数据校验等。

（5）TCP协议

即传输控制协议，是一种面向连接的、可靠的运输协议。UDP协议实现相同功能，但它只把数据报分组从一台主机发送到另一台主机，不保证可靠性。本文主要使用TCP协议进行数据交换，而没有采用UDP协议。实验中用到P89C668的定时器0中断，10ms中断一次，主要为了进行ARP老化处理，设置TCP超时标志。

CAN与以太网的数据交换

数据交换原理简单说就是对从以太网中收到的数据进行分层。如果是TCP数据报，取出真正的数据，并将其存入一个开辟的数据区，对数据进行相应分析后，按照BasicCAN模式进行发送。反过来，将接收到的CAN数据存入另一数据区，除去地址和个数信息，将其余数据按照TCP/IP协议进行封装发送。具体流程图如图5所示。

由CAN接收引起外部中断后，保存SJA1000中断寄存器和状态寄存器的值，在CAN处理子程序中根据其值进行处理。当上到来自另一节点的数据，则将该数据存入相应缓冲区，并置位一标志位，在主程序中的TCP超时处理子程序中判断该标志位，如果为高则将该缓冲区中的数据拷贝到以太网发送缓部眍中，并将数据封装发送。当P89C668接收到来自以太网的TCP数据报，同样将一标志位置1，在CAN处理子程序（见图6）中，根据该标志位判断是否有数据要发送给另一节点。

在具体调试时，使一个CAN节点每隔一段时间向转换模块发送一些数据。该节点接收后，通过以太网转发给上位机，上位机通过超级终端显示接收的数据。同样，可以通过超级终端发送一些键入的数据，经过转换模块传给另一个CAN节点，从而改变它的一些内部数据。

5、小结

数据存储与交换 篇6

关键词：档案数字化数据整合数据存储

档案数据整合是指把原来通过各种渠道收集到的零散的档案数据，通过技术手段和方法，进行数据结构重构或数据结构匹配，以形成相对规范的档案数据。档案数据存储则是把档案数据以某种格式记录在计算机内部或外部存储介质上。档案数据的整合与存储主要是为了实现档案数据结构的合理配置及优化，通过对档案数据的整合，形成体系完整、内容丰富的档案数据。目前，北京市平谷区档案馆保存着大量的档案数据，而且呈TB级增长，特别是档案数字化后，数据的整合和存储变得更为复杂。基于此，笔者以平谷区档案馆的在相关方面的具体做法为例，对档案馆的数据整合与存储提出建议，以供探讨。

一、平谷区档案数据来源及其分类

（一）案卷级、文件级电子目录

1.从各立档单位接收的案卷级、文件级电子目录。平谷区档案馆以每五年为一轮从各立档单位接收纸质档案，且每年都要接收案卷级电子目录和文件级电子目录。比如1996～2005年期间，共接收电子目录26万条。

2.从各村接收的案卷级、文件级电子目录。平谷区档案馆在新农村档案示范区的建设中，从各村收集了部分案卷级、文件级电子目录。内容主要涉及10类村级重点档案，包括两委换届、林改档案、产改档案、养老保险、合作医疗、网格化管理、村集体经济管理、户口底册、计划生育、承包合同。此外，村务管理档案、农村科技档案作为涉农档案的重要来源，其形成的档案数据量也很大。

（二）从各立档单位接收的电子文件

自2005年至今，平谷区档案馆共接收电子文件11.6万件，数据总量73.5GB，包括文本文件、数据文件、图形文件、图像文件、影像文件、声音文件。

（三）各类档案的电子目录和数字化形成的电子版扫描件

平谷区档案馆馆藏目录主要分成14类基础数据库，包括文书档案、婚姻档案、房产档案、老土地照档案、招工档案、知青档案、兵役档案、独生子女档案、教学档案、二胎档案、现行文件档案、开放档案目录、老报刊目录、声像档案目录。截至2015年，共整理案卷级目录13.7万条，文件级目录153万条。数据总量1.5GB。据2015年5月传统载体档案数字副本的统计数据显示，历年来，平谷区档案馆共数字化纸质档案12.38万卷，700万页，数据总量8TB。数字化录音、录像131盘，数据总量1.5TB。

（四）通过档案业务系统采集的数据

平谷区档案馆业务系统主要包括4个，一是平谷区档案信息网，二是平谷区数字档案平台，三是平谷区村级档案信息管理发布平台，四是平谷区档案工作管理系统。这四个系统每年产生的数据总量在40GB左右。以2011年平谷区村级档案信息管理发布平台为例，全年度，平谷区村级档案信息管理发布平台产生数据总量1.2GB。其中，从镇罗营镇上镇村采集案卷级电子目录283条，文件级电子目录2030条；从大华山镇大华山村采集案卷级电子目录481条，文件级电子目录1809条。

二、平谷区档案数据整合的策略分析

平谷区档案数据来源于不同的基层单位（全宗），不同的数据库，不同的系统，无论数据结构还是数据内容上都会存在差异。结构化数据（行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）也好，非结构化数据（视频、音频、图片、图像、文档、文本等）也好，虽然已经按照全宗进行分类，但依然零乱、不便管理。通过整合、存储，数据清晰、结构统一，更便于档案数据的收管用。

（一）从分散到集中，将分散于乡镇、行政村的档案基础数据集中到档案馆保存

平谷区档案馆要求各立档单位每年6月到10月，将上一年度的电子目录和电子文件，通过平谷区数字档案平台和平谷区村级档案信息管理发布平台来实现数据的集中上交。

1.利用平谷区数字档案平台实现对乡镇档案基础数据的集中。该平台链接在平谷区政务内网中，可以覆盖到平谷区所有乡镇、委办局，这样每个单位的档案室都可以连接政务内网，因此实现了档案数据在乡镇、委办局这一层级的数据集中。自2008年至2014年底，平谷区档案馆利用该平台共接收档案目录3万卷、24万条，电子文件1.2万件，数据总量达20GB。可以说，通过这种方式，基本上实现了网络环境下文件归档、移交馆室的一体化；档案管理馆室的一体化；档案利用馆室的一体化；档案工作监督指导馆室一体化的工作模式，为各立档单位电子目录和电子文件的实时归档移交提供了支持平台。

2.利用平谷区村级档案信息管理发布平台，实现对全区273个行政村的案卷级和文件级目录的收集工作。2010年，平谷区村级档案信息管理发布平台在熊儿寨、黄松峪、镇罗营、马坊四乡镇58个村推广使用。2011年，又在大华山、大兴庄、南独乐河、山东庄四个乡镇，63个村进行推广。2012年，完成系统在全区的推广工作。目前，273个行政村都可以使用该系统实现村级档案目录的录入工作，基本上实现了村一级档案数据的收集工作。

（二）从异构到同构，把不同软件、不同系统生成的档案数据结构调整统一

就安装的档案软件来说，2008年以前，全区各立档单位自行安装各类软件。在使用系统上，部分单位使用Word、Excel、Access等办公软件录入电子目录。这些不同的软件和系统所产生的数据结构千差万别。平谷区档案馆针对这种情况，从数据库字段项、字段格式等方面规范了电子目录数据库结构。通过数据导出、合并数据库等方式，将数据统一保存到Sql server数据库中。目前，相关全宗数据涉及80个、目录150万余条，这些数据形成后均可在在查档大厅直接利用。

（三）从综合到专题，在收集到的文书档案数据库中抽取同类数据，构成专题数据库

平谷区档案馆根据实际利用情况，从150万余条文书综合库中抽取具有同类属性（内容、格式、结构基本一致）的数据，逐步形成婚姻档案、房产档案、老土地照档案、招工档案、知青档案、兵役档案、独生子女档案、教学档案、二胎档案等14个专题目录数据库。笔者认为，未来结合编研的需要，还会形成以重大活动、专题事项为主线的数据库。比如：四清档案、文革档案、阶级成分档案、纪检案件档案、林权证档案等。

（四）从独立到共享，采取复制、提前进馆等方式，实现各个机构独立数据的共享

目前，每个立档单位都会形成具有行业特色的数据库，这些数据基本上相对独立。针对这种情况，平谷区档案馆采用基层档案数字化的方式，通过复制、提前进馆等方式，将这部分数据提前利用。比如：民政局的婚姻档案、残联的业务档案等。

三、平谷区档案数据存储策略分析

（一）结构化数据和非结构化数据的存储分析

1.非结构化数据主要采取文件夹方式分级存储，根据档号编制规则建立文件夹，并与检索数据库形成对应关系。如果有相应的管理系统，可以通过文件管理的方式进行。比如扫描档案的原文、接收的电子文件等。采用档号分级的方式命名文件夹的优势在于：一是便于管理，方便非结构化数据和目录形成对应关系；二是便于利用，文件数据可以直接导入到档案管理系统中；三是可以解决操作系统的文件夹数量限制问题；四是方便数据的拆分，一旦出现数据量较大的情况，可以将数据拆成几个小份来存储和管理。如图1所示。

2.结构化数据主要通过数据库存储。目前较为常见的数据库（DB2，ORACLE，SQL，MYSQL）都有数据自动备份和快速恢复功能，不论哪种数据库，只要数据资源脱离机器本身，形成备份文件，就可以移植到任意计算机中。备份的数据不论以什么格式存在，只要形成备份文件，都可以存储。经过数据库系统的导入、导出功能，合并、拆分字段，形成数据格式一致、结构统一的数据库。

（二）档案数据存储策略的选择

根据平谷区档案馆的设备情况和档案数据量情况，最终确定分布式集中存储策略。分布式集中存储，采用可扩展的系统结构，利用多台存储服务器分担存储负荷，可以有效解决存储服务器的性能问题。

1.所谓分布，主要是实现数据备份的分布。在数据大量增加的情况下，只需要增加硬盘，对于节省成本具有优势。一方面，数据在移交档案馆之前，分散存储于各乡镇、村档案室，通过档案数据上报、接收等方式，统一集中到档案馆，数据经过整合之后再保存到阵列集中存储；另一方面，档案馆可以把重要备份的数据分成N份，按照不同的数据级别分别存储于不同的数据中心或者异地备份基地，这样的管理方式对安全和成本控制都有较好的效果。据统计，平谷区档案馆目前存有档案数据8TB。其中，包括电子目录150万余条和纸质扫描件700万页。2015年，其数据量增长了6TB左右，档案馆只需购买3块2TB的硬盘，就可以完成拓展。

闪电定位数据转换与存储系统 篇7

我国目前还没有建立高水平的大范围雷电监测网,但是我国闪电定位技术从20世纪80年代末得到了迅速发展后,目前国内其他专业部门已经发展了一定规模的闪电定位系统。例如,内蒙古先后在呼伦贝尔、兴安盟等地陆续投资建设了23套雷电监测定位系统。现在已基本形成了一张覆盖“内蒙古雷电灾害多发区”的雷电定位监测网。大范围的雷电监测网对于雷电监测站运行监控和建立技术保障规范有着非常重要的意义。

该系统是为了及时方便了解监控到雷电监测站的运行情况而研发的监控系统。以UDP方式实时接收闪电定位数据、仪器状态数据,并存储到本地电脑特定的位置。接收到得二进制状态数据要转存为对应的十进制状态数据文件,且提供转换后文件内的各个字段含义。为了能够及时了了解雷电监测站的运行状态、迅速排除故障,该系统添加了日志文件,详细记录程序启动、状态数据转发、运行错误的错误信息,并存储到本地目录。同时,为了灵活性,程序设置了配置参数信息,修改参数后,只需要重新启动程序文件,就可以按照修改后的参数信息运行。

1 程序设计

1.1 系统物理构成

该系统主要是将各个雷电监测站采集到的数据通过NPORT,以UDP方式传送到本地的信息中心。其简单的流程如下:

这里我们不考虑雷电监测站是如何采集到数据到。只考虑数据是如何传送到信息中心的。

1.2 数据的传输与接收

本系统是以UDP方式实时接收闪电定位数据和仪器状态数据的。UDP是一个简单、面向数据报的无连接协议,提供了快速但不一定可靠的传输服务。它速度快,可以用于广播,且消耗网络带宽小,有消息边界。使用UDP有两种技术。本系统主要使用了Udp Client类,属于System.Net.Sockets命名空间中的Udp Client类对基础Socket进行了封装,发送和接收数据时不用考虑底层套接字收发时必须处理的一些细节问题。该程序中数据发送流程图如下:

如图所示,我们可以看到,在接收数据块中,首先需要创建一个套接字。然后才能收发数据。发送的数据首先用一个字节数组存放。此时,最关键的就是如何将这些二进制数据解包为十进制显示。这就关系到雷电观测站中二进制状态数据帧格式。根据二进制状态信息帧每个数据的数据类型、字节数,从接收到的字节数组中取出相应的字节数,并转化为相应的数据类型。比如一个字节,就转换为byte,两个字节的word类型可以转换为ushort,四个字节的real类型转换为float。这样就可以转换十进制数据。

1.3 数据存储

台站仪器状态数据是以二进制文编码方式每隔30秒钟就发送一次。这里我们需要用到timer控件的Tick事件。同时,通过设置Interval属性可以设置时间间隔。接收到得状态数据需要存储在本地,并且以时间命名的文件夹。为了灵活方便,状态数据转存频次可以根据业务需求,接收不同频次的TXT数据文件。比如可以每十分钟保存一条数据,或者三十分钟存储一条等等。后面会详细讲到。这里我们以每隔一分钟为例。

首先我们需要用一个Text Box控件来设置接收数据的频次,只需用到它的Text属性就可以了。其次创建文件夹和Text文件要用到Directory Info类和File Stream类。在创建Text文件的同时就可以将之前按照数据类型转换的十进制写入到文件中。这里首先需要判断以当前年月日为命名的文件夹是否存在,不存在则建立新的文件夹。同理,建立Text文本文件也要先判断是否存在。我们在程序启动时为创建一个新的线程,专门用做数据的接收。下面为测试时接收到的数据样本图:

图3为系统在某地运行过程接收到的状态数据。图中2012120611176发送状态信息的年月日和时分秒。116.4706为经度,39.8082为纬度,RS为最近一次自检的通过标志,TS为当前的阈值,TCR为当前的阈值平均通过率,DOP为最近一次自检开始时的GPS误差放大因子。FE为10MHZ恒温槽石英晶振频率值得偏差,CS为帧校验和,SD为数据源。

1.4 日志文件

日志文件可以同步记录系统出现错误时的错误信息,提供程序运行时的精确环境,可供开发人员尽快找到程序中的BUG,也可以为以后的研究之用。

异常的处理我们通常会用到try-catch语句。Try指定希望被通知有关的异常抛出,就需要编写捕获异常的代码,并在代码中处理报告的错误,catch用来指定当捕获到异常时应该执行哪段代码。这里当有异常出现时,我们就创建日志文件或者在日志文件中记录错误出现的地方和时间。系统的正常运行首先需要程序的成功启动,因此这里需要记录程序的启动状态。在界面加载的时候如果出现错误,就会将错误信息记录在本地的TXT文件中。程序中最重要的是数据接收,因此我们还需要在数据接收的时候记录异常信息。

1.5 参数配置文件

为了便于记录、修改本程序所需要的参数信息,并且在程序启动时,自动获取配置参数信息,该程序添加了参数配置文件config.ini。这样在需要的时候,修改config内容后,只需要重新启动程序文件,就可以按照修改后的参数信息运行。

参数配置文件是一个独立的文件。C#操作INI文件的过程,就是C#调用Win32API函数的过程。API是指应用程序编程接口。它是一些预先定义的函数。目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。Windows API是一套用来控制Windows的各个部件的外观和行为的一套预先定义的Windows函数。用户的每个动作都会引发一个或几个函数的运行以后告诉Windows发生了什么。API函数包含在Windows系统目录下的动态连接库文件中。

进入该系统首先我们进入参数设置界面。这样我们也不需要找到INI文件。当然在INI文件中设置也是一样可以达到效果的。下图为参数界面:

而INI文件中也可以更改其中重要的参数,下图为INI文件图样:

1.6 站点状态界面

图6为该系统在某地运行并监控该地各个雷电监测站的界面。从界面中我们可以清晰的看到各个站点的运行状态。

2 结束语

该系统主要是为了方便监测雷电监测站的运行状态而设计的,以提高雷电监测的水平和能力。并且为建立大的雷电监测网提供基础。但是还有很多需要改进的地方。比如可以通过网站的形式显示各个省市,甚至全国的雷电监测站的状态数据,这需要后期的改进。

摘要：为了实时监控雷电活动范围,精确定位雷电区域,确定雷电强度,我们国家很多地方都建成了统一的雷电定位监测网。该系统主要是为了做好雷电监测站运行监控与技术保障工作而设计的。主要在Microsoft Visual Studio 2010环境下,使用C#[1]语言做了闪电定位仪运行监控系统的研发。该文主要介绍在研发过程中的一些主要技术,包括UDP[2]技术,编码方式等,此系统为监控雷电监测站的正常运行提供方便依据。

关键词：闪电定位,监控,UDP方式

参考文献

[1]Jeff Ferguson Brian Patterson.C#宝典[M].北京:电子工业出版社,2009.

数据库编程与数据库存储技术探究 篇8

关键词：数据库,编程技术,计算机技术,存储技术

二十一世纪是信息化的时代, 计算机已经深入到了每一个人的日常生活当中, 其在工业生产中发挥的作用也日益突出。计算机技术的迅速发展离不开数据存储技术的支撑, 无论是个人电脑还是大型的数据处理系统都需要数据存储单元, 数据存储是计算机正常运行的必要条件。特别是在这个高度重视大数据分析的时代, 数据存储技术已经成了计算机技术的支柱, 只有不断的提高数据库的存储能力和存储速度才能促进计算机技术的高速发展。但是由于种种原因, 我国的计算机技术和数据库存储技术都起步较晚, 一些核心技术仍然被发达国家所垄断, 这也是制约我国数据库存储技术发展的主要原因。

1 数据库存储技术简介

1.1 数据库存储技术的概述

数据库存储技术是随着计算机发展而逐渐兴起的一门技术, 数据库存储技术的提升很大程度上来源于计算机性能的改善, 特别是在近十几年以来计算机的硬件性能发生了翻天覆地的变化。随着计算机的运用范围不断扩大, 传统的存储方式已经不能满足计算机发展的需求, 计算机的存储空间也从曾经的以K为单位到了现在的TB级别。计算机存储空间的不断增大意味着必须采用更加合理的数据管理方式对数据进行更有效的管理, 而各种编程语言的迅速发展又为数据库存储技术的发展提供了可靠的保障, 使得数据库编程水平和数据库存储技术都得到了巨大的提升。

1.2 数据库存储技术的发展简介

数据库这个名词最早出现在20世纪50年代, 但是当时的数据库仍然是采用人工管理的方式, 并且还没有形成软件的形式, 因此那个所谓的数据库与如今所受的数据库还是有很大的差距的, 但是那已经为数据库存储技术的发展打下了坚实的基础。20世纪60年代中期, 计算机存储设备的出现, 带动了计算机存储技术的发展, 数据管理软件也是诞生于这个时期, 但是受制于当时的技术条件, 那时的数据存储能力还是相当有限的。到了二十一世纪, 计算机在企业的日常管理运用中发挥着更加重要的作用, 数据库存储技术也得到了迅速的发展, 数据库的存储速度和共享能力等技术指标都得到了很好的改善。随着数据库存储技术和数据库编程水平的提高, 也出现了一批新的数据库存储技术, 例如数据流、WEB数据管理、分散式数据库等, 这都有效的带动了数据库存储技术的发展。

1.3 数据库存储技术的特点简介

与传统的纸质存储相比, 数据库存储技术具有可靠性高、读写速度快的特点。纸质的存储方式容易受到环境的影响, 特别容易出现遗失的情况, 这也是为什么很多重要的历史资料都被损坏了的主要原因, 并且手写存储的方式已经不能满足当今时代发发展的需求了。采用数据库存储技术, 可以将信息转化成电子的方式存储在在计算机硬盘中, 这不仅提高了数据存储的可靠性, 还大大的提高了数据存储的速度, 这对于当今这个信息量巨大的时代来说是至关重要的。

2 数据库编程与数据库存储技术的关系概述

2.1 数据库存储的类型由数据库编程实现的

数据库的类型多种多样, 在不同领域所用到的数据库的种类也是大不相同, 例如在电力、交通控制领域一般采用的都是实时数据库, 而企业的人事管理系统、网上视频网站等, 一般都是采用关系数据库, 此外还有很多在一些专业领域运用的数据库, 都是为了让满足特定的需求而专业定制的。数据库的类型是由数据库编程的方式所决定的, 其实所有类型的数据的工作原理大致是相同的, 只是在软件的开发过程当中编程者会为了满足实际的需求, 在编程的设计阶段做一些结构上的调整。在编程的过程中, 不同的编程人员可能会采用不同的程序编写软件, 但是无论是选用哪种编程软件, 其编程的原理是相同的, 只是存在形式上的差异而已。因此在数据库的开发阶段, 就应该根据实际的需求确定数据库的类型, 然后再在数据库编程的过程中对其进行实现。

2.2 数据库编程的核心是数据库存储技术

数据库编程人员的核心工作就是实现数据库的存储功能, 虽然随着数据库技术的不断提高, 如今数据库的结构也变得更加复杂, 并且其功能也变得更加多元化, 但是数据库的核心功能仍然是数据存储, 其它的录入、修改、调用等功能虽然也是不可或缺, 但它们都是为数据存储服务的。数据库存储技术作为数据库的核心部分, 在数据库编程的过程中编程人员应该对其更加重视, 所有的工作都应该围绕着数据存储这个功能展开, 这不仅可以提高编程工作的工作效率, 还能提高数据库存储技术的可靠性。

3 数据库存储技术的应用简介

数据库存储技术主要分为在硬件和软件两个方面的运用。在硬件的运用方面, 主要是通过添加高速缓存的方式, 来提高数据存储的效率, 同时达到保护硬件的目的。数据库存储技术主要运用在软件方面, 由于硬件条件的限制数据存储和管理的效率都是有限的, 要想进一步的提高存储效率, 只有在软件上下功夫, 通过数据库存储技术不断的对软件进行优化, 这不仅提高了数据库的存储效率, 改善了性能, 还具有相当高的性价比。

4 结语

总而言之数据库编程和数据库存储技术是息息相关的, 只有数据库编程的水平得到了提高, 才能促进数据库存储技术的快速发展, 才能使计算机的性能得到更大的提升。

参考文献

[1]解启超.数据库存储技术的应用与分析[J].数字技术与应用, 2013 (08) :101-102.

[2]吴敏宁, 高楠.Delphi数据库编程开发[J].电脑知识与技术, 2009 (11) :2882-2883.

数据存储与交换 篇9

数据仓库是近年来新兴起来的建立在原有数据库基础上的一门新的技术,传统的数据库技术是单一的数据资源,即以数据库为中心,进行从事务处理,批处理到决策分析的各种类型的数据处理工作。随着计算机技术的迅速发展,信息已经成为人类社会中除了物资,能量之外的第三大资源。社会的信息化,使信息量急剧增长,大量的信息来不及组织和处理,面对急剧增长的信息,对数据库系统的应用只停留在查询,检索,统计等几个方面,远远没有发挥数据库中的数据的作用和价值。而数据仓库和O-LAP技术的应用将会使问题得以解决。由模型库,数据仓库,OLAP技术及交互接集成在一起形成的决策支持系统是解决此问题的途径。其中数据仓库能够实现对决策主题的存储和综合,OLAP实现多维数据分析,而前台人性化的人机交互界面可以将分析结果一览无余,它们相互辅助,实现对企业管理人员的辅助决策。

1.1 数据仓库的提出

众所周知,如何有效的管理公司和企业在运营过程中产生的大量数据和信息一直是IT人员面临的重要问题。二十世纪七十年代出现并被广泛应用的关系型数据库技术为解决这一问题提供了强有力的工具。然而,从二十世纪八十年代中期开始,随着市场竞争的加剧,我们更需要的是从这些数据中得到有用信息,以便进行决策支持,这种需求使得在二十世纪八十年代中后期出现了数据仓库思想的萌芽,为数据仓库概念的最终提出和发展打下了基础。1992年,W.H.Inmon在其里程碑式的《建立数据仓库》一书中提出了“数据仓库”的概念,数据仓库的研究和应用得到了广泛的关注。

1.2 数据仓库的发展

数据仓库是1995年开始盛行起来的。数据仓库做为数据库的高端扩展也一直是一大热点。当企业积累了大量的业务数据之后,要充分利用这些资源,根据它们作出决策,所依赖的基础技术就是数据仓库。从目前的形式看,数据仓库已经紧跟Internet而上,成为信息社会中获得企业竞争优势的关键。据美国Meta Group市场调查机构的资料表明,《幸福》杂志所列的全球2000家大公司中已经有90%将Internet网络和数据仓库这两项技术列入企业计划,而且有很多企业为自己在竞争中处于优势已经率先采用。

经过长期发展,联机事务处理系统的市场至二十世纪九十年代中期出现饱和迹象,其增长速度明显减慢。这导致各大数据库厂商的传统业务增长面临严峻挑战,寻找新的业务增长点成为他们的当务之急。数据仓库的兴起无疑为数据库产品创造了巨大的市场,它将成为21世纪初数据库市场的一个新的增长点。

2 数据仓库与OLAP技术

2.1 数据仓库的关键技术

数据仓库在技术上可以根据数据的工作过程分为:数据的抽取、存储和管理以及数据的表现三个方面。

2.1.1 数据的抽取

数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境,它需要通过抽取程序将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面。数据仓库要求输入必要而且正确的数据,在将数据由OLTP系统转入数据仓库之前,必须对数据仓库中的数据进行整理,以保证每一数据都有统一的格式,而不会生成数据不一致的问题。除了数据一致性之外,用户还要检查并更正错误的数据。程序员可以自行编写程序或是用现有的工具来进行数据检验工作,虽然这是一项繁琐的工作,但却是一项必要的工作,否则分析出来的结果将没有任何意义。数据仓库的数据不要求实时响应,因此数据抽取可以定时进行,但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。

2.1.2 数据的存储和管理

数据仓库的关键是数据的存储和管理。数据仓库的组织管理方式决了它有别于传统数据库的特性,同时也决定了它对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库核心,则需要从数据仓库的技术特点着手分析。

2.1.3 数据的表现

它们主要集中在多维分析、数理统计和数据挖掘方面。多维分析是数据仓库的重要表现形式,由于MOLAP(多维OLAP)系统是专用的,因此,关于多维分析领域的工具和产品大多是ROLAP(关系OLAP)工具。在实际工作中,客户需要通过对数据的统计来验证他们对某些事物的假设,以进行决策。数据挖掘强调的不仅仅是验证人们对数据特性的假设,而且它更要主动地寻找并发现蕴藏在数据之中的规律。因此,在当前的数据仓库应用中,有效地利用数理统计就已经能够获得可观的效益。

2.2 联机分析处理(OLAP)技术

联机分析处理(OLAP)与人们更为熟悉的联机事务处理(OLTP)相比较,OLAP描述了这样一类的技术,既专门为特殊的数据存取和分析而设计的技术,而OLTP仅仅依赖于关系型数据库,OLAP逐步成为事务型数据的多维视图的同义语,这些多维视图是由多维数据库技术所支持的,他们为数据仓库应用中所需的计算和分析提供了技术基础。

在实际应用中,OLAP常常包括对数据的相互查询,这项活动发生在通过多种途径的一系列分析之后,如对底层细节的进一步挖掘。

2.3 OLAP的结构

OLAP结构包括逻辑构件和物理构件。

2.3.1 逻辑结构

OLAP的功能结构由三个服务构件组成:数据存储服务、OLAP服务、用户描述服务。在这种情况下,功能结构是三层的客户机/服务器结构。

2.3.2 物理结构

物理结构包括基于数据存储技术的两种方式:多维数据存储和关系数据存储。

多维数据存储主要有两种选择,即多维数据存储于工作站客户端或是OLAP服务器上。

在第一种情况下,多维数据存储于客户端,它实施胖客户端,用户可以按范围来分析,这是一种漫游选择,只在数据加载至工作站时,网络才成为瓶颈。它可能存在的副作用是操作的安全性和数据的安全性。此选择具有交通形式,它将多维数据存储于数据站场一级,以便为每一个工作战配置本地存储和访问所选的多维数据的子集。

第二种情况,多维数据存储与OLAP服务组合在一起。工作站并不那么胖了,它抽取源于数据仓库的数据,然后将其转换为多维数据结构,存储于数据站场服务器。

3 数据仓库与OLAP

虽然数据仓库和联机分析处理(OLAP)这两个术语有时可互换使用,但它们却适用于通常称为决策支持系统或业务智能系统的不同组件。这些类型的系统的组件包括一些数据库和应用程序,用于为分析人员提供支持组织机构决策制定所需的工具。数据仓库是一个数据库解决方案,包含那些通常表示某个组织机构业务历史的数据。通过分析这些历史数据,可以支持对分散的组织单元进行从策略计划到性能评估的多级业务决策。对数据仓库中的数据进行组织是为了支持分析,而不象在联机事务处理系统(OLTP)中那样是为处理实时事务。OLAP技术使数据仓库能够快速响应重复而复杂的分析查询,从而使数据仓库能有效地用于联机分析。OLAP的多维数据模型和数据聚合技术可以组织并汇总大量的数据,以便能够利用联机分析和图形工具迅速对数据进行评估。当分析人员搜寻答案或试探可能性时,在得到对历史数据查询的回答后,经常需要进行进一步查询。OLAP系统可以快速灵活地为分析人员提供实时支持。

4 数据仓库的总体设计

数据仓库的设计是一个商务分析的框架。首先,数据仓库可以提供竞争优势。通过提供相关信息,据此测量性能并做出重要调整,以帮助战胜其他竞争对手。其次,数据仓库可以加强生产能力,因为它能够快速有效的搜集准确描述组织机构的信息。再次,数据仓库促进了与顾客的联系,因为它跨越所有商务门类、所有部门、所有市场,提供了顾客和商品的一致视图。最后,通过一致、可靠的方式长期跟踪趋势、式样、异常,数据仓库可以降低成本。关于数据仓库的设计,四种不同的视图必须考虑:自顶向下视图、数据源视图、数据仓库视图和查询分析视图。自顶向下视图使得我们可以选择数据仓库所需的相关信息。这些信息能够满足当前和未来的商务需求。

数据源视图揭示被操作数据库捕获、存储和管理的信息。这些信息可能以不同的详细程度和精度建档,存放在由个别数据源表到集成的数据源表中。

数据仓库视图包括事实表和维表。他们提供存放在数据仓库中内部的信息,包括预先计算的综合与计数,以及关于源、日期和原时间等的信息。商务分析视图是从最终用户的角度透视数据仓库中的数据。

数据仓库的设计是个反复的过程,需要仔细的规划和分析。而且数据仓库的设计决不同于操作型数据库的设计,数据仓库的最终目标是对大量数据进行快速访问。

5 联机分析处理(OLAP)子系统的设计

在OLAP中,多维数据集(cube)是分析的基本单位,一个多维数据集代表了一个特殊的查询区域,所以多维数据集的建立就显得尤为重要了,本文的多维数据集采用的是多维数据集建立的一般模式,即建立事实表、度量,确定维度、维度层次,建立计算成员等。

一个多维数据集是由一定数目的维度和度量结合而成的整体存储单位。在本系统中,销售分析包括:

度量:销售金额,销售数量,折扣,国内市场销售百分比(计算成员),国外市场销售百分比(计算成员)。

维度:时间_年季月日,客户_地理分布,员工_年龄分布,员工_年薪分布,产品_类别,产品_供应商。

运费分析包括:

度量:销售数量,运费,单位运费(计算成员)。

维度:货运公司,客户_地理分布,产品_供应商,产品_类别,时间_年季月日。

6 结论

随着信息产业的不断发展,各个行业对信息的应用也已经不在像从前只是在查询、检索上面做文章,而是要从大量的信息中找到一种适合发展的趋势,这为数据仓库的提出及其以后的发展打下了基础。实践也证明,在数据库技术发展的今天,数据仓库及其技术在商业中的重要性也是大势所趋,成为兵家必争之地。

摘要：随着社会的发展和进步,信息已经成为人类社会中除了物质、能量之外的第三大资源。与此同时,市场竞争的加剧和信息社会需求的发展,从大量数据中提取(检索、查询等)制定市场策略的信息就显得越来越重要了。这种需求既要求联机服务,又涉及大量用于决策支持的数据,而传统的数据库系统已经无法满足这种需求。这就需要新型的数据贮存与处理技术——数据仓库。

数据传输与存储安全问题构建 篇10

云计算能够为用户提供更加虚拟化的资源服务,在虚拟模式下,用户不需要对资源进行创建与管理,而是可以通过付费的方式使用云计算服务。云计算发展趋势良好,但是从理论与实际出发,云计算面临着安全威胁,尤其在数据安全方面。因此,云计算安全管理是云计算的保障,尤其在为用户提供服务方面,在实际的云计算中,不仅需要改变云计算中的数据传输,还要对存储安全进行改革。

1云计算

1.1概念

云计算以Internet为基础,存储内容以及运算并不运行在计算机或者服务器中,主要分布在Internet上的计算机上。换言之, 云计算在数据计算中起到搬运的作用,将原来个人计算机、数据控制中心中执行任务的有效转移Internet上,然后由用户共享的计算中心对数据搬运任务进行总结与处理,最终能够实现计算机软、硬件的功能,例如,对计算数据资源的安装、维护以及配置等服务。云计算也可以被看作是并行计算、分布式计算以及网格计算的发展与延续,但是云计算与网络计算的区别在于,云计算更加的致力于计算、存储以及应用资源的共享,而后者则侧重于解决计算上以及资源的分配问题。对于用户而言,能够吸引用户集中精力自己的业务,达到降低成本的效果。在实际的云计算中, 云用户能够按照数据协议上传数据,将数据以密文方式存储在服务器中,从而保证数据的安全。

1.2云计算的特点

规模大,云计算是一种分布式的计算形式,规模大是云计算的首要特征,尤其在数据服务上,实现方式较多。例如在经济规模中的云计算处理技术。

虚拟化,云计算的虚拟化特点主要表现在,将各个层次的功能进行封装,最终成为一个抽象实体,向各个层次的数据用户提供云端服务,该环节中每一个技术都能够通过虚拟化技术实现。 在任意位置,用户都能利用各种终端技术,从云中获取相应的应用的数据服务,不需要对具体实现与位置进行了解。

可靠性,云计算技术的高速发展,大部分取决于云服务市场的发展趋向,而云服务业务的不断拓展,依赖于云服务的数据可靠性。因此,在云计算中,必须采取一定的措施,对云服务进行可靠性保护,由此可见,可靠性在云计算技术中地位突出。

2数据传输与存储安全问题

2.1身份认证存在的问题

对用户的身份验证主要有三种方式,第一,用户知道密码; 第二,用户本身特征,例如指纹与声音等;第三,用户独特物品。 目前,智能卡认证和口令认证都是常见认证方式,例如,网银中的口令、电子口令卡、用户口令以及USB KEY方式都是在多种因素基础上的数据认证策略。

其中,智能卡、口令的双因子认证机制共同使用前两种认证方式。在实际的登录系统中,用户需要正确的ID,同时用户需要有服务器发放的智能卡,用户才能通过认证。但是在这样的过程中,智能卡只对服务器的身份进行验证,并没有对服务平台的安全性进行验证,不能完全保证服务器的安全状态,有可能造成用户个人隐私被泄露的问题。因此,身份验证中应该双向的,验证要完整。

2.2安全问题

在云计算中,我们应该充分保证数据在传输过程中不被非法分子破译与获取,其次,需要对用户上传到云环境中的应用程序和数据进行加密存储,确保数据在计算与运行中的安全。数据信息的加密与解密是对数据安全的保证,其中非对称的加密算法安全性比较高,但是在加密与解密过程中数据处理速度慢,只能局限于少量数据的加密,相反,对称数据加密算法效率高,原因在于对称密钥的存储问题上。由于加解密以及数字签名都需要相应的密钥来完成,因此使得密钥产生以及存储成为云环境中安全保障。

3数据传输与存储安全技术分析策略

3.1身份认证技术分析

对于云计算中的身份认证技术问题,首先,需要在云服务器中引入安全芯片,其中,安全芯片的主要功能就是能够为用户提供密码功能,增加用户身份认证的稳定性;其次,用户在获取智能卡之后,由云服务器生成AIK密钥,此时云服务器向CA申请AIK证书。当用户向云服务器发送认证时,云服务器能够对用户相关信息进行验证,将AIK证书签名信息发送给用户,完成用户的基本要求。接下来,用户对AIK证书的有效性展开CA验证, 主要利用AIK公钥验证数据真实性,并根据日志来确定平台的可信性。以上过程中就完成了用户与云服务器的双向认证。

3.2安全问题技术分析

用户上传数据之前会对数据加密,在安全模型中,每一个应用程序都能生成一对RSA非对称密钥PKAPP/SKapp,还能生成一个对称密钥AES。最初用户需要向虚拟机管理器提交程序注册请求。然后,用户通过模型提供的加密工具对程序和数据文件进行对称密钥与不对称加密,并将加密处理的文件传送到服务器的终端。

在这样的过程中,最重要的是对密钥的存储。其中提高用户信息安全的有效措施就是将用户的私钥存储在智能卡中,保证用户信息不被他人窃取;另外,用户的私钥、应用程序都保存在VMM内存中,这一模块的内存不能被OS以及应用程序访问, 提高密钥存储的安全性能。此外,云服务器具有备份数据的功能, 在云计算中,合法或者非法的数据复制不能对数据安全造成威胁。

3.3系统的可行性分析

3.3.1抗攻击性

云端用户数据登录过程中,用户向云服务器发送消息,信息内容中包含时间截T1,其中,时间截的有效利用是避免攻击产生的有效措施。然后,在可信云服务器发送命令,并加入命令版本号,用户能够自动生成维护命令的128位增加数版本。

3.3.2抗云内部人员攻击

在用户注册的过程中,h(PW+n)来代替PW向云服务器提交信息,云服务器的内部人员不能直接得到用户的密码。此时用户产生的随机数n并没有泄露给云服务器,内部人员不能对h(PW+n)进行攻击,信息在云端进行传输时都是以加密形式存在,不会被交换到磁盘或者设备中。

3.3.3抗服务攻击

在用户登录过程中,用户需要云服务器提供的智能卡,只有在输入用户名和密码之后,用户才能对服务器身份进行验证,并能对平台进行访问,如果攻击者不能通过相关的账号验证,那么将不能发动服务攻击。

3.3.4抗假信息攻击

如果攻击者占据两台服务器,其中真假各半,那么他将会利用不可信的服务器欺骗用户,并发动攻击。在系统中,云服务器利用AIK私钥对PCRS进行签名,如果攻击者没有可信平台私钥, 则不能完成签名操作。

4结论

综上所述,随着科技不断发展,人们对云用户以及云服务器交互的实际应用,提出了数据传输和存储安全方向的问题。本文结合云计算的功能特点,对数据传输以及存储安全做出了有针对性的问题解决,并提出了数据传输以及存储安全所采用的关键技术。云用户与服务器在交互数据前,需要相互验证身份,才能得到通信密钥,以此来保证数据传输安全。

参考文献

[1]毛宇.面向移动云计算的数据安全保护技术研究[D].广东工业大学,2013.

[2]余琦.云计算环境下数据安全多维防护体系的研究与设计[D].广东工业大学,2013.

[3]曾文英.面向移动环境的数据存储管理方法关键技术研究[D].华南理工大学,2011.

[4]刘邵星.云计算中数据安全关键技术的研究[D].青岛科技大学,2014.

数据存储与交换 篇11

关键词：数据流；交换共享

中图分类号：TP311.52文献标识码：A文章编号：1007-9599 (2011) 07-0000-02

Data flow Design and Research in Information Resources Exchange Sharing System

Chang Xianfa

(Heyuan Vocational and Technical College,Heyuan517000,China)

Abstract:The process of information exchange and sharing of resources,focus on information exchange platform given model and the advantages of three-tier structure,and described the shared data collection and use of data flow process,the data stream of information exchange and sharing of resources System provides a feasible solution.

Keywords:Data flow;Exchange and sharing

一、引言

随着现代计算机和通讯技术的飞速发展，为了避免资源浪费，实现资源共享，那么数据在各业务部门实现共享就成了一个非常重要的技术。信息交换平台是数据在各业务部门实现共享的基础；共享数据的数据流的采集是实现信息资源交换共享系统的前提；共享数据的数据流的使用是实现信息资源交换共享系统的最终目的。

二、信息交换平台的计算模型

信息交换平台的核心技术是应用集成代理。集成代理主要有统一访问构件和源适配器组成。统一访问构件根据不同的业务数据库都有一套规则去访问。源适配器主要有数据抽取构件、数据转换构件和数据出版构件组成。而目的适配器是源适配器的逆向转换，包括数据订阅构件、数据转换构件和数据保存构件。然后再通过统一访问构件把从业务数据库抽取到的数据放到中心数据库里。信息交换平台的计算模型如图1所示。

图1 信息交换平台的计算模型

从图1可以看出，信息交换平台的计算模型主要有3层：数据访问层、数据抽取层和数据交换层。在数据访问层中，主要是实现对各个不同的业务数据库（包括SQL Servler、Oracle和MySql等）的对接和无缝访问；数据抽取层是在数据访问层的基础上，把业务数据库有用的数据抽取出来，放到资源交换平台中；数据交换层相当于数据交换中心，把业务数据库的数据通过适配器转发给中心数据库，也可以把中心数据库的数据转发给业务数据库，实现数据库间的交换共享。

三、共享数据的数据流的采集

共享数据的数据流的采集是信息资源交换共享系统实现数据交换共享的基础。我们的目的就是最大限度的使用原有的资源，使各个数据库的数据资源达到共享。共享数据的数据流采集包括两部分：一部分是业务部门；一部分是数据中心。业务部门可根据需要定义自己的部分共享数据，定义的共享数据包括哪些数据需要共享，以及把这些数据共享给谁等等。而数据中心主要是存储各个业务数据库需要使用的基础数据，这样可以避免资源重复建设，最大有效的利用资源。

图2 共享数据采集流程

从图2的流程中可以看出数据流采集的过程。业务数据库不但对应于自己的业务应用系统，而且通过数据镜像子系统，可以把数据库里的数据抽取到采集库。采集库通过数据适配器把共享数据发送到数据中心。从而与数据交换中心的数据库里的数据进行交换。

四、共享数据的数据流的使用

共享数据的数据流的使用是信息资源交换共享系统实现数据交换共享的最终目的。通过数据交换中心，我们就可以把业务数据库里的共享数据抽取到共享数据库里。数据交换中心和承担着为业务数据库访问共享数据库的重任。

从图3我们可以清晰的看出共享数据流在业务部门中的使用流程。在业务部门放一个前置机，主要是通过数据交换适配器完成对共享库的访问和通过数据比对子系统比对共享数据库里的数据进行筛选、抽取和使用。业务部门不但可以有效使用共享库里的共享数据，还可以在基础数据一致性的基础上，对抽取的共享数据的使用具有选择性。

图3 共享数据流在业务部门中的使用流程

五、小结

本文介绍了信息交换平台的计算模型、业务部门和数据中心的交换流程和业务部门使用共享数据流程。通过数据交换中心，共享数据被发布到共享数据库里。通过数据交换适配器和前置机，方便各业务单位对共享数据库的访问和分发。

参考文献：

[1]宋继革.我国发电企业信息资源整合问题的研究[D].华北电力大学,2005,3,1

[2]黄萃.基于门户网站的电子政务信息资源整合机制研究[D].武汉大学,2005,4,1

[3]孙琳.企业信息资源整合的目录服务系统及应用研究[D].大连理工大学,2005,12,1

[4]杨传健.LDAP在政务资源整合中的数据一致性应用研究[D].合肥工业大学,2007,6,1

[5]May,Wolfgang,and Lausen,Georg.Auniform framework for integration of information from the web.Imformation Systems,2004,29(1):59-61

数据存储与交换 篇12

2006年~2008年中国地震局在1个国家中心和41个省地震局及直属单位(以下简称区域中心)建立了畅通高效的台站-区域-国家数据流平台,采用了SAN和NAS的相结合的存储结构,具有易扩容以及安全容错存储机制;为数据库集群应用提供了高速、共享、稳定、大容量的共享磁盘存储;搭建存储局域网络,且具有故障自动切换功能。为各业务系统提供了基础存储平台。

国家中心通过150T的SAN+NAS存储系统、备份系统搭建了台网中心数据系统的基础设施,完成了汇集、入库等数据库应用系统开发和部署,建成了“十五”观测数据集成存储和管理的平台,每天汇集、存储、管理的观测数据量达到35G以上,对1021个测震台站、超过70个前兆台站数据进行了汇集和管理,数据库容量超过1500万条。

区域中心通过8.5T的SAN+NAS存储系统搭建了区域中心数据系统的基础设施,完成了汇集、入库等数据库应用系统开发和部署,建成了“十五”区域观测数据集成存储和管理的平台,每个区域中心平均每天汇集、存储、管理的观测数据量达到2G以上,对区域内测震台站和前兆台站数据进行了汇集和管理,数据库容量超过30万条。

大中城市节点、县级节点和台站节点采用144G的PC服务器搭建了本节点范围内的地震观测仪器数据采集和交换平台,有条件的节点将本地区及临近地区的测震实时数据汇集到节点的服务器中,形成虚拟观测台网,每个节点平均每天数据流量超过400M。

通过在国家中心和区域中心安装双机Oracle数据库,实现应用集成、综合共享和数据建模功能;在台站安装单机Oracle数据库用于存放综合在线监控类数据、前兆观测数据及其元数据,也可根据需要选择存放分析预报和研究需要的其它基础数据(如地震目录)和产出结果、速报台所需的测震观测数据和元数据等;在大中城市节点安装单机Oracle数据库用于存放本市及临近地区的震情和灾情数据、地震信息服务系统汇集的综合信息、应急指挥系统汇集的数据等;在县节点安装单机版Oracle数据库,用于存放本地及临近地区的震情和灾情数据、地震信息服务软件必要的后台基础数据等。在国家中心和区域中心安装的数据库采用Oracle10g的RAC技术。

1 数据存储

在中国地震台网中心和区域中心部署数据存储系统,主要包括以下功能:数据存储、数据管理、数据安全与备份。

1.1 国家中心数据存储子系统

国家中心数据存储子系统集成国务院抗震救灾指挥部技术系统、国家数字测震台网中心、国家地震前兆台网中心、国家地震分析预报系统和国家地震信息网络中心5个子项目的数据存储需求。

中国地震台网中心数据存储系统拓扑如图1所示。

中国地震台网中心数据存储系统结构如图2所示。

中国地震台网中心数据存储系统设计包括存储架构设计,磁盘阵列存储系统设计,备份系统设计三个部分。

数据的存储访问模式分为数据库系统和归档文件系统两类。数据库系统访问通过SAN结构来实现,归档文件系统访问通过网络共享方式实现。

存储系统各主要技术指标:存储系统配置4Gb/s主机接口卡,4Gb/s端口的光纤交换机,4Gb/s端口的磁盘阵列,支持4Gb/s的磁盘通道实现端到端的全4Gb/s光纤通道存储。

1.2 区域中心数据存储子系统

区域中心数据存储子系统拓扑如图3所示。

区域中心中心数据存储系统包括存储架构设计,磁盘阵列存储系统设计,备份系统设计三个部分。

2 数据管理

数据管理主要完成从业务库(测震、前兆)到信息库的数据交换和归档,数据汇集与管理如图4所示。

服务层:不同服务集成在服务网站上,如:元数据查询、台站参数查询、WEBSERVICE订阅、波形数据等服务,统一集成在服务界面上,地震数据服务层仅负责服务请求和展现。

缓冲、调度层:负责服务调度管理,缓冲文件系统、临时库的管理等,数据一般是临时存储。为了提高服务的稳定和高效性,引人了调度管理的策略,不同的服务可以有不同的调度管理策略,根据服务性质不通,有不同的缓冲和调度策略。

数据源层:可以不同的数据源,如不同的数据库系统、文件系统。

根据实际的业务特点,在国家中心和区域利用备份软件和磁盘阵列的Snap View镜像软件,制定了信息数据库及其文件系统的备份策略与规划。国家中心和区域中心具体策略如表1所示。

3 结论

在1个国家中心和41个区域中心采用Oracle RAC双机系统,具有高可靠性、负载均衡和故障自动切换机制;为海量数据的准实时接收和汇聚的数据提供了可靠的数据容器,大中城市、县级节点、台站节点均采用标准版Oracle。

在国家中心和区域中心基于测试和验证,设计了测震10分钟等时的数据结构(原始数据格式为512字节),使数据纪录数缩小为原来的1/200,可提供3个月在线波形数据的高效存储和有效访问,采用了基于日期映射的分区技术,BLOB和CLOB存储类型单独存储的策略提高了数据汇集入库、存储管理和检索数据访问效率。

摘要：结合地震行业网中数据平台的建设,分析了地震数据在台站、区域中心和国家中心的汇集、存储和管理情况,在国家中心、区域中心和台站节点分别采用了相应的数据库平台和数据存储平台技术,设计了各类节点的数据备份策略,实现了满足海量数据流高效运行的台站-区域-国家数据平台。

关键词：数据库,存储结构,数据备份

参考文献

[1]Ken Henderson.SQL Server存储过程、XML和HTML高级指南[M].北京:清华大学出版社,2002,231-238.