结构化数据交换（精选9篇）
结构化数据交换 篇1
0 引 言
针对早期由于欠缺整体规划而产生的“信息孤岛”问题,许多技术都已应用到政府之间信息的交换、共享和集成当中,例如:元数据技术、数据中心技术、信息交换平台技术等。其中应用比较广泛的是数据交换平台技术,许多公司开发了数据交换平台的中间件,并大量地应用于各级政府之间的信息传递之中。
当今,数据交换平台在技术实现上普遍具有一个特点:以“中央集权”的方式在各异构系统之间对数据的交换和共享进行统一的管理。它借助一种中心控制逻辑对数据进行相应的转换,并通常是电子政务系统之间唯一的数据交换媒介,而正是这种唯一性使它的灵活度有所下降,且容易产生瓶颈问题。众所周知,电子政务在安全性上具有十分高的要求,而现有数据交换平台的中介结构使它存在如下的安全隐患:交换平台的故障会给多个电子政务系统之间的交互带来影响。
本文就上述问题对数据交换的中介结构作了进一步的研究,提出一种以接口Agent为基础的分布型数据交换实现方式。其技术上主要利用Agent所具有的智能性将来自各系统的异构数据进行格式转换,之后传给其所属的电子政务系统以进行后续处理。因为此种实现方式使系统之间的数据交换仅通过两系统的接口Agent便可以实现,所以与集中式的中介结构相比它的灵活性得到了提高。而各系统之间数据交换的相互分离也降低了瓶颈问题发生的可能性。在安全性方面它也不再像集中式中介结构那样,因为某个接口Agent发生故障仅仅影响到它所属的电子政务系统,极大地减少了影响的范围。所以这种中介结构在灵活性和安全性上都得到了提高,下面便对其各个部分作进一步的介绍。
1 中介结构的整体设计
当今,越来越多的技术用于解决“信息孤岛”问题,数据交换平台便是其中之一。而实现数据交换平台的核心便是其中介结构的设计问题。目前中介结构的主流设计方式是集中式,即有一个核心模块去控制电子政务系统之间异构数据的交换与共享。虽然这种实现方式使交换平台作为集合体(包括安全、管理等功能模块)具有比较全面的功能,但它的这种集中性使其灵活度和安全性都有所下降。就此问题本文提出了中介结构的另一种设计模式——分布式,该中介是由分布在各电子政务系统上的接口Agent所组成的。其核心思想是通过这些接口Agent之间的通信来实现其所属系统之间数据的交换。这些接口Agent便成为实现数据交换的核心,而它们进行数据交换的这种模式便构成了分布型的中介结构。由于两个电子政务系统之间的数据交换仅跟它们自己的接口Agent有关,所以这种中介结构使数据交换平台的灵活性和安全性都得到了提高。下面就对这个中介结构进行详细的介绍。
1.1 系统框架
由接口Agent实现的中介结构整体框架如图1所示。该架构的设计思路主要是结合Agent技术所具有的自主性、社会性等特点,将具有独立处理能力的Agent作为系统对外进行数据交换的接口。各系统均包含这样一个接口Agent,系统间的任何数据交互都是通过此接口实现的。如图1所示,各系统的Agent模块之间是可以相互通信的,这种通信是建立在底层网络架构的基础上,可以是消息或其它多种通信方式。而虚线框括起来的部分,即所有的接口Agent,便构成了一种分布式的中介结构。由于数据传输是以接口Agent之间点对点的方式实现的,因此这种中介结构就更具并发性。下面就对中介结构的实际运作方式进行介绍:系统A若需要系统B的数据,便通过A.Agent向系统B发送数据请求信息。当B.Agent收到A.Agent发来的消息时,通知系统B提供以xml文件形式存储的数据,之后B.Agent将xml文件发送给A.Agent。由于不同系统之间的数据结构会有所不同,所以很多情况下外来数据都需要进行一定的数据转换才能被系统所应用,A.Agent中的知识库中便存有用于数据结构转换的规则。当A.Agent收到外来的xml数据时,首先根据知识库的规则将数据转换成系统能够识别的形式,再交于系统A处理。若所需数据来自多方面时(如:系统A需要系统B和系统C两方面的数据),只需将各方面的xml文件发送到目标Agent(如:A.Agent),由于目标Agent中存放有用于数据集成的规则,所以多方数据按规则集成后便可得到系统所需的数据。至此,读者应简要明白了该中介结构的实现方式。
由于政府处理的数据是多种多样的,因此系统中数据的结构、组织方式发生改变是很普遍的事情。针对这一点,本文提出的接口Agent具有能感知其它系统数据结构变化并及时更新转换规则的功能。由于Agent具有自主性、社会性等特点,因此它能够及时感知到环境的变化,即其它Agent所代表的系统发生的变化。例如:若系统A中数据的结构发生了变化,那么A.Agent便将表示新结构的XML Schema文档发给其它Agent。这些接口Agent会根据系统A中数据的新结构来改变各自知识库中与其相关的规则。由于Agent技术所具有的智能处理能力是有限的,因此多数情况下还需要人工进行知识库中规则的定义和更新。由此可以看出,接口Agent对于其它系统数据结构变化的反应也就是改变与其相关的数据转换规则。正是基于这一点,系统之间的数据交换便能够在其中一方数据发生变化时仍然能继续运作。
在实际应用的数据交换平台中还有许多因素需要考虑,如安全机制和通信机制等。分布型的中介结构设计模式会相应地改变安全等方面的实现方式。比如:安全机制也以分布的方式来实现,数据交换的安全性由各个接口Agent来控制管理。但本文不对这些方面进行详细介绍了。
1.2 接口Agent的内部结构
在理论上。Agent的结构存在许多种模式,如反应式Agent结构、慎思式Agent结构等[1]。 本文结合接口Agent的具体功能,在反应式Agent结构的基础上设计出了如图2所示的Agent结构。
该结构中各部分的功能解释如下:
传感器——主要负责接收xml格式的数据以及外界系统的数据请求、数据结构变化等信息,并将这些数据传给世界状态。
世界状态——根据传感器传来的数据种类判断此时所处的状态,即Agent应该起到的功能种类(如:接收外部数据、处理数据请求、感知数据结构变化等),并将状态结果传给作用决策,而xml数据则直接传给执行器。
作用-规则——存放执行各种Agent功能的作用代码(如:数据转换代码、规则更新代码等)以及数据转换的规则。
作用决策——根据世界状态判断出的结果,从作用-规则库中查找出所需作用代码及规则,并将其传给执行器。
执行器——执行收到的作用代码,并将执行结果发送给目的地,目的地包括作用-规则库和环境。
环境——既指Agent所面对的外部系统环境,也包括Agent所处的自身系统环境。
接口Agent将根据所收到的数据信息提供不同的功能,包括数据格式转换、规则更新、处理数据请求、发送数据、发送数据请求。各功能对应的数据信息和所起到的作用如表1所示。
由于本系统选取的是反应式Agent结构,而反应式Agent只简单地对外部刺激产生响应,没有任何内部的状态,所以针对如何让其它Agent感知某一Agent数据格式变化这一问题,本文提出用人工对外发送新数据格式的方法来加以解决。接口Agent的智能性主要是由作用代码决定的,当作用代码不能使它的智能性应对某些特殊情况时(如:比较复杂的数据转换或规则更新等),接口Agent便通知管理员来进行人工辅助,以使它继续正确地工作。
1.3 数据转换规则
接口Agent中的数据转换代码基于不同的规则便可对不同的异构数据提供转换的功能,因此规则的定义至关重要。系统之间传递的是xml格式的数据,而XSLT正是描述xml数据转换的文档,所以选择它来定义规则。数据异构的形式有很多,而电子政务应用中的异构主要是因为数据在各系统中以不同结构的表格来存储而产生的。只要规则描述出异构数据之间相同元素的对应关系,转换代码便可将外来数据转换成系统能够识别的形式。
2 结束语
本文的主要工作是对数据交换平台中的中介结构作进一步的研究,提出了一种基于接口Agent的分布式中介结构。与集中式中介结构相比,它提高了数据交换平台的灵活性和安全性。本文在功能和结构上对数据交换中介作了介绍,并以三台PC机为试验环境对它进行了模型验证,而许多面向应用的实施细节还需要进一步的实践。
摘要：当今,解决电子政务中“信息孤岛”问题的主流技术是集中式的数据交换平台,它以“中央集权”的形式对电子政务系统中的数据进行统一的管理。但其功能集中的特点使它的灵活度有所下降,并且在安全上也存在隐患。提出了一种由接口Agent模块组成的数据交换中介,它利用Agent所具有的智能性,通过合理定义数据转换规则来实现异构系统之间数据的交换和共享。此中介结构大大提高了数据交换平台的灵活性,并很好地克服了集中式数据交换平台存在的安全隐患。
关键词：数据交换,中介结构,Agent,电子政务,XML数据
参考文献
[1]蔡自兴,徐光.人工智能及其应用.第三版.清华大学出版社,2004.
[2]邓杰文,郭荷清.基于多Agent的电子政务公文交换系统.计算机应用与软件,2006,3.
[3]王俊红,郭荷清.J2EE平台上基于XML的数据交换系统的设计与实现.计算机应用与软件,2005,3.
[4]朱婵,许龙飞,周锦煌.基于XML的数据交换中数据处理方法的设计与实现.佳木斯大学学报,2005,1.
[5]刘晓艳,马建民.基于Agent技术的现代远程教育系统设计.南京广播电视大学学报,2006,2.
结构化数据交换 篇2
采用Framework + plugin架构构建，Framework处理了缓冲，流控，并发，上下文加载等高速数据交换的大部分技术问题，提供了简单的接口与插件交互，插件仅需实现对数据处理系统的访问
运行模式：stand-alone
数据传输过程在单进程内完成，全内存操作，不读写磁盘，也没有IPC
结构化数据交换 篇3
为促进与完善高校各部门管理工作的数字化、规范化和科学化, 推动数字化校园的全面建设, 各高校分别在保留原有系统的基础上将各个应用子系统进行整合集成为一个整体。由于各应用子系统所使用的系统及数据库不尽相同, 可能同构, 但更多的是异构系统, 因此需要建立一个公共数据交换平台, 将原有各系统数据整合到公共数据库, 同时各系统可方便调阅公共库中的数据进行应用, 从而形成一个无缝数字化校园体系结构。
1 数据交换平台的设计原则
1.1 遵循统一的数据交换标准
数据交换平台的目的是在数据中心和各业务部门等原有业务系统之间交换数据。由于各原有系统的技术构架不同, 信息的表示也各不相同, 要在这些不同的系统之间交换数据, 首要的问题就是定义一种标准的数据格式及数据交换的规范, 以方便实现不同硬件平台、不同操作系统平台、不同语言平台应用之间的平滑通信。
1.2 支持异构系统、异构数据库的交互及数据存取
数据交换首先涉及到如何与各级部门、各异构系统及其异构数据库进行交互, 实现数据的存取。能够对各级部门、各业务系统的数据库定义数据抽取规则, 从而实现自动地从各级部门的数据库或相应业务系统中抽取公共数据库所需的数据。数据存取的需求具体可归纳为:支持多种异构数据库, 如主流的关系型数据库包括:Oracle、SQL Server、DB2、Sybase等;能够集成各种异构的业务系统, 通过接口实现与应用的交互, 完成数据的存取, 如Web Service接口、文本型数据库接口;
1.3 信息传输
支持灵活的数据交换方式:可以根据不同部门的情况, 对于不同类型的数据有不同的更新要求, 可分别灵活采取多种数据上传的方式, 比如, 对于信息变更频繁的数据, 能够实现实时更新, 而对校园中变动不是很频繁的数据, 如人事数据、设备数据, 则实现定时更新, 如可定义每日上传一次, 或每周一次。对于数据上传的时间, 也可灵活定义, 如为了避开网络高峰, 减少对系统的影响, 可定义在晚间及凌晨等系统和网络均比较“空闲”的时候来进行数据的同步;支持大数据量、支持跨平台、跨多种网络模式的分布式数据交换;有高可靠性和和安全性。
1.4 数据转换
平台需要能够适应各系统数据内容和格式的变化, 提供可视化的转换配置界面, 并实现各系统数据与中心标准数据之间灵活的转换。
1.5 质量控制
能够对交换数据进行验证和质量控制, 能够根据一定的规则, 进行数据验证, 验证数据是否符合入库要求;能提供完善的日志。
1.6 数据交换的安全
支持对敏感数据进行加密传输。
2 数据交换平台中的数据整合模式
根据不同子系统的数据库, 可以建立图1所示的整合模式。在该模式中的公共库选用Oracle (9i/10G) , 应用系统业务库包含Oracle8i/9i/10G、DB28.1.2/8.2、Sybase11.5/12、SQLServe2000、DBF、A CCESS、EXCEL等, 其整合线路可以定义为3类: (1) 基于业务库表进行ETL抽取输入公共库 (A、ETL抽取) ; (2) 基于业务库输出虚视图进行ETL抽取输入 (B、ETL抽取) ; (3) 基于业务数据源文件或中介文件进行ETL抽取输入 (C、ETL抽取) 。
其中A类线路的适用于业务库遵循执行标准规范、两个数据库系统网络连接有保障、业务库能为公共库提供需要公共的表的读取帐号的情况;B类线路适用于业务库遵循执行标准规范、两个数据库系统网络连接有保障、业务库能为公共库提供该视图的访问帐号、公共库能够明确给出业务库输出格式要求、业务库能依据公共库整合的要求建立输出视图的情况;C类线路适用于公共库不能直接访问业务库、应用系统能依据公共库整合要求提供输出文件、业务库能为公共库管理员提供文件结构说明的情况。
4 平台中数据的订阅模式
要将公共库中的有用数据调入各子系统中加以应用, 需要制定数据的订阅模式。根据系统的不同, 制定了同构系统的订阅模式和异构系统的订阅模式。
4.1 同构系统的订阅模式
在同构系统的订阅模式 (图2) 中, 公共库和业务库都选用Oracle (9i/10G) , 其订阅线路为: (1) 应用系统基于公共库数据表的ETL抽取 (A、ETL抽取) ; (2) 基于公共库数据表的增量快照输出 (B、增量快照) ; (3) 基于公共库数据表跨库视图输出 (C、跨库视图) ; (4) 应用系统基于公共库视图的ETL抽取 (D、ETL抽取) ; (5) 基于公共库视图完全快照输出 (E、完全快照) ; (6) 基于公共库视图跨库视图输出 (F、跨库视图) ; (7) 基于公共库数据文件输出 (G、文件输出) 。其中A线路主要适用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共表读取帐号的情况;B线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行的情况;C线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行的情况;D线路主要适用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共输出视图的结构和读帐号;E线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行;E线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行的情况;F线路主要适用于应用系统能处理中介数据文件的情况。
4.2 异构系统的订阅模式
异构系统的订阅模式 (图3) 中, 公共库用Oracle (9i/10G) , 业务库可能是Oracle8i DB2 8.1.2/8.2、Sybase 11.5/12、SQL Server2000、DBF、ACCESS、EXCEL等, 其订阅线路为: (1) 应用系统从公共库数据表中抽取 (A、ETL抽取) ; (2) 基于公共库数据表跨库视图输出 (B、跨库视图) ; (3) 基于公共库视图应用系统ETL抽取 (C、ETL抽取) ; (4) 基于公共库视图跨库视图输出 (D、跨库视图) ; (5) 基于公共库中介文件输出 (E、文件输出) 。其中A线路用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共表读取帐号;B线路用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行;C线路用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共输出视图的结构和读帐号;D线路用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行;E线路用于应用系统能处理中介数据文件。
5 结语
在数据整合的过程中, 建立有效安全的数据交换平台是关键。在该平台的公共数据库基础上逐步形成的数据仓储, 将为高校的决策和分析提供更好的支持, 从而加快高校的教育信息化进程。
参考文献
[1]许鑫, 苏新宁.高校共享数据中心平台的设计与实现[J].现代图书情报技术, 2005 (6) .
[2]黎小红, 田富鹏.异构数据库中数据集成技术研究[J].西北民族大学学报 (自然科学版) , 2006 (4) .
[3]段永威, 秦峰.异构数据源数据转换工具的设计与实现[J].现代图书情报技术, 2004 (4) .
[4]董向辉.分布数据整合与共享中的关键问题及解决方案研究[N].吉林大学硕士学位论文, 2004.
我国VTS系统数据交换格式实践 篇4
我国VTS系统数据交换格式最新实践
结合欧盟SSN研究报告和我国有关VTS数据格式标准化研究成果,分析了我国VTS数据交换的`具体内容.针对船舶动态位置信息、船舶静态信息和船舶航程相关信息,定义了基于电文和XML的两种数据交换格式.
作 者：刘月胜 黄习刚 何荣希 作者单位：刊 名：中国水运(上半月)英文刊名：CHINA WATER TRANSPORT年，卷(期)：“”(5)分类号：U6关键词：VTS 数据格式 电文 XML
数据安全交换平台的研究 篇5
一、新型数据安全交换系统的设计思路
该新型数据安全交换系统按以下思路进行设计:网闸负责在网络层进行内外网之间的安全隔离和访问控制;内外网数据交换平台负责在应用层代理内外网之间的数据交换以及数据交换的访问控制与安全审计。网闸、内外网数据交换平台可综合采用并行处理、多机热备和负载均衡等技术, 以加强数据交换的吞吐能力, 保证数据交换的可靠性、可用性和扩展性, 满足当前和未来业务发展对数据交换性能的需求。
二、新型数据安全交换平台的架构设计
1.内外网数据交换平台通过专门的应用软件实现数据交换, 可运行在各种开放的操作系统 (如IBM RISC/6000或其他使用Unix操作系统) 的服务器上。它集成了大型数据库系统, 采用消息队列中间件作为主要通信方式 (BEA Message Q, IBM MQ) 。
2.交换平台采用J2EE架构, 提供统一的报文、二进制文件、XML报文、邮件等多种通模块之间具有非常弱的偶合性, 在功能、性能和安全等方面均具有良好的灵活性和扩展性, 能够不断适应信息化发展过程中新的业务及其安全需求。交换平台由业务接入模块、交换引擎模块、通信适配模块、监控管理模块和安全认证模块组成。
3.内网和外网数据交换平台。它为网闸提供单一私有通信协议, 并为内外网交互的系统提供统一模式的规范接口, 而且分别在应用层负责本端数据外流的合法性检查, 即在数据流出内网和外网安全域之前, 进行数据外流的合法性检查, 在体系结构上保证了数据交换的安全。
4.内外网数据交换平台基于可靠的消息传递机制, 实现报文在各个应用系统之间可配置的格式转换, 交换路由和事务完整性保证功能。在提供用户可配置方式使用交换平台的同时, 也允许用户扩展交换平台, 实现客户化的工作。整个交换平台架构从下到上分为四层:
(1) 网络通信协议层, 提供系统最底层的通信保证。
(2) 消息中间件层, 提供系统可靠的消息传递机制。
(3) 交换中间件层, 提供格式转换、交换路由、事务完整性保证等功能。
(4) 客户化层, 提供用户扩展接口, 实现用户客户化要求。
5.交换平台应用系统可以分为三层体系, 即平台核心层、前置与通信层和外部应用层。
平台核心层是指交换平台所提供的核心服务和核心API;前置通信层是指与外部应用进行通信, 并调用核心服务或者核心API完成交换转发的中间层;外部应用层是指独立于交换平台的客户应用系统, 客户通过定义交换平台对这些外部应用调用的次序, 实现报文在这些应用之间的流转, 从而实现指定的交换流程。本层的应用完全由客户提供, 并通过前置通信层接入交换平台。
交换平台三层之间的关系是平台核心层提供核心服务和核心API以支持前置通信层的开发, 前置通信层调用核心服务和核心API实现交换在各外部应用之间的转发, 并负责和外部应用层之间的通信;外部应用层提供真正实现交换的客户应用系统, 并通过前置通信层实现交换报文的转发。外部应用层通过前置通信层接入核心, 并不与平台核心层直接发生连接。
三、新型数据安全交换平台的数据交换机制
本系统的数据交换机制是基于消息总线的交换, 能够实现报文、数据文件、图像、数据库等各种类型实时、批量交换。内外网数据交换平台由消息队列和核心交换处理两大部分构成。核心交换处理可将各个系统有机结合在一起。同时交换平台之间能够相互连接, 实现交换平台的互联。
参考文献
[1]杨剑, 唐慧佳, 孙林夫, 王胜银.基于XML的异构数据交换系统的研究与实现[J].计算机工程.2009 (19)
数据安全交换平台的研究 篇6
一、新型数据安全交换系统的设计思路
该新型数据安全交换系统按以下思路进行设计:网闸负责在网络层进行内外网之间的安全隔离和访问控制;内外网数据交换平台负责在应用层代理内外网之间的数据交换以及数据交换的访问控制与安全审计。网闸、内外网数据交换平台可综合采用并行处理、多机热备和负载均衡等技术, 以加强数据交换的吞吐能力, 保证数据交换的可靠性、可用性和扩展性, 满足当前和未来业务发展对数据交换性能的需求。
二、新型数据安全交换平台的架构设计
1. 内外网数据交换平台通过专门的应用软件实现数据交换, 可运行在各种开放的操作系统 (如IBM RISC/6000或其他使用Unix操作系统) 的服务器上。它集成了大型数据库系统, 采用消息队列中间件作为主要通信方式 (BEA Message Q, IBM MQ) 。
2. 交换平台采用J2EE架构, 提供统一的报文、二进制文件、XML报文、邮件等多种通模块之间具有非常弱的偶合性, 在功能、性能和安全等方面均具有良好的灵活性和扩展性, 能够不断适应信息化发展过程中新的业务及其安全需求。交换平台由业务接入模块、交换引擎模块、通信适配模块、监控管理模块和安全认证模块组成。
3. 内网和外网数据交换平台。它为网闸提供单一私有通信协议, 并为内外网交互的系统提供统一模式的规范接口, 而且分别在应用层负责本端数据外流的合法性检查, 即在数据流出内网和外网安全域之前, 进行数据外流的合法性检查, 在体系结构上保证了数据交换的安全。
4. 内外网数据交换平台基于可靠的消息传递机制, 实现报文在各个应用系统之间可配置的格式转换, 交换路由和事务完整性保证功能。在提供用户可配置方式使用交换平台的同时, 也允许用户扩展交换平台, 实现客户化的工作。整个交换平台架构从下到上分为四层:
(1) 网络通信协议层, 提供系统最底层的通信保证。
(2) 消息中间件层, 提供系统可靠的消息传递机制。
(3) 交换中间件层, 提供格式转换、交换路由、事务完整性保证等功能。
(4) 客户化层, 提供用户扩展接口, 实现用户客户化要求。
5. 交换平台应用系统可以分为三层体系, 即平台核心层、前置与通信层和外部应用层。
平台核心层是指交换平台所提供的核心服务和核心API;前置通信层是指与外部应用进行通信, 并调用核心服务或者核心API完成交换转发的中间层;外部应用层是指独立于交换平台的客户应用系统, 客户通过定义交换平台对这些外部应用调用的次序, 实现报文在这些应用之间的流转, 从而实现指定的交换流程。本层的应用完全由客户提供, 并通过前置通信层接入交换平台。
交换平台三层之间的关系是平台核心层提供核心服务和核心API以支持前置通信层的开发, 前置通信层调用核心服务和核心API实现交换在各外部应用之间的转发, 并负责和外部应用层之间的通信;外部应用层提供真正实现交换的客户应用系统, 并通过前置通信层实现交换报文的转发。外部应用层通过前置通信层接入核心, 并不与平台核心层直接发生连接。
三、新型数据安全交换平台的数据交换机制
本系统的数据交换机制是基于消息总线的交换, 能够实现报文、数据文件、图像、数据库等各种类型实时、批量交换。内外网数据交换平台由消息队列和核心交换处理两大部分构成。核心交换处理可将各个系统有机结合在一起。同时交换平台之间能够相互连接, 实现交换平台的互联。
参考文献
[1]杨剑, 唐慧佳, 孙林夫, 王胜银.基于XML的异构数据交换系统的研究与实现[J].计算机工程.2009 (19) .
结构化数据交换 篇7
关键词：XML,关系数据库,数据交换
一.XML的理论
1.XML简介
XML (extensible markup language, 可扩展的标记语言) 是由World Wide Web Consortium (W3C) 的XML工作组定义地。这个工作组是这样描述该语言的[1]:"XML是SGML (standard generalized markup language, 标准通用标记语言) 的子集, 其目标是允许普通的SGML在Web上以目前HTML (hypertext markup language) 的方式被服务、接受和处理。XML被设计成易于实现, 且可在SGML和HTML之间互相操作。"
XML是一套定义语义标记的规则, 这些标记将文档分成许多部件并对这些部件加以标识。它不像HTML或格式化程序。这些语言定义了一套固定的标记, 用来描述一定数目的元素。XML是一种元标记语言, 用户可以定义自己需要的标记。这些标记必须根据某些通用的原理来创建, XML标记描述的是文档内容的结构和含义, 而不是描述页面元素的格式化。可用样式单为文档增加格式化信息。文档本身只说明文档包括什么标记, 而不是说明文档看起来是什么样的[2]。
XML是非专有并易于阅读和编写的。这使得它成为在不同的应用间交换数据的理想格式。XML不是第一种公共文档格式, 但它与已有的文档交换格式相比具有很多优点。XML是源文档的最佳格式, 因为它允许用最佳的输出格式, 例如HTML、PDF (portable document format) 和PostScript格式, 并格式化应用程序, 例如电子数据交换 (electronic data interchange, EDI) 。
2.XML与数据库的交互[3]
从技术角度讲, XML和关系数据同属于数据管理的手段。狭义的XML仅仅指一种语言和采用该语言所描述的XML文档, 广义的XML包括XML语言、XML文档以及所有与XML相关的工具和技术, 例如, XML解析器及解析技术, XML转换技术 (XSL、XSML) 等。
XML数据源有多种多样, 根据具体的应用, 大概可分为下面三种:
第一种是XML纯文本文档;
第二种是关系数据库;
第三种来源于其他各种应用数据, 如邮件、目录清单、商务报告等。
第一种来源是最基本的也是最简单的, 将数据存储于文件中, 其最大的优点在于可以直接方便地读取, 或者加以样式信息在浏览器中显示, 或者通过DOM接口编程同其他应用相连, 第二种数据来源是对第一种来源的扩展, 目的是便于开发各种动态应用, 其优点则在于通过数据库系统对数据进行管理, 然后在利用服务器端应用 (如ASP、JSP、Servlet) 等进行动态存取, 这种方式最适合于当前最为流行的基于三层结构的应用开发;第三种数据由于来源广泛, 因此需要具体情况具体对待。
二.关系数据库理论
1.关系数据库简介
关系数据库是目前各类数据库中最重要、最流行的数据库, 它应用数学方法来处理数据库数据, 是目前使用最广泛的数据库系统。关系数据库是建立在集合代数基础上, 应用数学方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。换句话说, 关系数据库是建立在关系模型基础上的数据库。关系模型是由IBM公司的埃德加·科德于1970年首先提出的。现如今虽然对此模型有一些批评意见, 但它还是数据存储的传统标准。
2.关系数据库的局限性
只要有程序, 就会有数据。IT行业最早具有商业价值之一的就是数据管理。自动的数据管理意味着业务能够扩展、具有竞争力, 没有它就不可能。所以毫无疑问机智的商业技术员很早把目光聚集在数据管理市场。在新的数据库产生之前的20年, E.F Codd博士提出的关系型理论找到了出路, 开发出商业的关系型数据库产品。在80年中期, 在IT领域有一个宗教式的信仰, 认为数据的所有理论问题都已经解决, 实践的问题也会随之解决。然而, 很明显, 事实并不是这样。
今天, 数据库所管理的数据发生了根本的变化, 它的基本标志就是从过去仅仅管理由键盘输入的数字、字符等简单数据, 到今天必须管理由各种设备、装置、计算所产生的多种类型的复杂数据。例如, 图形、图像、视频、音频、电子图书与档案、Web网页等等。这一变化给数据库技术带来了很多的挑战, 需要我们研究许多新的问题。关系数据库已经无法胜任这种变化了的应用需求, 可以说它使数据库技术的发展面临一个新的分水岭, 我们必须寻求新的解决办法。
(1) 数据库的一个基本问题就是要找到一个恰当的数据模型来表达它所管理的对象。关系数据库的模型可以简化为普通的表格, 它对于表达键盘输入的数据十分到位。但是, 如果我们用表格表达一本书, 而书里面有文字、图形、图像、数学公式, 还有很多特定领域特殊的内容, 还要分成章节, 这对关系数据库模型而言显然是件十分困难的事情, 它处理不了这么复杂的数据内容与它们之间的结构。
(2) 数据模型的变化意味着查询语言的变化。
(3) 数据的变化, 意味着后端对查询数据的处理要发生变化。过去的对象很简单, 都是一行一行的纪录。现在一个对象除了一部电影、一幅图像、一个电视节目这些对象本身以外, 还有很多关于它们的描述性的东西, 即对象的元数据 (对这些内容特征的描述) 。比如一张照片, 它的颜色、纹理等等, 这使得数据本身呈现一种多维的趋势, 数据库系统必须考虑这样的要求。
(4) 在存储方面, 过去数据存储不太考虑10年、20年这样长期的存储。一般的数据用了一年两年之后, 我们就采取备份的手段, 把它倒到磁带上, 变成离线的, 再放到架子上, 编目进行管理。现在则不同, 一本书, 一部档案, 可能10年、20年以后还要用, 用户只要有需要, 都希望能把它在线地调出来使用。从存储容量的要求来看, 现在的要求跟过去键盘输入时代的要求有天壤之别。如何在计算机里长期保存这样超大规模的数据, 并且实现随时可用的在线访问, 这就需要一个合理的存储系统, 这显然不是仅仅增加磁盘阵列就能解决的问题。
(5) 是对数据的使用。传统的关系数据库保存的都是键盘输入的数据, 对它的使用也很简单, 就是查一条或者一组记录, 然后在终端显示出来。今天, 当我们把一张照片调出来, 看照片要用特定的浏览器。我们把一本书调出来, 需要各种索引服务。存储的对象和服务都产生了很大的变化, 它会反过头来对数据库的支撑技术提出了很多的新要求。比如视频音频的索引技术, 都会与现在关系数据库所处理的常规数据索引有很大的不同。
三.数据交换的现有解决方案
1.利用数据库厂商提供的工具
数据库厂商为了帮助异构数据库进行转换数据, 提供了一些转换工具。但这些工具往往只是提供自己的DBMS访问异构数据库的机制, 通用性较差。常用的有:
(1) SQL Server的DTS工具
DTS工具是Microsoft公司开发的SQL Server数据转换工具。它允许用户在多中数据源之间导入和导出数据或在使用SQL Server的多个计算机之间转移数据库和数据库对象。
(2) Oracle导入/导出工具
Oracle导入/导出 (Export/Import) 主要是用来对Oracle数据库进行逻辑备份, 利用Export导出数据库的转储二进制文件作为数据库Import输入从而达到移植的目的。
2.利用第三方数据库
在网络环境下和不同的操作系统间进行数据转换时可以借助如Access等较小的桌面数据库系统。先对要转出的数据库生成脚本, 生成符合规范的SQL语句, 再在新环境的数据库系统中执行脚本。
3.通用数据库转换工具
通用数据转换工具可以实现不同数据库系统之间的数据定义模式转换和数据转换。此类工具利用ODBC、JDBC等数据访问技术访问各种不同的数据库, 进行类型转换, 然后使用SQL作为标准的数据访问语言进行数据定义、模式转换和数据转换。四.小结
随着各行各业的不断发展, 计算机网络化趋势的加速和网络性能的提高, 使得在关系数据库系统之间进行数据交换的需求越来越迫切, 同时对异构平台的数据交换的要求越来越高。同时随着XML技术的迅猛发展, 使其成为一种被广泛采用的数据表示格式。XML是可扩展的, 与平台无关的, 并且支持国际化。正是因为有了这些强大的功能, 出现了一些与XML相关的数据库管理技术, 数据库对XML的支持越来越好。因此如何利用XML来实现关系数据库系统间的数据交互, 具有现实意义和应用价值。
参考文献
[1].World Wide Web Consortium.Extensible Markup Language (XML) 1.0 (Third Edition) .W3C Recommendation, 4 February 2004.http://www.w3.org/TR/REC-xml/
[2].万常选.XML数据库技术[M].北京:清华大学出版社, 2005.
[3].邵敏, 李力鸿, 郑震川等, XML编程实践[M].北京清华大学出版社, 2005
[4].张正明, 伶俐鹃.异构数据库系统集成的研究.计算机科学[J], 2004, 31 (10增刊) :372～374
[5].张正明, 伶俐鹃.异构数据库集成的研究与实现.航空计算技术[J], 2004, 2:33～36
结构化数据交换 篇8
20世纪90年代以后,Web应用遍及全球,网络深入人心,数据库日益普及。大型机构由于分支机构不断变化、产生,原有集中式应用模型不能适应新环境,分布式数据库成为主要研究方向。企事业单位不能真正解决信息孤岛问题[1],信息化建设很难成功,真正发挥应有作用。为消除信息孤岛,实现信息共享,迫切需要建立一种公共环境,对用户提供统一、透明的访问界面,信息集成研究因此而起。历经十多年信息化工作积累,信息化程度已初具规模,为了能共享数据,可以建立统一的数据交换平台实现。交换平台为系统提供了基于XML的数据交换机制,可以直接为全局的应用系统提供信息交换服务,是实现信用信息系统业务功能的技术基础。同时,为了能更充分利用现有系统,可采用Web服务和中间数据库构建数据交换平台。
1 异构数据库
1.1 异构数据库系统
异构数据库系统是相关的多个数据库系统集成,实现不同数据库之间数据信息资源、软硬件设备资源和人力资源“并轨”共享,。为各种系统提供集成、统一、安全、快捷的信息查询、数据挖掘和决策支持等服务,实现数据(主要是异构数据)共享和透明访问。每个数据库系统在加入异构数据库系统前就已存在,拥有自己的DBMS(Data Base Managment System)。异构数据库各组成部分具有自身的自治性,实现数据共享的同时,仍保有自己的应用特性、完整性和安全性控制。异构数据库系统的异构性主要体现在三个方面:系统异构、DBMS异构和逻辑异构[2]。
1.2 异构数据库的发展和特征
数据库技术的出现为信息管理带来了新手段。作为计算机科学技术发展最快、应用最广泛的重要分支之一,数据库已成为计数机信息系统和应用系统的重要技术基础和支柱。数据库技术发展大致经历了三个阶段,在发展第二和第三阶段,分布式数据库系统(Distributed Databses)基本解决了集中式数据库系统的弊端;但对不断发展的大型机构,由于发展阶段、应用目的不同等原因而产生的不同数据系统,有机地结合在一起共同工作仍存在问题,这便首次产生了异构数据库系统的研究需求。在20世经90年代,数据库发展面临新挑战,在Web、新的应用需求及硬件技术飞速发展情况下,web提供一个集合异构数据源平台;Web发展促进了异构数据库系统理论进一步研究和发展。异构数据库系统是对分布式数据库系统的继承和发展,二者既有相同之处又有区别。最根本的区别在于:分布式数据库系统只拥有单一逻辑数据库,虽然可以在物理上分布,但只有一个DBMS为其服务,提供一致的查询与更新,严格说,各分布子系统是同构的;而异构数据库系统则以多个异构、自主的数据库系统为基础,通过一定程度集成而构成一个分布式数据库系统。异构数据库特征则可从以下三方面说明[3]:
(1)分布性。
异构数据库系统各组成部分是分布在不同位置的各种自治数据库系统,通过通讯网络建立各部分之间连接。系统的数据保存在分布的数据库系统中,可以以各不相同方式保存,没有严格逻辑要求。每一个独立自主的数据库系统只是整个异构数据库系统中的一个网络结点。
(2)异构性。
排除数据库宿主系统的异构性,异构数据库系统的异构性主要由两方面产生:
(1)数据库管理系统(DBMS)的异构:由于组成系统的各数据库系统可以不同,因此形成了DBMS的异构,这种异构实质上可分为三个方面:
A.结构不同:根据不同的方法论,DBMS采用不同的数据模型和数据结构,反映在物理上的存储方法也可能不同。例如层次数据库与关系数据库。
B.数据存储种类异构:相同或相似的现实世界数据,存在表达多样性,因此不同数据库系统存储方式不同,可以是数据类型、范围、精度以及组成部分的异构。例如:在一个数据库中可以采用整型表达的数据,很可能在另一数据库中采用字符串表示,而在第三种数据库中则变为某种对象的一个属性。
C.关系表达异构:由于不同环境及需求,事件中两个事务之间关系可从多方面理解,由此造成在数据库中关系表达的异构,这种异构与该数据库系统采用的数据型或密不可分,可能出现同一数据的不同分割和组合以及关系连接。
(2)数据遗漏及冲突:不同的应用对数据对象的不同侧面要求不同,很可能在某领域内非常必需的数据在另一环境中却可以忽略,或者实际上是另一种数据,所以数据遗漏和冲突在所难免。
(3)自主性。
构成异构数据库系统各子系统具有各自的自主性,拥有对自身系统内各种资源使用的权利,包括设计、执行、修改等,同时拥有与其它系统交互的权利,包括加入、退出、通讯、提供服务等。它们有权利接受外来服务请求,也有权利拒绝请求服务的权利。但在这些权利与承诺的系统义务之间必须有机结合。
2 数据交换平台的总体设计
2.1 系统的体系结构
由于各业务系统是异构的,首先必须定义一个统一的XML文件数据标准进行交换。考虑到旧系统改造和新系统扩展方便性,本文采用的数据交换系统结构如图1所示[4]。
首先,各业务系统按自身系统数据结构情况开发应用程序,以共同的数据标准规范,将要共享的数据生成合符要求的XML文件;然后将XML文件通过数据采集接口模块传输到数据交换平台。这样,外部系统就可通过查询请求查询到平台中间数据库中自己需要的数据,从而达到数据共享目的。下面,对图1数据交换系统架构四大部分作一简析。
(1)业务系统:是指企业内部各业务系统,负责将自身系统需要共享数据转换成规范的XML文件。它是共享数据提供者,又是共享数据使用者。
(2)外部系统:是指需要查询共享数据并具有对应权限的用户系统。
(3)数据采集模块:是数据交换系统重要组成部分,包括传统采集接口和Web Service接口两种方式,将要传输的数据采集出来,送到数据交换平台处理。
(4)数据交换平台:是数据交换系统重要组成部分,由原始数据池、平台中间数据库及核心处理模块三部分组成,负责XML文件的处理和存储。
数据采集模块和数据交换平台是系统实现数据共享的核心部分。
2.2 数据交换平台
数据交换平台负责所传输到达的XML文件转换和存储操作,其中包括原始数据池、核心处理模块和中间数据库三部分。
(1)原始数据池。
它是数据缓冲池,在采集模块和核心处理模块之间起缓冲作用;负责将从数据采集接口模块中采集到的数据以XML形式分类暂时存储[5],在核心处理模块空闲时再行处理,处于数据交换和存储模块最前方位置;数据按各业务系统分类存放,各业务系统都有自己对应的文件夹,XML文件暂存在文件夹里,如果在获取数据过程中有错误发生时,将错误信息打包成XML文件,发送到错误反馈信息子目录中。
(2)核心处理模块。
它是数据交换的中心,是连接原始数据池、数据库和外部系统的纽带,负责XML数据处理和数据库数据转换,包括两种功能:
(1)从原始数据池传输过来的XML文件,按照规定的数据结构存放到中间数据库中。(2)根据用户查询请求,将需要的中间数据库的共享数据处理组合成XML文件,传输给用户使用。
这里涉及XML文件到数据库之间数据转换问题。由于原始数据池中数据以XML文档形式发送到平台中间数据库,假如将整个文档原封不动存储到数据库中,就会切断数据与数据之间联系,且难于管理和维护。因此数据交换平台中使用的是按XML文档结构层次拆分的,分别存于不同的表或字段形式当中。
(3)中间数据库。
它是业务系统上传的共享数据集中存储的地方,是由核心处理模块处理后的共享数据。各业务系统只要将自己的数据按照一定通用格式如XML提供出来,完全不用改变原来数据库结构。中间数据库,方便了网上检索需要,易于操作。这一方式使各业务系统对自己的数据有完全的控制权[6]。如果用户需要查询信息,那么对应的数据信息将从中间数据库取出,并经核心处理模块进行从数据库结构到XML文件的处理,将XML文件传输给用户,在用户的系统中被处理和显示。
中间数据库的数据表分为两大类:基本码表和用户表。码表用于维护系统中基本不变的数据,包括性别、民族、职务、国家、提交方式、办结结果、特别程序种类、特别程序结果等。用户表用来维护用户日常经常操作的数据,主要包括申请人信息表、申请企业信息表、受理信息表、业务信息表、业务规则信息表、补给信息表、审批是想信息表、经办人信息表、办结信息表、特别程序信息表等。
3 结束语
Web技术及Internet的飞速发展,使产品信息集成要求迅速与新兴技术相结合;但由于信息来源多样化,产生了大量异构数据。如何使各种应用程序能够透明地操作多种数据源,在应用程序和各数据源间建立传输信息的纽带,对实现信息化至关重要。本文探讨了基于XML的企业信息集成问题,可为企业间信息共享提供良好的理论支持。
参考文献
[1]熊光楞等:《并行工程的理论与实践》[M];清华大学出版社,23-24。
[2]李黎:《基于XML的异构数据库数据集成技术研究》[R];四川师范大学计算机科学学院,2008:5-7。
[3]C W Chung.“DATAPLEX:An access to heterogeneous distributed databases”[M],Comm.——ACM,Vol.1No.1.2002.
[4]李阳:《数据交换系统设计与实现》[R];北京交通大学,2006:21。
[5]Charles F Goldfarb.《XML实用技术》[M];清华大学出版社,1999:56-58。
数字流域数据交换标准的研究 篇9
(1) 数据标准的制定依据定义各异。不同标准对于相同的业务分类标准各异也是导致管理信息系统的数据标准难统一的重要原因。由于缺乏统一的数据标准和规范, 相同的数据经常被重复采集和存储多次, 不仅造成管理信息存储的冗余, 也增加了管理信息系统数据的处理难度。
(2) 系统之间缺乏数据共享机制, 同一数据在各系统多次录入、难于共享, 系统间同一数据、信息缺乏一致性并难于识别。
(3) 由于对共享数据缺乏业务解释和技术定义, 导致系统间的衔接和整合困难。
(4) 现有数据和信息难于充分利用, 不利于数据信息更深层次的挖掘和分析等等。这些问题已经成为制约业务发展和技术实现的瓶颈。
为要解决上述问题, 确保流域管理信息数据的一致性、完备性和有效性, 搭建统一的信息平台, 使各应用系统的数据有机共享, 提升管理信息的可用性, 真正实现流域信息化, 在数字流域信息化建设过程中需要引入数据标准。其重要意义主要表现为降低建设成本, 提升数据质量, 加强信息共享。因此, 在本文中对数字流域的数据交换标准进行了研究, 首先对数据交换需要遵守的原则进行了描述, 然后阐述了数据交换模式和数据交换方式。
1 数据交换原则
数据交换应遵循标准性、准确性、唯一性、安全性、可靠性、有效性、就近性等基本原则。
(1) 标准性。所有交换的数据应按省部级数据交换制定的数据共享交换标准格式或相关行业标准格式进行交换。
(3) 准确性。用于共享交换的数据应是经审核准确无误的数据。
(4) 唯一性。共享交换的数据应保证数据的唯一性, 避免一个属性数据出现多个不同数值。
(5) 安全性。信息交换的安全性是信息交换的基础, 包括信息交换的保密性、完整性、不可否认性及可认证性。
(6) 可靠性。数据传输过程中, 如遇到网络故障或系统出现异常的情况, 要保证数据的安全, 可靠地继续传输, 确保信息交换的准确、完整和一致。
(7) 有效性。在数据传输的过程中, 应该选择最有价值的信息和最适合的传输方式, 用最经济的办法传输尽可能多的信息。
2 数据交换方式
数字流域水利数据中心基于SOA (面向服务的体系结构, Service-Oriented Architecture) 方法[3]和技术手段, 构建交换平台和服务平台。
(1) 交换平台交换方式。通过使用现有的消息中间件、交换中间件、数据交换工具, 实现异构数据库之间的数据交换。
(2) 服务平台交换方式。通过服务平台, 采用Web service架构[4], 以XML技术为基础, 将异构系统的数据封装为数据服务 (数据集成服务和数据共享服务) , 利用服务集成组件对服务提供者、服务请求者和服务代理进行服务发布、查找和绑定, 实现异构系统之间的数据交换与共享。
3 数据交换模式
数据交换模式分为数据交换平台交换模式和数据服务交换模式两种。
(1) 交换平台交换模式。通过交换平台的消息中间件、交换适配器组件, 创建源头业务数据库系统与目的业务数据库系统之间的数据交换流程, 采用基于时间戳的数据交换同步方式和基于触发器的数据交换同步方式实现数据信息交换, 数据信息交换的结果为:源头业务数据库系统的数据信息增加、修改和删除同步表现为目的业务数据库系统相应数据信息的增加、修改和删除。这种方式适用于主动推送方式的数据补足、定时交换、实时交换。
(2) 数据服务交换模式。借助服务平台的服务集成组件, 提供基于Web service技术标准的服务传输、服务集成、服务交互、服务安全和服务管理机制, 实现异构业务系统数据服务之间集中式服务注册、发布、调用、管理, 实现水利数据中心与各水利业务单位之间的数据信息共享。
4 结语
为解决多源数据、异质数据共享的问题, 减少数据转换, 促进系统集成, 促进信息资源共享, 促进数字流域信息系统管理信息能力的发展, 提出了数字流域的数据交换标准的规则以及方法, 此标准的制定满足了数字流域集成架构中数据交换、方面的需要, 有利于提高数字流域信息服务能力和水平。
参考文献
[1]王光谦, 刘家宏.数字流域模型[M].北京:科学出版社, 2006.
[2]刘海燕, 刘晓民, 魏加华等.组件式流域模拟模型集成技术进展及发展趋势[J].南水北调与水利科技, 2013, 11 (1) :20-25.
[3]杨炜鸿, 孙震宇, 马力.通用数据标准制定方法的研究[J].长春理工大学学报 (自然科学版) 》, 2007, 30 (3) :91-93.