交换数据模型论文

2024-08-11

交换数据模型论文（精选9篇）

交换数据模型论文篇1

伴随着科学技术和各领域数字化的发展, 各企事业单位都根据自己的业务需求构建了不同的应用系统, 不同的应用系统都有自己特有的一套数据模型, 数据模型之间存在着很大的异构, 冗余数据比较多, 数据之间的复用性不高, 不能实现数据的共享使用, 从而在不同业务部门存在大量的“信息孤岛”[1]。这就使一些遗留的异构“信息孤岛”之间、新系统和旧系统之间、不同数据源之间不可避免地存在数据集成、共享和交换的问题[2]。

以此为背景, 本文提出了一种通用的基于本体技术的数据交换模型, 来解决数据交换中数据源之间的结构、语义异构, 并且提出了基于Web Service的数据交换组件驱动ETL引擎[2,3], 完成数据源之间的数据抽取、转换、加载, 实现了不同平台数据源的交换和集成。

1 关键技术分析

1.1 本体技术

本体 (ontology) 最早是在哲学领域“形而上学”分支中的一个概念[4]。伴随着信息技术的不断发展, 本体的概念被引入信息技术、人工智能等领域, 并被赋予了不同的定义。基于不同定义的理解、分析, Studer等概括了本体的下面四层含义[5]:概念化模型 (conceptualization) 、明确 (explicit) 、形式化 (formal) 及共享 (share) 。

本文采用多本体方法[6], 为每个数据源构建对应的局部本体, 通过局部本体之间的映射关系来实现底层数据源的数据交换、共享。

1.2 Web Service技术

Web Service[7]是一种开放式的跨平台分布式应用, 通过发布一系列的Web接口, 来封装具体的功能实现, 屏蔽了系统平台的差异性, 可以方便、快速部署自己的应用系统。

通过Web Service组件的方式对ETL的具体实现进行封装, 就可以屏蔽不同平台、不同数据源之间的差异性, 实现异构系统、数据源之间的数据交换、集成。

2 设计方案

2.1 体系结构

基于本体的数据交换体系结构见图1, 包括如下几个部分。

2.1.1 数据层

包括了不同的数据源, 如oracle、Sql Server等关系型数据库、文本、Excel等非结构数据以及自己定义的文件等。不同数据源之间存在着语义和结构上各的异构, 要想实现不同数据源之间的数据交换和数据共享, 就必须解决这些数据源之间语义和结构上存在的异构问题。

2.1.2 逻辑功能层

该部分主要包括了基于本体的数据交换模型以及基于Web Service的数据交换服务组件。

基于本体的数据交换模型主要用于不同数据源之间的映射关系。根据数据源的关系模型信息构建相应的O-Graph图, 通过O-Graph中衍生出的语义信息构建不同数据源的局部本体。然后, 通过建立局部本体之间表和字段之间的映射关系。

基于Web Service的数据交换组件主要用于提供数据交换服务, 基于ETL技术, 分为数据访问、数据抽取、数据转换和数据加载服务组件。

2.1.3 应用层

主要包括了各个业务部门的应用系统, 他们之间的数据交换和共享主要基于数据层数据源的交换和共享, 通过调用该体系结构中的逻辑功能层, 来实现相应的数据交换和共享。

2.2 本体数据交换模型

本体数据交换模型主要基于图模型O-Graph, 用于发现关系模型语义, 通过发现的关系模型语义信息通过O-Graph自动实现数据源和局部本体之间的创建。

将基于本体的数据交换模型定义为:P= (O, M) 。

O代表从数据源构建的局部本体的集合, 包括了数据交换双方源和目的局部本体, 用公式表示为O={Os, Ot}, 其中, Os代表源数据源对应的局部本体, Ot代表目标数据源对应的局部本体, Os、Ot分别包含了不同数据源对应的模式语义信息, 包括数据源信息、数据源中表结构信息以及表之间的约束关系信息 (如主键、外键、非空、唯一性等约束) 。

3 实现与应用

3.1 数据交换组件

数据交换组件的时序图如图2所示, 该时序图介绍了整个数据交换的流程:首先, 源数据发出请求, 对该请求进行权限验证, 如果符合系统配置的权限, 则将封装好的请求提交到本体数据交换模型, 进行相应的数据源到局部本体以及局部本体之间映射关系的构建, 其次, 根据对应的映射关系将数据转换成目标数据格式文件, 最后, 通过数据加载程序把生成的目标数据文件加载到目标数据库中。

3.2 系统应用

基于此模型开发的通用数据迁移工具采用.NET平台, 使用C#语言编程实现。下图3为数据交换主界面。

4 结语

本文提出一种基于本体的通用数据交换模型, 给出了本体数据交换模型的相关定义, 基于Web Service组件实现了数据源之间的提取、转换、加载。基于本体提出的模型构建的应用系统已经应用到中石油某项目中, 对于企业数据集成、数据交换, 尤其是中石油数据集成、交换问题可以提供一个很好的解决方案, 具有现实意义。

摘要：为解决企业异构数据模型之间数据交换问题, 通过对国内外数据交换技术进行研究, 结合企业数据交换的实际需求, 引入了本体和Web Service技术, 定义了一种基于本体的通用数据交换模型, 给出了本体数据交换模型定义。通过基于Web Service的数据交换组件驱动ETL引擎, 实现了数据交换中的数据处理功能。该交换模型已在中国石油数据交换项目中得到应用, 应用效果良好。

关键词：数据交换,本体,ETL,Web Service

参考文献

[1]肖媛媛.浅谈企业信息孤岛化问题[J].企业导报, 2012 (6) .

[2]康峰峰.基于本体的油田开发领域数据交换模型研究[D].大庆:东北石油大学, 2013.

[3]宋杰, 王大玲, 鲍玉斌.一种元数据驱动的ETL方法的研究[J].小型微型计算机系统, 2007, 28 (12) .

[4]Ansgar Scherp, Carsten Saathoff, Thomas Franz, et al.Designing core ontologies[J]Applied Ontology, 2010, 6 (3) .

[5]Gruber T R.Towards Principles for the Design of Ontogies Used for Knowledge Sharing[J].International Journal of Human&Computer Studies, 1995, 43 (5) .

[6]Natalya F.Noy.Semantic Integration:A Survey of Ontology Based Approaches[J].SIGMOD Record, 2004, 33 (4) .

[7]周素华.基于Web Services的数据交换系统[D].长春:吉林大学, 2008.

交换数据模型论文篇2

目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥有很多不同类型的数据库/文件系统(Mysql/Oracle/Rac/Hive/Other…)，并且经常需要在它们之间导入导出数据，那么我们可能需要开发/维护/学习使用一批这样的工具(jdbcdump/dbloader/multithread/getmerge+sqlloader /mysqldumper…)。而且以后每增加一种库类型，我们需要的工具数目将线性增长。(当我们需要将mysql的数据导入oracle的时候，有没有过想从jdbcdump和dbloader上各掰下来一半拼在一起到冲动?) 这些工具有些使用文件中转数据，有些使用管道，不同程度的为数据中转带来额外开销，效率差别很非常大。很多工具也无法满足ETL任务中常见的需求，比如日期格式转化，特性字符的转化，编码转换。另外，有些时候，我们希望在一个很短的时间窗口内，将一份数据从一个数据库同时导出到多个不同类型的数据库。 DataX正是为了解决这些问题而生。

(问题: 新增第n+1个数据源，是不是要新开发n个数据同步工具 ?)

我们只需要针对新增的数据源开发的一套Reader/Writer插件，即可实现任意数据的互导

基于XML的数据交换模型之研究篇3

1 相关技术介绍

1.1 XML技术

XML语言(Extensible Markup Language)是1982年2月由W3C组织制定的一种通用语言规范,它没有复杂的语法和数据定义。X M L具有易扩展、结构性强、语义性强、纯文本、易于处理、与平台无关等特点。XML的自描述性使其非常适用于不同应用间的数据交换。XML作为数据传输的中介格式,为异构数据源提供了一层理想的缓冲,从而使异构数据源之间保持透明。XML作为独立于平台和设备的结构化数据表达方式,可以有效地实现异构数据源的集成。

1.2 异构数据交换

数据交换是实现数据共享的一种技术,因此通过数据交换,实现各系统间的数据共享、互联互通、业务协同是解决目前“信息孤岛”现象的关键途径。

目前常见的异构数据交换技术可分为电子数据交换方式、中介层方式、数据仓库方式、中间数据方式,但都还存在不足[2]。基于X M L的数据交换技术具有良好的通用性,扩展性,可移植性和自治性,同时满足一定的实时性要求,从而它弥补了以上数据交换方法的缺点,提高了数据交换系统的兼容性和扩展性,在一定程度上提高了数据交换系统的开发效率。

2 系统设计

2.1 系统结构设计

数据交换平台主要由数据提取、数据读/写、数据分析、数据转换几部分构成。

2.2 数据提取部分

在进行数据交换时数据提取部分根据用户的指令将需要进行交换的数据从数据库中提取出来。数据提取的数据源主要有:(1)文本文件:主要指部门自定义的特定格式的文件;(2)数据库:主要指专业用于存储数据的各种关系数据库系统;(3)X M L文档,它是一种简单、灵活的文档,可对结构化数据提供透明的组织及交换的方法[3]。

2.3 数据读/写部分

数据读/写部分负责对数据源的读写操作,具体包括从源数据中读取要进行交换的数据及把转换后的数据写入目标数据。数据读/写部分根据不同的数据采用不同的读写方式:(1)对文本文件,通过字符输入/输出流依次读/写文本中的字符来实现;(2)对数据库,利用数据库连接驱动(如J D B C)来实现;(3)对X M L数据文件,通过调用X M L解析器的读/写接口加载整个XML文件来实现。

2.4 数据分析部分

数据分析部分负责解决数据映射的问题,并构建出异构数据之间进行数据转换的映射文件。此处主要针对异构关系数据库之间的数据交换进行研究,为了在数据库与X M L文档之间传递数据,必须在X M L文档结构和数据库结构之间建立映射关系。在设计时应考虑:(1)数据类型:为了匹配关系型数据库严格的数据类型,本系统采用X M L Schema数据类型。(2)主键/外键:在进行基于XML的双向数据转换时,要将源表中的主键/外键信息保留下来。(3)空数据:当将XML文档与异构数据库进行双向转换时,要注意那些可为空的列。(4)数据结构:在进行基于XML的双向数据转换时,要保留源数据的结构,可将XML文档设计成两部分,一部分存放结构信息;另一部分存放数据信息。结合以上要求,定义异构数据库双向数据交换的中间数据模型如下:

2.5 数据转换部分

在数据分析的基础上,数据转换部分负责源数据和目的数据之间的转换操作,其中包括源数据到中间数据的转换及中间数据到目标数据的转换。异构数据之间的转换方法有两种:基于模板的转换方法和基于模型的转换方法[4]。鉴于本系统要实现XML文档与其他格式数据的双向转换,采用基于模型的转换方法。

基于模型的数据转换方法用事先定义好的数据模型来映射XML文档结构与其他格式数据的结果之间的关系(如图2)。

3 系统实施

该系统在Windows Server 2003平台上开发,使用Oracle9i数据库、S Q L Server 2000数据库。系统采用Java技术实现,XML是独立于平台的标记语言,而Java是与平台无关的计算机语言,XML与Java的结合能够最大限度地体现系统平台的无关、应用无关性[5]。该系统具有如下特点:(1)基于开放的标准技术,具有良好的可扩展性;(2)类模块架构设计,效率高;(3)Java和XML结合,可以跨越多种平台。

4 结语

数据交换是X M L的重要应用之一,XML使得不同应用系统间能够方便地交换数据,实现异构系统的集成。本文的创新在于构建了一个新的基于X M L的数据交换模型,该模型能有效地解决企业各部门之间资源共享问题。

参考文献

[1]徐俊杰.基于XML的数据交换模型研究[D].哈尔滨:哈尔滨工程大学,2007.

[2]李雯,谢辅雯,邹道.XML数据交换技术的应用与研究[J].计算机与现代化,2008(1):91～93.

[3]刘敏.基于XML和JMS的数据交换模型的设计及应用[D].沈阳:东北大学,2005.

[4]刘立华.基于XML的异构数据库之间的数据交换[D].武汉:华中科技大学,2005.

[5]陈兵,万晖.基于XML的Web数据交换[J].计算机工程,2002(2):112～114.

[6]王大刚,谢荣传.基于XML Schema的数据匹配方法的研究[J].计算机科学与技术,2008(6):28～31.

[7]L.Seligman,A.Roenthal.XML’s im-pact an databases and data sharing[J].Computer,2001,34(6):59～67.

[8]Maria Arigeles.The challenges thatXML faces[J].Computer,2001,34(10):15～18.

交换数据模型论文篇4

EDI是一种利用计算机进行商务处理的方式。它主要是将贸易、运输、保险、银行和海关等行业的信息，用一种国际公认的标准格式，形成结构化的事务处理的报文数据格式，通过计算机通信网络，使各有关部门、公司与企业之间进行数据交换与处理，并完成以贸易为中心的全部业务过程。EDI包括买卖双方数据交换、企业内部数据交换等。实际上，EDI的发展已经至少经历了20多年，其发展和演变的过程已经充分显示了商业领域对其重视的程度。

人们将EDI称为“无纸贸易”（Paperless Trade），将EFT（电子转帐）称为“无纸付款”（Paperless Payment）已经足以看出EDI对商业运作的影响。

第一节电子数据交换技术概述

一、EDI概念

早在20世纪60年代以前，人们就已经在用电报报文发送商务文件；

70年代又普遍采用方便、快捷的传真机来替代电报，但由于传真文件是通过纸面打印来传递和管理信息的，不能将信息直接转入到计算机信息管理系统中，数据的重复录入量较大。

70年代末应用于企业间的电子数据交换（EDI，Electronic Data Interchange）技术和银行间的电子资金转账（EFT，Electronic Fund Transfer）技术作为电子商务应用系统的雏形出现了。

有关EDI的最初想法来自美国运输业，原因是运输业流通量大，货物和单证的交接次数多，而单证的交接速度常常赶不上货物的运输速度。

当时的贸易商们在使用计算机处理各类商务文件的时候还发现，由人工输入到一台计算机中的数据70%是来源于另一台计算机输出的文件，过多的人为因素也影响了数据的准确性和工作效率的提高。

这就促成了1975年第一个EDI标准的发表。

应用EDI可以使交易双方将交易过程中产生的各种单据以规定的标准格式在双方的计算机系统上进行端对端的数据传送和自动处理，减少了文字工作并提高了自动化水平，从而使企业实现“无纸贸易”，简化业务流程，减少由于人工操作失误带来的损失，能够大大地提高工作效率，降低交易成本，加强贸易伙伴之间的合作关系。

因此，实用的EDI电子商务在80年代得到了较快的发展，在国际贸易、金融、海关业务、航空公司、连锁店及制造业等领域得到了大量的应用。

多年来，EDI已经演进成了多种不同的技术。

在90年代之前，出于安全的考虑，EDI和EFT是通过租用计算机传输线路在专用网络上实现，使用成本非常高。同时，EDI对技术、设备和人员都有较高的要求。

受这些因素的制约，基于EDI的电子商务目前仅局限在先进国家和地区以及大型企业范围内应用。

实际上，EDI是用电子数据输入代替人工数据录入，以电子数据交换代替传统的人工交换的方法。EDI的主要目的并不是消除纸张的使用，而是消除处理延迟和数据的重新录入。

从上述EDI定义不难看出，EDI由三个基本要素组成：通信网络是EDI应用的基础；计算机硬件、专用软件组成的应用系统是实现EDI的前提条件；EDI标准化是实现EDI的关键。

二、EDI分类

1、最基本的EDI系统是电子订货系统（EOS：Electronic Ordering System），又称为贸易数据互换系统（TDI：Trade Data Interchange），它用电子数据文件来传输订单、发货票和各类通知。

2、第二类常用的EDI系统是电子金融汇兑系统（EFT：Electronic Funds Transfer System），它仍在不断的改进中，最大的改进是同订货系统联系起来，形成一个自动化水平更高的系统。

3、第三类EDI系统是交互式应答系统（Interactive Query Response），它可应用在旅行社或航空公司作为机票预定系统。

4、第四类EDI是带图形资料自动传输的EDI。最常见的是计算机辅助设计（CAD：Computer Aided Design）图形的自动传输。

（二）EDI特点

（1）EDI的使用对象是不同的组织之间，EDI传输的企业间的报文，是企业间信息交流的一种方式；

（2）EDI所传送的资料是一般业务资料，如发票、订单等，而不是指一般性的通知；

（3）EDI传输的报文是格式化的，是符合国际标准的，这是计算机能够自动处理报文的基本前提；

（4）EDI使用的数据通信网络一般是增值网、专用网；

（5）数据传输由收送双方的计算机系统直接传送、交换资料，不需要人工介入操作；

（6）EDI与传真或电子邮件的区别是:传真与电子邮件，需要人工的阅读判断处理才能进入计算机系统。人工将资料重复输入计算机系统中，既浪费人力资源，也容易发生错误，而EDI不需要再将有关资料人工重复输入系统。

（三）EDI优势

1）企业采用EDI可以更快速、更便宜地传送发票、采购定单、传输通知和其它商业单证，提高快速交换单证的能力，加快了商业业务的处理速度，更重要的是，这些过程可以被监督，从而为企业提供了跟踪管理和审计这些操作的能力。

2)通过对数据进行电子传输，避免了人工录入而出现不一致的错误，提高了总体质量。降低数据对人的依赖性，以及减少无意义的处理时间。

3）EDI能更快、更精确地填写订单，以便减少库存，直到零库存管理。4）EDI存储了完备的交易信息和审计记录，为管理决策者提供更准确的信息和数据，进而为企业增加效率和减少成本提供了更大的可能性。

三、EDI的应用

EDI是电子商业贸易的一种工具，能将商业文件如日常咨询、计划、询价、进出口许可证、合同、订单、发票、货运单、报关单、收货通知单和提单等信息，按统一的标准编制成计算机能识别和处理的数据格式，在计算机之间进行传输。目前正在开发用于政府、广告、教育、司法、保险等领域的EDI标准。案例：近年的实践证明，凡是采用EDI的国家和地区，都获提了可观的经济和社会效益。

据有关专家分析，使用EDI业务，可提高商业文件传递速度81%，降低文件成本44%，减少由于错漏造成的商业损失40%，提高竞争能力34%。

美国通用汽车公司采用EDI后，每生产一辆汽车的成本可减少250美元，以每年生产500万辆汽车计算，便可节省12.5亿美元。

美国通用电气的统计表明，应用EDI使其产品零售额上升60%，库存由30天降到6天。每年仅连锁店的文件处理费用一项就节约60万美元，节省运输时间80%。

第二节电子数据交换系统结构与工作流程

一、EDI通讯网络

要实现EDI的全部功能，需要具备以下四个方面的条件：

1、数据通信网是实现EDI的技术基础；

2、计算机应用是实现EDI的内部条件。EDP(Electronic Data Processing)，中文译为电子数据处理，它是指企业内部业务处理的自动化，如使用计算机来进行人事、财务、销售、进货等自动化管理。

3、标准化是实现EDI的关键

4、EDI立法是保障EDI顺利运行的社会环境二EDI标准的分类

（二）按内容分类

1、基础标准体系。主要由UN/EDIFACT的基础标准和开放式EDI基础标准两部分组成，是EDI的核心标准体系。其中，EDIFACT有7项基础标准，包括EDI术语、EDIFACT应用级语法规则、语法规则实施指南、报文设计指南和规则、贸易数据元目录、复合数据元目录、段目录、代码表，我国等同采用了这7项标准；开放式EDI基础标准是实现开放式EDI最重要、最基本的条件，包括业务、法律、通信、安全标准及信息技术方面的通用标准等，ISO/IEC JTC1 SC30推出《开放式EDI概念模型》和《开放式EDI参考模型》，规定了用于协调和制定现有的和未来的开放式EDI标准的总体框架，成为未来开放式EDI标准化工作的指南。随之推出的一大批功能服务标准和业务操作标准等将成为指导各个领域EDI应用的国际标准。

2、单证标准体系。EDI报文标准源于相关业务，而业务的过程则以单证体现。单证标准化的主要目标是统一单证中的数据元和纸面格式，内容相当广泛。其标准体系包括管理、贸易、运输、海关、银行、保险、税务、邮政等方面的单证标准。

3、报文标准体系。EDI报文标准是每一个具体应用数据的结构化体现，所有的数据都以报文的形式传输出去或接收，简称UNSM），其1987年正式形成时只有十几个报文，而到1999年2月止，UN/EDIFACT D.99A版已包括247个报文，其中有178个联合国标准报文（UNS进来。EDI报文标准主要体现于联合国标准报文（United Nations Standard Message M）、50个草案报文（Message in Development，简称MiD）及19个作废报文，涉及到海关、银行、保险、运输、法律、税务、统计、旅游、零售、医疗、制造业等诸多领域。

4、代码标准体系。在EDI传输的数据中，除了公司名称、地址、人名和一些自由文本内容外，几乎大多数数据都以代码形式发出，为使交换各方便于理解收到信息的内容，便以代码形式把传输数据固定下来。代码标准是EDI实现过程中不可缺少的一个组成部分。EDI代码标准体系包括管理、贸易、运输、海关、银行、保险、检验等方面的代码标准。

5、通信标准体系。计算机网络通信是EDI得以实现的必备条件，EDI通信标准则是顺利传输以EDI方式发送或接收的数据的基本保证。EDI通信标准体系包括ITU 的X.25、X.200/ISO 7498、X.400系列/ISO 10021、X.500系列等，其中X.400系列/ISO 10021标准是一套关于电子邮政的国际标准。虽然这套标准，ISO叫做MOTIS，ITU称为MHS，但其技术内容是兼容的，它们和EDI有着更为密切的关系。

6、安全标准体系

由于经EDI传输的数据会涉及商业秘密、金额、订货数量等内容，为防止数据的篡改、遗失，必须通过一系列安全保密的规范给以保证。EDI安全标准体系包括EDI安全规范、电子签名规范、电文认证规范、密钥管理规范、X．435安全服务、X．509鉴别框架体系等。为制定EDIFACT安全标准，联合国于1991年成立了UN/EDIFACT安全联合工作组，进行有关标准的制定。

7、管理标准体系。EDI管理标准体系主要涉及EDI标准维护的有关评审指南和规则，包括标准技术评审导则、标准报文与目录文件编制规则、目录维护规则、报文维护规则、技术评审单格式、目录及代码编制原则、EDIFACT标准版本号与发布号编制原则等。

8、应用标准体系。EDI应用标准体系主要指在应用过程中用到的字符集标准及其他相关标准，包括：信息交换用七位编码字符集及其扩充方法；信息交换用汉字编码字符集；通用多八位编码字符集；信息交换用汉字编码字符集辅2集、4集等。

EDI标准体系的框架结构并非一成不变，它将随着EDI技术的发展和EDI国际标准的不断完善而将不断地进行更新和充实。

（二）按适用范围来划分

EDI是目前为止最为成熟和使用范围最广泛的电子商务应用系统。其根本特征在于标准的国际化，标准化是实现EDI的关键环节。早期的EDI标准，只是由贸易双方自行约定，随着使用范围的扩大，出现了行业标准和国家标准，最后形成了统一的国际标准。国际标准的出现，大大地促进了EDI的发展。随着EDI各项国际标准的推出，以及开放式EDI概念模型的趋于成熟，EDI的应用领域不仅只限于国际贸易领域，而且在行政管理、医疗、建筑、环境保护等各个领域得到了广泛应用。可见EDI的各项标准是使EDI技术得以广泛应用的重要技术支撑，EDI的标准化工作是在EDI发展进程中不可缺少的一项基础性工作。

三、EDI的工作流程

第三节电子数据交换的实现

一、EDI的运作类型

1、由于不同行业、不同地区实施EDI所采用的标准和协议的内容是不同的，这样就导致了大量不同结构EDI系统的出现。各个系统之间由于所采纳的标准和传输协议不同，彼此之间相对处于封闭状态，因此，人们称之为封闭式EDI。

2、开放式EDI指的是“使用公共的、非专用的标准，以跨时域、商域、信息技术系统和数据类型的互操作性为目的，自治参与方之间的电子数据互换”。开放式 EDI的概念确定了开放式EDI事务处理的概念、服务和关系的标准文本的集合，用于标识和协调现有的和将来的标准与服务概念模型，以实现全球EDI互操作。它的目的在于最大限度地满足各种应用领域的EDI参与方之间的交换需求，并力求使对专用协议的需求最小化，使互操作范围最大化。

3、交互式EDI两个计算机系统之间以一问一答的对话通信方式进行报文的交换。

二、Internet EDI 20世纪九十年代中期随着“EDI中心”增值服务的出现和行业标准逐步发展成通用标准，加快了EDI的应用和跨行业EDI的发展。EDI在贸易伙伴间长期、稳定的供求链中发挥着重要的作用，即时订货均体现了EDI的功效。

但是传统的EDI也存在着明显的弱点：初期投资成本较高，专网连接使得大多数中小企业难以承受的运作费用。

随着互联网的发展与普及，给EDI带来了新一轮发展机遇，因而WWW/EDI、OPEN EDI、Internet EDI成为当今电子商务的焦点之一，互联网在环境、技术、经济上都为EDI创造了良好的条件

（一）Internet EDI优势

1.比传统封闭式EDI节省投资和运营成本。以国际互联网为基础的EDI比在增值网络上运行的EDI要节省投资和运营成本。增值网络服务商是按照每一笔生意或每千字节来收取费用，而国际互联网的联接一般则只需每月付固定的费用。

例如，位于美国阿里巴马州的Avex Electronics公司将应用Premenos Templar公司的软件推行以互联网为基础的EDI。据该公司估算，如果使用增值网络服务商提供的传统的EDI，每月的费用要2500美元，而以互联网为基础的EDI大约只是其一半的开支。节省初始投资和运营成本是多数企业转向互联网为基础的EDI的主要原因。

由于投资和运营成本相对减少，相对进入的障碍减少，因此以互联网为基础的EDI吸引了不少小企业准备实施EDI。这样EDI交易伙伴的范围就相应扩大了。

2.使电子商务的参与形式多样化

传统的EDI相对缺乏灵活性，因为电脑本身更擅长于高效率地处理标准化、程序化和重复性的事务。以国际互联网为基础的EDI使企业可以在开放性的平台上实施，这样就会使电子商务的参与形式多样化。

例如，企业可以与新的贸易伙伴通过使用电子邮件进行谈判交流。随着国际互联网信息传输速度的提高，可视会议、网上同步谈话等会逐步代替国际长途电话，在有些情况下可以代替面对面的谈判。

3.比传统EDI的接入灵活方便，速度快

传统EDI的网络接入需要特殊的传输协议和接入方式，缺乏灵活性。而由于以国际互联网为基础的EDI是用国际互联网传输交易信息，所以网络接入方便，可以通过专用网，也可以通过电话线直接拨入。

另外，传统的EDI在传输时有长达12至14小时的时滞。而以互联网为基础的EDI比传统EDI的传输速度要快得多。加密解密和压缩的时间也不过几分钟。

（二）Internet EDI劣势

1、安全性问题

EDI安全包括：一是EDI数据的安全，另一个是EDI系统的安全。

EDI系统面临的主要威胁和攻击：冒充、篡改数据、偷看、窃取数据；文件丢失；抵赖或矢口否认；拒绝服务

2、网络运营的可靠性。国际互联网属于公共网络，不管是在哪个国家和地区，其使用者与日俱增。网络运营中传输出现故障或信息丢失的可能性不时会发生。相对于专用网络，公共网络不会提供完善的服务保证。因此，企业在利用国际互联网时往往考虑与第二个国际互联网服务商，建立接入国际互联网的第二通道，以防第一通道出现问题。

3、第三方认证问题。电子商务要求交易的所有参与者有效保留传递的交易信息，在必要时要求提供有力的证据来证实信息传递者的身份、传递的内容、传输方式和传输时间。目前提供EDI服务的专营私营网络往往都相应提供第三方认证的服务，即以第三方公正方的名义证实信息传递者的身份及其信息传递的有效性。然而，目前以国际互联网为基础的EDI方式在这方面仍存在局限性。

（三）基于Internet的EDI的发展 Internet Mail。Internet Mail是最早将EDI引入Internet的方式。它用ISP 取代传统EDI对VAN的依赖，以实现商业数据与信息的电子交换。利用Internet Mail传输EDI单证，采用Internet邮件协议SMTP的扩展MIMEMultipurpose Internet Mail Extensions。基于InternetMIME的EDI系统模块结构及信息流程如图1所示。其中，应用系统产生并读取商业单证，此单证以内部格式（平台文件）存储；翻译模块负责实现用户应用系统内部格式数据和标准格式EDI单证之间的转换；封装／拆封模块依据MIME标准，将EDI单证封装Internet／MIME EDI报文，或从Internet／MIME EDI报文中提取EDI单证；安全模块根据用户安全要求，进行相应安全处理。

Standard ICStandard Implementation Conventions，标准执行协定。使用EDI过程中，不同行业或企业常根据自身需要对标准进行选择，IC即指经过选择的消息版本，因而出现多个IC版本。开发IC费用高昂，且各版本间消息不能相互处理。Standard IC是一种特殊的跨行业针对特定应用的国际标准，着重解决Internet EDI的多版本IC问题。此标准不同以往的专业、行业、国家及国际标准，使用简单，无过多选择项，令EDI可在Internet环境下方便使用。

交换数据模型论文篇5

长江航道将于“十二五”期间全面建成数字航道, 初步建成智能航道, 基本实现长江航道现代化。数字航道在利用计算机网络、无线通讯、卫星定位、地理信息等技术手段, 整合航道数据资源, 实现航道通航运营、维护管理信息化、智能化等方面已取得了长足的进步。但是, 在数字航道快速发展的过程中, 传统航道图、清华山维测绘成果图、CAD格式航道图、S-57格式电子航道图等多种格式的航道数据资料并存, 需要对多种格式的航道数据进行整合, 进行数据交换, 使数字航道中大量的数据更有效的用于航道演变预测, 为航道管理部门提供航道维护辅助决策, 从而进一步提高航道管理部门决策的科技水平, 推进智能航道的发展。

文章选取长江下游的典型整治河段黑沙洲水道为研究对象, 该水道上起板子矶 (航道里程489km) , 下至高安圩 (航道里程475km) , 水道首尾狭窄、中部展宽, 属于鹅头型分汊水道。水道中部的黑沙洲与天然洲, 将该河道分成中、北、南三个水道。其中黑沙洲南水道是长江下游重要浅险水道之一, 也是“十二五”期建造的航道整治建筑物所在地, 有非常重要的研究价值。

文章研究CAD航道图及电子航道图的数据提取方法, 完成与数学模型的数据交换;通过提取的数据建立黑沙洲水道数字高程模型 (DEM) , 并应用地理信息系统 (GIS) 的空间数据分析功能, 提取浅滩演变的特征数据, 为统计分析模型的建立提供技术手段。

1 数据提取与处理的技术路线

充足的河床地形数据是完成水道演变分析的基础, 目前水下地形数据主要采用GPS导航配合数字测深仪的方法或多波束扫测进行采集。同时, 水深数据被保存成多种的数据格式。文章收集的黑沙洲水道地形资料不仅有CAD格式航道图, 还有S-57格式电子航道图, 而CAD航道图又分为水深分离式标注和整体式标注的航道图, 数据需要在统一的格式和平台下进行分析和处理。

数字高程模型 (DEM) 和地理信息系统 (GIS) 的运用满足了这一需要。数字高程模型不仅能直观的表达出地形的起伏, 而且在GIS平台下, 能够方便准确地提取各种空间数据参数, 为河床演变分析及数理统计分析模型提供技术支持。

2 两种格式航道图的数据提取

2.1 CAD格式航道图的数据提取

航道测绘部门在2009年以前, 对黑沙洲水道的航道图采用CAD格式保存, 水深标注采用数字分离式的标注方法。每个测点的水深数据由两部分组成———整数和小数部分, 其中并不用小数点分隔, 两部分在CAD图上并无关联性。水深的实测位置在整数标注部分的中心。综上, 读取这种CAD水深数据时, 需首先确定相邻数据关联性。提取上述CAD格式航道图的XY坐标与水深数据, 需要再次验证水深数据的整数、小数两部分是否提取完整。由于“-“号容易在提取中被忽略, 还要再次审核数据的正负。否则, 生成的数字高程模型将会出现奇点, 影响下一步面积和体积等计算的准确性。黑沙洲水道2009年以后的CAD航道图, 水深数据标准一般采用整体式标注法, 已不存在上述问题。

2.2 电子航道图的数据提取

根据国际海道组织 (IHO) 的定义, 电子海图显示与信息系统 (ECDIS) 是以数字形式储存的海图, 能够与多种显示终端、传感器匹配使用, 电子航道图是其本地化的一个分支, 符合IHO的多项通用标准, 能够在世界范围内标准化的显示和应用。目前IHO颁布的电子海图的标准主要有:S-52电子海图显示标准、S-57海道测量数据交换和传输标准、S-63电子海图数据加密标准、IMO ECDIS性能标准、IEC61174ECDIS操作和性能测试标准。通过学习S-57标准中所定义的要素和指标, 了解其文件构成、模型搭建、数据结构、封装方法, 就能从中提取出需要的坐标和水深数据。

S-57海图文件采用ISO8211的数据封装格式, 对实际数据内容以及逻辑结构的描述的数据描述记录位于ISO8211的第一个逻辑记录中, 之后的文件为数据记录, 构成了该种数据格式的主体。S-57显示标准将通航所接触的多种物标分为特征物标和空间物标两种———特征物标主要包含了对真实物体的描述信息, 主要分为四类 (Class) , 分别是元物标 (Meta) 、制图物标 (Cartographic) 、地理物标 (Geo) 与集合物标 (Col1ection) 。;空间物标主要包含了航行区域的空间几何信息, 主要分为三类 (Class) , 光栅点物标 (Raster) 、矢量线物标 (Vector) 及矩阵面物标 (Matrix) 。空间记录与空间特征之间的用指针的办法链接。在上述S-57格式的电子航道图中, 每一个空间上存在的物标对应文件中一条代码, 多个空间上项目关联的物标对应一个代码集, 所有的这些代码集汇总形成数据文件。S-57格式的电子航道图由数量不等的多个文件组成。

通过分析S-57电子航道图的数据结构和传输标准, 可编制批处理程序将大量的S-57格式电子航道图文件转换为地理信息系统软件 (以Arc GIS为例) 可读取编辑入库的Shp格式文件。

运行Arc GIS软件, 导入之前转换生成的Shp文件, 如图1所示, 点选属性列表中后可以显示其表示水深数据的字段, 进一步在列表中添加X、Y字段的数据值, 通过软件包含的计算几何功能即可得到每一个抽取水深点的经纬度坐标值。

同时需注意的是, 根据IHO颁布的相关规定, 所有电子海图/电子航道图的坐标体系采用的是WGS-84空间大地坐标系, 与我国工程测量所采用的Beijing-1954投影坐标系不一致, 需进行坐标转换才能实际应用。Arc GIS软件中已内置此功能, 首先进行预处理, 创建本次黑沙洲水道的地理坐标转换工程, 使用精度较高七参数转换方法, 通过投影功能实现84坐标向54坐标的转换。转换后的水深测点X、Y坐标经检验误差能控制在10m以内, 能够满足数字高程模型建模和冲淤变化演变分析的需求。

3 数字高程模型 (DEM)

3.1 基于不规则三角网的地形建模

数字高程模型 (DEM) 是数字地形模型 (DTM) 的一个分支, 是用有序数值阵列形式表示地面高程的一种实体地面模型。其表示形式有规则格网模型、等高线模型、数学曲面模型、离散点数字高程模型和不规则三角网模型。其中, 比较通用的有规则格网模型和不规则三角网模型。当采样点分布较为散乱密度不均时, 采用不规则三角网模型 (TIN) 对地形进行描述, 三角形大小由选取区域内数据采样的密集度所决定, 可满足更高的精度要求。本次两种不同格式的航道图中提取的水深数据分布散乱, 根据上述分析, 采用不规则三角网 (TIN) 建模的方法对DEM进行描述更能提高模型精度。

DEM表面建模广泛采用Delaunay三角网 (D-TIN) 模式, 其具有良好的性能和便捷的易用性, 是通用地形分析的有力工具。D-TIN自诞生至今的几十年发展以来, 涌现出大量的算法, 已逐渐趋于成熟稳定。根据构建三角网的不同步骤可以分为三角网生长算法、逐点插入法、分治算法等。文章采用实现较为便利、占用系统资源较小的逐点插入法对提取的水深点进行地形三角网的构建。该法通过先构建水深点集的外接多边形确定总体范围, 进一步在内部剖分成多个三角形, 形成原始D-TIN, 然后将未处理的点分别插入已存在的三角网中, 并用局部优化过程对三角网进行优化处理直到所有的点都插入完毕, 最后删除外接多边形, 完成数字高程模型 (DEM) 的构建, 如图2所示。

3.2 黑沙洲水道DEM的建立

根据现阶段收集得到的黑沙洲水道2004年2月21日至2013年1月18日的31个测次的航道图, 首先从CAD航道图及电子航道图中提取XY、水深之离散点数据, 输入GIS系统。

采用Delaunay三角网 (D-TIN) 模式, 应用上述逐点内插法, 处理提取出的数据。完成D-TIN生成后, 对其进行数据的填充即, 就能最终生成数字高程模型 (DEM) 。文章通过上述方法生成了的黑沙洲水道2004年2月21日至2013年1月18日的31个测次的数字高程模型, 供进一步处理应用。

5 黑沙洲水道空间数据处理

使用地理信息系统 (以Arc GIS为例) , 能够对数字高程模型 (DEM) 进行分析与处理。其中一维分析包括河段的纵剖面分析和横断面分析, 河段浅滩的轴线长度和方向分析;二维分析包括浅滩、深槽、碍航物的面积计算、周长计算和形状分析等;三维分析包括水道三维建模和空间查询定位, 和在三维模型中的挖方量计算、物标体积计算、区域面积计算等。文章所要提取和处理的特征数据是浅滩的面积、体积以及形心位置。

5.1 面积计算

进行面积、体积和形心等数据计算的基础是黑沙洲水道DEM的等值线的创建。可以选用Arc GIS软件等值线分析功能, 以起始等值线设为0m线, 间距为5m, 生成表面等值线。

等值线是一维要素, 尚不可直接进行面积和形心计算, 需在数据管理工具中, 将生成的等值线转换为二维要素面。在矢量模型里, 面物标是用短轮廓边界所构成的多边形表示的。有N个顶点简单多边形, 其面积计算公式为:

在面物标的属性表中添加字段“面积”, 通过上述计算即可得到面积值。

5.2 体积计算

体积是指表面与制定高度的平面 (参考平面) 之间的空间大小, 按照表面与参考平面的位置关系分为参考平面之上、下两种。文章以浅滩-5m平面之上不规则三角网的体积为例计算。

应用面体积分析功能, 能够自动计算并将计算值添加到面的属性表中。

摘要：以长江下游黑沙洲水道为例, 研究CAD航道图及S-57电子航道图的数据提取方法并完成与数学模型的数据交换, 建立黑沙洲水道数字高程模型 (DEM) , 并应用地理信息系统 (GIS) 的空间数据分析功能, 提取浅滩演变的特征数据, 为统计分析模型的建立提供技术手段。

关键词：数字航道,电子航道图,数字高程模型,数据提取,数据分析

参考文献

[1]纪宏宇, 黄忠刚, 陈高兴, 等.利用ARC/l NFO建立S-57数据模型的研究[J].海洋测绘, 2002, 22 (1) .

基于五力模型的价值交换分析篇6

关键词：价值交换,五力模型,共赢

一、交换价值的内涵

马克思在《资本论》中提到:交换价值首先表现为一种使用价值同另一种使用价值相交换的内容。

简单地理解企业其实就是生产、出售商品的经济组织 (这里的商品可以是有形的也可以是无形的) , 因而企业也可以理解为一种赋予商品含义的经济体, 而企业交换价值的实现就是在于同它相联系的各个主体的交换中实现的。

二、波特的五力分析模型

五力分析模型是迈克尔·波特 (Michael Porter) 于80年代初提出的, 后被广泛用于企业竞争环境的分析, 对企业战略的制定有着全球性的深远影响。五力模型中的五力分别是指:供应商的议价能力、购买者的议价能力、潜在竞争者进入的能力、替代品的替代能力、行业内竞争者现在的竞争能力。这五种力量的不同组合变化最终影响行业利润潜力的变化。

从五力分析模型中可以归纳出与企业相关的五个组织, 即供应商、消费者、潜在的和已经存在的竞争者以及替代品企业, 为了方便起见, 这里简单地把潜在的和已经存在的竞争者以及替代品企业统归为企业的竞争对象。

三、浅析五力与企业间存在的交换价值

(一) 供应商与企业间的交换价值

按照波特五力模型中的说法, 供方主要通过控制原材料价格或是质量来影响企业的盈利水平乃至产品竞争力, 尤其是当此供应商提供的投入要素占企业产品总成本较大比例或对其产品质量产生重大影响时, 供应商对于企业的潜在讨价还价力量就大大增强。

因供应商与企业之间交换价值的实现就是基于供应商提供的原材料。一方提供原材料, 一方支付货币 (也可能是其他等价形式) , 此时的企业就相当于消费者, 而供应商就是生产提供者。企业应该努力同供应商打好关系, 建立起长期共赢的友好合作关系。这样企业获得的是长期优质的低成本, 而供应商获得的就是长期稳定的收入, 同时也只有这样的价值交换才能长久。

(二) 消费者与企业间的交换价值

消费者对于企业盈利能力的影响是巨大的。因为企业生产销售的产品面对的就是消费者, 只有得到了消费者的认可和接受, 交易得以完成, 企业的产品价值才能得以最终实现。

企业和消费者的价值交换是基于产品本身。企业支出的是产品, 消费者则是货币。在这一过程中企业从与供应商建立的友好关系中获得的低原材料价格此时也就为其不畏惧“价廉”提供了基础。同时企业通过技术改革, 设备换代, 管理者及其员工能力素质的提升, 实现成本的不断降低, 产品质量的不断升华, 使得产品不再单单是产品本身, 而包含了更多的附加价值, 这样的产品消费者也会愿意支付更多来实现价值交换。

(三) 竞争者 (包括同行竞争者、潜在的竞争者和替代品企业) 与企业间的交换价值

企业除了与供应商、消费者紧密联系着外, 它的同业竞争者、潜在竞争者、替代品企业都在无时无刻的影响着企业本身的生产销售决策。所谓知己知彼方能百战不殆, 如果一个企业不能又快又准地洞悉出竞争对手的可能性行动或者可能性反应, 那么它所要经受的教训或许也将会是惨重的。如此看来, 企业与对手企业之间就是单纯的竞争关系, 不存在什么价值交换, 其实不然。就拿盛极一时的家电行业的“价格战”来说吧, 单纯的竞争只会带来两败俱伤。博弈论中的“囚徒困境”就是价格战的生动反映, 单个行为主体的理性行为带来的却会是集体利益的下滑。因而有时候懂得利用价值交换实现共赢也是一门经营的哲学。商界流行一种说法, 就是“没有永远的朋友, 只有永远的利益”。为了彼此的利益, 企业之间竞争者之间也可以达成共识, 实现利益共享双赢。

企业间的价值交换形式很多, 比如企业可以选择入股竞争对手, 化敌为友, 在近几年的啤酒业兼并收购大战中, 这一形式被演绎得淋漓尽致。在这种兼并收购或者入股中, 企业以资本换得竞争企业的经营权限或者技术专利。通过这种联合方式可以扩大企业规模, 实现规模效益和协同效应, 还可以防止恶性竞争带来的头破血流, 并设立了较高的进入壁垒, 让那些有心进入的企业不敢轻举妄动。对于替代品企业通过联合可以实现产品和市场的多元化。但是这种形式的价值交换需要谨慎而行, 不要盲目扩张, 当年的啤酒业曾一度是牌子多品质杂, 有许多企业盲目追赶潮流, 为自己兼并收购了一大批死马, 有的则是吃得太多而引起了消化不良。对于与替代品企业的联合更需要进行详尽的考察, 不要造成品牌混乱, 降低了原有顾客的忠诚度。

总结

随着经济的不断发展, 关系营销已经越来越收到重视。如何与供应商、消费者、竞争企业建立长期友好合作关系, 在竞争中实现互利合作已经显得越发重要。而现代企业只有做好了这一点, 才能在彼此的价值交换中实现最终的多方共赢。

参考文献

[1]徐二明.企业战略管理[M].北京:中国经济出版社, 2002

[2]刘少初.三种竞争战略与价值交换模型分析[J].现代商贸工业, 2010, 22 (016) :63-64.

基于数据集的数据交换技术研究篇7

(1)以往的研究的重点主要放在数据交换实现的过程,而忽略了数据才是数据交换的真正核心,没有关注数据交换中资料数据的采集、传输、存储、审核、管理、驳回、整理、展示和追踪过程。

(2)以往的数据交换文件仅仅是一个文件,并不能描述数据模型的结构信息,对于用户来说,不可见,所以无法对交换文件进行管理。

所以,本文采用了一种数据集元模型来实现数据库间的数据交换。通过对本课题的研究将数据集的思想引入到数据交换当中,研究数据集的定义、管理、应用等技术,并将数据集应用于数据交换过程的各个环节。设计出一种基于XML的数据映射规则,便于数据模型映射的管理,实现异构数据库间的数据交换。实现异构数据库之间数据的动态迁移,保证数据的一致性。

1基于数据集的数据交换基本框架

在数据交换过程中,每次交换的数据,从开始提取数据,到质量检查、数据审核、数据提交、数据撤销、数据查询等,始终都是一个完整的整体,我们把一次交换的一组数据称为一个数据集。由于数据集具有可定制、易扩展、可撤销的优势,可以便于数据按照某主题进行维护,可以形成树状的、多层次的、多角度的数据集组织结构。

基于数据集的数据交换是指通过建立源头数据库和目标数据库之间的数据模型的映射关系,以数据集为交换单元,根据元数据模型[2],实现从源头数据向目标数据的集成。在数据交换过程中引入了数据集的概念,对数据集提出规范的、统一的描述。分别对结构化数据、半结构化数据和非结构化数据提出数据集的定义和表示方法,满足数据集的一致性和完整性约束。在数据交换的整个生命周期中,便于数据集的管理和使用。基于数据集的数据交换过程见图1。

数据集定义:数据交换以数据集为粒度控制,建立数据集描述元模型。对数据集的名称、相关的数据表及查询条件、相关的文件等信息进行定义。根据主题对数据集进行管理,按照时间、名称、单位等主题查找数据集,查看数据集的内容,检查数据集的完整性、一致性。同时方便数据集的浏览、修改和删除。

数据提取:根据数据集的定义,提取数据源中的数据,同时根据数据质量约束集中的规则对数据集进行质量检查,有质量问题的数据需要整改。由于XML文件的跨平台性,提取的数据集将以XML的方式存在。

数据转换:根据数据映射中生成的映射关系,将提取出的数据集进行数据变换。

数据传输:将经过变换后的数据集提交给数据加载服务器。

数据加载:从图2中可以看出数据加载是数据交换的聚集点,需要提供数据加载调度功能,按照数据优先级顺序进行数据加载。在数据加载前进行数据质量检查,对于质量不满足的数据不能加载到目标数据库中。

数据查询:由于采用了基于数据集的数据交换,在数据提取中以及加载的数据,可以通过查询方式获取数据,便于数据的跟踪和管理。

数据质量控制:数据质量控制贯穿整个数据交换的始终。定义一个质量约束元模型,将各种数据检查条件以规则的形式存储并管理起来,质量控制的可扩展性。具体的规则包括:实体间约束条件,例如外键约束、一致性约束;实体内约束条件,例如标准格式约束、合法值约束、主键约束。

数据撤销:通过审核发现有质量的数据,可以对目标数据库中的数据进行撤销。

2 关键技术

2.1 数据映射元模型

数据映射字典用来在两个结构不同的数据模型之间建立实体以及数据项的对应关系,数据交换系统根据这样的对应关系可以实现源数据集到目标数据集的转换,从而实现了不同数据源的数据迁移。

完成数据映射包括以下内容:

(1) 映射描述规则建立。建立一组数据映射规则,也就是针对实体、数据项等数据集合,给出相应的映射运算操作,在此规则上,设计数据映射元模型。

(2) 检查实体依赖关系。数据模型之间的实体之间,存在数据依赖关系,为保证数据交换的参照完整性。可以根据实际的应用需要,设置是否检查实体间的这种依赖关系。如果要检查依赖关系,那么建立数据模型间的映射关系的时候,当选择一个实体后,通过检查所选实体与其他实体间的依赖关系,会自动将所选实体所依赖的各个实体加入到源实体集合,或者目标实体集合中。实体依赖关系的检查选项,默认情况下是不对依赖关系进行检查。

(3) 建立数据映射关系。映射关系的建立要经过下面几个步骤:选择源实体和目标实体,选择其映射关系类型,建立模型间实体和属性间的数据对应关系[3]。

(4) 保存映射关系。对于数据映射的结果需要设定规范的格式,便于数据交换程序使用。由于数据集采用XML格式的形式,那么映射关系文件使用XSLT格式。

(5) 映射关系的管理域维护。对已存在的映射关系进行更新、删除、查看等操作。

可以从不同的角度描述两个数据模型之间映射关系。以源实体为主体,即一个源实体实例如何对应到目标实体中。图2给出了这种对应关系。

在图2中表达的是一个源实体实例,对应多个目标实体。一般情况下,目标实体中一个属性对应一个源实体属性,我们称源属性为目标属性的值。但并不是所有的目标属性都对应到源属性,这包括自动取值的属性,我们称为自动值属性,如各种ID值。自动值属性是通过软件自动生成的不重复的值,如在Oracle 可以通过sequence产生,在Access中可以自动生成整数值。除自动值属性外,还有目标实体之间的对自动值属性的引用属性也不需要映射到源属性。

一个源实体的实例,可能映射到同一个目标实体的多个实例中,为了区分同一个目标实体的不同实例,需要给每一个实例取一个名字,我们称为别名或变量名或实例名。在源实体的映射中,如果一个目标实体只有一个实例,则不需要为实例另取名字,目标实体名即为实例名。实例名只在一个源实体的映射定义范围内有效。

在映射过程中还需要为每一个目标实体指定一个关键字,一个关键字由一个或多个属性组成,这个关键字用来在目标实体范围内唯一确定一个实例。自动值属性不能做为关键字属性,但对自动值属性进行引用的属性可以做为关键字属性。

在实际应用中,源实体可能并不是对应一个数据表,而是对应多个数据表组成的一个视图或一个查询。当源实体中有自动值属性时,源实体中的自动值属性不能映射到目标实体中。

根据以上映射规则,我们制订了映射字典,用来描述两个模型的映射关系。数据映射字典采用XML格式进行描述[4],其XML模式如图3所示。

映射字典中的XML标记定义如下:

(1) 标记MapDictionary。映射字典的根标记。

(2) 标记Maps。用来表示映射集合。它有一个或多个子标记Map。

(3) 标记Map。描述两个模型间的映射。标记Map有一个属性type,用来描述映射的方式。本项目的映射描述采用”lr”即从左到右方式,表示从源模型到目标模型的映射。其它方式有”rl”表示从右到左,即从目标模型到源模型的映射。

标记Map有三个子标记:Name、TargetModel、Entities,其中Name表示源模型名称,TargetModel表示目标模型的名称,Entities用来表示一组源实体。

(4) 标记Entity。描述一个源实体的映射。这是映射字典中最关键的一个元素。

Entity有一属性:

Name:表示实体的名字。

Entity有4个子标记:Attributes、Sselected、Tselected、TargetEntity,见相应的说明。

(5) 标记Attributes。定义源目标的属性名列表,属性名之间用逗号分开。标记Attributes的值可由映射工具自动生成。

(6) 标记Sselected。当源实体是一个查询时,用一描述从源实体提取实例的查询语句。缺省时,表示select * from 源实体名。

(7) 标记Tselected。表示从目标实体中反向提取源实体实例的查询。不可缺省。标记Tselected的值可由映射工具自动生成。

(8) 标记TargetEntity。表示一个目标实体的实例。标记TargetEntity有5个属性:

name:表示目标实体的实体名。

alias:表示目标实体的实例名。当alias缺省时,实例名与实体名name相同。

cname:表示目标实体的中文名称。

delete="Y":表示删除映射实例集时,是否删除该实例。

update="Y":表示如果按关键字查找,存在与着关键字相同的实例时,是否更新这个已经存在的实例。

标记TargetEntity只能出现在标记Entity下,一个Entity下可以一个或多个TargetEntity标记。

当Entity下有多个TargetEntity标记,而且TargetEntity表示的实例之间有引用关系时,被引用的实例一定要排在引用它的实例之间。实际上,TargetEntity标记之间的排列顺序代表了实例的创建顺序。

(9) 标记Attribute。用来描述一个目标属性。标记Attribute有5个属性:

name:表示目标属性的属性名。

cname:表示目标属性的中文名称。

datatype:表示目标属性的数据类型,其中“C”表示字符类型,“D”表示日期类型,“N”表示数值类型。

value:表示目标属性的值。目标属性的值有三种定义方式

方式1:源属性名,是出现在标记Attributes中的属性列表中一个属性名,表示以该属性的值作为本属性值。

方式2:“*”表示该属性是一个自动值属性。

方式3:“目标实例名.属性名”,表示该属性值是对前面TargetEntity实例中的一个属性值的引用。目标实例名必须是TargetEntity的name或alias,而且在当前源实体范围内是唯一的。

isKey:取值“T”时表示该属性为关键字。缺省或取值不为T,则表示不是关键字。

2.2 数据集元模型

数据集元数据针对某一业务主题定义和组织对应的数据,业务主题可以根据应用主题进行组织,例如可以按照单位组织数据集,还可以按照井的状态,按日期等多种方式组织数据集。可以形成树状的,多层次的、多角度的数据集组织结构。业务主题可以由公共数据主题统一定义和管理,在这个数据主题集合里,各个应用系统依照集合中的各个数据主题来设置与自身数据内容之间的匹配关系,同时在数据集的定义中包含数据的“源头”和“目标”位置等信息。

数据集分为两层次:数据集模板和数据集实例。

数据集模板提供对一个或多个源数据表的数据查询条件,该查询条件可以是一个查询模板或能反映主题含义的查询。例如:在数据集模板中,可以指定对完成井数据表的查询,但不一定指定井号,指出需要指定的井号后才能进行数据查询。数据集模板不指定从哪一个数据库中提取数据,也不指定目标数据库是哪一个。在数据集模板中,还可以指定数据集是结构化数据还是非结构化数据、半结构化数据,非结构化数据是以文件形式提交到数据中心的。

数据集实例则是在数据集模板的基础上,进一步细化查询条件,保证可以准确地获取源数据。在数据集实例化时,根据井号进行查询后得到具体实例集。由于直接得到数据实例集合,因此在数据集实例中,要指定源数据库和目标数据库。

查询条件是由一组查询组成,每一个查询占一行,结尾可以用分号结束。单个查询的格式如下:

查询名[:查询表达式][:关键字表];

查询名必须是映射字典中定义的一个源实体名。

查询表达式是一个SQL语句,可以是对一个或多个源表的查询。

关键字用来对数据集模板进行实例化,关键字的格式为:

key(字段1=关键字中文名,字段2=关键字中文名,..)

指定关键字后,在数据集实例化时,要求用户给出关键字的值。

例如,以下是一个查询:

az01:select jh,jwzb from az01:key(jh:井号);

在实例化的时候,可以用“井号”提示用户输入jh的值,例如:徐深23,然后将此值作为约束加入到查询中,这样实例化后的查询条件变成:

select jh,jwzb from az01 where jh=’ 徐深23’

当查询表达式省略时,默认为:

select * from 查询名;

当出现联合查询时,查询名与表名不同。对单表查询,建议查询名与表名一致。

以下是几个合法的查询例子:

(1) az01:select jh,jwzb from az01:key(jh=井号);

(2) az01::key(jh=井号);

(3) az01;

3 实现示例

基于数据集的数据交换技术已经应用于大庆油田的实际项目建设中。对于勘探开发生产数据在规范的业务流程控制下,将油田业务范围内的五个专业分公司中涉及的静态数据集成到数据中心,建立满足静态基础资料数据采集、传输、存储、审核、管理和应用的静态数据交换平台。

在该交换平台中,采油厂作为数据的需方,主要负责数据的接收、审核和应用,服务公司作为数据的供方,主要负责数据的提交工作,数据交换所涉及的各方在交换平台的支持下各尽其责,保证交换的数据齐全、准确、及时,从而达到数据在油田各个部门实现共享的目的,收到了很好的效果。

4 结束语

基于数据集的数据交换已经在实际中得到了应用。由于这种数据交换能够跟踪和管理数据在各个不同时期的状态,提供了数据在流转过程中查询的效率,但是对于一些特殊的数据项类型[5],如Blob等大字段还需经过一些特殊处理,将映射格式标准化,是今后工作的重点之一。

摘要：在数据交换技术的发展中,数据交换技术的实现往往作为研究的重点,而忽略了数据交换过程中数据才是核心。在数据交换过程中数据的生命周期的研究成为重点。因此,介绍了一种以数据集为中心的数据交换模式,采用元数据来记录数据信息在数据交换的整个生命周期中的流转状态。分析了数据交换技术,其关键是如何保持数据的完整性和一致性。设计了基于XML中间件的数据映射规则,满足源数据和目标数据的完整性。将数据集引入到数据交换中。

关键词：数据集,数据交换,元数据

参考文献

[1]靳强勇,李冠宁,张俊.异构数据集成技术的发展和现状.计算机工程与应用,2002;11:112—114

[2]葛科,周伯生,周建国.基于元模型的软件开发与管理集成研究.计算机工程与应用,2001;12:27—30

[3]王守信.基于模型驱动的数据映射技术研究.大庆:大庆石油学院,2005

[4]文必龙,王守信,文义红,等.一个基于XML Schema的数据交换模型.大庆石油学院学报,2004;2:65—68

交换数据模型论文篇8

作为经济学的基本理论, “理性经济人”假设一直是经济学逻辑发展的脉络之一。以姜启源“实物交换模型”等为代表的经济学经典理论曾给出过在“理性经济人”这一假设下, 以效率最大化为前提追求最佳公平的实物交换模型。然而, 经济行为中的个体真的在任何情况下都视追求自身效用最大化为第一准则吗?行为博弈论对此的研究却给出了截然相反的结论。在对来自完全不同背景的十五个样本进行时间长达十余年的跟踪实验后, 来自桑塔菲研究所的Boyd等人指出, 对于“最后通牒”博弈而言, 低于20%的要约有40%-60%的概率被拒绝。然而从理性假设出发的纳什均衡认为, 1%-20%的要约不应该被拒绝。

事实上, 个体在参与经济活动的时候往往是作为一个“理智人”而不仅仅是“理性人”的角色出现的, 在效用小于一定阈值时, 人们通常更倾向于将公平因素赋予较大权重而作为第一准则, 追求的是在公平前提下的效率最大化。本文正是基于这样一种考虑, 以shapley值法为依据研究了一般n人实物交换的情形, 构建了基于shapley值的一般n人实物交换经济模型, 并举例通过Matlab编制程序进行了求解, 以期能够作为原有经典实物交换经济理论的一个有益补充。

二、一般模型构建

Shapley值法是shapley提出的一种解决n人合作对策问题的一般算法, 具体的计算公式如下:

设集合I={1, 2, …, n}, 如果对于I的任一子集 (表示n个人集合中的任一组合) 都对应着一个实值函数v (s) , 满足:

称[I, v]为n人合作对策, v称为对策的特征函数。

用xi表示I中i成员从合作的最大效益v (I) 中应得到的一份收入。在合作I的基础下, 合作对策的分配用x= (x1, x2, …, xn) 表示。显然, 该合作成功必须满足如下条件:

(v) 表示在合作I下第i成员所得的分配, 则合作I下的各个伙伴所得利益分配的Shapley值为

其中, Si是集合I中包含成员i的所有子集, |s|是子集s中的元素个数, w (|s|) 是加权因子。v (s) 为子集s的效益, v (si) 是子集s中除去企业i后可取得的效益。

在某种程度上, 我们也可以将n人的实物交换过程视作一个合作博弈, 每个人通过交换所得到的效用度量了这个博弈的收益, 即式中任一特征函数皆对应于某一效用函数。又因为每个人效用的变化是通过改变自身所拥有的资源的配置来实现的, 因此这样一种合作的收益也可以通过效用函数值的改变来获得。如此, 我们所要求的在公平交换前提下, 如何使得总效用水平达到最高的问题便可转化成一般的在等式约束条件下极值问题来得到解决。

设有n人进行m种实物的交换, 假设每个人的初始拥有量为

其中, f为x的函数。另外, 设他们交换的改变量为

下界

-ni

同时由于交换并没有改变实物总数量,

在这里, 我们记

其中Ai为常数, 为n人合作交换完成后的总效用。由于特征函数

因此

式中i= (1, 2, 3…n) .进一步的, 消去, 可以得到如下约束条件

目标函数

所以一般地, 在公平条件下的效率最大化实物交换均衡点可转化为如下带约束条件的极值问题:

构造拉格朗日函数

则原目标函数在X=X*取得极值的必要条件为

代入求解△i, 验证是否满足并检验其是否在可行域内, 若不在可行域内, 则原问题无可行解, 即不满足交换条件, 交换无法达成。

三、线性条件下的模型求解示例与matlab实现

一般来说, 作为效用函数必须满足单调递增、边际效用递减两个条件, 然而更加普遍的现实情况是, 在一定范围内, 边际效用的递减效应往往不会表现的十分明显, 即边际效用MU在一定范围内可视为与实物拥有量x无关的一个常数。因此以下我们放宽边际效用递减的假设, 以线性效用函数为例简化模型。

数据安全交换平台的研究篇9

一、新型数据安全交换系统的设计思路

该新型数据安全交换系统按以下思路进行设计:网闸负责在网络层进行内外网之间的安全隔离和访问控制;内外网数据交换平台负责在应用层代理内外网之间的数据交换以及数据交换的访问控制与安全审计。网闸、内外网数据交换平台可综合采用并行处理、多机热备和负载均衡等技术, 以加强数据交换的吞吐能力, 保证数据交换的可靠性、可用性和扩展性, 满足当前和未来业务发展对数据交换性能的需求。

二、新型数据安全交换平台的架构设计

1.内外网数据交换平台通过专门的应用软件实现数据交换, 可运行在各种开放的操作系统 (如IBM RISC/6000或其他使用Unix操作系统) 的服务器上。它集成了大型数据库系统, 采用消息队列中间件作为主要通信方式 (BEA Message Q, IBM MQ) 。

2.交换平台采用J2EE架构, 提供统一的报文、二进制文件、XML报文、邮件等多种通模块之间具有非常弱的偶合性, 在功能、性能和安全等方面均具有良好的灵活性和扩展性, 能够不断适应信息化发展过程中新的业务及其安全需求。交换平台由业务接入模块、交换引擎模块、通信适配模块、监控管理模块和安全认证模块组成。

3.内网和外网数据交换平台。它为网闸提供单一私有通信协议, 并为内外网交互的系统提供统一模式的规范接口, 而且分别在应用层负责本端数据外流的合法性检查, 即在数据流出内网和外网安全域之前, 进行数据外流的合法性检查, 在体系结构上保证了数据交换的安全。

4.内外网数据交换平台基于可靠的消息传递机制, 实现报文在各个应用系统之间可配置的格式转换, 交换路由和事务完整性保证功能。在提供用户可配置方式使用交换平台的同时, 也允许用户扩展交换平台, 实现客户化的工作。整个交换平台架构从下到上分为四层:

(1) 网络通信协议层, 提供系统最底层的通信保证。

(2) 消息中间件层, 提供系统可靠的消息传递机制。

(3) 交换中间件层, 提供格式转换、交换路由、事务完整性保证等功能。

(4) 客户化层, 提供用户扩展接口, 实现用户客户化要求。

5.交换平台应用系统可以分为三层体系, 即平台核心层、前置与通信层和外部应用层。

平台核心层是指交换平台所提供的核心服务和核心API;前置通信层是指与外部应用进行通信, 并调用核心服务或者核心API完成交换转发的中间层;外部应用层是指独立于交换平台的客户应用系统, 客户通过定义交换平台对这些外部应用调用的次序, 实现报文在这些应用之间的流转, 从而实现指定的交换流程。本层的应用完全由客户提供, 并通过前置通信层接入交换平台。

交换平台三层之间的关系是平台核心层提供核心服务和核心API以支持前置通信层的开发, 前置通信层调用核心服务和核心API实现交换在各外部应用之间的转发, 并负责和外部应用层之间的通信;外部应用层提供真正实现交换的客户应用系统, 并通过前置通信层实现交换报文的转发。外部应用层通过前置通信层接入核心, 并不与平台核心层直接发生连接。

三、新型数据安全交换平台的数据交换机制

本系统的数据交换机制是基于消息总线的交换, 能够实现报文、数据文件、图像、数据库等各种类型实时、批量交换。内外网数据交换平台由消息队列和核心交换处理两大部分构成。核心交换处理可将各个系统有机结合在一起。同时交换平台之间能够相互连接, 实现交换平台的互联。

参考文献

[1]杨剑, 唐慧佳, 孙林夫, 王胜银.基于XML的异构数据交换系统的研究与实现[J].计算机工程.2009 (19)

【交换数据模型论文】推荐阅读：

数据交换与交换平台05-23

数据交换传输10-20

数据交换协议05-11

数据交换功能06-07

数据交换平台08-08

数据交换技术08-28

数据交换中心09-06