多源数据

多源数据（共9篇）

多源数据 篇1

0 引言

随着社会经济的快速发展以及现代科学技术的不断进步,遥感技术、地理信息系统和卫星定位技术因其数据检测精度高、更新速度快等优势,被广泛应用于现代工业、建筑工程、城市规划等领域。由于不同部门涉及的地理信息以及相关数据种类不同,其数据信息处理的方式亦不同。比如卫星图像、海图以及其他各种类型的地图采集的数据几何位置不同、数据模型标准不同,这就需要探索一项可以跨越时间领域和空间领域的数据融合技术,结合来自不同空间数据模型处理的数据的差异性,达到加快信息更新速度和提高信息处理效率的目的[1]。

1 空间数据融合的概念

数据融合的概念产生于20世纪70年代,但是直接促使其发展是进入20世纪90年代以后。就数据融合的概念界定还没有达成统一的看法。数据融合技术最初被应用于军事,为军事活动所服务。但是随着社会经济的快速发展以及现代科学技术的进步,数据融合技术逐渐被广泛运用于农业、工业、地质分析、城市规划等各个领域。

数据融合作为一种数据综合和处理技术,是建立在各种传统学科和技术基础之上,是一种集成技术[2]。从广义角度看,数据融合技术包括通信技术、决策论、计算机科学、神经网络等。由此可见,数据融合涵盖的内容较多,无法对其进行一个统一的定义。一些权威部门是这样进行界定的:美国国防部认为数据融合的过程就是各种学科、各种技术相互融合的过程,从而实现数据技术的现代化、自动化。在相互融合过程中,数据融合技术可以对各个领域的信息进行有效处理、检测。Mandolins则认为数据融合只是作为一门简单的技术,作为处理庞大数据的工具,从而达到提高数据处理的效率这一目的。有些部门则把数据融合称之为信息融合。信息融合是指对以计算机作为主要工具,将来自传感器的探测信息按照一定的时序和准则进行分析与处理。这是一种对多种信息进行不断融合、协调的过程。数据融合技术的实质就是对各种信息进行综合处理。Wald在1998年采用了一个更加普遍的定义,即数据融合是形式上的框架。在框架下,要想在规定时间内将各种数据信息进行综合处理,就需要借助现代化、自动化的工具,采用科学有效的融合方式,实现提升数据融合效率和数据处理结果的精确性[3,4]。这一界定的优点在于:一是它强调了数据融合技术不再是一个简单的工具或者处理信息的方法,而是一个框架结构。二是这个界定注重强调数据融合效率和结果的精确性。

结合空间数据的特点,可以认为空间数据融合实际上是指:将不同来源的数据信息,对其进行归类处理。根据数据的类型选择合适的处理方式,进而达到改善物体几何精度这一效果,促使提高数据质量的实现。

2 多源空间数据融合技术

2.1 数据融合的层次

空间数据的来源不同,其融合方式不同。这就决定了融合层次的多样性和层次性。融合层次主要包括象素融合、决策融合和特征融合三层次。象素融合可以采取图像分析以及多源图象符合技术实现数据的融合。特征融合可以直接反映出数据的综合特征,为决策者提供科学化、专业化的决策信息。决策融合是一种相对高级的融合方式,它不仅可以帮助决策者提供完整的图象信息,还可以对来源不同的数据进行识别、分类和检测[5,6]。三者之间的差异性如表1所示。

2.2 矢量数据融合技术

矢量数据融合是采用地理数据转换方法,构建科学化、专业化的数据模型,在这个模型中对来源不同的数据进行分类分级,实现几何位置的融合,达到丰富数据属性的目的。换而言之,这是一种去伪求真、去粗求精的数据处理过程。

矢量数据融合的最终目的是消除以下差异:

第一,数据模型的构建是将不同来源的数据进行综合处理、几何位置的融合。但是采用不同的融合方法其产生的要素属性会存在差异性。

第二,来自不同空间数据模型处理的数据会存在描述上的差异。

第三,来自不同空间数据模型处理的数据会存在几何位置上的差异。

矢量数据融合的研究内容主要包括:融合规则、数据模型的构建、分类不同来源的空间数据、融合方法分析。

首先,融合规定的制定。分析数据和处理数据的前提条件是提取数据,提取数据之后才可以从模型中得出要素。比如行政区划可以从比例为1 250 000的图中提取,道路可以从比例为110 000的图中提取。对于相同比例尺的地形图和海图而言,需要对沿海地带的陆、海部分进行表示。地形图和海图的结合部是岸线和滩涂。需要在模型中注重表示这两种图。但是由于这两种图获取的数据几何位置不同,在不同空间数据模型处理中会存在很大的差异性。相对而言,地形图要更加详细。因此在融合数据时,注重提取地形图数据。

其次,制定具有层次化的矛盾处理原则。可以参考精度高精度航片和卫片,从而提高几何位置的精确性。在没有参考资料可以参考时,可以制定移动原则。属性数据可以通过网上查找方式提取。

2.3 栅格数据融合技术

栅格数据融合的表现形式有:地图图象、遥感影像数据。其融合阶段可以分为以下几个阶段:

第一阶段,图象融合。主要是针对图象通道,利用算术方法实现。比如色彩变换法(主要针对象素级融合)、调制法、统计法、代数法、分辨法等。这些方法较为简单,操作起来较为容易,因此被广泛运用于工业、制造业等各个领域。

第二阶段,20世纪80年代,模型的构建。塔式算法的基本思路是:分解原始图像—融合图像—通过塔式反变换获得融合图像。

第三阶段,90年代以后,小波变换应用到图像融合领域。在这一时期,塔式算法逐渐被小波多尺度分析法代替。多尺度分析法是一种介于函数和频率之间的数据融合结果的表达方式。无论是在时间领域还是在空间领域,都具有良好的局部化性质。能够同时将不同数据层分解成多个独立的空间信号,同时又不与时间部分重叠,又可以帮助决策者及时找到原信息的几何位置,从而找到正交基。

3 多元空间数据融合应用

3.1 遥感图形

遥感图像之间的融合包括传感器数据融合、不同时相遥感数据融合。来源于不同遥感器的数据特点不同,其几何位置不同,这样借助数据的多样性和差异性提高图像分析的分辨率。比如将TM与SPOT遥感数据进行有机结合,不仅可以提高图像信息的处理效率,还可以促使光谱信息的多元化发展。而不同时相的遥感数据融合对于提高工程实时监控效率具有重要的推动作用。比如洪水检测、气象检测等等。

3.2 地图图像

地图图像具有精度高、更新速度快等特点,但是也存在更新费用高的弊端。专题地图是指在一个模型中构建一个以“地图”为主体的地图内容。比如有关于城市旅游的“专题地图”、城市规划“专题地图”等。但是专题地图相较于地形地图而言,其精度不高。这就需要将两者进行有机融合,达到提高数据精确度和降低地形图更新费用的目的。

3.3 遥感图像与地形图像

遥感技术可以快速在不同数据模型中提取需要的数据信息,其数据检测的准确度高、定位较为准确。地形图虽然精度高,但是数据更新的费用较多、数据更新的速度快。将遥感图像与地形图象进行有机结合,可以有效避免两者的缺陷,实现优势互补。可以利用同一地区的地形图将遥感图像纠正为正射影像,再用以更新地形图。

4 结语

多源数据融合技术的发展与进步需要以现代科学技术、数据标准化作为基石,以计算机作为数据处理的主要工具,达到逐渐消除来自不同空间数据模型处理的数据差异性目的。当然,数据共享的标准化推广、数据模型的构建、地形图像与遥感图像之间的有机融合,都需要数据操作技术的支撑,将数据操作技术的原理和方法引进多源空间数据融合技术领域,进一步推动我国数据融合技术的发展与进步。所以,对于相关工作者而言,必须要认清这些技术的关键所在,在日常的工作中加强研究,推动多源数据融合发展。

摘要：文章主要以空间数据融合概念作为出发点,分析了多源空间数据融合技术,并探讨了空间数据融合技术的具体应用,以期为降低处理数据成本、提高数据处理效率提供一些参考和意见。

关键词：多源数据,空间数据,融合技术

参考文献

[1]刁明光,薛涛,李建存,等.基于地质信息元数据标准的多源空间数据管理系统[J].国土资源遥感,2013(1):165-170.

[2]朱蕊,邱茂,胡英男.面向空间数据更新的多源数据融合关键技术研究[J].测绘工程,2013(4):22-25.

[3]陈换新,孙群,肖计划.空间数据融合技术在空间数据生产及更新中的应用[J].武汉大学学报(信息科学版),2014(1):117-122.

[4]朱靖,栾学晨.面向导航电子地图制作的多源地理空间数据融合技术[J].地理空间信息,2014(4):147-149.

[5]缪彩练,南建设,郭娜.基于多源数据融合技术的情报侦察系统效能评估体系[J].电讯技术,2012(4):429-434.

[6]卢克,吴建玉.基于多源数据融合的统计数据空间网格化模型研究[J].浙江水利水电专科学校学报,2011(3):55-58.

多源数据 篇2

一、多数据格式是多源空间数据集成的瓶颈

1、空间数据多源性的产生和表现

空间数据多源性的产生和表现主要可以概括为以下几个层次：

（1）多语义性

地理信息指的是地理系统中各种信息，由于地理系统的研究对象的多种类特点决定了地理信息的多语义性。对于同一个地理信息单元（feature），在现实世界中其几何特征是一致的，但是却对应着多种语义，如地理位置、海拔高度、气候、地貌、土壤等自然地理特征；同时也包括经济社会信息，如行政区界限、人口、产量等。一个GIS研究的决不会是一个孤立的地理语义，但不同系统解决问题的侧重点也有所不同，因而会存在语义分异问题。

（2）多时空性和多尺度

GIS数据具有很强的时空特性。一个GIS系统中的数据源既有同一时间不同空间的数据系列；也有同一空间不同时间序列的数据。不仅如此，GIS会根据系统需要而采用不同尺度对地理空间进行表达，不同的观察尺度具有不同的比例尺和不同的精度。GIS数据集成包括不同时空和不同尺度数据源的集成。

（3）获取手段多源性

获取地理空间的数据的方法有多种多样，包括来自现有系统、图表、遥感手段、GPS手段、统计调查、实地勘测等。这些不同手段获得的数据其存储格式及提取和处理手段都各不相同。

（4）存储格式多源性

GIS数据不仅表达空间实体（真实体或者虚拟实体）的位置和几何形状，同时也记录空间实体对应的属性，这就决定了GIS数据源包含有图形数据（又称空间数据）和属性数据两部分。图形数据又可以分为栅格格式和矢量格式两类。传统的GIS一般将属性数据放在关系数据库中，而将图形数据存放在专门的图形文件中。不同的GIS软件采取不同的文件存储格式。

2、多源空间数据集成的迫切性

随着Internet网络的飞速发展和普及，信息共享已经成为一种必然的要求。地理信息也不例外，随着信息技术以及GIS自身的发展，GIS已经从纯粹地学技术系统的圈子跳了出来，正和IT行业完全融合，人们对空间信息的需求也越来越多。GIS要进一步发展，必须完全融入大型MIS（管理信息系统）中。1998年美国副总统戈尔提出数字地球的概念，更是将地理信息技术推到了最前沿。然而地理信息要真正实现共享，必须解决地理信息数据多格式、多数据库集成等瓶颈问题。随着技术发展，GIS已经逐步走向完全以纯关系数据存储和管理空间数据的发展道路，这为GIS完全和MIS无缝集成迈出了重要的一步。但因为GIS处理的数据对象是空间对象，有很强的时空特性，获取数据的手段也复杂多样，这就形成多种格式的原始数据，再加上GIS应用系统很长一段时间处于以具体项目为中心孤立发展状态中，很多GIS软件都有自己的数据格式，这使得GIS的数据共享问题变得尤为突出。

空间数据作为数据类型的一种，同普通数据一样需要走过从分散到统一的过程。在计算机的发展过程中，先是数据去适应系统，每一个系统都为倾向于拥有自己的数据格式；随着数据量的增多，数据库系统应运而生；随着时代的发展，信息共享的需求越来越多，不同数据库之间的数据交换成了瓶颈；SQL（标准结构化查询语言）以及ODBC的出现为这一难题提供了比较满意的解决方案。但是空间数据如何引进这种思想，或者说将空间数据也纳进标准组织和标准协议进行规范和管理，从而使空间数据共享成为现实。

二、GIS多源数据集成模式比较

由于地理信息系统的图形数据格式各异，给信息共享带来了极大的不便，解决多格式数据源集成一直是近年来GIS应用系统开发中需要解决的重要问题。目前，实现多源数据集成的方式大致有三种，即：数据格式转换模式、数据互操作模式、直接数据访问模式。、数据格式转换模式

格式转换模式是传统GIS 数据集成方法（图1）。在这种模式下，其他数据格式经专门的数据转换程序进行格式转换后，复制到当前系统中的数据库或文件中。这是目前GIS系统数据集成的主要办法。目前得到公认的几种重要的空间数据格式有：ESRI公司的Arc/Info Coverage、ArcShape Files、E00格式；AutoDesk的DXF格式和DWG格式；MapInfo的MIF格式；Intergraph的dgn格式等等。数据转换模式主要存在的问题是：

（1）由于缺乏对空间对象统一的描述方法，从而使得不同数据格式描述空间对象时采用的数据模型不同，因而转换后不能完全准确表达源数据的信息。

（2）这种模式需要将数据统一起来，违背了数据分布和独立性的原则；如果数据来源是多个代理或企业单位，这种方法需要所有权的转让等问题。美国国家空间数据协会（NSDI）确定制定了统一的空间数据格式规范SDTS（Spatial Data Transformation Standard），包括几何坐标、投影、拓扑关系、属性数据、数据字典，也包括栅格格式和矢量格式等不同的空间数据格式的转换标准。许多软件利用SDTS提供了标准的空间数据交换格式。目前，ESRI在ARC/INFO中提供了SDTSIMPORT以及SDTSEXPORT模块，Intergraph公司在MGE产品系列中也支持SDTS矢量格式。SDTS在一定程度上解决了不同数据格式之间缺乏统一的空间对象描述基础的问题。但SDTS目前还很不完善，还不能完全概括空间对象的不同描述方法，并且还不能统一为各个层次以及从不同应用领域为空间数据转换提供统一的标准；并且SDTS没有为数据的集中和分布式处理提供解决方案，所有的数据仍需要经过格式转换复制到系统中，不能自动同步更新。、数据互操作模式

数据互操作模式是OpenGIS consortium(OGC)制定的规范。OGC是为了发展开放式地理数据系统、研究地学空间信息标准化以及处理方法的一个非盈利组织。GIS互操作是指在异构数据库和分布计算的情况下，GIS用户在相互理解的基础上，能透明地获取所需的信息。OGC为数据互操作制定了统一的规范，从而使得一个系统同时支持不同的空间数据格式成为可能。根据OGC颁布的规范，可以把提供数据源的软件称为数据服务器（Data Servers），把使用数据的软件称为数据客户（Data Clients），数据客户使用某种数据的过程就是发出数据请求，由数据服务器提供服务的过程，其最终目的是使数据客户能读取任意数据服务器提供的空间数据。OGC规范基于OMG的CORBA、Microsoft的OLE/COM以及SQL等，为实现不同平台间服务器和客户端之间数据请求和服务提供了统一的协议。OGC规范正得到OMG和ISO的承认，从而逐渐成为一种国际标准，将被越来越多的GIS软件以及研究者所接受和采纳。目前，还没有商业化GIS软件完全支持这一规范。数据互操作为多源数据集成提供了崭新的思路和规范。它将GIS带入了开放式的时代，从而为空间数据集中式管理和分布存储与共享提供了操作的依据。OGC标准将计算机软件领域的非空间数据处理标准成功地应用到空间数据上。但是OGC标准更多考虑到采用了OpenGIS协议的空间数据服务软件和空间数据客户软件，对于那些历史存在的大量非OpenGIS标准的空间数据格式的处理办法还缺乏标准的规范。而从目前来看，非OpenGIS标准的空间数据格式仍然占据已有数据的主体。

数据互操作规范为多源数据集成带来了新的模式，但这一模式在应用中存在一定局限性：首先，为真正实现各种格式数据之间的互操作，需要每个每种格式的宿主软件都按照着统一的规范实现数据访问接口，在一定时期内还不现实；其次，一个软

件访问其他软件的数据格式时是通过数据服务器实现的，这个数据服务器实际上就是被访问数据格式的宿主软件，也就是说，用户必须同时拥有这两个GIS软件，并且同时运行，才能完成数据互操作过程。

3、直接数据访问模式

顾名思义，直接数据访问指在一个GIS软件中实现对其他软件数据格式的直接访问，用户可以使用单个GIS软件存取多种数据格式。直接数据访问不仅避免了繁的数据转换，而且在一个GIS软件中访问某种软件的数据格式不要求用户拥有该数据格式的宿主软件，更不需要该软件运行。直接数据访问提供了一种更为经济实用的多源数据集成模式。

目前使用直接数据访问模式实现多源数据集成的GIS软件主要有两个，即： Intergraph 推出的GeoMedia系列软件和中国科学院地理信息产业发展中心研制的SuperMap。GeoMedia实现了对大多数GIS/CAD软件数据格式的直接访问，包括：MGE、Arc/Info、Frame、Oracle Spatial、SQL Server、Access MDB等(图2)。SuperMap 2.0则提供了存取SQL Server、Oracle Spatial、ESRI SDE、Access MDB、SuperMap SDB文件等的能力，在以后的版本中将逐步支持对Arc/Info Coverage、AutoCAD DWG、MicroStation DGN、ArcView等数据格式的直接访问。

三、多源空间数据格式集成的展望、文件方式和数据库方式

传统的空间数据往往采用文件方式，随着技术的进步，逐渐将属性数据移植到数据库平台上；随着技术发展，图形数据也可以和属性数据一起存放在关系数据库中。文件方式对数据管理安全性较差，存在着属性和图形分开管理的问题，不适合网络共享发展的需要；数据库方式则实现了空间数据和属性数据一体化存储和管理，便于开发两层、三层甚至多层网络应用系统。从发展趋势来看，纯关系数据库方案取代文件方案是发展的必然趋势，这也是IT发展的主流趋势。随着对信息量需求的增大以及信息需求种类增多，数据仓库的建立，将是GIS文件系统向数据库系统发展的主流。、OpenGIS、SDTS与DLG/F

OpenGIS是目前的主流标准，但SDTS并不会停滞不前，相反笔者认为SDTS将会与OpenGIS走向一体化。SDTS 可以为OpenGIS提供一个转换和存取空间数据的标准，该标准是不依赖任何一种特定GIS软件格式的，该标准中利用头文件描述格式的方式使得数据服务者不必专门提供格式说明，而数据客户也不必专门学习该格式，只需读取SDTS头文件就可获得数据服务者提供的数据格式。笔者认为利用SDTS做数据标准，利用OGC作数据互操作的标准（例如空间SQL标准），简单地说就是如果说SDTS提供了数据格式的头文件，而OGC标准则提供了读写这个头文件的标准方法。如果再采用数据库作后台，利用空间数据引擎，空间数据引擎按照SDTS存取空间数据，按照OGC标准对客户软件提供操作接口，这将是空间数据集成的理想解决方案。USGS还提供了一种称作DLG/F的标准，该标准设计了空间数据在数据库中的动态存储结构，利用该结构可以将拓扑关系动态记录下来，同时可以让用户添加自定义的空间数据类型。怎样利用DLG/F完善SDTS和OpenGIS也将是OpenGIS以及SDTS发展的方向。、统一空间实体编码

多源空间数据据格式集成还有一个很重要的方面就是如何处理不同数据库对空间实体采用的编码方式不同的问题。从理论上来说，一个系统对同一空间实体的编码应该是唯一的，实际上由于不同领域从不同视角对同一空间实体编码并不一样，甚至会出现不同空间实体具有相同编码的情况，这些编码放在同一系统中，就会出现空间实体标识的严重问题。从目前来看，OpenGIS和SDTS都是基于地理特征（Feature）定义空间实体的，但都还不能真正提供一个通用的空间实体编码体系。

参考文献

１.On spatial database integration, Thomas Devogele ,Geographical Information Science, 1998,12(4)

２.Issues and prospects for the next generation of the spatial data transfer standard(SDTS), DAVID ARCTUR, DAVID HAIR,GEORGE TIMSON, etc, Geographical Information Science, 1998,12(4)

３.Towards integrated geographic information processing，DAVID J.ABEL, BENG CHIN COOI, KIAN-LEE TAN etc, Geographical Information Science, 1998,12(4)

４.A framework for the integration of geographical information systems and modelbase management , DAVID A.BENNETT, Geographical Information Science, 1997,11(4)

调度自动化系统多源数据的实现 篇3

关键词：电力系统,自动化,数据

我局调度自动化系统现有两个数据源—RTU采集数据、宁夏电力调度数据网采集数据。调度SCADA (实时数据采集监控) 系统采用的是RTU采集数据, 为了克服RTU专用通道通信中断引起的实时数据中断和相关计算数据错误, 最大限度的保证调度数据的准确性和实时性, 我们采用现有的调度数据网络资源, 增加一路网络通道, 从而实现调度自动化系统双通道、多源数据的应用。

1 系统设计思路

1.1 数据运行模式分析

电网调度自动化系统分为子站系统、远程通信通道、主站系统, 整个系统负责采集全网实时数据、监视电网运行状态。调度自动化系统的实时数据源只有一个, 即RTU现场采集数据, 调度员通过监控这些实时数据及其派生的计算数据进行电网调度。我局所辖12座220k V、26座110k V变电站都各自对应独立的通信通道, 当通信通道中断时, 实时数据就会长时间中断或出错, 从而导致相关的计算数据如负荷总加、出力总加、联络线总加等出错或停止变化, 给调度工作带来不便。专用通信通道数据运行模式如图1所示:

1.2 设计思路

分析目前实际情况可知, 由于通道质量的问题, 有时出现无故中断的现象, 造成实时数据不能及时上送, 影响调度员对电网的实时监控。随着宁夏电力调度数据网的建设, 使得调度自动化系统的数据源变得较为丰富。

宁夏电力调度数据网是专门为电力调度生产服务的, 网络承载业务主要是数据业务。目前, 石嘴山局的8座220k V变电站已接入宁夏电力调度数据网, 所以, 我们决定充分利用宁夏电力调度数据网的采集数据来弥补220k V变电站RTU通信通道中断引起的调度数据损失, 尽可能保证数据的准确性和实时性, 从而最大限度的减少数据损失对电网调度的实时监控造成的影响。同一变电站的RTU专用通信通道和调度数据网的网络通道互为备用, 如果有两者中有一个出现故障时, 另外一路自动切换为主通道。专用通信通道采集的数据和通过调度数据网网络通道采集的数据都能保证上送数据的及时性与准确性。

2 技术问题及解决方案

2.1 调度数据网采集的数据来源

宁夏电力调度数据网已经建立, 且我局所有220k V变电站都已接入, 我们利用现有的调度数据网资源, 增加一路网络通道且无需增加传输介质及占用硬件资源, 由调度数据网网络通道传输的数据可弥补当RTU专用通信通道中断时损失的数据。接入两种通道后数据运行模式如图2所示:

2.2 解决方法

(1) 在我们解决多源数据之前我们首先确定数据网的硬件运行正常, 软件设置正确。

(2) 在调度自动化系统主站数据库中设置相应且正确的数据网通信路径、IP地址、端口号、通信规约 (网络通信协议IEC104规约) 及建立正确的遥测、遥信信息表, 为了保证多源数据信息表的正确性, 我们采取将原有RTU采集的遥信、遥测信息表复制至多源数据信息表, 并进行必要的修改, 如工程系数等。

(3) 在厂站端也进行了与主站相应的设置。

3 使用过程及效果

3.1 对220k V常胜变进行多源数据接入试验。

(1) 在数据库中加入相关的表、地址、端口, 并进行相关的设置。

(2) 厂站端的数据库也进行必要的设置, 并且保证和主站的保持一致。

(3) 经过调试, 通过调度数据网上送的报文正确, 没有误码, 显示的上送数据亦正确。

(4) 为了验证调度数据网上送数据的及时性和正确性, 我们采取手动停止RTU专用通信通道, 观察到规约为IEC104的网络通道自动切换为主通道运行, 并且信息上送及时正确。

(5) 我们又手动停止配置规约为IEC104的网络通道, 观察到RTU专用通信通道自动切换为主通道运行, 并且信息上送及时正确。

3.2 预期效果测试

为了更进一步测试多源数据的实现, 我们对潮湖变进行了与常胜变一样的多源数据接入试验, 均达到了预期的目标。

4 结束语

试验结束以后, 及时投入了使用。实践证明, 新增一路网络通道, 与原有专用通信通道互为备用, 减轻了通信通道中断时的数据损失, 提高了调度数据的可用性, 为石嘴山电网调度打下了坚实的基础, 为地区电网稳定、可靠、经济运行做出了一定的贡献。

参考文献

[1]DF8003维护手册[Z].烟台东方电子股份有限公司, 2010 (03) .

多源数据 篇4

在列举了各种多源数据(资料)的基础之上,介绍了多源数据(资料)所需进行的预处理及其在地理空间信息提取及更新中的具体应用.针对不同来源的`数据(资料)探讨了可采用的半自动提取及更新技术,以此提高地理空间信息提取的效率及质量.

作 者：陈换新 严薇 刘晨帆 CHEN Huan-xin YAN Wei LIU Chen-fan  作者单位：陈换新,CHEN Huan-xin(信息工程大学测绘学院,河南,郑州,450052;中国人民解放军96633部队,北京,100096)

严薇,刘晨帆,YAN Wei,LIU Chen-fan(信息工程大学测绘学院,河南,郑州,450052)

刊 名：测绘与空间地理信息 英文刊名：GEOMATICS & SPATIAL INFORMATION TECHNOLOGY 年，卷(期)：2009 32(5) 分类号：P208 关键词：多源数据   预处理   提取   更新   综合利用  

★ 基于WebGIS的水利测绘数据空间信息发布

多源数据 篇5

1 多源空间数据集成模式

目前对于不同格式的空间数据集成主要采取以下三种模式:

1.1 数据格式转换模式

数据格式转换模式是指通过某种特定的转换程序将各种异构数据转换成一种数据格式,并将转换后的数据复制到当前系统中。但这种模式也存在缺点,因为它首先需要将异构数据统一起来,这就使得数据间缺少了独立性,而且因为没有统一的描述方法,容易导致异构数据转换后空间数据的信息丢失[1],这样就会给以后使用这些数据构成隐患;另外由于一般空间数据量比较巨大,所以要集中这样的海量数据就显得非常困难。

1.2 数据互操作模式

数据互操作是指空间数据能够在异构数据库和分布计算的情况下交换、理解,不同GIS之间可以直接交互,透明地访问需要的信息[2]。该模式是由OGC(OpenGIS Consortium)制定的规范。数据互操作为多源数据共享与集成提供了崭新的思路,但是它更多地采用了OpenGIS协议的空间数据服务软件和客户软件,对于其它的大量非OpenGIS标准的空间数据格式的处理缺少统一的规范[3]。

1.3 直接数据访问模式

直接数据访问模式是指在一个空间信息软件中直接访问其他软件的数据格式,并且用户可以在该软件中读写多种数据格式。这种模式的优点是不但没有了复杂的格式转换,而且因为访问是发生在一个空间信息软件中,所以就不需要用户拥有主机软件,更不需要运行该软件。这种模式无疑更省人力和财力,但是实现起来对于技术要求相对高一些。

2 GML数据集成研究现状

GML(Geography Markup Language),是开放式地理信息系统协会(OGC)于1999年提出的,在日趋发展的网络环境下,它的提出正是为了成为其中地理数据的一种通用接口,它符合空间数据集成模式中的第二种即数据互操作模式[4]。使用GML对多元异构地理空间数据集成,可以很好的避免以往网络语言描述复杂的空间信息的巨大缺点,因为它对地理空间数据的描述拥有统一的数据格式,从而能够更轻松的便于数据集成。

在国内,对于GML日新月异的发展,也早就已经引起了包括复旦大学、同济大学、武汉大学等众多知名高校学者的重视。武汉大学和国家基础地理信息中心已经开始制定GML国家标准。周水庚课题组早在2003年就提出了一种新颖的方法,用于将GML文档自动转换到SVG文档,论文发表在ACM-GIS 2003[5]。从跨入21世纪以来,关佶红课题组就研究了基于GML和SVG的空间信息集成和发布、GML模式匹配、GML存储机制和查询处理以及压缩算法等[6,7,8,9]。

同时国内外众多学者对基于GML的空间数据集成也进行了大量的研究。Rancourt et al.(2001)将GML与先前所定义的空间标准进行比较,得出GML能有效的满足空间数据交换标准的要求的结论,并预测GML将在行业应用中占据主导地位[10]。旷建中等(2005)采用设计模式方法和GML技术设计多源空间数据集成模型,将数据源通过转换函数生成的GML文档,利用合成器合成GML文档,同时保存到GML数据库,实现多个系统的数据集成,为实现多源空间数据集成提供了一个切实可行的方案[11]。邬群勇等(2005)在分析GML数据格式和几何特征基础上,提出一个基于GML的空间数据动态集成框架,探讨了数据动态集成过程,并以福建省漳浦县绥安镇的林业数据为样本,进行了动态集成应用示范[12]。江卫东等(2007)描述了一个基于GML数据互操作模式的多源异构空间数据集成模型,并分析了该模型的运行机制和关键技术[13],刘占伟等(2007)提出了一个基于GML的多源异构空间数据集成模型,实现了空间数据向GML文档的转换,使用网络服务器技术,在.NET平台上设计实现了该系统,从而实现了基于GML的空间数据集成,而且通过SVG技术实现了数据可视化[14]。

但是,目前的研究工作还远不够系统和深入,实际集成应用方案较少,所提出的一些技术和算法还不能满足海量GML空间数据处理和管理的实际应用需要。因此,还需要进行进一步的研究,探索新的技术方案,开发更有效的算法。

3 基于GML的空间数据集成框架

本文借鉴已有的研究成果提出一种基于GML的多源空间数据集成逻辑框架图(如图1),并且通过使用GML技术来实现异构空间数据的集成与互操作。然而多源空间数据因为来自不同的服务器,每份数据可能拥有各自的数据类型。

1)空间数据建立的输入数据结构由于各自的物理结构不同,而且它们的储存方式也不一样,根据这样的多样性数据结构建立其应用模式。

2)基于GML的输出数据结构的语法、结构和编码模式建立模式转换规则,该规则规定了输入异构的空间数据结构应用模式如何转换成GML Schema。转换模块必须根据模式转换规则对实例模型进行转换,建立基于输出数据结构Schema的GML数据文档,并具有对数据进行编码和解码的能力。

3)虽然来自不同数据源的空间数据都已经转换成了GML数据文档,但不同用户的应用模式间可能存在各种语义或结构上的异构,在空间信息集成中造成歧义和困难。很多情况下,有相同概念的模式在结构和命名上都存在着差异;有些模式有相似的数据模型但包含不同的内容,或是用相同的词表达不同的意义。这就需要进行模式匹配了,它的功能是通过两个模式的相关元素间的匹配关系,来找出这两个模式的元素间的映射关系和集成后的模式。

4 GML模式匹配

模式匹配的目的是为了达到数据集成,而数据集成又是以模式匹配为前提。模式匹配就是指通过一定的算法,把两个模式的所有相关元素进行一一映射,经过一定的分析和对彼此元素的相似度来最终确定模式的元素间的映射关系。

GML模式匹配的基本过程是首先对文档进行数据分析,因为GML文件是遵守XML语法的,可以使用基于树的XML解析器;然后就是通过解析器提取模式文件节点生成GML模式树,生成模式树后,就可以设定算法,对两个模式进行匹配了。在匹配的过程中,最关键的就是确定两个元素的相似度,而元素间的相似度主要表现为语义相似度和结构相似度。用户可以根据具体情况设置一个最小相似度值,即阈值,只有两个元素的相似度值高于这一阈值weight,才进行匹配。

下面是该算法的描述:

MATCH(模式树t1,模式树t2)

{设置阈值weight;//0

设置叶节点的结构相似度s;

For each e1为t1的叶子

{后序遍历t1;后序遍历t2;

for each e2为t2的叶子

{计算两个叶节点的相似度值s;

如上可知算法中输入为两个树状结构的GML模式,输出为一个关于两模式间相关元素的映射关系。其中,tree1和tree2分别表示输入的GML模式树1和GML模式树2,t1和t2为模式1和模式2中的元素,tree1’和tree2’是分别对tree1和tree2进行后序遍历得到的结果。

在算法中,核心参数是确定两个树节点的相似度。在进行匹配时,对树采用后序遍历,并且相似度只确定一次以避免在匹配的过程中产生多对多的关系。当被比较的不是叶节点时,通过比较这两个节点的子节点相似度来确定它们的的相似度,即用其所有的子节点的相似度除以所有的子节点数。叶节点的结构相似度为零。

为了正确的确定两个schema树中的各个非叶节点的结构相似度,在对非叶节点进行匹配前,首先要对叶节点进行匹配,令son(e1)和son(e2)分别代表以e1和e2为根节点的子树上的节点的集合,s(a,b)为其中一个模式中的节点a与另一模式中节点b相似度,则有如下公式(1):

当然最后确定了语义和结构相似度后,需要对两者进行加权求和来获得一个最终相似度,而这个权值由用户自己根据具体情况来确定。

两个模式匹配结束后,可以通过匹配算法生成的映射关系,即模式间元素一一对应的关系来生成集成的模式。

5 结束语

GML作为一种OGC开发的基于XML的地理信息编码标准,使用GML来作为多源异构数据的描述格式,并通过使多源空间数据模式转换为统一数据格式来实现标准化数据层次集成,有利于空间信息充分共享和系统互操作。可是由于GML数据可能来自不同的数据源,导致它们的模式也可能不同,因此模式匹配是GML空间信息集成面临的最严重的挑战,如何能够更进一步的改进模式匹配算法从而简化集成过程,还需进一步的研究。

摘要：为了进一步解决多源空间数据集成问题,该文介绍了以往多源空间数据集成的几种方式,分析了目前国内外关于GML(Geog raphy Markup Language)数据集成进行的研究,并在此基础上提出了一个基于GML的多源空间数据应用集成框架,阐述了一种面向空间信息集成的GML模式匹配算法,并综合以上给出了总结。

多源风场数据集成分析系统的设计 篇6

关键词：风廓线,AMDAR,探空资料,集成分析,风切变指数

1前言

随着乌鲁木齐机场探测设备的建设, 以及与地方机构合作引接的气象数据的增多, 目前, 新疆空管局气象中心用于探测乌鲁木齐机场周边环境风场数据由单一的地面测站, 发展到风廓线雷达、AMDAR数据、VAD风场等非常规资料, 风场数据涵盖机场地面至低空3000米, 并实现乌鲁木齐机场风场的客观预报, 形成了高时空分辨率的探测、以及精细化的风场预报资料。但伴随风场数据资料种类的丰富, 现有的业务系统无法实现上述多种类型、不同特性的数据的集成显示分析, 极大的制约了气象数据的应用水平。如何使用各类常规、非常规风场数据, 改善数值预报风场输出产品的预报效果, 提高气象信息数据集成, 是目前亟需解决的问题。

国内对于风场探测数据的处理显示软件, 通常由一些分散的系统组成, 地面自动站、探空资料通常由MICAPS系统进行分析显示, 风廓线雷达数据则由雷达厂家提供的专用显示软件进行处理, VAD风场反演则由多普勒雷达实现。由于涉及数据格式、解码以及反演算法的限制, 目前国内并无较为成熟、成功的应用软件。本文将基于新疆空管局气象中心现有风场数据, 实现风场探测、预报数据的集成分析显示, 并结合成熟的算法进行风切变、VAD风场反演以及数值预报风场数据的释用, 充分发挥现有信息数据的作用, 为机场的短时临近预报提供科学的数据支持。

2风场数据分析

2.1地面风探测数据

本类数据主要通过各类型气象自动站设备采集, 包含乌鲁木齐机场自动观测系统、机场周边自动站以及地方气象局自动站数据, 实现对地面风场的探测。该类型数据通常由各类气象要素的数据编码组成, 更新频率最高为1分钟。

2.2高空探空数据

本类数据由地方气象局探测获得, 为GD-04III报文编码组成, 包含乌鲁木齐 (51463) 测站高空的风场、温度等气象要素, 更新频率为12小时。

2.3风廓线雷达

目前已有乌鲁木齐机场、乌鲁木齐市两部风廓线雷达, 实现上述两个区域3000米以下风场的探测, 乌鲁木齐市风廓线雷达使用气象局Z文件格式编码, 机场风廓线雷达数据使用ACCESS数据库存储, 该资料实现低空风场的高时空分辨率的探测。

2.4 AMDAR资料

目前乌鲁木齐机场周边40km范围内每日AMDAR数据达近千条, 尤其在航班密集期间, 是对其他类型的探空资料的补充。该数据以FM-24格式存储在Oracle数据库中。

2.5多普勒雷达VAD风场

乌鲁木齐机场多普勒雷达处理软件可实现VAD风场数据的反演, 目前该产品为图片形式输出, 无法实现与其它类型的探测资料进行集成分析使用。

2.6数值预报风场输出产品

随着数值预报在预报业务中的广泛应用, 目前已有多个数值预报系统实现风场产品的输出, 例如EC、T639、WRF、MM5、WAFS等, 并且数值预报产品具备较高的时间分辨率, 对系统性天气预报有较好的效果, 如何分析各类数值预报产品的优缺点, 综合应用数值预报, 是目前亟需解决的问题。

3功能设计

为实现风场数据的集成分析显示, 通过分析各类数据格式、探测数据特性以及时间间隔等信息, 进行气象数据的解码、质量控制以及可视化界面的功能设计。

3.1数据解码算法

由于涉及的气象数据格式种类繁多, 本系统通过梳理数据格式, 分类对报文、数据库文件、数值预报产品以及MICAPS数据格式进行整理整合, 其中, 自动站数据实现机场AWOS、气象局自动站Z文件以及周边自动站数据库文件的分析解码;探空资料实现对气象局GD-04III格式的报文解码;风廓线雷达实现气象局风廓线雷达Z文件、机场风廓线雷达Access数据文件的解码;AMDAR资料完成FM-24报文解码;数值预报输出产品结合MICAPS数据接口实现相应网格点数据的提取。多普勒雷达VAD风场产品目前为图片格式, 无法直接获取原始数据, 目前正在尝试利用相关算法结合基数据重新进行VAD反演。

3.2质量控制

对风场数据的质量控制主要分为两部分:数据合理性检查和连续性检查, 实现对探测设备获得的风场数据进行质量控制。

数据合理性检查规定风向必须在0-360度之间, 而风速必须大于零且小于某一最大速度, 否则将标置为无效数据。本程序事先规定各个气压高度层可能出现的最大风速 (见表1) , 将探测的值与可能出现的最大风速进行比较, 对超出最大风速限制的观测数据进行去除。

连续性检查包括对一次观测数据的连续性检验和对一个观测时间序列的连续性检查。一次观测得到的廓线数据在高度上应当是连续的, 并且同高度的观测与前一时次的观测不应有剧烈的变化, 由于误差、探测设备特性等元婴, 在个别高度、个别时次上出现较大偏差或缺值的现象, 造成廓线的不连续。通过风场的连续性检查, 实现对偏差较大的数据进行剔除,

3.3可视化界面设计

本系统用于实现地面、低空的风场探测数据以及数值预报产品的集成显示, 风场数据通过集中管理、解码以及质量控制之后, 以统一的风廓线图形式实现风廓线雷达、AMDAR资料以及数值预报产品的对比显示, 并用时间轴形式完成地面风场的显示。为预报人员提供丰富、全面的风场数据。

3.4风切变算法的开发

风廓线资料具有高时空分辨率的特征, 研究证实在探测垂直风切变、低空急流等方面具有重要的作用。根据风切变计算的公式:β=SQRT (U12+U22-2U1U2Cosθ) /ΔZ, 其中U1, U2分别代表二层风速, θ为两层的风向差, ΔZ一般为30m, β的单位为1/S。如表2所示。

本软件通过检索实时风廓线数据, 使用风切变计算公式, 计算垂直方向相邻两层风的垂直切变, 并将某一时刻垂直方向所有层次的垂直切变填绘出来, 为预报人员监测机场低空风切变提供依据。后续将继续结合已有的经验公式完成风场的水平切变的计算和告警功能。

4实现效果和应用前景

多源数据 篇7

随着电子信息技术的不断发展, 网络技术已经被的广泛应用, 计算机安全问题也在面临着严峻的挑战, 利用网络系统漏洞、网络病毒、木马等有组织有目的性的对用户进行攻击, 使网络安全事件不断的发生。为了提高网络安全, 所以各种网络防御设备在网络系统中被大量的使用。数据的可视分析技术是一个新兴的网路安全研究领域, 它主要利用图形将数据表达出来, 进一步的提高了人们的认知能力以及安全意识[1]。

1 网络安全数据的概述

网络安全数据的种类十分之多, 所以网络安全人员需要处理的事务也是十分繁琐的, 在安全数据中, 最重要的当数网络监控提高的数据。网络监控可以其数据分为三类:流量监控数据、状态监控数据以及事件监控数据。流量监控数据主要是对会话信息进行记录的一种方式。状态监控数据是记录网络中各种资源运行状态信息的一种数据信息[2]。事件监控数据分为异常检测和日常操作。异常检测主要是对网络防御设备所产生的报警事件进行记录的, 例如防火墙设备, 就是通过流量数据而进行的一种算法的生成。网络安全分析人员不仅需要进行网络监控相关方面的工作, 对于非监控型网路安全数据也是需要分析的, 例如电脑病毒样本、防火墙设备文件等。

2 可视化技术的发展现状

网络安全可视化的研究工作, 首先是要研究的数据, 然后从数据中获取的信息, 并且设计可视化相应的结构来表示数据信息, 将设计的功能进行人机交换, 通过设计完成人与机器之间的交流, 帮助人们能够观察到网络安全数据中所包含的信息, 可以提高分析人员的感知能力以及尽早发现网络安全中存在的问题[3]。站在网络安全分析人员的角度思考, 从简单的思路到复杂的思路, 从单一的结构到整体结构, 目前可以将网络安全问题分为安全监控和检查异常。

2.1 安全监控

能够从网络安全监控设备中了解网络的运行状态, 并且对运行状态中存在的问题进行分析是每个网络安全分析人员的基本职能, 同时所获取的数据也是检测是否异常的基础[4]。主机是网络监控的主要对象, 在网络系统中, IP地址是主机的重要标志, 所以针对IP地址的特殊性, 网络分析人员运用了其他方式实现了IP地址网络监控。

主要是采用二维坐标定位和颜色反射的方法对其进行监控, 发生的事件不同, 其反射出的颜色也不相同, 但是这种方式表示出来的IP地址的存储空时是有限的。IP地址既然是主机的重要标识, 端口则需要被表示上不同的网络应用, 所以端口与主机的重要性在网络监控中是一样的[5]。网络安全监控的数据都具有时效性的特点, 不论是线条、柱状、还是其他表示时效性的图形, 在网络安全可视化技术中都被广泛的应用。

2.2 检查异常

网络异常的范围很大, 主要包括流量的突变、设备的失效、违法访问等行为, 部分网络出现异常是因为受到了蓄意的攻击造成的, 而大部分网络异常主要还是用户的操作不当造成的。对网络的安全进行定期的检测是网络安全分析人员一项基本的工作, 同时也是网络异常存在问题进行检测的基础。检查异常网路可视化技术经常与网络监控联系在一起应用, 检测的主要方式是将监测结果通过图形的方式表达出来, 帮助工作人员更加准确的发现异常的情况, 以便可以更好的解决。

流量是一种网络状态, 在发生有网络入侵的行为时, 尤其其网络安全受到严重的威胁, 流量往往会首先出现明显的变化[6]。流量异常的可视化技术多数表现在网格矩阵图和颜色编码中, 除此之外专家学者还研制出了其他的监控系统, 用于流量异常的检测。

3 网络安全数据的处理

面对记录方式不同的数据源, 首先要对数据进行统一的清理, 清洗的过程包括:要使数据的时间进行统一化, 以及完成时间也要进行同步, 对于无效数据的处理也要提取出相关的字段, 最后在存入到统一的数据库中, 最终形成一个原始数据库。对于已经完成后的网络安全数据可以按需要进行分析, 但是由于其数据结构不一样, 所以会在分析的工作造成阻碍, 在这种情况下, 就要进行必要的数据融合。

在网络安全的理论中, 数据融合包括数据级融合、特征融合、以及决策层融合。数据级融合是直接对原始数据进行处理的一种方式, 这种方式的信息处理量十分大, 并且处理时间很长, 对于结构不同的数据其处理过程是十分艰辛的[7]。决策层融合是指将抽象的信息通过一定的方式进行决策, 例如D-S证据理论, 决策层的数据量相比数据级来说较小, 不适合可视分析技术应用。

4 可视化设计

可视化设计中的对比堆叠流图设计最早源自于堆叠直方图, 曾经有人在使用的过程中对端口进行了可视分析。堆叠面积将堆叠直方图的纵轴用直线连接起来, 形成了一个的统一的颜色区, 这也是为了可以更好地解决这一问题。流式堆叠图作为一种新的堆叠图, 成为了一种自动布局的方法。可视化技术的设计就是利用一个原型系统, 对该系统进行数据融合技术, 同时对多源网络安全数据进行统一元件的提取, 最后在对设计的对比堆叠流图进行可视分析。网络安全可视化是将网络安全数据与可视化技术相结合后的产物, 通过图形的表达提高网络安全分析人员的分析能力以及感知能力[8]。构建一个网络安全可视化环境, 可以很大程度上解决了复杂的网络问题。

5 结束语

网络安全可视技术是近几年来的一个新兴研究热点, 本文主要将可视技术用于网络安全数据中的可视分析, 并且设计出了大量的对比堆叠流图, 通过研究得出的结论是, 可视化工具可以帮助用户发现安全方面的异常, 并且及时的进行的修复。网络安全的可视化目前已经给很对行业带来了一定的影响, 所以可视化技术也将必然能够在网络安全领域得到更加广泛的应用。

摘要：近年来网络安全数据时序可视化是网络安全的热门话题, 它主要是通过提供科学的数据可视化工具, 提高网络安全, 提升工作人员维护计算机的能力, 进而将问题的发现、问题的识别、问题的掌握, 全都一手掌握。网络安全可视化同新时代的一个新兴交叉研究, 该研究目前已经在网络监控、检查异常等方面取得了不小的进展。文本主要是为了应对多源网络安全数据时序可视分析需求, 进行了统一的方法研究, 通过实验论证证明了网络安全数据可视分析方法的有效性。

关键词：多源网络安全,数据时效,可视分析方法

参考文献

[1]李建平.面向异构数据源的网络安全态势感知模型与方法研究[D].哈尔滨:哈尔滨工程大学, 2010.

[2]刘效武.基于多源融合的网络安全态势量化感知与评估[D].哈尔滨:哈尔滨工程大学, 2011

[3]马杰.网络安全威胁态势评估与分析方法研究[D].武汉:华中科技大学, 2010.

[4]孟宇龙.基于本体的多源异构安全数据聚合[D].哈尔滨:哈尔滨工程大学, 2010.

[5]尹洪.网络安全基础数据预处理技术的研究与实现[D].长沙:国防科学技术大学, 2010.

[6]马进.加载隐私保护的网络安全综合管理关键技术研究[D].上海:上海交通大学, 2012.

[7]张淑英.网络安全事件关联分析与态势评测技术研究[D].长春:吉林大学, 2012.

多源异构数据库的集成的研究 篇8

本文简要介绍了在大型企业中普遍存在的多源异构数据库状况,及几种行之有效的数据集成方法,同时以一种用对照表完成结构差异较大的数据库数据转化方法为例,详细阐述了多源异构数据库数据转化和共享的思路。

1 异构数据库的概念和特征

在大型企业中,由于生产自动化进程的阶段性,一般都存在基于多种数据库管理系统(DBMS)的应用程序系统,如基于Microsoft Access的底层生产过程控制系统、基于Oracle或者Sql Server的高层企业资源计划系统(ERP)等等,这些系统的数据库一般都只在本系统内部存取,而不能被其他系统访问。这种状况导致企业不同层次信息孤岛的出现,严重影响信息传递的实时性、加大信息维护的成本。

这些现存的数据库系统的异构主要体现在以下几个层次:

(1)操作系统的异构与网络平台的异构。

(2)数据模型的异构,查询语言的异构,事务管理、并发控制机制的异构和查询优化方法的异构等。

(3)模式冲突,数据库和运行方法的异构。

(4)数据库系统的开发环境和运行环境的不同,以及所使用的编程语言的不同。

我们所要集成的多源异构数据库系统是相关的多个数据库系统的集合,应该实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的DBMS。异构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。

2 异构数据库数据集成的几类方法

实现异构数据库的集成,首先要对加入的数据库资源实现完全透明的访问,既要保证全局数据的共享,又要保证各数据库管理系统的自治,确保基于异种系统平台实现对异构数据库的查询和联合使用,并提供一个独立于特定的数据库管理系统的统一编程界面。

根据不同的应用,一般有以下三种不同的异构数据库交互技术:

(1)中介层方式。该方式提供一个应用程序负责专用的数据转化与共享访问,这个程序是特定的、专用的、复杂的。这种特定的方式适合于企业间的相互合作。

(2)数据仓库方式。该方式将各个分布场地的数据提取到企业的中心数据仓库中,那么这种方法的一个显然特点就是数据仓库对于各个分布场地的数据的高度控制权。因此,这种方式适合于企业合并。

(3)中间数据方式。该方式与数据仓库的一个明显不同在于保留各个分布场地的高度自治权,因此该方式适合于Internet的电子商务方式,各个网站将自己的数据按照一定的通用格式提供出来,这样就方便了网上检索的需要。

在这些方法中,我们都必须用到一个统一的访问各个异构数据库的方式,具体说来一般有ODBC、JDBC、CORBA三种。下面简要介绍一下在应用程序中使用较多的ODBC方式。

ODBC是微软(Microsoft)为方便异构数据库之间进行数据共享,专门提出一个用于数据库访间的应用程序编程接口(API)。它使用结构化查询语言(SQL)作为其数据库访问语言。ODBC是依靠分层结构来实现的,这样可以保证其标准性、开放性。图1所示为ODBC的体系结构。

它通过使用驱动程序来提供数据源的独立性,上层应用程序与具体数据源无关,而驱动程序与具体的数据源有关,它是一个用以支持ODBC函数调用的模块,应用程序通过调用驱动程序所支持的函数来操作数据源,若想使应用程序操作不同类型的数据源,就要动态地链接到不同的驱动程序上,由驱动程序完成ODBC函数调用并与数据源对话。

JDBC与ODBC有相似的原理,只不过是应用于Java平台的应用程序。有关JDBC及CORBA的详细资料,请查阅其他参考文献,此处不再讲述。

3 一种异构数据库数据转化方法的实现

前面讲述了异构数据库的概念、特征,以及在一个系统中集成异构数据库数据的几类方法、用到的关键技术等,下面就介绍一例氧化铝化验数据管理系统与生产过程优化系统的异构数据库数据转化的方法实现。

氧化铝生产中,需要及时准确地化验生产过程中物料的化学成分,并尽快发布给各工作岗位和领导层,从而指导生产的顺利进行。为实现化验数据的及时快速发布,建立了一套基于B/S模式的化验数据管理系统。该系统采用Oracle数据库和Java平台,其中关键的化验报告数据字典如图2所示。

从图2可以看出,为实现某物料指标可以灵活增减和修改,物料基础信息字典(物料信息字典和指标信息字典)和报告信息字典(报告主信息字典和报告明细信息字典)都采用了一种主明细的结构,将不变的信息存储主表一条记录,将可变的信息存储明细表的若干条记录。如某一个物料的一条化验报告主信息(包括采样时间、采样班次、样品属性等)以一条记录的形式存储在报告主信息字典中;而其详细的指标化验数据(指标值、修改时间等)以每个指标一条记录的方式存储在报告明细信息字典中。通过编程实现存储与读取的行列转换,可以实现系统维护的灵活性和良好的适应性。

而共享这些化验结果数据的生产过程优化系统则采取了完全不一样的数据结构。如图3所示。

由于生产过程优化系统一般是工艺流程专用,而且应该考虑读取数据库的速度,所以如上图所示采用了将各个固定指标作为字段的形式。该系统采用了Microsoft Access作为底层数据库和Windows应用程序方式。

两者数据库结构的差别是存储方式的不同,化验数据管理系统指标数据是列向存储,而且不管何种物料统一存储,只通过连接报告主信息表和报告明细信息表的报告ID,得到该条指标值所属物料的ID(见图2)。而生产过程优化控制系统则针对某种物料定制表,以一条记录存储该物料全部指标值。要实现数据的相互转化,就必须实现从化验数据管理系统数据库数据和生产过程优化系统数据库数据的映射。

我们采用了上述中介层的方式。通过一段在逻辑上独立于两个系统的程序完成数据的转化。

我们通过ODBC方式访问两方数据库,如图4所示。

其中“数据转化模块”和ODBC配置都在生产过程优化系统服务器上。我们在化验数据管理系统数据库中定义如图5所示对应表,完成两个系统数据的映射关系。

通过将化验数据管理系统中的物料信息、指标信息、对应表、化验数据主信息、化验数据明细信息几个字典做自然连接查询,得到图6所示数据集。

通过对数据集做循环,组织好形如Insert into Ripe Stuff(Sample Date,Sample Class,Si O2,…)values(‘2004-10-10’,’1’,11.13,…)的插入语句。

4 结束语

异构数据库数据集成在各大企业和科研部门中都有很重要的作用和现实意义,研究异构数据库交互技术对于消除企业信息孤岛,提高数据利用效率,减少数据管理成本等都有及其重要的作用。

参考文献

[1]李思思.基于CSCW的分布式异构数据库的研究与实现[D].武汉理工大学,2006.

[2]黎小红,田富鹏.异构数据库中数据集成技术研究[J].西北民族大学学报(自然科学版),2006,(04).

[3]王艳君,王运格,吴丽红.异构数据库间数据集成的方法[J].烟台师范学院学报(自然科学版),1999,(04).

[4]王岩.数字化校园建设中异构数据库集成技术的研究与应用[J].电脑知识与技术,2005,(35).

[5]段永威,秦峰.异构数据源数据转换工具的设计与实现[J].现代图书情报技术,2004,(04).

[6]姚兰.企业多源异构数据库数据访问技术的研究[J].黑龙江大学自然科学学报,2002,(01).

多源数据 篇9

关键词：露天煤矿,空间数据,GIS,可视化,集成管理

0 引言

煤炭作为主要能源之一,在我国能源体系中占据着举足轻重的地位。露天开采是煤炭资源开采方式之一,并具有季节性、变动性、开放性和机动性等特点。整个露天煤矿包括地质、测绘、采矿等多个部门,在生产过程中会应用并产生大量的数据,采用信息化技术实现矿区数据的高效管理是提高矿区管理水平的重要措施,如王金龙等［１］提出采用Excel平台进行矿山井下测量数据管理。矿区中与空间位置相关的数据是众多数据的一部分,这些数据与空间地理坐标密切相关,属于空间数据类型。目前,露天煤矿对于空间数据大多根据数据类型进行单独管理,缺少统一管理的系统集成平台,这样一方面需要建立多个数据库,造成存储资源的浪费,另一方面,由于数据分开存储和管理,易产生信息孤岛,无法实现各类数据的融合,不利于有用信息的挖掘,造成数据资源浪费。 地理信息系统(GeographicInformation System,GIS)在煤炭行业中已经得到许多应用,如Banerjee等［２］提出了通过GIS实现煤矿井下综合管理的概念框架,Maryati等［３］通过建立GIS空间数据库来对矿山环境进行管理。本文在此基础上,结合GIS组件式开发和空间信息可视化技术,设计开发了露天煤矿多源空间数据管理系统,以实现矿区多源空间数据的可视化集成管理。

1 系统关键技术

随着科技发展与进步,学科之间、技术之间的融合不断加强,本文将GIS组件式开发与空间信息可视化技术运用到露天煤矿多源空间数据管理系统的设计开发中。

1.1 GIS及其组件式开发

GIS是测绘学、地理学以及计算机科学相互融合的学科,国内外的GIS软件供应商提供了具有二次开发功能的组件包,如ESRI公司研发的ArcGIS Engine产品,超图公司研发的SuperMapObjects组件包等。这些组件包可以与集成开发环境很好地结合,可方便地开发出地理空间数据显示、分析和管理等功能。

1.2 空间信息可视化技术

空间信息可视化是指运用地图学与计算机图形学,结合图表、文字等,将地学信息处理分析结果以可视化的形式显示,并且可以实现交互处理的理论、技术和方法。在GIS实际应用中,可视化已经成为空间信息表达和知识传播的主流手段［４］。

2 系统设计

基于GIS的露天煤矿多源空间数据管理系统的设计主要分为矿区空间数据库设计和系统功能设计。

2.1 矿区空间数据库设计

空间数据类型的选择是矿区空间数据库设计的基础,所选择的数据必须具有空间属性并且与露天煤矿实际的生产运营相关。

根据露天煤矿生产运营特点,本文将露天煤矿的矢量数据、遥感影像数据、CAD数据、三维模型数据、矿车路线数据、标记位置数据和监控位置数据作为研究数据,这些数据都与空间位置密切相关,都需要以空间地理坐标形式表示。其中,矢量、遥感影像、CAD和三维模型数据均属于矿区测量数据,矿车路线、标记位置和监控位置数据则是根据露天煤矿实际的生产情况归纳出的新空间数据类型。这7种类型的数据结构相异,来源不同,用途各异,具有多源异构特性。

(1)矢量数据:具有精度高、质量好的特点,能够存储空间实体的属性信息和拓扑信息,可进行网络分析和空间操作。

(2)遥感影像数据:是通过无人机航拍矿区获得的航片,是对矿区环境以及运营状态的真实、直观记录。这2种数据获取方便,只需通过无人机对矿区航拍,再对航片进行几何纠正、拼接等处理即可完成［５］,这样可以减少人员工作量,同时能做到数据及时更新。

(3)CAD数据:是指采用AutoCAD软件或者基于AutoCAD平台的数字成图系统制作的DWG或者DXF格式的矿区测量数据［６］,这2种格式是目前测绘部门进行常规地面测量时最常用的数据格式。

(4)三维模型数据:是指以测量数据为基础,通过一定的建模方法生成的露天采场、台阶等区域的三维立体模型,可用于矿山的开采优化和防灾减灾设计［７］。

(5)矿车路线数据:矿用卡车是露天煤矿的主要运输工具,矿车路线数据是指矿车的行驶路线数据,包括路线的起始位置、方向和距离等,该种数据与空间坐标有着密切的关系,属于矿区空间数据。

(6)标记位置数据:露天煤矿规模大、环境复杂,在处理事故、指派任务时,通常需要在地图上标记位置点,为此,本文把露天煤矿的位置点划分为当前位置、事故发生点和任务工作点3种类型,这些位置点都以坐标来精确定位,属于矿区空间数据。

(7)监控位置数据:视频监控是矿区安全生产的重要保证和有力措施［８］,广泛应用于采场、排土场和矿区道路等区域。视频监控布设位置由空间地理坐标来确定,因此该种数据属于矿区空间数据。

系统基于SuperMap Deskpro6 平台完成矿区空间数据库的设计,通过SuperMap平台的SDB空间数据引擎实现数据的组织与存储,SDB数据工程包括扩展名为SDB的空间数据存储文件和扩展名为SDD的属性数据存储文件。7 种空间数据分别存储于其所对应的SDB和SDD文件中,并通过一个SMW格式的工作空间文件统一管理。

2.2 系统功能设计

基于GIS的露天煤矿多源空间数据管理系统需实现矿区矢量、遥感影像、CAD等类型的空间数据显示、存储和编辑等功能,并设计排版布局输出功能,以实现矿区空间数据的可视化集成管理。

系统采用C/S架构,在.Net Framework 3.5框架基础上,利用Visual Studio 2008 平台和SuperMap Objects6组件包,采用C#编程语言,完成功能开发,并采用DevComponents.DotNetBar2第三方控件完成用户界面(UI)设计。系统逻辑结构如图1所示。

由图1可以看出,系统逻辑上分为支持层、控制层和应用层。支持层中,系统通过空间数据引擎SDB对应的SDB和SDD文件存储空间实体及其属性信息;控制层响应用户的输入指令,输出执行结果［９］,该层是整个系统设计的核心,需要调用SuperMap Objects6组件包中的接口和控件完成空间功能的设计与开发,比如空间数据显示、查询和编辑等,并实现对空间数据库的连接与访问,同时利用DevComponents.DotNetBar2 完成用户界面设计,达到美观、大方的效果;应用层即为系统功能层,该层可实现人机交互,完成系统的各项功能。

3 应用实例

现以国内某大型露天煤矿为研究实例,进行系统的设计与开发。该矿区面积较大,开采时间已久,生产、管理现代化、信息化程度高。

3.1 露天煤矿空间数据管理

从研究区域的实际出发,设计了面向该矿区的露天煤矿多源空间数据管理系统,实现了该矿区矢量数据、遥感影像数据、CAD数据、三维模型数据、矿车路线数据、标记位置数据和监控位置数据7种多源异构空间数据的可视化集成管理,实现数据的浏览、编辑、存储、分析等功能,便于数据的管理与应用。矿区的矢量、遥感影像、CAD和三维模型数据的可视化集成管理界面如图2所示。

系统将存储于矿区空间数据库中的矿车路线数据以可视化的形式展现出来,矿车会沿着行驶路线动态移动,同时,系统可以模拟设定矿车行驶路线以判断路线的合理性。

系统在实现标记位置数据存储和显示的同时,还可以动态标记。在系统界面中用红色标记点描述“当前位置”,用来标记当前所在位置;用蓝色标记点描述“事故发生点”,在矿区发生事故时使用,用来迅速、准确地标记出发生事故的位置,以协助事故处理人员前往事故地点;用绿色标记点描述“任务工作点”,用来为生产施工人员提供精确的作业位置。

系统在监控位置数据存储和管理的基础上,开发了监控位置合理性判别功能,通过在矿区地图上模拟布设监控摄像头,并设定其监控范围,即可根据系统的模拟情况,可视化地判断布设位置的合理性。现以在该露天矿区某条道路上模拟布设的4个监控摄像头为例予以说明,监控位置管理界面如图3所示。在图3中,4个监控摄像头都以各自为圆心,以其有效监控距离为半径画圆,监控摄像头的有效监控距离都是80m。由图3可以看出,1号和2号监控摄像头所形成的圆相切,2号和3号监控摄像头所形成的圆相交,3号和4号监控摄像头所形成的圆相离,由此可以获知,1号和2号监控摄像头位置合适,不用移动;2号和3号监控摄像头距离过近,造成监控资源浪费,因此,应当增大其距离;3号和4号监控摄像头距离过远,摄像头无法完全覆盖,造成监控盲区,因此应当缩小其距离。

3.2 露天煤矿空间数据输出

通过对矿区各类型空间数据排版,制作成符合规范的地图是最终目的。通过系统排版布局功能可以设定地图显示范围,添加比例尺、图例、文字等,并通过接口与打印机连接,实现地图的打印,生产出便于管理人员和生产人员现场查看的纸质地图。

4 结语