空间数据通信（精选12篇）
空间数据通信 篇1
CAN总线是由ISO定义的串行通信总线,主要用于各种过程检测及控制。它是一种多主总线,具有高位速率和高抗电磁干扰性,而且能够检测出传输中产生的任何错误。显著的优点使得CAN总线成为国际上应用最广泛的现场总线标准之一[1]。
由于其优良的性能及独特的设计,CAN总线已被广泛地应用于各种分布式控制系统中。特别是由于CAN总线具有抗干扰性强、高数据传输率、低成本等优点,在小卫星和微小卫星中得到了越来越广泛的应用。在卫星有效载荷数据控制传输中也会应用,如空间相机数据通信方面。
1 数据通信系统
一般来说,每个CAN模块能够被分成三个不同的功能块,其结构如图1所示[2]。CAN总线收发器提供CAN协议控制器与物理总线之间的接口,控制从CAN控制器到总线物理层或相反的逻辑电平信号。它的性能决定了总线接口、总线终端、总线长度和节点数,是影响整个总线网络通信性能的关键因素之一。CAN控制器执行在CAN规范里规定的CAN协议,它通常用于报文缓冲和验收滤波,对外具有与主控制器和总线收发器的接口。FGPA主控制器负责执行应用的功能,例如对空间CCD相机控制命令的发送、读取图像数据等。它通过对CAN控制器的编程控制CAN总线的工作方式、工作状态以及数据的发送和接收。
在本项目的特殊环境要求下,使用FPGA作为主控芯片,控制空间相机进行数据采集与传输,并通过CAN总线进行数据收发。较之传统设计使用的单片机,FPGA能够在速度和体积上有更好的适应性。FPGA一方面减少了电路板的复杂程度,缩短了实现周期,另一方面是FPGA具有丰富的资源、超高的性能和灵活的可编程性[3],提高了整个设备的可靠性,大大增强了电路板设计的灵活性和可扩展性。
2 通信系统接口设计
电路设计如图2所示。SJA1000的AD0~AD7地址数据复用端口、ALE地址锁存端口、读使能信号、写使能信号、片选端口,均通过双向总线收发器74ALVC164245与FPGA的I/O口相连[4]。这是因为FPGA的3.3 V的LVTTL电平不支持SJA1000的5 V TTL电平,所以利用双向总线收发器实现两器件信号的电平转换。SJA1000的中断输出信号INT连入FPGA,这样CAN通信就可以采用中断或查询两种方式。RST端口的电路实现SJA1000的上电自动复位功能。MODE模式选择端接+5 V,设置SJA1000控制器为Intel模式。SJA1000的时钟晶振采用16 MHz,频率调整电容取15 p F。设计中CAN总线的终端电阻取120Ω[5]。CAN驱动器PCA82C250的RS脚为工作模式选择位,接地工作于高速模式,接高工作于待机模式。系统通过电阻R将芯片设定于斜率控制模式,电阻值为47 kΩ,这时CAN总线应工作于低速模式,可提高CAN总线抵抗射频干扰的能力。在这种情况下,可直接使用非屏蔽双绞线作为总线[6]。
在接口设计中,有几点需要注意:(1)SJA1000的INT端口是开漏输出,所以在使用时应该加上拉电阻,不然电平一直为低,无法实现中断方式。(2)电平信号AD0~AD7必须按顺序连接在总线收发器74ALVC164245的一个8位端口上,不可分开。
3 通信系统软件设计
3.1 系统流程设计
CAN总线通信模块的控制主要包括三大部分:CAN总线节点初始化、报文发送和报文接收。主流程如图3所示。
CAN节点主程序主要包括:作为主控制器的FPGA的初始化、CAN控制器初始化、寄存器状态查询、接收发送报文以及数据处理。在此设计中,由于通信模块对接收数据的实时性要求并不是很高,因此CAN总线的接收和发送采用查询方式[7]。在整个流程实现中,主要是对CAN控制器SJA1000中的寄存器进行读写操作。
3.2 读写流程控制
SJA1000的数据和地址信号为时分复用,而FPGA中不存在地址的概念,因此在读写寄存器时,要把SJA1000中的寄存器地址当作数据写入。所以在系统的顶层模块设计中,将设计一个读写子模块来专门产生对CAN寄存器进行读写控制的时序,而核心主模块则只对通信流程进行描述。读写时序的状态机流程图如图4所示。在IDLE状态,对接口信号进行初始化,其中地址锁存信号ALE为低电平、写信号为高电平、读信号为高电平、片选信号CS为高电平、地址数据复用总线ADDR为高阻态、writeover和readover为低电平(writeover为高电平表示一个写时序的完成,readover为高电平表示一个读时序的完成)。另外对于核心主模块的控制信号start和iswr当start为低电平时继续在IDLE状态循环,反之则进入写地址状态Address0、Address1。然后根据iswr信号是高电平或低电平而进入写数据进程或读数据进程。读写数据过程均由两个状态完成,分别是RD0、RD1、WR0、WR1。当一个完整的读或写操作完成时,进入IDLE状态。每一个状态描述了ALE、、DIR1、ADDR的变化(OE0、OE1、DIR0分别为定值0、0、1,因此未列出来)。这里为了便于描述,设1为高电平,0为低电平,对以上几个信号在各个状态的值进行说明,将信号组{ALE、、DIR1}设为Ctr S。
FPGA的时钟为5 MHz,用以上状态机来实现SJA1000寄存器的读写,在设计中每个状态占用的时间是一个周期,即200 ns。按照SJA1000接口读写时序参数可知[8],片选信号必须在读写信号有效之前变为有效,并且读信号有效时存储数据总线上的数据。如此,设计的时序符合时序参数要求。其他的时序设计都要严格按照时序参数表来设计。
在编写读写模块时,需注意双向总线的编写技巧。双向口最好在顶层定义,否则模块综合时容易出错。
3.3 INOUT双向端口
芯片外部引脚很多都使用inout类型的,目的是节省管脚,即一个端口同时做输入和输出。inout在具体实现上一般用三态门来实现。三态门的第三个状态就是高阻“Z”。当inout端口不输出时,将三态门置为高阻。这样信号就不会因为两端同时输出而出错了。本设计中地址数据复用的ADDR为8位双向端口,使用时可以写为:
可见,此时input_of_ADDR和output_of_ADDR就可以当作普通信号使用了。对于双向端口的测试用例如下:
对于有inout(双向)端口的verilog程序设计,需要注意几点:(1)对于inout端口,要定义一个与之相连的“映像寄存器”。当inout端口作为输出端口时,将两者连通而当inout端口不作为输出端口时,要给i~t端口赋高阻态来断开与“映像寄存器”的连接。(2)在实例化含inou(双向)端口的模块时,与inout端口相连的只能是一个wire类型的变量。(3)不论是模块设计还是仿真,由于inout端口兼有输人端口和输出端口的功能,所以必须分别指定当inout端口作为输人端口(输出端口)时,它与其他单元的连接情况和需要完成的操作。
4 实验结果
在FPGA中利用Verilog编程产生SJA1000的片选信号CS,地址锁存信号ALE,读写信号RD、WR。这些控制信号共同驱动SJA1000进行数据接收发送,同时产生OE0、OE1、DIR0、DIR1,来控制双向总线收发器。设计选取的是Xilinx公司Virtex系列的芯片,逻辑开发在ISE平台上进行。在FPGA的调试阶段,使用Xilinx提供的在线逻辑分析仪Chip Scope pro来在线观察FPGA设计内部信号的波形,它比传统的逻辑分析仪更方便。图5就是在线进行数据传送时的波形。
在本文空间相机通信系统的设计中,放弃了传统的基于单片机的方法,而采用以FPGA为核心控制单元,代替单片机及其外围芯片电路。通过设计整个空间相机通信系统的硬件电路,并利用Verilog硬件语言描述通信流程,快速准确地实现了相机数据的通信功能。在软硬件的联调和验证时,利用chipscope在线逻辑仪功能,方便准确地实现了预期目的。
摘要：在空间相机数据采集应用中,为了满足电路板体积重量以及可扩展性的要求,利用FPGA作为主控芯片,控制相机进行数据采集和传输。在数据通信系统中,FPGA替代了传统的单片机作为CAN总线的主控制器,并给出了详细的硬件电路设计方法。在对CAN协议控制器SJA1000进行功能及时序分析后,利用硬件语言对其通信流程进行设计。实践证明,在严格的时序逻辑下,FPGA能够控制CAN总线稳定正确地对相机数据进行收发。
关键词：空间相机,数据通信,CAN总线,FPGA
参考文献
[1]饶运涛,邹继军,郑勇芸.现场总线CAN原理与应用技术[M].北京:北京航空航天大学出版社,2007.
[2]Philips Semiconductors.Application note of SJA1000[Z].1997.
[3]Xilinx Inc.Product Specification:Virtex2.5v FPGA Com-plete Data sheet.2001.
[4]陈萍.星载电场仪地面检测设备设计与研制[D].北京:中科院研究生院,2009.
[5]郭慧玲,刘羽,魏文.基于SJA1000的CAN总线双机通讯技术的研究[J].仪表技术与传感器,2008(9):46-48.
[6]Philips Semieonduetors.PCA82C250CAN Controller inter-faee datasheet[Z].1997.
[7]林志琦,宋国明.CAN总线在激光敌我识别系统中的应用[J].电子技术应用,2009,35(3):80-82.
[8]Philips Semiconductors.SJA1000Stand-alone CAN contro-ller[Z].2000.
空间数据通信 篇2
多源数据更新空间数据库的方法研究
对如何利用各种来源的地理信息数据,更新城市基础空间数据库的`方法进行了研究.在方法中,通过对各种数据源的分析,大体将数据源分为CAD及文本两大类,利用FME技术,分别实现对CAD及文本两大类数据的读取和转换,并结合dwg和xls两个示例,详细介绍了数据处理过程.本方法呈现出开放性、自动化程度高的特点,减少了人工劳动强度,极大地提高了数据库的更新质量及稳定性.
作 者：高翔 袁超 瞿晓雯 张红文 Gao Xiang Yuan Chao Qu XiaoWen Zhang HongWen 作者单位：重庆市地理信息中心,重庆,401121刊 名：城市勘测英文刊名：URBAN GEOTECHNICAL INVESTIGATION & SURVEYING年，卷(期)：“”(4)分类号：P208关键词：多源 空间数据库 更新 方法
空间数据通信 篇3
关键词数据流空间连续查询LBS
1数据流系统
数据流（data stream）应用的出现引起了国内外专家和学者的关注，数据流管理技术作为一种新兴的技术已经被广泛的研究，目前通用的DSMS（data stream management system）包括TelegraphCQ[1]，Aurora[2]和STREAM[3]。
数据流的查询过程是持续的查询（continuous query）[4]，持续查询所关心的并不是全部的数据，而是近期最近到达的部分数据，所以数据流中的持续查询采用滑动窗口（moving window）机制，基于滑动窗口的查询。
本文基于通用流数据库[5][6]，构建一个空间数据流系统模型。在此过程中，借鉴交通导航应用开展工作。这里的空间流数据库模型系统的主要的工作仅包括增加空间数据类型、空间滑动窗口和空间谓词，为了实现简单易懂的空间连续查询语言，本文在设计时，尽量和原有的空间数据库查询语言和连续查询语言做到统一。本文依据标准SQL和CQL设计空间数据类型和空间谓词，并参考OGIS标准，尽量不修改原有查询语言的结构，采用通用的空间数据类型表示方法，通过增加通用的关键词的方式，扩展连续查询查询语言。
2空间数据类型扩展
我们考虑交通导航LBS（Location Based Service）应用，在这种应用中，需要知道移动对象前方道路的交通状况，根据交通状况选择合适的运行路线。假定每个移动对象每隔30秒向导航服务中心报告移动对象当前的速度和位置信息。前方的交通状况由运行在前方的一定范围的移动对象数量和这些移动对象的平均速度来决定，数量多并且平均速度小于40km/h就表示交通状况差，否则交通状况良好。随着移动汽车位置的改变，其维持的空间查询窗口也在不断的改变位置，如果设计一种空间滑动窗口，使之能够随着移动对象的改变而改变，就可以解决这个问题。
根据例子应用的需要，拟增加的空间数据类型有Point和SSwin两种。Point用来表示一个移动对象，而SSwin用来表示一个空间滑动窗口。
（1）Point[x:float, y:float]，在这里Point表示某个移动对象，它的值为移动对象的二维空间坐标；
（2）SSwin [Point1, Point2]，表示某一空间滑动窗口，为了简化问题，此处的SSwin，仅表示一个矩形的空间滑动窗口，由两个Point标识。
3增加空间滑动窗口查询函数
为了支持空间查询，需要增加空间谓词和空间函数，本文需要增加空间函数Inside，用来判断空间移动物体是否在空间滑动窗口内。
（1）Inside（Obj，SSwin）
这里的SSwin表示空间滑动窗口，Obj表示移动对象位置，此运算符的结果为整型，当Obj在SSwin 的内部时，其值为0，否则，返回值为1。
（2）空间滑动窗口的连续查询
通过以上增加了空间数据类型和空间谓词以后，流数据库可以支持空间滑动窗口的连续查询。粗体字部分表示本文增加的空间谓词：
……
INSIDE (
……
4空间滑动窗口查询的实现
本文的空间流数据库模型的实现工作是基于STREAM流数据库管理系统，通过修改此系统的代码，实现空间流数据库系统。此系统是斯坦福大学开发的一个的通用的流数据管理模型。此数据库管理系统模型是开放源代码的。它能够处理对多个连续的数据流和存储关系的连续查询。它提供大量的复杂流查询，用来处理高容量和高突发性的数据流。它提供丰富的连续查询语言，有良好的交互操作界面。
本文的实现是要在流数据库管理系统的基础上进行扩展，虽然仅是对原有系统的扩展，但是需要做的工作仍然涉及到整个数据库管理设计的全过程。一个数据库管理系统的设计包括一系列的阶段，一般遵循以下的顺序。同时以下这些步骤也是实现此空间流数据库的过程中，主要的工作：
（1）生成词法分析树：由抽象的查询语言生成词法分析树，这个过程是数据流管理系统实现的最初阶段。根据上节定义的空间连续查询语法，在本文的空间数据流系统中，用Yacc[7]生成查询语言的语法分析树。
（2）语义分析：对词法分析树进行语义分析，将词法分析树转换为系统能够识别的内部表示。这一步生成的语义表示仍然不是一个操作符树。这个过程的设计主要是将空间数据类型和空间谓词转换为系统能够识别的形式，具体的实现类似于算术表达式的语义转换。
（3）生成逻辑计划：将查询的内部表示转换为逻辑查询计划。逻辑查询计划由逻辑操作符组成。逻辑操作符大多是关系代数操作符（比如：选择，投影，连接等），当然也有一些连续查询特有的操作符（比如滑动窗口操作符）。逻辑操作符不需要和查询执行中的操作符有关，它仅仅是一种关系代数的抽象表示。
（4）生成物理计划：将逻辑查询计划转换为物理查询计划。物理查询计划中的操作符是直接和在查询执行期间执行的操作符相关的。之所以要生成一个单独的逻辑查询计划，是因为逻辑查询计划更加容易生成，而物理查询计划涉及到底层细节。
（5）查询执行：组织存储空间的分配，物理操作符的执行等。
5实验
5.1LBS运动模型
构造如图1所示的导航应用，移动汽车每30秒向导航中心报告当前位置信息和行驶速度并且进行空间滑动窗口的聚集查询，这里我们主要涉及count和avg聚集查询，分别计算滑动窗口内汽车数量和平均速度。移动汽车根据查询结果了解前方路况，以起到交通导航的作用。
5.2输入设计
（1）MovCar
MovCar的结构如下表所示：
（2）SpaSliWindow
空间滑动窗口（SpaSliWindow）数据流，该数据流包含空间滑动窗口标志信息和空间滑动窗口位置信息：
5.3空间滑动窗口查询设计
上一节中构造了两个输入数据流，分别模拟移动汽车信息数据流和空间滑动窗口数据流，下面编写空间滑动窗口查询的脚本语言，该查询脚本基于前面分析的简单的交通导航应用以CQL（持续查询语言）编写，脚本文件如图2所示。
5.4结果输出
注册了输入数据流，并且定义了空间滑动窗口查询之后，经过我们设计的空间流数据库模型的处理得出图3和图4所示的结果。图3所示为导航查询结果，可以看出，在61时刻的滑动窗口3内有6辆移动汽车，汽车平均速度为34.1667km/h，小于40km/h，满足查询条件，由此汽车A得知此刻前方路段交通状况差，可以采取积极的应对措施，绕过此拥挤的路段。图4所示为每个查询时刻对应空间滑动窗口内的汽车信息，可以看出，1时刻的空间滑动窗口内有移动汽车A、B、C、D、E，31时刻的空间滑动窗口内有移动汽车A、B、C、D，61时刻的空间滑动窗口内有移动汽车A、B、C、D、E、F，91时刻的空间滑动窗口内有移动汽车A、B、C，121时刻的空间滑动窗口内有移动汽车A、C。
6小结
本文结合交通导航应用对数据流系统进行空间扩展，扩展了空间点和空间滑动窗口，及基于空间滑动窗口的查询操作，并依据数据库的设计步骤，实现了空间数据流系统。以导航应用为例，构造了一个基于空间滑动窗口的运动模型，通过试验分析，输出的结果均符合我们设计的运动模型。
参考文献
[1] Sirish C, Owen C, Amol D, Michael JF, Joseph MH, Wei H, Sailesh K, Samuel RM, Fred R, Mehul AS. TelegraphCQ: Continuous dataflow processing[R]. In: Alon YH, ed. Proc. of the 2003 ACM SIGMOD Int’l Conf. on Management of Data. New York: ACM Press, 2003. 668—668.
[2] Daniel JA, Don C, Ugur C, Mitch C, Christian C, Sangdon L, Michael S, Nestime T, Stan Z. Aurora: A new model and architecture for data stream management[J]. The Int’l Journal on Very Large Data Bases, 2003,12(2):120—139.
[3] A. Arasu, B. Babcock, S. Babu, M. Datar, K. Ito, I. Nishizawa, J. Rosenstein, and J.
Widom. STREAM: The stanford stream data manager[J]. IEEE Data Engineering Bulletin, 2003,26(1):19—26.
[4] Shivanath B, Jennifer W. Continuous queries over data streams[J]. SIGMOD Record,2001,
30(3):109—120.
[5] 姜芳艽.DBMS与DSMS的比较研究.微计算机信息，2007.2，3:33-36.
[6] 金澈清，钱卫宁，周傲英.流数据分析与管理综述.软件学报，2004，15(8):1172-1181
A Model of Spatial Data Stream Systembased on Data Stream System
Gong Piqiang，Jiang Jie
（Jiangsu Provincial Posts and Telecommunications Planning and design institute limited liability company，Nanjing 210003，China）
AbstractThe data stream system has the characteristic of continuous query which can provide real-time data processing. The existing general data stream system does not support spatial data processing, but location based service appearntly require spatial data processing.This paper proposed the method which implements LBS applications by stream database based on data stream system from the data processing view. Futhermore, this paper expands the stream database to support spatial operation which can provide data processing for LBS applications and satisfy the requirement of LBS applications and finally proposed a model of spatial data stream system.
Key wordsdata stream，Spatial Continuous Query，LBS
空间数据通信 篇4
1 统一信息网空间数据通信传输协议研究的意义
现阶段, 数据通信存在诸多的不足, 主要表现在较高的误码率、非对称信道、易中断的通信链路等, 为了有效解决上述问题, 采用了传统的TCP/IP, 此时的空间通信协议, 虽然控制了航天任务开发、维护的成本, 保证了空间信息网与地面互联网二者间的有效互通, 但也产生了一系列的新问题, 如:对航天器的处理能力有着较高的要求, 协议未能满足空间链路的需求, 在此情况下, 空间通信问题仍较为严峻, 制约着我国航天航空事业的发展。因此, 根据空间通信的特点及需求, 国际组织提出了空间通信协议规范, 即:SCPS。
当前, 我国航天航空主要采用CCSDS协议对天地间的数据进行传输与处理, 对SCPS协议的使用缺少广泛性, 因此, 关于SCPS协议的研究需不断完善, 以此满足我国天空地一体化信息网发展的需求。
2 空间信息网构架
在天空地一体化信息网络构建过程中, 最为关键的便是飞行器组网技术, 目前, 我国的卫星网络主要分为三类, 分别为同步轨道、中低轨道及多层轨道卫星网络, 第一类的优点为组网结构简单、卫星节点间位置及星间链路较为稳定, 第二类与第三类的网络中存在两种星间链路, 分别存在于轨内与轨间。根据我国卫星网络的实际情况可知, 卫星组网难度较大, 对技术有着较高的要求。
为了有效解决统一信息网中飞行器的组网问题, 本文提出了有线等效网络的空间信息网构架, 首先, 对太空中的飞行器进行分类处理, 其处理依据为区域、轨道与功能等;其次, 将一颗同步卫星和飞行器借助无线链路进行连接组网, 进而构成了短期有限局部区域网;再次, 将固定飞行器, 即:同步卫星与地面站, 借助链路连接成网, 进而构成了长期稳定的有线网络;最后, 将短期有限网络通过切换技术转变为稳定的长期有线网, 并将长期稳定的有线网络与短期稳定的空间局域网进行连接, 进而构成空间广域网[1]。
本文提出了基于有线等效网络的空间信息网架构, 它是由基于有线等效网络的空间局域网、空间广域网及越区切换协议组成的, 该信息网对空间飞行器进行了分级组网, 在此基础上, 飞行器间借助无线链路实现了连接, 进而形成了有线网络, 即:有线等效网络。
上述研究不仅满足了统一信息网络关键技术需求, 同时也适应了知识产权发展的需要。通过天空地一体化通信网络的研究, 实现了全球覆盖通信, 保证了航天星-地资源的高效利用, 提高了对中低轨航天器的精密测控, 延伸了通信网络实现了一体化的5W通信服务。
3 空间通信传输协议规范
在20世纪末, 空间数据系统咨询委员会提出了空间通信协议规范, 即, SCPS, 它根据空间传输环境的特性, 对传统的TCP/IP协议栈进行了修改与扩展, 在此基础上, 制定了网络协议、安全协议、传输协议与文件协议, SCPS实现的基础为Internet, 通过修改与扩充后, 有效解决了空间通信中存在的问题, 提高了空间数据传输的完整性、有效性与可靠性。
在国外, 关于SCPS的研究与应用均较为广泛, 但在国内, 受诸多因素的影响, 我国测控和通信领域均应用着CCSDS标准, 而对于SCPS的研究十分匮乏, 在此情况下, 制约着我国航天航空事业的发展, 造成了大量资源的浪费, 增加了空间系统的成本[2]。
通过SCPS传输协议的设计, 满足了当前或未来空间通信环境的需求, 此协议修改了标准协议, 进而有效解决了空间环境与资源限制的相关问题, 具体的问题有窗口缩放比例、往返时间测量、记录边界指示及高度对称通信信道性能下的应答机制等。
针对不同的通信环境, TCP提供了扩展的有效技术, 满足了互联网社区的需要, 当前, 互联网主要用于地面通信环境, 因此, TCP侧重于优化此环境的服务。但地面和空间环境对通信协议性能的影响存在差异, 空间环境下的属性倾向于移动和无线通信, 因此, SCPS应优化移动和无线通信社区的服务。在通信环境不同的问题得到解决后, SCPS传输协议要对TCP进行进一步规范, 主要体现在误比特率、RTT、连接连通性、链路性能及内存性能等方面[3]。
4 结论
综上所述, 本文介绍了统一信息网空间数据通信传输协议研究的意义, 阐述了基于有线等效网络的空间信息网构架及空间通信协议规范传输协议的相关内容, 相信, 随着一体化通信网络的构建, 我国航天航空事业的发展将更加稳定。
摘要：随着社会的发展与科学水平的提升, 为了适应各行行业发展的需求, 急需构建统一的通信网, 通过此网络, 不仅可以提高资源的利用率、减少信息量, 还能够解决移动通信全球覆盖的问题。为了构建此网络, 我国各个单位、部门与人员均对一体化通信网展开了研究, 在此背景下, 本文探讨了统一信息网空间数据通信传输协议研究, 分析了此项研究的意义, 介绍了空间信息网构架与空间通信传输协议规范, 旨在进一步完善我国的无线网络通信。
关键词：通信网,空间信息网构架,空间通信协议规范
参考文献
[1]刘小跃.空间信息网高性能路由协议研究[D].西安:西安电子科技大学, 2012.
[2]郝选文.空间信息网抗毁路由及网络防攻击技术研究[D].西安:西安电子科技大学, 2013.
地球空间数据集成研究概况 篇5
数字地球空间数据的`集成研究及应用始于本世纪60年代,地理信息系统的出现及应用、多元数据的使用推动了地球空间数据集成研究及其应用.本文首先对地球空间数据概念进行描述,然后对地球空间数据集成研究状况及存在的问题进行了详细的分析.结合数据集成需求及存在的问题,论文分析了数据集成的发展方向.
作 者：李军 费川云 LI Jun FEI Chuan-yun 作者单位：李军,LI Jun(中国科学院遥感应用研究所,北京,100083;中国科学院地理科学与资源研究所,北京,100101)
费川云,FEI Chuan-yun(中国科学院地理科学与资源研究所,北京,100101)
空间大数据：为“一带一路”护航 篇6
“一带一路”倡议是中国与沿线国家一同绘就宏伟蓝图的伟大工程，涉及65个国家、44亿人口，具有范围广、周期长、领域宽等特点，同时也面临着环境、资源、灾害等一系列问题及挑战。空间观测技术具有宏观、快速、准确、客观获取数据的能力，在应对上述挑战与问题上具备很大优势，可以实现跨国界的空间立体协同观测。从空间获取的科学大数据，能够帮助我们更快、更准、更广地认知"一带一路"。
利用空间大数据，我们可以对全球变化背景下“一带一路”的资源环境宏观格局进行科学分析。为此，我们发起了“数字丝路”国际科学计划，得到20多个国家和国际组织的全力支持。“数字丝路”将空间大数据应用于“一带一路”沿线国家的可持续发展，利用遥感卫星、导航卫星、通讯卫星和地基观测、海基观测获取的不同信息，建设空间大数据共享平台，开展环境变化、农业和食品安全、海岸带、自然灾害、世界遗产、水和城市等六个领域的研究，形成“一带一路空间信息系统与科学模式”，让“一带一路”沿线国家均从中受益。
“数字丝路”国际计划启动以来，取得了很有意义的成果。例如，针对位于海上丝绸之路的柬埔寨吴哥窟的环境问题，开展了遥感监测，为吴哥窟世界文化遗产的保护提供了决策依据;在缺少空间技术手段的中亚五国，开展了干旱半干旱地区全球变化研究，建立了丝绸之路区域遥感联盟，为合理地进行生态保护、补救及生态补偿提供信息支持;此外，在中巴经济走廊建设中，一些大型工程需要进行前期风险评价，包括对自然灾害如地震、洪水的威胁进行评估等，通过空间大数据分析可以提供科学支持。
大数据是国家新型战略资源，科学大数据正在改变传统的科研方式，它是认识自然的新钥匙，是科学发现的新引擎。面向国家“一带一路”战略，我们倡议各方共同构建丝绸之路和海上丝绸之路大数据联盟，让大数据成为各国共建“一带一路”的和平使者，让大数据之光普照“一带一路”的各个角落，护航“一带一路”走向辉煌的未来。
（责任编辑/齐敏）
浅析空间数据挖掘技术 篇7
空间数据库是一类特殊的数据库，地理信息系统（GIS）是空间数据库发展的基础，因此，对空间数据库[1]的研究是随着地理信息系统的发展而不断深入的。目前空间数据库及其挖掘的研究的重点主要集中在空间数据建模、空间数据存储与管理、空间查询与优化、空间关系分析、空间数据挖掘方法等方面。
2、空间数据挖掘的知识种类
从空间数据库中挖掘的知识种类主要有：概念描述、分类知识、聚类知识、偏差型知识、空间分布规律、空间关联规则[2]、空间区分规则、空间演变规则等。
(1）概念描述，从数据库中挖掘出数据的一些描述性的特征，例如数据的平均、最大值、总和、百分比等。一般地，这些知识从不同的层次和角度以统计曲线图的形式来表示。
(2）分类知识，给定训练数据集的特征和一些初始的分类结果，通过某种模型为每一类找到一个合理的判别规则，再利用这些分类判别规则对未知的、新的数据集进行分类。一般地，可以用产生式规则来表示分类的结果。
(3）聚类知识，也称无监督分类，其主要目的是客观地对处理对象的特征进行分类，将具有相同特征的对象归为一类。它与分类最大的区别在于分类是基于训练数据集的，并且事先对分类结果做了一些初始的主观假定。
(4）偏差型知识，从数据库中找出异常数据。例如，金融欺诈，洗黑钱等。
(5）空间分布规律，是指目标在地理空间的分布规律，可分成垂直向分布规律、水平向分布规律、垂直向和水平向的联合分布规律。
(6）空间关联规则，是指空间目标间相邻、相连、包含等空间关联规则。例如村落与道路相连、道路与河流的交叉处是桥梁等，从GIS的图形和属性库中，不难发现目标间的相连（如火车站与铁路相连）、相邻、加油站通常离高速公路很近等关系。
(7）空间区分规则，指两类或多类目标间几何的或属性的不同特征，即可以区分不同类目标的特征。
(8）空间演变规则，如果空间数据库是时空数据库或者空间数据库中存有同一地区多个时间数据的快照（Snapshot），则可以发现空间演变规则。空间演变规则是指空间目标依时间的变化规则，即哪些地区易变或不易变，哪些目标易变及怎么变，哪些目标固定不变。所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。
3、空间数据挖掘的处理过程
空间数据挖掘是空间数据库中知识发现过程的一个基本步骤。数据挖掘步骤是通过将有趣的模式提供给用户，或作为新的知识存放在知识库中这种与用户或知识库交互的方式来进行的知识发现过程的其中最重要的一步，因为它可发现隐藏的不为人知的模式。它由以下步骤组成：
(l）数据清理：通过填写空缺的值，平滑噪声数据，识别、删除孤立点，并"清理"不一致数据
(2）数据集成：对多种数据源进行集成
(3）数据选择：从数据库中检索与任务相关的数据
(4）数据变换：通过汇总或聚集等操作将数据变换成适合数据挖掘的形式
(5）数据挖掘：使用智能的方法来提取数据模式。先对数据挖掘的目标和知识类型进行确定，然后根据所需要的知识类型选择合适的挖掘算法，最后从数据库中按照选定的挖掘算法获得所需的知识
(6）模式评估：通过某种兴趣度量来评估真正有趣的知识模式
(7）知识表示：通过知识可视化表示技术向用户展示挖掘的知识
通过对以上过程不断地循环操作，可以对所挖掘出来的知识进行不断求精和深化。
4、空间数据清理
空间数据清理，又称空间数据净化、空间数据清洗等，是多元空间数据挖掘和知识发现，以及异种空间数据集成无法回避的问题。从广义上讲，凡是有助于提高空间数据质量的过程都是空间数据清理。狭义而言，空间数据清理是指了解空间数据库中字段的含义及其与其它字段的关系，检查空间数据的完整性和一致性，根据实际的任务确定清理规则，利用查询工具、统计方法和人工智能工具等填补丢失的空间数据，处理其中的噪声数据，校正空间数据，提高空间数据的准确性和整体的可用性，以保证空间数据整洁性，使其适于后续的空间数据处理。数据清理方法包括空缺值清理，噪声数据清理和不一致数据清理[3]：
4.1 空缺值
(1）忽略元组。在分类挖掘任务中，当类标号缺少时可忽略元组。如果元组的属性有多个缺值，那么该方法的效果不佳。
(2）人工填写空缺值。由于是人工操作，并且在数据集大，缺值多的情况下，该方法很费时，有时可能行不通。
(3）使用全局常量填充空缺值。用同一个常数替换空缺的属性值。但会给挖掘任务以误导，根据所填常数认为得到了一个有趣的概念。
(4）利用属性的平均值来进行空缺值填充。
(5）利用与给定元组属于相同类的所有样本平均值进行空缺值填充。
(6）使用最可能的值填充空缺值。
4.2 噪声数据
噪声表示了测量变量中的随机错误或偏差。因此，对于所给定的一个数值属性，需要进行数据平滑和去噪处理。常用的去噪方法有：分箱，通过考察存储数据周围的值来对其进行平滑；聚类，对散落在聚类集合之外的孤立点进行检测。人机结合，可以通过人工和计算机检查相结合的方法对孤立点进行检测。
4.3 不一致数据
对于有些事务，所记录的数据可能存在不一致现象，可以通过人工地进行加以更正，但要考虑参照材料的完备性。例如可以利用知识工程工具来检测违反限制的数据等。在数据集成过程中可能会产生不一致数据，比如当一个给定的属性在不同的数据库中可能具有不同的名字时，就会发生冗余现象。因此需要进行数据变换和数据归约。
空间数据清理是空间数据挖掘和知识发现的空间数据准备阶段必不可少的内容，主要有：确认输入空间数据，消除错误的空值，保证空间数据值落入定义的范围，消除冗余空间数据，解决空间数据中的冲突，保证空间数据值的合理定义和使用，建立并采用标准。现有的工具可分为三类：（1）空间数据迁移，允许指定简单的转换规则。（2）空间数据清洗，使用领域特有的知识对空间数据作清洗，采用语法分析和模糊匹配技术完成对多源空间数据的清理。（3）空间数据审计，通过统计分析空间数据发现规律和联系。
5、结束语
空间现实世界是一个多参数、非线形、时变的不稳定系统，从中采集到的空间数据多种多样，与一般数据相比，空间数据还具有空间性、时间性、多维性、海量性、复杂性、不确定性等特点。目前，虽然对空间数据挖掘的研究和应用取得了一定的成果，但是仍然存在诸多期待解决的技术难点和瓶颈问题。
参考文献
[1] (美) 沙克哈 (Shekhar, 5.) 等著;谢昆青等译.空间数据库[M].北京:机械工业出版社, 2004.
[2]涂建东, 陈崇成, 樊明辉等.基于Java3D的空间关联规则可视化原理与实现[J].高技术通讯, 2004, 36 (6) :98一102.
[3]范明, 孟小峰等译.数据挖掘概念与技术[M].北京:机械工业出版社, 2001, 8.
自由空间光通信 篇8
光通信经历了自由空间光通信(Free Space Optical Communication,简称FSO)和光纤通信两个重要的发展阶段。光纤通信从20世纪80年代起在全世界掀起了应用的热潮,并迅速被确认为是地面有线通信最有发展潜力的重要的通信手段,以致得到了飞速的发展和推广应用。而FSO由于技术上的困难,其研究和发展几乎停滞。随着近年来大功率半导体激光器技术、自适应变焦技术、光波窄带滤波技术、光源稳频技术、信号压缩编码技术和光学天线的设计制作及安装校准技术的发展和成熟,自由空间光通信的研究重新得到重视。
FSO具有光纤的传输性能、传输保密性好、不需要申请频率使用权等优点,因此受到越来越多的企业家和技术人员的重视。作为2001年10大电信热点技术,FSO将是今后构筑电信网的一项重要技术。目前,FSO系统能在城域网中以千兆的速度进行全双工通信,最远距离达几公里,可实现的最高速率己达2.5Gb/s。
1 自由空间光通信的基本原理
自由空间光通信的基本原理与光纤通信相同,只不过它是以大气作为传播媒质来进行光信号的传送。只要在两个收发端之间存在无遮挡的视距路径和足够的光发射功率,通信就可以进行。
自由空间光通信系统使用的基本技术是光电转换。在点对点传输的情况下,每一端都设有光发射机和光接收机,可以实现全双工的通信。光发射机的光源经过电信号的调制,通过发射光学天线将光信号由大气信道传送到接收光学天线高灵敏的光接收机将接收光学天线收到的光信号再转换成电信号。由于大气介质对不同光波长的信号的透过率有很大的差别,所以应该选用透过率较好的波段窗口。
2 自由空间光通信的优势及前景
当前,通信领域中最热门的两大技术,光纤通信和无线通信。自由空间光通信技术兼有两者的优点,既能提供类似光纤的速率,又不需要占用频谱这样有限的稀有资源。这正是自由空间光通信最吸引人的地方,它具有:带宽可扩展、建设速度快、十分经济等优点。
自由空间光通信的优点主要有:
1) 架设灵活便捷,FSO可以翻越山头,以及在江河湖海上进行通信,可以完成地对空、空对空等多种光纤通信无法完成的通信任务。因此FSO对于解决最后一公里的宽带接入有着极大的应用价值。FSO可以在几小时内把宽带信道接到任何地方,而无需埋设光纤,因此大大缩短了施工周期。
2) 微米级的波束发散角和稳定的方向。波束发散角与波长成正比。激光通信的工作波长一般在微米量级或更小,而RF和微波通信的波长范围在数百米到亚厘米之间。因此,激光通信的光束发散角比RF和微波通信至少小3到4个数量级,大约在10微弧度左右。这在军事应用上具有非常重要的意义,因为捕捉这么窄的光束是非常困难的,从而大大提高了军事通信的保密性。
3) 设备对电源量需求很低,只需几伏,采用本地供电,并且供电方式多种多样。
4) 常轻小的天线尺寸和系统结构。天线尺寸与工作波长有关,波长越短,所需的天线就越小。由于激光通信的波长远小于RF和微波通信的波长,在同样功能和条件下,激光通信的天线尺寸远小于RF和微波通信的天线尺寸。因此,激光通信系统的重量和体积相对就显得非常轻小。这有利于激光通信在各种航天器上的应用,尤其是在小卫星上的应用。
5) 高数据传输率。对激光脉冲进行调制解调后,激光通信可以提供高达10Gbps(每秒千兆位)量级的数据传输率,远远高于目前RF及微波通信传输速度。
6) 低发射功率,高接收功率。对于接收端而言,有效接收功率与波束发散角的平方成反比。由于激光通信的波束发散角远小于RF和微波通信。因此,在距离相同的情况下,较之RF和微波通信,激光通信可以用更小的发射功率获得更高的接收功率。
7) 新的通信频带。由于激光通信的波长远小于RF和微波通信,因此其工作频率比目前拥挤的无线电通信频率高许多,从而为信息传输提供了新的通信频带。
8) 适用任何通信协议,FSO产品作为一种物理层的传输设备,可以适应任何通信协议,并可支持2.5Gbit/s的传输速率,用于传输数据、声音和影像等各种信息。
9) 传输容量大,微波频率大致在数GHz到数十GHz量级,而激光的频率大致在数百THz量级,比微波高一个3~5个数量级,因而可以得到高得多的数据传输速率。
10) 经济性强。没有任何设计、勘察、工程和线路费等附加费用,较其它如卫星站、短波和光缆等手段每兆比特的传输费用更为经济。
虽然光纤技术正得到不断地推广使用,但随着高速本地环路网络互联需求地不断增长,实施光纤网络遭遇到的布线难与成本高的问题日益突出。FSO技术既能提供类似于光纤的速率,又不需在频谱这样的稀有资源方面有很大的初始投资,因此备受关注也是理所当然的。与光纤线路相比,FSO系统不仅安装方便、建设迅速,而且成本低,大约是光纤大楼成本的1/10~1/3。
目前FSO是具有高度发达的光纤通信技术平台,引入望远镜式光学天线后以大气为传输介质,应用目标是5km内的视距通信。作为与现有光纤通信系统和网络兼容的光通信技术,应用于宽带接入网、城域网、企业网、校园网、军用战术通信网、应用通信系统、光纤通信的延伸系统(在通过江河、海岛与大陆、海岛与海岛等应用中),可以利用和移植现有的光放大、波分复用、全光插分复用和交叉连接等技术,是光纤通信的补充。
3 自由空间光通信的应用
3.1 骨干网扩展
通信服务厂商在骨干网建设上花费大量资金,以提升网络整体性能与快速发展的市场需求。但是,很多网络应用的瓶颈不在骨干网上而是在最后一公里。为了在现有的骨干网上,快速进行扩展和向外延伸,FSO是一种不错的选择。
3.2 宽带光接入
目前主干网的频宽容量急剧增加,同样客户终端网络的频宽也从10Mbs增加到100Mbs,再到千兆以太网。而网络接入部分仍未有可突破频宽成本与容量瓶颈的有效解决方法。因此,FSO有很大的发展空间。目前已使用的FSO系统大多数用来连接企业内部的各幢大楼,作为宽带的专线连接。FSO也可以组成更为复杂的光无线通信网络,连接大楼群。多点的网络拓扑结构可以把业务集中到一点集线器或中心节点,再接入核心网。通过多个网络节点可以提供几乎实时性的迂回路由,使服务得到保护。还可以把业务集中到某些特定点,再有效地接入光纤网络。
3.3 城域网扩展
FSO还可以用于城域网的扩展,即在现有城域网上向外延伸、连接新的网络。这些链路通常不到达最终用户,而是为网络核心服务。FSO还非常适用于企业网、校园网等局域网,实现各局域网网段的互联。
3.4 大企业应用
FSO的灵活性使它可以应用于企业和学校,例如企业LAN到LAN的连接及校园网的连接。以FSO来代替光纤接取各局端,不但能降低成本,而且具有更高的传输速度。同方科技广场在接入同方大厦的专网前,本想铺设光纤,但由于施工需穿越北京轻轨铁路,仅申请许可证就需交纳100万元,最终还是用FSO设备实现了局域网网桥的功能。
3.5 光系统备份
大多数电信运营商都采用两条光纤连接来保证所构建的商业应用网的安全。现在运营商无需部署两条光纤链路,可以选择FSO系统作为备份光纤的冗余链路,以节省投资。
3.6 基站间互连
FSO相对于RF来说,可提供更宽的带宽,这些特点对于构建无线回程传输网甚为适宜。FSO可用来连接移动电话基站与交换中心,将基站接收的信号传至与有线公用电话网相连的交换中心设备。例如用作光纤延长,连接两个视通的自由空间光通信网络节点;在企业和校园网中可以作为其局域网互连或校园内连接;可以作为备份光纤,对需要稳定服务并且在服务中断时有备份的商业作为冗余链路等。
4 结束语
自由空间光通信技术自身得特点决定了在一定的环境下,它可以最大限度发挥自身优势,比如不便铺设光纤的地方和不适宜使用微波的地方。同时在最后一公里接入等领域也有着相当的竞争优势。自由空间光通信的任务不是取代已经发展成熟的光纤通信和微波通信,而是发挥自己特色,成为整个通信网络中的一个环节,与其他通信方式互相补充、互相配合、发挥重要作用,FSO在未来的通信领域中必将占据重要地位。
摘要：对自由空间光通信技术的基本特点作了归纳;简要介绍了自由空间光通信技术优势及发展前景;从应用的角度出发阐述了自由空间光通信技术研究的几个方向和发展趋势。
关键词：自由空间光通信(FSO),光纤通信,带宽
参考文献
[1]朱震,陈凌.自由空间光通信技术[J].光通信技术,2003(1).
[2]Chan V,Bloom S.Results of 150km,1 Gbps LasercomValidation Experiment Using Aircraft Motion Simulator[J].Proceedings of SPIE,1995,2966:60-70.
[3]刘晖,卢益民,卢刚.自由空间光通信系统[J].光电子技术与信息,2005,18(3):58-61.
空间数据通信 篇9
随着地理信息系统的不断发展, 空间实体几何数据和属性数据越来越多。特别是现代测绘技术和计算机技术的广泛应用, 使得人们可以对地球实施近乎实时的监测, 这个过程更是产生了海量的数据。但由于应用环境、应用部门不同, 空间数据采集各自为阵, 空间数据具有异地性、异构性特点, 形成数据孤岛, 使空间数据的共享带来极大困难, 严重影响了空间数据的进一步应用。
本文针对空间数据异地分散性的特点, 采用元数据的方式对空间数据进行描述, 研究并设计了一种分布式空间数据共享模型, 并在某省环境科学研究院进行了应用。
1 分布式空间数据的共享模式研究
数据共享有以下三种形态:
复制赠与式:数据所有者将数据发送给需要数据的使用者, 使用者自行保管和维护。
集中共有式:所有可以共享的数据集中保存在公共数据库中, 使用者根据需要自行取用。
分散共享式:数据仍保存在数据所有者的服务器中, 授权给一定范围的用户在需要时提取使用。
针对某省环境科学研究院空间数据的应用具有分散和异构的特点, 数据分布于各业务部门各自的计算机上, 对应各自的应用和管理系统具有不同的结构。既有以数据库方式进行结构化管理的地理信息数据, 也有大量以非结构化文件方式管理的地理信息数据。地理信息数据类型多种多样, 包括图形文档资料、图形表格资料、图形数字照片、GIS数字地图、遥感影像、CAD设计图纸、以及各类图形数据库等。不同部门和不同业务常常采用不同的地理信息系统和数据库管理系统 (如ArcInfo、MapInfo、GeoMedia等, Oracle、SQLServer、DB2等) , 运行于不同的计算机操作系统 (Windows、Unix、Linux等) 。分散异构的数据资源和多样性应用特性, 决定了任何单一的集成或应用系统都难以满足信息共享和集成要求。“分散共享式”可以保留原始数据结构, 在数据所有者的控制和授权下, 进行灵活的数据共享应用。这种方式可以保障数据所有者的权益, 使数据所有者可以放心地将数据提交共享;同时数据所有者有可以负担对数据维护和更新的责任。从资源应用的角度来说, 各数据服务器相当于一个计算机数据网格, 通过计算机网络相连, 形成可以无限扩展的数据资源平台。
2 分布式空间数据共享体系结构
图1显示了在一个多部门机构中采用分布式来进行数据共享的典型框架。每个部门有一台数据服务器来存储本部门的业务数据, 信息中心有一台元数据服务器存储关于机构中所有共享数据的元数据。数据仍然由各个主管部门维护和更新。内部用户能通过局域网访问, 同时外部用户能通过因特网访问。不同部门或不同业务的数据可以由各自的专用服务器存储管理, 通过公共的元数据服务器查询使用, 完美地实现办公数据的交换和信息共享。通过一个集中的元数据服务器, 可以快速地从整个元数据库中查询可用的数据, 数据服务器不必为数据检索服务, 仅需提供数据访问的服务。
针对不同的数据类型, 建立不同的元数据标准数据库, 将相关数据信息存储于分布式数据服务器上, 实现分散异构的数据资源共享管理和流通, 在数据共享平台上搭载现有业务应用和开发新的业务应用系统。
系统的概念结构分为三层:
(1) 数据层
由分布式数据服务器存储管理的各种类型的数据。包括以SDE形式进行存储的空间信息数据库、非空间信息的结构化数据库、非结构化的以文件形式进行存储的数据信息 (包括空间数据和其他业务过程中所产生的各种类型的办公文档、电子报表、数字照片、多媒体文件、GIS数值地图、遥感影像、设计图纸等) 。特别地, 对于空间信息数据, 可以采用ArcSDE进行存储和管理。
(2) 共享管理层
通过对集中元数据和分散数据资源一体化管理、对所有分布式服务器上的数据提供一站式查询检索服务, 在确认用户对特定数据使用授权的条件下, 支持对数据进行远程存取。对GIS地图和影像数据可进行在线格式和投影转换, 用户可以按需要的格式远程取得空间数据。图2为空间数据共享管理系统结构示意图。
(3) 应用层
环境科学的各类应用系统, 在数据提交者对数据已作出授权的情况下, 另一部门数据可共享使用整个系统数据层的全部或部分数据资源。用户既可使用客户端软件 (或者基于IE浏览器) 远程查询并下载所需数据到本地机后, 再通过专业系统进行显示和处理分析;也可以将各应用系统通过应用程序接口, 与共享管理层进行集成, 直接远程共享使用数据层的分布式数据资源。
3 元数据的设计与应用
3.1 元数据的概念与作用
元数据即“说明数据的数据”, 是关于数据和信息资源的描述性信息。它不仅具有按一定标准、格式组织数据, 便于管理、查询、检索的功能, 而且保存了数据的获取时间、更新日期、质量、格式等等信息, 使人们能有效地评价、比较和操作数据, 为数据共享、异构数据的远程访问提供了基础。它屏蔽了数据存储与管理的细节, 数据的使用者只需了解元数据库中的信息就可以完全掌握数据库中的数据情况。随着Internet和Web的迅速发展, 元数据技术逐渐成为异构信息共享与互操作的核心与基础, 成为分布式信息计算的核心技术之一[2]。
信息元数据是信息数据的相关数据的描述性信息。用于描述数据集的内容、质量、表示方式、空间参照系、管理方式以及数据集的其它特征, 是实现空间数据集共享的核心内容之一。
空间元数据的主要作用有[4]:
(1) 确定一套空间数据的存在性及其位置。
(2) 确定一套空间数据的质量、对某种应用的适应性。
(3) 确定获取一套空间数据的手段。
(4) 确定成功地转换一套空间数据的方法和途径。
(5) 确定一套空间数据的存储与表达方法。
(6) 确定一套空间数据的使用方法等。
3.2 元数据的标准
信息元数据必须标准化, 才能真正发挥其支持数据检索、共享与互操作的功能。目前世界上己有一些元数据标准, 其中最主要的有美国联邦数据委员会 (FGDC) 的数字地理空间元数据内容标准 (CSDGM) , 欧洲标准化组织 (CEN/TC287) 的元数据标准和国际标准化组织 (ISO/TC211) 的元数据标准。
3.3 元数据的设计
信息元数据的设计包含两方面的内容:一是纵向描述数据的组织结构;二是横向描述数据的内容。设计的目标是简洁、准确、完备地描述地理信息数据库中的数据, 提供高效的管理和查询机制, 根据要求设计以下元数据库。
信息数据的内容、数据中所包含的信息决定着数据的描述方式, 信息数据按格式与显示表现形式可分为文档数据、遥感影像、矢量地图、栅格地图。它们所包含的信息是不同的。所以, 可将元数据分成影像元数据。矢量信息元数据、栅格信息元数据不同元数据的格式是不同的, 应分别设计。
参考国际上己有的元数据标准, 并结合我国信息数据的特点和己制定的格式标准, 确定元数据的描述内容应包括[3]:
(1) 标识信息 (类型标识、内容摘要) 。
(2) 精度信息 (精度等级、比例尺、分辨率等) 。
(3) 空间参照系信息 (坐标系类型) 。
(4) 范围信息 (大地坐标范围、经纬度范围)
(5) 数据存储信息 (数据量、存储路径) 。
(6) 其它信息六类。
根据某省环境科学研究院的具体要求, 和本文对研究院内部的数据调查的结果, 本文对元数据库的建设做了如下的分类:
(1) 研究报告元数据库。
(2) 政府公文元数据库。
(3) 档案元数据库。
(4) 法律法规元数据库。
(5) 一般文档元数据库。
(6) GIS数据元数据库。
(7) 遥感影像元数据库。
(8) 栅格影像元数据库。
(9) CAD数据元数据库。
文档数据 ( (1) - (5) ) 的元数据项 (条目) 一般应包括: 文档代号, 文挡名称, 主题词 (关键词) , 文档类别, 项目名称, 作者姓名, 作者部门或单位, 联络方法, 保密级别, 发布时间, 最后修改时间, 版本号, 内容摘要, 注释或注意事项等。
GIS元数据应为: 地图代号, 地图名称, 主题词 (关键词) , 地图类别, 项目名称, 制作部门或单位, 联络方法, 数字化员姓名, 数字化部门或单位, 保密级别, 制作时间, 最后修改时间, 数字化时间, 版本号, 内容摘要, 注释或注意事项等。还应参考FGDC元数据标准, 增加空间元数据内容, 例如: 位置, 范围, 投影坐标系, 比例尺, 精度等条目。
遥感元数据应为: 影像代号, 影像名称, 主题词 (关键词) , 影像类别, 遥感平台类别, 卫星名称, 传感器名称, 光谱类型, 通道号, 像元分辨率, 影像尺寸, 项目名称, 订购者姓名, 订购者部门或单位, 联络方法, 数据获取部门或单位, 联络方法, 保密级别, 数据获取时间, 内容摘要, 注释或注意事项等。也应包含空间元数据内容, 如: 位置, 范围, 投影坐标系等条目。
3.4 元数据的组织
上文所述是任一站点上地理信息元数据的组织与设计。地理信息是分散分布在各地的, 它们的元数据库相应地分散分布在各个站点上。必须把这些分散分布的元数据库组起来, 才能提供一个完整的、全局的查询[1]。信息元数据库就是信息元数据的总和。其元数据项是按上节的元数据设计方案设计的信息元数据。区域元数据库是该区域范围内所有元数据库的总结。其中的元数据项就是该区域范围内的某个元数据库的地理位置、网络地址、内容摘要。全局元数据库是一批区域级元数据库的总结。其元数据项是区域级元数据库的地理位置、网络地址、内容摘要信息。它是基于元数据的地理信息查询的最高级索引, 是地理信息查找的总入口点。
所以在这个项目中首先把数据进行调查, 建立相映的元数据库, 在把数据统一的组织起来, 进行统一的上载, 组建起信息快速查询检索网络系统。
4 结束语
针对空间数据的分散性特点, 通过元数据服务器对分散的空间数据进行集中描述, 通过共享管理层对分散数据资源一体化管理、对所有分布式服务器上的数据提供一站式查询检索服务, 本文提出的分布式空间数据共享模型解决了异地空间数据的共享问题, 在此基础上今后将对空间数据异构性进一步进行研究应用。
参考文献
[1]王卷乐.地学数据共享中的元数据标准结构分析与设计[J].地理与地理信息科学, 2005, 25 (1) :16-21.
[2]常原飞, 王伟.城市基础地理信息集成的元数据平台开发[J].遥感学报, 2003 (6) :1-3.
[3]温永宁.基于Web服务的分布式空间数据共享模型[J].计算机工程, 2005, 31 (6) :25-26.
空间数据通信 篇10
数据流 (data stream) 应用的出现引起了国内外专家和学者的关注, 数据流管理技术作为一种新兴的技术已经被广泛的研究, 目前通用的DSMS (data stream management system) 包括Telegraph CQ[1], Aurora[2]和STREAM[3]。
数据流的查询过程是持续的查询 (continuous query) [4], 持续查询所关心的并不是全部的数据, 而是近期最近到达的部分数据, 所以数据流中的持续查询采用滑动窗口 (moving window) 机制, 基于滑动窗口的查询。
本文基于通用流数据库[5,6], 构建一个空间数据流系统模型。在此过程中, 借鉴交通导航应用开展工作。这里的空间流数据库模型系统的主要工作仅包括增加空间数据类型、空间滑动窗口和空间谓词, 为了实现简单易懂的空间连续查询语言, 本文在设计时, 尽量和原有的空间数据库查询语言和连续查询语言做到统一。本文依据标准SQL和CQL设计空间数据类型和空间谓词, 并参考OGIS标准, 尽量不修改原有查询语言的结构, 采用通用的空间数据类型表示方法, 通过增加通用的关键词的方式, 扩展连续查询查询语言。
2 空间数据类型扩展
我们考虑交通导航LBS (Location Based Service) 应用, 在这种应用中, 需要知道移动对象前方道路的交通状况, 根据交通状况选择合适的运行路线。假定每个移动对象每隔30秒向导航服务中心报告移动对象当前的速度和位置信息。前方的交通状况由运行在前方的一定范围的移动对象数量和这些移动对象的平均速度来决定, 数量多并且平均速度小于40km/h就表示交通状况差, 否则交通状况良好。随着移动汽车位置的改变, 其维持的空间查询窗口也在不断的改变位置, 如果设计一种空间滑动窗口, 使之能够随着移动对象的改变而改变, 就可以解决这个问题。
根据例子应用的需要, 拟增加的空间数据类型有Poin和SSwin两种。Point用来表示一个移动对象, 而SSwin用来表示一个空间滑动窗口。
(1) Point[x:float, y:float], 在这里Point表示某个移动对象, 它的值为移动对象的二维空间坐标;
(2) SSwin[Point1, Point2], 表示某一空间滑动窗口, 为了简化问题, 此处的SSwin, 仅表示一个矩形的空间滑动窗口, 由两个Point标识。
3 增加空间滑动窗口查询函数
为了支持空间查询, 需要增加空间谓词和空间函数, 本文需要增加空间函数Inside, 用来判断空间移动物体是否在空间滑动窗口内。
(1) Inside (Obj, SSwin)
这里的SSwin表示空间滑动窗口, Obj表示移动对象位置, 此运算符的结果为整型, 当Obj在SSwin的内部时, 其值为0, 否则, 返回值为1。
(2) 空间滑动窗口的连续查询
通过以上增加了空间数据类型和空间谓词以后, 流数据库可以支持空间滑动窗口的连续查询。粗体字部分表示本文增加的空间谓词:
4 空间滑动窗口查询的实现
本文的空间流数据库模型的实现工作是基于STREAM流数据库管理系统, 通过修改此系统的代码, 实现空间流数据库系统。此系统是斯坦福大学开发的一个的通用的流数据管理模型。此数据库管理系统模型是开放源代码的。它能够处理对多个连续的数据流和存储关系的连续查询。它提供大量的复杂流查询, 用来处理高容量和高突发性的数据流。它提供丰富的连续查询语言, 有良好的交互操作界面。
本文的实现是要在流数据库管理系统的基础上进行扩展, 虽然仅是对原有系统的扩展, 但是需要做的工作仍然涉及到整个数据库管理设计的全过程。一个数据库管理系统的设计包括一系列的阶段, 一般遵循以下的顺序。同时以下这些步骤也是实现此空间流数据库的过程中, 主要的工作:
(1) 生成词法分析树:由抽象的查询语言生成词法分析树, 这个过程是数据流管理系统实现的最初阶段。根据上节定义的空间连续查询语法, 在本文的空间数据流系统中, 用Yacc生成查询语言的语法分析树。
(2) 语义分析:对词法分析树进行语义分析, 将词法分析树转换为系统能够识别的内部表示。这一步生成的语义表示仍然不是一个操作符树。这个过程的设计主要是将空间数据类型和空间谓词转换为系统能够识别的形式, 具体的实现类似于算术表达式的语义转换。
(3) 生成逻辑计划:将查询的内部表示转换为逻辑查询计划。逻辑查询计划由逻辑操作符组成。逻辑操作符大多是关系代数操作符 (比如选择、投影、连接等) , 当然也有一些连续查询特有的操作符 (比如滑动窗口操作符) 。逻辑操作符不需要和查询执行中的操作符有关, 它仅仅是一种关系代数的抽象表示。
(4) 生成物理计划:将逻辑查询计划转换为物理查询计划。物理查询计划中的操作符是直接和在查询执行期间执行的操作符相关的。之所以要生成一个单独的逻辑查询计划, 是因为逻辑查询计划更加容易生成, 而物理查询计划涉及到底层细节。
(5) 查询执行:组织存储空间的分配, 物理操作符的执行等。
5 实验
5.1 LBS运动模型
构造如图1所示的导航应用, 移动汽车每30秒向导航中心报告当前位置信息和行驶速度并且进行空间滑动窗口的聚集查询, 这里我们主要涉及count和avg聚集查询, 分别计算滑动窗口内汽车数量和平均速度。移动汽车根据查询结果了解前方路况, 以起到交通导航的作用。
5.2 输入设计
(1) Mov Car
Mov Car的结构如表1所示。
(2) Spa Sli Window
空间滑动窗口 (Spa Sli Window) 数据流, 该数据流包含空间滑动窗口标志信息和空间滑动窗口位置信息如表2所示。
5.3 空间滑动窗口查询设计
上一节中构造了两个输入数据流, 分别模拟移动汽车信息数据流和空间滑动窗口数据流, 下面编写空间滑动窗口查询的脚本语言, 该查询脚本基于前面分析的简单的交通导航应用以CQL (持续查询语言) 编写, 脚本文件如图2所示。
5.4 结果输出
注册了输入数据流, 并且定义了空间滑动窗口查询之后, 经过我们设计的空间流数据库模型的处理得出图3和图4所示的结果。图3所示导航查询结果, 可以看出, 在61时刻的滑动窗口3内有6辆移动汽车, 汽车平均速度为34.1667km/h, 小于40km/h, 满足查询条件, 由此汽车A得知此刻前方路段交通状况差, 可以采取积极的应对措施, 绕过此拥挤的路段。图4所示每个查询时刻对应空间滑动窗口内的汽车信息, 可以看出, 1时刻的空间滑动窗口内有移动汽车A、B、C、D、E, 31时刻的空间滑动窗口内有移动汽车A、B、C、D, 61时刻的空间滑动窗口内有移动汽车A、B、C、D、E、F, 91时刻的空间滑动窗口内有移动汽车A、B、C, 121时刻的空间滑动窗口内有移动汽车A、C。
6 小结
本文结合交通导航应用对数据流系统进行空间扩展, 扩展了空间点和空间滑动窗口, 及基于空间滑动窗口的查询操作, 并依据数据库的设计步骤, 实现了空间数据流系统。以导航应用为例, 构造了一个基于空间滑动窗口的运动模型, 通过试验分析, 输出的结果均符合我们设计的运动模型。
摘要：数据流系统以连续查询为特点, 连续查询的处理机制能够保证数据处理做到实时处理。但是现有的通用的数据流系统没有对空间数据处理的支持, 而基于位置服务显然是一种需要空间数据处理的应用。本文从支持位置服务的后台数据处理出发, 提出用基于数据流系统的流数据库来支持基于位置服务的数据处理的思想, 并结合当今数据流系统的发展和基于位置的服务的需求, 对数据流系统进行空间扩展, 提出一种空间数据流系统的模型。
关键词：数据流,空间连续查询,LBS
参考文献
[1]Sirish C, Owen C, Amol D, Michael JF, Joseph MH, Wei H, Sailesh K, Samuel RM, Fred R, Mehul AS.TelegraphCQ:Continuous dataflow processing[R].In:Alon YH, ed.Proc.of the2003ACM SIGMOD Int’l Conf.on Management of Data.New York:ACM Press, 2003.668—668.
[2]Daniel JA, Don C, Ugur C, Mitch C, Christian C, Sangdon L, Michael S, Nestime T, Stan Z.Aurora:A new model and architecture for data stream management[J].The Int’l Journal on Very Large Data Bases, 2003, 12 (2) :120—139.
[3]A.Arasu, B.Babcock, S.Babu, M.Datar, K.Ito, I.Nishizawa, J.Rosenstein, and J.Widom.STREAM:The stanford stream data manager[J].IEEE Data Engineering Bulletin, 2003, 26 (1) :19—26.
[4]Shivanath B, Jennifer W.Continuous queries over data streams[J].SIGMOD Record, 2001, 30 (3) :109—120.
[5]姜芳艽.DBMS与DSMS的比较研究.微计算机信息, 2007.2, 3:33-36.
空间数据通信 篇11
关键词:空间影像数据 分块技术 索引 Spatial组件 元数据
中图分类号:P23文献标识码:A文章编号:1674-098X(2012)04(a)-0210-01
1 前言
随着卫星遥感观测、地理信息系统、航空摄影等技术的快速发展,采集高分辨率的空间影像数据不是什么难事。但是影像数据的分辨率越高意味着数据量越大,比如采集相同地段的遥感影像数据时,分辨率越高,需要存储、管理的影象数据量相应越大,它们之间是非线性增长的量化关系。
任何空间影像数据管理系统都将涉及到影像数据的存储、访问、显示、管理等等问题,尤其对于显示模块来说,由于影像数据量巨大,加之计算机系统有限的内存等诸多瓶颈,使得计算机面临着内存供需和影像数据量增长之间的矛盾。因此为了能够实现海量影像数据高效管理,必须在考虑现有计算机软硬件配置的基础上,研发可行的影像数据处理解决方案。一种常规的做法是在软件算法层面探索可行的处理方法,比如中间图像处理技术就是其中的一种。这种中间图像实质是通过和原始图像和最终图像进行交换实现提升计算机图像显示速度的方式来实现的。
事实上,分块技术类似于中间图像技术,分片处理可以将海量的影像数据拆分成很多个数据量相对较小的数据块,通过对这些数据块编号并建立索引的方式,通过检索编号、索引的方式快速检索到各个数据块从而提高访问和管理海量空间影像数据的效率。本文正是在这个基础上探讨了基于Oracle提供的Spatial组件技术实现管理海量空间影像数据的管理。
2 影像数据管理
2.1 Spatial 组件
Oracle公司推出了一种空间数据库组Spatial,是一种用来实现存储、管理空间数据的组件技术。自Oracle9i后,Oracle开始对三维空间影像数据的处理提供了强有力的支持接口。Spatial组件内部包含了元数据表、空间数据字段(简称:SDO_GEOMETRY)和空间索引,为实现空间影像数据和Oracle数据库表的映射奠定基础,Oracle Spatial组件还开放了一系列空间影像数据查询、分析的API接口,这些接口使得用户具备开发三维影像管理系统的能力,比如GIS地理信息系统。Spatial组件的空间数据字段SD_GEOMETRY可以用来存储空间数据,而元数据表则管理包含SDO_GEOMETRY字段的空间数据表;如果有必要,Oracle完全可以采用索引技术(R树索引,四叉树索引)来提高检索速度。Oracle Spatial组件主要可以解决两类问题:一类是满足需要提高Oracle数据库数据检索查询速度的客户;另一种需求是为了提供高效地存储、访问、管理海量空间影像数据库数据的用户。
2.2 空间影像数据库建模
在Oracle数据库中,数据以记录(records)的方式的存储,一条记录对应一个对象实例,比如一幅影像。记录包括基本元素影像数据,当然还有其它的元素:坐标标尺、宽、高。假设我们直接如果将影像数据文件全部存到插数据库表中,这个操作是很简单的,可是传输效率很低,同时很难发挥Oracle提供的多线程并发访问能力。考虑到这些因素,本文采用按照一定的规则对影像进行分块,同时话可以建立数据快的索引,从而为实现并发访问、管理海量影像数据奠定了基础。
2.2.1 数据分块
计算机系统读取图象数据是顺序行的读取。一般情况下,计算机会在顺序读取图像数据并与所需检索的数据进行比较,如果找到所需的数据就停止或到了文件末尾没有找到。可以考虑另外的方法,比如我们编写程序算法,将影像数据文件按照一定的拆分比例分块,程序读取一定长度的数据并存储到缓冲区,以下我们简称中间图像,这时中间图像直接送入处理系统,处理系统将处理完成的信息送到显示系统显示。然后程序继续读取数据,当再一次到达设定长度的一段数据时,再存放到刚才的文件里,这样中间图像里面包含很多数据块,如此反复,就可以按照预定的比例将图象分块了。后面,我们将为这些数据库编号,方便检索。
2.2.2 数据分块
通常分块是有原则的,考虑到计算机的性能问题,比如磁盘读写速度和网络传输延迟,分块过小或过大都会增加数据管理操作(磁盘读写、内存拷贝、网络传输)的时间。其次是对于多分辨率的层次模型, 不规范的分块方式不利于建立影像数据金字塔和索引,一般建议块尺寸取128*128或256*256像素。
2.2.3 影像空间数据文件索引的建立与检索
空间影像数据的数据量日益增长,为了提高空间影像管理系统的性能和速度,通常将整幅图像划分为较小的数据块,每个块在整个图像中有位置标示,将每个小块的数据和位置标识存储起来,这样就建立了数据块的空间索引数据库了,方便快速定位图像数据。
2.3 数据库建模
2.3.1 影像数据建模
为了能使用Oracle数据库存储和管理空间影像数据,需要
用到Spatial组件内部的元数据表,主要用来实现空间影像数据到数据库表的映射。空间影像数据包括图象属性信息描述信息(图象的大小、色彩值)以及图元灰度值(图象数据)。通过对空间影像数据进行数据库建模分析,了解到影像数据主要包括以下元素:影像标识,通常是唯一的,主要用来标识引用影像数据对象;影像类型标识,包含IMG、DEM两种;影像编码,标识影像数据信息;影像数据包括某分辨率下的像素的行数和列数。
2.3.2 数据分块建模
通过分析我们知道影像数据块主要包括以下元素:影像块的数量,表示所分块的数目;影像块标记,用来区分影像块;影像块所在影像的行号;影像块所在影像的列号;影像块的数据。Spatial组件提供了将空间影像数據映射到几何图形元的能力,我们称之为元数据,这种与影像数据相关的几何图形元包括维数、边界等。
2.4 影像空间数据的访问和管理
一方面,通过使用数据分块的策略并结合Oracle数据库Spatial组件现有的内置的元数据库表对影像空间数据和影像空间数据块进行数据库建模,这样可以在Oracle数据库中存储空间影像数据;另一方面,通过使用对影像空间数据块建立索引的方式大大提高Oracle数据库管理影像空间数据的效率。
3 结语
通过上文的论述,证明了分块技术和索引技术可以提高Oracle数据库存储、管理影像空间数据的效率,同时也进一步发掘了Oracle对于海量空间影像数据管理的能力。
参考文献
[1] 钱慎一,张素智.Oracle 11g从入门到精通.中国水利水电出版社.
[2] 刘南,刘仁义.地理信息系统.高等教育出版社.
[3] 汤国安.ARCGIS地理信息系统空间分析实验教程.科学出版社.
[4] 邬伦,刘瑜,张晶,等.地理信息系统-原理、方法和应用[M].北京:科学出版社,2001.
基于栅格数据的空间聚类 篇12
空间聚类是GIS空间分析的主要内容之一,近几年来,随着空间数据挖掘研究的发展,空间聚类对于海量数据处理、大型空间数据库中有用信息和知识的提取等方面具有十分重要的意义。传统观念上,由于矢量数据模型对于现实世界中的抽象描述与表达更符合人的思维习惯,其分析方法自然采用了矢量途径,而对于栅格途径相应的研究及成果却少见;所见的国外文献中,大多限于栅格途径“可行性”的研究,没有对其进行系统、深入的探讨。
传统的空间聚类算法都是基于矢量数据的,矢量空间分析方法具有简单、易操作的特点,但同时存在数据冗余、难以向高维和全形态扩展的缺点,为此本文着重于介绍基于栅格距离变换的空间聚类算法及其在各个领域的应用。
2 基于栅格的空间聚类算法
从空间聚类的算法过程来看,可以分为系统聚类、逐步分解和判别聚类。系统聚类由各点自成一类开始,逐步合并至一个适当的分类数目。与此相反,则为逐步分解。判别聚类是先确定若干聚类中心,然后逐点比较以确定各离散点的归属。从一般聚类的算法特征上看,目前主要有划分法(如K-means、K-medoids等)、层次法(如AGNES、BIRCH_l等)、基于密度的方法(如DBSCAN、DENCLUE等)和基于网格的方法(如STING等)。常用的空间聚类分析统计量有分布密度、相关系数、夹角余弦、指数相似系数、欧氏距离、绝对值距离、切比雪夫距离、兰氏距离、马氏距离、斜交空间距离、非参数方法等l0余种,尤以最短欧氏距离最为常用。本文就简单介绍基于最短欧式聚类的空间聚类栅格算法。
地图代数以栅格点集严密的量度作为其理论和方法论述的起点,来度量空间距离。其距离变换的核心是建立栅格平方平面,坐标值在栅格平面上均为整数,距离值与横纵坐标的平方和为一一映射关系,由于欧式距离需要开平方,为了增加计算精度,用距离平方值代替距离值参与运算。设距离平方值记为Sq D,每个栅格单元的Sq D值需要根据周同的8领域栅格单元的Sq D来判断。这8个栅格单元的Sq D值按图3依次标记为Sq D1,Sq D:,…,Sq D8。
据此其变换的步骤为:
(1)赋所有实体点为0值,并赋所有非实体空间点为一足够大的正数M;(2)顺序访问,即行号由0,l,2,…递增,列号由0,l,2,…递增,按下式改写各点平方值:Sq D(0,0)=0,Sq D(i,j)=MIN(Sq Dl(i,J),Sq D2(i,j),Sq D3(i,j),Sq D4(i,j),Sq D(i,j));(3)逆序访问并改写各点平方值:Sq D(i,j)=MIN(Sqi)5(i,j),Sq D6(i,j),Sq D7(i,j),Sq D8(i,j),Sq D(i,j));(4)改写各点距离平方值为距离值:c(i,j)=INT{[Sq D(i,j)]+0.5}。
经过地图代数栅格距离变换后的整个栅格空间被颜色不同的象素所填充,我们将其称为距离波,用黑线将那些色度值相同的栅格连接起来就构成了等距线。这些等距线与空间点集之间的关系就可以揭示空间聚类过程。经计算过后,各计算点被从最小距离到最大距离之间的间隔为1的等距线包围,然后就可以根据不同的条件(等距线数值)聚类。
3 与其他算法的结合
空间聚类(Spatial Clustering)是空间数据挖掘的重要组成部分,是聚类研究在空间数据分析中的应用.空间聚类应用广泛,如地理信息系统、生态环境、军事、市场分析等领域。通过空间聚类可以从空间数据集中发现隐含的信息或知识,包括空间实体聚集趋势、分布规律和发展变化趋势等。
3.1 研究现状
目前国内外对聚类挖掘算法的研究众多,其中基于网格的聚类算法和基于密度的聚类算法成为聚类算法中最重要的两种方法。
基于网格的聚类方法主要采用网格技术对空间进行划分,以单一的网格对象作为聚类处理目标,忽略其内部的所有数据属性。这样处理的一个突出优点就是速度快、聚类效率高。但是利用网格技术存在的最大问题是没有涉及聚类边界点的处理,可能造成聚类边界对象的丢失,导致聚类精度的降低。
而基于密度的聚类方法是将簇视为对象空间中被低密度区域分割开的高密度对象区域。此方法主要的优点就是可以发现任意形状的类簇,但是对主存要求较高,主要由于在密度聚类过程中对每一个对象必须与其他对象求解其距离。因此,合理地设计出质量精确和时间效率高的聚类算法,成为数据挖掘领域迫切需要解决的问题,也是一个难点问题。
3.2 算法结合
虽然基于栅格的本身隐含了拓扑关系这种特性,避免了很多情况下矢量数据初始化大量的工作,但是现在处理数据还是以矢量较多。我们可以将栅格聚类融于网格聚类和密度聚类中,进一步简化算法。
以密度聚类为例,栅格单元进行局部密度聚类后,生成的局部聚簇,需将原本属于一类的两个不同分区局部聚簇进行聚簇合并。该算法将对每一个栅格单位进行密度聚类,这样对栅格单元中的小数据集进行聚类,大大提高了聚类效率。如果每个栅格单元都进行密度聚类,那么将大大增加聚类时间。因此,引入概念密度阈值DT来计算栅格空间中的密度大小,并衡量是否需要进一步DBSCAN密度聚类。设d维空间的点集P={p1,p2,…,pn},当数据对象pi划分到栅格单元G时,设置一个阈值minpts,若划分到某一栅格单元中的数据量大于或等于minpts,则是高密度栅格单元;反之,则是低密度栅格单元。这个minpts称为密度阈值DT。如果栅格单元中的数据量小于密度阈值时,那么将不进行DBSCAN聚类分析,并将数据对象标记为全局噪声点,这样无须对小数据集进行密度聚类,大大减少了聚类时间,从而降低时间复杂度;反之,若栅格单元中的数据量大于密度阈值时,那么将用DBSCAN对栅格空间进行聚类分析。而实验结果也表明融入栅格技术可以使密度聚类算法获得更高的聚类效率,保留DBSCAN密度聚类算法,可以保证聚类结果的一致性。
4 结束语
空间聚类分析是从总体、全局的角度来描述空间变量和空间物体的特性,在空间数据量日益海量化的现代GIS中,简单、直观进行空间聚类分析具有重要的意义。地图代数以点集变换与运算的代数观念来全面而本质地阐述图形符号的可视化及空间分析。本文只是对栅格数据的空间聚类算法进行初步的介绍,提出将栅格聚类与其他聚类方法融合的思路,寻求优势互补,提高计算的精确度和成功率。
密度聚类的网格聚类的基本单元都可视为点,这为算法互补提供了基础,而栅格距离变换后的特征点、线蕴藏着更深的空间关系,有待进一步地发掘。
参考文献
[1]耿协鹏,胡鹏.基于最短欧式距离的空间点集聚类的栅格算法[J].测绘科学,2008,33(3):35-37.
[2]柳盛,吉根林.空间聚类技术研究综述[J].南京师范大学学报(工程技术版),2010,10(2):57-62.
[3]郭金来,胡鹏.网络最短路径的地图代数栅格算法[J].测绘科学,2007,32(1):109-111.
[4]熊仕勇.一种新型的基于密度和栅格的聚类算法[J].计算机应用研究,2011,28(5):1721-1724.
[5]胡鹏,游涟,杨传勇.地图代数[M].武汉:武汉大学出版社,2001:117—136.
[6]杨帆,米红.一种基于网格的空间聚类方法在区域划分中的应用[J].测绘科学,2007,suppl:66-69.
[4]丁丽萍.Android操作系统的安全性分析[J].信息网络安全,2012,(03):23-26.