动态数据获取

动态数据获取（共8篇）

动态数据获取 篇1

0引言

电子信息技术的出现以及电子商务的发展,给物流行业带来了新的机遇和挑战。与传统的物流过程相比,现在的物流过程加入了更多信息化的元素,提高了物流的生产效率,改进了资源分配和调度管理的科学性,这大大提高了企业竞争力。目前, 很多物流环节仍存在着可提升的空间,如效率不高、监控无效、 资源浪费等。比如,对于物流车辆的监控管理主要还是集中在车辆出发,抵达目的地两个时刻,而忽视了物流车辆运输途中监控的重要性。物流车辆在途的信息管理仍存在很多漏洞,这将导致资源、时间、人力的浪费,应该得到进一步的改善。

1国内现状及系统改进

1. 1国内现状

20世纪80年代,日本和欧洲的一些发达国家已经出现了能够提升车辆运输效率以及安全性的智能系统,90年代,以GPS定位技术为研究热点的智能交通系统得到关注［1］。随着物流行业的发展,智能系统在物流行业中得到广泛的应用,其精确、稳定、透明、高效的优势为物流业带来良好的收益。在我国, 虽然动态实时获取数据的智能系统应用较晚,但目前也得到了应用,大大提升了企业的效率。

目前的物流车辆监控技术主要是基于GSM/GPRS的无线通信技术,在主控端结合地理信息系统( GIS) ,利用GPS技术, 来完成对物流车辆的实时监控、调度以及信息管理［2］。这种技术方案很好的实现了对物流车辆的监控管理,大大提升物流工作效率。但是仍旧存在一些问题: 第一,GPS技术的定位会受到很多外界因素的干扰,比如当电离层,对流层干扰时,就会产生误差。同时,在大城市或者山区里,高层建筑及树木等对信号也会产生影响,用GPS测量,往往出现数据一直处于浮动状态、假固定或者不能固定的情况,这会导致较大的数据误差,这样的定位并不利于控制中心做出正确的决策。第二,GSM/GPRS数据业务的传输速率较低,难以满足越来越大的数据流传输需求。 第三,没有明确的物流车辆在途管理方案,应对紧急状况的能力还不充分。第四,车辆的路径选择主要依靠经验,效率低下,不便于管理。这些问题的存在,将导致信息传递不及时,信息失真, 信息无效,信息不全面等现状,企业需要更加完善的监控系统。

1. 2改进方案特点

本文在现有方案的基础上,提出一种高效、精确、便捷的动态实时获取物流车辆数据系统,提升物流车辆监管的效率,帮助控制中心作出正确的决策,保证物流车辆在途过程中实现路径最优化、路径透明化,减少人力、物力的浪费。

本系统的特点主要体现在以下几个方面: ( 1) 系统利用路径关键点定位数据对车载GPS定位数据进行比对、校正,提升控制中心定位精确度。( 2) 在路径关键点处实现不停车监控、 测速、信息交换,工作效率高。( 3) 物流车辆与监控中心实时信息共享,便于调度、管理、处理应急事件。( 4) 控制中心利用基于蚁群的路径优化算法软件,指导物流车辆选择最优路径。 ( 5) 系统内采用3G网络进行通信,提升系统内通信质量。

2系统总体结构原理及设计

本文所研究系统针对物流车辆进行高效精确的实时动态监控,同时具有对运输路径进行优化指导的功能。该系统中每辆物流车辆都配有GPS车载终端,以便在控制中心及时获取信息对车辆进行定位追踪。同时,在沿途路径关键点安装有RFID读写器采集车辆信息,采集点设有摄像机记录车辆的视频信息, 以备查询,这些数据被实时传送到控制中心管理系统。在控制中心管理系统数据库存有路径关键点的详细位置信息,每当有采集信号传送过来,控制中心管理系统会将此时GPS定位数据与关键点数据进行对比,计算目前GPS定位的精度,并将关键点位置信息存入当前物流车辆位置数据库。整个系统数据交换过程采用3G网络,能极大地增加系统容量,提高通信质量和数据传输速率。在控制中心的远程车辆智能管理系统上,系统可以根据以往的数据反馈,根据将要出发的物流车辆任务需求或者应急事件,由系统的路径优化算法自动模拟生成最优路线,并以此指导出发车辆。该智能管理系统将所有物流信息汇总显示在控制中心的客户端显示屏幕上,实现高效清晰的可视化管理。 该系统整体结构框图如图1所示。

车载终端安放在驾驶室,进行车辆实时定位、位置信息反馈,并且在相连的液晶屏幕上进行实时的路径显示,给驾驶员以最清晰的反馈。物流车辆的信息识别系统由RFID电子标签和路径关键点的RFID固定读写器组成。远程物流车辆智能管理系统控制中心包括: 智能管理系统应用服务器,智能管理系统数据库服务器,管理员客户端以及路径优化算法软件。数据库服务器由多台高性能设备组成,为应用服务器提供数据支持,管理人员通过客户机进行操作管理。

3系统各主要模块设计

动态实时获取物流车辆的数据系统的设计因为新技术的产生而改良,因为企业追求更高的效率而改进。本系统利用了物联网［3］中应用最广的RFID射频识别技术［4，5］,RFID电子标签［6］因其防水、防磁、耐高温、识别距离远、具有穿透性、可重复读写等优势在零售、自动识别、车辆管理等领域得到广泛应用。

本文所设计系统主要由路径关键点、电子标签、车载终端、 控制中心四部分组成。

3. 1路径关键点设计

路径关键点是指在运输路径途中选取一些位置,安装RFID读写器等设备,与物流车辆上的RFID电子标签共同完成物流车辆识别任务。路径关键点的选取原则是: ( 1) 合理的空间布局。保证在关键点采集的信息对物流车辆全程有覆盖性、代表性。( 2) 评估选址状况。分析选址处网络状况,有无收费站,服务站,住宅区等,若网络较差或没有这些设施,应增加关键点。 ( 3) 统计物流车辆流量。应尽量选择车流量较大的主干道。路径关键点主要包括的硬件设备有: 语音提示模块,车辆传感器, 地磁感应线圈,RFID读写器,摄像机,计算机等。

用于标识车辆的RFID电子标签贴于物流车辆上,当带有RFID电子标签的物流车辆进入关键点设置的阅读区域时,首先会有摄像机1记录其进入的影像,语音提示模块会提示司机,车辆传感器识别到车辆进入,在地磁感应线圈的作用下,标签被激活,RFID读写器与电子标签进行远距离无接触信息采集,读写器管理系统将采集到的卡内信息关联到后台数据库进行相应处理,全程不用停车。摄像机2对车辆出入的全过程提供视频监控,以便管理人员进行信息追溯,并可完成测速等附加任务。

RFID读写器设计为固定式读写设备,安装在各关键点监控区域,用于读取标签信息。读写器可以无接触地读取并识别电子标签中所保存的车辆相关数据,从而完成自动识别车辆目标［7］。读写器通过3G无线网络与计算机主机相连,将所读取的标签信息传送给计算机主机并上传至控制中心的数据库中。

控制中心收到关键点返回的信息,在关键点位置数据库中调取该关键点的位置信息,确定物流车辆此时的位置信息,与GPS定位的实时数据进行对比,计算GPS定位精度,并将关键点的精确位置信息存入物流车辆位置数据库。

路径关键点处硬件组成如图2所示。

3. 2电子标签设计

电子标签采用智能可重复擦写的无源微波电子标签,其数据存贮容量一般限定在2 Kbits以内。电子标签附着在车辆上用于标识目标,每个标签都有ID编号,同时电子标签数据区是存放车辆相关数据的,可以进行读写、覆盖、增加的操作。当车辆进入位置关键点的识别范围时,车辆传感器检测到车辆进入, 触发关键点处的射频读写器,地磁感线圈激活电子标签,读写器和电子标签进行数据交换。

电子标签的处理控制单元主要用于密码校验,编程模式检查,数据加密解密,并控制对EEPROM的读写操作。

非接触式读写器,包括调制解调器、MCU、接口电路、天线。 射频识别工作原理如图3所示。

3. 3 GPS车载终端设计

车载终端硬件结构如图4所示。车载终端安放在驾驶室, 进行车辆实时定位、位置信息反馈,并在驾驶室的液晶屏幕上进行实时的路径显示,给驾驶员以最清晰的反馈。车载终端主要包括处理器,GPS模块,无线通讯模块,液晶屏幕,键盘,应急呼叫模块,天线放大器等。

车载终端上的GPS模块主要完成车辆的定位功能,其中GPS模块由变频器、信号通道、微处理器和存储单元组成。主要作用是接收GPS卫星信号并进行计算,以获得当前的经度、纬度坐标,确定目前车辆所处位置。GPS模块将车辆信息实时传送给控制中心的GPS实时控制系统,进行数据存储和比对。

液晶屏幕用于显示当前车辆的实时路径,控制中心发来的提示、警告等。键盘作为驾驶员与控制中心信息交换的输入端, 根据计算机系统设计,完成相应的指令。

应急呼叫模块是双向的,当车辆遇到意外时,司机可以向控制中心及时反馈信息,当控制中心发现问题时,也可以通过该模块迅速给司机进行提示。

3. 4控制中心结构设计

系统控制中心包括: 应用数据库服务器,系统应用服务器, 管理员客户端,路径优化算法软件。

系统应用服务器根据将要发出的物流车辆运输任务,在系统上模拟出该车辆的最佳路线,并反馈给物流车辆,路线可以在车辆上的液晶显示屏幕上直观显示,并且会主动提示司机几个重要的安装有RFID读写器的关键点。物流车辆与控制中心配备通过3G网络连接的通信设备,保证控制中心与车辆及时互动,并当车辆在途中遇到故障等紧急事项时,通过应急呼叫模块传递信息,控制中心能及时做出反应,及时调度。图5为控制中心结构框图。

4基于蚁群算法的实时车辆路径优化软件

1992年M. Dorigo［8］等受蚁群在觅食过程中发现路径的行为启发提出了蚁群算法。多年来世界各地学者对蚁群算法进行了深入研究和应用开发,作为新型启发式算法,蚁群算法现已被广泛应用于数据分析、机器人协作问题求解、电力、通信、水利、 采矿、化工、建筑、交通等领域［9］。蚁群算法快速的寻优能力、 全局优化特性也同样引起了国内学者的广泛关注。

4. 1蚁群算法

基本蚁群算法思路如下:

步骤一: 初始状态放出一群蚂蚁,此时没有信息素,每只蚂蚁会随机的选择一条路径进行搜索;

步骤二: 在下一个状态,每只蚂蚁到达了不同的点,从初始点到这些点之间留下了信息素,蚂蚁继续完成搜索后返回,同时放出下一批蚂蚁,新放出的蚂蚁会根据各条路径上信息素浓度的高低选择搜索路线;

步骤三: 再下一个状态,未被蚂蚁选择或选择较少的路线上的信息素浓度低,而被蚂蚁多次选择的路线上的信息素浓度较高,然后放出新一批蚂蚁重复步骤二;

步骤四: 经过多次迭代,得出一条路径上信息素浓度最高, 这条路线就是算法输出的最优路径。

4. 2蚁群算法的改进

针对物流运输的特点,蚁群算法改进思路主要有三方面的思考: ( 1) 从调度中心配送货物的需求出发,调度中心根据货物配送的需求,在地图上显示出各货物配送地点的信息,综合成本、时间等参数因素; ( 2) 系统在应用蚁群算法实现路径优化调度时可以采用反向搜索的方式,以各配送点的位置为蚁群初始值,向各运输车辆展开局部搜索,从而得到最优调度结果并输出; ( 3) 实际物流车辆的运输状况,会受到路况和车流量的影响。首先需要从官方数据库获得关于路径路况和车流量的初始数据,并建立数据模型进行模拟,通过多次的模拟校正确定每条路径的路径系数r。由于路况和车流量并不是一成不变的,所以需要算法进行不断地模拟校正,以确定适当的路径系数r 。

4. 3蚁群算法的实现

改进蚁群算法实现主要步骤如下:

( 1) 放出第一批蚂蚁进行一次路径搜索,每条路径上有一个初始路径系数r ,计算所有蚂蚁循环路线的总长度,比较得出最短路径长度,输出蚂蚁最优路径;

( 2) 放出第二批蚂蚁,新放出的蚂蚁会按照各条路径上信息素浓度的高低选择搜索路线,同时进行信息素的更新过程;

( 3) 经过多次迭代,寻找信息素浓度最高的路线,这条路线就是算法输出的最优路径。

路径优化算法软件基于改进的蚁群算法思想,利用JAVA程序开发工具进行实现。服务器的软件编写比较复杂,在下层需要与串口通信,接收终端发来的短消息,上层要为用户提供标准的数据库接口,选用Microsoft SQL Server数据库较为合适。

5结语

本文提出的改进方案系统设计,旨在提升物流车辆在途运输实时可监控性、管理调度便捷性透明性、定位信息校正精确性、通信网络稳定性、路径算法优越性等特点,应用在物流行业中,将会大大提升物流运输的效率,降低成本。随着电子商务在我国较快的发展和较大的市场潜力,需要先进的途中物流车辆监控系统［10］。本文所设计的基于RFID技术的实时动态系统将会得到更广泛的应用。

摘要：针对现有的物流车辆监控系统存在效率不高、信息失真、资源浪费等问题,提出一种新的动态实时获取物流车辆数据系统,该系统具有利用路径关键点RFID识别技术和车载终端GPS定位技术共同定位车辆、车载终端与控制中心实时进行数据共享、采用路径优化算法软件、3G网络进行数据传输等特点。经分析验证表明,该系统有效的提升了车辆监控系统的精确性、实时性、高效性。

关键词：RFID,路径关键点,控制中心,蚁群算法

参考文献

[1]胡琨鹏.物流车辆监控系统的研究与设计[D].成都:西南交通大学计算机学院,2010.

[2]胡立栓,项彩虹.基于RFID/GIS/GPS的物流商品监控系统模型研究[J].测绘与空间地理信息,2013,36(s1):128-131,134.

[3]杨慧,丁志刚.一种面向服务的物联网中间件的设计与实现[J].计算机应用与软件,2013,30(5):65-67,121.

[4]Shepard S.RFID:radio frequency identification[M].New York:Mc GrawHill,2005.

[5]陈宇铮,汤仲喆.基于RFID的冷链物流监测系统的设计[J].计算机应用与软件,2013,30(2):263-265,291.

[6]董雪婷,何世伟,申永生.RFID电子标签在集装箱港站中的应用研究[J].物流技术,2012,31(9):375-377.

[7]王利,任伟,冉旭,等.RFID在食品行业中的应用[J].食品工业科技,2009(3):293-294.

[8]Wang Z,Zhang D.A Qo S multicast routing algorithm based on ant colony algorithm[C]//Wireless Communications,Networking and Mobile Computing,2005.Proceedings.2005 International Conference on.IEEE,2005,2:1007-1009.

[9]孙泽宇,魏巍.一种改进蚁群算法组合优化问题的研究[J].计算机仿真,2010,27(8):194-197.

[10]王忠凯,卢选民,林茂宽,等.一种基于RFID的感应式智能语音讲解系统[J].计算机应用与软件,2012,29(6):242-243,270.

动态数据获取 篇2

3.1 用户知识概述

用户知识包括用户的身份、目标、兴趣、系统经验和用户背景知识等。它可通过用户模型来描述，用户模型可以模型化用户的特点、背景知识和经验，使用特定知识获取方法识别和描述用户的各种特征。用户模型可提高人机交互能力，解释和评价系统的执行，使系统发挥主动作用；改进整个系统的执行性能，如帮助识别用户的信息需求；增强系统的灵活性，适用于各类用户。

3.2 用户知识获取方法

用户知识获取有3种基本方式：通过观察获取信息，即观察用户与系统交互中的行为、使用的系统命令和参数；从观察到的事实进行推理，获得未知的信息；从已知实例集合，执行基于实例的推理，激发原型库中的模型，推导出当前用户的初始模型。随着数据挖掘技术的应用，有以下几种常用的知识获取方法。

3.2.1 用户知识的关联分析 对用户数据的挖掘有两方面的内容：一是如何提取用户的信息需求；二是获得用户需求的数据后，如何利用数据挖掘技术对这些数据进行处理，以获取潜在知识及为用户所用。关联分析法的一个主要应用是在零售业，比如在超级市场的销售管理中，条码技术的发展使得数据的收集变得更容易、更快捷，从而存储了大量交易资料。关联规则就是辨别在这些交易项目之间是否存在某种关联关系。例如：关联规则可以表示“购买了项目A和B的顾客中有

95％的人又购买了C和D”。这种关联规则提供的信息可以用作商品销售目录设计、商场布置、生产安排，进行有针对性的市场营销。在搜索页面的设计中也可运用用户的点击率、内容及相关页面，了解用户的偏好和习惯，并用关联分析的方法来获取潜在用户知识，这有助于决定搜索页面的设计和相关知识的链接。

3.2.2 组合分析法 由于用户的兴趣是时常变化的，用户行为信息所反映的用户信息需求往往是多条线索混合在一起，这给识别信息需求带来了很大的困难。这种问题的解决，一般需要预先指定一个主题，但这就增加了用户的负担，而且仅用关联法也很难全面获得用户相关信息。人工神经元网络和决策树的方法结合起来能较好地从相关性不强的多变量中选出重要的变量，并从中分析出用户的需求偏好，服务器可根据用户的需求偏好进行主动信息推荐。

3.2.3 分类填表法 用户知识可以由用户主动填写表格来获取，用户设定信息需求可以通过设定关键词或主题词来完成。分类填表法可将用户的信息需求较客观地表达出来。表格的设计可以采用预先分类的方法，将用户的记录分配到已定义好的类中去，从而构造出用户信息的分类模型，利用此模型可将用户数据库中的数据映射到相应的子集中，进行数据预测。这是一种简单实用的方法，但不足之处是难以制作一个完整的分类调查表，将用户的真实意图全部表达出来。

3.2.4 智能代理方法 现在常用的浏览器中，有一个历史菜单栏，当用户在地址栏中输入网址进行浏览时，系统会自动将这个网址记录下来，作为上网的历史记录存放在系统中，方便用户以后使用。这些浏览历史反映了一定时期内用户在网上的信息利用情况，是用于分析用户的信息偏好，确定用户信息需求的一个很好的依据。

利用智能代理（Intelligent  Agent）监视用户信息查询过程，是自动获取用户信息需求的一种方法。其方法是在用户的终端上运行一个监视的信息代理（Information  Agent），信息代理将用户和浏览时的相关信息不断传送给远端的服务器，服务器将信息进行数据取样和数据调整，利用强大的搜索能力和遗传算法反复学习找到最优解，使得用户信息的提取更加量化，问题更加明确。利用用户在浏览器上存储的书签（Bookmark）获得用户信息需求的方法属于“监视用户”类。在Bookmark中存储的信息往往是用户最关心的，需要记录下来以便以后再读。用户还可以对Bookmark进行多级目录管理，不同的目录反映其不同的兴趣。相对浏览历史记录而言，Bookmark对考查用户的信息需求更有价值。如果说浏览历史只是一种对上网情况的“自然”记录的话，那么Bookmark却是用户对历史记录进行比较、筛选后的结果，是用户眼中的网址精华，因而能更有效、更准确地反映用户的需求，而且它的组织性要比浏览历史好得多，更便于进行有效的分析。Bookmark系统采用HTTP协议实现信息的自动搜集。系统通过监测用户信息记录获得信息需求，信息分类器对搜索来的信息进行自动分类，装入信息数据库；信息过滤器根据用户提出的信息推荐请求，对数据库中的信息进行过滤并将合适的信息提交给用户；信息评价器根据用户对推荐信息作出的评价对系统进行优化。运行结果表明Bookmark系统具有良好的信息记录、推荐和共享功能。

4 结束语

数据挖掘技术及其应用是目前国际上的一个研究热点，并在许多行业中得到了很好的应用，尤其是在市场营销中获得了成功，初步体现了其优越性和发展潜力。在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。

【参考文献】

1 张玉峰.智能情报系统.武汉：武汉大学出版社，1991

2 冯萍，宣慧玉.数据挖掘技术及其在营销中的应用.北京轻工业学院学报，（1）

3 郝先臣等.数据挖掘工具和应用中的问题.东北大学学报（自然科学版），2001（2）

4 刘海虹，刘伯萤.数据挖掘技术.丹东纺专学报，2001（1）

动态数据获取 篇3

静态SQL是指直接内嵌到PC源程序中的SQL语句，在编写数据库应用程序时，完成固定的或特定的任务。

某些应用中，对数据库作何种操作或这种操作的先决条件在编译时还不明确，必须在程序运行时构造(或接收)和处理各种各样的SQL语句。这时，语句的构成在程序运行前是不知道的，并且这类语句每次执行都可能有变化，这类SQL语句的编程就要用到动态SQL方法。动态SQL方法是一种先进的程序设计技术，不仅能增加应用程序的功能还能提高其灵活性。一般情况下，程序中若SQL语句的文本(即命令、子旬)、宿主变量的数据类型、宿主变量个数或引用的数据库对象等有一种情况不知道时，就需要用动态SQL方法来设计。

动态SQL语句共有四种，一、处理不包含宿主变量的动态SQL语句。二、处理输入宿主变量个数和类型已经确定的动态SQL语句。三、处理选择列表和输入宿主变量个数已经确定的SQL语句，其中选择列表项是指SELECT语句的列或表达式。四、动态SQL是一种更加复杂的程序设计技术，既适用于各种S0L语句，又与一、二、三相比有两个突出的不同：(1)第四种的动态S0L语句不但包含选择表项或虚拟输入宿主变量，而且它们的个数或数据类型在编译时还不知道;(2)在其它方法中，Oracle和C之间的数据类型转换是自动实现的。而在方法四中，无法实现自动数据转换，需要由程序控制数据类型之间的转换。这样，针对每张表的可能操作(例如：插入、修改、删除等)，分别构造一个灵活的SQL语句，这样就可通过第四种动态SQL方法来实现一个基于ORACLE数据库的数据获取。

1 动态方法四编程技术

方法四在编码上存在一定难度性，其动态语句中包含有选择表项或虚拟输入宿主变量，且其个数、类型直到语句执行前可能都不知道，因而在预编译时无法实现存储空间的分配以保存SQL语句中输入或输出宿主变量的值，也无法实现数据类型的自动转换，所以，ORACLE要求编程者提供选择表项和实输入宿主变量个数，名字最大长度，数据类型，及每一个输出宿主的内存单元地址。在Oracle Database 8i之前，为了处理复杂，灵活的SQL语句，必须使用Oracle动态方法四，但这种动态SQL方法不支持对象类型、游标变量、结构数组、DML返回子句以及LOB类型，从Oracle Database 8i开始，Oracle提供了新的动态SQL处理方法---ANSI动态SQL方法四，因此本文采用ANSI动态SQL方法四进行相应的研究。

具体实现步骤

当使用ANSI动态SQL方法时，需要分配SQL描述区。SQL描述区包括输入描述区和输出描述区，其中输入描述区用于存放绑定变量的信息，输出描述区用于存放选择列表项的信息。

1)分配输入描述区和输出描述区

2)准备SQL语句并定义游标

3)处理绑定变量

4)打开游标

打开游标时ORACLE会将查询结果放入到游标结果集中，然后通过下一步获取数据

如果SQL语句是SELECT，调用process_output()返回查询结果，否则结束语句处理

EXEC SQL OPEN C USING DESCRIPTOR'输入描述区';

5)处理查询结果

6)释放内存并关闭游标

2 ANSI动态SQL四编程实例

1)创建数据库表

2)设置预编译选项

预编译PC源程序，将内嵌SQL代码转换为对SQLLIB运行库的调用，最终生成C语言程序

3)运行结果如下图

3 结束语

利用动态方法四编程非常灵活.对数据库的任何操作几乎都可以用这种方法来完成。在存储过程或函数中使用动态SQL语句将会大大提高程序的性能.并增加其灵活性.同时可以执行各种类型的SQL语句。从理论上讲，对动态方法四的理解相对比较困难但我们可以不必理会ORACLE内部的操作细节，只需要对本程序中的动态SQL语句的构造函数和查询结果格式化函数按实际要求作必要的修改，将此程序移植到其它应用程序是完全可行的。

参考文献

[1]黄河.Oracle9i数据库系统培训教程[M].北京:清华大学出版社,2002.

[2]王海亮.精通Oracle10g Pro*c/c++编程[M].北京:中国水利水电出版社,2005.

[3]彭晖.Oracle9i PL/SQL开发人员指南[M].北京:清华大学出版社,2004.

动态数据获取 篇4

关键词：Authorware,判断分支结构,函数,记事本,动态随机

0 引 言

Authorware是美国的Macromedia公司于1991年10月推出的一款用于交互式多媒体制作的软件[1]。它使用基于图标和流程线组成的流程图, 能够清晰地将结构复杂的多媒体程序设计思想和程序结构直观地表达出来, 加之丰富的系统函数和系统变量, 使多媒体创作更加灵活和多样[2]。使用Authorware在制作多媒体作品时经常需要实现随机、动态地加载文本信息, 并达到滚动显示的效果。通常人们只是单纯地使用判断图标中随机分支类型, 来解决这一问题, 存在局限与不足。本文将结合抽奖游戏实例, 提出基于Authorware顺序判断分支结构以及外部文件引入技术[3]实现动态显示、随机获取信息的简化方法。

1 使用关键技术介绍

1.1 判断分支结构

判断分支结构由一个判断图标及其右侧的多条分支流程构成, 如图1所示。

判断图标自身内部不包含任何内容, 只包含一些控制。使用它时, 必须有图标挂接在它的右侧, 其功能是为应用程序设置分支路径, 由程序的判断分支结构来自动决定执行哪一个分支。也就是让程序做一个判断或决定, 在当前这个程序结点之后, 怎样运行后面的程序[4]。使用判断图标可以解决类似于C语言编程方面的IF结构、For结构或Switch结构。

在Authorware中, 判断分支结构分为顺序分支结构、随机分支结构、随机执行未用分支结构、计算分支结构4种。通过对判断图标的属性进行设置来选择不同的分支结构。它们的作用和意义如表1所示[2]。

1.2 函数

Authorware中变量和函数是实现一些复杂功能所不能缺少的, 如动态控制显示的内容、操作数据库等[5]。本文通过使用计算图标及相关函数实现引入外部文本内容。随机读取文本信息, 循环执行判断结构分支等功能。

2 设计思路与制作过程

下面通过应用举例, 介绍抽奖游戏制作过程, 来诠释基于Authorware顺序判断分支结构, 动态显示, 并随机获取文本信息的简化方法。图2为抽奖游戏工作流程图。

2.1 构建用于动态显示的“数据库”

为了提高Authorware设计作品的功能, 经常要用到数据库。通常做法是先在Authorware中注册数据库, 也就是定义数据源[6], 然后由应用程序用结构化查询语言SQL访问数据库管理系统[7]。

上述的方法虽然不错, 但操作起来比较麻烦, 可以考虑运用多种手段拓展Authorware系统功能以解决数据库问题, 即实现了增强软件的表现力, 操作起来又方便可行。

本文采用记事本模拟数据库, 来支持数据库操作。新建一个记事本文档database, 在其中输入若干个获奖号码, 每一行为一个号码, 如图3所示。

2.2 读取“数据库”中的所有文本信息

在命名为“初始化”的计算图标中, 使用Authorware提供给用户的系统函数string:=ReadExtFile ("filename") [8], 读取“数据库”中的所有文本信息。函数中ReadExtFile用来读取指定的文件中的内容, 并以字符串的形式返回文件的内容。ReadExtFile只能读ASCⅡ (纯文本) 文件, filename指定的URL地址必须完整。代码为string:=ReadExtFile ("database.txt") , string中包含记事本中的所有信息, 为动态获取作准备, 图4为计算图标中用于读取外部文本文档信息的代码。

2.3 构建随机加载文本信息的顺序分支结构

传统使用判断结构时, 要想随机运行某一个分支, 通常将分支结构设计为“随机分支结构”类型, 该方法需要制作若干个分支流程, 并在每一个分支流程中分别放入不同的显示信息, 通过随机执行多个分支, 来实现信息的滚动显示与随机读取。而在具体操作中一个分支结构中不便于加载过多的分支流程, 这主要考虑到既增加程序负担, 使得程序变得冗余, 同时制作起来也相当麻烦, 如果滚动显示信息内容较多, 该方法很难实现, 而且其数据的处理过程其实是静态的、有限的, 存在一定的缺陷与不足。

因此本文采用较为简便的顺序分支结构[9], 并结合使用Authorware中的系统函数, 动态的加载信息。具体设计为:

在程序中添加一个判断图标, 设置分支属性为“顺序分支路径”, 设置重复属性为“直到单击鼠标或按任意键”, 并以2个群组图标作为分支结构的2个分支路径, 用于随机加载文本信息的顺序分支结构流程图及各分支代码, 如图5所示。

2.3.1 分支1

第一个分支用来随机获取一个号码, 并将其显示出来, 通过调用系统函数number:=Random (min, max, units) 和resultString:=GetLine ("string", n[, m, delim]) 来实现[10]。

number:=Random (min, max, units) 函数获得一个min和max之间的随机值, units为间隔单位。本文中min, max, units分别代表“数据库”记事本database中最小行数的标号、最大行数的标号、以及随机获取最小到最大行数的标号时一次间隔的单位行数, 代码为pointer:=Random (1, 20, 1) , 得到的pointer为记事本database中的某一行的行标, 如图5所示。

resultString:=GetLine ("string", n[, m, delim])

函数的作用为从字符串string中取回第n行。如果既指定n, 又指定m, 即取回第n行的第m项。在缺省情况下, 每一行用回车符分开, 如果使用了不同的分隔符 (如Tab符) , 则使用delim参数。通过使用该函数, 并结合前面读取的“数据库”中的所有文本信息string以及随机生成的行标pointer, 将得到一个获奖号码number, 其代码为number:=GetLine (string, pointer) , 如图5所示。

2.3.2 分支2

第2个分支功能主要是保证循环执行第1个判断分支, 以使得号码能够随机滚动显示。调用系统函数GoTo (IconID@"IconTitle") [10], 当Authorware遇见GoTo语句时, 它将跳转到命名为“IconTitle”的图标继续执行。在第二个分支中加载命名为“goto”的计算图标, 添加的代码如图5所示。

2.4 显示最终中奖号码

在程序的最后加载命名为“最终显示中奖号码”的显示图标, 并在其中输入代码{number}, 如图5所示。当单击鼠标或按任意键时, 程序将退出执行整个判断结构, 执行主流程线上该显示图标, 以显示中奖号码。

以上是引入实例的设计思路及制作关键环节, 其功能模型如图6所示。

3 结 语

综上所述, 文中提到的动态有两方面的意义, 一方面是内容上的动态, 也就是在Authorware中实现文字、符号的读/写, 实例采用记事本模拟数据库, 将所有要显示的信息存入文本文档中, 通过使用系统函数ReadExtFile支持对外部文件的嵌入, 实现文本文档的读/写。另一方面信息的显示方式是动态的, 通过循环执行判断分支, 使文本呈现滚动的、变化的效果, 就形成了形式上的动态。

经过实际运行检验, 证明上述方法有效地简化了传统的制作方法。根据该方法开发出的程序可以作为独立的模块移植应用到需要类似功能的程序中, 可大大简化、缩短Authorware程序的开发时间。本文重在原理介绍及逻辑实现, 程序内容和画面的背景、按钮等, 可以视具体情况加以应用。

参考文献

[1]张青.Authorware多媒体课件的制作[J].青海大学学报:自然科学版, 2001, 19 (4) :102-103.

[2]陈冠雄, 李光群.Authorware多媒体制作教程[M].北京:清华大学出版社, 2006.

[3]吴海莲, 熊俊.多媒体应用程序中快速引用外部文件[J].南昌大学学报:理科版, 2004, 28 (4) :353-355.

[4]宋一兵, 蔡立燕, 王京.Authorware多媒体技术教程[M].北京:人民邮电出版社, 2008.

[5]杨迎新, 郝凤肖.基于Authorware环境的多媒体课件的设计与实现[J].计算机工程与设计, 2004, 25 (9) :1627-1629.

[6]梅申信, 梅林, 王郁葱, 等.Authorware中的ODBC技术[J].安徽农业大学学报, 2003, 30 (2) :213-216.

[7]梁培文, 叶小平, 周奇.基于Authorware实现的多媒体数据库管理系统的研究[J].中山大学学报:自然科学版, 2008 (Z) :11-13.

[8]梅申信, 梅林.Authorware中的函数使用[J].安徽农业大学学报, 2004, 31 (2) :242-245.

[9]钟玉, 沈洪, 刘晓颖.多媒体应用设计师教程[M].北京:清华大学出版社, 2004.

[10]毕广吉.Authorware变量、函数、控件手册与使用[M].北京:电子工业出版社, 2003.

城市居民个体属性数据获取方法 篇5

传统的交通规划方法已经越来越无法满足日益增长的城市交通需求,基于活动的交通需求预测模型逐渐成为交通规划的新方法。这类微观层次的模型需要居民的个体属性作为输入,而这类数据在我国面临着数据稀缺的制约。考虑到居民隐私安全的因素,很多统计部门的居民个体属性数据不对外公开,仅仅公开集计的统计数据,而为了获取非集计的个体数据进行大规模的调查,会耗费极大的人力物力财力。笔者引入基于IPU算法[1](iterative proportional update)的城市居民个体属性仿真方法。以绵阳市为案例,根据国内现有的数据环境,对居民个体属性分布数据获取方法进行了探索。所研究的方法可以填补国内在居民个体属性获取研究上的空白,成功地将我国宏观统计数据和小规模的居民出行调查数据生成适合IPF算法的输入数据,得到每个城市居民的详细属性,并对生成的数据进行精度评价。

这类属性数据是MATSim所必需的输入数据。基于该软件平台,可以实现大规模交通网络的多种交通方式仿真[2]。在MATSim中,每个a-gent都有自己的活动计划,他们对自己的活动链进行排序,排序的依据是计算每个活动的效用值,计算方法遵从微观经济学原理[3]。

在国外,居民属性生成的发展经历3 个阶段[4]。

第1阶段,用传统的IPF算法直接生成agent属性。1940年,由Deming和Stephen[5,6]首先提出了迭代比例拟合算法(iterative proportional fitting,IPF),利用已知的源列联表生成符合一定边缘分布的高维列联表。Mosteller[7]证明了源列联表(样本数据)对生成目标矩阵的重要性,最终得到的目标矩阵的分布与源数据的分布的内在机制是一致的。Ireland和Kullback[8]也指出,由IPF算法得到的列联表与真实列联表的偏差信息是最小的,也称为“相对熵(relative entropy)”最小。Little和Wu[9]从理论上证明了IPF算法得到的列联表是真实列联表的最大似然估计值。Beckman等人将IPF算法引入agent合成领域,并用于TRANSIMS软件的算法[10]。

第2阶段,利用调整权重法生成agent属性。该方法适用于属性数量较多的情况;同时生成代表家庭与个人的agent。由Williamson等[11]提出了调整权重法(reweight approach)以代替传统的IPF算法,利用最优化算法不断迭代过程中调整每行的权重值。

第3 阶段,由Arentze等[12]提出另一种算法。利用关系矩阵将个人的属性分布转化为家庭的属性分布,从而同时满足家庭与个人的仿真精度需要。Ye等在前人研究的基础上进一步改进,提出了一种启发式算法(iterative proportional updating,IPU),这种算法基于不断地调整家庭数据的权重值,使得所有家庭包含的个人属性信息也尽量接近实际的分布情况。

近年来有一些学者研究其他类型的算法,Si-varamakrishnan[13]提出了一种新的FBS算法,并与IPF算法进行了比较。Jooyoung Kim等[14]提出基于模拟退火算法(SA)的方法,可以避免IPF算法中的稀疏矩阵问题。Johan Barthelemy等[15]研究如何在没有样本数据的前提下进行居民属性获取,并在比利时435万家庭,1 000万人口的数据环境下进行了实证。

国内在获取城市居民属性数据方法方面的研究较少,龙瀛[16]等提出了一种居民属性反演方法,该方法主要采用蒙特卡洛随机模拟的方法,与IPF算法相比,其数学模型比较简单,缺乏对各类属性之间的相互影响关系的分析。

1 数学模型

1.1 已知数据

合成活动模型的个体属性时,主要问题和难点在于如何在已知的宏观数据基础上进行分解反演。个体样本一般具有相应的社会、经济等方面的基本属性,例如,人口样本的年龄、收入、教育程度、职业等属性[13],家庭样本的家庭成员数量、收入、地址等属性。首先,必须选择一组感兴趣的人口统计学变量,例如家庭人口数、年龄、性别、收入、汽车保有量、工作地点等。这些人口统计数据一般从不同的数据源获取,尤其是家庭或个体的居住地信息。不同来源的数据,其空间尺度可能是乡镇、街道办、居委会,甚至是确切的坐标信息。要获得能输入个体获得模型的数据,必须要对已知数据进行处理。

一般已知的数据包括:(1)官方的统计数据,如人口普查、统计年鉴数据等;(2)抽样调查数据,如居民出行调查数据等。前者可以作为合成模拟人口的列联表边缘分布数据,后者可以作为合成人口的迭代初始数据。表1、表2 为部分居民属性边缘分布的列表和抽样样本数据示例。

人

1.2 IPF算法

迭代比例拟合算法(iterative proportional fitting,IPF)最早由Deming和Stephen提出,用于求解已知边缘分布的列联表。利用IPF算法合成人口的传统方法包括两个步骤:(1)通过已有边缘分布数据和抽样数据合成个体属性的联合分布;(2)根据联合分布从样本数据中抽取对应属性的个体样本作为最终的人口。

这里以二维列联表为例说明IPF算法。要由表1得到表2,实际上可以把问题简化为如图1所示的问题,已知数据是样本的属性边缘分布(ni·和n·j)和联合分布(nij),总体的边缘分布(Ni·和N·j),需要求解的是总体的属性联合分布(Nij)。矩阵nij归一化后得到Πij,它们之间的关系如下。

式中:ni·和n·j表示二维列联表的边缘分布。

二维列联表的一次迭代分为2个步骤

式中:πij(0)为初始迭代数据,即图1中的πij矩阵。可以获取的一些样本数据,如居民出行调查数据得到。

1.3 改进的IPU算法

IPF算法虽然在精度和运算速度上满足需求,但是只能单独生成家庭或者个人的属性分布。IPU算法则可以以同时满足家庭和个人的合成要求。IPU算法的思路是每个家庭属性类型都有相应的权重,将家庭的权重在个人属性分布的基础上进行调整,可以使各类型家庭的权重与个人的权重同时得到满足。IPU算法的数据结构见表5。

纵向每一列数据表示家庭的ID、权重、家庭属性类型、个人属性类型;横向则是样本中的单个家庭。IPU算法实际上是将属性列联表的每个单元格作为独立的一列,且将家庭和个人的属性同时进行迭代。具体步骤如下。

1)生成如表3的N×m的频数矩阵D。N为样本中的家庭数量;m为家庭属性类型和个人属性类型。矩阵中的每个元素dij为家庭i的第j个属性类型的属性值。例如,d11为家庭ID为1的家庭,其家庭属性类型1的值为1。

2)根据IPF算法得到各个属性类型的分布Cj,j为各个属性类型的编号,j = 1,2,…,m 。Cj也是算法中的约束条件。

3)为样本中各个家庭的初始权重wj赋值,令所有wj= 1;同时令拟合优度变量

4)令r=1,表示迭代的次数。

5)令向量Sj为第j列不为0的行号,例如,表3第一列household type 1中,不为0 的行号为1,2,因此S1包括1和2。

6)令k=1,表示第k个修正的约束条件。

7)计算第k列的修正系数

8)对第k个属性类型的权重进行修正wsqk=ρwsqk。

9)k=k+1。

10)判断若k≤m,则转向步骤7;否则转向步骤10。

11)更新 δprgv= δ,计算新的

12)计算拟合优度提升值=|δ-δprgv。

13)r=r+1,更新δmin。若Δ>ε,则转向步骤6;否则结束算法。

得到的权重值如表5最右列所示,表示各个样本家庭的权重分布。在最终挑选被选入仿真结果的家庭时,遵从以下规则:属性组合严格相符的家庭,按照权重值的大小,随机选入最终结果。若属性组合完全相同的家庭集合为J,其中每个家庭为pj,每个家庭被选择的可能性按下式计算。

2 案例分析———以绵阳为例

采用2010年四川省绵阳市居民出行调查的数据作为IPU算法样本数据。这里仅针对绵阳市区范围,对于境内,外出行和跨境出行暂不考虑,最小空间尺度为居委会。本文在家庭和个人层面主要提取以下属性:年龄、职业、性别、月均家庭总收入、家庭总人口、家庭小汽车数。

IPU算法输入数据包括样本数据和边缘分布数据。

2.1 样本数据

样本中的数据包含涪城区和游仙区共88个居委会,17 738条个人记录,8 933个家庭。原始数据格式见表6。

为满足迭代算法的数据格式要求,需要对原始数据进行处理,包括剔除错误数据和数据格式的整理。

样本的属性可分为连续型和离散型2种,本文中的人口属性中年龄为连续型变量,其他均为离散型变量。在绵阳居民出行调查中,各个属性以整型的字段表示,连续型的变量需要以一定的区间转化为离散型的变量,得到离散的属性值后,根据所属区间,用蒙特卡洛模拟法得到每个居民的连续型变量值。

6种属性的取值范围见表7。

将属性值溢出取值范围的记录删除后,得到的样本量为8 712 条个人记录、4 093 条家庭记录。格式见表8~9。

2.2 边缘分布数据

边缘分布数据分为家庭边缘分布和个人边缘分布两部分。由于我国统计数据的稀疏性,空间尺度上越小,可以获取的数据就越少。本文的边缘分布根据统计年鉴数据得到。格式见表10~表11。

以表10第1条记录为例,这条记录表示编号为1的古泉居委会中性别为男的人口有855人,性别为女的人口有635人;6岁以下人口108人,65岁以上人口为184人,等等。

注:表11中“拥车量”即为前文“家庭小汽车数”,其他变量意义均与前文相同。

2.3 算法运行与结果分析

将以上样本数据与边缘分布数据输入基于IPU算法的软件平台PopGen,得到最终的仿真数据。以1号居委会为例,其中家庭和个人各个属性的边缘分布情况误差见图2~7。

从图中可以看出,除了家庭规模属性分布的2,3,4三组分布有细微偏差,其他属性的各个分组仿真值均与实际值全部吻合。IPU算法在家庭层面很好地模拟了实际的家庭属性分布情况。

从个人层面看,各个属性分布的误差值均大于家庭,这与IPU算法的特性相符。在基于活动的交通需求模型中,一般考虑个人的属性与出行特征的联系,因此采用百分误差APD这个指标来量化个人属性分布的误差值。

式中:j为编号;kj为属性j的第k个取值;n为仿真值;c为实际值。这个指标反映了j属性分布的仿真误差的加权百分误差平均值。APDage均值为12.4%,APDgender均值为11.1%,APDwork均值为13.8%。大多数居委会的误差在20% 以下。有少数居委会的误差值比较大,其原因是人口数据扩样过程中,没有与家庭规模属性之间完全匹配。

绵阳城区总人口约为52万,仿真结果的居民样本总数约49万,总人口数量的误差约在6%左右。部分个人属性的仿真结果见表12。这些属性可以用于基于活动的交通需求预测模型和仿真工具中。

2.4 运行时间

需要仿真的样本数量越大,属性组合越复杂,计算机需要的运行时间会越久。本文中案例在CPU为2.5GHz×2,4G内存的工作站上测试,算法收敛阈值设为0.000 1的情况下,仿真49万的样本所需时间约为250s。这样的运行时间满足一般的工作或研究需要。

3 结束语

IPU算法已经在苏黎世等地得到了实际应用,但是在我国尚未有合适的获取居民属性方法。本文引入了IPU算法,结合我国数据统计的实际情况,应用于绵阳市。在家庭层面,算法的精度和收敛速度均可以满足需求;在个人层面,仿真误差稍大,但绝大多数居委会的个人属性分布精度均在20%以内,均值在11%~13%之间,较好地满足了精度需求。在运算时间方面,生成49万条样本的时间仅仅在250s左右。研究填补了国内在居民属性数据获取方法方面的空白,提出了利用各居委会属性分布的百分误差APD来进行结果精度评价,验证了IPU算法完全可以适用我国的数据环境,对构建各类微观模型具有重要意义。

北京谱仪Ⅲ获取世界最大数据样本 篇6

自2009年北京正负电子对撞机完成重大改造投入运行后, 大型粒子探测器北京谱仪获取物理事例有了极大提高。目前, 实验的国际合作组已拥有世界最大直接产生的J/psi、psi"、psi (3770) 数据样本, “已经进入高能物理研究的‘丰收季节’”。

高能物理的-粲能区是精确检验标准模型理论、寻找新粒子和新物理的重要场所, 也是国际高能物理实验研究竞争的热点之一。据北京谱仪实验国际合作组发言人、北京谱仪物理973首席科学家沈肖雁介绍, 北京正负电子对撞机/北京谱仪是-粲能区具有最高亮度的实验装置。目前, 北京谱仪实验组拥有的J/psi事例已达到12亿, 是美国斯坦福直线加速器中心MARKIII实验的200倍;拥有的psi"事例样本是美国康奈尔大学CLEO实验的20倍;拥有的psi (3770) 事例样本是美国康奈尔大学CLEO实验的3.5倍。“相信拥有这些数据, 我们可以证实以前发现的新粒子, 也会发现一些新的衰变模式和新现象。”

北京谱仪实验是以中科院高能所为基地的大型国际合作实验, 有近300名科学家参与, 其中约2/3是中国科学家。2010年至今, 北京谱仪实验取得了丰硕的物理成果, 累计在美国《物理评论快报》等国际一流学术期刊上发表论文28篇。

浅谈地表3D空间数据获取方法 篇7

关键词：3D,空间数据,获取

空间数据获取是GIS建设与运行的基础。随着现代测绘、地质勘探和地球物理技术的发展, 3D空间数据获取技术不断发展和丰富, 极大地提高了人类认识和掌控自然的能力。现代测量技术的发展, 为人们提供了更多、更方便、更快捷地获取地表3D空间数据的技术方法, 如大地测量与工程测量技术、GPS测量、摄影测量、激光扫描、SAR/InSAR技术等。

1. 大地测量与工程测量技术

大地测量与工程测量技术是空间定位的基本手段之一, 也是迄今为止仍在快速发展的一种手段和方法, 是其他任何手段都无法取代的。利用大地测量和工程测量技术, 人们根据需要, 既可以获得地表点的2D坐标数据, 也可以获得地表点的3D坐标数据。经纬仪、水准仪、全站仪测量以及发展到后来的测量机器人, 都是大地测量与工程测量技术常用的工具和手段。

大地测量与工程测量技术具有布点灵活、精度高、可靠性高、经济性好等优点, 在变形测量领域已获得广泛应用, 在控制测量和工程测量的各个领域的应用前景也极其开阔。

2. GPS测量技术

GPS系统由空间部分、控制部分、用户部分组成。它具有以下优点:采用GPS技术测设方格网, 比常规方法适应性更强;GPS方格网定位精度高、误差分布均匀, 不但能够满足规范要求, 而且具有较大的精度储备;采用GPS方法布设大地控制网, 因其图形强度系数高, 能够有效地提高点位趋近速度;采用GPS—RTK测设建筑方格网与常规测量法相比, 效率可提高—倍以上, 并能大幅度降低作业人员的劳动强度。—个参考站可有多台流动站作业, 流动站不需基准站指挥, 单人即可独立作业。

但是, GPS还有以下不足:首先, GPS系统精确定位的关键就在于对卫星和接收机之间距离的准确计算, 按照固定模式:距离=速度×时间, 时间确定之后, 速度按电磁波的传播速度定。众所周知电磁波在真空中的传播速度很快, 但大气层不是真空状态, 信号要受到电离层和对流层的重重干扰。GPS系统只能对此进行平均计算。其次, GPS测量中所选择的控制点位置的差异直接影响到观测点位的精度。再者, GPS测量更适用于视野开阔、障碍物较少的新区建设、野外勘探定位等, 在老城区的建设中, 使用GPS测量, 或者接收不到信号, 因此所得数据往往误差较大。最后, GPS及其相关技术是一门新兴起的技术, 其运用的规范标准还不够完善, 目前我国还没有颁布统一的地理信息标准, 产品市场没有形成标准, 特别是软件产品没有形成统一的规范, 这还待有关部门进一步研究制定。

在政府管理和民用领域, GPS的导航和动态定位测量等功能得到广泛应用。如在针对各类灾害的预防和快速反应上, 如地震、森林火灾、水灾等, 可以快速确定发灾地点、受灾范围和灾情的发展趋势。在交通、环保、城市规划、水利和旅游等方面GPS获得了广泛的运用。

3. 摄影测量技术

广义的数字摄影测量是指从摄影测量和遥感所获得的数据中, 采集数字化图形或数字化影像, 在计算机中进行各种数值、图形和影像处理, 研究目标的几何和物理特性, 从而获得各种形式的数字产品和可视化产品。

对于大范围的城市三维仿真模型的生产, 基于数字摄影测量的数据获取是相对经济有效的方法。采用数字测量技术, 能够交互式采集包括顶部结构在内的地物表面特征点数据, 进而自动建立三维表面模型。

根据主要建筑物的形态特征, 可以将大多数人工地物分解成特征点、特征线、一般实体、多重实体、具有起算位置的实体、底与顶不一致的实体、球、柱体、凸且内部无起伏的面、一般面、竖直的面等11类最基本的体元进行数据采集, 每一个体元由分类码和用户码进行识别, 由数字摄影测量采集的体元几何特征数据主要是顶部轮廓线, 基于DEM便可创建出体元实体, 有这些体元实体便可以创建任意复杂的实体。

利用数字摄影测量技术生成城市三维仿真模型与其他技术方法相比具有较多优势:

(1) 数据获取速度快、效率高和质量好;

(2) 建筑物高度数据准确, 应用性强;

(3) 地面纹理和建筑顶部纹理都可以直接采用由立体像对生成的测区的正射投影图, 模型的真实性强。

4. 激光扫描测量技术

随着科学技术和社会经济的快速发展, 对快速获取空间目标的3D几何信息提出了新的要求。迅速获取物体的立体信息, 并将其转化为计算机能直接处理的3D数字模型是现代人的追求, 3D激光扫描测量技术应运而生。

激光扫描测量技术的原理是通过主动发射激光信号并测量从被测目标反射回来的激光信号, 来高密度、高精度获取目标体的数字距离信息, 进而得到目标的几何信息。

三维激光扫描测量技术克服了传统测量技术的局限性, 采用非接触主动测量方式直接获取高精度三维数据, 能够对任意物体进行扫描, 且没有白天和黑夜的限制, 快速将现实世界的信息转换成可以处理的数据。它具有扫描速度快、实时性强、精度高、主动性强、全数字特征等特点, 可以极大地降低成本, 节约时间, 而且使用方便, 其输出格式可直接与CAD三维动画等工具软件接口。

三维激光扫描技术的介入促进了应用领域的发展, 同时应用领域的大量需求成为其研究的动力, 三维激光扫描测量技术在测绘领域有广泛的应用。激光扫描技术与惯性导航系统 (INS) 、全球定位系统 (GPS) 、电荷耦合 (CCD) 等技术相结合, 在大范围数字高程模型的高精度实时获取、城市三维模型重建、局部区域的地理信息获取等方面表现出强大的优势, 成为摄影测量与遥感技术的一个重要补充。同时在工程、环境检测和城市建设等方面均有成功的应用实例, 如断面三维测绘, 绘制大比例尺地形图、灾害评估、建立3D城市模型、复杂建筑物施工、大型建筑的变形监测等。

5. SAR与InSAR技术

合成孔径雷达 (SyntheticApertureRadar, SAR) 是一种使用微波探测地表目标的主动式成像传感器, 具有全天候、全天时成像能力, 并能穿透某些地物表面。

合成孔径雷达干涉测量 (InSAR) 利用SAR复图像中含有的相位信息, 通过干涉处理提取目标区域的三维信息, 因此可用于制作地形图、生成高精度的DEM, 是合成孔径雷达 (SAR) 遥感技术的新发展。InSAR通过两副天线同时观测 (单轨模式) , 或两次近似平行的观测 (重复轨道模式) , 获取地面同一地区的SAR单视复数图像对, 由于目标与两天线位置的几何关系, 在复图像上产生了相位差, 形成干涉纹图。干涉纹图中包含了斜距向上的点与两天线位置之差的精确信息。因此, 利用传感器高度、雷达波长、波束视向及天线基线距之间的几何关系, 就可以精确地测量出图像上每一点的三维位置和变化信息。

InSAR技术主要应用于光学遥感图像难以获得的地区 (如热带雨林、火山地区、极地地区等) 进行地形测量, 以建立高精度的DEM, 而广泛应用于生成高精度数字高程模型DEM, 地震灾害检测, 地面变形和位移的监测, 火山监测与灾害评估, 地面沉降监测, 农作物生长监测与生物量统计以及林业、冰川、海洋等领域。

6. 结束语

动态数据获取 篇8

元数据(metadata) 是用户访问和使用数据的依据,元数据管理是数据管理和服务过程中的重要组成部分。海洋领域的观测数据多依赖不同的观测仪器和平台, 往往空间分布零散、时间不连续,对海洋观测数据的管理更是离不开与之对应的元数据。简而言之,元数据是 “描述数据的数据”,它给出了数据的内容、 质量、状况及其他特性的信息。海洋观测元数据与数据本身具有同等重要的意义,清晰完整的元数据可以准确地描述数据的获取信息,有力的保证数据的可追溯性,对于海洋和大气领域的数据交换和科学研究具有极为重要的价值。

海洋学和海洋气象学联合技术委员会(JCOMM)的数据管理协调组(DMCG) 非常重视海洋学和海洋气象学资料元数据信息的管理。在海洋气候学数据管理方面,数据管理协调组曾明确要求海洋气候学专家组(ETMC) 考虑数据获取系统(包括系泊浮标、漂流浮标、 海上平台等)的综合元数据库的开发,该元数据库要用于气候档案库已有的海洋数据获取系统观测数据的充分而准确的解读,以支持全球气候研究以及广泛的海洋气候应用[1]。

2 ODAS元数据管理中心(ODASMS)

2.1建立背景

在2001年6月召开的JCOMM-I第一次会议上,在对JCOMM职权范围的志愿观测船(VOS)、全球温盐剖面计划(GTSPP),以及各类浮标数据的管理活动进行审查之后,委员会决定海洋气候观测的海洋数据获取系统采用由联合国以前的海洋气象委员会(CMM)起草的元数据格式。海洋数据获取系统(ODAS)元数据主要是针对海洋资料获取系统,如系泊浮标、 漂流浮标、海上平台等获取资料的元数据描述, 侧重于描述观测资料的原始特性,尤其是数据本身在采集时的环境特征,如采用的观测平台特征、仪器特征(精度、技术指标、环境和状态等)、数据传输特征、传感器运行环境和参数等。该格式已由数据浮标协调组(DBCP)进行了广泛的审查,并在该小组第八次会议上最终通过。 大会请求JCOMM资料管理协调组(DMCG)负责这项任务的实施。

在2002年3月召开的JCOMM资料管理协调组第一次会议上,小组考虑ODAS的综合元数据库的开发,该元数据库要用于气候档案库已有的ODAS观测数据的充分而准确的解读, 以支持全球气候研究以及广泛的海洋气候应用。 会议指出,为了有效地管理ODAS元数据,充分发挥元数据的作用,并保持元数据格式随观测发展而及时更新,实现使JCOMM元数据的业务化管理和服务,需要尽快成立ODAS元数据管理中心(ODAS Metadata Service)。在这次会议上,国家海洋信息中心代表中国主动承担了ODAS元数据管理中心建设任务。小组要求ODAS元数据管理中心与国际海洋数据交换委员会(IODE) 数据交换技术专家组(GETA- DE)密切协作开展ODAS元数据格式和现有的IODE海洋环境数据目录(MEDI)元数据以及其他几种元数据格式比较研究,并在JCOMM资料工作组的协调下,建立ODAS元数据的管理机制,开展元数据的收集、处理、管理和服务,制订相关标准和代码,为JCOMM数据管理和应用提供元数据信息和相关技术的支持。

多年来,国家海洋信息中心承办的JCOMM元数据管理中心在JCOMM资料工作组的协调下,建立了ODAS元数据的管理机制,制订了相关标准和代码, 开展了多种元数据的收集、 处理、管理和服务工作,为JCOMM数据管理和应用提供元数据信息和相关技术的支持。

2.2 ODAS元数据管理

ODAS元数据管理的目标是实现ODAS数据元数据信息的统一管理,保证ODAS元数据的规范性、完整性、有效性和实时性,为资料用户提供统一的访问平台获取资料元数据信息, 并为访问资料本身提供相关导航服务,提高资料的访问效率、使用效率和准确度。

ODAS元数据管理的主要任务是收集全球范围内的各国资料管理机构、国际组织和国际合作项目获取的海洋资料元数据信息, 以ODAS元数据标准为基础进行海洋资料获取系统元数据的处理和管理,建立元数据库,开发元数据处理、管理和服务相关工具,开展长期的维护和更新;建立和维护ODAS元数据管理服务网站,开展元数据发布服务和导航服务。

ODAS元数据管理工作在JCOMM资料管理组协调下进行, 由指定的国家级资料中心(国家海洋信息中心)建立ODAS元数据管理中心,实施ODAS元数据的统一管理和服务。各部分之间的关系见图1。

JCOMM成员和成员国以及国际组织、国际合作项目应按ODAS标准和ODAS元数据管理中心提供的格式进行海洋资料获取系统的元数据收集和整理,并向ODAS元数据管理中心提供。元数据提供方式有两种:一是形成元数据集(多条元数据形成的文件) 通过发送EMAIL、FTP上传和光盘邮寄等方式到ODAS元数据管理中心;二是通过ODAS元数据服务网站提供的操作工具, 直接输入元数据信息, 传输到ODAS元数据管理中心。

在海洋可扩展标记语言(XML)技术还没有统一标准之前,元数据提供者可以根据自己的具体情况确定统一的格式, 如文本文件(txt)、xls电子表格、word表格或DBF等,但要求格式统一。在解决XML标准之后,将实现XML的统一标准和统一格式。

元数据的提供者也是元数据管理中心的主要用户, 可以通过服务网站实时获取所有的ODAS元数据信息,并实现ODAS资料的导航访问,ODAS管理中心将定期向元数据提供者分发元数据目录(FTP、EMAIL或光盘分发), 一般用户则通过网站享用ODAS的元数据信息, 但在数据导航服务过程中会受到权限的控制。

3 ODAS参考数据格式

ODAS元数据标准是由海洋气候学专家组研究开发,主要是针对海洋资料获取系统,如系泊浮标、漂流浮标、海上平台等获取资料的元数据描述,侧重于描述观测资料的原始特性, 尤其是数据本身在采集时的环境特征,如采用的观测平台特征、仪器特征(精度、技术指标、 环境和状态等)、数据传输特征、传感器运行环境和参数等,所以ODAS元数据适用于实时观测数据的信息描述。

ODAS元数据格式采用两层结构的描述方式(图2)。第一层是标题记录,主要是描述数据集源的总体特征和获取环境;第二层是对各类传感器工作环境的详细描述,不同的传感器有不同的描述方式,而且可以根据观测平台的传感器情况,扩展第二层的记录类型。ODAS元数据格式对各种名称都采用代码方式,需要时可以进行代码的扩充和修改。

根据ODAS元数据格式,ODAS元数据库由12个基表构成, 其中一个为标题信息基表,其余的均为数据信息基表。 各基表中的数据项名称和含义与原格式中的完全一致。 在各基表中仅增加一项唯一标志。本研究中仅给出标题信息表的具体格式(表1), 各数据信息表以其数据要素类型而各不相同, 在此不一一累述。

4 ODAS元数据产品的研制和发布

自2003年至今,国家海洋信息中心一直承担着JCOMM/ODAS元数据管理中心的建设和业务化运行服务的任务。为实现ODAS元数据的有效管理和服务,并保持其连续性,国家海洋信息中心建立了ODAS元数据收集、处理、 管理和服务的业务化运行机制,成立业务化系统建设和运行小组,采用SQL/SERVER关系型数据库管理系统,按照ODAS元数据格式, 设计和建立ODAS元数据库结构,并利用SQL/ SERVER操作工具建立了ODAS元数据库和业务化运行系统。

在ODAS元数据管理方案基础上完成了JCOMM/ODAS元数据管理中心运行方案设计, ODAS元数据信息管理数据库和元数据管理中心网站的设计开发。2004年JCOMM/ODAS元数据管理中心网站正式开通并提供元数据发布和导航服务(www.odas.org)。网站发布内容主要包括:ODAS元数据管理中心介绍;元数据相关标准和格式;元数据库在线查询、检索和浏览,数据导航服务;JCOMM元数据信息管理和服务工作动态;JCOMM成员国相关海洋、 气象网站的友情链接等。

在JCOMM管理委员会的协调和资料管理协调组的支持下,首先将数据浮标协调组(DB- CP) 全球漂流浮标计划的元数据信息由JCOMM海上观测平台支持中心JCOMMOPS通过FTP方式在JCOMM网站发布,每月更新一次。JCOMM/ODAS元数据管理中心在深入研究DBCP元数据和ODAS元数据标准的基础上, 2005年9月,完成DBCP元数据信息提取的详细工作流程设计,同时完成了DBCP元数据信息的下载、质量控制、信息提取和分析软件系统开发,并投入业务化运行,实现了DBCP元数据信息的业务化提取和发布服务。与此同时, 利用中国Argo资料中心的有利条件,进行深入研究之后又成功将Argo浮标观测平台的有关元数据信息进行提取,并针对较为复杂的处理过程程序设计,实现了从Argo浮标观测元数据到ODAS元数据转换的业务化运行,网上发布服务。JCOMM/ODAS元数据管理中心积极扩展元数据信息源, 利用全球海平面观测计划(GLOSS)成员国的有利条件,2007年又完成了从GLOSS资料提取ODAS元数据信息并通过该中心网站发布服务的工作。

目前JCOMM/ODAS元数据管理中心共提取和发布的元数据量已超过1.2万个平台的元数据记录,包括剖面浮标、漂流浮标、锚系浮标和海上平台等。在此基础上,业务化制作和网站动态发布ODAS元数据可视化产品, 包括ODAS最新状态图,ODAS分布图(按国家或观测平台类型分类)等。

5 JCOMM/ODAS元数据管理面临的挑战和机遇

JCOMM/ODAS元数据管理中心旨在收集JCOMM各成员国、国际组织和国际合作计划/ 项目的ODAS元数据,但在运行的多年间一直面临ODAS元数据信息源收集渠道不通畅,元数据信息量不足的问题。至今仅实现了Argo计划的元数据业务化运行;JCOMM DBCP元数据信息业务化运行服务截至2006年2月, 此后DBCP元数据信息源不再更新;GLOSS元数据信息源提取了包括观测平台和仪器特征等信息, 但还没有包括GLOSS计划的较完整系统的元数据信息,收集不够完整,使用价值低。加拿大海洋环境数据中心非漂流ODAS元数据也只有2003年以前的元数据信息。JCOMM-III大会虽然要求成员国提供ODAS元数据, 并明确JCOMM/ODAS元数据管理中心应加大收集相关国际合作项目的元数据信息[2],但到目前为止尚未获取到机会船(SOOP)、 志愿观测船(VOS)、国际综合海洋大气数据集(ICOADS)、 OceanSITES等JCOMM重要国际合作项目元数据。至今没有JCOMM成员及成员国向JCOMM/ODAS元数据管理中心提供水温仪器元数据,也没有收集到水温以外的其他要素的元数据信息。JCOMM第三次大会形成了有利于ODAS元数据发展的建议,但实施起来仍然有一定的难度,因此,上述存在的问题仍未得到有效解决。

2011年,JCOMM提出了一个新的设想, 即发展一个全球范围的海洋气候数据系统(MCDS)[3],将全球的海洋气象和海洋气候数据有效整合起来,并通过建立10个左右的全球海洋和海洋气象资料中心(CMOC) 来实现数据和数据产品的业务化处理和发布服务。 根据JCOMM新提出的海洋气候数据系统10年规划, JCOMM/ODAS元数据服务系统(ODASMS) 已经成为MCDS的重要组成部分,并已提出有意将ODAS元数据管理中心与MCDS的一个全球海洋和海洋气象资料中心合并运行的设想。 2012年2月,国家海洋信息中心正式向联合国教科文组织政府间海洋学委员会提交了志愿承担全球海洋和海洋气象资料中心的承诺声明[4]。 在2012年5月的JCOMM第四次大会上,委员会宣布ODASMS计划停止,并同意国家海洋信息中心作为CMOC中心试运行,将原ODAS元数据工作并入CMOC中心一并运行[5]。这一举措,将实现数据和元数据的同时处理和管理, 可以从根本上解决多年来ODASMS的元数据信息源收集、管理和服务的问题。

我们有理由相信,在全球海洋气候数据系统的框架下,ODAS元数据服务将迎来新的春天。元数据管理将得到巩固和流线化发展,其业务服务将通过CMOC网络实现与全球海洋气象和海洋气候数据、元数据、相关产品的直接连接, 真正意义上实现数据与元数据的统一管理。

摘要：海洋元数据的重要性越来越受到全球海洋界的认可。文章介绍了由世界气象组织(WMO)和联合国教科文组织政府间海洋学委员会(IOC)海洋和海洋气象联合技术委员会(JCOMM)发起的海洋数据获取系统(ODAS)元数据服务计划发展始末,及其在新的海洋气候数据系统(MCDS)框架下的未来展望,详细给出了ODAS元数据的标准格式以及国家海洋信息中心作为ODAS元数据管理中心所制作的产品和提供的服务。