海洋环境数据（共7篇）
海洋环境数据 篇1
1 概述
海南省海洋环境预报数据传输网络以同步数字体系为主要组网技术, 建设实时资料传输系统和实时数据广播系统的平台, 在此平台的基础上建设气象、海洋基础资料 (准) 实时接收系统, 风暴潮、海浪灾害会商系统和信息发布系统。
海南省海洋环境预报数据传输网络系统的应用需求主要包括数据传输、视频会议、信息发布、升级与扩展等。根据需要, 设计需求有如下几方面。
1) 数据传输需求
本数据传输系统建设涉及大型分布式数据库和分布式应用系统, 对网络依赖性强, 数据传输量较大, 频率较高, 主要体现为国家、省、市 (县) 三级业务系统之间的数据传输。
2) 视频会议需求
为日常业务提供远程视频会商功能, 进行双向视频等多媒体信息的实时传输, 便于决策指挥信息的及时送达。
3) 信息发布需求
通过网络平台向防灾减灾决策部门提供风暴潮和海浪等灾害预警报信息服务。
4) 升级与扩展需求
随着今后业务的发展, 逐步提供升级和扩展的功能。
2 总体组网方案
本数据传输平台是以同步数字体系线路为骨干的数据传输网络。
同步数字体系 (synchronous digital hierarchy, SDH) 传输网具有路由配置能力智能化、上下电路方便、维护监控管理能力强、光接口标准统一等优点。主干网以SDH 线路组网, 建设一套连接国家海洋预报中心、国家海洋信息中心、国家海洋局南海预报中心的气象、海洋基础资料 (准) 实时接收系统和连接国家海洋预报中心、国家海洋信息中心、国家海洋局南海预报中心及沿海各市县的会商和信息发布系统。同时, 风暴潮、海浪数值预报数据资料的获取也将通过本网络平台实现。
在海南省海洋预报台建设省级中心节点, 通过二层交换机接入三层交换机, 进而接入主干网, 各沿海市县建设视频会议终端, 通过三层交换机接入省级中心节点。
2.1 网络结构
主干网建设采用星型网络结构, 网络拓扑图如图1所示。
2.2IP地址规划
IP地址规划是网络设计过程中的重要环节, 影响到网络路由协议算法的效率、网络的性能、网络的扩展及网络的管理, 也必将直接影响到网络应用的有效实施和进一步拓展。
由于是专用网络, 现在的路由器和交换机等网络设备都支持VLSM/CIDR (可变子网掩码/无类区间路由) , 所有IP地址统一采用10开头的A类私有IP地址 (10.x.x.x) 。路由器ID、路由地址、可网管设备地址、服务器地址和工作人员办公地址等分别使用不同的网段, 便于访问控制[1]6。
3 省级节点组网方案
3.1 网络拓扑
省级节点通过三层交换机接入主干网, 在三层交换机上配置OSPF路由协议, 将中心节点接入主干网之中。其中, 中心节点的内网借助一个二层交换机和三层交换机相连, 进而联接到路由器上, 省级节点内网网关及各虚拟局域网间的访问路由皆由省级节点的路由器完成, 各视频会议终端通过路由器接入省级节点 (图2) 。
3.2 虚拟局域网规划
虚拟局域网 (VLAN) 是一种将局域网 (LAN) 设备从逻辑上划分成一个个网段 (或者说是更小的局域网) , 从而实现虚拟工作组 (单元) 的数据交换技术。规划VLAN的优点在于控制广播域的范围、网络安全、第三层地址的管理和网络资源的集中管理。
为了便于进行网络维护和管理, 省预报台节点内部局域网采用根据网络层定义划分VLAN的动态划分VLAN的方式, 即根据网络层地址 (TCP/IP中的子网段地址) 来确定各网络成员的VLAN的划分[2]。通过二层交换机, 给服务器区、工作站区和网管区等不同的功能区域划分不同的VLAN。
4 网络安全防护
当前常见的网络安全防护系统包括防火墙、入侵检测系统、漏洞扫描系统和病毒防护系统等。
4.1 防火墙
为了保证中心节点网络管理平台内部网络的安全, 在接入路由器前设置一个硬件防火墙, 在硬件防火墙上针对各个功能区域配置相应的访问控制策略, 分别对各功能区域进行快速的流量过滤、访问控制和加密, 防止外部非法用户的侵入以及内部用户的错误操作[1]22。
所部署的硬件防火墙设备应支持分区策略、支持trunk模式、支持基于端口的VLAN划分等特性。
省级中心节点配置的防火墙, 采用包过滤的防火墙策略, 以保证网络高速、安全的运行。
4.2 入侵检测设备
选用基于网络的实时入侵检测产品, 放置在重要网段的关键点, 不停地监视网段中的各个数据包, 对每个数据包或可疑的数据包进行特性分析;所选设备应具备如下基本功能:实时网络数据获取、身份鉴别、规则匹配分析、入侵特征库升级更新、入侵报警、日志和记录查询。
4.3 漏洞扫描设备
选用包括脆弱性扫描、网络旁路检查、系统信息获取、端口和服务扫描和安全趋势分析评估等基本功能的漏洞扫描设备。
4.4 病毒防护
安装用于多个用户的企业版杀毒软件, 为网络用户提供防病毒服务, 用户通过WEB服务器下载并安装杀毒软件。通过一个管理服务器, 所有中心节点内部Windows服务器、工作站以接受管理的方式安装杀毒软件, 病毒库由管理服务器主动下发到各个客户终端。
病毒库升级方面, 可采取手动升级方式, 即管理员下载离线升级包, 手动升级管理服务器的病毒库, 再由管理服务器自动分发病毒库[1]46。
5 结束语
通过SDH组建的海洋环境预报数据传输网络, 将承担起海南省海洋预报台与国家海洋预报中心、国家海洋局南海预报中心、国家海洋信息中心等部门的信息交换、数据获取和视频会商任务, 并可更高效、快捷地为海南省各沿海市县海洋灾害防灾减灾工作提供决策服务。
摘要：介绍海南省海洋环境预报数据传输网络及其构建方案。该网络以同步数字体系为主要组网技术, 建设实时资料传输系统和实时数据广播系统的平台, 在此平台的基础上建设气象、海洋基础资料 (准) 实时接收系统, 风暴潮、海浪灾害会商系统和信息发布系统。
关键词：同步数字体系,主干网,省级节点,网络安全
参考文献
[1]国家海洋局.国家海域使用动态监视监测管理系统数据传输网络建设总体技术方案[S].2008.
[2]李海龙, 沈贤方, 周婕.局域网工程从入门到精通[M].北京:电子工业出版社, 2008:41.
海洋环境数据 篇2
海洋环境数据在线服务系统建设是集海洋科学、地理信息 系统与计 算机科学 的综合性 技术。由于服务对象与服务目的不尽相同,各单位和科研院所建设了许多海洋环境数据和应用系统,这些系统之间不可避免地造成了数据冗余和资源浪费,同时也导致信息孤岛和重复建设等问题,不利于海洋数据的共享与服务[1,2,3,4]。
传统的海洋数据服务一般是专项专建、专人专用,针对人群比较单一、数据类型比较简单,而且在项目结束后通常建设的数据库和应用系统由于没有后期的经费支撑而停用。本研究提出的海洋环境数据在线服务系统(以下简称系统),涵盖了多专项、多学科的数据,在原有数据库、应用系统、专网基础上进行系统集成、数据库扩建,为海洋局属各单位提供共享服务。
系统是运用面向服务架构的设计思想搭建应用系统。采用并行数据库技术实现大数据量的存储、加载、更新、查询等操作,利用ETL调度工具实现源数据库到并行数据库的数据抽取、转换和转载,减少重新建库的工作量。采用虚拟化技术整合存储、服务器、网络资源,建设数据中心集群,提高资源利用率,采用域控管理机制实现数据安全管理,权限管理。采用VPN认证管理机制,保障系统安全正常运转。
2 系统设计
系统通过面向服务的总体架构,以数据的汇集、处理、应用为基础主线,采用高速并行技 术,结合虚拟化技术等先进IT技术,设计系统的逻辑架构、功能架构、物理架构与技术架构。
2.1 逻辑架构
系统总体架框架由数据层、管理层和应用层3部分构成,数据层是指通过对历史收集、专项调查、在线传输等方式收集,采用数据集、数据库方式进行数据存储与管理;管理层是指对使用系统的用户进行统一认证、用户管理、数据授权等实现用户有效可控的管理;应用层是指为用户提供数据的在线查询检索、数据时空分布检索、产品加工处理等应用服务,满足用户多样化的需求。应用层与管理层通过内网和专网访问数据层,实现数据的管理、查询、处理等服务。系统总体逻辑框架如图1所示。
(1)数据层。数据层主要由原始数据、基础数据和成果数据3部分组成。
原始数据是指海洋仪器现场采集的原始资料、现场汇交的纸质或者电子资料等。原始数据采用文件方式存储,基于原始资料清单和数据库文件目录等方式进行管理。类型包括海洋观测原始资料、海洋监测原始资料、专项调查汇交资料等。
基础数据是指对原始数据进行整理、排重、质量控制等处理之后形成的标准化数据。内容主要包括专项调查数据、观测实时资料数据与国际业务化数据等,专项调查数据包括水文、气象等9个学科,观测实时资料数据包括海洋站、雷达、浮标等。基础数据采用数据库存储方式,根据基础数据的资料类型、资料格式、数据观测频率、数据传输频率、数据量等设计数据库结构。
成果数据是指 经过信息 提取、多源数 据融合、数值模型分析、统计分析等手段处理后形成的数据。成果数据由要素数据、成果专题数据、资料目录数据组成,采用数据库存储方式。要素数据是以基础数据为基础,根据数据的专题应用保障和服务需求,按照时间、空间、专题要素等进行组织的数据。成果专题数据主要包括数值型产品和图形产品,涵盖海洋再分析产品、实况分析产品、潮汐预报产品和海洋专题产品等。资料目录数据主要包括原始数据集目录索引、标准数据集目录索引、产品数据目录索引等。
(2)管理层。管理层主要负责系统的用户管理、资源管理、业务流程管理和运行监控管理等内容。用户管理包括用户的创建、更改和删除、角色管理、功能授权与数据授权;资源管理包括目录索引管理、数据导航管理、信息发布管理与信息资源管理;业务流程管理包括数据申请、虚拟机管理、数据审批管理等;运行监控管理包括运行环境监控、数据资源监控与用户行为监控。
(3)应用层。应用层依托于中心内网和海洋专网,基于并行数据库技术和虚拟化技术,实现海洋局属单位间的数据在线服务。应用层主要包括:数据时空分布展示、数据查询检索服务、数据共享虚拟环境、产品制作与产品导出功能。
数据时空分布展示是利用数据的经纬度、时间范围、站次数等关键信息,通过统计计算数据量,依据色彩图例,进行时空分布展示。
数据查询检索服务包括数据库查询检索和数据集查询检索。该服务可提供基于矢量地图及影像地图的地图显示控件的数据查询服务,以及使用关键字对数据进行查询。
产品制作是指 对资料进 行整理、标准 化处理,开展数据识别、解码等预处理操作,利用数据统计分析工具进行产品的加工制作。
产品导出是指对用户加工制作产生的产品成果提供数据的导出功能,实现数据从虚拟机到本机的导出服务。
2.2 物理架构
按照系统设计,对系统运行硬件环境进行搭建,硬件环境涵盖原始数据文件存储区、数据库存储区、数据处理区、数据服务区。按照网络布局可化为中心内网和海洋专网,内网为中心内部用户提供在线服务的入口,专网主要包括海洋观测网、海洋监测网、数字海洋网;数字海洋网为海洋局属单位提供 在线服务 的入口,用户经由 内网/数字海洋网通过VPN身份认证后方可进入用户主页,通过登录进入个人虚拟工作环境 (即用户虚拟机),用户可在虚拟机中对数据进行查询、处理和产品制作(图2)。
系统经由海洋观测网和海洋监测网接 收实时、延时观测和监测的海洋数据,并发送到系统的文件存储区和处理资料临时存储区,由存储管理系统进行数据的接收、存储和管理。利用用户授权管理将数据分发到数据处理用户的虚拟机中。数据处理用户通过中心内网登录到虚拟机后,开展数据整理、标准化处理工作后,将处理结果按照指定的路径存放。由数据传输系统同步传输到产品制作用户的虚拟机中,用户可开展产品加工制作并将成果按照指定的路径存放。最终由数据交换系统存储到统一的资料存储管理区。ETL处理系统经过数据抽取、清洗、转换等处理,将数据处理结果和产品加载入库,最终经由中心内网和海洋专网为海洋局属单位提供数据共享服务。
3 系统功能实现
系统通过用户唯一入口登录,保证数据安全;开发数据处理系统,完成数据格式化转换;利用ETL处理系统,完成并行数据库的数据处理与调度,包括数据抽取、数据转换与清洗及数据加载;开发数据库检索、数据集检索、文件输出审批和文件导出等应用程序;开发系统运行监控管理系统,对系统的运行环境、数据状况和用户行为进行监控和管理。系统主要功能模块如图3所示。
3.1 数据处理分系统
3.1.1 实时数据处理子系统
根据海洋环境数据观测的采集规范和编码规定,对接收、收集和整合的大量海洋调查、业务化观测/监测等资料,按照资料类型、观测仪器、观测手段、要素内容 等特点,开展数据 识别、解码、数字化、数据项检查、代码检查等预处理,按照时间、空间和观测资料类型进行排重、排序和初步质量控制,剔除异常数据,依据数据来源、时间、地点等信息对数据文件进行挑选、过滤、分类存放,同时完善和新建相应的海洋环境数据存储标准,对资料进行标准化格式转换。
3.1.2 历史数据处理子系统
系统根据海洋环境数据观测设备性能、仪器订正参数、资料种类、观测要素类型、观测方式、资料时空分布、要素数据经验范围等特点,配置质量控制参数,采用相应的质量控制方法,对各类海洋环境数据进行精细化的计算机自动质量控制和人工审核。质量控制方法包括范围检验、非法码检验、相关检验、季节性检验、一致性检验、着陆点检验、梯度检验、尖峰检验、气候学检验和极值检验等。
3.2 数据库加载分系统
数据库加载系统包括通用数据库加载系统与并行数据库加载系统。通用数据库加载系统是通过加载文件清单的方式进行数据管理,清单文件是对每类数据的特征描述,包括文件类型、文件名、调查机构、绝对路径、备注等信息,通过一条记录就可以确认数据类型并找到数据存储位置。清单文件的组织结构与数据库表结构一致,且加载系统可实现清单列名与数据库列名对应关系的动态调整,清单配置文件设置完成后,单击上传,将清单的记录入库,加载过程中可通过状态条查看加载进度。
并行数据库加载系统先按照数据库结构利用ETL处理系统通过抽取数据文件的相关信息形成库文件,将库文件存放在规定的目录下,并查看库文件的文件表结构,创建相应的数据库表,创建shell脚本并制定源文件和目标文件,最后写入数据库。
3.3 数据查询检索分系统
系统主要分为两大模块:关键字查询和图形化检索。系统界面左侧显示海洋资料体系结构,右侧用于经纬度区域选择地图和查询结果浏览。用户首先在左侧选择相应的航次,然后在右侧地图圈定需求的区域,再输入关键字,查询该区域的特定信息,或查询特定区域的所有信息,或查询所有区域的特定信息,并能够对查询结果进行统计、排序、固定格式表格的导出。
3.4 运行监控管理分系统
通过建立运行环境监控信息数据库,确定数据库中各类监控信息表、监控要素字段、监控状态字段、表关系和数据字典等,实现运行环境监控、数据监控与用户行为监控的实体建设。
3.4.1 运行环境监控与管理子系统
运行环境监控与管理子系统包括硬件环境监控和软件环境监控两部分。硬件环境监控是通过对系统局域网硬件设备运行的日志信息 进行提取、分析,实现对服务器、存储阵列、交换机、路由器、防火墙等 设备故障 诊断、告警等 功能。软件环境监 控是通过 研制各商 业软件 (操作系统、数据库软件等)与各业务系统(数据处理软件等)运行日志读取接口,实时读取日志信息并加载运行环境监控信息数据库。
3.4.2 数据资源监控与管理子系统
数据资源监控与管理子系统通过对数据汇集状态实时监控,实现信息反馈、到期告警、汇集情况季报与年报输出等功能,实现对海洋数据处理和质量情况的实时监控和预警、数据处理任务。调度管理;通过提取用户登录日志、数据库与数据集访问日志、数据申请信息进行分析,实现数据的服务内容、服务对象、应用领域情况的实时监控。
3.4.3 用户行为监控与管理子系统
用户行为监控与管理子分系统实时对用户的登录、数据资源访问、外部设备使用、软件安装预警和设备接入等行为进行监控,具有终止用户操作、告警提示、季度分析报告输出等功能,在提供用户方便使用的前提下保障系统的稳定运行。
4 关键技术
根据系统总体功能定位,在已有的工作基础之上,以数据的汇集、处理、存储、管理、服务过程为主线,采用操作系统、数据库、数据管理与共享3层软件体系,集成各类 自主研发 功能,构建灵活、稳定的 架构模式。 架构主要 基于虚拟 化技术、并行处 理技术、数据 检索并行 处理技术 与J2EE技术等关键技术。
4.1 虚拟化技术
由于用户对处理器、内存等硬件和操作系统需求不同,用户工作使用的数据处理软件、资料质量控制软件和产品制作软件不尽相同,为满足用户需求,同时提高服务器、存储阵列等资源的利用率,采用服务器虚拟化技术实现满足不同用户需求的虚拟机,同时消除服务器与存储阵列对应用系统的物理局限性。
服务器虚拟化技术是将一个物理服务器虚拟成若干个服务器使用,使得单个物理服务器上可以运行多个虚拟服务器,并对虚拟服务器的硬件资源如处理器、内存、I/O设备等进 行配置管理,提供统一的指令集和设备接口。系统利用服务器虚拟化技术可实现多客户操作系统,不同硬件配置与软件环境的虚拟机,根据用户需求分配相应的虚拟机资源,并可对服务器、存储阵列、虚拟机进行统一的配置和管理。
服务器虚拟化是通过虚拟化软件向上提供对硬件设备的抽象和对虚拟服务器的管理,利用CPU虚拟化、内存虚拟化、设备与I/O虚拟化技术对硬件资源进行虚拟化,采用虚拟机实时迁移技术实现动 态资源整 合。系统选 用VMwareESX Server虚拟化软件,实现对硬件的抽象,资源的分配、调度和管理[5,6]。
4.2 并行处理技术
利用高速并行处理引擎,完成多层次海洋数据体系动态更新的ETL(抽取、转换、加载)并行处理,实现整个系统的数据处理与调度,包括数据抽取、数据传输、数据转换与清洗、数据加载以及调度监控。
4.2.1 数据抽取
数据抽取的方式包括:全表刷新、时间戳增量、日志增量和时间戳比较。系统采用时间戳增量方式完成数据的抽取,时间戳增量方式是通过记录时间将增量数据从源数据抽取出来,以附加的方式加载到高速数据存储中,完成源数据中的记录定期更新。时间戳增量方式是在源系统需要抽取的数据表中增加时间戳字段,用以表示数据的修改或新增时间,在数据抽取时通过它来识别和抽取增量数据。
4.2.2 数据转换
由于海洋数据通过调查、汇交、网载等多种手段获取,每种手段 来源的数 据存在定 义不规范、格式不统一等情况,导致系统的源数据存在重复、错误、格式不一等情况。数 据转换是将多来源、多调查手段、多要素和多格式的数据进行转换,形成格式统一、实用性强的数据存储层。
4.2.3 数据加载
将业务系统和源数据库层抽取、转换后的数据加载、更新到目标数据库中。根据业务数据的实际情况,对不同业务系统的数据采用不同的加载周期;根据数据 的抽取策 略以及业 务规则确定,采用直接追加、全部覆盖、更新追加等多种方式进行处理。
4.2.4 高速并行调度
利用高速并行ETL调度,按照既定 步骤完成数据抽取、转换、加载的全部时间和流程的调度任务。调度 的内容包 括:从各业务 系统到数据层的调度,实现多来源数据的提取、转换和加载;从数据层到数据存储的调度,实现了原始数据、基础数据、产品数 据的高速 并行存储;从数据存储到应用 层的调度,实现数据 的并行查 询检索[7,8,9]。
5 结束语
海洋环境数据 篇3
数值预报是一个科学与技术相结合的研究领域, 利用给定的初始和边界条件, 通过数值方法求解大气/海洋运动方程组, 从而由已知初始时刻的大气/海洋状态来预报未来时刻的大气/海洋状态。国内外现有的业务化水文气象预报中, 绝大多数工作是依托数值预报完成的。在整个数值预报过程中, 初始场、边界场和预报场是承载数值预报数据的核心文件, 主要以自描述的二进制数据格式NetCDF存储的。因此, 访问、解析、更改和存储NetCDF格式文件, 是数值预报业务工作中非常重要的技术环节。
现有的数值预报模式, 不论是经纬网格、球面立方体网格或者三角形网格, 均是以格点数据存储的, 按照不同分辨率的网格将地球表面进行切割, 这正适合NetCDF格式特点。另外, 数值预报业务中很重要的同化系统涉及的极轨卫星数据, 主要是以沿着轨道方式存储的, 很多也是以NetCDF格式存储的。因此, 主要针对网格数据和沿轨数据进行研究, 针对其特点提出访问、更改和存储的技术方法, 并进行设计实现。
2 NetCDF 格式
气象数据由于涉及到的时间跨度比较大, 气象要素种类比较多, 时次比较密集, 气象预报产品品种多等原因, 数据量一般情况下总是比较大的, 对这些数据进行无损压缩很有必要。气象数据有很多格式, 其中一种较为常见的就是NC格式 , 即NetCDF格式。NetCDF全称为Network Common DataFormat, 是气象科学数据文件格式之一。
NetCDF (Network Common Data Form ) 网络通用数据格式是由美国大学大气研究协会 (UCAR) 的Unidata项目科学家针对科学数据的特点开发的, 是一种面向数组型并适于网络共享的数据的描述和编码标准。对程序员来说, 它和zip、jpeg、bmp文件格式类似 , 都是一种文件格式的标准。NetCDF文件开始的目的是用于存储气象科学中的数据, 现在已经成为许多数据采集软件的生成文件的格式。利用NetCDF可以对网格数据进行高效的存储、管理、获取和分发等操作。 由于其灵活性, 能够传输海量的面向阵列 (array-oriented) 数据, 目前广泛应用于大气科学、水文、海洋学、 卫星、环境模拟、地球物理等诸多领域, 例如, 欧洲数值预报中心 (European Cen- tre for Medium -Range Weather Forecasts, ECMWF) 发布的再分析资料, 美国国家海洋和大气管理局 (National Oceanic and Atmospheric Administration, NOAA) 发布的海洋与大气综合数据集 (COADS) 均采用NetCDF作为标准[1]。
NetCDF格式文件有如下特点:
(1) 自描述性 : 它是一种自描述的二进制数据格式 , 包含自身的描述信息。
(2) 易用性 : 它是网络透明的 , 可以使用多种方式管理和操作这些数据。
(3) 高可用性 : 可以高效访问该数据 , 在读取大数据集中的子数据集时不用按顺序读取, 可以直接读取需要访问的数据。
(4) 可追加性 : 对于新数据 , 可沿某一维进行追加 , 不用复制数据集和重新定义数据结构。
3 格点数据的处理
NetCDF最大的特点就是易提取数据。针对海洋环境数值预报数据, 不论是球面坐标还是经纬坐标, 在平面上都可以转换为按照地球的经纬度进行划分, 按照指定的格距存放, 沿经度方向和沿纬度方向进行排放。而在垂向上, 不论按照等距离面、等压面还是等水深面, 都是按照平层进行排序。所以, 按照格点数据特点设计访问方式。
3.1 读取变量的全部内容
确定要读取的变量及其维数后, 利用fortran读取, 用下面3条语句实现。下面Fortran程序读取WRF模式输出文件, 程序名为readnc.f90
运行上面的脚本会生成一个readnc.exe文件, 运行后就可以看到print的结果了, 之所以把ierr输出来, 是要看看其是否为零, 只要有ierr=0就表明程序正常执行了。
3.2 读取变量的部分内容
如果要读取部分的变量内容, 则要用nf_get_vars_real这个函数, 注意与读全部变量的函数 (nf_get_var_real) 几乎相同, 就多个s。
下面是只读第一层的HGT, 把变量h定义为一个二维数组:
注意在fortran中读netcdf默认的是从 (1,1,1) 开始的, 而在Matalab中是从 (0,0,0) 开始的。如果相读第二层的数据, 则只要改一下start为/1,1,2/就可以了。
3.3 读取函数说明
为了更好地规范读取方法, 设计了一套读取函数, 如表1所示。
4 沿轨数据的处理
海洋环境数据预报中需要同化的观探测数据主要是卫星遥感数据, 而该类数据根据卫星上搭载的观测载荷不同, 存在不同的数据格式。比如雷达高度计资料, 因其观测设备微波雷达高度计利用星下点的回波数据计算海面高度等, 主要是沿轨数据。
4.1 沿轨数据的格式
每个卫星沿轨数据文件由头 (73个记录) 和科学数据 (不超过3135个记录 ) 组成 , 见图1中的数据结构。其中 , 头文件记录采用ASCII格式, 科学数据采用二进制整型的格式。科学数据包括97个参数[2]。
4.2 沿轨数据读取
利用Matlab软件对海洋二号动力卫星中雷达高度计在西北太平洋区域星下点轨迹和有效波高数值, 效果如图2所示[2,3]。 _____________________________________________________
5 结语
按照系统设计的思路, 综合利用Fortran和Matlab语言的技术, 实现了海洋环境数值预报中涉及到的格点数据和沿轨设计的访问读写, 提高了读取效率, 规范了读取的格式和接口规范, 获得了数值预报人员的广泛肯定认可。在后面的工作中, 将尽快完成软件产品的验证调优, 将软件产品推向广泛应用。
摘要：针对海洋环境数值预报中日益增多的格点数据和沿轨数据的不同特点,分析自定义NetCDF数据格式的存储和排列方式,利用Fortran和Matlab等语言设计数据处理功能实现方法。
海洋环境数据 篇4
1 系统结构
1.1 ZigBee技术
ZigBee技术是一种短距离、低复杂度、低功耗、低数据速率、低成本的双向无线网络技术,是一组基于IEEE 802.15.4无线标准研制开发的有关组网、安全和应用软件方面的通信技术。本系统采用2.4 GHz的传输频带,信道带宽为5 MHz,共有16信道可用。由于在2.4 GHz的频段只有250 KB/S的传输速率,所以适用于传感和控制领域[8,9]。
1.2 ZigBee的网络拓扑图
ZigBee网络具有3种网络形态节点:中心协调器,路由器,终端节点。本设计的监测系统由一个ZigBee协调器和若干个外接传感器的终端节点组成,连接温度、pH值传感器的终端节点置于网箱设备附近,依据程序设定时间定时采集,数据采集结束后发送数据到协调器,协调器将接收到的数据通过串口以约定格式打包并通过GSM模块传输到客户管理PC机(图1)。控制中心主机是整个系统的中央监控设备,负责结点的数据通讯、数据分析处理和调节设备,通过界面实现人机交互。控制中心主机通过RS-232接口有线连接中心结点,中心节点通过CC2530芯片集成的无线收发模块与结构相近的路由节点进行无线收发通讯,每个路由节点可以根据需要与一定数量的终端结点组成无线或有线检测群[8]。
2 系统设计
2.1 硬件设计
整个硬件电路系统由9 V大容量蓄电池经稳压电路供电,配太阳能、风能双辅助电源。DS18B20单线式温度传感器可直接采集到温度数据经单片机运算处理。pH传感器是单线电压式传感器,采集到的数据为小电压值,经pH值采集功放电路放大为AD转换芯片TLC549能够转换的电压值[9],然后经过AD转换电路转换成数字信号,送单片机处理转化成pH数值[9,10]。最后通过串口连接到ZigBee模块,将数据发送到终端ZigBee模块,该模块内置的单片机最小系统把数据传送到GSM模块上,由GSM模块最终发送到终点PC机上或用户手机上(图2)。
2.2 系统软件设计
系统基于ZigBee协议栈进行开发,根据海洋网箱监测需求,建立树型网络。协调器负责管理网络、汇聚数据和提供与计算机管理软件的接口,终端设备用来在协调器控制下完成传感器数据的采集和其它特定功能。树型网以网络协调器为中心,所有设备只能与网络协调器进行通信,树型网络中的终端设备如果需要通信,先把各自的数据包发送给网络协调器,然后由网络协调器转发给对方[11]。节点软件流程图如图3所示。
2.3 数据传输
DRF系列的ZigBee模块数据传输主要有数据透明传输方式和点对点数据传输方式。本次设计采用点对点的数据传输方式:数据传送指令(0xFD)+数据长度(0x0A)+目标地址+0x01 0x02 0x03 0x04 0x05 0x06 0x07 0x08 0x09 0x10(数据共0x0A 比特)。通过发送数据指令+目标地址的方式,实现任意节点间的数据传输。若协调器(Coordinator)从串口接收到数据,会自动发送给所有节点;某个节点从串口接收到数据,也会自动发送到协调器;若数据是协调器发送至终端设备(End Device),则发送数据等于接收数据;若数据是终端设备发送给协调器,则接收数据等于TI Sensor Monitor(组网监控软件)数据加上发送数据。若数据在终端设备之间传送,则发送数据等于接收数据。
2.4 GSM软件设计
GSM模块通过短信的方式把数据发送给用户,使用户实时了解网箱的情况。通过单片机系统和电脑界面,对GSM模块进行调试,完成接收数据和传送数据的功能。在调试GSM模块过程中,需用到以下指令,确保GSM模块能正常使用[12,13,14]。
(1)应答呼叫指令。
指令格式:ATA回车。指令说明:GSM模块返回“OK”,表示工作正常,用于应答来电。
(2)发起呼叫指令。
指令格式:ATD
(3)短信的输入模式指令。
指令格式:AT+CMGF=
(4)读取短信指令。
指令格式:AT+CMGR=
(5)发送短信指令。
指令格式:文本模式(AT+CMGF=1)。AT+CMGS=
(6)删除短信指令。
指令格式:AT+CMGD=
3 系统调试
(1)GSM传输调试。
借助PC机及串口调试助手进行调试,验证信号与PC机终端的传输正确有效性。
(2)Zigbee网络调试。
用仿真器分别对中心协调器和各个路由器节点进行分段调试,保证zigbee网络的正常组网。
(3)数据的采集。
通过单片机编程进行调试,确保能够正确采集到数据。
(4)PC机终端VB界面。
采用VB编程在PC终端机观察采集到的数据。
(5)整个系统调试。
在PC机终端点击开始采集,观察采集的数据。
4 试验结果与分析
为了验证监测系统运行的可靠性,项目组多次在福建省惠安县斗尾港海域的深水网箱养殖现场进行监测。现场的网箱为圆柱形浮式深水网箱,周长40 m,高8 m,水深25 m,布设在离陆地2 km的岛屿周围。应用本监测系统分别对养殖现场6口网箱进行监测。监测仪器包括:DS18B20单线式温度传感器;pH传感器(上海科蓝电化学仪器科技有限公司),表面玻璃探头加装304不锈钢网罩保护;WQ401溶解氧传感器(美国Global Water公司)。从实时网箱监测数据上看,监测系统的工作正常,界面显示数据表明6口网箱传感器工作正常,通信信号都到达监测的终端系统,采集到网箱的数据可信,网箱pH 7.2~7.9,温度18.2~18.9 ℃,与现场实际测量值较为吻合。结果表明,本设计的监测系统软硬件可以匹配,系统可以正常开展现场养殖环境参数监测。
海洋环境数据 篇5
元数据(metadata) 是用户访问和使用数据的依据,元数据管理是数据管理和服务过程中的重要组成部分。海洋领域的观测数据多依赖不同的观测仪器和平台, 往往空间分布零散、时间不连续,对海洋观测数据的管理更是离不开与之对应的元数据。简而言之,元数据是 “描述数据的数据”,它给出了数据的内容、 质量、状况及其他特性的信息。海洋观测元数据与数据本身具有同等重要的意义,清晰完整的元数据可以准确地描述数据的获取信息,有力的保证数据的可追溯性,对于海洋和大气领域的数据交换和科学研究具有极为重要的价值。
海洋学和海洋气象学联合技术委员会(JCOMM)的数据管理协调组(DMCG) 非常重视海洋学和海洋气象学资料元数据信息的管理。在海洋气候学数据管理方面,数据管理协调组曾明确要求海洋气候学专家组(ETMC) 考虑数据获取系统(包括系泊浮标、漂流浮标、 海上平台等)的综合元数据库的开发,该元数据库要用于气候档案库已有的海洋数据获取系统观测数据的充分而准确的解读,以支持全球气候研究以及广泛的海洋气候应用[1]。
2 ODAS元数据管理中心(ODASMS)
2.1建立背景
在2001年6月召开的JCOMM-I第一次会议上,在对JCOMM职权范围的志愿观测船(VOS)、全球温盐剖面计划(GTSPP),以及各类浮标数据的管理活动进行审查之后,委员会决定海洋气候观测的海洋数据获取系统采用由联合国以前的海洋气象委员会(CMM)起草的元数据格式。海洋数据获取系统(ODAS)元数据主要是针对海洋资料获取系统,如系泊浮标、 漂流浮标、海上平台等获取资料的元数据描述, 侧重于描述观测资料的原始特性,尤其是数据本身在采集时的环境特征,如采用的观测平台特征、仪器特征(精度、技术指标、环境和状态等)、数据传输特征、传感器运行环境和参数等。该格式已由数据浮标协调组(DBCP)进行了广泛的审查,并在该小组第八次会议上最终通过。 大会请求JCOMM资料管理协调组(DMCG)负责这项任务的实施。
在2002年3月召开的JCOMM资料管理协调组第一次会议上,小组考虑ODAS的综合元数据库的开发,该元数据库要用于气候档案库已有的ODAS观测数据的充分而准确的解读, 以支持全球气候研究以及广泛的海洋气候应用。 会议指出,为了有效地管理ODAS元数据,充分发挥元数据的作用,并保持元数据格式随观测发展而及时更新,实现使JCOMM元数据的业务化管理和服务,需要尽快成立ODAS元数据管理中心(ODAS Metadata Service)。在这次会议上,国家海洋信息中心代表中国主动承担了ODAS元数据管理中心建设任务。小组要求ODAS元数据管理中心与国际海洋数据交换委员会(IODE) 数据交换技术专家组(GETA- DE)密切协作开展ODAS元数据格式和现有的IODE海洋环境数据目录(MEDI)元数据以及其他几种元数据格式比较研究,并在JCOMM资料工作组的协调下,建立ODAS元数据的管理机制,开展元数据的收集、处理、管理和服务,制订相关标准和代码,为JCOMM数据管理和应用提供元数据信息和相关技术的支持。
多年来,国家海洋信息中心承办的JCOMM元数据管理中心在JCOMM资料工作组的协调下,建立了ODAS元数据的管理机制,制订了相关标准和代码, 开展了多种元数据的收集、 处理、管理和服务工作,为JCOMM数据管理和应用提供元数据信息和相关技术的支持。
2.2 ODAS元数据管理
ODAS元数据管理的目标是实现ODAS数据元数据信息的统一管理,保证ODAS元数据的规范性、完整性、有效性和实时性,为资料用户提供统一的访问平台获取资料元数据信息, 并为访问资料本身提供相关导航服务,提高资料的访问效率、使用效率和准确度。
ODAS元数据管理的主要任务是收集全球范围内的各国资料管理机构、国际组织和国际合作项目获取的海洋资料元数据信息, 以ODAS元数据标准为基础进行海洋资料获取系统元数据的处理和管理,建立元数据库,开发元数据处理、管理和服务相关工具,开展长期的维护和更新;建立和维护ODAS元数据管理服务网站,开展元数据发布服务和导航服务。
ODAS元数据管理工作在JCOMM资料管理组协调下进行, 由指定的国家级资料中心(国家海洋信息中心)建立ODAS元数据管理中心,实施ODAS元数据的统一管理和服务。各部分之间的关系见图1。
JCOMM成员和成员国以及国际组织、国际合作项目应按ODAS标准和ODAS元数据管理中心提供的格式进行海洋资料获取系统的元数据收集和整理,并向ODAS元数据管理中心提供。元数据提供方式有两种:一是形成元数据集(多条元数据形成的文件) 通过发送EMAIL、FTP上传和光盘邮寄等方式到ODAS元数据管理中心;二是通过ODAS元数据服务网站提供的操作工具, 直接输入元数据信息, 传输到ODAS元数据管理中心。
在海洋可扩展标记语言(XML)技术还没有统一标准之前,元数据提供者可以根据自己的具体情况确定统一的格式, 如文本文件(txt)、xls电子表格、word表格或DBF等,但要求格式统一。在解决XML标准之后,将实现XML的统一标准和统一格式。
元数据的提供者也是元数据管理中心的主要用户, 可以通过服务网站实时获取所有的ODAS元数据信息,并实现ODAS资料的导航访问,ODAS管理中心将定期向元数据提供者分发元数据目录(FTP、EMAIL或光盘分发), 一般用户则通过网站享用ODAS的元数据信息, 但在数据导航服务过程中会受到权限的控制。
3 ODAS参考数据格式
ODAS元数据标准是由海洋气候学专家组研究开发,主要是针对海洋资料获取系统,如系泊浮标、漂流浮标、海上平台等获取资料的元数据描述,侧重于描述观测资料的原始特性, 尤其是数据本身在采集时的环境特征,如采用的观测平台特征、仪器特征(精度、技术指标、 环境和状态等)、数据传输特征、传感器运行环境和参数等,所以ODAS元数据适用于实时观测数据的信息描述。
ODAS元数据格式采用两层结构的描述方式(图2)。第一层是标题记录,主要是描述数据集源的总体特征和获取环境;第二层是对各类传感器工作环境的详细描述,不同的传感器有不同的描述方式,而且可以根据观测平台的传感器情况,扩展第二层的记录类型。ODAS元数据格式对各种名称都采用代码方式,需要时可以进行代码的扩充和修改。
根据ODAS元数据格式,ODAS元数据库由12个基表构成, 其中一个为标题信息基表,其余的均为数据信息基表。 各基表中的数据项名称和含义与原格式中的完全一致。 在各基表中仅增加一项唯一标志。本研究中仅给出标题信息表的具体格式(表1), 各数据信息表以其数据要素类型而各不相同, 在此不一一累述。
4 ODAS元数据产品的研制和发布
自2003年至今,国家海洋信息中心一直承担着JCOMM/ODAS元数据管理中心的建设和业务化运行服务的任务。为实现ODAS元数据的有效管理和服务,并保持其连续性,国家海洋信息中心建立了ODAS元数据收集、处理、 管理和服务的业务化运行机制,成立业务化系统建设和运行小组,采用SQL/SERVER关系型数据库管理系统,按照ODAS元数据格式, 设计和建立ODAS元数据库结构,并利用SQL/ SERVER操作工具建立了ODAS元数据库和业务化运行系统。
在ODAS元数据管理方案基础上完成了JCOMM/ODAS元数据管理中心运行方案设计, ODAS元数据信息管理数据库和元数据管理中心网站的设计开发。2004年JCOMM/ODAS元数据管理中心网站正式开通并提供元数据发布和导航服务(www.odas.org)。网站发布内容主要包括:ODAS元数据管理中心介绍;元数据相关标准和格式;元数据库在线查询、检索和浏览,数据导航服务;JCOMM元数据信息管理和服务工作动态;JCOMM成员国相关海洋、 气象网站的友情链接等。
在JCOMM管理委员会的协调和资料管理协调组的支持下,首先将数据浮标协调组(DB- CP) 全球漂流浮标计划的元数据信息由JCOMM海上观测平台支持中心JCOMMOPS通过FTP方式在JCOMM网站发布,每月更新一次。JCOMM/ODAS元数据管理中心在深入研究DBCP元数据和ODAS元数据标准的基础上, 2005年9月,完成DBCP元数据信息提取的详细工作流程设计,同时完成了DBCP元数据信息的下载、质量控制、信息提取和分析软件系统开发,并投入业务化运行,实现了DBCP元数据信息的业务化提取和发布服务。与此同时, 利用中国Argo资料中心的有利条件,进行深入研究之后又成功将Argo浮标观测平台的有关元数据信息进行提取,并针对较为复杂的处理过程程序设计,实现了从Argo浮标观测元数据到ODAS元数据转换的业务化运行,网上发布服务。JCOMM/ODAS元数据管理中心积极扩展元数据信息源, 利用全球海平面观测计划(GLOSS)成员国的有利条件,2007年又完成了从GLOSS资料提取ODAS元数据信息并通过该中心网站发布服务的工作。
目前JCOMM/ODAS元数据管理中心共提取和发布的元数据量已超过1.2万个平台的元数据记录,包括剖面浮标、漂流浮标、锚系浮标和海上平台等。在此基础上,业务化制作和网站动态发布ODAS元数据可视化产品, 包括ODAS最新状态图,ODAS分布图(按国家或观测平台类型分类)等。
5 JCOMM/ODAS元数据管理面临的挑战和机遇
JCOMM/ODAS元数据管理中心旨在收集JCOMM各成员国、国际组织和国际合作计划/ 项目的ODAS元数据,但在运行的多年间一直面临ODAS元数据信息源收集渠道不通畅,元数据信息量不足的问题。至今仅实现了Argo计划的元数据业务化运行;JCOMM DBCP元数据信息业务化运行服务截至2006年2月, 此后DBCP元数据信息源不再更新;GLOSS元数据信息源提取了包括观测平台和仪器特征等信息, 但还没有包括GLOSS计划的较完整系统的元数据信息,收集不够完整,使用价值低。加拿大海洋环境数据中心非漂流ODAS元数据也只有2003年以前的元数据信息。JCOMM-III大会虽然要求成员国提供ODAS元数据, 并明确JCOMM/ODAS元数据管理中心应加大收集相关国际合作项目的元数据信息[2],但到目前为止尚未获取到机会船(SOOP)、 志愿观测船(VOS)、国际综合海洋大气数据集(ICOADS)、 OceanSITES等JCOMM重要国际合作项目元数据。至今没有JCOMM成员及成员国向JCOMM/ODAS元数据管理中心提供水温仪器元数据,也没有收集到水温以外的其他要素的元数据信息。JCOMM第三次大会形成了有利于ODAS元数据发展的建议,但实施起来仍然有一定的难度,因此,上述存在的问题仍未得到有效解决。
2011年,JCOMM提出了一个新的设想, 即发展一个全球范围的海洋气候数据系统(MCDS)[3],将全球的海洋气象和海洋气候数据有效整合起来,并通过建立10个左右的全球海洋和海洋气象资料中心(CMOC) 来实现数据和数据产品的业务化处理和发布服务。 根据JCOMM新提出的海洋气候数据系统10年规划, JCOMM/ODAS元数据服务系统(ODASMS) 已经成为MCDS的重要组成部分,并已提出有意将ODAS元数据管理中心与MCDS的一个全球海洋和海洋气象资料中心合并运行的设想。 2012年2月,国家海洋信息中心正式向联合国教科文组织政府间海洋学委员会提交了志愿承担全球海洋和海洋气象资料中心的承诺声明[4]。 在2012年5月的JCOMM第四次大会上,委员会宣布ODASMS计划停止,并同意国家海洋信息中心作为CMOC中心试运行,将原ODAS元数据工作并入CMOC中心一并运行[5]。这一举措,将实现数据和元数据的同时处理和管理, 可以从根本上解决多年来ODASMS的元数据信息源收集、管理和服务的问题。
我们有理由相信,在全球海洋气候数据系统的框架下,ODAS元数据服务将迎来新的春天。元数据管理将得到巩固和流线化发展,其业务服务将通过CMOC网络实现与全球海洋气象和海洋气候数据、元数据、相关产品的直接连接, 真正意义上实现数据与元数据的统一管理。
摘要：海洋元数据的重要性越来越受到全球海洋界的认可。文章介绍了由世界气象组织(WMO)和联合国教科文组织政府间海洋学委员会(IOC)海洋和海洋气象联合技术委员会(JCOMM)发起的海洋数据获取系统(ODAS)元数据服务计划发展始末,及其在新的海洋气候数据系统(MCDS)框架下的未来展望,详细给出了ODAS元数据的标准格式以及国家海洋信息中心作为ODAS元数据管理中心所制作的产品和提供的服务。
海洋环境数据 篇6
当代海洋科学技术的发展明显呈现出大科学、定量化、重过程研究等特点,越来越依赖于系统的、高可信度的、长时间序列的基本科学数据及其衍生的数据产品。海洋科学的基本科学数据来源于海洋科学调查及海洋观测,获取数据的背后是艰苦的工作和高昂的成本,非常珍贵。海洋观测数据作为国家基础性公益科学数据资源的重要组成部分,是国家海洋维权、国民经济建设、海洋生态保护和防灾减灾等领域的科研、规划的基础依据。
海洋观测数据和相关信息包括海洋水文、海洋表面气象、海洋生物、海洋化学、海洋环境质量、海洋地质、海洋地球物理、海洋基础物理、海洋航空与遥感、海洋经济、海洋资源等,数据总量大、涉及范围广。由于数据观测、获取的手段不同,以及其在精度、格式、表述形式、数据结构等方面的差异,海洋观测数据及资料与其他的数据资料相比呈现出了多源性、多态性和多样性等特点。
元数据是对信息资源的规范化描述,是按照一定标准,从信息资源中抽取出相应的特征,组成的一个特征元素集合。这种规范化描述可以准确和完备地说明信息资源的各项特征。考虑到海洋观测数据包含的数据结构复杂,观测要素种类繁多,涉及不同的时间尺度、空间参照系统、坐标系统等特殊性,为有效、合理地实现对数据的集成与管理,引入元数据技术是需求的必然。
2 元数据技术
元数据(metadata)是用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息[1]。其最本质、最抽象的定义是关于数据的数据(data about data)。元数据为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具;为分布的、由多种数字化资源有机构成的信息体系提供整合的工具和纽带,实现简单高效地管理大量网络化数据。其主要功能有如下几方面。
(1)元数据是对信息资源的描述,能比较完整地反映出资源的全貌,并为数字化信息资源建立一种机器可理解框架。
(2)元数据能够很好地组织信息资源,建立各信息资源间的关系,为用户提供多层次、多途径的检索体系。
(3)元数据能让用户在不必浏览信息资源本身的情况下,对信息资源有基本的了解和认识,从而决定信息的取舍。
3 国际上几种海洋元数据
国际上已经有一些专门用于海洋领域的元数据,如国际海洋资料和信息交换IODE的MEDI(海洋环境数据目录),欧洲的EDIOS(欧洲海洋观测系统数据目录)以及ODAS(海洋数据获取系统)元数据等[2]。下面具体分析、比较一下这三种海洋元数据。
MEDI(Marine Enviromental Data Inventory)是IODE资料交换系统采用的元数据格式。其使用目录交换格式(Directory InterChange Format),描述对象是数据集,共包括33项,其中目录标识、目录名称、参数、数据中心以及数据集概要描述是必须提供的,其他都是可选项。在MEDI元数据项中,虽然有些是可选项,但是需要提供内容的要求比较高,覆盖面广而细。
ODAS(Ocean Data Acquisition System)元数据是由海洋气候学小组(Commission of Marine Meteorology,CMM)为了建立数据获取系统(包括系泊浮标、漂流浮标、海上平台等)综合元数据库而开发的。其内容从结构上分为标题信息(对整个观测平台的描述,提供明确的平台类型和浮标类型等)和数据描述信息(对观测平台上不同测量参数所用的传感器特征的描述)。ODAS元数据主要针对海洋观测数据获取系统,以观测平台为描述对象,侧重于观测平台的特征和一些技术参数,缺少对应用元素的描述。
EDIOS(European Directory of the Initial Ocean-observing System)是在欧洲海洋观测、测量和监测系统中投入运行的元数据,以描述原始资料为主,侧重对观测方法、观测内容和使用仪器的精度相关信息的描述。其主要包括观测平台、地理位置、仪器、调查参数、观测计划信息和质量管理体系和有关数据的联系信息等。EDIOS元数据侧重描述调查资料、重视资料的质量,地理位置的描述也比较全面。
4 海洋核心元数据应用
4.1 海洋核心元数据组成
元数据可以分为两个层次,即全集元数据和核心元数据。全集元数据是对数据集进行的全面描述。核心元数据是表示唯一标识信息单元文档所需要基本的最少数量的元数据元素和元数据实体。核心元数据在基本的最少元数据元素集合的基础上,完整地描述数据集最重要的信息,满足元数据的完整性。
本研究所设计的海洋观测数据核心元数据模型主要根据国家海洋局发布的海洋行业标准《海洋信息元数据》并依托“赤潮监测与预警数据通信与集成系统”所需集成数据的特点以及后端赤潮预警预报应用系统及用户对数据的需求设计的。“赤潮监测与预警数据通信与集成系统”是实时获取并收集、集成船载现场监测系统、浮标监测系统(大型深海浮标、生态浮标、哈希浮标、光学浮标等)、岸基站监测系统等海洋环境观测数据,对数据进行初步质量控制建立原始数据库、实时数据库,为赤潮预警预报系统提供实时数据并集成、管理赤潮预报产品、数据分析产品和遥感监测产品等。最终实现对长江口区域的赤潮预警、监控为赤潮灾害应急处置提供有效的信息服务并丰富赤潮监控区的监测手段。
本研究设计的海洋观测数据核心元数据打破了以数据的获取手段及观测平台为基础的习惯数据集成方式,针对赤潮监测、预报的需求,该元数据以观测站位为基础粒度,所以该核心元数据主要由数据标识信息、数据内容信息、数据质量信息、数据发布信息和元数据信息等5个部分组成。此核心元数据能够为后端数据应用、分析处理系统明确的提供数据集覆盖的区域、时间范围;数据集质量;数据集内容及数据集存在形式、获取方法等主要信息。图1为海洋核心元数据基本组成图。
4.2 海洋核心元数据描述
海洋核心元数据主要由数据标识信息、数据内容信息、数据质量信息、数据发布信息和元数据信息等5个元数据子集组成,既描述了数据集的主要信息、数据质量信息和发布信息,又提供了元数据的格式和创建时间等相关信息[3]。
4.2.1 数据标识信息
标识信息是唯一标识数据集的信息,包括数据集引用、摘要、关键字、数据集安全限制、数据分类和观测站位等。引用、摘要和关键字等元素是显示数据集内容的主要信息;数据分类是对数据所属观测要素类别的说明,如生态、动力、水文、气象等;观测站位明确了观测数据获取的站位信息由设定的站代码表示,每个站位都对应着一个明确的地理位置;用途限制是对数据集适用性的说明;考虑海洋观测数据的敏感性,安全限制用于描述数据集使用的限制,明确哪些用户有权限使用该数据集及使用该数据集需要遵守的相关规定。数据标识信息描述了数据集的基本信息,是元数据的重要组成部分。图2为数据标识信息UML类图。
4.2.2 数据内容信息
数据内容信息是提供数据集内容特征的描述信息,关于数据要素的说明,如数据集包含海洋观测要素的类型以及相应要素的名称、单位、精确度等相关内容特征信息。图3为数据内容信息UML类图。
4.2.3 数据质量信息
数据质量信息是对数据集质量的总体评价,包括数据覆盖范围、数据质控方法、数据质控标识等。数据覆盖范围是对数据集的时间范围和空间范围的描述,由于连续、长期的海洋观测数据才能被应用于海洋预报等数据分析中,所以需要明确数据集的时间序列及采样频率等;考虑到海洋观测数据的地理空间分布性,空间范围用于描述观测数据的地理位置、采样深度等。数据质控方法是为甄别异常数据所采用的数据质量控制方法;数据质控标识则是在该种质控方法下数据的质控结果的标识。图4为数据质量信息UML类图。
4.2.4 数据发布信息
数据发布信息主要描述数据的格式及获取数据的渠道等,包括数据量、数据传输选项和发布单位。数据格式是对数据集文件格式及其所占存储空间大小的说明;数据传输选项则是获取数据的传输路径及方式的说明;发布单位描述了该数据集发布单位及相关责任人的基本信息。图5为数据发布信息UML类图。
4.2.5 元数据信息
元数据信息主要用于描述元数据使用的语种、字符集、创建时间以及所依据的标准等关于元数据的主要信息。图6为元数据信息UML类图。
4.3 海洋元数据应用
本研究的海洋环境数据核心元数据是在“赤潮监测与预警数据通信与集成系统”的研发过程中设计的,并在该系统数据集成、管理、共享中得到了有效地应用。该系统涉及了船载现场监测、岸基站监测、浮标监测等多种观测平台获取的实时数据,主要的观测要素包括海洋动力环境观测要素、生态观测要素、水文气象观测要素等。根据后端赤潮预警、数据应用等对观测数据的需求,本系统基于观测站点为基础粒度的核心元数据实现对海洋环境观测数据的抽取。
在数据处理中心站建立实时数据库服务器、元数据服务器以及数据共享服务器。后端应用系统首先根据数据集的站位代码和数据分类,确定数据标识,进而明确数据集的时间和空间覆盖范围,数据质量信息等,并通过数据发表信息获得可用数据[4]。图7为海洋元数据应用流程。
5 结束语
海洋核心元数据是海洋环境观测数据集成、管理及应用、共享的基础。本研究所设计的核心元数据是依据海洋行业标准《海洋信息元数据》,主要为满足“赤潮监测与预警数据通信与集成系统”的需求,作为一种精简的海洋元数据模型,为元数据在海洋观测数据集成、管理、共享等领域中的应用提供了一个框架。随着项目的进展、信息产品等不断的集成,还将不断地完善、扩充该元数据以实现各种形式数据、信息产品的集成,并满足更为广泛的数据应用的需求。
摘要：文章分析、研究了元数据技术及其发展情况和元数据在数据管理、交换中的应用,并对国际上几种海洋元数据的特点进行了归纳、分析和比较。并在此基础上针对海洋环境观测数据的多源性、多态性、多样性以及其分散性等特点,依托重大项目“赤潮监测与预警系统集成与示范”对数据通信与集成的需求,分析了元数据在海洋环境观测数据集成中的应用,以实现对海洋观测数据有效的、合理的集成管理及共享。
海洋环境数据 篇7
海洋对全球气候和环境起着主导作用,与人类的生产和生活密切相关,其丰富的资源是人类社会未来发展的重要物资基础。要开发利用海洋资源,就必须先了解海洋,对海洋进行全方位的监测[1]。海洋环境监测的基本任务是获取气温、气压、潮位、水温、波浪、海流等水文、气象及浪流要素信息。基于计算机和自动化技术的数据采集系统可以连续、快速、准确地获取现场测量数据,是实现海洋环境参数智能实时监测的有力工具。经过几十年的发展,目前我国已经初步构建了遍布全国的海洋环境监测体系,很多海洋台站都配备了自动化的监测系统;但是这些监测系统在通讯方式、数据存储、测点管理和系统工作状态监控等方面存在诸多不足,无法满足当前海洋监测业务发展的实际需要[2,3]。针对这一现状,本文设计了一套适用于多类监测站点的海洋信息自动监测数据采集系统,可实施大范围、多测点实时监测,实现海洋数据信息的集中存储管理及系统工作状态的监控。
1总体设计
系统以海洋局专网为通讯网络,采用先进的数据采集及处理技术和稳定可靠的数据传输方式,建立了集监测、监控、数据存储与管理等功能为一体的现代化海洋信息自动监测数据采集系统。
1.1系统结构
自动监测数据采集系统由海洋台站上位机和现场采集设备两大部分组成,通过有线或无线通讯网络实现数据通信,从而构成一个完整的系统,系统结构如图1所示。现场采集设备安装在各个监测站点,包括采集器、要素传感器及其它附属设备。采集器读取传感器输出信号,经过处理得到测量值,完成单个站点的数据采集。根据监测站点的类型(海岸站点、岛屿站点、平台站点、船舶站点等)和监测现场的具体设施条件,采集器有选择地通过有线或无线通讯方式接入专网与上位机进行通讯:① 对于已经实现光纤通讯的监测站点,采集器通过网线接入专网;② 对于尚未实现光纤通讯的监测站点,采集器通过CDMA无线通讯模块接入专网。安装于监测现场的各类传感器用于检测各种水文、气象、浪流要素信息,是监测系统的数据源头,系统选用海洋监测部门长期使用检验合格、准确性和可靠性满足现场要求的成熟产品。上位机通过软件程序读取各测点采集器中的测量数据信息,同时对系统的工作状态进行监控。系统所有监测数据信息集中存储在上位机的数据库系统之中。
1.2通讯协议
系统采用主/从通讯方式,上位机为TCP服务端,定时向各个采集器发出校时命令或采集命令,校时命令用于校准采集器时钟、采集命令用于读取数据;采集器为TCP客户端,接收上位机命令并根据命令校准时钟或上传数据。
1.2.1 校时命令格式
格式为[采集器类型码]+[功能码]+[上位机当前时间]+[校验码]:① 采集器类型码用于区分三种不同类型的采集器,水文为1,气象为2,浪流为3;② 功能码用于区分命令类型,校时命令为1,采集命令为2;③ 上位机当前时间是一个准确的时间值,接收到校时命令后,采集器将自身时钟修改为该时间;④ 校验码用于检查命令在传输过程中是否发生错误,如果校验不正确则视为无效命令。
1.2.2 采集命令格式
格式为[采集器类型码]+[功能码]+[已采集时间]+[校验码]:① 采集器类型码、功能码和校验码的定义与校时命令相同;② 已采集时间是待上传数据的时间起始点,在该时间之后的数据需要上传。
1.2.3 数据上传格式
格式为[采集器类型码]+[功能码]+[数据]+[电压]+[采集器当前时间]+[校验码]:① 采集器类型码、功能码和校验码的定义与采集命令相同;② 电压是采集器供电电源电压,用于监测电源是否正常;③ 采集器当前时间即为采集器时钟,上位机软件提取该时间与计算机系统时间进行比较并判断是否需要发出校时命令;④ 数据部分包括采集器一次上传的一条或多条数据,每条数据都包含其采集时间,各参数数值采用字符形式上传。上位机软件每接收一条数据就修改已采集时间,对应采集命令中的已采集时间就得到更新,该时间作为一个重要信息实时保存在采集器的配置信息表里;如果某次数据传输不成功,则已采集时间不会被更新,上位机软件会继续按照原来的已采集时间向采集器发出采集命令,直至采集器内最新数据上传成功。这种处理方法可以确保不会因通讯中断或上位机重启而导致数据丢失。
2通用采集器设计
采集器是数据采集系统的关键设备,负责从传感器读取数据、处理数据、存储数据及上传数据。系统所设计开发的采集器具有通用性,提供有线和无线两种通讯接口供用户选择,能够用于水文、气象及浪流等多类要素信息的采集,适用于海岸、岛屿、平台、船舶等多类站点的监测,从而可以降低系统的设计开发和研制成本、简化系统的后期维护和管理工作。
2.1采集器硬件系统设计
采集器采用模块化设计,选用成熟的元件模块进行集成,以保证可靠性。采集器主要由控制模块、接口模块、测量模块和通讯模块等几部分组成,硬件结构如图2所示。ETR100E嵌入式PC模块包括CPU、时钟和存储器,是整个采集器的核心部件;工作母板提供各种串口用于连接测量模块、通讯模块及数字式传感器;EDA9083测量模块用于检测非数字式传感器的输出信号;通讯模块可选用Nport网络通信模块(通过RJ45标准网络接口连接到海洋局专网)或CDMA无线通信模块(通过中国移动的无线通信网络连接到海洋局专网)。采集器采用12VDC电源供电,12VDC电源从外部接口连接到通讯模块、测量模块及传感器接口;DC/DC变换器提供5VDC电源,为ETR100E嵌入式PC模块及母板供电。
2.2采集器软件程序设计
采集器PC模块内的软件程序采用C语言进行设计和开发,主要功能包括从传感器读取数据、处理数据、存储数据、接收上位机命令、上传数据等,软件程序的工作流程如图3所示。
3上位机软件开发
上位机软件以分布式网络数据库Oracle 10 g为平台、以Delphi7.0为软件开发工具,实现所辖监测站点数据的采集、处理、存储、查询、显示等一系列系统功能。
3.1数据库存储方案设计
系统所需数据表的表名称及对应功能说明如表1所示,系统监测数据及配置信息存储在相应的数据表中,供系统软件读写和用户使用[4]。
3.2上位机软件功能开发
为了优化软件性能、提高可维护性,系统上位机软件采用模块化设计思想,各种功能由对应的函数模块来实现,通过模块之间的相互调用完成系统软件整体功能。系统上位机软件包括系统管理、命令发送、数据接收、数据实时处理、系统监控、实时数据显示、数据非实时处理、历史数据查询等八个主要功能模块,其结构如图4所示。
3.2.1 系统管理
即对系统所辖各监测站点的设备进行管理和维护,分为站点、前端(采集器)、参数(传感器)三个层次进行管理:① 站点管理包括增加站点、撤除站点和站点信息(包括站点名、站点号等)修改等操作;② 前端管理包括为站点增加或撤除前端采集器、修改前端配置信息(采集器名称、类型、IP等)等操作;③ 参数管理包括为前端增加或减少测量参数、修改参数量程等操作。
3.2.2 命令发送
上位机软件定时向所辖各监测站点的采集器发出采集命令。
3.2.3 数据接收
借助有线或无线通讯网络,上位机软件实时接收来自监测现场采集器的数据包,并将数据包保存在对应的变量中。
3.2.4 数据实时处理
包括数据解析、量程转换、数据审核、数据存储和实时报文输出等子功能:① 数据解析是指从数据包中解析出采集器当前时间、电源电压及一组或多组数据(每组数据包括采集时间及各参数的测量值);② 量程转换是指将参数测量值转换成最终结果值(即海洋要素的物理值);③ 数据审核是指检查数据是否发生异常并做标识[5];④ 数据存储是指将转换后的结果数据及异常标识保存在系统数据库中;⑤ 实时报文输出是指按照行业规范约定的格式生成实时数据报文或文件,用于向上级部门实时上传数据信息。
3.2.5 系统监控
即对系统或系统设备的工作状态进行实时监测,具体包括采集器通讯状态、采集器电源电压和数据异常情况三个方面的监测:① 通讯状态的监测借助网络通讯接口,实时记录每个前端采集器的上线(online)或下线(offline)状况,如果长时间处于offline,则视为通讯中断;② 在进行数据实时处理时提取采集器的电源电压,通过与设定的电压下限进行比较来判断电源是否正常;③ 数据异常情况根据异常标识来判断。
3.2.6 实时数据显示
即将量程转换之后的结果值以自动刷新的实时数据界面或实时曲线趋势形式显示出来,供用户查看和使用。
3.2.7 数据非实时处理
包括整点数据存储、特征值提取和非实时报文输出等子功能。系统软件按照海滨观测规范要求提取各参数特征值,与整点时刻数据一起存入系统整点数据表中。非实时报文包括整点报文、日报文及月报文等。
3.2.8 历史数据查询
为用户提供查询各站点、各参数的历史数据或历史曲线的操作界面。
4结论
针对海洋环境监测工作的实际需要和现有通讯设施条件设计了一套适用于多类监测站点的海洋信息自动监测数据采集系统。系统采用主/从通讯方式,通过专网进行数据传输,保证了数据传输的可靠性和实时性;前端采集器采用模块化设计,接口功能强大,能用于水文、气象和浪流等多类要素信息的监测,简化了系统安装和现场后期的维护管理工作;采用Oracle数据库平台和Delphi开发工具编制了上位机软件,实现了海洋台站监测数据的集中存储和有效管理。系统已经在国家海洋局闽东海洋环境监测中心站和温州海洋环境监测中心站的多个监测站点业务化运行一年有余,运行稳定可靠、综合效益明显。现场应用表明,该系统较好地完成了预期任务,具有较大的推广价值和应用前景。
参考文献
[1]刘岩,王昭正.海洋环境监测技术综述.山东科学,2001;14(3):30—35
[2]许丽娜,王孝强.我国海洋环境监测工作现状及发展对策.海洋环境科学,2003;22(1):63—68
[3]姜华荣,刘玉新,王珠丽.国内海洋环境监测网现状与发展.海洋技术,2003;22(2):72—83
[4]俞永庆.自动海洋气象监测数据库及Web开发应用.海洋预报,2006;23(1):81—84