构建共享数据库平台

2024-06-27

构建共享数据库平台(共12篇)

构建共享数据库平台 篇1

摘要:为了实现黄委大量数据资源信息的共享与交换, 通过采用元数据、XML等技术, 建设数据资源目录, 对实现黄委大量分布的数据资源的高度共享。

关键词:XML,共享,资源目录

为了管理黄委大量的数据信息, 保证数据资源在各个系统之间进行畅通无阻的共享与交换及对数据资源的快速检索和查询, 通过利用分布式数据库技术、元数据技术和网络技术, 建立以分布式为主、集成式为辅的黄河数据中心和各分中心的元数据管理系统, 开展元数据汇交、数据资源目录建设与管理, 实现对数据资源的有效管理。在系统中采用了Tamino XML Server进行系统的数据资源目录体系管理 (图1) 。

1 元数据库

元数据库主要是对数据中心数据库资源目录体系进行描述, 通过元数据库的建设, 将数据中心资源目录体系中具有的数据库、表、数据项、各种属性等进行描述, 元数据库按照资源目录体系的类别分为共享存储数据元数据库、交换数据元数据库和分布数据元数据库, 分别描述存储在数据中心核心库中的数据、用于交换的数据和目前仍分布存储的数据。元数据库采用XML格式在数据库中存储, 便于资源目录体系与元数据之间的转换。

资源目录体系包括两部分内容:资源结构和资源属性。资源结构通过树装的目录结构, 展现了资源之间的相互关系;资源属性则描述了资源的管理属性 (包括来源、去向、版本等) , 用于控制和管理资源。资源目录体系用元数据库描述的, 主要分为共享存储资源目录体系、交换数据资源目录体系和分布数据资源目录体系。

2 元数据系统设计

元数据的描述主要包括数据中心存储的数据表名、数据来源、数据去向、数据大小、存储位置、交换路径、共享范围、组成结构、各种属性等。同时, 对于各表中包含的基本数据项字段, 类型、长度、代码、取值范围等也需要通过元数据对其进行描述。

元数据主要是对数据中心的资源目录体系进行描述, 因此, 根据其用途可将其分为共享存储目录体系、交换目录体系和分布数据目录体系。其中, 共享存储目录体系主要是针对数据共享存储情况进行描述, 如数据的内容、来源、存储位置等;换目录体系是对数据的交换情况进行描述, 如交换数据的内容、来源, 交换的去向等;分布数据目录体系主要是对分布在黄河水利数据中心的数据进行描述, 如数据的种类、内容、所属单位、共享的程度等。

元数据的重用和各种元数据的互换已成为元数据应用的重要领域, 这样就要求在基于元数据标准的数据整理、结构设计、相关应用等方面有一个详细、全面的规划及设计, 主要包含以下几个方面:基于元数据的专业数据整理;元数据的结构设计;基于元数据的资源目录体系的设计和应用。

3 应用服务平台

应用服务平台是系统建设的软件技术支撑平台, 是支撑系统开发与运行的重要基础设施, 为系统提供统一标准的开发运行环境, 并为应用系统提供数据访问、流程控制和公共信息等功能服务。

数据访问方式主要有通过ODBC、JDBC等数据库接口直接访问数据库;通过应用服务平台的数据库中间件访问数据;以及通过数据资源目录体系管理服务器为应用系统提供通过网络对数据进行查询检索的方法或途径, 以及与数据交换和传输有关信息。

4 结语

在黄河数据中心的建设中, 首次采用XML Server技术开创性的进行了黄委数据资源目录体系 (元数据管理系统) 的建设, 对实现黄委大量分布的数据资源的高度共享、建立黄委数据共享与交换平台, 实现黄河数据中心与各数据分中心间的信息资源共享与交换奠定了基础。

构建共享数据库平台 篇2

(1)有利于减小高校仪器资源的浪费。中央已经明确提出在经济和社会的发展过程中,要保护和合理利用各种资源,提高资源的利用效率,共享平台的建设符合国家建设节约型社会的要求。

(2)有利于高校间、高校企业间的交流合作。由于国家经费投入有限,使得高校间、学科间、地区间存在着严重的投入不均匀,国家在985、211高校投入的比较多,而在下面的学校投入的资源比较少。通过共享平台,可以促进下面高校与985、211高校间的合作交流,避免设备的重复购置。另外,随着产业结构的改革,越来越多的企业意识到要想在激烈的竞争中生存,必须提高自身的研发实力,而企业对检测设备投入是有限的,因此通过共享平台可以促进高校企业间的合作交流,有助于提高高校科研成果迅速实现产业化。

构建共享数据库平台 篇3

关键词 科学数据共享 国际科学数据服务平台 共享研究

分类号 G250.73

Abstract This paper introduces the scientific data sharing status at home and abroad, analyzes the basic elements of the scientific data sharing, including the resource elements, the protection of intellectual property rights elements, the shared schema elements, sharing and management mechanism elements. Further more, it presents the International Scientific Data Service Platform, analyzes its data resources, protection of the intellectual property rights, sharing mode, service contents, and browsing method.

Keywords Scientific data sharing. International scientific data service platform. Research of the Sharing.

科学数据是指在科技活动(实验、观测、检测、调查、研究等)中或通过其它的方式所获取的反映客观世界的本质、特征、变化规律等的原始基本数据,以及根据不同科技活动需要,进行系统加工整理的各类数据集[1]。科学数据集科学价值和使用价值于一体,并对于科技创新的发展产生了深远的意义。科学数据资源具有准确性、可靠性、非排它性、可无限复制等特点。这些特点和其重要性使科学数据的共享成为必然,只有让科学数据得到共享,才能实现其价值的最大化,同时,又通过科学数据的共享这一过程,发展出更高层次的科学数据,这是一个逐级递进的过程,最终为社会的发展贡献力量。

1 国内外科学数据共享现状

1.1 国外科学数据共享现状

20世纪40年代,国外的科学数据共享方面的研究开始起步,在20世纪80年代得到发展,在欧洲、英国、法国、德国、荷兰和瑞典等国家非常重视数据管理与共享,美国是科学数据共享的倡导者。1975年,美国开发了177个大型数据库,主要服务目标是政府决策和政府启动的重大科研项目[2]。欧盟数据库法律保护指令、英国布加勒斯特宣言和《信息自由法》等,在科学数据的产权归属、共享管理和开发利用等方面均有明确的规定,以保障科学数据共享活动的有序开展。

国际科学数据委员会(CODATA)于1966年成立,是全球最大的科技数据国际学术组织,其宗旨是推动科技数据应用、发展数据科学、促进科学研究、造福人类社会[3]。美国建立了美国航空航天局(NASA)分布式最活跃数据档案中心群(DAACs);日本产业技术综合研究所(AIST)科学数据公开数据库拥有70个主题数据库,全部数据库通过网络提供免费服务,服务于科研机构,也服务于一般工业企业[4]。2007 年3 月,英国发布了研究报告《发展英国科研与创新信息化基础设施》,提出数据资源数字化长期保存与共享建设规划,重点要建立大规模的国家科学数据中心[5]。

1.2 国内科学数据共享现状

我国的科学数据共享工作起步比较晚,2001年底我国科学数据共享工程启动气象科学数据共享试点,在资源环境、农业、人口与健康、基础与前沿等领域共24个部门开展了科学数据共享工作,已经启动了9个科学数据共享试点,开展了科学数据共享政策法规和技术标准体系的调研工作。先后完成了23项具体标准的编制以及一批管理办法;整合共享了跨部门跨领域超过250亿元国家投入产生的数据资源,建立了若干数据库;积极开展数据共享服务,为科学研究、政府决策提供了坚实的支撑,成效显著[6]。但是与发达国家比起来存在很大的差距,主要有:科学数据共享意识不强,目前科学数据共享工程试点的共享数据多为国家经费资助下科技活动形成的数据,各科研单位主动积极共享意识不强;相关的科学数据共享标准及技术规范没有统一的规定;科学数据类型集中于海洋、地理等少数学科领域。

2 科学数据共享基本要素分析

美国国家卫生研究院(NIH)要求申请资金超过50万美元的项目必须提供数据共享计划或者说明不共享的理由。并且,NIH通过分级方式共享数据,包括可公开获取的数据、通过协议获取的数据和限制使用的“冷冻数据”[7]。据调查显示,科研人员共享电子数据和使用他人数据的意愿都不高,主要因素有:没时间、没资金、没权利、缺标准以及资助者无要求等[8]。科学数据的共享最基本的是要有相关的科学数据,也即资源的来源,而共享工作的开展必然要面对科学数据的知识产权保护问题,其次要根据不同的情况选择不同的共享模式来开展共享活动,共享活动的有序、稳定的开展需要相对应的共享管理机制的保障,所以资源来源、知识产权保护、共享模式以及共享管理机制这四大要素构成了科学数据共享活动的基本要素,它们之间相互联系,缺一不可。

2.1 资源来源

科学数据指在科技活动过程中产生的原始数据,所以资源的来源就是科研活动过程,资源的内容主要有两种:一种是本单位或机构内科研活动过程中产生的数据,二是收集其他单位或研究机构的科研数据。本机构的科学数据,主要是来自于本机构研究人员的自愿自主提交以及数据服务人员提供咨询帮助,如中国气象科学数据共享服务网的科学数据来自于国内卫星通讯系统、全球通信系统收集的全球和国内各类实时和非实时的气象观探测资料[9];第二种主要是与政府机构、科研机构、高校等部门合作,提供途径鼓励这些机构的研究人员同意将他们的相关数据整合到数据中心共享.如基础科学数据共享工程整合中国科学院在物理、化学、天文、空间与生物领域20多个研究所长期以来的基础数据,同时,重点整合国防科工委下属的中国工程物理研究院、中国原子能科学研究院在核物理与原子分子物理方面基础数据,整合国家林业局所属青海湖国家级自然保护区多年来在青海湖区域监测与观测数据[10]。

nlc202309040905

2.2 知识产权保护

数据的共享首先要考虑的就是其所涉及到的知识产权问题。科学数据共享中的知识产权主要体现为科学数据的版权,版权就是著作权, 是指文学、艺术、科学作品的作者对其作品享有的权利, 包括财产权、人身权[11]。科学数据凝聚了数据开发人的智力劳动,是创造性的劳动成果,同样受版权法保护,具有重大的价值。实施科学数据共享是我国面对全球信息化和知识经济的发展,开展自主创新、建设创新型国家的必然要求[12]。刘闯认为通过数据库共享服务平台进行有偿数据服务而获得的收益,在数据库制作者和相关数据创造者之间按照合同约定进行分配,如无合同约定的自行协商解决[13]。

《全球变化研究数据管理政策声明》提出“联邦政府资助的科学数据,即公共性、基础性的国有数据,必须在没有歧视的基础上以不超过复制和发行成本的费用无限制地使用”[14]。科学数据的开发与获得需要责任人付出巨大的努力,包括精力、时间、金钱上的,不仅仅是数据开发人,还有相关的单位等等,他们对于科学数据做出了巨大的贡献,这些科学数据自然地成为各个单位的财产,受知识产权保护,另一方面这也在一定程度上限制了科学数据的自由共享。所以笔者认为,科学数据的共享需要国家相关法律的许可和一定的限制,对于那些在国家或是地方政府经费等非营利性机构支持下开发的科学数据,采用一定的奖金或是其它奖励的方式来鼓励开发人,如果不危及国家安全和个人隐私,则完全向公众开放或是使用时加以标注,以尊重劳动者的成果,但不能用于商业用途;对于那些由单位自筹经费或是个人、企业自行开发研究的不危及国家安全和个人隐私的科学数据,则要协调好利益的平衡,一般是采用收取一定的费用的方式来保护他们的权利;对于那些对科学数据进行了一定程度的加工的更深一层次的数据及提供的相关服务活动,收取一定的成本。

2.3 共享模式

科学数据共享为科学数据的使用提供了一条更为畅通的道路。科学数据具有无法估量的潜在价值,前人为科学数据的探索与创造做出了巨大的努力和贡献,传承与共享这些科学数据是对于他们的努力的最大尊重与认可。目前国内外采用的科学数据共享的模式主要有四种,分别是国际组织协作共建共享模式、政策驱动型共建共享模式、主题合作共建共享模式和地域协作共建共享模式。

2.3.1 国际组织协作共建共享模式

顾名思义,国际组织协作共建共享模式是指在某种约定或是条约的约束下,国际组织就某一研究方向或是研究主题,共同制定相关的共享策略的一种共享模式,该共享策略包括共享的范围、方式及相关的政策,可以促进同一领域内数据的交流与共享。国际组织协作方式包括国际政府间的合作和国际非政府间的合作,不管是哪种方式,都必须遵循共享的宗旨,为共同的约定所约束,以促进数据在全球的共享,提高各成员国的科技水平。经济合作与发展组织(Organation for Economic Cooperation and Development,OECD)是由30个市场经济国际组成的政府间国际经济组织,旨在共同应对全球化带来的经济、社会和政府治理等方面的挑战,把握全球化带来的机遇[15]。

2.3.2 政策驱动共建共享模式

这种模式是指在国家法律法规政策的强制驱动下推进科学数据的共建共享。美国是这一模式的最早试验者。美国的《信息自由法》和《版权法》是这一模式的法律基础。并在1991年发布了以“完全与开放”科学数据共享政策为核心的“全球变化研究数据管理政策”,通过这一政策来促进科学数据共享,从而为美国的科学研究提供强有力的保障条件,确保其在21世纪国家发展和科技发展战略目标的实现。

2.3.3 主题合作共建共享模式

该模式是根据主题的不同来进行共建共享科学数据,建立专题科学数据库。如印度科学和产业研究中心(Center for Scientific and Industrial Research,CSIR)及肯尼亚的医学信息共享。肯尼亚医学研究机构(Kenya Medical Research Institute,KEMR I)通过编制肯尼亚医学机构研究和使用的数据和目录来实现彼此联系,共享资源[16]。我国的地球系统科学数据共享平台承担单位是中国科学院地理科学与资源研究所,中科院资源、环境领域的研究所,国内地学领域的知名高校共40多家单位,世界数据中心(WDC)和国际山地中心(ICIMOD),美国马里兰大学等国际组织和机构参与本平台建设与运行服务[17]。

2.3.4 地域协作共建共享模式

该模式把那些参与到共建共享科学数据的单位限定在某一个地理范围内,与国际间组织协调共建共享模式相似,前者范围相对小一些,一般限定在某个地区或是某国内,将共享资源集中存储在某一特定的地点,并在相关单位的共同管理和共同资助下运转共同建设。2004年,科学技术部和财政部整合“国家科技基础条件平台专项经费”“中央级科研院所科技基础性工作专项经费”“科技文献信息专项经费”三个专项经费,统一用于国家科技基础条件平台建设[18]。

2.4 共享管理机制

科学数据具有科学价值、经济价值和社会价值,并且易于复制传播和共享等特点,不同的科学数据由于其属性或是归属性的不同,需要采取不同的管理机制来开展共享工作。目前,国际上采用的共享管理机制有三种:保密性管理机制、公益性共享机制和商业化管理机制。

2.4.1 保密性管理机制

顾名思义,该机制对于科学数据的共享采取不公开的方式。一般这种机制设计到的科学数据是有关国家安全、个人隐私的数据信息,公开这些信息对于国家的安全、人民的生活都会产生很大的影响。同时,参与这些数据信息的开发和管理人员都必须与单位签订保密协议,以进一步确保信息的不泄露,国家情报部门与各个单位安全主管负责检查科学数据和信息的安全性执行情况,同时严格和明确地规定这些数据信息的保密管理。

nlc202309040905

2.4.2 公益性共享机制

此种机制是采用完全开放的方式来共享科学数据,其中的数据是指除了上述属于保密性管理机制数据之外的政府所拥有的信息和科学数据,包括标准数据库、科技成果数据库等。这些数据都应该依法“公之于众”,采用网站或是其它的方式来向社会完全开放,让公众获取,用户无需支付相关费用或是仅仅支付低廉的复制成本费用。像美国的海洋大气局、国立卫生研究院等联邦政府拥有和生产的数据,中国科学院地理科学与资源研究所产生的地球科学数据,整合、集成科研院所、高等院校和科学家个人通过科研活动所产生的分散科学数据。

2.4.3 商业化管理机制

对于那些完全是为了盈利而投资生产的科学数据,则采用商业化管理机制,对于此类科学数据的共享收取一定的费用。例如, 美国政府批准了空间影像和数字地球两家企业从事高分辨率遥感数据的获取和发布业务, 然后采取鼓励平等竞争的政策, 通过市场竞争的方式降低数据价格, 达到促进数据应用的目的, 并同时通过税收进行调节和控制[19]。

3 国际科学数据服务平台分析

“国际科学数据服务平台”(见图1)(以下简称“平台”)启建于2008年,由中国科学院计算机网络信息中心科学数据中心建设并运行维护,面向中国科学院及国家的科学研究需求,逐渐引进当今国际上不同领域内的国际数据资源,并对其进行加工、整理、集成,最终实现数据的集中式公开服务。在保护国家安全,尊重知识产权的前提下,秉承完全开放的共享理念,尽可能为用户提供全方位的数据服务,包括在线数据浏览、数据搜索、数据访问与下载、软件工具及文档资料共享等通用数据服务,以及数据预定、委托查询、数据传递通道、在线模型计算、数据使用咨询等特色数据服务。

3.1 数据资源

国际科学数据服务平台收集的数据资源主要集中于地学、遥感、大气海洋等领域,引进了LANDSAT数据、MODIS数据、MODIS_L1B 数据、EO_1数据、DEM数据、NCAR数据等国际原始数据资源,采用国内外权威的数据处理方法或科学数据中心自行研发的数据处理方法对于上述数据开展了深度加工和数据模型的开发,形成了它们独具特色的一系列全国甚至全球领域的特色数据产品,面向多领域科研需求,基于通用的数据模型,充分利用本站超级计算资源,为用户提供可定制的数据产品加工,用户通过在线定制便可以得到自己需要的数据产品。

该平台期望能满足多领域的科研需求,但是资源集中在少数学科领域,深度加工的数据模型目前只限于少数几个,对于平台的宗旨来说有待发展。

3.2 知识产权保护

知识产权保护问题在共享工作的开展中被首先考虑到,国际科学数据服务平台的数据资源在进行镜像之前都和数据所有者进行了充分的沟通,并通过协议、合作或其他方式取得了对应数据的镜像权限,用户可以放心使用。用户复制使用平台中的数据,平台都做了详细的规定,在“完全与开放”的服务宗旨下,一方面尊重知识产权、保障数据作者和数据服务提供者的权益,要求数据使用者在发表成果时注明数据生产者及数据来源(国际科学数据共享平台http://datamirror.csdb.cn/),未经网站允许,用户不能有偿或无偿转让在该平台获取的数据;另一方面,为了更好地推动数据共享,凡使用“国际科学数据服务平台”数据的用户,需要在一定期限内将数据所支撑的项目或论文产生的相关成果材料提交到“中国科学院计算机网络信息中心科学数据中心”,并允许平台发布部分可公开成果。通过这样的“交换”方式来提供更深层次的科学数据给用户,一方面也减少了不必要的重复劳动,提高了用户的使用效率。

3.3 服务内容

科学数据的共享离不开数据的再利用,该平台充分考虑到不同用户在不同情况下的各种服务需求,除了提供通用的数据服务,像在线数据浏览、数据搜索等外,还提供数据预定、数据传递通道、数据申请等人性化的特色服务,切实地提高用户使用满意度。

3.3.1 数据预订

用户通过网站对应入口预定可以查询,但是不能在线下载数据,数据服务人员将会根据用户的数据预定清单提供服务。目前,该平台开放“数据预定”功能的只有Landsat数据,用户可以通过数据列表或者数据搜索功能,产生数据预定清单,并直接通过网站入口提交给系统。用户数据预定的所有历史记录以及当前预定的处理状态和下载链接都可以从“用户空间”内查询。

3.3.2 数据申请

这种服务是针对用户不能通过网站直接查询、下载数据,或因数据量巨大,用户不方便通过网站查询、下载的情况,该平台支持用户提出相应申请,数据服务人员进行处理并将结果反馈给用户,一般用户可以根据自己的情况以及数据的需求选择在线数据申请或离线数据申请。

3.3.3 数据传递通道

该服务属于高级数据服务方式,是该平台为大宗数据用户或特殊数据用户开通的,指对于因为各种原因不方便通过网站直接下载数据的用户(比如网络连接受限,数据量过大,或者用户有其他特殊要求等),可以直接通过网站提供的联系方式提出“数据传递通道”的需求,审核通过后将会为用户开通特殊数据传递通道(比如用户特殊授权,光盘邮寄、硬盘直接拷贝等),以便用户及时获取所需数据。

3.4 共享方式

该平台将数据分成一级到四级不等,用户也分成四级到一级不等,虽然倡导“完全与开放”的数据共享服务方式,但还是根据用户级别的不同以及所需数据所属级别的不同,采用不同的共享方式。大部分镜像数据集数据产品向用户完全开放,无偿共享;少部分数据需要用户申请并达成协议后共享;属于三级的数据,则面对不同级别的用户,需要付费获取某些数据;另外,针对院内科研人员或高级用户,该平台还推出了特色定制服务,根据用户具体需求,通过项目合作的形式进行定制共享。

3.5 浏览方式

nlc202309040905

由于国际科学数据服务平台收集的数据主要集中于地学、遥感、大气海洋等领域,这些数据采用地图的方式来检索查询更为方便和精确,所以提供的数据检索以地图查询为主,目前只有LANDSAT数据还提供文字查询,地图检索方式比较简单,无须知道所查地区的具体地理位置,只要在地图上找出即可,操作简单直观,非专业人员使用也很方便,而文字查询方式则对于专业知识要求比较高,并且对于所查地区的详细位置信息要有清晰的把握。

4 结语

科学数据的共享关系到人类智慧的传承,有益于提高资源的利用率,减少不必要的重复劳动。科学数据的共享工作也是一个大工程,需要国家和政府的宏观管理,制定统一的标准和规范,也需要提高公民的共享意识,促进共享工作的开展。

参考文献:

[ 1 ] 中国科学数据共享工程技术标准[S/OL].[2013-05-10].http://www.sciencedata.cn/pdf/2.pdf.

[ 2 ] 美国国有科学数据的“完全与开放”共享国策[EB/OL].[2013-07-01].http://www.qiji.cn/scinews/detailed/838.html.

[ 3 ] 国际科学数据委员会[EB/OL].[2013-07-01].http://baike.baidu.com/view/4640252.htm?subLemmaId=4640252&fromenter=%B9%FA%BC%CA%BF%C6%D1%A7%CA%FD%BE%DD%CE%AF%D4%B1%BB%E1.

[ 4 ] National Institute of Advanced Industrial Scienceand Technology[EB/OL].[2013-07-01].http://www. aist.go.jp/index-en.htm.

[ 5 ] science and innovation investment framework 2004-2014:next steps[EB/OL].[2013-07-01].http://www.hm-treasury.gov.uk./media/7/8/bud06-science-332v1.pdf.

[ 6 ] 科学数据共享工程[EB/OL].[2013-07-01].http://www.most.gov.cn/ztzl/kjzg60/kjzg60hhcj/kjzg60jcyj/200909/t20090911_72832.htm.

[ 7 ] NIH.Final NIH statement on sharing research data release date[EB/OL].[2013-06- 29].http://grants.nih.gov/grants/guide/notice files/NOT-OD-03-032.html

[ 8 ] Tenopir C,Allard S,Douglass K,et al. Data sharing by scientists:practices and perceptions[J/OL].PLoS ONE,2011,6(6).

[ 9 ] 国家科技基础条件平台-中国气象科学数据共享服务网[EB/OL].[2013-06-30].http://cdc.cma.gov.cn/gywm.do?method=getContent.

[10] 基础科学数据共享网[EB/OL].[2013-06-30].http://www.nsdc.cn/pronsdchtml/1.aboutus.introduction/pages/3014.html.

[11] 韦之.著作权法原理[M].北京:北京大学出版社,1998.

[12] 朱雪忠,徐先东.浅析我国科学数据共享与知识产权保护的冲突与协调[J].管理学报,2007(7):477-487.

[13] 刘闯.美国国有科学数据共享管理机制及对我国的启示[J].中国基础科学,2003(1):34-39.

[14] Policy statements on data management for global change research[EB/OL].[2013-06-29].http://www. gcrio.org/USGCRP/DataPolicy.html.

[15] 关于OECD [EB/OL].[2013-06-29].http://www.oecdchina.org/about/index.html.

[16] 袁曦临. 信息资源共建共享模式及其理论基础研究[J].图书情报工作,2008,52(9):102-105.

[17] 国家科技基础条件平台-地球系统科学数据共享平台[EB/OL].[2013-06-29].http://www.geodata.cn/Portal/aboutWebsite/aboutus.jsp

[18] 国家科学数据共享工程-海洋科学数据共享中心[EB/OL].[2013-06-29].http://mds.coi.gov.cn/bzjj.asp.

[19] 刘细文,熊瑞.国外科学数控开放获取政策特点分析[J].情报理论与实践,2009(9):5-7.

杨友清 南京大学信息管理学院2010级硕士研究生。江苏南京,210093。

陈 雅 南京大学信息管理学院教授。江苏南京,210093。(收稿日期:2013-08-15 编校:方 玮)

高校网络资源共享平台构建 篇4

1 当前高校网络资源共享存在的问题

我国在高校网络资源在共享上还存在有很多的问题, 主要体现以下的几个方面:

(1) 存在有严重的资源重复建设现象

当前虽然有着丰富的网络资源, 但是资源重复建设的现象较为严重, 各种网络资源不能进行合理的配置。试点高校的网络平台在最开始建设的时候基本都没有进行过全局与整体的规划, 都是各自为政, 使得各个高校所能提供的网络资源包含的内容过度集中, 内容相近, 有的甚至是雷同, 资源的创新力度不足。这样不仅仅是不能够对教育成本进行节约, 也不利于对网络资源的有效利用。

(2) 现有网络资源可持续利用率较低, 缺少可持续发展战略指导

当前很多高校在开发各种网络资源的时候其主要的目的是为了上级的评审, 并不能够有效的通过对网络资源的开发来对高校当前的各种问题进行解决, 并且在评审完成之后对于后续的持续更新不够重视, 并且使用率也较低。网络资源完成之后, 能够达到什么样的效果、还需要进行什么样的改进, 则基本没有人来管, 相关的各种信息也很少有人进行查询。

(3) 网络资源共享机制不够完全, 不能够实现深度整合与优势互补

在当前高校因为采用的是多重教育模式, 对于高校的分工都不够明确, 同时也没有构建起健全的网络资源共享机制。首先是当前各个大学之间的合作程度不高, 各自的优势都不能够得到有效的发挥, 也难以实现相互的优势互补。其次, 当前高校教师激励保障措施仍然存在有较大的缺陷, 当教师在对自己所拥有的资源进行共享时, 如何处理好各自的关系仍然需要进一步的讨论, 如果处理不好, 那么就会对资源的共享造成阻碍。

(4) 所开发的平台上缺少良好的搜索机制

当前所构建起的开发平台上的搜索机制仍然是一个需要急需要进行解决的问题, 搜索机制的缺陷导致了各种支持服务不能够到位, 师资与服务体系的保障不足。在使用网络资源的过程中没有合理的搜索机制, 那么就必然会浪费大量的不必要的时间与精力, 让使用者使用的过程中不够方便。在另一个方面, 在职的高校教师本来就有着相当繁重的科研任务, 较为缺乏上传和管理网络资源的时间, 并且大多数时候也不够关心网络资源建设。其次, 各个高校对于网络资源共享平台建设的标准各不相同, 办学理念也是参差不齐, 使得共享平台的作用发挥不出来。

2 高校构建并完善网络共享平台的措施

(1) 对现有网络共享资源进行优化与整合

当前, 全国各地的高校都在积极的搭建校内以及校际间的共享网络平台。为了防止出现资源的进一步重复开发, 相关的部门需要用全局性的眼观来对现有的网络资源进行深度的整合与优化, 同时还必须要尽快的出台网络共享平台相关的各种构建标准与总体的发展方向, 形成一套可持续发展的战略。现在对于正在搭建或者是准备搭建网络资源共享平台的高校来讲, 可以将自己课程体系中的公共课进行最大限度上的资源共享, 也就是在基础课、专业基础课、专业课中选取优秀的资源, 然后根据具体的需要进行第二次优化, 而对于高校所拥有的特色网络资源则是采取完全自主开发的方法, 在其成熟之后再进行共享。

(2) 加强对网络资源共享平台的宣传与推广

要有效的提高对网络共享资源的利用效率, 必须要从战略的高度来思考如何利用网络共享资源。与此同时还必须要积极的对网络资源共享平台进行宣传并大力的进行推广。在当前, 虽然高校提供了大量的网络资源, 然而高校中的师生却很少有人对这些资源进行利用, 有的甚至是不知道存在有网络资源共享平台, 这样的情况下也就不要指望他们来利用网络资源共享开展教学。面对这样的情况必须要加强对网络资源共享平台的宣传力度, 同时还必须要加强对优质网络资源的宣传, 让在校师生能够对网络资源共享平台与优秀网络资源有着更加深刻的认识, 进而增进网络资源与共享平台的使用效率。

(3) 加速对共享平台的搜索机制构建

对于网络资源共享平台, 如果缺乏良好的搜索机制, 那么所能取得的效果将较为有限, 也不利于对网络资源共享平台的推广和使用。从技术上来看, 对网络资源共享平台进行进一步的开发与优化, 建立起良好的搜索机制是没有问题的, 然而为了能够对网络共享资源进行维护, 让资源的使用者能够更加有效、方便的对网络资源进行使用, 高校在后续的平台维护方面所投入的资金以及决心会直接决定了平台功能是不是能够逐步完善、逐步的跟上时代发展的步伐。

(4) 构建起较为完善的网络资源更新机制, 提高对网络资源的更新效率

对网络资源进行定期的更新是非常重要的, 特别是在构建起玩两个共享平台之后更为重要。但是更新的工作量是非常大的, 因此就必须要进一步的增强对教师和学生使用网络资源相关知识、技术以及管理方面的培训, 并要为教师和学生提供更新资源的方法与手段, 让网络资源能够对当前各种课程、学科的前沿知识以及最新的科学研究进行及时的反映。与此同时还需要构建起良好的检查评比、激励制度, 构建起良好的网络资源更新与检查制度, 积极的调动更新资源的积极性, 有效的改善共享平台网络资源的更新率。

3 结语

高校网络资源因为网络资源共享平台的缺乏导致了网络资源无法被有效的利用。面对这些情况, 我们需要对当前高校网络资源共享所存在的问题进行深入的分析, 在这样的基础上来增强对网络资源共享平台的建设, 使得高校的网络资源能够得到有效的开发, 为高校的教学与科研工作提供良好的支持和服务。

摘要:高校所拥有的网络资源是相当丰富的, 但是在对这些网络资源的共享与利用上存在有许多的问题, 使得这些网络资源无法为高校的教育与科研活动提供良好的服务。为此, 我们需要积极的构建网络资源共享平台以改善现状。

关键词:高校,网络资源,共享平台

参考文献

[1]范慧茜.有效利用世界名校网络公开课资源[N].中国教育报, 2011-05-02.

构建共享数据库平台 篇5

政府数据作为国家基础性战略资源,在数据要素市场化配置中起经济治理的作用,对《意见》提及的“提高要素配置效率”“促进...数据资源有效流动”至关重要。而这一作用的发挥依赖于政府数据开放共享,并且需要在政府数据社会化利用的过程中实现增值,拓展至“丰富数据产品”“引导培育大数据交易市场”“培育数字经济新产业”等价值空间。正如美国政府数据开放平台(data.gov)上的声明所言,“政府数据开放共享赋能应用程序的开发”;国家发改委提出“加快全国一体化大数据中心建设”,也只有实现数据的流通与共享,才能激发这种新型基础设施的经济动能。然而政府数据从创建伊始、采集、组织直至开放共享等全生命周期过程,均离不开统一的标准规范作为数据质量和利用水平的保障。

构建政府数据开放共享标准体系是我国国家战略的需要。《促进大数据发展行动纲要》(以下简称为《纲要》)指出“提升政府数据开放共享标准化程度”“制定实施政府数据开放共享标准”“建立标准规范体系”;《2018 年政务公开工作要点的通知》强调“依托政府网站集中统一开放政府数据,探索制定相关标准规范”。《意见》提出“建立统一规范的数据管理制度”“制定数据隐私保护制度和安全审查制度”“推动完善...数据分类分级安全保护制度”,可见标准体系的建设,对营造安全有序的数据要素市场环境十分必要。

构建政府数据开放共享标准体系是破解当前现实难题的途径。我国缺乏统筹兼用的政府数据开放共享标准体系,仅有广东、山东、上海出台了关于数据开放的地方标准和指南共 6 项,国家标准仅有全国信标委大数据标准工作组研制的 3 项,并且还尚待发布。然而这种现状之下,政府数据开放共享的标准化建设依然远未引起重视,只有上海、北京、福州等 9 个城市在其发布的数据开放政策文件中略有提及,如上海市政府发布的《上海市公共数据开放暂行办法》第三十二条“标准体系和技术规范”提到,鼓励不同主体参与制定数据开放标准。正是由于我国政府数据开放共享标准规范的缺失,造成当前 102 个地方政府数据开放平台系统各异、“烟囱”林立,各平台共开放的 71092 个数据集异构分散、难以整合,甚至给我国部分政府部门带来了开放共享后数据价值的流失、数据流通存在安全隐患等隐忧,这既不利于用户的利用,也很难使政府数据成为市场有效流动、交换共享的要素。

因此,亟待构建我国政府数据开放共享标准体系,促进政府数据的综合利用。

我国政府数据开放共享标准体系的构建 为了使我国政府数据开放共享工作有据可依、规范实施,笔者以数据生命周期理论为指导,主要参考了多个开放数据全生命周期模型,如“开放政府数据生命周期”“关联开放政府数据与元数据生命周期”,由此构建了贯穿我国政府数据开放共享全流程的政府数据开放共享标准体系框架(见图 1)。

依据规范化流程的界定,该体系划分成 6 个标准子体系,按照各阶段不同环节涉及的领域、范围、功能和活动,细化形成 23 项标准,并对其覆盖范围、关键内容进行总结,选择重点领域标准进行研制。

(一)数据创建与汇交标准

数据开放原则规定我国政府数据开放共享的最低限度、行动准则和目标指向,具体内容源于国家政策。数据格式标准指明不同领域数据、混合数据应采用的格式类型。数据采集标准从采集原则和方式入手,是获取高质量数据的保证。数据提交标准涉及技术规范,包括提交流程、可用接口及元数据要求;也涉及操作规范,包括提交者的认证方式和数据上传频率。

(二)数据选择与处理标准

数据审选标准在内容上涵盖与数据集相关的法律、安全、技术及元数据的信息,流程上建议遵循“数据集映射、优先级排序、实施选择、主题分类、数据目录发布”的次序。数据安全风险评估标准是针对数据中个人隐私、商业机密、国家安全等敏感信息进行安全影响评估的指标和流程。数据脱敏标准包括处理敏感信息的原则、流程、方法和工具。

(三)数据描述与组织标准

元数据标准用于揭示政府数据的外部特征和内容特征,笔者此前已撰文设计我国开放政府数据元数据元素集方案,并在该版本基础上增设了“共享(Sharing)”元素。数据分级标准的重点是确定分级方法,并限定各等级的数据的开放共享程度。数据目录分类标准是从资源属性、基础信息、主题信息、属地类别、业务属性和授权类别等多个角度建立的类目体系。

(四)数据关联与发布标准

数据开放优先级标准要指明重点开放《纲要》明确提到的 20 个领域,优先开放利于促进公共服务效益、提高政府透明度的数据集。数据关联标准要遵循 W3C 政府关联数据工作组建议的关联数据发布实践、以及《开放数据五星部署方案》中的相关要求,对关联流程、技术原则和衡量关联程度的指标进行统一规范。数据发布标准规定的是有待开放的数据上传至数据开放平台的流程和方式。

(五)数据发现与利用标准

开放许可协议采用兼容性强、应用广泛的《知识共享许可协议》。数据开放平台标准提出建立国家和地方层面政府数据开放门户的底层技术架构、统一数据检索协议,同时明确运营管理规则,以确保各平台的功能一致性、运行稳定性。数据互操作标准侧重于规范数据互操作框架和互操作级别,前者用于统一互操作的原则和条件,后者考虑法律、机构、语义和技术等方面的互操作问题。数据利用反馈标准涉及用户的反馈渠道、方式及主管部门分析反馈结果的方法。

(六)数据管理与评估标准

数据保存标准通过规定数据存储的介质、方式、保存格式和编码方式实现政府数据长期保存。数据更新标准参照地方标准的更新规则和模式进行建立。数据管理标准说明数据管理的主体及其职责、流程与制度,以及针对人口、法人等政府主数据的统筹管理。数据维护标准遵循“定期维护数据和元数据、检查URI、根据用户反馈进行改进”的流程。数据质量评价标准用于评价数据内容质量,涉及具体的指标和流程。政府数据开放共享评估标准包括规范的评价策略、指标和方法。

我国政府数据开放共享标准体系构建的考虑

(一)广泛吸纳国内外实践成果

该体系在设计之初,除借鉴国外的数据生命周期模型,关注国际动态以外,还通过参考我国大数据标准体系的构建思路,注重与大数据标准化工作的协调,其所划分的标准类型均能在该体系中体现,如具有基础特性的数据开放原则、数据方面的元数据标准、技术方面的数据互操作标准、平台方面的数据开放平台标准、管理方面的数据维护标准、安全和隐私方面的数据安全风险评估标准等。

在确定标准的关键内容时,还重视采纳国内外标准、较为成熟的协议和指南的核心内容,如数据格式标准选用爱尔兰《开放数据技术框架》的“开放数据推荐格式”;数据安全风险评估标准的制定根据国际标准《信息技术安全技术隐私影响评估指南》(ISO/IEC29134:2017)的要求;数据脱敏标准规定的原则、流程和方法采用了山东省地方标准《公共数据开放第 2 部分:数据脱敏指南》(DB37/T3523.2-2019)。

(二)立足当前需求与未来发展

该体系围绕我国建立国家政府数据统一开放平台、识别重点和优先开放领域、分级分类开放共享等需求,分别制定了数据开放平台标准、数据发布标准、数据分级标准,旨在贴合国家政府数据开放共享建设的实际要求。同时,该体系还考虑到政府数据开放共享的热点和前沿问题,以期适应未来发展的需要,如数据关联标准着眼于解决关联开放政府数据的发布问题;数据管理标准可为开放共享环境下政府主数据管理的实践提供具体的参考。

(三)面向多个主体的规范应用

该体系所涵盖的多数标准有助于为数据提供方有序开展政府数据的创建、采集、加工、发布等活动提供参考。数据平台标准能对数据平台方解决搭建、管理和运营政府数据开放平台的问题提供具有可操作性的策略。数据利用反馈标准用于帮助数据利用方以规范的行为获取数据、提交反馈信息和对数据进行再利用。政府数据开放共享评估标准有利于引导评估机构开展评测工作。

该体系力求架构完整,界限分明,以及各项标准之间的有序衔接。希望政府部门、标准化机构、高校、企业给予关注,推动该体系在我国试点地区进行验证、实施和应用,加速政府数据开放共享整体进程,从而扩大要素市场化配置范围,健全要素市场体系,激发全社会创造力和市场活力。

构建共享数据库平台 篇6

关键词 气象信息共享平台;构建技术

中图分类号:TP315 文献标志码:B 文章编号:1673-890X(2016)06--02

作为气象信息管理系统中的一部分,气象信息共享平台对于各个阶层的人们了解气象信息具有无法替代的作用,将这一平台应用到具体的气象管理过程中,便成为了目前我国气象部门的工作重点。了解并掌握气象信息共享平台的关键技术,是将其应用到具体实践过程当中的一个主要步骤,因此,气象部门必须在对这一平台达到足够的了解的基础上,通过对其关键技术的探讨,才能更好地对这一平台进行应用,使我国气象部门能够得到更好的发展。

1 气象信息共享平台概述

1.1 气象信息共享平台的概念

气象信息包括各项基础资料、对基础资料的分析及业务与服务。气象信息所涵盖的范围很广,包括陆地、海洋等很多种,而气象信息共享平台,即是为各行各业以及广大人民提供气象信息的一大平台。气象信息共享平台属于气象信息管理系统中的一部分,主要目的在于实现气象信息的共享,使气象信息能夠及时被相关行业及人民了解,从而使其能够根据对气象信息对生产及生活进行安排,气象信息共享平台对于社会及人们来讲都是非常重要的。

1.2 气象信息共享平台的构成(见图1)

由图1可以看出,气象信息共享平台具有层次化明显的特点。总的来说,所有平台中的数据及信息都来自于国家级基础数据库,以国家级基础数据库为主要出发点和传播点,气象信息数据被从4个方向传播到了社会当中。首先,以国家级基础数据库为基础,气象信息被传播到了区域级及省级的共享平台和相关行业及领域的共享平台,从而为各省以及各相关行业提供具体的气象信息。其次,以国家级基础数据库为基础,气象信息被传播到了电子政务基础库,以为我国的政府机构提供相应的气象信息;同时,还被传播到了科学数据共享平台,为我国的科研教育界提供具体的信息。再次,气象信息还被传播到了公共服务平台,这一部分气象信息的传播主要是以社会及人民大众了解气象信息为主要目的;同时,在国际范围内,气象信息还被传播到了国际服务平台,为国际用户提供气象信息;最后,气象信息还被用于科技创新以及所轨道业务领域。由此可见,气象信息共享平台对于社会各个领域来讲都是非常重要的。

图1 气象信息共享平台的主要构成

2 气象信息共享关键技术探讨

2.1 元数据技术

作为气象信息共享关键技术中的一种,元数据一直对气象信息共享技术的发展起着重要的推动作用。在气象信息数据当中,元数据一直被称为数据中的数据,之所以这样称呼,是因为元数据属于各项数据的基础,即对数据进行分析与整理的技术,通过对元数据技术的应用,各项气象信息及数据能够得到有效的整合,对于气象信息共享系统性能的保证非常有利[1]。元数据技术的应用要以元数据信息管理系统为基础,其系统构成如图2所示。

图2 元数据系统构成

2.2 数据网格技术

早在20世纪末,数据网格技术就已经被西方国家所提出,但一直未得到有效的应用,直到今天,数据网格技术才发展成熟,同时被应用到了具体的气象信心共享平台当中。数据网格技术,简单地说,是一种通过网络的连接来对世界各地的气象信息及数据资源进行整合的一种技术,通过对这一技术的应用,我国的气象信息能够变得更加丰富,同时也更加具有合理性,对于气象信息共享平台的发展以及普及是非常有利的。

2.3 海量信息存储管理

相对于一般的信息管理来说,我国对气象信息及数据的管理通常要归属与海量信息管理方面。因此,在气象信息共享当中,实施对海量信息进行管理的技术是非常必要的。通过对这一技术的应用,不仅能够实现气象信息的分级存储,还能够实现海量数据的安全备份,这对于相关人员对于数据的查询及获取和权利都是非常有利的。

2.4 数据挖掘技术

在对气象信息进行查询的过程中,相关人员往往需要从大量的数据中提取所需要的数据。这时,数据挖掘技术便能够起到作用,使工作人员能够在极短的时间内“挖掘”到所需要的数据,这对提高工作人员工作效率非常有利。因此,数据挖掘技术属于我国气象信息共享中的一项关键技术。

3 结语

气象信息共享平台无论是对于政府及社会各行各业了解气象信息,还是对于科研界获取气象信息以对我国整体的气象状况及其发展的大趋势进行了解都是非常有利的,因此将其大规模的应用在气象领域已迫在眉睫。但在其应用过程中,相关人员一定要对其关键技术进行了解,这样才能最大程度地发挥这一平台的价值,最大程度地为我国各行各业的发展提供保证。

参考文献

[1]刘爱容.气象信息共享平台的开发技巧[J].气象与环境科学,2007(1).

大同科学数据共享平台设计与实现 篇7

随着计算机和通信技术的发展,计算机网络随之产生, 对数据的需求量日益增长。作为信息时代最基本的科技资源———科学数据,一般指各种社会科技活动中所产生的原始性、基础性数据,以及按照不同需求系统加工后的数据产品和相关信息,它涉及的学科比较广泛,既包括观测、探测、 调查和试验工作中长期积累、经整理编制的海量科学数据, 也包括科技工作者长期研究工作中所产生的大量科学数据[1、2]。然而,这些重要的数据资源散落在不同领域、学科、单位或个人手中,不能实现共享,对地区基础科学的研究和发展形成了严重的制约,并且还存在数据资源重复建设现象,产生了大量的数据冗余。目前,国家数据共享工程建设正如火如荼进行,山西省各地区正在建立自己的科学数据共享机制,在这种大形势下,为了提高现有数据的利用效率,充分发挥其作用,使数据产生者和数据使用者相互合作,进一步提升科学数据的价值尤为必要。

本文科学数据共享平台建设结合山西省大同市实际情况,面向全市需求,统筹规划科学数据库建设,对分散在不同领域的科学数据进行有效管理,实现资源共享,使科学数据在全社会得到广泛传播和应用,进而对科技创新、 经济发展和社会进步起到推动作用。参照中华人民共和国科技部发布的科学数据共享工程技术标准,采用Win- dows2003网络操作系统、SQL Server 2005数据库、J2EE及元数据相关技术[4、5],设计并实现了大同市科学数据共享平台系统。

1系统分析

根据与用户的不断沟通,同时分析系统用例和角色关系,得出系统主用例图关系,如图1所示。系统管理员主要负责用户管理、新闻管理、统计管理等;领域管理员主要负责目录管理、元数据管理;数据管理员主要负责审核、发布数据;普通用户可以进行元数据检索、浏览等。

平台主要分为前台和后台两部分,具体分为元数据汇交、发布数据服务、元数据检索、元数据浏览、用户管理、 目录管理、元数据管理、新闻管理、统计管理等功能模块。

2系统设计

2.1功能模块设计

大同地区科学数据库共享平台分为三大功能模块:数据服务模块、管理模块、其它服务模块。其中,数据服务模块又可以分为数据上传模块、数据检索模块、数据更新模块、数据汇交模块;管理模块分为用户管理权限模块、数据审核模块;其它服务模块分为互动交流模块、通告发布模块。系统功能结构如图2所示。

系统主要功能模块描述如下:

(1)数据服务模块:包括数据上传模块、数据检索模块、数据更新模块、数据汇交模块4个部分。

(2)通告发布模块:用于发布公共新闻信息,便于使用者及时了解平台动态信息。

(3)数据汇交模块:主要用于对已经审核通过的元数据进行汇交,以便统一管理。

(4)数据审核模块:对数据提供者上传的数据进行审核,审核通过数据才能展示给用户,主要考虑信息安全。

本系统采用B/S架构进行系统开发。客户端主要完成目录更新、元数据操作、数据发布、新闻发布等;数据库服务器和备份服务器用来存储用户信息、经过审核确定发布的数据等;整个系统在开放的万维网上运行。

2.2元数据设计

依据数据分类编码及元数据标准[3],制定了大同地区元数据目录。该目录包含一级目录、二级目录和三级目录。其中一级目录有8个,对应大同地区科学数据八大领域。每个领域按数据的类别又划分为若干个子目录。由于篇幅有限,仅以煤炭领域为例展示部分目录和编码。

将煤炭领域分为1个一级类目,16个二级类目,若干个三级类目。一级类目煤炭代码为C,二级类目煤炭科学代码为S,三级类目煤炭资源代码为11,其下属煤炭资源储量代码为11,其又下属煤炭资源储量概况代码为11,南郊区储量代码为12,这样就形成了两个总代码分别为: CS111111和CS111112。其余以此类推进行编码。

2.3数据库设计

系统涉及的数据表主要有Metadata(元数据)、Do- main(领域)、New(新闻)、Admin(管理员)、ContactInfo (联系信息)、MetaDataState (元数据状态)、Ftp(ftp服务)、Http(http服务)、UploadFile(文件服务)、FileState (文件服务状态)、PlatformUser (注册用户)、MetaData- Auditing(元数据审核)等,限于篇幅,只列出管理员表、元数据表如表1、表2所示。

3系统实现

3.1系统前台

系统网站首页如图3所示,主要由用户模块、八大领域数据资源浏览模块和新闻浏览模块组成。数据浏览部分主要包括摘要列表浏览、元数据详细内容浏览两部分。 其中元数据基本信息部分获取的代码如下:

此外,前台所实现的功能还有数据提交、数据检索、新闻浏览等。

3.2系统后台

后台主要由系统管理员和领域管理员来操作,系统管理员登录平台后可以增加、删除领域,同时还进行新闻发布和统计管理;领域管理员主要进行各自领域目录的管理和数据审核工作。其中元数据审核部分代码如下:

系统管理员增加领域部分代码如下:

4结语

平台系统在大同大学图书馆网站进行了链接试运行, 课题组人员收集、整理并录入了数万条数据信息。此外, 与以大同市科技局牵头的多家单位建立了协作关系,以便后期数据的不断更新。

参考文献

[1]科学数据共享工程调研组.实施科学数据共享工程[M].北京:科学出版社,2001:195-322.

[2]程津培.科学数据的共享管理一创建共享新秩序[J].中国基础科学,2003,20(1):156-160..

[3]肖珑等.中文元数据标准框架及其应用[J].大学图书馆学报,2001:967-969.

[4]李峰,刘彦隆.基于SSH框架与jquery技术的Java Web开发应用[J].科技情报开发与经济,2010,20(6):106-109.

电磁脉冲实验数据共享平台的研究 篇8

电磁脉冲EMP (Electromagnetic Pulse) 是短暂瞬变的电磁现象, 透过电磁波, 可对电子、信息、电力、光电、微波等设施造成破坏。电磁脉冲实验研究是指导电子系统正确设计和检验电磁脉冲防护理论正确与否的关键, 许多军方单位在这方面开展了工作, 并且积累了很多相关数据, 但是这些数据还处于分散状态, 储存格式和方法也大不相同, 因此利用率很低。为了满足国防事业发展的需要, 必须采用先进、可靠的技术对它们进行收集、存储、加工、分类和统计等, 把这些数据整理到一起, 建立相应的电磁脉冲实验数据共享平台, 来用于指导电子系统的正确设计。

在电磁脉冲实验数据共享平台的开发过程中, 课题立项的根本在于希望能充分利用军内、军外网络资源, 在安全要求之下最大化实现信息共享, 以达到电磁脉冲实验数据信息化管理的目的。

2 分析电磁脉冲实验数据共享平台

2.1 功能分析:

电磁脉冲实验数据共享平台是用来在军队的各个单位之间进行实验数据资源的共享和交换的。作为共享平台, 应该具备实验数据的查询、增加、修改、删除等功能, 而作为交换平台, 它应该具备实验数据的导入、导出、上传、下载等功能。

2.2 需求分析:对实验数据交换的需求, 对数据信息目录的需求, 对实验数据共享的需求, 对资源管理的需求, 对数据信息整合的需求。

2.3 共享平台用户分析:平台参建部门操作员, 基层部队使用人员, 平台管理员。

3 电磁脉冲实验数据共享平台功能

3.1 实验数据传输:数据的接收与发送, 交换共享平台的合法性验证等。

3.2 实验数据转换:

数据交换双方的数据可能是异型异构, 要使交换双方能够识别彼此的信息, 必须依据相关的标准和协议对数据的格式进行转换, 以实现信息的透明传输。

3.3 实验数据检查:

包括逻辑关系、完整性和错误信息检查, 认证数据来源的合法性、检查数据包的格式是否符合标准、检查数据的时效性、延续性、检查数据项是否符合标准, 将错误数据返回数据交换部门进行校正后重新进行传输。

3.4 实验数据加载:加载检查合格的数据、过滤并记录重复记录、记录重号数据、记录重号信息处理结果。

3.5 实验数据反馈:将数据维护过程中发现的错误信息进行反馈。

3.6 异常处理:

对数据接收、数据加载、导入、导出过程中, 出现的异常情况, 例如在数据接收的过程中出现网络中断、在数据加载或导入导出的过程中出现数据库异常等情况时, 应采取报警、重做、异常日志记录等处理工作。

3.7 业务协同:

通过设置相应规则, 系统可以将共享平台中信息的变化自动地通知相关单位, 帮助各业务单位之间建立业务协同关系, 进行相关数据信息传递。业务协同的流程可以定制。业务协同采用Web Services技术, 通过自定义请求服务方式生成系统间服务。具体业务办理时依据定义的服务格式进行服务。

3.8 信息发布:可将信息发布给信息总线上的所有接入节点。

3.9 信息订阅:用户可以在接入节点上订阅自己需要的信息, 电磁脉冲实验数据共享平台将其订阅的信息推送给该节点。

3.1 0 接口调用:

建设电磁脉冲实验数据信息管理系统同参与共享系统建设的军队各单位部门, 进行数据交换的接口, 实现对各单位部门数据的抽取, 以及各单位对数据的接受和加载。

4 实验数据传输、交换业务流程分析

4.1 参与数据交换的各单位从各自的业务系统中提取数据, 按照

各自的接口xml规范文档要求, 生成xml文件格式数据, 存储到数据交换前置机上。

4.2 电磁脉冲实验数据共享平台军队内网利用电磁脉冲实验数据

共享平台把数据加载到周转库中, 然后通过身份核查程序把加载到周转库中的数据进行身份核查, 把通过身份核查的数据维护到正式库 (电磁脉冲实验数据信息库) 中, 没有通过身份核查的数据存储到不匹配库中。把经过身份核查程序处理过的数据从周转库中删除。对于产生的异常库中的数据信息, 进行数据交换的单位可以通过浏览器方式来查询这些信息。同时, 数据信息交换中心的交换平台会自动将正式库中各部门匹配和不匹配的数据信息发送到数据交换与共享平台上, 再由单位门的数据交换前置机系统上的交换系统将反馈数据信息接收下来, 保存到交换前置机上, 再由进行数据交换单位的操作员重新对这些反馈的数据进行处理。

4.3 平台同时会向各单位提供查询服务, 主要是把电磁脉冲实验

数据库中的数据通过查询平台向军械工程学院、科研单位2, 科研单位3, 科研单位4提供信息查询服务。

5 共享平台的设计

基于Struts架构的共享平台的工作流程:客户点击菜单请求一个JSP页面, 在JSP页面上填写业务数据后提交请求到Action对象, Action对象将用户的数据及其它数据作为参数调用业务代理对象, 业务代理对象负责执行业务逻辑, 将数据保存到数据库或者从数据库查询数据, 并将执行结果反馈给Action对象, Action对象根据其返回值决定下一步向用户返回哪个JSP页面。至此一次用户交互流程结束。

6 基于S truts框架的共享平台的实现

6.1 表示层。

表示层主要是用来显示共享平台与用户交流的界面, 收集用户和系统的交互信息, 接收用户的请求, 并将业务逻辑层处理的结果显示给用户。JSP页面用于数据的显示和录入。Action Form类用于存储JSP页面的数据, 从而实现了程序和界面的分离, 简化了JSP的页面设计, 使页面设计人员和程序开发人员能各司其职, 达到表示层与业务层分离的目的。

6.2 控制层。

控制层的作用是实现对业务逻辑层的控制, 接收表示层的请求, 将数据转入相应的业务模块, 再将业务模块处理的数据结果传回表示层。

7 结论

7.1 基于Struts框架技术开发设计和实现, 实现了业务逻辑和业务

数据的分离, 提高了系统的稳定性和可扩展性, 应用程序具有层次结构清晰, 易于分工协作, 代码重用率高, 维护扩展性好等优点。

7.2 研究XML技术。

并根据它们的特性提出基于XML的异构数据共享模型;研究J2EE架构及其相关技术, 并在此基础上设计了异构数据共享和集成环境;

7.3 在共享平台实现的方法上, 把Internet技术和Web服务理念

高校课程资源网络共享平台的构建 篇9

关键词:校园网,资源共享,共享平台

0 引言

当前, 随着我国社会经济的迅猛发展, 社会大众对于新知识的渴求逐年呈递增的趋势, 虽然目前我国的高等教育已经成为了大众化的教育, 但对于整个社会而言, 课程资源的供给还明显小于需求, 因此寻找一种高校课程资源合理的共享机制显得尤为重要。近几年来, 随着计算机网络技术、数据库技术, 以及多媒体技术等计算机相关技术的发展, 网络已经成为了一个空前巨大的信息载体, 也成为了人们获取知识的最重要的途径之一, 因此依托于学校校园网, 合理地整合课程资源, 构建一个统一的高校课程资源网络共享平台, 已成为了解决上述问题的有效途径。

1 课程资源共享的优点

通过网络共享平台对课程资源进行整合, 并以此为基础实现的课程资源共享具有以下优点。首先, 从资源建设上讲, 高校的课程资源包括课程教学录像、演示文稿、教学大纲、教学日历、教案、作业等基本资源, 以及案例库、专题讲座库等拓展资源, 资源数目繁多、数量巨大, 不便于集中、有效的管理, 也不便于查询与整理, 通过高校课程资源网络共享平台对于上述课程资源进行有效、有机、高效的整合与发布, 可以实现课程资源的便捷管理, 以及不受时间、空间限制的异地查询、浏览、学习, 是解决课程资源供需矛盾的一种有效的途径。其次, 随着国内各高校教学水平的不断提高, 相继涌现出了国家精品课、精品视频公开课、精品资源共享课等一批教学质量高、示范性强、学生喜欢听的优秀课程, 通过高校课程资源网络共享平台的整合与发布, 可以将优秀的课程资源面向于社会大众进行开放, 可以让社会大众随时浏览与学习, 这不仅能够促进学校优秀的课程资源的宣传、推广、普及, 促进社会大众知识水平的提高, 同时也有利于推动学校整体教学质量的提升。最后, 通过构建高校课程资源网络共享平台, 可以使课程资源, 面向于校园网中其它应用系统实现资源整合与资源共享, 同时也可以获取校园网中其它应用系统的共享数据, 以实现数据的同步更新, 避免校园网中“信息孤岛”的发生。

如何构建上述高校课程资源网络共享平台, 其中的关键有两点, 即课程资源共享模型的构建, 以及课程资源共享方式的选择, 这便是本文下面所要阐述的内容。

2 高校课程资源网络共享模型的构建

本模型的设计采用基于.NET框架和B/S (Browser/Server, 浏览器/服务器) 模式的三层体系结构, 采用上述体系结构的主要优点在于安装维护简便、维护成本低, 因为几乎所有的软件安装部署和升级均在服务器端进行, 客户端几乎不用特别的操作, 便可以通过Web浏览器对平台进行访问, 这种“瘦”客户端的性质, 大大节省了客户端后期维护的人力成本, 同时采用三层体系结构的设计, 各个层次之间相互独立且隔离, 彼此之间只能通过接口进行信息传递, 由此可以保证各个层次之间的高内聚低耦合, 增强平台访问的安全性。

当然, 本模型的构建也没有完全采用传统意义上的三层体系结构, 而是对传统的三层体系结构进行了拓展, 提高了本模型的安全性, 也使得本模型的构建更适合校园网中的信息共享, 如图1所示, 本模型所采用的三层体系结构从上到下分为表示层、业务逻辑层和数据访问层, 在上述三层结构中, 只有数据访问层可以直接对后台数据库进行访问, 同时为了数据共享方便又在上述三层结构之外拓展了一个信任区, 此区域中的组件对后台数据库的直接访问被认为是可信的、安全的。下面主要介绍上述三个层次, 以及信任区的主要功能。

表示层的主要作用是向上完成高校课程资源网络共享平台同用户之间的信息交互, 并通过Web浏览器将本平台的可视化组件, 以及图片、文本等资源直观的展示给平台的使用者, 供用户访问和操作本平台, 当然对于不同权限的用户, 其通过本层次所能访问的高校课程资源网络共享平台的内容也不尽相同, 比如普通用户只能访问本平台的前台课程信息发布页, 浏览相关的课程信息, 如课程教学录像、课件等资源, 而教师这类用户不仅可以访问本平台的前台课程信息发布页, 还可以访问本平台的后台管理页, 用来增添、删除或修改前台所发布的本人所讲授的课程信息, 管理员在包括普通用户权限的基础上, 还具备访问平台后台管理页面, 维护所有的课程信息, 管理所有的注册教师信息, 以及修改系统的运行参数等权限;同时表示层向下可以向业务逻辑层发送HTTP请求, 并接收来自于业务逻辑层的HTTP响应, 并将结果以直观的形式通过Web浏览器展示给用户。

业务逻辑层中包含了高校课程资源网络共享平台中所有的功能组件, 这其中包括安全组件和业务组件两部分, 业务组件又包括平台功能组件和共享组件。本层次中的安全组件用于接收表示层向本层次传来的HTTP请求, 检验其中是否可能存在SQL注入攻击、XSS攻击等对于平台安全危害极大的攻击行为, 并将过滤后的可信HTTP请求发送给业务组件, 如果当前可信HTTP请求是发送给平台功能组件的, 那么平台功能组件根据可信HTTP请求解释或执行页面, 如果遇到对后台数据库访问的请求, 那么平台功能组件将调用数据访问层中相应的数据访问接口实现;如果可信的HTTP请求是发送给共享组件的, 那么共享组件将调用Web Service中的不同接口实现, 如果Web Service中的接口想要访问后台数据库, 那么也要通过调用数据访问层中的相应数据访问接口实现;同时业务逻辑层还将返回的HTTP响应回传到表示层。

数据访问层包含了所有的数据库访问接口和数据库访问类, 这些接口中定义了对数据库的查询、添加、修改、删除等操作, 以及执行数据库中定义的存储过程等所有与数据库访问、操作相关的行为, 这一层次中的数据库访问接口只能被业务逻辑层所调用, 用来完成业务逻辑层对系统后台数据库的操作, 并将操作结果返回给业务逻辑层, 通过这种方式系统后台数据库对于客户端的用户来说是隐藏的, 增强了系统后台数据库访问的安全性。

信任区是在上述三层体系结构外的一个拓展区域, 主要为了便于实现基于校园网的数据共享, 这个区域中的组件是被授权的可以不用通过数据访问层, 直接访问系统后台数据库, 常见的有两类组件, 即数据集成中间件和触发器, 数据集成中间件主要用来连接元数据库、系统后台数据库和其它需要实现数据共享的数据库, 以实现异构数据库之间的数据集成与数据共享, 触发器的主要用途是实现系统后台数据库中的某些数据, 同校园网中其它应用系统中的同一数据保持同步更新, 以保证校园网中这类数据不存在二义性。

3 高校课程资源网络共享模型的共享方式

根据上文所构建的课程资源网络共享模型, 本平台面向于不同对象的不同需求, 运用Web Service、数据集成中间件, 以及触发器三种方式实现基于校园网的数据共享。

通过Web Service实现的数据共享, 主要便于校园网或互联网中的其它应用系统或应用程序将本平台中的课程资源信息无缝地集成到自身的系统开发当中, 使本平台所提供的课程资源能够成为校园网中其它应用系统的组成部分, 比如手机中的某个应用程序当集成了本平台所提供的Web Service时, 可以通过调用Web Service中的相应接口, 获取最新课程资源的更新信息, 并推送到用户的手机通知栏当中, 用户打开手机便可以获取课程资源的最新更新情况, 想要看最新的课程教学视频, 只需要一点便可以实现, 当然也可以将本平台所提供的所有课程资源集成到手机应用程序或其他Web应用系统的开发当中, 使用户不用浏览本平台的前台页面, 也可以浏览本平台所提供的课程资源信息。

通过数据集成中间件实现的数据共享, 主要面向于校园网中的其它应用系统同本平台实现异构数据资源的集成与整合, 换句话说当用户的查询请求分布于多个异构数据源, 而查询结果需要高度集成与整合时, 那么最简单的方法便是通过数据集成中间件实现, 比如用户需要输入教工号查询某位教师基本信息、科研信息, 以及所讲课程的教学录像, 由于这些资源分布在人事信息库、科研信息库, 以及本平台的后台课程资源库中, 并且需要返回统一的查询结果, 那么就需要通过数据集成中间件对用户提交的全局查询请求, 按照元数据库中记录的全局数据库与局部数据库之间的映射关系, 对全局查询请求进行分解, 并将分解后的子查询发送到局部数据库, 也就是发送到人事信息库、科研信息库, 以及课程资源库中进行分别查询, 并将查询结果返回数据集成中间件进行统一整合和输出, 供用户浏览, 通过上述方式用户在进行查询时只需要关注查询的内容, 而不需要了解数据的具体获取方法, 并且简化了用户的查询步骤, 节省了查询时间, 提高了查询效率。

通过触发器实现的数据共享, 主要面向于系统后台数据库中某些数据同校园网中其它应用系统中的同一数据保持同步更新, 避免校园网中的同一数据出现二义性, 保证校园网中同一数据的统一性, 比如某位教师的学位信息在本平台后台数据库中记录为硕士, 当之后这位教师取得博士学位时, 人事系统中这位教师的学位信息由硕士更改为了博士, 但本平台后台数据库中所记录的这位教师的学位信息仍然是硕士, 这就会造成这位教师的学位信息的二义性, 所以就需要在本平台后台数据库和人事信息库之间建立起一种数据同步更新机制, 这种机制可以通过在人事信息库中的相应表单中建立触发器实现, 通过触发器对表单中的UPDATE操作进行实时监控, 当表单中的某条教师信息记录进行UPDATE更新时, 判断是否为需要同步更新的字段进行了更新, 如果是就远程更新本平台中, 对应工号教师信息记录的相应字段, 如果本平台中没有对应工号的教师信息记录, 则不更新。当然, 也可以通过Web Service的方式实现上述数据同步更新, 但是需要人事信息系统集成本平台所提供的Web Service, 并且在进行数据更改时, 判断是否调用Web Service中的相应数据写入接口, 这需要对人事信息系统进行二次开发, 增加人力物力成本, 而且由于Web Service的调用是面向大众的, 出于安全考虑, 对本平台数据库进行写入操作时, 需要建立起一种数据认证机制, 保证数据的写入是人事信息系统进行的, 介于上述情况, 本平台选用触发器进行数据同步更新。

4 课程资源网络共享平台的框架结构

本平台根据上述模型, 本校的实际情况, 以及具体的功能需求, 设计了如下的平台框架结构, 如图2所示, 高校课程资源网络共享平台的框架结构分为前台显示和后台管理两个子系统, 其中前台显示子系统主要包括资源采集模块和页面生成模块两部分构成, 后台管理子系统主要由系统管理模块、用户管理模块、前台布局管理模块、课程栏目管理模块、信息发布管理模块五部分构成。

前台显示子系统用于显示本平台中供大众浏览的课程资源页面, 其中资源采集模块的作用是通过调用数据访问层中的相关数据库访问接口, 从系统后台数据库中采集需要在前台显示的课程资源信息、构成前台页面的一些框架信息, 以及一些其它相关信息, 比如通知信息等, 并将采集到的信息发送到页面生成模块;页面生成模块根据上述课程资源信息, 以及构成页面的框架信息等相关信息, 最终生成供用户浏览的前台页面。

后台管理子系统主要用于完成平台的日常管理, 以及前台页面中课程信息资源的管理, 其中的系统管理模块的主要功能包括管理平台前台与后台运行的各种设置参数, 平台后台数据库的备份与还原;用户管理模块的主要功能是维护系统管理员和教师的登录信息, 并为系统管理员分配权限;前台布局管理模块的主要功能是管理前台页面中不同的位置所显示的栏目内容, 以及导航栏中所显示的内容, 还有其它页面元素的显示位置等前台页面框架的布局信息;课程栏目管理模块的主要内容是创建并管理分级的课程栏目, 以及相应的子栏目, 设定栏目之间的引用关系, 比如创建中药化学这门课程栏目, 其为一级栏目, 然后在上述栏目下创建课程教学录像、教案、演示文稿、教学日历等二级栏目, 这样便可以很快完成一门课程的资源分类, 同时也可以创建一些非课程栏目, 比如通知公告、最新更新等栏目, 以最新更新这个栏目为例, 可以为其设定引用的对象为所有的课程栏目, 引用内容为最新更新, 这样任何一门课程的资源内容有了更新, 都会推送信息到最新更新栏目中显示;信息发布管理模块的主要功能是添加、修改、删除、查询课程栏目中的课程资源信息和非课程栏目中所需的信息。

5 结束语

本文设计了一种基于三层体系结构的课程资源网络共享模型, 针对于不同的对象研究了三种资源共享方式, 同时设计了上述平台的框架结构, 最终完成了高校课程资源网络共享平台的设计, 经校园网运行测试, 各功能运行正常, 符合设计需求, 相信随着本平台的应用, 必将提高高校课程资源建设的信息化水平, 改善课程资源供给的矛盾关系, 促进教师教学水平与学校教学质量的提高。

参考文献

[1]马俊.精品资源共享课网络资源共享平台体系模型的构建[J].中国科技信息, 2014, 19 (20) :104-105.

[2]周明胜, 蒋平.高校优质课程资源共享平台的搭建:困境与对策[J].中国大学教学, 2008 (11) :76-78.

[3]高凤香.高校教学资源共享及其机制构建问题探讨[J].西安航空技术高等专科学校学报, 2011, 29 (4) :66-69.

构建共享数据库平台 篇10

交通运输业是我国国民经济的重要支柱,建国几十年来,我国积累的丰富的交通运输科学数据分散在不同行业、部门、单位甚至个人手中,难以共享,这在相当大程度上制约了科研与生产水平的提高。随着Internet迅猛发展和信息一体化的深入,交通科学数据共享的需求愈来愈强烈,而网络信息无序、多元、异构等特点,给资源的共享和利用带来困难。因此,需要制定和实施一系列准确、规范并且可操作的网络信息资源描述格式及应用系统,改善网络科学数据组织的状况,提高对资源的存取和利用效率。作为“关于数据的数据”,元数据具有良好的层次结构,可以简洁、清晰地描述数据的特征与属性,是网络科学数据资源组织的基础。因此元数据在交通科学数据共享中的应用成为新的研究课题。

1 元数据及其标准

1.1 元数据的涵义

元数据(metadata)一词最早出现于NASA的《目录交换格式》(DIF)手册中。迄今为止,元数据还没有一个公认的定义,学术界比较公认的定义是:元数据是关于数据的数据( data about data)或“描述数据的数据”( data that describes data) 。其主要目的是:为数据生产者提供有效的数据管理和维护的手段,通过元数据提供网上数据查询、检索与交换;使数据的使用者快速、全面、有效地获取数据资源,实现异地、异构数据库系统的数据共享。

1.2 元数据标准

元数据标准的发展情况在国外主要有都柏林核心(DC)、ISO19115、E-GIF、GILS等几个主要标准;国内主要有中国可持续发展信息元数据、NREDIS信息共享元数据内容标准草案、NSII空间元数据标准、国土资源信息核心元数据标准、地质调查元数据内容与格式标准、国家气象局气象数据元数据标准和数据图书馆元数据标准等。国内、外较为成熟的是:

1) 美国都柏林核心元数据标准。最早产生于1995年召开的元数据研讨会上,由OCLC和NCSA联合发起。其最初目的是为了网络资源的著录与挖掘,描述的对象是网络资源,目前已经被翻译成20种语言在各国使用,并于2003年正式被国际认可,发布为ISO15836。它包括15个基本元素,大致可分为3部分:数据资源内容、知识产权与外部属性。

2) 《地理信息元数据》国家标准。《地理信息元数据》国家标准由全国地理信息标准化技术委员会提出,经过国家技术质量监督局批准,1999年底开始由国家基础地理信息中心负责起草。它以ISO19115草案为基础,参考美国FGDC的CSDGM标准,结合中国具体国情制定。此标准定义描述地理信息及其服务所需要的模式,提供有关数字地理数据标识、覆盖范围、质量、空间和时间模式、空间参照系和分发等信息。

1.3 交通运输科学数据共享元数据内容

《交通运输科学数据共享元数据内容》是在采用或参考国际标准、国外先进和国内的元数据内容标准的基础上,结合本领域科学数据的特点而制定的。其中主要借鉴了ISO19115《地理信息——元数据》和《都柏林核心元数据集》,ISO19115为制定交通运输科学数据共享元数据内容框架提供了重要参考,帮助确定了元数据子集、元数据实体、元数据元素3个元数据层次关系;都柏林核心元数据集提供了制定交通运输科学数据共享核心元数据的思想。将这些成熟思想与交通运输领域科学数据共享的实际情况融合,使得制定的共享元数据标准既具有先进性,又为与国外交通运输领域进行信息、服务交流奠定了元数据内容标准一致性的基础。

交通运输科学数据共享元数据内容包含3个元数据集合:科学数据共享核心元数据、部分科学数据共享公共元数据以及部分科学数据共享参考元数据,这3个元数据集合在内容上有密切的关系,即:共享参考元数据包含共享公共元数据的元数据实体和元素,共享公共元数据包含共享核心元数据的元数据实体和元素。在元数据的内容层次上,共享参考元数据和共享公共元数据有共同的层次结构,而共享核心元数据有自己的内容层级结构。图1表示的是3个元数据集合之间的关系。

共享核心元数据借鉴都柏林核心元数据集思想,由17项最为简洁的元数据实体/元素组成,涵盖了数据集标识、语种、字符集、联系方、创建日期、标准名称、标准版本、数据集标识、数据集内容、分发、质量、参照系、图示表达、扩展、数据模式、限制、维护方面的信息。这17项元数据实体/元素描述了交通运输科学数据资源最一般的信息,具有高度的概括性,构成了交通领域数据集元数据的根实体,即元数据实体集信息。

共享公共元数据包含共享核心元数据的全部内容,分别与元数据实体集中的标识信息、内容信息、分发信息、数据质量信息、图示表达目录信息、元数据扩展信息、数据模式信息、限制信息、维护信息9个元数据实体相关联,由相应的9个元数据子集、共89项元数据元素/实体组成。其中依据交通运输领域的自身特色,对内容信息子集进行扩展,从数据产生方式、描述对象、服务范围方面进一步明确了数据资源的内容。

共享参考元数据是公共元数据的扩展与细化,比公共元数据拥有更多的元数据子集、更为丰富的元数据实体和元素。具体而言,在共享公共元数据的基础上,与元数据实体集中的参照系信息相关联,即包含10个元数据子集,共136项元数据元素/实体。

上述3个层次的元数据集合构成了交通科学数据共享元数据内容的整体框架,如图2所示。该框架包括3部分:元数据实体集信息、10个元数据子集、2个元数据类型实体。

2 基于元数据的交通运输科学数据共享平台设计

2.1 交通运输科学数据资源体系

应用《交通运输科学数据共享元数据内容》共享数据资源,首先要对数据资源分类、分层。分类、分层是为确定数据资源的著录范围,便于元数据的管理、检索与交换。为此,在调研本领域现有科学数据分布、科学技术发展和趋势的基础上,参考学科分类与代码表、国民经济行业分类与代码、中国图书馆图书分类法、交通汉语主题词表、中国铁路叙词表等资料,提出了交通运输科学数据资源体系。

该体系分为公路、铁路、水路运输、民航、综合运输、其他6个方面,每一个方面为一大类,在大类下设中类、小类及数据集3层,形成逐级细分的3层的体系框架,以公路运输为例,图3说明了体系框架的层次关系。

2.2 交通运输科学数据资源数据集元数据表

数据集位于交通运输科学数据资源体系框架的底层,是可以标识的数据集合。它由具有相同属性的数据资源聚集而成,不仅显现了某一类资源的特点,而且划分的资源范围恰到好处,不会因为过粗或过细而影响元数据的检索和使用效果,因此对数据集进行著录是最为适当的。根据上述共享元数据内容,对9个元数据子集、共89项元数据元素/实体进行选择,形成必选的7个元数据子集、共31项元数据元素/实体,这就是对交通运输科学数据资源数据集著录元数据的必选内容,其余为可选内容。在实际著录中,依据数据集本身的特点,可在必选基础上有所增加。表1为交通事故统计数据集元数据列表。

2.3 基于元数据的交通运输科学数据共享平台

交通运输科学数据共享平台是基于元数据设计构建的,它采用分布存储、集中管理的策略,分为数据加工、数据汇交、数据管理、数据服务和门户网站5个部分。平台总体架构如图4所示。以下具体论述元数据在5个部分中的应用。

1) 元数据著录。

元数据著录是通过元数据编辑器在数据加工子系统中完成的。元数据编辑器可以按照标准所定义的处理逻辑,根据当前编辑状态动态地规范用户操作,引导著录人员编辑生成正确的元数据。根据以上元数据标准要求,编辑组件动态生成功能根据元素数据类型和取值方式动态地确定界面编辑组件的形式,使用户易于理解、操作;元素关系自动关联保证元素之间的约束关系能够被自动处理,减少著录人员因对标准理解的误差而产生元数据结构错误的可能;元素值域检查对著录的数据值的有效性进行判断,确保著录内容的正确性。著录并检查后的元数据以XML文档格式输出,并且把元数据结构定义信息和元数据相应的元素信息分别输出,为元数据的存储与检索做准备。

2) 元数据汇交。

各数据生产单位将著录后的元数据通过数据汇交系统汇交到交通科学数据中心,该过程分为2个步骤:首先数据生产单位通过网络在线或客户端软件离线提交元数据,然后是元数据的质量审查、访问权限控制与发布。通过审查并实施了权限控制后的元数据存储在元数据库及元数据关系数据库中。

3) 元数据存储管理。

元数据管理是数据管理系统中存储管理的一部分。在元数据库中,元数据以关系化的方式进行存储,即以独立的存储表记录元数据的结构定义信息。在元数据关系数据库中不仅存储结构信息,而且存储元数据内容信息,即以元素为单位,将元数据XML文本分解,逐个存储元素的相应信息,同时以整个元数据XML文本为单位存储,将XML文本存放于一个字段中。在检索元数据时,根据请求将元素信息与结构信息相关联,检索到符合的元数据后,通过存放XML文本的字段直接提取元数据全文,避免重新组合元数据元素,提高存取速度。

4) 元数据检索。

元数据检索分为一般检索与高级检索,是数据服务系统的组成部分。标准规范的元数据格式给用户提供了统一的接口,用户只需要使用通用规范的检索词就可以与标引的元数据相匹配,准确定位。用户通过得到的元数据,直接链接到相应数据资源,或与资源生产单位联系,索取相应数据。对于一些具有较完善的元数据著录、管理系统的数据生产单位,按照标准要求,可通过交通科学数据资源信息整合接口实现元数据的检索与共享,而不需将元数据汇交到数据中心。整合接口的检索请求是由一个前缀加后缀组成的符合RFC2396格式要求的URL,例如:http://www.XXX.cn/resource?sort=01&key word=值&page=1&pagesize=15,通过此接口可在交通科学数据中心跨平台检索到元数据,用户无需考虑元数据存放位置,直接定位相关目标数据源。

5)元数据组织与浏览。

元数据以树型目录的格式通过共享网门户展现给用户,它以交通运输科学数据资源体系为基础,将各数据集的元数据以树型结构展示。熟悉交通科学数据资源分类的用户可以从树干进入,逐层展开,直至定位到树枝部的数据集,通过元数据定位到数据资源。用户还可以通过检索,先浏览相应的元数据,再由树枝部逐层折叠,由细到粗浏览某一小类、中类或整棵树的元数据。这样的元数据组织形式,使得没有具体实体存在的网络数据资源有机联结在一起,便于用户的定位与选择。

3 结束语

交通科学数据共享平台设计采用TBS Search(数据库全文检索系统)、TBS RPS(资源发布服务系统)和SQL Server(数据库管理系统),既能支持大规模、快速的全文检索服务,又能发挥SQL大型数据库存储数据量大、效率高、安全性好的性能,满足交通运输领域积累的海量科学数据资源的整合、优化与共享。目前,交通科学数据共享平台初步搭建完成(www.transdata.cn),现已共享元数据842个,共享数据资源3G。平台实际运行表明:通过元数据已实现分散、无序、多元、异构的数据资源的有机整合,提高了对资源的存取和利用效率。但同时发现:一些数据生产单位早已制定元数据标准、建立元数据系统,但其元数据格式与《交通运输科学数据共享元数据内容》存在差异,如果推翻已有而新建并不现实,因此问题的关键在于如何进行不同格式元数据之间的转化。常用的元数据格式有DC、XML、RDF以及MARC 4种,交通运输科学数据共享元数据采用XML格式,实现这4种格式的元数据之间的任意转换,不仅需要技术的深入研究,还需依靠标准化步伐的推进,这也是基于元数据的共享平台进一步的研究方向。

参考文献

[1]叶鹰,潘有能,潘卫.情报学基础教程[M].北京:科学出版社,2006

[2]黄鼎成,郭增艳.科学数据共享管理研究[M].北京:中国科学技术出版社,2002

[3]陈燕,吕晓春,孙静涛.焊接科学数据共享体系设计与元数据研究[J].焊接,2006(6):56-60

[4]石镇山,宋彦彦.基于元数据的仪器仪表科学数据共享平台设计[J].仪器仪表标准化计量,2007,33(3):7-10

[5]谢斌红,张英俊,陈立潮.太原地区科学数据共享平台设计与实现[J].太原理工大学学报,2008(1):52-56

[6]URL:http://dublincore.org/(访问时间:2008-2-1)

[7]URL:http://dublincore.org/documents/dces/(访问时间:2008-2-1)

构建共享数据库平台 篇11

关键词:国土资源;综合监管;服务平台;构建

中图分类号: F323.24 文献标识码: A 文章编号: 1674-0432(2013)-24-92-1

1 国土资源综合监管与共享服务平台构建的背景

我国各地对于国土资源信息化平台的建构都还处在“数据中心+电子政务平台+业务系统”这样一个固定的模式当中,并在这个模式下不断地进行探索和改革,想要寻求一条更加适合现代化的国土资源信息化道路。在经济迅猛发展、信息化普及的前提下,更要加快国土资源信息化建设的步伐,为国土资源进行更好的规划、管理、保护、整合提供更有力的科学保证。在国土资源信息化建设的前提下,还要形成一套完整的国土资源综合监管系统,这样就能够做到及时地进行信息集聚、预警检测、辅助决策以及在线指挥的功能。而国土资源信息共享服务可以有效进行社会需求的及时反馈、相关行业的及时分析,这样才能实现资源的优化管理。

而要想最终实现这个目标,就要进行“一张图”的建设,所谓“一张图”也就是将第二次土地调查所形成的全国遥感影像的图作为工作基础,在充分进行数据调查的前提下,进一步完善国土资源数据的整合分析,建立起一个更加准确的数据库,通过这些数据来对国土资源进行更好的监管。并且,这些数据并不是长久性的,而是处在不断地变动中的,需要根据时代的变化以及社会的发展进行不断扩充和调整,让数据库变得更加完整,更加规范化和具有科学性。

2 综合监管平台的建设

国土资源的监管平台就是对于国土资源信息的一个合理整合,它的形成是依托于互联网的高速发展以及一些基础的数据资源和应用系统所建立的一个国土资源信息化平台。而国土资源综合监管平台一旦建设起来就能很好地进行数据信息的汇总,对于国土资源情况进行及时的动态检测以及在线指挥。这样就有效避免了之前国土资源数据库更新不及时或是无法进行统一管理的情况。对于国土资源综合监管平台的建设重点就是监管数据库的建设以及获取监管信息,这样才能更加快速、准确地掌握数据信息。一方面,通过电子平台所获得的数据信息可以对于各类土地资源的开发情况进行及时监管,跟踪处置,同时还能对剩余未处理的土地进行及时的整合和统计。同时,通过卫星遥感系统,还可以进行地质灾害的预警,获得更加准确科学的信息。随着国土资源综合监管平台建设的日渐成熟,电子平台已经在土地执法监管方面起着越来越重要的作用,有效避免了不法分子私自对未批的土地进行使用和处置的情况,能够让国土资源的监管工作更加顺利地进行。还有非常重要的一点作用,就是可以从执法监察部门获得监管信息以及样本数据。然后执法监察部将这些数据信息传输到网络平台当中,就可以永久地保留,指挥中心通过这些数据就可以进行及时地反馈和指挥,让国土资源管理工作更加顺利地进行下去。

3 共享服务平台的建设

在“十二五”规划建设当中,将国土资源信息的互通互联作为工作的重点,对于国土资源的信息化建设提出了更加严格的要求。通过这样的建设不仅会使各地的基础设施建设以及管理制度建设进一步的发展,同时也有利于基础数据库的更好发展以及整个信息系统的建立。对于国土资源的信息来说,不再是局限于一个部门内部当中,更要为上下级相关的部门都能提供可靠的数据支撑。这样在进行国土资源监管工作的时候数据就会及时地进行更新,上下级部门能够进行及时地沟通,让整体的监管成为一个完整的系统。除此之外,国土资源共享服务平台的建设还可以为多级国土资源管理信息系统以及其他行业、其他领域的社会化信息服务起到极大的支撑作用,并逐渐深入到全国的每一个角落,让各个部门以及各个系统之间能够形成一个完善的综合体系。

如果我国的国土资源建立起了共享服务平台,那么就可以将这些信息进行汇总和整理,能够及时掌握最准确的信息动态,同时还方便系统的集成与扩展,支持多种应用程序的开发环境,为客户提供更加多元化的信息服务,让各级国土资源点子政务平台和监管平台都可以建立在统一的共享服务平台之上,通过平台的共享来实现资源的交换。

参考文献

[1] 国土资源部.国土资源“十二五”规划纲要.北京,201l.

[2] 国土资源部.全国“一张图”数据库技术白皮书.北京,2009.

[3] 国土资源部.第二次全国土地调查技术规程.北京,2007.

[4] 国土资源部.第二次全国土地调查总体方案.北京,2006.

[5] 李程鹏.对于国土资源综合监管以及共享服务平台建设的浅析[J].2008,22-26.

市县地震数据共享平台的架构设计 篇12

自2007年以来, 我国一步步完成了地震科学数据共享平台系统地建设, 形成了一个由国家地震科学数据共享中心、十个专业共享分中心和十五个省级共享节点构成的地震科学数据共享系统, 但受限于我国现今的网络技术以及共享平台的开发力度薄弱, 我国现今地震方面的信息服务还不能准确的做到实时灾情发布和震前预警。

正是因为地震信息数据的综合性、空间性、时间性、采集多源、信息海量等特点, 长久以来, 市县一级的地震数据共享平台的建设始终凝滞不前。如果能更大程度地发挥地震数据的作用, 不仅能让地震信息数据更便利、直观地提供信息服务, 达到效益最大化从而提高科技创新能力, 也能为市县级政府管理工作的决策提供更快捷可靠的支持。

1 市县地震监测仪器现状

现如今市面上的地震监测仪器五花八门, 各个市县的采购也没有一个统一的标准, 所以测得的地震数据也很难在全省范围内达到标准化, 所以, 先要对市县地震部门安装的地震监测仪器的种类, 名称, 型号, 出产厂家, 数据格式等内容进行收集, 才能对这些数据进行整合归类;然后, 如果有部分市县地震部门已经开发了相关客户端或者建立了网站, 那我们就需要去详细了解其内部结构, 在此基础上最终遴选出最适合进行数据共享的监测仪器。

2 软件设计

2.1 实现功能

(1) 基础数据录入。根据中国地震前兆数据库结构规范, 将涉及的市县地震台站名称、代码, 经纬度以及非标准仪器的名称、型号、代码等信息录入数据库, 对数据库中没有的测项名称以及代码进行增加。 (2) 数据采集。以镇江市为例, 在京口区、润州区、丹徒区, 句容市、丹阳市、扬中市等地方安置地震监测仪器, 将收集到的数据汇集到镇江市地震局的某一台服务器, 客户端定期在数据库中提取数据, 并存入各自地震局的数据库。 (3) 采集日志。客户端每一次的数据采集都会将采集记录和结果保存到数据库日志表。 (4) 数据展示。能实现任意时间点的数据和任意时间段的数据曲线的查阅。

2.2 软硬件架构

(1) 硬件架构。一台数据库服务器, 用于市县地震数据的存储与共享。一台计算机, 用于处理非标准地震监测仪器的数据格式的转换、存入以及备份。 (2) 软件架构。由市县客户端和省地震局市县数据库组成。

2.3 数据库结构设计

市县地震共享平台数据库严格按照中国地震前兆数据库结构规范进行设计, 已有的数据库结构保持原样, 在此基础上再增加两张表格, 分别是客户端连接用户管理表以及采集日志的表格

3 软件实现

3.1 近震数据实时显示

一般将震中距大于100千米并小于1000千米的地震称为近震, 本平台实现了实时动态链接江苏省的近震数据库直接读取地震数据, 实现了地震数据的实时同步, 极大提高了地震信息发布的速度。

首页显示近一个月的地震信息, 最多十条, 提供震级、发震时刻、震源经纬度及深度以及发震参考位置等参数。并能够手动输入搜索地震信息以及点击查看更多历史地震目录。

3.2 远震数据实时显示

一般在发生地震时, 将震中距大于1000千米或者烈度为10°的地震称为远震。本平台同样利用实时动态的链接方式链接数据库来读取中国地震台网的地震数据, 实现远震数据实时更新。

3.3 数据采集

可以分为自动采集和手动采集。自动采集为设定特定的时间, 软件能在此时刻自动采集数据, 采集到的数据和采集日志都会自动保存到特定文件夹下;手动采集则是设置起始时间和结束时间, 然后选择某个市县监测仪器, 点击采集即可采集这一时间段此仪器的数据。

3.4 数据浏览

在数据浏览界面, 可以选择时间段或者自己输入起讫时间, 然后选择某一项目点击, 即可出现相关数据以及采集数据的日志。

3.5 软件配置

进入软件配置一栏, 当参数发生变化, 可进入参数配置进行设置;而仪器测项对比参数需要更改时, 在软件配置界面测点编码下可修改选中的测点编码。

4 结束语

市县地震数据共享平台的架构是在地震前兆数据库结构规范的基础上进行设计的, 所以软件具有优良的兼容能力, 在现行主流操作系统上均能正常运行, 界面友好、操作简便, 尽管如此, 区域性的地震数据共享平台的建设必然是一个长期的, 细致的过程, 本文只是结合了江苏省的实际情况, 在这方面做了初步的探索, 在将来的不断发展建设中, 结构将被优化, 问题也将被解决。

摘要:依据现有的省级区域中心的数据平台, 以实现江苏省内市、县数据共享为目的, 设计一套软件系统, 将市、县级地震信息数据标准化, 汇总到江苏省地震前兆信息数据库系统服务器, 并可供下载订阅, 从而实现数据利用的最大化, 为江苏省各个市县级别地震局提供全面而又精确的地震数据共享服务。

关键词:数据库结构,地震数据,数据共享,市县级

参考文献

[1]胡玉良, 闫民正, 程冬焱, 庞云峰.山西市县地震前兆数据共享软件设计, 2015 (01) :024.

[2]曹蓓蓓.面向服务的区域性地震数据共享平台研究[J].2012 (10) .

[3]李倩, 牛从达, 武孔春, 吕后华, 粟毅, 吴培熠, 安小伟.市县地震数据共享平台构架设计与实现[J].2013 (04) .

[4]李爱勤.省市县地理空间数据交换和共享平台一体化建设模式及试点思考[J].2015 (07) .

上一篇:绿色包装产品下一篇:峨眉山资源植物研究