数据传输平台（通用12篇）
数据传输平台 篇1
1 背景
随着气象信息化的不断推进, 气象数据传输的时效性越来越得到广泛关注, 对数据进行实时监控是保障数据时效性的有效手段。在以往的业务中, 不同类型的气象数据独立的分布在不同的监控平台和业务系统中, 在对数据进行监控时, 需要逐一进行查看, 不仅耗时, 而且可能存在漏查的情况, 同时, 一些监控平台设计复杂, 监控结果显示不直观, 需要进入多级目录才能查看, 极大影响监控效率。本文综合以往的数据传输监控经验, 开发了气象数据传输监控平台, 将多种重要气象数据传输情况进行整合, 以可视化图形方式进行直观的展示, 并具有自动报警功能, 具有重要的业务应用价值。
2 气象数据传输监控业务需求
1) 数据传输时效监控
气象数据传输要求具有高时效性, 主要对国家自动站数据、区域自动站数据、雷达数据等逐小时的到报率和完整性进行监控, 保障数据传输时效。
2) 网络通信监控
对省、市、县三级局域网络通讯情况进行实时监控, 当发现网络故障时发出告警, 第一时间解决网络异常, 保障各类气象数据的正常传输。
3) 数据产品监控
气象数据产品是气象预报预测的重要资料, 其时效性和数据完整性关系到预报准确性。这里主要对Micaps (气象预报系统) 数据产品进行监控, 包括地面图、高空图、风云资料、欧洲数值预报产品等, 保障气象数据产品的完整性。
3 系统设计与实现
3.1 总体架构设计
系统采用五层技术架构实现, 从下至上依次为硬件设备层、存储管理层、基础平台层、应用组件层、应用接口层 (图1) 。整个架构以硬件设备层为基础支撑, 以应用组件层为核心, 通过应用接口层向用户提供服务, 各层次之间相互独立, 系统灵活, 为系统日常运行维护做好基础。
1) 硬件设备层。本系统部署在省气象信息中心, 利用现有的硬件设备包括文件服务器、数据库服务器、路由器、网络防火墙等, 为系统提供基础的硬件支撑和安全防护。
2) 存储管理层。本层中主要包括数据库存储和文件库存储, 其中数据库存储的内容包括自动站、区域站、雷达实时数据和统计数据, 以及网络通讯实时数据;文件库存储经过数据处理后Micaps文件。
3) 基础平台层。J2EE应用服务器用于系统后台核心开发, Web GIS系统为网络通讯监控模块提供支持, Micaps系统为数据产品监控提供服务, SQLserver和Oracle数据库服务器分别对应不同数据源。
4) 应用组件层。应用组件层是系统的核心部分, 本层中主要包括系统必要的组件和中间处理环节。包括对数据产品文件的处理、统计, 传输监控策略分析, 与数据之间的实时数据交互, x Charts组件和easy Pie Chart组件主要用于可视化展示。
5) 应用接口层。包括气象数据传输监控平台的前端, 以及日常系统维护等。用户可以通过电脑和手机端进行访问, 实现实时传输监控。
3.2 功能实现
系统以J2EE技术为核心, 各功能模块基于J2EE搭建, 核心应用部署在J2EE环境中运行, 以B/S模式为用户提供电脑和手机端的服务。通过与SQLserver和Oracle数据库的访问, 实现数据获取。利用ajax实现页面实时动态更新。系统总共包括传输时效监控、网络通讯监控、数据产品监控三个子功能模块。
1) 传输时效监控模块
该模块主要功能是对国家自动站、区域自动站、大喇叭数据、雷达数据逐小时的到报率进行实时监控, 自动站站数据源来自SQLserver数据库, 雷达数据来自Oracle数据库, 统计各类数据的逐小时到报率, 基于easy Pie Chart组件在前端显示, 5分钟自动刷新一次。每种数据类型可以通过链接指向到明细查询页面 (图2) 。
2) 网络通信监控模块
该模块主要对全省62个县的网络通讯状况进行实时监控, 基于Web GIS实现可视化展示, 绿色原点表示网络通畅, 红色红点表示网络异常, 当出现网络异常时, 会同时发出声音报警和短信报警, 告知网络维护人员第一时间进行处理, 解决网络问题。通过链接可以查询详细的网络状况。
3) 数据产品监控模块
该模块主要实现对Micaps业务使用的数据产品完整性进行监控, 包括高空、地面、卫星、数值预报产品等。为了不影响Micaps系统的效率, 在进行数据统计时, 不直接对Micaps文件进行操作, 而是先将文件信息进行处理, 录入数据库, 然后再在数据库中进行统计, 可以提高效率。前台界面基于x Chatrs组件进行显示, 5分钟自动刷新一次。
3.3 UI设计
本系统主要应用于气象业务实时监控, 在进行前台UI设计时, 以直观、简洁为基本原则, 所有监控结果以可视化图形效果进行显示, 一目了然, 无需逐级点击查看结果, 减少人工操作。为使界面可视化效果更强, 引用了easy Pie Chart和x Charts组件。easy Pie Chart主要是用来统计新的访问、跳出率、服务器负载、使用的RAM等, 功能很强大, 带有HTML5的动画效果, 显示效果明显;x Charts是一个使用D3.js来构建漂亮的、可定制的数据驱动的Java Script图表库, 使用HTML、CSS、SVG实现, x Charts是一个动态的、流畅的、开放的和可定制化的库, 代码托管在Github。本系统中传输时效监控模块使用了easy Pie Chart, 数据产品监控使用了x Charts。
4 结束语
气象数据传输监控平台的开发, 实现了对多种数据的实时监控, 将以往需要在多个平台进行查询的内容整合在一起, 更加直观的进行展示, 便于日常业务监控和业务管理使用, 系统具有自动报警功能, 数据传输中出现的故障能够第一时间得到解决, 有效保障各类数据的时效性。
参考文献
[1]裴翀, 宋连春, 吴可军, 等.我国综合气象观测运行监控系统的设计与实践[J].气象, 2011, 37 (2) :213-218.
[2]梁海河, 张沛源, 等.全国天气雷达数据处理系统[J].应用气象学报, 2002, 6 (13) :749-754.
[3]王红艳, 刘黎平, 王改利, 等.多普勒天气雷达三维数字组网系统开发及应用[J].应用气象学报, 2009, 2 (20) :214-224.
[4]吕文华, 赵文芳.地面气象观测站自动检测系统研究[J].气象, 2009, 35 (2) :106-110.
[5]黎华, 王重华, 张勇.基于J2EE和Arc GIS平台的Web GIS设计与实现[J].计算机工程与设计, 2006, 6 (27) :966-969.
[6]康玲, 付俊峰, 王怀清, 等.基于Arc GIS Server的Web GIS应用系统开发[J].水电能源科学, 2007, 1 (25) :26-29.
数据传输平台 篇2
RedHadoop大数据工场企业版是RedHadoop公司第一款产品，简称BWE(RedHadoop BigData Works Enterprise),是一款面向行业大数据应用需求，以Hadoop平台为核心，并对其进行了大量增强的基础平台产品，定位于解决高并发、低响应、 TB级以上数据的存储和计算的需求，具备高可靠、低成本、按需扩容基础特性，并提供自动化部署、监控和告警、安全。RedHadoop持续增强操作系统功 能并打造更多丰富的上层结构化数据库和非结构化数据的应用,加强数据分析和挖掘能力。提供数据仓库(DW),结构化数据库(DB),实时分析(RT),视 频分析(VD),搜索引擎(DS)垂直应用层软件，
RedHadoop正在构建一个更完善的Hadoop分布式操作系统。会针对各个垂直应用领域做出持续优化比如 Data Storage,Data HouseWare,DataBase,RealTime,Data Mining,Data Search 等等方向做深度定制。基于行业可以由 GIS 地图,生物信息,交通信息处理,智能交通和智能城市,海量交易的定量分析,医疗数据的分析,基因组测序等等方向做探索。显然Hadoop已经从一个平台已 经向一个分布式操作系统和分布式生态系统的方向发展了,RedHadoop提供一个平台可以更好的落地各类应用,让Hadoop成为一个茁壮并快捷的生态 系统平台。
数据传输平台 篇3
摘 要：在教育领域中，管理和决策越来越依赖于数据和分析，如何利用大数据科学决策是高校近年来信息化建设关注的主题。文章分析了高校共享数据中心平台的理论知识和相关技术，讨论了面向服务的数据交互技术方法及共享数据中心的非技术因素。最后分析设计了面向主题域的常熟理工学院共享数据中心，并对其体系架构及关键业务系统的数据流向做了详细的分析叙述。
关键词：大数据；数据交换；数据中心
中图分类号：TP392 文献标志码：A 文章编号：1673-8454（2015）10-0010-03
大数据科学决策是高校治理体系和治理能力现代化的关键。在教育领域中，管理和决策越来越依赖于数据和分析，而非基于经验和直觉，然而，目前大多数高校的管理模式中信息化的作用尚未充分体现，尽管在长期的办学过程中积累了大量的数据，但这些宝贵的决策信息资源没有得到相应的整合和开发，更谈不上利用这些数据对学校的教学、科研、管理等各项事务进行预测和分析。随着大数据发展而带来的教育政策研究与决策“用数据说话”的趋势亦渐明显，构建共享数据中心，将这些海量、分散、异构的数据资源集成起来达到共享、融合，通过多维度、多层次、多群体、多因素数据分析并形成一定的应用模式，从中分析和挖掘潜在的价值，去解决高校事业的瓶颈问题，是将大数据应用于教育领域的重要举措。
一、大数据时代的高校共享数据平台的相关技术及理论
1.信息编码标准
信息编码标准是做好信息管理的基础，信息只有遵循一个统一的标准进行组织，才可能构成一个可流通、可共享的信息库。信息编码标准是数字化校园中不同层次的系统尤其是应用系统能够相互访问的基础。数据交互过程中，各业务系统数据信息要按照信息编码标准的数据标准进行数据清洗和过滤，处理后的数据才会存储到中心数据库。信息编码标准是学校信息化建设的必要条件；同时信息标准的水平也反映了学校信息化建设的水平和高度。
2.共享数据模型
共享数据中心主要完成学校各类跨地区、跨部门、跨系统的管理数据与信息资源的数据交互和共享，是各个业务系统数据交互的中转站，是信息资源的存储中心。由于各学校早期的信息化建设基本都是由业务部门主导，缺乏统一规划，没有统一标准。同时考虑成本以及推倒重来的建设风险等因素，一般建议采用交集数据中心模式建立共享数据中心，即：各系统间的数据交互完全通过数据中心来完成；共享数据中心只对交互系统之间需要交互的数据建模，各系统沿用原有的权限模型，需要交互的数据在相关系统中独立的存在，但所有数据有且只有唯一的维护源头。
二、大数据时代的高校共享数据平台总体设计
1.共享数据中心体系架构（图1）
（1）数据采集层
采集的数据主要包括基础数据，如人、财、物等基本信息；学校开展教与学主体事务的业务数据，如教师教学、学生选课等；体现教师学生成长与发展的过程数据等。数据采集层主要完成上述相关数据的采集工作，其中大部分数据随着其相关的业务系统日常运作过程而积累下来，还有一部分是相关管理人员手工录入，或者电子表格批量导入。
（2）数据集成层
数据通常存储在很多个不同的数据存储系统中，从所有源中提取数据并将其合并到单个一致的数据集中确实有一定的难度。数据交换工具通过转换功能对数据进行清理、标准化及转换，数据转换为兼容格式后，就可以将其物理合并到一个数据集中，并且数据在合并成功且应用转换后，通常会被加载到一个或多个目标。
数据集成层同时还负责加载数据库中的维度表和事实数据表，处理 Analysis Services 多维数据集和维度，使用 Integration Services 任务和转换来自动处理更新多维数据集和维度，使用户始终获得最新的数据。
（3）管理操作层
管理操作层的基础数据主要来自各个业务系统，有的统计指标类数据是经数据仓库加工提供。管理操作层面向教育治理者日常管理，主要包括师资队伍建设管理、师资结构分析、学业预警、教学考核等。归纳如下：
为满足日常管理，提供了以固定报表为主的综合报表统计平台。
为便于突发性和临时查询需要，提供了各大主题的综合查询平台以及基于数据仓库的灵活查询功能。
为规范对外数据报送，提供了统一的对外数据报送接口。
2.主要业务系统数据流向
共享数据中心本身不会产生数据，所有的业务数据的维护遵循数据生命周期按照“谁产生，谁维护”的原则，各自业务系统分别产生数据，所有数据只有唯一的生产源头。共享数据中心与各业务系统之间进行交互，一方面保证基础数据在各系统中的一致性，同时也对主要业务数据进行积累沉淀。
以学生数据为例，学生的人头数据以学籍系统为准，而学生的其它基础数据又在学工系统中维护完善。数据共享中心既负责从学籍系统中抽取学生人头数据推送学工系统，同时又从学工系统中抽取完整的学生基础数据存储在数据中心，图书系统、一卡通系统等业务系统从共享数据中心订阅学生相关数据。其主要业务系统数据流向如图2所示。
三、共享数据中心的非技术因素
1.数据质量管理
数据是高校有效开展信息化管理和辅助决策分析的依据，是实现高校治理现代化的重要保障，因此其质量和时效性已经越来越受到高度关注。提高数据信息的质量，加强数据管理，不仅需要在高校日常工作中充分利用现代信息技术，强化高校业务与信息技术的融合，还要依靠广大师生的配合参与，必须循序渐进，稳步推进。
（1）从源头治理，从数据录入、内部处理入手，把好数据质量“入口关”；
（2）督促问题治理，部署检查规则，实现问题数据发现、分发、治理、监督、考核闭环管理，把好数据质量“治理关”；
（3）做好规范管理，完善制度、规范流程、系统硬控制，把好数据质量“流转关”。
2.数据安全管理
大数据既意味着机遇，也蕴涵着挑战。数据安全管理问题，是高校应用大数据面临的最大风险。虽然共享数据中心模式数据管理，方便了数据分析和处理，但由于安全管理不当所造成的大数据丢失和损坏，则将引发毁灭性的灾难。在使用数据过程中应遵循以下原则：
（1）使用生产数据必须经过申请和审批，开发测试环境使用生产数据必须进行数据混淆。
（2）对生产用户进行严格的授权管理，防范非授权访问生产数据。
（3）含敏感信息的生产数据应使用专用邮箱传输等。
（4）对生产数据建立和实施严格的备份机制。
四、总结
在大数据的支撑下，高校运行过程的各种元素能够实现数字化的呈现，数据得到实时流转、存储和整合，信息按照权限充分公开。大数据能够聚焦于决策对象的微观层面，将原本模糊的现象通过数据逐步清晰的描述出来，大数据是超越个体与局部的相对静态视野，更容易发现问题所在、可能弱点和盲区的宏观动态视野并且用于各项事务的预测和决策。本文讨论了面向服务的数据交互技术方法、数据流向以及一些非技术因素，设计了面向主题域的共享式数据中心。本共享数据平台成功应用在常熟理工学院数字化校园建设项目中，通过数据交换、主题分析，为学校的科学决策提供了有力保障，推进了学校的现代化治理能力和水平。
参考文献：
[1]姬倩倩，温浩宇.公共交通大数据平台架构研究[J].电子科技，2015，（2）：127-130.
[2]陈瑞.大数据时代基于共享平台的信息服务工作研究[J].科技创业月刊，2015，（1）：20-22.
[3]赵巍，刘丹，王欢.高等学校共享式数据中心设计与实现[J].长春理工大学学报（自然科学版），2015，（1）：132-135.
[4]陈霜叶，孟浏今，张海燕.大数据时代的教育政策证据：以证据为本理念对中国教育治理现代化与决策科学化的启示[J].全球教育展望，2014，（2）：121-128.
[5]张建.教育治理体系的现代化：标准、困境及路径[J].教育发展研究，2014，（9）：27-33.
[6]阎光才.高等教育治理体系与治理能力的现代化[J].苏州大学学报（教育科学版），2014，（3）：1-3.
数据传输平台 篇4
随着国际形势的发展,我国消防部队在灭火救援中不断面临许多新情况、新问题,灭火救援任务日益繁重和艰难,人的生命实时与危险环境紧密相关,时间和信息成为救援作战过程中重要环节。众所周知,美国“911”事件中消防队员虽然表现英勇,但由于进入世贸中心塔楼的消防指挥员不能收到警察局发出的事故区域全面形势的信息报告,在救援过程中不了解事故区域全面形势,始终不清楚整个塔楼的灾害情形和发展程度,以为是局部坍塌,没有果断地作撤离决策,导致了343名消防队员同时殉职。
灭火救援作战中的实时信息互通技术就是将消防部队作战过程中的语音、图像、文件等动态信息通过综合运用计算机、数字通信、网络、探测、多媒体技术等转化为数字信息,并将所有相关功能的系统、资源装备有机地连成一体,构成一个纵横交错的信息网,实时地传递、互通、处理、存储和交换,达到整个作战范围内的信息资源共享,最终实现战场指挥、控制、通信、情况报告等形成作战通信系统,为参与消防作战的有关人员实时提供战事信息和指令,描述“透明化”战场[1]。
因此研究启用实时互通技术,及时掌握每一项作战信息,组建专用数据传输平台,已成为目前国际消防通信行业研究应用的热点,许多先进国家都在救援现场开始采用该项技术。英国开发了电子移动数据系统,在作战车辆上安装使用,提供作战区位图文,保证火场中各个消防员之间能够进行有效数据沟通,帮助消防人员在孤军奋战的时候能够取得联系。指挥系统也能够根据火势情况、危险程度、即时发布命令。美国则采用了专用无线移动数据通信网络,把实时战事信息传输给车辆和作战人员,直观地确定事件发生的地点及周边环境,并报告事件现场附近的警力、设备分布及可调用的资源,改变了以往通信状态。
2 我国目前灭火救援中实时信息互通状态
我国目前灭火救援现场通信形式比较单一,还没有真正的应用实时信息互通技术这类的作战通信系统,指挥员和战斗员的现场信息来源非常有限,靠单一语音方式表述全局实时战况,不但占用时间长,单位时间内通话对象有限,还很难做到清楚、迅速、明了、全面的表述,使得参战人员得到的信息跟不上战局变化的进展。直接影响了战斗性和安全性。作战部门之间不能实现互通共享了解战事的变化,时有盲目作战状态出现,制约了消防官兵的实战能力。要适应未来消防作战的特点,就必须改变消防作战中指挥系统存在的情报获取不及时、信息传递慢、互通性能差、指挥手段单一等问题,构建“即时反应”的精确指挥链,拓宽火场信息渠道,增加通信方式,使消防指挥员和战斗员及时掌握战局形势变化信息,战况进展程度,火场内部情况和相应战斗状态[2]。参战部队或相关部门也同时了解战局的实时变化情况,理解消防中心指挥员的指挥意图,提高瞬间聚合作战效能。
3 消防作战专用数据传输平台实现功能
3.1 信息共享
实时信息互通技术可以最大限度地实现战场信息共享,以信息技术为支撑,对战场信息进行自动分析处理,解决好传统指挥系统存在的独立成块、互不兼容的问题,实现战场数据分发互通互动汇总、交换、发布信息命令。
指挥员通过汇总的信息全程监督指挥部队作战情况,与各作战部队之间进行直接联络,实时根据部队战斗力发挥程度、灭火程度、作战进展程度等,调整作战布局,确保时效性和针对性。充分发挥网络指挥上下互联、实时互通的优势,以“信息流”牵动“指令流”,进行实时精确指挥,使作战指挥实现了情报获取实时化,信息传输网络化,提高部队整体作战水平。
3.2 信息广播
实时信息互通技术可以实现以数据广播开放形式发布战事信息。使进入现场的相关人员和车辆(110、120)能通过权限设置打开电子战图,了解抢险救援的分工与任务,参战人员作战分布,装备使用变化,目前进展程度,危险信息报告,有关配合要求等实时变化情况,主动作战。
3.3 信息交换
实时信息互通技术可以创建平台与网络、数据库等之间信息互通交换技术,构成相关数据共享、发布、调用模式。
现场调用消防重点单位和重点部位的信息等内容,调用消防地理信息系统,调用消防实力、化学危险品、抢险救援预案等数据库,并调用当地电话号码信息库充分利用现代科技手段将消防地理信息系统中的各类信息及时传输给参战单位,自动地显示这些地区或单位的示意图、平面图、三维图、厂房、民房甚至起火房间、疏散通道以及抢险救援的详细信息,从而为灭火作战提供有力的信息支持,做到系统科学地处置灾情。
3.4 多网融合
实时信息互通技术在消防通信中应用可以实现混和组网、多级组网,通过采取外部集成、信息技术嵌入等手段,进行技术嫁接和改良,使有线与无线、电台与电台之间实现了互联互通,并支持数据传输通信,从而拓宽了信息传输信道,改变救援现场通信信道拥挤,缓解消防通信三级网的瓶颈问题。通过引进视频采集技术,兼容现有计算机网络、GSM网络、WCDMA网络、INTERNET网络、消防通信网络。消防专用短信平台,使现有的通信设备如计算机、掌上电脑、手机等得到有效利用,与原语音通信指挥系统并行运作,达到耳目并用。
3.5 图文视频多态传输显示
实时信息互通技术如集成网络技术和通信技术可以实现用视频、图文形式直观地为指挥员和所有参战人员显示救援现场场景信息。提供消防车辆实时信息(位置、灭火剂剩余量、状态),作战人员分布情况、作战资源和装备储备利用情况,结合现场实景多方位拍摄,形成实时电子战图,以图文形式跨地区,跨部门传递,各级指挥员坐在指挥平台前,战场态势尽收眼底,不仅能够实施异地同界面互动式指挥,还可以对战场范围内任何环节进行实时控制。
4 消防作战专用数据传输平台总体设计初探
本项目总体构架预设计三个功能子平台,即为移动主平台、固定终端和移动终端。
4.1 移动主平台
移动主平台设置在移动消防通信指挥中心(消防通信指挥车),配有WCDMA、GPRS、Ad-hoc通信模块,与消防通信指挥中心固定终端建立消防专用网、WCDMA网连接,通信界面设有图像、文字、符号等信息内容显示及接收发送等控制窗口;与管区中队、增援队、参战单位移动终端间建立Ad-hoc通信连接,通信内容划分为静态信息和动态信息,静态信息为车辆自身状态、到达时间、位置、参战人员等相对固定的信息,动态信息为火场环境指数、作战指令及中队上报的内容等相对随机的信息。
4.2 固定终端
固定终端设置在消防通信指挥中心(消防支、大队通信调度室)与管区中队、增援队、参战部门、参战人员通过WCDMA、定制智能手机、方式建立联系。
4.3 移动终端
移动终端设置在管区中队(首车或者增援车辆)与火场侦查人员间通过Ad-hoc建立联系,监视火场环境、人员状态数据。移动主平台将三网进行融合互通,建立现场范围内的互通以及与通信指挥中心的远程互通。
5 结语
主要针对当前我国消防抢险救援通信方式和通信链路单一,缺少有效的的技术手段和产品支持来追踪作战态势、后续救援需求,致使消防通信指挥中心指挥员不能全面了解救援现场态势等问题。提出了一种新型解决方案,利用现有的无线通信组网技术和无线通信公网,解决消防抢险救援现场到指挥中心之间通信链路和通信方式单一等问题。
摘要：如何在抢险救援现场组建临时无线网络,采集现场实时数据并将其传输给指挥中心,实现高效火场实时信息数据共享,构建消防数字化桥梁,已成我国消防抢险救援无线通信领域工作的重中之重。本文主要对于消防作战专用数据传输平台技术方案进行探讨,有利于提高我国消防通讯发展。
关键词：WCDMA,无线通信,数据传输,消防
参考文献
[1]张林.莱福士广场消防系统简介.工程建设与设计,2003,(11).
本科评估数据平台操作说明 篇5
近几年来，我国高等教育实现了跨越式发展，步入大众化阶段。教育部为了进一步保证高等学校的本科教学质量，开展了“普通高等学校本科教学工作水平评估”工作，以建立具有中国特色的高等教育质量保证体系。各高校充分重视评估工作，按照“以评促改，以评促建，以评促管，评建结合，重在建设”的原则，努力提高本科教学的质量和水平。
在充分总结第一轮本科教学工作评估的成绩和经验的基础上，为了充分利用现代信息技术，进一步提高评估工作效率和质量，教育部高等教育司和教育部高等教育教学评估中心于2007年底着手开始建设“全国高校教学基本状态数据库系统”，该系统的研制工作由华中科技大学、中山大学和北京师范大学承担。
系统利用信息和网络技术，按照教学工作的规律，把高等学校与本科教学工作相关的数据按照一定的逻辑关系组织起来，由此形成的反映教学运行状态的数据库。其作用如下：
1)为高校质量保障体系建设服务
高校通过数据采集和管理，可以加强信息化建设，准确把握自身的教学基本状态；利用系统中提供的数据分析和辅助评估功能，可以进行自评自测，以此建设和完善本校的教学质量保障体系。
2)为教学工作评估服务
评估专家通过登录本系统，可查看高校上报的数据，增加对高校的认识和了解，利用其中的教学评估系统，可以进行教学工作评估的初评，为进校评估打下基础。通过使用该系统，可减少专家进校考察的人数、时间和精力，减轻被评估高校负担，从而进一步提高评估水平和工作效率。
3)为政府提供预测决策信息
该系统将提供数据统计分析、挖掘、预测与决策等功能。在各高校按照要求将数据填报完毕后，系统可创建统计指标和统计报表，实现任意查询和关联分析，生成各种查询表、统计表以及分析、预测表，I 用于教育预测和决策支持，同时方便高校和科研机构利用系统数据开展对比和分析，提高教育科学决策水平。
4)部分信息对社会公开，为公众服务，促进社会监督。各高校上报并通过审核后，根据教育部要求，将向社会公众开放部分数据的查询权限，社会公众通过查询和对比高校的办学条件、教学工作等方面的数据，进一步了解各高校的办学情况，实现公众对高校教学工作的网上监督和评估，增强高校提高本科教学质量的动力。
全国高校教学基本状态数据库系统的开发和应用是一个复杂的系统工程，不仅涉及到指标体系的研究设计、数据库的设计、数据库各项功能的研发，还涉及到高校数据填报工作的组织管理、教育管理部门的数据审核、专家的使用、系统的使用培训和用户意见的反馈和修改等工作，因此，需要各有关高校在教育部的领导下，共同努力推进系统的推广与应用，对于在系统使用过程中的任何问题和建议，欢迎与项目组联系，以便不断改进和升级系统。
在此，向各试用高校表示真诚的谢意，并期待您的反馈意见和建议。
我们的联系电话：***，***，***。E-mail：leoxuna@gmail.com，xiaodong-xu@hust.edu.cn
全国高校教学基本状态数据库系统项目组
二〇一一年六月
II
目 录
前 言...............................................................I 第一章 系统初始化...................................................1
1.1 系统登录............................................................................................................1 1.2 初始化本校信息.................................................................................................2 1.3 用户设置............................................................................................................2 1.4 设置页面访问权限..............................................................................................3 1.5 在填报页面查看名词解释...................................................................................4 第二章 数据指标体系说明.............................................5
2.1 数据库指标体系的设计原则................................................................................5 2.2 数据库指标体系的研制方法................................................................................5 2.3 数据库指标体系的具体内容................................................................................6 第三章 典型页面介绍.................................................7
3.1 普通文本型或数字型..........................................................................................7 3.2 上传文件与下载附件型.......................................................................................7 3.3 网址链接型........................................................................................................8 3.4 普通二维表格型.................................................................................................9 3.5动态二维表格型..................................................................................................9 3.6 多行文本输入页面............................................................................................10 3.7 通过Excel导入................................................................................................11 3.8 PDF文件下载....................................................................................................11 第四章 数据填报的组织工作..........................................12
4.1 参加培训会议并获取相关材料..........................................................................12 4.2 完成本校信息初始化........................................................................................12 4.3 成立数据采集领导小组等机构..........................................................................13 4.4 召开校内工作布置会........................................................................................13 4.5 网上填报数据...................................................................................................13 4.6 确认填报数据并报送........................................................................................13
III IV
第一章 系统初始化
本数据库系统的网上填报地址为http://udb.hust.edu.cn（教育网）和http://udbt.hust.edu.cn（电信网），各高校根据本单位网络情况选择任何一个网址登录。登录系统后，请首先进行系统初始化工作。1.1 系统登录
系统首页界面如图1所示，在登录区域输入用户名和口令后登录。学校登录用户名和口令由教育部主管部门或省级教育主管部门生成和密码初始化。
图1 系统首页界面
登录成功后，显示高校用户菜单，初始化本校信息、设置本校用户和设置用户访问权限。如图2所示。
图2 高校用户管理菜单 1.2 初始化本校信息
初始化本校信息包括初始化学校基本情况、校训办学思想、院系和其他教学单位情况、学科专业情况、学校面积、学校发展规划和校友会与社会合作等7个部分，这7个部分必须依次进行初始化，完成后才能开始填报表格。如图3所示。
图3 初始化本校信息
注意：在本系统中，所有填报表格中背景标记为灰色的数据项都是选填项，这些数据项在年报时可不填，在接受评估前一年应填上；没有标记的数据项为必填项，必填项如果没有填写，则无法提交。
1.3 用户设置 1.3.1 添加用户 为方便填写，本系统实行两级用户管理，学校级用户和院系用户，可以设置多名学校级用户，用于全校性数据的填报和所有数据的审核，院系级用户根据权限只能填报部分涉及院系数据的表格，一般来说可为每个院系设置一个院系级用户。在添加用户时必须指定用户级别，即：属于学校级用户还是某个院系的用户。添加用户的方法为用户管理添加校级用户，界面如图4所示。添加院系级用户方法类似。
图4 设置本校用户
1.3.2 设置用户权限
点击“用户管理”后，就进入到“设置用户权限”页面，如图5所示。
图5 设置用户权限
本系统中的用户分为管理员、信息管理员、数据管理员、数据录入员、数据查询员和信息报送员几个类别，可分别负责系统管理、信息发布与管理、数据管理与审核、数据录入管理、数据查询查询和数据报送等功能。
1.4 设置页面访问权限 系统管理员可对相应的用户分配特定页面的访问权限，如：指定院系用户填报某些表格，具体方式如图6所示。
图6 设置页面权限
1.5 在填报页面查看名词解释
在填报的过程中，每个页面，均可以通过点击该页右下角的“本页名词解释”来查看该页的每个数据项的内涵，以保证数据的有效性。如图7所示
图7 查看本页名词解释（数据项内涵说明）
第二章 数据指标体系说明
2.1 数据库指标体系的设计原则
数据库指标体系立足于反映高校教学工作的基本状态，既为本科教学工作评价提供数据支持，又为教育主管部门提供决策依据，同时为社会了解高校、对高校提出建议和意见提供渠道。在研制指标体系过程中遵循了下列原则：
1、科学性原则：数据库指标所采集的数据应真实、客观、准确，同时具有原始性，即：尽量不采集衍生数据，如增长率或比率，而是通过采集原始数据后，由数据库系统自动生成各项工作中所需要的衍生数据。
2、系统性原则：数据库指标体系应反映教学工作的全貌和规律，包括教学工作的环境、条件、主体、状态和效果；指标以定量数据为主、以定性描述为辅。
3、操作性原则：数据库指标应可测量，易采集，获取方便。同时要充分考虑数据采集和管理的工作量，通过教育部和学校两个层次的合理分工，将国家层次数据库的指标数量控制在一定范围之内。
4、导向性原则：数据库指标体系应反映教学工作的时代特点和要求。例如：在指标中加入高等学校教学改革与教学质量工程的内容，以推动“质量工程”相关工作的开展。2.2 数据库指标体系的研制方法
数据库系统研制的主要目的之一是为高校本科教学工作评价服务，因此，遴选数据库指标充分考虑了我国各个时期、各类高校本科教学工作评价的数据要求；这些评价活动包括：上世纪90年代实施的本科教学工作合格评价、本科教学工作优秀评价、本科教学工作随机评价，以及本世纪以来实施的本科教学工作水平评估。
数据库系统指标体系反映了教学工作的基本状态，因此，数据库 指标参考了国外高校教学工作评价和质量保证体系的研究成果；例如：美国、英国等国家大学排行榜的指标体系，美国、英国、日本、澳大利亚等国家的高校内部质量保证体系的评价指标。此外，还借鉴了发达国家教育数据库的建设经验，同时注意与我国已有教育数据库的衔接。例如：本系统参考了美国教育部国家教育统计中心的数据库指标和结构，兼顾了与我国“高等教育基层统计报表”的数据共享。
从数据采集的深度来看，“全国高校教学基本状态数据库”作为国家层次的数据库，采集的数据包括学校、院系和专业等层次数据，不涉及所有教师、学生、课程等微观层次信息。涉及微观层次信息的数据库（教师库、课程库、课表信息、学生库、成绩库、设备信息库、管理制度网站）是各高校信息化建设的范围，由各高校自行建设和管理。国家层次数据库以校园信息化工程为依托，与高校层次数据库通过网络相联，并可相互访问。以此保证本数据库的高效率和低成本。2.3 数据库指标体系的具体内容
为了方便各高校填报数据，课题组根据高校管理的特点，对所有三级指标进行了排列组合，形成了学校概况（在初始化中）、师资队伍、教育教学、教育经费、教学科研仪器、教学条件、学生基本情况、学生课外活动、科研情况、学科建设等十个数据群，最后还有一个特殊情况说明。同时，将数据库指标称为数据项，以便与评价方案中的指标相区别。
作为覆盖全国不同类型高校的教学基本状态数据库，应该既反映所有高校的共性，又反映不同学科、不同类型高校的个性，因此，该数据库系统除了上述反映共性的一个主库之外，还有三个反映个性的子库。这三个子库分别是：医药类院校或有医药类专业的综合性大学填写的医科信息子库（39个数据项）、体育类院校填写的体育信息子库（37个数据项）、艺术类院校填写的艺术信息子库（42个数据项）。
数据项以填报表格的形式呈现给高等学校，数据项的内涵通过名词解释的方式提供给用户。具体内涵及名词解释参考《全国高校基本状态数据库系统数据项内涵说明》。
第三章 典型页面介绍
本系统中有95个填报页面，但归纳起来，共有八种典型页面，在此分别介绍八种页面的填报方法，其他页面参考此八种页面。3.1 普通文本型或数字型 普通文本型或数字型是指，在表格相应位置的文本框中输入普通文本或者数字，全部填写完毕后，点击“提交”或“确定”按钮即可。如表I 学校基本信息，该表为普通文本型，在相应文本框中填入相应信息即可，如图8所示。
图8 普通文本型填报页面
3.2 上传文件与下载附件型
上传文件型是指需要在填报页面指定的位置上传文件，一般为Word或Excel文件。如表Ⅵ 学校发展规划，在该页面中“发展战略规划”等指标需要上传文件，点击“文件上传”，找到要上传的文件开始上传文件，完成上传后然后点击下面的“提交”按钮，即可保存。如果要上传多个文件，需要先打包压缩，然后再上传。如果文件已经上传成功，则在相应的指标后面会出现“数据库已存在文件”的提示，点击后面的“查看”按钮可以浏览已经上传到服务器上的文件。如图9所示。
图9上传文件型
下载附件是指把上传的文件进行打包压缩后下载到本地，用户予以保存，以便今后使用。例如：高校用户登录后会看到如下界面。
图10下载附件导航界面
在图10中，点击“师资队伍”后面“下载附件”，出现如下提示框
图11 附件保存界面
点击该连接，根据提示操作，可以把“师资队伍”的附件一次性地下载到本地。
注意：下载的附件是zip压缩包，查看里面的文件需要相关解压工具，如WinZip、WinRAR。3.3 网址链接型 网址链接型是指在对应位置填报相关网址，系统可以通过点击“链接”按钮，打开所填写的网址。如表1-2 “师资队伍概况”中有学校教师库链接，填入教师库的网址后，点击右边的“链接”按钮，可打开相应的网页。如图12所示。
图12链接地址型
3.4 普通二维表格型
二维表格型是指填报的数据项构成一个二维表格，填报的数据分为行和列，行列的文本框内均需要填写数据。如“表Ⅴ 学校面积”，在该表中，行数据有学校产权、非学校产权、独立使用和非独立使用，列数据有占地面积，非占地面积等，在行和列交叉的文本框中填写相应的数据。表中数据之间可能会有一定的关联性，在填表时应予以注意，填写的数据要符合要求。如图13所示。
图13 二维表格
3.5动态二维表格型
有些表格是根据需要填写的数据量情况来手动添加行数，每次需 要输入一行新的数据时，要先手动点击“添加行”按钮，所有数据填写完成后，可以点击“提交”按钮提交所有数据，也可以点击每一行后面的“保存”按钮保存一行数据；数据保存后如需要修改时可以点每行后面“编辑”按钮，开始编辑每行的数据，修改完成之后请点击行后面的“保存”或表格下方的“提交”按钮进行保存。如果需要删除某行，则点击该行后的“删除行”按钮，该行数据就会被删除。例如“表1-1校领导基本信息”，在该表中，可以根据本校的校领导数量，通过逐次点击“添加行”按钮，添加多个校领导的信息。如图14所示。
图14 二维表格
3.6 多行文本输入页面
如图15所示，表单中有多行文本的输入框，一般情况都有输入字数的限制，输入的过程中文本框的下方有输入字数的提示。
图15多行文本输入界面
3.7 通过Excel导入
本系统对部分内容比较规范的表格实现了通过Excel导入的功能，如表2-27-1 院(系)教学效果——本科生学科竞赛获奖情况。首先点击“下载模板”，将Excel模板下载到本地电脑上，在本地电脑上填写该Excel文件的内容，注意在填写过程中不要更改Excel文件的结构，填写完毕后，点击“导入”按钮，选中填写好的Excel文件后，系统会自动将Excel中的内容导入到系统相应的表中。如图16所示。
图16 通过Excel导入
3.8 PDF文件下载
如图17，高校用户登录后会看到如下界面，在导出栏会看到“生成PDF”的链接，点击该连接就会把对应页面类别下所有上报的数据生成PDF文件，根据提示操作可以把PDF下载到本地进行查看。
图17下载PDF文件界面
每页填写完毕后，首先点击“提交”按钮保存填报好的数据，然后再点击“下一页”进入下一页的填报。如果需要跳转某特定页面，则点击“返回”或“返回导航”按钮，进入到导航页面，再打开相应的填报页面。
第四章 数据填报的组织工作
由于填报内容较多，时间较紧，为保证填报工作顺利进行，建议填报单位按照以下程序组织填报工作。4.1 参加培训会议并获取相关材料
采集院校确定数据采集负责部门并派人参加教育部和项目组组织的培训会议，并领取相关材料，主要材料包括以下几个部分：
1.《全国高校教学基本状态数据库系统用户手册》 2.《全国高校教学基本状态数据库系统填报表格》 3.《全国高校教学基本状态数据库系统数据项内涵说明》 4.本校登录的用户名和口令
《全国高校教学基本状态数据库系统填报表格》与网上填报系统 《全国高校教学基本状态数据库系统数据项内涵说明》（以下简的填报页面一一对应，以方便院校填报数据的编制工作。
称《内涵说明》）是对填报表格中每个数据项进行内涵说明，供填报院校参考，《内涵说明》中的编号与《填报表格》中的表格编号一一对应，以方便查找。
在培训期间，填报人员获得本校登录系统的用户名和口令，以便回校后及时开展系统初始化和数据填报工作。4.2 完成本校信息初始化
培训结束后，填报人员按照本手册第一章所述，登录系统并进行本校信息初始化，设置完成本校院系和专业信息，并为相应的职能部门和每个院系建立用户账号，设置密码，并赋予相应表格的访问权限。
4.3 成立数据采集领导小组等机构
各高校参加培训工作完成后，应成立数据采集领导小组以及办公室，应由学校主要领导担任组长，分管校领导担任副组长或常务副组长具体负责指导开展工作，各相关职能部门和院系主要负责人担任领导小组成员，成立领导小组办公室，设专门人员负责数据的任务分解、动员、填报、督促和检查工作，以保证数据填报进度和数据质量。4.4 召开校内工作布置会
领导小组组织召开校内工作会议，召集各相关职能部门和院系进行数据采集和填报工作的动员与培训。在会议上，根据本校实际情况，将《填报表格》进行分解，下发到各职能部门或院系，并培训有关人员，使用网上填报系统。4.5 网上填报数据
在规定的时间内，学校组织各职能部门和院系在网上进行填报，学校数据采集领导小组办公室注意检查填报格式和填报进度。4.6 确认填报数据并报送
唐山电力数据平台的构想 篇6
【关键词】平台；数据；通讯
【中图分类号】TP391.4 【文献标识码】A 【文章编号】1672-5158（2012）09-0265-01
设计思想：采用开放分布式应用环境的网络管理技术、数据库和通信技术，基于国际标准IEC的公用信息模型（ClM）和组件接口规范（ClS）。构架灵活，扩充方便，具有很强的可靠性、开放性、可移植性以及可扩展性。
1.系统硬件体系结构
系统运行软硬件环境符合开放的YAk标准，各服务器和工作站采用基于RISC/CISC芯片的各种硬件构架工作站、服务器和微机，如COMPAQ、ALPHA、SUN、IBM、HP及各类PC。
2.系统软件体系结构
第一层为系统硬件层。各服务器和工作站采用基于RISC/CISC芯片的各种硬件构架工作站、服务器和微机。
第二层为操作系统层。操作系统采用成熟的符合国际工业标准的实时、多用户、多任务纯WINDOWS NT4.0/2000/XP，POSIX/UNIX和LINUX操作系统；
第三层为数据通讯层。数据通讯层为系统的更高级的应用做好数据准备，它为系统的各类数据获取提供了通讯中间件，以及一些控制措施。
第四层是应用平台层。应用平台层为综合数据平台的各类需求提供了相应的解决软件包，使得应用软件的”即插即用”成为可以实现的目标。
3.完整的系统接口体系
计算机通讯面临着异构系统的数据连通，系统接口要求对已有的遗留系统能够高效的包装，同时不能局限于传统的点对点开发方式，要能够方便支持以后的广阔应用开发。
4.规约库、设备库设计
最大限度的减少系统模块之间的耦合，设计规约类和通讯设备类，规约和通讯设备的实现在基类的基础上继承，并以动态接口库的方式给出。系统给出“插槽”，新增设备和规约都可以实现即插即用。易于扩展。
5.强大的规约转换功能
目前华北电网主要有CDT、DNP3.0、101、104、SCll801、DL476、TASE2等，可以实现规约转换，将通过某种规约接收到数据，通过另外的规约直接转发出去，不影响传输的速度。
6.丰富的数据传送手段
数据源和数据需求的多样性要求公用数据平台数据具备多种方式的数据传送手段，对于I区平台的实时数据的通信。
数据传送手段·数据复制、数据规一、混合方式
7.高效的系统接入方案
综合数据平台的数据来源于当前各个厂家开发的系统，尤其是EMS系统，因此对这些系统接入的接口要求稳定而且高效，这将直接影响到数据平台的稳定与效率。
7.1 实现方式；按照统一标准的动态接口库实现
7.2 优点：
7.2.1 接口统一，所有EMS厂家根据相同的接口标准实现。
7.2.2 接口实现容易，效率高、非常稳定。
7.2.3 接口纳入统一平台体系，便于监视和管理目前国内主流EMS厂家已实现该接口，当EMS系统换型时，只需要根据接口标准实现接口，就可以接入。新EMS系统接入时，也只需要实现该接口，就可以方便接入
8.方便的全局信息监视管理
系统提供了全局信息管理能力，采用了以下策略提高了系统的易用性和方便性，提供了多种方式维护界面（WEB方式、普通方式）互联各个节点的参数，可以全网统一和备份不同控制中心通讯的参数，只需在一方配置，方便了维护可以实现互联所有节点的全网监视和管理参数修改后，系统自动维护，并在所有相关互联节点统一。
9.大量使用的新技术
9.1 总线型的技术构架：各个应用系统的接口都面向于信息总线。信息在总线中流动、传递。
9.2 降低开发中间层服务的成本和复杂程度，因而使得服务可以被快速的展开，并能够更轻松的面对竞争中的压力。
9.3 提供一个长期的企业级的集成策略，UIB能够实企业级数据语义的统一管理，能够促进决策支持系统的形成。
10.图形系统
10.1 可以显示制作地理图、网络图、系统总加表、主变温度表、厂站主界线图、（转发厂站等）。
10.2 定制图表（如母线电压、接地电压、电容器投入等综合图表）
10.3 厂站接线图可以按电压等级、行政区域查询显示
10.4 用户无须增加任何图形转换的工作量，系统要实现SCADA/EMS系统图形画面的自动同步转换显示；同时提供手动同步功能。
10.5 可按设备选择显示电器参数在指定的时段内（年、月、日）的日最大值、最大值出现时间、最小值、最小值出现时间、平均值.
10.6 可通过WEB上分页打印测点的数据和曲线
10.7 历史状态管理平台，当处于某一历史时刻要求能复原该历史时候的历史参数，数据，恢复该历史时刻的环境。
11.报表方式灵活，功能强大系统利用Excel软件的灵活性，实现电力系统数据报表的灵活定制、自由发布、快速查询和管理控制，支持通过web查询的功能。
12.数据统计分析子系统
系统提供一套面向用户的实用化的数理统计分析工具，能够适用于不同需求的用户。统计分析的数据源就取自该平台的数据库，分析结果能直接倒入EXCEL形式存储到用户本机。
13.丰富的Web浏览发布功能系统的WEB系统采用最新技术实现，使得授权用户可以在安全身份认证的情况下，进行各种类型的实时历史数据的浏览、查询、打印。Web系统采用Web客户/应用服务器/数据库服务器的三层浏览器/服务器（B/S）结构实现。
14.稳定的元数据服务功能通过元数据服务，便于建设逻辑集中，物理分散的共享信息资源体系，异构数据可以透明的访问和共享。
15.系统安全管理
系统安全管理主要提供系统安全解决方案，保护计算机安全运行。操作系统安全策略、网络安全（防止黑客入侵）、病毒检测、漏洞扫描、密码管理等。
16.图形的导入导出
许多应用不仅需要SCADA的电网模型信息，还需要SCADA的图，以简化开发工作，并使企业内的图形尽量一致。图形交换中的协议是可伸缩矢量图（SVG）的形信息一个子集，交换的格式是XML。域目标（即图形中的对象）的模型为CIM。
17.数据转发
17.1 规约转换可以将多种规约的转换。
17.2 数据共享和安全。
17.3 多系统接入接口体制灵活丰富，已经和多家厂商建立了接口体系。
18.结语
总之通过该平台，可以促进调度生产管理水平和工作效率的进一步提高，加速调度系统信息化建设的进程，适应国家电网公司集约化管理和调度系统下一步技术进步的要求，提高企业的信息化水平。
参考文献
[1]孙莹，王葵.电力系统自动化[M].北京：中国电力出版社，2004：5—15
数据传输平台 篇7
为促进与完善高校各部门管理工作的数字化、规范化和科学化, 推动数字化校园的全面建设, 各高校分别在保留原有系统的基础上将各个应用子系统进行整合集成为一个整体。由于各应用子系统所使用的系统及数据库不尽相同, 可能同构, 但更多的是异构系统, 因此需要建立一个公共数据交换平台, 将原有各系统数据整合到公共数据库, 同时各系统可方便调阅公共库中的数据进行应用, 从而形成一个无缝数字化校园体系结构。
1 数据交换平台的设计原则
1.1 遵循统一的数据交换标准
数据交换平台的目的是在数据中心和各业务部门等原有业务系统之间交换数据。由于各原有系统的技术构架不同, 信息的表示也各不相同, 要在这些不同的系统之间交换数据, 首要的问题就是定义一种标准的数据格式及数据交换的规范, 以方便实现不同硬件平台、不同操作系统平台、不同语言平台应用之间的平滑通信。
1.2 支持异构系统、异构数据库的交互及数据存取
数据交换首先涉及到如何与各级部门、各异构系统及其异构数据库进行交互, 实现数据的存取。能够对各级部门、各业务系统的数据库定义数据抽取规则, 从而实现自动地从各级部门的数据库或相应业务系统中抽取公共数据库所需的数据。数据存取的需求具体可归纳为:支持多种异构数据库, 如主流的关系型数据库包括:Oracle、SQL Server、DB2、Sybase等;能够集成各种异构的业务系统, 通过接口实现与应用的交互, 完成数据的存取, 如Web Service接口、文本型数据库接口;
1.3 信息传输
支持灵活的数据交换方式:可以根据不同部门的情况, 对于不同类型的数据有不同的更新要求, 可分别灵活采取多种数据上传的方式, 比如, 对于信息变更频繁的数据, 能够实现实时更新, 而对校园中变动不是很频繁的数据, 如人事数据、设备数据, 则实现定时更新, 如可定义每日上传一次, 或每周一次。对于数据上传的时间, 也可灵活定义, 如为了避开网络高峰, 减少对系统的影响, 可定义在晚间及凌晨等系统和网络均比较“空闲”的时候来进行数据的同步;支持大数据量、支持跨平台、跨多种网络模式的分布式数据交换;有高可靠性和和安全性。
1.4 数据转换
平台需要能够适应各系统数据内容和格式的变化, 提供可视化的转换配置界面, 并实现各系统数据与中心标准数据之间灵活的转换。
1.5 质量控制
能够对交换数据进行验证和质量控制, 能够根据一定的规则, 进行数据验证, 验证数据是否符合入库要求;能提供完善的日志。
1.6 数据交换的安全
支持对敏感数据进行加密传输。
2 数据交换平台中的数据整合模式
根据不同子系统的数据库, 可以建立图1所示的整合模式。在该模式中的公共库选用Oracle (9i/10G) , 应用系统业务库包含Oracle8i/9i/10G、DB28.1.2/8.2、Sybase11.5/12、SQLServe2000、DBF、A CCESS、EXCEL等, 其整合线路可以定义为3类: (1) 基于业务库表进行ETL抽取输入公共库 (A、ETL抽取) ; (2) 基于业务库输出虚视图进行ETL抽取输入 (B、ETL抽取) ; (3) 基于业务数据源文件或中介文件进行ETL抽取输入 (C、ETL抽取) 。
其中A类线路的适用于业务库遵循执行标准规范、两个数据库系统网络连接有保障、业务库能为公共库提供需要公共的表的读取帐号的情况;B类线路适用于业务库遵循执行标准规范、两个数据库系统网络连接有保障、业务库能为公共库提供该视图的访问帐号、公共库能够明确给出业务库输出格式要求、业务库能依据公共库整合的要求建立输出视图的情况;C类线路适用于公共库不能直接访问业务库、应用系统能依据公共库整合要求提供输出文件、业务库能为公共库管理员提供文件结构说明的情况。
4 平台中数据的订阅模式
要将公共库中的有用数据调入各子系统中加以应用, 需要制定数据的订阅模式。根据系统的不同, 制定了同构系统的订阅模式和异构系统的订阅模式。
4.1 同构系统的订阅模式
在同构系统的订阅模式 (图2) 中, 公共库和业务库都选用Oracle (9i/10G) , 其订阅线路为: (1) 应用系统基于公共库数据表的ETL抽取 (A、ETL抽取) ; (2) 基于公共库数据表的增量快照输出 (B、增量快照) ; (3) 基于公共库数据表跨库视图输出 (C、跨库视图) ; (4) 应用系统基于公共库视图的ETL抽取 (D、ETL抽取) ; (5) 基于公共库视图完全快照输出 (E、完全快照) ; (6) 基于公共库视图跨库视图输出 (F、跨库视图) ; (7) 基于公共库数据文件输出 (G、文件输出) 。其中A线路主要适用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共表读取帐号的情况;B线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行的情况;C线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行的情况;D线路主要适用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共输出视图的结构和读帐号;E线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行;E线路主要适用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行的情况;F线路主要适用于应用系统能处理中介数据文件的情况。
4.2 异构系统的订阅模式
异构系统的订阅模式 (图3) 中, 公共库用Oracle (9i/10G) , 业务库可能是Oracle8i DB2 8.1.2/8.2、Sybase 11.5/12、SQL Server2000、DBF、ACCESS、EXCEL等, 其订阅线路为: (1) 应用系统从公共库数据表中抽取 (A、ETL抽取) ; (2) 基于公共库数据表跨库视图输出 (B、跨库视图) ; (3) 基于公共库视图应用系统ETL抽取 (C、ETL抽取) ; (4) 基于公共库视图跨库视图输出 (D、跨库视图) ; (5) 基于公共库中介文件输出 (E、文件输出) 。其中A线路用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共表读取帐号;B线路用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行;C线路用于两个数据库系统网络连接有保障、应用系统能独立配置和运用ETL工具进行抽取、公共库通过订阅工具为应用系统提供公共输出视图的结构和读帐号;D线路用于两个数据库系统网络连接有保障、公共库通过订阅工具为应用系统提供可执行订阅脚本、应用系统在自有数据库中完成订阅脚本执行;E线路用于应用系统能处理中介数据文件。
5 结语
在数据整合的过程中, 建立有效安全的数据交换平台是关键。在该平台的公共数据库基础上逐步形成的数据仓储, 将为高校的决策和分析提供更好的支持, 从而加快高校的教育信息化进程。
参考文献
[1]许鑫, 苏新宁.高校共享数据中心平台的设计与实现[J].现代图书情报技术, 2005 (6) .
[2]黎小红, 田富鹏.异构数据库中数据集成技术研究[J].西北民族大学学报 (自然科学版) , 2006 (4) .
[3]段永威, 秦峰.异构数据源数据转换工具的设计与实现[J].现代图书情报技术, 2004 (4) .
[4]董向辉.分布数据整合与共享中的关键问题及解决方案研究[N].吉林大学硕士学位论文, 2004.
数据传输平台 篇8
一、铁路应急平台的具体组成
为了防范交通运输意外的发生, 铁路项目工程需设计应急平台, 在事故发生前做出告警反应, 以阻止突发事件的发生。随着科学技术的发展进步, 国内铁路交通应急平台的结构组成更加优化, 除了必备的功能模块外, 也添加了一些新型的装置。目前, 比较常见的方案是根据铁道部、铁路局和铁路站段 (现场) 三级结构部署。
铁道部应急平台的主要功能是对所有交通线路情况实施综合监管, 对存在的安全风险或意外故障提前采取应急处理方案。通常应急平台处置铁路突发事件响应级别达到Ⅱ级以上, 或突发事件的处理需要两个以上铁路局 (公司) 共同配合时, 由铁道部应急平台指导相关铁路局进行应急处置工作。铁路局 (公司) 应急平台负责处置管辖范围内的应急事件, 并且把一些重要事件汇报给上级部分, 从而开展必要的指导活动。现场应急平台也就是铁路移动应急平台, 当发生铁路突发事件时, 移动应急平台将处于事发现场, 实现应急事件的现场处置指挥及事件现场与其它各级固定应急平台的互联互通。
二、铁路应急平台数据传输的必要性
2.1满足处理信息需求
铁路交通涉及到多方面的内容, 其在数据传输期间也会遇到不同的潜在风险。随着国内交通行业的快速发展, 铁路应急平台的建立成为了不可缺少的策略。建立应急平台能够保持内部数据传输的高效运行, 降低数据调配中发生的各种风险。鉴于突发事件对铁路运动的不利影响, 利用三级平台系统可以抵制数据传输的风险, 在突发事件发生前作出有效的回应。突发事件中涉及到的信息包括:预警信息、事件信息、现场处理信息, 一些特殊的语音、图片、视频等也可作为传输数据的载体。
2.2满足外部系统需求
铁路应急平台并非单独运行的, 其在发挥数据传输功能的同时, 也要借助其它调控系统的帮助。从应急平台与外部系统的关系来看, 这种结构组合需要处理的数据内容相对复杂。具体内容:一是业务信息, 对铁路工程涉及到的内容及时调控, 尤其是与铁路部分业主拓展相关的数据, 应结合实际情况制定应急平台方案, 保证业务信息的有效运用;二是社会信息, 铁路应急平台要考虑地域特点、环境特点、交通特点等, 这样才能实现系统结构的有效组合, 保持高效率的数据传输功能。
从铁路工程建设角度考虑, 未来应急平台数据传输机制应注重“集中式”调配模式, 以控制中心为准不断完善系统的调控节奏。对于不同形式的数据信息, 要结合自动化操控系统完成必要的转换, 以此满足数据传输系统的应用要求。
三、基于消息中间件的传输模式
3.1 JWMQ消息中间件概述
科学技术是第一生产力, 在先进科技的带动下铁路应急平台建设日趋完善。新型平台的建立不仅在功能上突破创新, 在结构上也优化了平台的组合模式, 使其更加偏向于智能化传输模式。JWMQ消息中间件对应急平台中数据传输机制的改善发挥了重要的作用, 其充分显现了多方向数据传输的优势。从实际应用情况看, 消息中间件是计算机系统的核心软件, 经过中间件可以实现数据传输的融通, 在提高数据传输效率的同时也降低了意外风险的发生。中间件通常被设置在操作系统与网络软件两者之间, 为其创造了可独立操控的传输平台。基于JWMQ消息中间件建立数据传输机制, 大大改善了铁路自动化控制系统的效率。
3.2数据传输处理的措施
3.2.1 XML的特点:
XML中标签和属性的语义可由研发者自行定义, 对每个标签也编制的权利。同时, XML也具备了其它不同的特征, 如:XML语言运用于数据表达中, 能够对原始程序代码一一识别, 然后根据网络传输的具体要求完成信息交换工作。
3.2.2 数据传输的处理措施:
处理数据要经过标准性的转换过程, 使其按照规定的数据形式传达给接收端口。为了保证数据传输的有效性, 可借助于不同的传输模块完成操作, 所建立模型的结构:数据通信模块、数据转换模块两部分构成。数据通信模块采用JWMQ消息中间件, 这样可以免数据传输阶段发生安全问题, 维持了数据传输流程的稳定性。
对于数据交换系统的操作, 其它子系统的操作系统、网络协议和数据库不尽相同, 这就需要根据实际情况控制传输模块功能。这种通信服务平台的形式多种多样, 用户可按照数据端口的连接方式适当调整, 从而加快数据传输平台效率的提升。从此次研究情况看, 该模型的通信模块配备了专业使用的安全接口, 而消息中间件在连接异构分布式系统中的运用优势明显, 从多个方面为数据交换系统的操控提供了方便。
四、结语
总之, 新时期国家投资铁路工程建设之后, 对数据传输机制的研究更加深入, 其所建立的自动化数据处理平台是调控信息的关键。为了避免数据传输阶段发生故障问题, 技术人员要采用多功能的应急平台, 对现有数据实施自动化调控, 从而确保数据的点对点传输。
参考文献
[1]唐堃, 孙健, 陈光伟.中间件技术在客票系统中的实现及应用[J].中国铁道科学, 2004 (613) :103-108.
[2]陆海州.铁路应急平台框架体系研究[J].中国铁路, 2007 (6) :90-91.
数据传输平台 篇9
高职院校的评估采取“实时的状态数据监控+5年一轮的现场考察”模式。“实时的状态监控数据”通过高职院校数据监控平台来收集,该平台是基于EXCEL经过二次开发的软件,采集的数据包括高职院校的校内外实习基地、校内外专兼职教师、专业设置、课程设置、顶岗实习、就业等等。采集的方式是由各校人工收集,手工录入。
高职院校数据监控平台中的数据,反映了学校各类综合建设状况,其不仅是考察高职示范校建设能力与建设现状的重要数字证明,而且能帮助学校全面、准确认识自己,找准办学定位,增强学校管理决策的科学性和有效性,为制订和实施战略规划提供数据支撑。但由于这些数据是人工采集、手工整理并录入,难免出现数据采集失真或录入错误的情况,如果直接使用这些数据对该校示范校建设进行评估,难免会导致评估失准的情况发生。
以学生“就业情况表”为例,该表以各系为单位人工统计毕业生的详细数据及毕业流向,再由学校就业中心人工汇总后,手工填报“就业表”(就业表用来反映各系毕业生的就业率)。虽然平台的基本建设框架整体比较完整,但填写上报的源数据能不能准确、一致、有效地反映出学校的真实情况,却有待对数据进行质量评估。虚假、不完整、不一致的数据对国家及社会公众评价一个学校的误导显然危害更大。
1 就业数据质量评估模型概述
由于不同的数据对于数据质量要求有所差别,因此不同的文献给出的数据质量与维度集定义也有所区别。本文以学生“就业情况表”为例,定义数据质量对于使用就业数据的使用者来说是指数据“使用的适合性”,而主要的评估维度包含可信与可用两个基本评估指标。
可信度和可用度是数据质量评估的基本指标,其中可信度包括准确性、完整性、一致性、有效性、唯一性等指标。可用度包括时间性、稳定性等指标。综合起来,即评估该表中的数据是否与客观实体的特征相一致、是否存在缺失记录或缺失字段、同一实体的同一属性的值在不同的系统或数据集中是否一致、是否满足用户定义的条件或在一定的域值范围内、是否存在重复记录、是当前数据还是历史数据以及该数据是否是稳定的,是否在其有效期内。
表1是某高职院校计算机应用技术专业应届毕业生就业信息表,全表共91行数据(当年该专业应届毕业生总人数为91)。为说明方便,此处省略了大部分数据,摘取部分数据作说明。
备注:该表省略了大部分数据,仅给出部分相关数据作说明。
表1中的就业数据质量评估模型可以描述为5元组,M={D,I,R,W,E,S},其中D为采集到的毕业生就业信息数据集;I为就业数据质量评估指标体系,具体指标集的划分如图1所示;R为与各评估指标相对应的评估规则,就业数据质量评估规则如图1所示;W为各评估规则的权重;E为各评估规则对应的期望值;S为对应各规则的就业数据的最终评估结果。
2 就业数据评估模型
根据数据特点和用户对数据的质量要求,参照国内外研究成果,确定就业数据质量评估模型如图1所示。模型最高层是评估总目标层,中间层是可信度和可用度两个评估指标,最低层是评估指标对应的评估规则集。
各评估规则释义如下:
R1:准确性,学生总人数准确,应届毕业生信息表中某专业学生人数与实际人数一致。
R2:完整性,数据填写是否完整,是否有缺失的数据列值或者未定义的列;例如,若某学生就业类型是“正在求职”,则“就业单位”可以为空,否则不允许为空。
R3:一致性,就业表中的学生基本信息是否与入学学籍表的基本信息一致。
R4:有效性,各列取值是否有效,是否符合用户的要求,如就业类型取三者之一,就业、正在求职以及专升本。
R5:唯一性,是否存在有重复的学生记录。
R6:时间性,表中数据的采集时间是否符合用户的要求,例如应届毕业生应该采集本年度9月1日前的就业数据,上届毕业生应该采集上年度12月31日前的就业数据。
R7:稳定性,例如毕业生信息表中学生就职数据的稳定程度,可以由专家根据历史数据、社会需求变化等评审打分决定。
R8:修改性,数据集中引用其他数据进行计算的列的数量,例如“就业表”中的就业率(%)是使用“就业信息表”中应届毕业生信息表的数据计算得到。
3 计算模型权重
利用层次分析法(Analytic Hierarchy Process,AHP)确定指标与规则的权重,包括最低层规则相对于同一上级指标的相对重要权值的计算和指标相对于就业数据集评估目标的相对重要权值的计算。成对比较矩阵的各元素采用1-9标度法由专家打分给出,对各专家打分的结果进行均值计算,得到最终的成对比较矩阵元素值,检验其一致性后,计算权值。
3.1 计算指标权重
图1中,经专家打分,计算可信度I1与可用度I2的权重如表2所示。
3.2 计算规则权重
表3-4为各规则相对于上层评估指标的权重计算矩阵。
结合表2-4,计算规则总排序权重系数表,如表5所示。
4 就业数据集质量计算与评价
根据评估指标的每一条规则R,检查学生就业表中的每条数据记录,计算满足规则R的数据记录占D中记录总数的百分比,得到该规则对应的结果S,如表6所示。在计算过程中,大部分可以采用程序的方式自动获得计算结果,但是“就业表中是否有未定义的列”、“学生就业数据的稳定程度”却需要依靠更多历史数据和专家经验判断得出结果。
根据绝对量化值
使用向量DR综合表达就业数据集偏离期望质量的程度,DR=(95.0810,-2.0277,33.5723)。
5 结束语
合理的就业统计数据有利于评估该校就业质量的高低、就业率的高低等,但前提是采集到的就业数据是可信与可用的,以各高职院校为单位的基层数据采集主要由各高职院校自行完成,这必然为了某些利益出现虚假数据。为了更准确地分析各高职院校的就业情况,必须要求采集到的就业数据真实、准确、完整、一致。本文以保证数据适用性为标准构建了就业数据集质量评估模型,对就业数据集进行了质量评估,计算结果表明该数据集的数据质量较一般,应该对该数据集中的数据重新采集后再评估,符合要求后再用该数据确定该校的就业率。
由于不同的数据集其质量评估模型有所不同,文中提出的就业数据质量评估模型对数据平台中的其他数据集的质量评估具有借鉴意义。对各高职院校采集的基本数据进行质量评估,对不合理的数据重新采集,保证数据平台中采集数据的质量,是应用数据平台进行高职院校评估的重要保障。
摘要：高职院校人才培养工作状态通过数据采集平台进行人工采集,其数据的真实性、有效性、一致性对国家及社会民众公平地评价该校起着非常重要的作用。文中提出一种对该数据平台中的监控数据进行质量评估的方法,并以就业数据质量评估为例,建立层次数据评估模型,分配模型权重,计算就业数据质量,从而确保数据的完整、及时和高质量,增强高职院校评估的科学性、高效性。
关键词：数据质量评估,层次分析法,数据采集,高校评估
参考文献
[1]杨青云,赵培英,杨冬青,等.数据质量评估方法研究[J].计算机工程与应用,2004(9):3-4,15.
[2]宋敏,覃正.国外数据质量管理研究综述[J].情报杂志,2007(2):7-9.
[3]高起蛟,严凤斌,池斌.层次分析法(AHP)在数据质量评估中的应用[J].信息技术,2011(3):168-169,173.
[4]俞伟.基于模糊层次分析法的商业银行信用数据质量评估实证分析[J].上海金融,2011(3):102-105.
[5]刘慧,刘敏,韩兵.基于维度的信息系统数据质量评估指标体系研究[J].信息系统工程,2010(6):99,102-105.
[6]Wang R Y,Strong D.M Beyond Accuracy:What Data Quality Meansto Data Consumers[J].Journal of Management Information System,1996,12(4):6-34.
微博数据平台研究 篇10
随着互联网的发展, 以微博、SNS、微信等社交网络平台为代表的典型应用, 在网友的日常生活中越来越重要。 这些平台以社交网络为基础, 组织各类文本、图像、声音、 视频信息。伴随着便携移动终端的普及和无线网络的广泛布局, 微博在近两年发展势头迅猛, 微博平台创造了海量信息资源, 而微博平台的信息组织展现出新的模式、方法和规律。
1微博的特点
1.1微博对用户的作用
微博作为松散、开放式社交网络支撑下的媒体平台, 它是用户、信息内容和资源的集合体, 使其成为理想的信息交流平台。从满足用户需求的角度看, 微博平台的功能体现在如下方面:1与朋友和同事保持联系。关注他人, 通过评论微博、转发微博、私信等方式保持联系;2使自己的信息被知晓。发布个人信息, 自己的粉丝就可以马上获知;3根据兴趣和职业, 获取有用信息。通过微博寻找新闻线索、潜在的科学问题和用户需求等;4寻求帮助和建议。类似于问答平台, 通过微博发布问题, 获得粉丝的帮助;5减压。浏览适当的信息内容, 放松身心, 减轻压力。
除了个人用户外, 机构也是微博的用户, 包括公司、报社、政府部门等, 这些机构通过微博公开信息、征求意见、 推广品牌、促销产品。因此, 微博也是机构信息发布和互动的重要平台, 我们将微博用户统称为“主体” (Agent) , 以囊括个人用户和机构用户。
1.2微博的基本特征
微博与博客、BBS、SNS、即时通讯等都具有相关性, 同时也有明显的不同。从主体的信息行为上看, 其典型的特征包括:1主体发布信息。通过多种设备访问, 个人用户和机构用户可以方便地发布短小的信息内容;2实时更新, 现场直播。移动便携终端的普及, 信息可以实时更新, 具有现场直播的功能。
从信息传播的角度来看, 它具备如下特征:1同步异步发布。微博是异步沟通工具, 通过消息 (评论、私信) 的推送又能实现同步效果;2广播。微博条目是自己所见、 所闻、所感的记录, 每条微博都会广播给所有粉丝;3内嵌在社会网络之上。用户彼此关注形成社会网络, 信息沿着社会网络的结构进行传播。
从信息格式及技术方案看, 微博具备如下特征:1格式简洁。微博限制长度在140字, 易于通过移动便携终端发布和阅读, 降低了使用成本;2移动阅读, 随时随地阅读。通过智能移动终端的应用接口, 不受时空限制地使用;3基于微博用户的RSS种子。主体的微博被关注后, 就类似于RSS种子向粉丝推送信息。
1.3微博的本质特征
上述基本特征除了微博具备外, 许多其它信息平台也具备。与之相比, 微博独具的特征如下:1与即时通讯相比, 微博更开放, 用户间易于彼此关注。而即时通讯以信息交流为目的, 私密性强, 社会网络结构具有小圈子特性和排他性;2与博客相比, 二者内嵌于社会网络上, 都以发布信息为目标, 但从信息发布的多样性、方便性和社会网络的核心地位上看, 微博更胜一筹;3与SNS相比, SNS在社交网络关系上更倾向于熟人网络, 网络结构也具有一定的排他性, 微博的公开性导致的信息传播性和新闻性更强, 使之成为重要的新闻传播平台。
综上所述, 微博区别于其它类似平台的本质特征是: 1开放性。任何用户可以关注任何用户的微博数据, 任何用户可以转发任何用户的微博数据。开放性强促进了信息传播与信息交流;2信息格式短小, 方便发布和阅读。由于开放性和发布阅读方便性, 使用户将其作为记录个人生活、记录机构行为的工具, 相比其它媒体, 信息内容多样化, 如:个人所见所闻所感、机构公开信息、媒体信息发布等等, 都能在微博上找到;3以社会网络为核心构架。微博通过粉丝方式, 激励用户维系其社会关系网络并保证主体微博的受关注度, 也因为社会网络的结构, 导致信息的转发、订阅能够利用社会网络的特性, 广泛传播。
2面向信息事件的微博数据组织
微博作为信息发布、主体交流的平台, 其信息组织不仅涉及信息本身, 还涉及信息主体及其构成的社会网络, 而信息的产生和网络的构建都是在一系列信息事件基础之上完成的。因此微博数据组织在微观层面需要解决微博平台的信息事件记录方式和模型中不同实体的表达方式。
2.1微博数据是各类事件的记录
用户在微博平台中的行为会产生一系列信息事件, 这些事件构成了微博数据事件集合, 以事件为基础可对微博平台的各类信息进行有效组织。信息事件包括如下组成部分:事件主体、事件类型、事件发生时间、发生地点、信息单元内容、关联资源。
1事件主体:信息事件的执行者和参与者;2事件类型:根据不同信息行为对应的类型, 类型不同, 事件的描述方式不同;3事件发生时间:信息行为发生的时间;4发生地点:事件发生的具体地点;5信息单元内容:每个主体发布的信息内容, 对应用户发布的每条微博;6关联资源:微博数据单元中引用的各类资源总称。
2.2不同层次的信息事件组织
事件类型与表1中每层的信息行为相对应, 可被微博平台记录的信息事件包括:
(1) 社会网络层事件:1关注他人:主体1、主体2、时间、地点;2加入群组:主体、群组、时间、地点;3邀请好友:主体、好友列表、时间、地点;4推荐好友:主体1、主体2、好友列表、时间、地点。
(2) 信息单元层事件:1发布微博:主体、时间、地点、 信息单元、资源列表;2转发微博:主体、时间、地点、信息单元[转发微博]、参考信息单元;3评论微博:主体、时间、 地点、信息单元[评论微博]、参考信息单元、资源列表;4回复评论:主体、时间、地点、信息单元、参考信息单元[评论微博]、资源列表;5发布投票:主体、时间、地点、信息单元、投票单元、资源列表;6私信交流:主体1、主体2、时间、地点、信息单元、资源列表。
(3) 资源层事件:1上传资源:主体、时间、地点、资源列表;2标注资源:主体、时间、地点、资源ID、资源描述单元。
2.3信息事件中的核心实体
通过对信息事件的描述, 可以从中抽取出核心实体, 并为实体添加属性信息描述。
(1) 主体 (Agent) :主体是信息事件的执行者和参与者, 作为实体, 其具备分类体系, 同时具备相应的属性信息。在用户注册时, 会初始化这些属性信息。主体具备的信息包括:
[Agent分类, Agent属性标注 (职业、兴趣标签、年龄……) ]
(2) 群组 (Group) :群组是由某个主体创建的用户组, 它由多个主体构成, 按照兴趣、行业等标准进行分类, 具备分类体系, 同时具备群组标题、兴趣等信息。群组具备的信息包括:
[Group分类, Group属性标注 (标题, 群主, 管理员列表, 群简介……) ]
(3) 信息单元 (Information Unit, IU) :信息单元是用户发布的微博, 可以根据微博发布目的予以分类 (如:转发微博、评论微博、原创微博) , 也可按照微博内容的主题进行分类。信息单元具备的信息包括:
[IU分类, IU属性标注 (转发数, 评论数, 收藏数, ……) ]
(4) 资源 (Resource) :资源是信息单元的基础, 信息单元是对资源的集成, 资源可按照媒体形式分类, 也可按照资源内容主题分类, 而每个资源都可以采用通用的元数据标准 (如DC元数据) 加以标注, 其具备的信息包括:
[资源分类, 资源属性标注 (链接、主题标签、资源拥有者、创建日期、语种……) ]
2.4语义网络构建
在语义网络层, 包含主体、信息单元、资源之外的其它类型的实体, 如机构、公司、会议、比赛等, 这些语义实体多种多样, 涉及领域知识。社会网络层、信息单元层、资源层的信息行为将生成大量事件记录, 通过这些记录以及相关的信息单元和资源, 利用内容分析、语义对象提取、语义关联提取算法和工具, 可以构造语义网络, 实现语义检索、语义组织和语义推理, 使微博数据资源的利用上升到语义层面。语义网络层以前三层为基础, 通过语义实体识别和关系抽取算法, 并辅以群体协作的方式, 通过群体智能实现语义网络的构建。
3微博数据组织核心维度
在微博平台中, 根据上述层次模型和事件模型, 选择核心实体的重要属性作为微博数据组织的核心维度。这些维度包括:时间维、地点维、类目标签维、主题标引维、社交网络属性维、资源网络属性维、信息单元网络属性维、语义网络属性维等, 如表1所示。
4微博平台信息组织发展趋势
微博成为日益重要的信息平台, 其信息组织的方式和方法也围绕微博平台功能升级和微博用户的高层需求不断发展, 从信息组织的目的上看, 它的发展趋势如下:
4.1地理信息可视化与分析
地理信息的使用日益广泛, 微博与移动平台的整合使地理信息的采集变得方便, 微博数据组织也应朝着地理信息可视化、分析、挖掘与利用的方向演进, 并催生一系列基于地理信息的应用。
4.2语义提取与挖掘
随着第三代互联网语义网 (Semantic Web) 的发展, 各类信息资源的组织和应用也将朝着这个方向演进。微博平台的信息组织也需要采用相关的语义内容表达、存储规范和标准, 使其能在语义层面上得到有效组织。
4.3信息空间可视化表达
随着可视化技术的广泛应用, 微博数据空间也将朝着可视化方向发展。为用户提供更易识别和理解的信息界面, 同时有效地展示网络结构的信息和树状结构的信息。
4.4网络分析
复杂网络研究引领了各个领域的研究热潮。微博平台的社会关系网络和信息单元网络都属于复杂网络的范畴。充分利用已有的复杂网络和社会关系网络的研究成果, 进行网络分析, 提取合适的序性指标和分类指标, 是微博数据资源利用发展的趋势。可进行的网络分析包括:社会网络分析、语义网络分析、资源网络分析、信息单元网络分析等。
摘要：分析了微博平台的特点, 描述了基于事件的微博数据记录与组织方式, 界定了微博平台的核心信息行为、信息事件及信息实体, 并对各类实体信息组织中所需要的核心维度进行了定义。从微博数据空间导航和信息单元展示的角度探讨了微博平台人机交互接口, 最后提出了微博数据组织的发展趋势。
关键词：组织模型,数据组织,微博
参考文献
[1]陆伟, 魏泉, 寇广增.基于Blog的网络信息组织[J].情报科学, 2005 (2) :260-263.
[2]王树义, 王鑫.基于微博客Twitter的企业竞争情报搜集[J].情报学报, 2010 (3) :522-545.
[3]曹平.微博客的信息组织建设及对图书馆的启示[J].甘肃科技, 2011 (12) :89-91.
面向大数据的校园社交平台 篇11
课程格子是一款面向校园、基于课程表的移动社交产品，目前已经突破1300万注册用户。课程格子在帮助学生们了解课程安排的同时，还可以展开各种社交功能：除编辑创建课程表外，可以添加课程笔记、评价老师;与同学打招呼、聊天，认识更多新朋友;查看其他学校的课程安排，更容易蹭课;校园社区格子BBS，支持匿名发表内容，提供更多隐私保护等。李天放介绍说，在课程格子之前，没有类似的商业模式可以借鉴，因此很多功能都得靠自己研发，“必须要找到自己的方向”。课程格子有两个特色，一个是同学们很方便添加课程表后那种“WOW”的体验，一个是校园社交BBS。
其中，校园社交BBS是课程格子目前重点打造的特色功能。为什么BBS社区反而回归了90后的校园？李天放解释说，现在的90后反而更喜欢匿名社交，因为对于90后大学生来说，有的时候做自己很累，因此需要一个匿名的地方，展开校园社交。在内容审核方面，由于课程格子是开放注册，但只有提供实名认证的VIP用户才可以匿名发帖，因此BBS里不会出现比较乱的内容。
课程格子通过“课程表”这个校园的刚需吸引学生用户注册，提供便捷的用户体验，让用户在30秒即可定制自己的课程表，获得“WOW”的用户体验，再通过校园BBS黏住用户，吸引用户不断回头全用课程格子。“可能学生一周只有一半的时间在使用课程表，但使用校园BBS的可能性高达八九成。”李天放说。
接下来，课程格子准备提供校园O2O功能，作为课程表、校园社交BBS的下一步。
宋师伟新近加入课程格子，成为公司的CTO，课程格子的研发实力得到了强化。目前，课程格子有30余名员工，全部从事产品开发。虽然课程格子的下一步是校园O2O，但从李天放与宋师伟的背景来看，课程格子的目标远远不止于校园O2O，李天放的目标是要做一家市值超过10亿美元的公司。课程格子团队在大数据与云计算领域的深厚实力，将是课程格子长期的核心竞争力。
数据传输平台 篇12
20世纪90年代以后,Web应用遍及全球,网络深入人心,数据库日益普及。大型机构由于分支机构不断变化、产生,原有集中式应用模型不能适应新环境,分布式数据库成为主要研究方向。企事业单位不能真正解决信息孤岛问题[1],信息化建设很难成功,真正发挥应有作用。为消除信息孤岛,实现信息共享,迫切需要建立一种公共环境,对用户提供统一、透明的访问界面,信息集成研究因此而起。历经十多年信息化工作积累,信息化程度已初具规模,为了能共享数据,可以建立统一的数据交换平台实现。交换平台为系统提供了基于XML的数据交换机制,可以直接为全局的应用系统提供信息交换服务,是实现信用信息系统业务功能的技术基础。同时,为了能更充分利用现有系统,可采用Web服务和中间数据库构建数据交换平台。
1 异构数据库
1.1 异构数据库系统
异构数据库系统是相关的多个数据库系统集成,实现不同数据库之间数据信息资源、软硬件设备资源和人力资源“并轨”共享,。为各种系统提供集成、统一、安全、快捷的信息查询、数据挖掘和决策支持等服务,实现数据(主要是异构数据)共享和透明访问。每个数据库系统在加入异构数据库系统前就已存在,拥有自己的DBMS(Data Base Managment System)。异构数据库各组成部分具有自身的自治性,实现数据共享的同时,仍保有自己的应用特性、完整性和安全性控制。异构数据库系统的异构性主要体现在三个方面:系统异构、DBMS异构和逻辑异构[2]。
1.2 异构数据库的发展和特征
数据库技术的出现为信息管理带来了新手段。作为计算机科学技术发展最快、应用最广泛的重要分支之一,数据库已成为计数机信息系统和应用系统的重要技术基础和支柱。数据库技术发展大致经历了三个阶段,在发展第二和第三阶段,分布式数据库系统(Distributed Databses)基本解决了集中式数据库系统的弊端;但对不断发展的大型机构,由于发展阶段、应用目的不同等原因而产生的不同数据系统,有机地结合在一起共同工作仍存在问题,这便首次产生了异构数据库系统的研究需求。在20世经90年代,数据库发展面临新挑战,在Web、新的应用需求及硬件技术飞速发展情况下,web提供一个集合异构数据源平台;Web发展促进了异构数据库系统理论进一步研究和发展。异构数据库系统是对分布式数据库系统的继承和发展,二者既有相同之处又有区别。最根本的区别在于:分布式数据库系统只拥有单一逻辑数据库,虽然可以在物理上分布,但只有一个DBMS为其服务,提供一致的查询与更新,严格说,各分布子系统是同构的;而异构数据库系统则以多个异构、自主的数据库系统为基础,通过一定程度集成而构成一个分布式数据库系统。异构数据库特征则可从以下三方面说明[3]:
(1)分布性。
异构数据库系统各组成部分是分布在不同位置的各种自治数据库系统,通过通讯网络建立各部分之间连接。系统的数据保存在分布的数据库系统中,可以以各不相同方式保存,没有严格逻辑要求。每一个独立自主的数据库系统只是整个异构数据库系统中的一个网络结点。
(2)异构性。
排除数据库宿主系统的异构性,异构数据库系统的异构性主要由两方面产生:
(1)数据库管理系统(DBMS)的异构:由于组成系统的各数据库系统可以不同,因此形成了DBMS的异构,这种异构实质上可分为三个方面:
A.结构不同:根据不同的方法论,DBMS采用不同的数据模型和数据结构,反映在物理上的存储方法也可能不同。例如层次数据库与关系数据库。
B.数据存储种类异构:相同或相似的现实世界数据,存在表达多样性,因此不同数据库系统存储方式不同,可以是数据类型、范围、精度以及组成部分的异构。例如:在一个数据库中可以采用整型表达的数据,很可能在另一数据库中采用字符串表示,而在第三种数据库中则变为某种对象的一个属性。
C.关系表达异构:由于不同环境及需求,事件中两个事务之间关系可从多方面理解,由此造成在数据库中关系表达的异构,这种异构与该数据库系统采用的数据型或密不可分,可能出现同一数据的不同分割和组合以及关系连接。
(2)数据遗漏及冲突:不同的应用对数据对象的不同侧面要求不同,很可能在某领域内非常必需的数据在另一环境中却可以忽略,或者实际上是另一种数据,所以数据遗漏和冲突在所难免。
(3)自主性。
构成异构数据库系统各子系统具有各自的自主性,拥有对自身系统内各种资源使用的权利,包括设计、执行、修改等,同时拥有与其它系统交互的权利,包括加入、退出、通讯、提供服务等。它们有权利接受外来服务请求,也有权利拒绝请求服务的权利。但在这些权利与承诺的系统义务之间必须有机结合。
2 数据交换平台的总体设计
2.1 系统的体系结构
由于各业务系统是异构的,首先必须定义一个统一的XML文件数据标准进行交换。考虑到旧系统改造和新系统扩展方便性,本文采用的数据交换系统结构如图1所示[4]。
首先,各业务系统按自身系统数据结构情况开发应用程序,以共同的数据标准规范,将要共享的数据生成合符要求的XML文件;然后将XML文件通过数据采集接口模块传输到数据交换平台。这样,外部系统就可通过查询请求查询到平台中间数据库中自己需要的数据,从而达到数据共享目的。下面,对图1数据交换系统架构四大部分作一简析。
(1)业务系统:是指企业内部各业务系统,负责将自身系统需要共享数据转换成规范的XML文件。它是共享数据提供者,又是共享数据使用者。
(2)外部系统:是指需要查询共享数据并具有对应权限的用户系统。
(3)数据采集模块:是数据交换系统重要组成部分,包括传统采集接口和Web Service接口两种方式,将要传输的数据采集出来,送到数据交换平台处理。
(4)数据交换平台:是数据交换系统重要组成部分,由原始数据池、平台中间数据库及核心处理模块三部分组成,负责XML文件的处理和存储。
数据采集模块和数据交换平台是系统实现数据共享的核心部分。
2.2 数据交换平台
数据交换平台负责所传输到达的XML文件转换和存储操作,其中包括原始数据池、核心处理模块和中间数据库三部分。
(1)原始数据池。
它是数据缓冲池,在采集模块和核心处理模块之间起缓冲作用;负责将从数据采集接口模块中采集到的数据以XML形式分类暂时存储[5],在核心处理模块空闲时再行处理,处于数据交换和存储模块最前方位置;数据按各业务系统分类存放,各业务系统都有自己对应的文件夹,XML文件暂存在文件夹里,如果在获取数据过程中有错误发生时,将错误信息打包成XML文件,发送到错误反馈信息子目录中。
(2)核心处理模块。
它是数据交换的中心,是连接原始数据池、数据库和外部系统的纽带,负责XML数据处理和数据库数据转换,包括两种功能:
(1)从原始数据池传输过来的XML文件,按照规定的数据结构存放到中间数据库中。(2)根据用户查询请求,将需要的中间数据库的共享数据处理组合成XML文件,传输给用户使用。
这里涉及XML文件到数据库之间数据转换问题。由于原始数据池中数据以XML文档形式发送到平台中间数据库,假如将整个文档原封不动存储到数据库中,就会切断数据与数据之间联系,且难于管理和维护。因此数据交换平台中使用的是按XML文档结构层次拆分的,分别存于不同的表或字段形式当中。
(3)中间数据库。
它是业务系统上传的共享数据集中存储的地方,是由核心处理模块处理后的共享数据。各业务系统只要将自己的数据按照一定通用格式如XML提供出来,完全不用改变原来数据库结构。中间数据库,方便了网上检索需要,易于操作。这一方式使各业务系统对自己的数据有完全的控制权[6]。如果用户需要查询信息,那么对应的数据信息将从中间数据库取出,并经核心处理模块进行从数据库结构到XML文件的处理,将XML文件传输给用户,在用户的系统中被处理和显示。
中间数据库的数据表分为两大类:基本码表和用户表。码表用于维护系统中基本不变的数据,包括性别、民族、职务、国家、提交方式、办结结果、特别程序种类、特别程序结果等。用户表用来维护用户日常经常操作的数据,主要包括申请人信息表、申请企业信息表、受理信息表、业务信息表、业务规则信息表、补给信息表、审批是想信息表、经办人信息表、办结信息表、特别程序信息表等。
3 结束语
Web技术及Internet的飞速发展,使产品信息集成要求迅速与新兴技术相结合;但由于信息来源多样化,产生了大量异构数据。如何使各种应用程序能够透明地操作多种数据源,在应用程序和各数据源间建立传输信息的纽带,对实现信息化至关重要。本文探讨了基于XML的企业信息集成问题,可为企业间信息共享提供良好的理论支持。
参考文献
[1]熊光楞等:《并行工程的理论与实践》[M];清华大学出版社,23-24。
[2]李黎:《基于XML的异构数据库数据集成技术研究》[R];四川师范大学计算机科学学院,2008:5-7。
[3]C W Chung.“DATAPLEX:An access to heterogeneous distributed databases”[M],Comm.——ACM,Vol.1No.1.2002.
[4]李阳:《数据交换系统设计与实现》[R];北京交通大学,2006:21。
[5]Charles F Goldfarb.《XML实用技术》[M];清华大学出版社,1999:56-58。