数据发布系统（共12篇）
数据发布系统 篇1
1 数据流系统
数据流 (data stream) 应用的出现引起了国内外专家和学者的关注, 数据流管理技术作为一种新兴的技术已经被广泛的研究, 目前通用的DSMS (data stream management system) 包括Telegraph CQ[1], Aurora[2]和STREAM[3]。
数据流的查询过程是持续的查询 (continuous query) [4], 持续查询所关心的并不是全部的数据, 而是近期最近到达的部分数据, 所以数据流中的持续查询采用滑动窗口 (moving window) 机制, 基于滑动窗口的查询。
本文基于通用流数据库[5,6], 构建一个空间数据流系统模型。在此过程中, 借鉴交通导航应用开展工作。这里的空间流数据库模型系统的主要工作仅包括增加空间数据类型、空间滑动窗口和空间谓词, 为了实现简单易懂的空间连续查询语言, 本文在设计时, 尽量和原有的空间数据库查询语言和连续查询语言做到统一。本文依据标准SQL和CQL设计空间数据类型和空间谓词, 并参考OGIS标准, 尽量不修改原有查询语言的结构, 采用通用的空间数据类型表示方法, 通过增加通用的关键词的方式, 扩展连续查询查询语言。
2 空间数据类型扩展
我们考虑交通导航LBS (Location Based Service) 应用, 在这种应用中, 需要知道移动对象前方道路的交通状况, 根据交通状况选择合适的运行路线。假定每个移动对象每隔30秒向导航服务中心报告移动对象当前的速度和位置信息。前方的交通状况由运行在前方的一定范围的移动对象数量和这些移动对象的平均速度来决定, 数量多并且平均速度小于40km/h就表示交通状况差, 否则交通状况良好。随着移动汽车位置的改变, 其维持的空间查询窗口也在不断的改变位置, 如果设计一种空间滑动窗口, 使之能够随着移动对象的改变而改变, 就可以解决这个问题。
根据例子应用的需要, 拟增加的空间数据类型有Poin和SSwin两种。Point用来表示一个移动对象, 而SSwin用来表示一个空间滑动窗口。
(1) Point[x:float, y:float], 在这里Point表示某个移动对象, 它的值为移动对象的二维空间坐标;
(2) SSwin[Point1, Point2], 表示某一空间滑动窗口, 为了简化问题, 此处的SSwin, 仅表示一个矩形的空间滑动窗口, 由两个Point标识。
3 增加空间滑动窗口查询函数
为了支持空间查询, 需要增加空间谓词和空间函数, 本文需要增加空间函数Inside, 用来判断空间移动物体是否在空间滑动窗口内。
(1) Inside (Obj, SSwin)
这里的SSwin表示空间滑动窗口, Obj表示移动对象位置, 此运算符的结果为整型, 当Obj在SSwin的内部时, 其值为0, 否则, 返回值为1。
(2) 空间滑动窗口的连续查询
通过以上增加了空间数据类型和空间谓词以后, 流数据库可以支持空间滑动窗口的连续查询。粗体字部分表示本文增加的空间谓词:
4 空间滑动窗口查询的实现
本文的空间流数据库模型的实现工作是基于STREAM流数据库管理系统, 通过修改此系统的代码, 实现空间流数据库系统。此系统是斯坦福大学开发的一个的通用的流数据管理模型。此数据库管理系统模型是开放源代码的。它能够处理对多个连续的数据流和存储关系的连续查询。它提供大量的复杂流查询, 用来处理高容量和高突发性的数据流。它提供丰富的连续查询语言, 有良好的交互操作界面。
本文的实现是要在流数据库管理系统的基础上进行扩展, 虽然仅是对原有系统的扩展, 但是需要做的工作仍然涉及到整个数据库管理设计的全过程。一个数据库管理系统的设计包括一系列的阶段, 一般遵循以下的顺序。同时以下这些步骤也是实现此空间流数据库的过程中, 主要的工作:
(1) 生成词法分析树:由抽象的查询语言生成词法分析树, 这个过程是数据流管理系统实现的最初阶段。根据上节定义的空间连续查询语法, 在本文的空间数据流系统中, 用Yacc生成查询语言的语法分析树。
(2) 语义分析:对词法分析树进行语义分析, 将词法分析树转换为系统能够识别的内部表示。这一步生成的语义表示仍然不是一个操作符树。这个过程的设计主要是将空间数据类型和空间谓词转换为系统能够识别的形式, 具体的实现类似于算术表达式的语义转换。
(3) 生成逻辑计划:将查询的内部表示转换为逻辑查询计划。逻辑查询计划由逻辑操作符组成。逻辑操作符大多是关系代数操作符 (比如选择、投影、连接等) , 当然也有一些连续查询特有的操作符 (比如滑动窗口操作符) 。逻辑操作符不需要和查询执行中的操作符有关, 它仅仅是一种关系代数的抽象表示。
(4) 生成物理计划:将逻辑查询计划转换为物理查询计划。物理查询计划中的操作符是直接和在查询执行期间执行的操作符相关的。之所以要生成一个单独的逻辑查询计划, 是因为逻辑查询计划更加容易生成, 而物理查询计划涉及到底层细节。
(5) 查询执行:组织存储空间的分配, 物理操作符的执行等。
5 实验
5.1 LBS运动模型
构造如图1所示的导航应用, 移动汽车每30秒向导航中心报告当前位置信息和行驶速度并且进行空间滑动窗口的聚集查询, 这里我们主要涉及count和avg聚集查询, 分别计算滑动窗口内汽车数量和平均速度。移动汽车根据查询结果了解前方路况, 以起到交通导航的作用。
5.2 输入设计
(1) Mov Car
Mov Car的结构如表1所示。
(2) Spa Sli Window
空间滑动窗口 (Spa Sli Window) 数据流, 该数据流包含空间滑动窗口标志信息和空间滑动窗口位置信息如表2所示。
5.3 空间滑动窗口查询设计
上一节中构造了两个输入数据流, 分别模拟移动汽车信息数据流和空间滑动窗口数据流, 下面编写空间滑动窗口查询的脚本语言, 该查询脚本基于前面分析的简单的交通导航应用以CQL (持续查询语言) 编写, 脚本文件如图2所示。
5.4 结果输出
注册了输入数据流, 并且定义了空间滑动窗口查询之后, 经过我们设计的空间流数据库模型的处理得出图3和图4所示的结果。图3所示导航查询结果, 可以看出, 在61时刻的滑动窗口3内有6辆移动汽车, 汽车平均速度为34.1667km/h, 小于40km/h, 满足查询条件, 由此汽车A得知此刻前方路段交通状况差, 可以采取积极的应对措施, 绕过此拥挤的路段。图4所示每个查询时刻对应空间滑动窗口内的汽车信息, 可以看出, 1时刻的空间滑动窗口内有移动汽车A、B、C、D、E, 31时刻的空间滑动窗口内有移动汽车A、B、C、D, 61时刻的空间滑动窗口内有移动汽车A、B、C、D、E、F, 91时刻的空间滑动窗口内有移动汽车A、B、C, 121时刻的空间滑动窗口内有移动汽车A、C。
6 小结
本文结合交通导航应用对数据流系统进行空间扩展, 扩展了空间点和空间滑动窗口, 及基于空间滑动窗口的查询操作, 并依据数据库的设计步骤, 实现了空间数据流系统。以导航应用为例, 构造了一个基于空间滑动窗口的运动模型, 通过试验分析, 输出的结果均符合我们设计的运动模型。
摘要：数据流系统以连续查询为特点, 连续查询的处理机制能够保证数据处理做到实时处理。但是现有的通用的数据流系统没有对空间数据处理的支持, 而基于位置服务显然是一种需要空间数据处理的应用。本文从支持位置服务的后台数据处理出发, 提出用基于数据流系统的流数据库来支持基于位置服务的数据处理的思想, 并结合当今数据流系统的发展和基于位置的服务的需求, 对数据流系统进行空间扩展, 提出一种空间数据流系统的模型。
关键词：数据流,空间连续查询,LBS
参考文献
[1]Sirish C, Owen C, Amol D, Michael JF, Joseph MH, Wei H, Sailesh K, Samuel RM, Fred R, Mehul AS.TelegraphCQ:Continuous dataflow processing[R].In:Alon YH, ed.Proc.of the2003ACM SIGMOD Int’l Conf.on Management of Data.New York:ACM Press, 2003.668—668.
[2]Daniel JA, Don C, Ugur C, Mitch C, Christian C, Sangdon L, Michael S, Nestime T, Stan Z.Aurora:A new model and architecture for data stream management[J].The Int’l Journal on Very Large Data Bases, 2003, 12 (2) :120—139.
[3]A.Arasu, B.Babcock, S.Babu, M.Datar, K.Ito, I.Nishizawa, J.Rosenstein, and J.Widom.STREAM:The stanford stream data manager[J].IEEE Data Engineering Bulletin, 2003, 26 (1) :19—26.
[4]Shivanath B, Jennifer W.Continuous queries over data streams[J].SIGMOD Record, 2001, 30 (3) :109—120.
[5]姜芳艽.DBMS与DSMS的比较研究.微计算机信息, 2007.2, 3:33-36.
[6]金澈清, 钱卫宁, 周傲英.流数据分析与管理综述.软件学报, 2004, 15 (8) :1172-1181.
数据发布系统 篇2
介绍了ArcIMS的体系结构、特点及技术优势.构建了基于ArcIMS的地震目录等信息的.发布系统,提出了系统设计的思想、功能、特点及实现的方法,并通过实例操作演示了基于WebGIS的地震目录数据发布系统.
作 者：侯建民 刘瑞丰 赵京轶 任枭 陈宏峰 徐志国 刘电清 Hou Jianmin Liu Ruifeng Zhao Jingyi Ren Xiao Chen Hongfeng Xu Zhiguo Liu Dianqing 作者单位：侯建民,刘瑞丰,任枭,陈宏峰,徐志国,Hou Jianmin,Liu Ruifeng,Ren Xiao,Chen Hongfeng,Xu Zhiguo(中国北京,100045,中国地震台网中心)
赵京轶,Zhao Jingyi(中国北京,100085,中国地震局地壳应力研究所)
刘电清,Liu Dianqing(中国山东,266071,青岛边防检查站)
信息发布系统建设指南 篇3
【关键词】公共就业服务机构；多媒体信息发布系统；指南
【中图分类号】TP319 【文献标识码】A 【文章编号】1672－5158(2012)09－0434－02
公共就业服务机构是为单位和劳动者提供就业服务的窗口，为更好为他们提供最佳的交流平台，提高服务质量，增强服务手段，拓展服务功能，提升公共就业服务能力水平的要求，在公共就业服务机构服务场所配套建设多媒体信息发布系统，建立完善、全方位的服务功能已成为公共就业服务机构的迫切需要，使得信息的发布不再是单一文字形式。实现个性化、人性化、智能化的管理与宣传，对提升机构形象，提高服务水准等都会有很大的帮助，通过多媒体信息发布系统为求职人员提供最新的招聘求职信息、播放用人单位宣传资料、政策信息、职业培训信息、办事指南、创业项目展示等多媒体信息服务，充分改善及拓展劳动就业信息的发布渠道，有利于加快政府民心工程的建设。
一、系统建设目标
公共就业服务机构多媒体信息发布系统的建设目标是通过多媒体信息发布系统，向各个信息发布点的显示屏(LCD、LED、PDP等)或者触摸屏，统一发布各种招聘求职信息、政策法规、办事指南等组合多媒体信息(如视频、声音、文字等)，使受众人群在第一时间接收到最新鲜的咨询，完全替代传统的信息发布方式(用纸打印或者手写招聘信息的方式)，对于公共就业服务机构的招聘行为，使招聘企业最新的信息第一时间传导到各个对应的招聘柜台，同时还可以用视频的方式来展示企业，可以让应聘人员能够对企业有详细的了解。
二、系统设计原则及要求
1、系统在整体设计上应采用“理念先进、投资合理、性能稳定、功能强大、增值见效高”为主导设计原则，采用目前业界领先并已规模应用的知名厂牌的设备进行选型配置，以充分体现出本项目建设的可靠性、先进性、完善性及合理性。
2、多媒体信息发布系统软件对于不同种类的终端系统(LCD屏一体机，LED大屏，LED条屏，触摸屏)采用一套统一的多媒体信息发布软件进行发布及控制，使用方便，无需多个软件进行反复切换。
3、发布屏采用LCD屏一体机方式(市场上有采用LCD屏＋外置网络播放终端方式及一体机的方式)，安装和控制(开关及显示)方便，使用便捷，在使用上节约能源。
三、系统组成
多媒体信息发布系统的建设包括：
软件部分：多媒体信息发布系统软件、数据通讯接口定制设计、排队叫号系统软件定制、满意度测评系统软件。
硬件部分：系统相关硬件设备。
网络部分：IP传输网络部分。
供电部分：系统供电网络部分。
四、系统整体建设内容
1、招聘摊位信息发布
用于展示每一个招聘单位的详细招聘信息，并可同步进行相关企业介绍宣传，展示形式多样灵活。为满足此系统运维方便、安装简单、高可靠性的建设原则，设计采用32寸或42寸液晶电视播放一体机悬挂在每个招聘摊位上方，显示该单位招聘信息，企业介绍等，并在下方设置横向滚动公告条，便于公布简短公告信息。使劳动者对企业文化，该单位的招聘信息一目了然。
2、公共通道信息导引屏
在场所的明显位置悬挂42寸LCD发布屏播放一体机，可以播放办事流程、政策法规、求职技巧、求职小故事、励志故事、优秀企业形象展示、推荐优秀工作者展示等。并且对于大型招聘活动，可以起到引导作用、避免人流拥挤起到至关重要的作用，也可以滚动播放一些应急招聘单位的招聘岗位等。
3、LED大屏信息发布
为了给劳动者提供更多的岗位信息，公共就业服务机构都规划了大屏信息发布区，大屏发布区在硬件上及软件上应与多媒体信息发布系统有效的结合，实时更新岗位信息，并可以实现视频直播，借助多媒体发布系统，可以进行分类播放、支持公告信息和招聘岗位信息同时播放，大屏左侧可以发布：近期热门岗位、现场招聘信息、培训信息、招聘会信息。右侧屏全市岗位信息滚动发布
4、企业形象展示
企业形象展示屏由立式52或55寸LCD发布屏一体机构成，在公共就业服务机构设置适当数量的企业形象展示屏，播放企业视频，也可以灵活的发布企业的招聘信息，丰富对会员企业的服务功能。
5、团体指导室会议系统
在两个大的团体职业指导室中配置独立的投影机、屏幕及音响系统，便于开展群体性的职业指导，并配置一个多媒体信息发布终端，可以在此团体职业指导室中开展视频培训，并可以通过视频直播系统，配合多媒体信息发布系统，可以实时的将指导视频资料，发到大屏上，供广大办事人员观看。
6、个人职业指导室系统
作为公共就业服务机构的职业指导功能，需在个人职业指导室中配置分体式42寸发布屏，开展个人职业指导，可以通过切换视频切换器(VGA)接口，将职业指导工作人员的计算机画面和多媒体信息发布系统的公共信息共同发布在此屏上，供接受指导的人员查阅。
7、自助计算机登记
公共就业服务机构本着服务.质量.方便的宗旨，为了方便企业及劳动者快速登记个人信息，迅速找到适合自己的岗位，需在服務大厅里放置不少于3个自助计算机登记摊位，供劳动者和招聘单位录入自己的个人信息和单位信息。
8、排队叫号系统
在服务大厅设置两台排队取号机，并且联网，并在相应功能区设置LED条屏，在任何一台排队取号机取号后，都可以为不同区域服务，以此达到资源共享和服务对象广泛的目的。叫号时服务窗口LED屏自动切换显示叫号信息，当不叫号的时候，可以显示发布系统发布的信息，所有的LED屏可以显示相同或者不同的信息，大厅里的音响系统同时叫号语音播报。
9、满意度测评系统
为了更好的提高服务人员的服务水准，需要在各服务窗口配置满意度测评系统，系统完全是由顾客自主对工作人员的服务态度、服务效率、是否在岗等多方面进行评价和投诉，系统自动统计分析，同时可通过系统随时了解顾客对每位工作人员服务质量的满意程度，从而有效地监督和提升工作人员的服务质量。
10、触摸查询系统
为了给客户提供最新资讯、岗位动态，个人信息，单位信息等的时时查询功能，服务大厅要求配置触摸屏查询系统硬件，配合统一的触摸屏系统软件，可以查询到就业相关的招聘信息，政策法规、最新动态、焦点关注等信息
11、背景音响系统
音响系统覆盖整个人力资源市场大厅，同时与叫号系统相联，主控系统放置于总服务台，播音平台设置在三个服务台上，可以进行人工广播，平时，整个市场播放舒缓的背景音乐，叫号时，暂时中断播放音乐，播放叫号信息，整个大厅均可以听到。
12、视频直播系统
配置采购的摄像机可以将团体指导室里录制的视频实时的通过多媒体发布系统发布在大厅LED大屏上进行播放，依据此系统可以开展大范围的培训，会议展示等工作。
13、多媒体信息发布系统控制软件总体要求
(1)基本要求：多媒体信息发布系统软件是独立开发的产品，不得侵害第三方权益，系统软件具备用户管理、播出素材管理、模板管理、发布管理、远程监控管理、紧急插播、字幕信息管理、电视直播管理等功能，能充分满足招聘现场、日常招聘信息发布、快速播放的应用。
多媒体信息发布系统控制软件要求采用B／S架构，基于Java体系架构开发，服务器端采用LINUX操作系统部署，数据库采用MYSQL，管理和发布更方便，多媒体信息发布系统控制软件要支持各种主流视频、音频、文本等媒体格式。
数据发布系统 篇4
关键词：Web Navigator,生产数据发布系统,管控一体化
0 引言
现在大型工业企业管理中,往往会建设若干个相对独立,具备各自系统特色的PLC控制系统,并设置专人值班监控,定时记录系统关键点的参数值,上报到总调度室,由此形成类似传统信息孤岛的生产现场数据孤岛。
本文以河北某大型钢铁企业中下属的焦化厂为背景,阐述通过Win CC Web Navigator将生产现场的多个PLC站点实时数据汇总,安全、实时地呈现在调度和管理人员面前,为企业的管控一体化提供了一个基础平台。
1 系统拓扑设计
该焦化厂于2007年开工建设,采用了先进的PLC控制系统对生产过程进行实时监控和管理。该厂生产现场网络采用西门子工业交换机组成光纤环网连结各个PLC功能站点,在系统上线以前,现场网络为一个独立的局域网,和办公网络在物理上隔离。一个车间可能具备既铺设了现场网,也铺设了办公网。
要实现在办公网中能够实时查看到现场网中的PLC运行数据,必然要打通连接两个网络。为了保证生产现场网络的安全,采用了清华比威的UF3504网关来进行安全隔离。
生产数据发布系统的实际网络拓扑结构如下:
2 生产数据发布
2.1 数据发布功能需求
系统采用西门子Win CC软件套件中的Web Navigator作为发布工具,将Win CC监控画面发布成可通过IE在线浏览的页面。
根据客户的实际要求,确定生产数据发布系统的主要功能为:实时采集PLC关键数据点并储存到数据库,通过Win CC设计数据发布画面及趋势图,并通过Win CC的WEB发布控件进行发布,供调度和领导决策参考。
生产数据发布主要涉及:8个PLC工作站、1500个左右变量、45个监控画面、41个趋势图。
2.2 发布画面设计
作为发布的画面,其最主要的特点是:能够实时显示现场PLC控制变量的状态或数值,屏蔽了所有对现场设备的控制、设定、修改等操作。管理人员只能查看生产现场状态,而不能做任何变更,这样在系统中可以保证现场PLC设备的安全及责任区分。
画面设计的主要过程如下:
1)在服务器建立发布用的PLC站点程序;
2)复制现场工作站已完成的PLC站点程序;
3)在服务器站点程序建立到各P L C的连接(参照各个站点程序);
4)将各站点程序变量复制到服务器,为减少授权数量,需删除不需要的变量;
5)摘选各站点程序的画面及趋势图复制到服务器站点程序目录下,并规范命名;
6)修改摘选画面:删除不必要的画面元素;对画面进行重新布局,统一画面宽度;去掉画面的所有操控动作,防止管理人员操作到生产现场设备。
7)做导航画面,根据多站点发布的特点,设计了三级画面的结构:系统首页,显示全部八个站点链接;站点页面,显示站点的主要画面及趋势图链接;实际画面,包括监视画面及趋势图;每个下级页面设置返回上级页面的链接按钮。
系统三级画面图示如图2所示。
2.3 用户权限设置
Win CC程序具备完善的权限管理体系,设置权限方式如下:
1)管理人员权限:可查看所有站点的实时监视画面和趋势图;为系统管理员及公司高层、总调度人员
2)一般人员权限:为车间管理人员使用,可查看自己管理的车间站点画面。
2.4 数据页面发布
通过Web Navigator的发布向导,将全部或者指定的画面发布到服务器的WEB站点,使用人员打开IE浏览器(仅支持IE内核的浏览器),在地址栏输入服务器IP回车,输入提示的用户名和密码,即可实时查看生产现场数据了。
3 结束语
通过短期开发,整合了8个站点的45个实时监控画面、88个关键变量的趋势图。经过用户的实际使用,符合用户的操作习惯及实际需要,该系统得到了焦化厂用户的认可。
参考文献
数据发布系统 篇5
空间数据线要素综合数据整体处理系统设计
总结线要素综合数据整体处理的`处理流程与方法,设计各种数据结构、数据处理模块的数据接口,给出线要素综合数据整体处理系统的总体设计,并且实现原型系统.
作 者：雷伟刚 童小华 刘大杰 LEI Wei-gang TONG Xiao-hua LIU Da-jie 作者单位：雷伟刚,LEI Wei-gang(广东省电力设计研究院,勘测部,广东,广州,510600)童小华,刘大杰,TONG Xiao-hua,LIU Da-jie(同济大学,测量与国土信息工程系,上海,200092)
刊 名：测绘通报 ISTIC PKU英文刊名：BULLETIN OF SURVEYING AND MAPPING 年，卷(期)：2006 “”(7) 分类号：P2 关键词：线要素综合 数据处理 条件方程 原型系统数据发布系统 篇6
关键词 实时数据库 数据采集 系统设计 实现
中图分类号：TP392 文献标识码：A
这些年，企业进行信息化建设是我国一些大型企业所面临的重大问题。自从新世纪以来，烟草企业也逐渐开始信息化建设。随着MES 系统逐渐被人们认可，在接下来的几年之内，卷烟企业进行战略性调整和信息化建设是关键的工作，这直接决定了中国烟草工业的命运。
1 数据中心框架结构和设计
1.1系统设计的目标
设计出来的实时数据采集系统达到的效果如下：能够建设符合各个领域里面的决策系统；集中了很多小规模范围里面的应用；能够有效分担其它的事物处理系统的负担，提高决策和事物处理的效率。这个系统建设是以公司的业务流程建立的一个管理机制，是可以提供准确相同的分析数据。整个系统采用的是大量数据集中在一起的方式，这样就可以实现数据的自动获取和积累，还有就是业务数据和信息在整个行业里面实现共享。这个系统还能够提供一个相当强大的数据处理平台，能够满足不同种类业务的分析。整个系统的建立还能够提高工作的效率和准确性。这个系统能够满足现代的企业管理模式，这样就可以使得业务流程化和规范化。这样就可以通过智能的商业技术对集团的信息进行分析预测，还可以实现业务的自动化，为企业领导分析决策提供一个准确的依据。
1.2系统的性能指标
在进行实时数据库系统设计的时候需要保证的系统性能如下：（1）可靠性和及时性，设计出来的系统必须能够二十四小时进行工作。这样就可以保证系统在任何情况之下都可以进行资源的分配，这样就可以保证各个板块的功能能够正常进行。（2）系统的整体性和效率性，设计的系统需要是一个高效的一体化管理系统，系统需要能够容纳大量的数据，而且数据的更新还需要在短时间之内完成。整个系统需要在短时间之内完成对数据的处理，而且还需要高效率高质量完成。（3）系统需要先进和实时，整个系统可以运用充分的资源，然后根据客户的要求，把高的工作效率和好的经济效益当作是主要要求，在这个基础上，为客户提供一系列业务服务平台。（4）系统的安全性和实时性，系统采集的数据安全是十分重要的，在系统的设计过程当中，设计人员需要采取严格的技术来对技术进行保密。设计人员需要通过保密技术来保证用户身份的真实性，数据的完整性。在网络连接良好的情况之下，对每一个IP地址请求的操作处理时间需要控制在一分钟时间之内。（5）整个系统需要支持集群技术，设计人员可以通过多个服务器来完成一个集群，当服务器上面的用户达到最大的时候，其它的服务器会开始工作。（6）整个系统需要有一个完好的信息输出端口，整个系统的目标是为了对数据进行分析，而分析的目的是为了借鉴使用。为了能够进行应用，就需要把分析得到的结果数据转化成不同的输出文本，有的人需要把它变成演讲文稿，有的人就需要获得一个Excel数据。一般的开发格式有Excel， PPT， HTML等。
2 系统的结构
烟草企业对过程的监控和数据出来了是通过紫金桥实时数据库来完成的，它把现场的各种数据集中在一起，这些数据包括了生产上面的数据、设备的数据和质量数据等，在此同时整个数据库还包括一个完整的数据查询和分析功能，这可以为企业的生产和决策提供一个可靠的依据。还有生产过程出现状况的时候，系统还能够随时发出警报，这样就能够很方便采取处理解决的措施。整个系统还需要提供各种接口，比如说S Q L 接口、AP I接口等，通过这些接口就可以把各种组件连接到一起，这样就可以实现数据库能够正常工作。
3 实时数据库的功能
实时数据库的作用是对烟草企业的生产过程实施监控管理，但是它在这个系统的作用不只是储存数据，它还需要处理现场采集获得的数据，对获得的数据进行加工分析，一旦出现异常情况发出警报。它需要实现的功能如下：（1）事故的追忆功能。这就需要系统对和事件有关的状态进行记录，这样在事件产生之后就能够进行原因分析了。事件的数量、时间范围等都是可以自由设定的。（2）数据的压缩备份功能，中心的服务器刷新的时间是1 s ，在这样的情况之下，数据库不进行压缩的话是无法容纳这么多数据的。这就要求数据库进行压缩运算，这就可以解决数据量大的问题。（3）物料平衡，系统需要对实际的投料数据、收率数据等进行计算，然后对不同的时间数据进行统计分析。实时数据库当中的数据也是可以来自现场的，也可以通过人工输入的方式。（4）趋势分析，趋势功能主要包括了用户可以选择查看一些含有PID 数值的趋势图，也可以把趋势图打印出来，或者是把图片保存成图片的格式。用户还可以输入开始和结束的时间来查看数据的走向。趋势图如图1 所示。（5）系统还需要有班组考核功能，主要通过对重要工艺数据的追踪，发现生产过程当中的问题，然后提出改进意见。（6）系统还需要有统计分析功能，这样就可以全程监控产品质量。（7）系统还需要有报表系统，这样就可以制作各种各样的报表。
4 总结
考虑到我国烟草企业的规模大，所以系统的点数要多，这样就要有好的数据采集和储存，还需要制定大量的趋势图和报表。实施数据库需要有良好的性能和繁多的数据接口，这样不仅能够满足项目要求，还能够对烟草企业做出评价，推动烟草企业的信息化发展。
参考文献
[1] 张俊良，薛振兴.烟草企业数据中心系统的设计与实现[J].安徽：电脑知识与技术，2009（5） ： 2316.
[2] 付文，范广辉.实时数据库实现烟草行业过程管理实时监控系统[J].江苏：工业控制计算机，2009（3） ： 17-18.
[3] 徐毅博.烟草一号工程工业数据采集系统设计与实现[J].北京：硅谷，2012（7） ： 170-172.
数据发布系统 篇7
关键词：科学基金,数据发布系统,前景
一、科学基金概念简述
国家自然科学基金资助项目简称“科学基金”, 于2006年5月16日正式开通了网上平台数据发布系统, 用于增加国家自然科学基金资助工作的透明度, 促进基础研究学术信息资源的共享和利用, 全面反映科学基金资助绩效, 加强监督和道德学风建设, 其服务网站简称“科学基金共享服务网”。科学基金共享服务网在开通初期, 公布了一系列已结题的项目基本信息和经过研究所取得的学术结果, 其中包括:公开发表的论文、公开出版的著作、会议论文及奖励情况等, 数据发布系统在2012年进行了更新和完善, 公布了2008-2011年已结题的项目基本信息和成果, 并从2013年开始, 逐步实现年度结题项目成果信息的发布。
目前, 科学基金共享服务网提供期刊论文、会议论文、著作、奖励和资助项目五个方面的信息, 并设置了三种浏览方式, 分别是:按申请领域、按项目类型、按成果类型, 其内容主要为:
1申请领域:包含了国家自然科学基金委员会8个科学部。
2项目类型:主要包括青年项目、地区项目、重点项目、重大项目、国家杰出青年基金、创新研究群体项目、港澳青年学者合作研究基金项目等。
3成果类型:包括期刊论文、会议论文、专著, 奖励等。
科学基金共享服务网的检索方式有两种, 包括:结题项目检索和成果检索。结题项目检索包括:资助项目批准号、项目名称、项目类别、申请领域、申请代码、项目负责人、项目负责人专业技术职务、依托单位、资助年限等。成果检索要素按成果类型可分为四类, 分别是期刊论文、会议论文、专著、奖励。其中, 期刊论文包括:作者、篇名、刊物、发表日期、单位名称等;会议论文包括:作者、篇名、会议名称、会议日期、会议地点、单位名称等;专著包括:作者、书名、出版机构、出版日期、统一书号、单位名称等;奖励包括:奖励编号、奖励名称、完成人、完成单位、奖励种类、授奖等级、授奖时间、授奖单位等。
二、网上平台数据发布系统
数据发布系统由服务器、网络、播放器、显示设备等组成, 系统将将服务器的数据通过网络, 例如:广域网、局域网、专用网、无线网络等发送给接收器, 再由接收器组合数据中的音频、视频、图片、文字等信息, 输送到网络等平台进行音频、视频、文档等文件的共享, 这样就形成了通过网络将所有服务器数据进行连接的通道。
数据发布系统是依据目前普遍应用的有线或无线网络, 采用先进的数字编解码和传输技术, 以LCD、LED、电脑等作为平台, 通过数据管理系统, 实现文件、视频、图片、Flash、PPT等的传输, 是融合了现代先进科学技术的“系统集中管理, 网络及时发布”的便捷产品。
建立一个数据发布系统需要具备服务中心PC机、服务器软件、播放软件、显示终端、文字处理器等5大部分, 其中, 接收软件与显示终端用VGA连接, 将服务中心PC机与接收软件利用网络进行组合, 即可完成数据发布系统的搭建, 发布者只需在服务中心PC机进行登陆, 就可将制作完成的视频、图片、文字、滚动字幕、flash、PPT等各类格式的文件进行发布, 达到资源共享的目的。
随着我国网民的数量不断增加, 网络作为数据共享的重要手段之一, 已经与电视机共同承担起发布数据的重任, 因此建立网上数据发布系统在当今社会具有重要的意义。
如何进行数据处理以提高其效率成为研究的重中之重。数据处理系统主要是将数据经过各种方式的解调, 以帧为单位, 以数据包的形式通过计算机总线进入计算机数据缓存区, 然后对存入数据缓存区中的数据进行处理, 并对处理后的数据根据其种类进行发布。在发布前, 研究人员结合数据处理的特点, 提出不同的数据处理模式, 例如:Time/Server模式, 该模式具有较高的数据及时处理能力, 且这些数据可以被数据发布系统高效的利用。该类模式的核心技术之一是实时分发, 即对需要处理的数据进行帧拆分, 将处理的数据及时传输给各系统, 是实时数据的传输技术。实时网络系统保证了数据传输和交换工作的及时性, 例如:Vx Work、μC/OS-II等。数据发布系统较好的提高了数据处理的可复用性、可管理性、可扩展性和可移植性, 数据发布系统中的数据交换中心主要基于XML进行交换, 并建立具特殊的XML语言, 用于在数据传输过程中对数据进行加密保护, 保证数据的安全性。根据以往研究和经验积累, 为方便系统在后期使用中进行调试和程序修改, 目前, 数据发布平台主要采用模块化的结构设计, 主要包括:人机交互模块、数据存储模块、数据输入输出模块、数据转换模块、控制系统模型解算模块等。
三、科学基金网上平台数据发布系统的重要性和前景
当今社会信息化产业飞速发展, 科学基金利用网络对项目和成果进行发布, 这中间会产生大量的数据, 这些数据的存储结构复杂, 且种类丰富, 例如:图片、视频、文档、表格、PPT等, 数据的管理和留存都需要大量精细处理, 因此, 为了解决数据处理过程中的问题, 提高系统的灵活性、准确性和可维护性, 在实际应用中, 研究人员不遗余力的研究数据处理的方法, 并不断的完善不同种类和功能的数据处理过程, 最终, 研究人员研发出网上平台数据处理系统, 致力于提高数据处理的水平, 其重要意义可见一斑。
结语
随着社会的发展, 网络作为信息数据传输的重要平台之一, 越来越被各行各业所接受, 科学基金利用网络进行数据和信息发布, 用于增加国家自然科学基金资助工作的透明度, 促进基础研究学术信息资源的共享和利用, 全面反映科学基金资助绩效, 加强监督和道德学风建设, 本文重点对科学基金网上平台数据发布系统进行研究, 并对其重要性和前景进行了阐述, 为科学事业发展服务。
参考文献
[1]李立冬.基于实时无线传感网络的高速公路山体及桥隧安全监测系统研究[D].吉林大学, 2010.
[2]丁辰.地质灾害监测预警示范系统之滑坡远程监测子系统的研究[D].清华大学, 2004.
生产指挥系统实时数据采集系统 篇8
天然气分公司实时数据采集系统通过覆盖全公司范围的网络, 提取生产装置的运行数据、安全数据、电数据、水数据、仪表风、原料数据、质量数据等原始信息, 建立一个包含全公司范围内的生产管理信息的采集平台, 对生产过程进行实时监控和有效指挥。采集软件采用紫金桥®Realinfo监控组态软件进行开发, 目前共设置数采前置机43台, 人工录入及32台, 囊括分公司九个油气生产单位、两个储运单位、一个销售中心的43个油气生产站队24套装置, 57套控制系统和26个计量系统, 实现了8922个生产数据自动采集、组态, 969幅流程图和25幅装置区三维鸟瞰图的传输与发布。
数据采集系统逻辑结构图如图1所示。
二、生产指挥系统实时数据采集系统的组建
2.1天然气分公司计算机网络建设。通过对局域网和广域网的改造, 分公司机关及所属大队局域网全部利用光纤接入油田公司主干网。大队下属所有小队包括偏远站队、计量间和变电所接入全部利用光纤接入本大队局域网或油田公司主干网。
2.2架设系统硬件设备
架设中心服务器。在信息中心机房架设故障转移集群服务器。计算机通过网线物理连接并通过集群软件实现程序上的连接, 可以使计算机实现单机无法实现的容错和负载均衡。群集的优点是两台服务器工作时都将历史记录、事件记录、报警记录存储到相同的地方, 两台机器不需要频繁同步。集群服务器双机热备过程如图2所示。
在每个装置设立前置机, 负责采集生产装置中控制系统的数据, 将数据传送给中心服务器。同时设置人工录入机, 负责录入不能自动采集的数据, 并将录入数据传送到前置机。
在前置机的设立中采用了断点续传技术。
断点续传技术用于数据库之间以级联方式进行通讯时, 当前置机与服务器间通讯中断, 前置机每隔一定周期, 向服务器发出传输数据指令, 超过超时时间后仍不应答, 将自动保存数据, 在规定时间内如果通讯故障排除, 那么这段时间内的历史会自动从子数据库中恢复到主数据库上。
2.3实施数据采集。通过在数采前置机和工控机间做数据采集的接口, 以工控机做服务器, 以数采前置机做客户端, 把工控机中数据写入实时数据库。生产装置中前置机和工控机的接口主要有以下几种:OPC (FOXBORO、ME) 、DDE (813、BENTLY、燃机) 、DB PLC (PLC) 、力控, 其中数量最多的是OPC和DDE两种技术。
2.3.1OPC接口技术。OPC (OLE for Process Control——用于过程控制的OLE) 定义了应用Microsoft操作系统在基于PC的客户机之间交换自动化实时数据的方法。OPC技术基于COM/DCOM, COM透过一组一组的接口提供服务, 所有COM组件的使用者必须透过这些接口来访问组件提供的功能。
OPC客户和OPC服务器进行数据交互可以采取同步方式或异步方式。
同步方式每一次读数据时读取该组中的所有项, 得到返回的数据后在采集周期内再次发出读取申请, 得不到数据就不结束此进程;异步通讯方式中, 客户端把关心的数据点通知Server, 并且提供一个回调函数, 只有关心的数据发生变化时, OPC服务器才调用其回调函数, 通知客户端做相应的处理。
在前期实时数据采集中, 大部分通讯方式采用异步方式, 在后期的测试中发现几个站队数据采集不上的现象。分析原因后发现, 工控机的OPC Server版本比较低, 同时, 数采通讯的优先级别要远远低于工控机本身数据处理的优先级, 在有大量的系统运算时, 就会出现服务缓慢或中断的现象。南一、一大队杏V-I原稳、杏三浅冷、六大队深冷都出现了这种现象, 如果改成同步通讯方式, 不断地发出读取申请, 又会增加工控机和数采机的负荷, 针对此问题, 研发了单组同步通讯方式, 它是同步通讯方式中的一个特例, 这种方式把原数据组中数据项重新分成若干组, 采取少量多次的方式采集, 以牺牲部分采集效率为前提, 既保证数据采集不中断, 又极大的减小了工控机和前置机的负荷。
2.3.2 D D E接口技术。D D E是一种动态数据交换机制 (Dynamic Data Exchange, DDE) 。使用DDE通讯需要两个Windows应用程序, 其中一个作为服务器处理信息, 另外一个作为客户机从服务器获得信息。客户机应用程序向当前所激活的服务器应用程序发送一条消息请求信息, 服务器应用程序根据该信息作出应答, 使用共享的内存在应用程序之间进行数据交换。
数采前置机将通过以上几种接口方式从工控机 (Server端) 采集到数据写入实时数据库, 形成基础数据, 创建生产信息数据仓库, 再通过数据整合, 形成可供各层面人需要的生产信息。
2.4web发布。采集的各种数据被分门别类的存储到数据库中, 通过将各个装置的流程、重要装置、关键参数控制点、重要数据进行合理布局, 做成高仿真的工艺流程图, 并将流程图中的数据与实时数据库中的数据源相关联, 每隔固定周期刷新一次, 使得生产人员可以在网络中的多个终端实时监测生产过程。
目前, 我们公司范围内的任何单位的终端, 为了防止公司的生产数据泄密, 我们给不同单位加了一定的访问权限。
三、存在问题及运行效果
目前, 生产指挥系统的实时数据采集系统还存在一定问题:
工控机对外通讯服务版本低。在前置机和工控机的通讯服务方式中, DDE是微软早期开发支持的一种通讯技术, 由于现在微软转而支持OPC接口技术, 而使DDE处于一个停滞不前的发展状态, 导致目前DDE通讯速度要明显低于OPC。D D E的服务机制也比较脆弱, 在生产指挥系统中8 1 3、BENTLY等系统都使用DDE服务, 导致在这部分的数据采集中更容易出现问题;在实施力控系统数据采集的时候, 由于技术人员很了解力控软件的开发过程, 将力控的系统服务进行了升级改动, 使对外通讯能力达到数采的基本要求, 才保障通讯的正常进行, 所以, 技术相对落后的力控系统对数据采集以及以后的采集能力的升级也是一种制约;目前OPC技术比较成熟, 但我们装置中工控机的控制系统大都是90年代左右的产品, OPC Sever的技术也已经大大落后, 我们不得不采用一些小的技术措施, 在不影响工控机本身的数据处理速度的前提下, 降低它系统资源的需求量, 以满足数采需求。
鉴于以上几种情况, 建议将生产装置中的控制系统进行升级或改造, 保证系统对大量系统运算处理更迅速, 对异常事件反应更及时。
人工录入部分数据量大。系统中有人工录入机32台, 人工数据录入点1202个, 要求每小时录入的数据是854个, 每八小时和二十四小时录入的是348个, 从一定程度上加重了岗位人员的劳动强度, 建议在检修改造中将这些点进行改造, 加装能够远传的二次表, 实现自动采集, 以减少劳动强度, 避免人工录入误差。
从总体上来说, 实时数据采集系统在生产中发挥的作用还是有目共睹的。
关系数据库管理系统数据字典研究 篇9
1 数据字典物理存储
1.1 数据字典的定义
数据字典的一个重要作用就是提供最终用户数据库所有的信息, 在物理存储上就采用跟其他用户表一样的实现, 提供统一的接口。而数据字典的主要作用还是提供给DBMS自身使用, 在实现上还跟整个数据库的结构功能相关。
1.2 数据字典的逻辑功能
具体来说, 关系数据库中的所有数据信息与关联都与数据字典有着十分紧密的联系。数据字典具有着对关系数据库中的所有对象进行定义的逻辑功能, 除此之外, 数据字典还可以对关系数据库中的序列值进行默认、对数据库中的各种信息进行约束、对数据库中的用户信息进行存储和统计、对数据库中的用户权限进行分辨, 并且还可以对数据库中的各种信息的定义以及它们之间的关联进行操作与辨别。
由于关系数据库之中的各个对象之间存在着较强的关联性, 当用户对某一对象进行删除操作时, 往往会由于该对象与其它对象之间的关联程度与类型不同而产生一定的影响。例如数据库用户在PRLMARY KEY上建立起一个unique index文件, 而这个unique index文件的主要功能就是帮助PRLMARY KEY实现其自身的功能任务。而由于PRLMARY KEY是依附在一个数据表中的, 当删除表或是表中的相关信息有所变动时, 依附于这个表存在的PRLMARY KEY中的unique index里的信息也会相应的被删除或有所变动。而数据字典负责的功能就是将关系数据库中发生的这些关联信息与操作完整的记录和保存下来。通常来说, 关系数据库中的所有这些关联对数据库的用户都是公开透明的, 而另一种情况就是数据库用户为了方便自己的操作或是其它因素, 在对数据库中的对象进行删除操作时需要加上由用户自己设定的关系语句才能实现删除操作, 当此删除操作实现时, 与该对象有着密切关联的其它信息也会一并被删除。
1.3 物理记录的存储格式
关系数据库中的数据字典与用户数据都是以表的形式被记录保存在关系数据库的物理文件中的, 并且关系数据库管理系统中有着多种物理存储格式, 每一种物理存储格式都有着各自不同的特点, 相互之间具有较大的差别, 而这都是由于关系数据库管理系统中并发模式类型的不同造成的。现阶段, 我国的数据库管理系统将加锁模型与多版本模型作为最为主要的两种并发模型。其中加锁式并发模型的特点是记录格式简单、无需版本信息就能实现, 如SQL Server并发模型。而多版本并发模型主要有Oracle数据块并发模型。该种并发模型不仅需要用到物理记录来对数据库中的版本信息进行记录, 而且还需要物理格式的帮助来实现对数据库系统的并发控制及相关的事务处理, 比较复杂。
2 数据字典内存表示
2.1 CACHE作用
关系数据库管理系统能够通过对数据字典中的信息数据进行读取来获得数据用户以及数据库中的对象与存储信息, 当数据库用户需要对某些数据进行查询和相关的操作时都需要利用其所发出的SQL语句来对数据字典中的信息进行查询, 查询频率非常高。现阶段, 我国的数据库管理系统主要由两部分组成, 即CACHE与RELCACHE。其中CACHE主要负责的是对数据库管理系统中的表进行存放。在该部分中, 一个系统表能够利用ID查询、NAME查询与主键查询中的任意一种方式进行查询, 除此之外, 用户也可以通过部分键对该系统表进行查询。当查询操作完成后, 关系数据库系统会根据数据字典的分析最终弹出用户需要寻找的表格。
而RELCACHE部分的每一项都是一个RELATION结构, 该结构对此结构中的所有数据信息与关联进行了记录与保存。并且此结构能够将关系数据库系统中的所有与需要查询事件相关联的描述信息进行联合构造, 以更好的满足数据库用户的需求, 提高关系数据库管理的质量与水平。
2.2 数据库的启动与CACHE的初始化
使关系数据库能够启动并发挥其应有的作用, 操作人员至少要做好以下三个步骤, 即将一个实例启动, 之后对数据库系统进行装配操作, 第三, 将数据库系统打开。使数据库的CACHE系统得以初始化的方式有两种:第一种, 在数据库系统建立时进行CACHE的初始化, 主要负责对数据库系统的内存进行分配;第二种, 数据库系统已经建立完成后在启动时进行初始化操作, 此时, 内存已经分配完毕, 用户只要正常进行启动操作就可以完成CACHE的初始化。
3 结束语
本文主要对关系数据库管理系统的数据字典程序进行了分析介绍与研究, 希望能够进一步推动我国关系数据库系统的管理质量, 促进关系数据库系统的进步。
参考文献
[1]程阳.关系数据库管理系统的一种简易的数据存储与查询模块的设计与实现[D].华中科技大学 (硕士学位论文) , 2012.
[2]冯玉才, 李东, 王元珍, 曹忠升.一种移动数据库管理系统的体系结构[J].计算机研究与发展, 2011, 38 (5) :620-625.
数据发布系统 篇10
随着社会科技的不断发展与进步,互联网得到了飞速发展,计算机技术也得到了广泛的应用,但另一方面信息的安全问题却日益突出,信息安全技术应运而生并得到了极大的发展。信息安全技术的核心是数据加密技术,它不仅能够加解密数据,而且还能够鉴别、认证数字签名等,从而使在网络上传输的数据的完整性、确认性及机密性得到了切实的保证。本文将DES算法和RSA算法的优点结合起来,将一个数据加密系统设计了出来,同时将Java安全软件包充分利用起来,实现了数字签名。
1 数据加密技术
1.1 私钥加密体制
私钥加密体制指在加密和解密时所使用的密钥是相同的,由两种类型,分别是分组密码和序列密码。分组密码对明文进行分组的依据是其固定的长度,用同一个密钥加密每一个分组,从而促进等长的密文分组的产生。序列密码又称流密码,因为它将明文数据一次加密一个字节或比特。和序列密码相比,分组密码使用于软件实现,并且具有较快的加密速度,因此在人们的日常工作和生活中得到了极为广泛的运用。
1.2 公钥加密体制
1976年,W.Diffie和Hellman最早提出了公钥体制,利用两个不同的密钥分开加密和解密的能力是该体制最大的特点。公开密钥在加密信息中得到了应用,而使人密钥则在解密信息中得到了应用。通信双方可以直接进行保密通信,而不需要事先交换密钥。同时,在计算机上也不能实现从公开的公钥或密文中将明文或密钥分析出来。
2 数据库“敏感”数据安全加密系统设计
2.1 数据库“敏感”数据安全加密系统的体系结构
该加密系统是在目前较为成熟的仿真网络体系结构HLA的基础上发展起来的,由两部分组成,分别是CA服务器端和客户端。在联邦成员中嵌入加密客户端,可以对各联邦成员之间的“敏感”数据进行加密,CA服务器则可以生成、分发及管理密钥。联邦成员和CA服务器之间及各个联邦成员之间进行通讯的途径是HLA-RTI接口。加密系统体系结构如图1所示。
2.2 数据库“敏感”数据安全加密系统的功能模块
CA服务器端与加密客户端组成了加密系统的功能模块。其中,CA服务器端的主要功能是认证客户端的身份、生成、存储并分发RSA密钥等。密钥是在用户口令字和大数分解理论的基础上生成的,每次有一对密钥(公钥和私钥)产生,用于对会话密钥进行加密和数字签名,也就是对称加密算法AES或DES、3DES算法的密钥;将生成的密钥对和申请者的用户名联系起来,促进一个关联目录的生成,以方便客户端查找即是密钥的存储;依据客户端的请求信息,在关联目录中将与之相匹配的信息查找出来,如果找到的话,就把密钥向请求的客户端发送即是密钥的分发。
加密客户端的主要功能是完成对文件的加密和解密、传输实时数据的加密和解密密文、管理和传输对称加密算法的密钥及和CA服务器交互等。其中,对称加密算法AES或DES、3DES及混沌序列加密算法的密钥均在密钥生成模块生成;密钥的加密传输模块主要是使会话密钥的安全得到切实的保障,也就是说,用公钥密码算法RSA的公钥对会话密钥进行加密,然后一起传输加密后的密钥和密文,在解密端,为了得到会话密钥,可以使用TSA的私钥来进行解密;实时数据的加密和解密模块的基础是混沌特性,在加密或解密实时数据时利用混沌序列密码算法。加密系统的功能模块划分如图2所示。
2.3 数据加密模块的设计与实现
混合加密体制是数据加密系统所使用的,它将对称密码算法具有的较快的贾母速度、较高的加密强度、较高效的加解密大量数据等能力进行了充分的运用;公钥密码算法具有较高的加密强度,密钥便于管理。为了弥补传统密码算法中不便于传递密钥的缺点,可以加密明文的密钥。将二者结合起来,可以实现数据传输的安全性。
2.3.1 3DES算法的设计与实现
目前,虽然DES具有较为广泛的应用范围,并且人们可以很方便地从公开渠道获取,但是因为DES只有56位的密钥长度,易于攻击,其加密强度已经远远不能满足现代安全的需要,因此可以将两个56位的密钥混合起来使用来完成加解密,这样密钥就达到了112位的长度,从而大大增强了加密强度,这就是3DES。3DES的算法原理如图3所示。
图3中密钥K1、K2是随机产生的。
三重DES算法的实现主要包括DES类和THREE类两个类。其中DES类的主要函数是public static byte[]encrypt(byte[]oword64,int[][]i Sub Keys)//加密;public static byte[]decrypt(byte[]b Cipher-text,int[][]Sub Keys)//解密。THREE类的主要函数是public static byte[]encrypt(byte[]oword,int[][]Sub Keys1,int[][]Sub Keys2)//解密;public static byte[]decrypt(byte[]sword,int[][]Sub Keys1,int[][]Sub Keys2)//加密,返回明文。
2.3.2 RSA算法的设计与实现
大数分解是RSA的安全性赖以存在的基础。公钥和私钥都是两个大素数的函数。RSA算法的实现主要包括三个部分,即生成密钥、加密数据和解密数据。在变量的定义方面,在对p、q、n、e、d、t进行定义时,利用Java中的大数Big Interger();在密钥的生成方面,利用publi boolean generate PQNTED(Stringe);在加密数据方面,利用public String Encrypt(String msg、Big Integer pbkey、Big Intiger n),在加密的过程中,在对所要加密的字节数组进行分组时,可以利用转换函数copy Bytes();在解密数据的过程中,利用之前产生的公钥n与私钥d。把所要解密的数据与公钥n与私钥d作为参数向加密函数public String Decrypt(String msg,Big Integer prikey Big Integer n)传递。
RSA只有在大数运算的基础上才能实现,只有这样才能执行大量的大数加减乘除和模逆、模幂运算。这就导致相对于其他特别是对称密钥算法来说,RSA的实现效率十分低下。本文设计的系统中生成的DES密钥用RSA替代的原因也就是这种速度上的差异。
本文设计的数据库“敏感”数据安全加密系统,将数据的加密技术和签名技术综合了起来,一方面解决了密钥的管理问题,另一方面也使数据的不可否认性及完整性得到了切实的保障,同时也将该系统网络通信的程序设计和界面设计方法提供了出来。本系统将集中主要的加密算法进行了具体的分类,使代码的高效性、可扩展性等得到了有效地增强,有利于以后的再次开发。
摘要：本文首先简要阐述了数据加密技术,然后从数据库“敏感”数据安全加密系统的体系结构、功能模块及数据加密模块的设计与实现三个方面,对数据库“敏感”数据安全加密系统设计进行了相关的研究。
关键词：数据库,敏感数据,安全加密系统,设计
参考文献
[1]胡向东,魏琴芳.应用密码学[M].北京:电子工业出版社.2006.
[2]贺雪晨,陈林玲,赵琰.信息对抗与网络安全[M].北京:清华大学出版社.2006.
[3]褚雄,王子敬,王勇.一种基于FPGA的DES加密算法实现[J].江南大学学报(自然科学版),2006,15(6):661—664.
[4]朱作付,徐超,葛红美.基于DES和RSA算法的数据加密传输系统设计[J].通信技术,2010,43(4).
[5]Compag,HewIett-Packard,InteI,Lucent,Microsoft,NEC,PhiIips.UniversaI Bus Specification(Revision2.0)[M].InteI,2000.
数据发布系统 篇11
关键词：数据备份；数据去重；数据碎片；去重技术
中图分类号：TP309.3 文献标识码：A 文章编号：1674-7712 （2012） 18-0043-01
一、数据去重技术
（一）全局去重和局部去重技术。可分为全局去重和局部去重技术。全局去重主要应用在有多个去重设备的环境里，它会对多个已去重的库、目标和站点进行数据的比对，然后对重复数据进行删除。它可以删除多节点间的冗余数据。使用全局去重后，如果数据从第一个节点传递到第二个节点，那么第一个节点存储过的数据，第二个节点将不再存储。
局部去重则不考虑多个节点间的冗余数据，它仅删除同一台机器、同一个客户端、或同一个存储节点上的冗余数据。
这两种去重方式，全局去重的压缩率要比局部去重的压缩率高，因为全局去重比局部去重所删除掉的重复数据要多；但是局部去重的开销要比全局去重的开销少，因为全局去重需要对多个存储节点上的数据进行查询，删除多个节点之间存在的重复数据，其带来的开销也会比局部去重大很多。也正是因为这一点，很多公司，实现的全局去重所关注的存储节点数也非常有限的。
（二）文件级和数据块级（字节级）去重技术。根据重复数据的鉴别粒度，数据去重可分为文件级的去重技术（单实例存储技术）和数据块级（字节級）去重技术。
文件级的重复数据去重技术使用哈希函数计算每个文件内容的哈希值，然后根据索引检查需要备份的文件属性，并与已经存储的文件进行比较，如果两个文件的哈希值相同，则删除相同内容的文件来减少数据存储量，节约存储空间，如果哈希值不同，就将其存储。
数据块级的重复数据去重技术是在子文件的级别上运行的，主要通过删除内容相同的数据块来减少数据量。正如它的名字，文件或数据流通常在这里会被分割为较小的数据块（每个供应商检查的数据块大小不一，一些供应商固定数据块的大小，一些则使用不同大小的块，数据块的平均大小一般在4KB～8KB左右），然后使用哈希函数求取每个数据块的哈希值，这些哈希值常被称为数据块指紋。数据块指紋是用来唯一标识一个数据块的，具有相同指紋的两个数据块即为重复数据块。
这两种去重技术，其中文件级的重复数据去重技术能达到的压缩率较低，因为它不能删除相似文件之间的重复数据。而数据块级的数据去重技术由于不仅能删除相同的文件，还能删除相似文件中的相同数据块因此有较高的压缩率，它是目前为止使用最广泛的数据去重技术。但是，由于数据块级去重技术的鉴别和删除粒度更细，因此它带来的开销也比文件级的更大。
（三）在线去重技术和离线去重技术。根据重复数据的删除时间划分，数据去重技术可分为在线去重和离线去重技术。
在线去重技术是指在数据到达存储设备之前就对重复数据进行查找和删除，存储设备上不存储重复的数据块。由于査找和删除重复数据这一过程发生在数据写的关键路径上，因而数据去重会对存储系统的存储性能产生一定的影响，严重的会影响存储系统的数据写性能。
离线去重需要额外的存储空间做缓冲，是属于后处理的去重模式，在运行时不影响上层应用程序的存储性能，但需要额外的存储空间做缓冲区。
目前，数据备份系统一般都使用在线去重技术，因为当前的数据备份系统都不是实时应用系统，对存储的性能要求也不高。如果是实时关键应用或对存储系统存储性能要求很高，离线去重技术更合适。
（四）源端去重和目标端去重技术。依据重复数据的删除地点，数据去重可以分为源端去重技术和目标端去重技术。
源端去重技术即在数据的发送端，一般指客户端，对数据进行查找并删除重复的数据。这种去重技术非常适合广域网宽带较低的网络环境下的备份系统，由于重复的数据不参与传输和运输，它可以减少传输的数据量，加快数据传输。但由于源端去重需要现在发送端进行查找和删除重复数据，所以会占用源端机器资源，进而影响源端机器的应用性能。
目标端去重即在数据的接收端、存储端，查找并删除重复的数据。由于目标端去重只需要在目标端，即服务器端对重复数据进行查找和删除，不需要源端进行任何去重处理。因此在数据传输带宽较高的情况下，目标端去重更占优势。
二、数据去重技术面临的挑战
（一）数据去重的可扩展性尚待提高。随着数据量的不断增长，数据备份系统仍需要应对超大数据量这一问题。因此如何在多个存储节点之间快速去重仍然是热点研究问题。如何充分利用现有的存储设备、建立多层次索引、减少去重开销，快速查找重复数据仍是数据去重技术面临的最大的问题。
（二）如何减少数据去重引起的数据碎片有待解决。数据去重需要删除多个文件之间的重复数据，首先由于现有大多数去重方法都倾向于利用数据冗余局部性来缓解数据去重过程中所遇到的磁盘瓶颈，提高数据去重吞吐率，但是随着数据碎片逐渐增多，备份数据流之间出现的数据冗余局部性会减弱，从而导致依赖数据冗余局部性来缓解数据去重中磁盘瓶颈的数据去重方法失去其有效性，严重影响数据去重的性能。
其次由于数据去重的处理，一个文件产生的大量数据碎片将导致一个文件的读取需要大量的磁盘1/0，甚至可能每读取一个数据块都需要一次磁盘1/0，大大降低了系统的数据读性能。
（三）数据去重技术有待规范化。数据去重方法是否有效性取决于数据集中重复数据的特征，目前有很多种数据去重方法。然而，要使数据去重技术能广泛应用，无疑需要对目前所使用的数据去重技术以及对应数据集的特征通过一个统一的标准来规范，给研究者提供一个标准，给存储用户提供规范的接口，以便于未来数据去重技术的推广。
本文通过探讨当前数据备份系统中的几种数据去重技术的原理及其优缺点，分析目前数据去重技术所面临的挑战，希望能为数据备份系统中的数据去重技术做一个总结和展望，以期未来更好的去应对去重技术面临的挑战。
参考文献：
[1]谭玉娟.数据备份系统中数据去重技术研究[D].华中科技大学，2012.
电力系统高速数据采集系统设计 篇12
电力系统高速数据采集系统是一种应用在电力系统实时采集电能质量情况的一种采集装置。目前所采用的AD转换器件不能同步转换六路信号, 所测结果之间有一定的延迟性[1]。针对以上缺点, 现采用DSP2812和AD7656相结合的方法, 所用的AD7656具有的六路同步采样特性, 克服了测量结果之间延迟的缺点, 使得测量精度高。以上优点弥补了目前录波器的缺陷, 达到了目前应用的要求。
1 电力系统高速数据采集系统结构原理
电力系统的三相电压和电流通过滤波器滤去高频干扰信号和低频漂移信号, 经过滤波的电压和电流信号通过电压传感器和电流传感器按一定的比例转成适合AD7656采样的小幅值电压信号, 然后DSP TMS320F2812控制AD7656将六路模拟量转换成数字量, 并从AD7656读取6路数据并存储在存储器中, 利用相关算法对所采数据进行分析, 计算相关参数。
2 系统硬件设计
2.1 数据采集处理模块硬件电路设计
高速数据采集模块采用以DSP TMS320F2812为控制核心, 模数转换芯片采用AD7656芯片, 系统实现12.8KHz的采样频率, DSP采用FFT算法对电力系统电压和电流进行各次谐波的分析, 计算出功率、有效值等参数, 并将采集数据存储在存储器中。
2.2 AD7656采样电路设计
高速数据采样电路采用ADI公司推出的6通道、高集成度、16bit逐次逼近型AD7656, AD7656的并行数据口DB0-DB15与相连DSP的GPIOA0～15 IO端口, 作为数据传输口;AD7656的CONVST A、C O N V ST、C O N V ST C三个端口与D SP的GP IO B 0相连, 作为AD7656的6路同时采样启动控制口;AD7656的/CS端口与DSP的GPIOB1端口相连作为AD7656的片选控制口;AD7656的/RD与DSP的GPIOB2端口相连作为读控制口;AD7656的BUSY端口与DSP的GPIOB3端口与相连, 用来检测AD转换是否结束。
2.3 DSP TMS320F2812最小系统设计
本系统采用电源管理芯片T P S 7 3 H D 3 0 1给D S P供电, TPS73HD301的输入电压为5V, 输出电压为3.3V和1.9V, 两种电压分别经过相应的滤波电路供给D S P, D S P的R E S E T管角与TPS73HD301的RESET管角直接相连。本系统时钟电路采用DSP内部晶体振荡器电路, 外接晶体的工作频率50MHz, DSP内部具有一个可编程的锁相倍频电路, 根据实际系统时钟频率要求对其编程设置, 实现频率设置。
2.4 DSP与存储器的连接
本文所选的数据存储器采用SST公司的SST25VF040超捷推出的SPI接口的闪存, 它是一块低功耗FLASH, 存储容量为4MByte, 电源电压为2.7V至3.6V, 其可以直接和DSP相连。DSP的SPIA口的接收和发送端与其SI和SO口相连, 来进行数据传输, GIPIO27和GIPIO28分别用来对存储器的片选和读写进行控制。
3 系统软件件设计
3.1 谐波分析算法
本文数据分析算法采用快速傅立叶变换, 快速傅氏变换是离散傅氏变换的快速算法, 它是根据离散傅氏变换的奇、偶、虚、实等特性, 对离散傅立叶变换的算法进行改进获得的。
设X (m) 为M项的复数序列, 由DFT变换可知任意一X (n) 的计算都需要M次复数乘法和M-1次复数加法, 一次复数乘法等于两次实数加法和四次实数乘法, 一次复数加法相当于两次实数加法, 即使把一次复数加法和一次复数乘法定义成一次“运算”, 那么求出N项复数序列的X (n) , 即M点变换大约就需要M2次运算。当M=1024点甚至更多的时候, 需要M2=1048576次运算, 利用周期性和对称性, 把一个M项序列 (设M=2k, k为正整数) , 分为两个M/2项的子序列, 每个M/2点DFT变换需要M2/2次运算, 再用M次运算把两个M/2点的DFT变换组合成一个M点的DFT变换。这样变换以后, 总的运算次数就变成M+2 (M/2) 2=M+M 2/2。继续上面的例子, M=1024时, 总的运算次数就变成了525312次, 节省了大约50%的运算量。而如果我们将这种“一分为二”的思想不断进行下去, 直到分成两两一组的D FT运算单元, 那么M点的D FT变换就只需要Mlog2M次的运算, M在1024点时, 运算量仅有10240次, 是先前的直接算法的1%, 点数越多, 运算量的节约就越大, 这就是FFT的优越性。TI已经为DSP提供创建好的FFT库函数, 其具体的实现方法会在软件部分进行详细介绍。
3.2 主程序设计
系统初始化完成后, DSPF2812控制AD7656进行数据采集, 六路数据采集完成后, DSP进行FFT运算分析出各次谐波分量, 对采集的六路数据进行分析, 包括有效值、频谱分析、平均值和最大值等参数, 并将分析的相关数据以及原始数据存储在存储器中, 按此程序不断采集并存储在存储器中。
4 结语
本文设计出了一种基于DSP和ZigBee无线通信模块的新型油田油井电力监测系统。系统运算速度快, 采集精度高, 设备移动方便, 组网灵活, 运行稳定可靠, 应用前景比较好。
摘要：设计了一种基于DSP与AD7656的电力系统高速数据采集系统。分析了DSP与高速AD相结合的方案原理及其在电力系统高速数据采集系统的应用方法, 介绍了硬件结构原理, 给出硬件设计框图和软件流程图, 并研制出电力系统高速数据采集系统。
关键词：高速数据采集系统,TMS320F2812,AD7656
参考文献
[1]应崇福.基于DSP的故障录波器设计.北京:自动化技术与应用, 2008, 27 (6) :76-78.