历史数据库

历史数据库（通用10篇）

历史数据库 篇1

1 历史数据库

在工业生产中,要维护大量共享数据和控制数据;又需要实时处理来支持其任务与数据的定时限制[1]。传统的实时系统虽然支持任务的定时限制,但它针对的是结构与关系很简单、稳定不变和可预报的数据,不涉及维护大量共享数据及它们的完整性和一致性[2]。实时数据库需要对一系列的概念、理论、技术、方法和机制进行研究,并对各个功能模块做详细周到的设计[3,4]。

历史数据处理作为工业实时数据库系统的一个核心功能,其主要作用是保存实时数据的历史记录。由于先进控制应用和实时优化的需要,有一部分历史数据被访问的频率可能很高,为了减小磁盘的读写负担,需要在内存中保存部分近期的历史数据,称之为内存历史数据。另外,对于超过一定时限陈旧的数据,需从内存中清除,并做一定的处理,然后转存到磁盘文件上。

1.1内存历史数据库

有部分历史数据是保存在内存里的。因为某些先进控制软件和实时优化软件等需要频繁访问这些数据,而内存的存取速度快的特点可以充分满足这些软件的实时访问需求。根据需要可以将某些历史数据有选择性地保存到磁盘历史数据库中[5]。

1.2 磁盘历史数据库

磁盘历史数据库主要以磁盘文件的形式存储历史数据。这种以磁盘文件为介质的形式适宜于存储长时间、大量的历史数据。同时便于转移、备份历史数据。为了使磁盘历史数据库具有快速、稳定的存储、读取性能,历史数据文件的结构、数据缓冲区的设置及使用的压缩算法等设计都是至关重要的。

目前,实时数据库市场主要为国外的 PI(PlantInformation system)、Industrial SQL Server 等几大品牌所占据。这几个实时数据库在技术性能、功能扩展等方面是比较先进成熟的。

PI 采用了独到的压缩算法和二次过滤技术,这使得 PI 成为实时数据库中压缩性能最为优越的一个。根据计算通过 PI 的数据压缩技术的处理,104点/s 数据存储一年,仅需4 G 空间。性能优越、使用简单等优点使得 PI 成为应用最广泛的实时数据库产品[6]。

IP21(InfoPlus.21)用于集成生产过程信息与高层次应用程序的基础数据平台,它使用户可以访问和集成来自整个工厂范围内 DCS 及 PLC 的数据,它通过功能极强的分析工具、历史数据管理、图形化的用户界面和大量的过程接口来访问和集成数据。IP21是一个智能化实用化的信息管理系统,它可以提供给用户最需要的东西:合适的实时应用支持、多线程、客户机/服务器结构。先进的过程数据服务器和历史数据管理在应用的任何地方都是可行的,特别是其灵活的数据结构可以根据应用的需要重新定义以适合自己的应用系统的需要。

Industrial SQL Server 是由数据采集、数据压缩、生产动态浏览和历史数据归档等功能构成一个完整的实时数据库系统,实时数据和历史数据用专门的文件保存[7];数据库服务器内嵌 MS SQL Server,使其具备关系型数据库特性,增强了复制功能,集成了 Mail 和Internet。它是第一个可满足工厂对数据采集速度、存储量要求的实时关系型数据库,是常规关系型数据库的数据采集速度、存储量的数百倍;它扩展了 SQL 语句,使其具有了时间特性。

上述几大实时数据库虽然在很多方面都很先进,但也存在一些不足之处需要改进。首先,现今几大实时数据库的历史数据查询性能有待提高。影响到查询性能一个很重要的因素是历史数据的文件结构,尤其是索引结构。另外,各实时数据库生产商在历史数据的压缩处理这方面下了很大的功夫,尤其是 PI 在这方面做得很好,但是历史数据的压缩效率还有提升的空间。

2 历史数据存储过程

实时数据库通过接口软件从下层采集数据,这些数据同时被写入到内存历史数据库和磁盘历史数据库中。某个测点在内存数据库中保存的历史数据长度,在测点组态时就已确定。当保存的内存数据长度超过这个值时,相对陈旧的数据将会被新采集到的数据替换。而将写入到磁盘的历史数据,只要磁盘空间足够大,一般是没有长度限制的。整个工厂的过程数据存储量是巨大的,不进行相应的压缩处理必将浪费大量的存储空间。因此,数据压缩是历史数据写入到磁盘之前的重要处理环节。

如图1所示,实时数据库通过接口软件从下层设备采集数据,采集方式可以是多种多样的。当今比较通用的是用 OPC(OLE for Process Control)通信方式获取数据,此时接口软件即相当于一个 OPC 客户端,通过网络获取 OPC 服务器提供的数据。接口软件获取的数据有2份拷贝,一份传至内存数据库,替换掉内存数据库内原有的陈旧数据;另外一份则通过调用磁盘历史数据库模块做一些相关处理,将数据写入到磁盘文件。其中,历史数据库的历史数据存取模块是提供对历史数据读取操作的相关接口。工厂过程数据如不经过任何处理全部存入磁盘文件,占用的空间将会是相当庞大的。因此,过程数据在存入磁盘之前需要经过相关的压缩处理。各种数据类型所采用的压缩方式有可能是不一样的,压缩算法在本文后面章节有详细描述。此外,为防止频繁进行磁盘写操作,内存中开辟了历史数据缓冲区,需要存入磁盘的过程数据首先放在缓冲区,当缓冲区中积累了一定数量的历史数据时再一次性地写入到磁盘历史数据库文件中。

3 内存历史数据库管理

在实时数据库中可能有一部分测点的近期数据将有可能被频繁访问,若每次访问这些测点数据都从磁盘上临时读取,这对磁盘将会是一个很大负担。内存历史数据库即是用作存放这些数据的。

在测点组态时,可根据需要设置各个测点要保存的内存历史数据长度。内存数据库根据组态信息预分配数据空间。进入内存数据库的数据都是经过压缩处理的,过程数据源源不断地通过接口软件采集而来,填入到内存数据库的数据区。当数据区填满时,陈旧数据从数据区中被淘汰掉,取而代之的是新采集来的数据,以保持测点数据的实时性。

4 磁盘历史数据库管理

各位号的磁盘历史数据是以磁盘文件的形式存在的。所设计的磁盘历史数据库中存在2种文件:历史数据文件和管理信息文件。一个实时数据库项目通常有一个管理信息文件及多个历史数据文件。历史数据文件主要存放位号历史数据及相关的索引信息;而历史数据管理文件保存了实时数据库中所有历史数据文件的信息及文件间的时间索引,以便快速定位某时间段对应的历史数据文件。

4.1磁盘历史库的文件描述

4.1.1 历史数据文件

历史数据文件采用的是页面存储管理方式,这样可以提高存储和访问效率。页面大小设置为多少最合适,可以根据相关性能方面的测试获取,历史数据文件结构如图2所示。

历史数据文件一般都有一个文件头页,这个页面记录了本数据文件的首个空页、空索引页的位置、页总数及页尺寸等信息。文件头页为整个文件的起始页,文件头页后紧跟着的是大量的数据页。数据页分为历史数据页和索引数据页2种类型。

历史数据页中存放位号的历史数据。一个位号的历史数据可存放在多个页面上,但一个页面不可存放多个位号的历史数据。同一个位号的历史数据可能分散在不连续的数据页内,这些不连续的数据页通过时间索引链接在一块,于是形成同一位号的历史数据链。历史数据链中的数据是以时间顺序排列的。时间索引页为测点历史数据建立一段顺序时间索引,为了提高查询速度,一个时间索引页中保存多个时间索引。每个时间索引都对应着本文件内一个历史数据页。同一时间索引页中存放的均为相同位号数据页的索引,同位号诸多索引页之间通过某种机制前后链接在一起形成索引链。并且这个索引链是跨文件的。如此通过对索引链的前后查找,就可以定位到某待查询时间的历史数据所在的页,然后再通过二分查找或者顺序查找的方式,定位到该数据页中那个要查找的历史数据。

4.1.2 管理信息文件

历史数据库的管理信息文件主要记录那些正在被实时数据库使用的历史数据文件。其主要目的是快速定位到某时间段对应的历史数据文件。一个实时数据库项目中一般有一个管理信息文件,另外还有很多个历史数据文件。管理信息文件与历史数据文件如图3所示是一对多的关系,但并非每一个历史数据文件都在管理信息文件中有记录。

4.2磁盘历史数据缓冲区

磁盘历史数据缓冲区是为了防止频繁地写磁盘而开辟的一块内存区。将要写入到磁盘的历史数据,首先放在缓冲区中,当缓冲区中累积了一定数量的历史数据时再一次性写入历史数据文件中[8,9]。

系统中配置有系统参数作为存盘时间。当存盘时间到达后,一次写入磁盘历史数据库。系统结束运行时,要将历史数据缓冲区的历史数据写入历史数据文件。用户访问历史数据时,系统首先检查历史数据缓冲区是否有用户需要的历史数据,然后再查历史数据库文件中是否有用户需要的历史数据。

用户通过系统参数可以设置历史数据库缓冲区的大小,历史数据缓冲区设置得比较大可以加快查找近期历史数据的速度,但同时内存开销也加大。最好根据本机物理内存的容量,动态设置缓冲区大小。

5 磁盘历史数据库实现

磁盘历史数据库是实时数据库的一个子模块,它主要是由实时调度模块来驱动。本课题中是以动态链接库的形式实现的。

5.1磁盘历史数据库的总体架构

磁盘历史数据库主要是为实时模块提供了对磁盘历史数据进行操作的功能。该模块主要针对上面所提到的2种文件:管理信息文件和历史数据文件。其内部大体框架以及调用流程如图4所示。

其中,接口模块负责为外部调用模块提供接口函数。通过这些接口,磁盘历史库的功能暴露给外部模块。读写操作模块是整个历史库的核心模块,提供了最为核心的读写功能,其上层接口模块中一些主要的功能函数,实际上都是在对读写模块进行封装。由于写数据的实现相对比较复杂,在此将其提出来做详细描述。写数据函数实现大致如下:

…

pLastData = GetLast(pCompress);

if ( pLastData == NULL )

{

//追加模式

return Append(pCompress,pData, nCount);

}

if (IsTimeLessThan(pLastData, pStartData) )

{

return Append(pCompress, pData, nCount);

}

if (IsTimeLessThan(pEndData, pLastData) )

{

//插入模式

return Insert(pCompress, pData, nCount);

}

//中间插入模式

return MidAppend(pCompress,pData,nCount);

…

首先,从存放在磁盘上的压缩结构中获取历史数据文件中某测点的最后一个数据。如果不存在该数据,则表示系统刚初始化,就直接追加数据。同样,如果待存入这批数据的起始时间在磁盘最末历史数据之后,依然采用的是追加模式。

除此之外,还有另外2种情况:一是待写入这批数据的结束时间在磁盘最末历史数据之前;二是待写入这批数据的起始时间在磁盘最末历史数据之前,但结束时间在磁盘最末历史数据之后。对于这2种情况,前者采用插入模式写入数据,而后者采用中间插入模式写入数据。所谓的中间插入是在删除部分已有数据的前提下进行的一种特殊追加方式。 由于篇幅问题,上述几种数据写入模式的具体流程在此不再做详细描述。

另外,数据页模块负责对缓冲区的数据页面进行解析,其调用了压缩模块的功能。管理信息文件访问模块和历史数据文件访问模块,分别提供了对管理信息文件和历史数据文件的访问功能。

5.2磁盘历史库重要功能模块详述

5.2.1 读写操作功能模块

读写子模块主要是提供了对历史数据的读写操作功能。通过该模块可以读取到某一段时间内的所有数据。写操作方面,该模块对传入的数据做相关的压缩处理,然后调用下层的一些模块将数据写入到历史数据文件。

读历史数据函数的大致形式如下:

int GetData(Time *pStart,Time *pEnd,HisData *pData )

要获取数据的时间段通过 pStart、pEnd 这2个输入参数传入,而 pData 作为一个输入/输出参数,传入的是要获取的测点标识号等相关信息,而得到的是对应时间段的历史数据。

写历史数据函数的大致形式如下:

int WriteData( HisData *pHisData)

待写入的历史数据列表由 pHisData 参数传入,在函数内部根据时间属性判断进行的是追加操作还是插入操作,从而往磁盘文件新增历史数据。读写模块给历史库提供了最核心的功能,因此,它是最为关键的一个模块。在本历史库中的源码中该模块占据了5 000行左右的代码,是一个很大的模块。

5.2.2 压缩模块

在工业控制过程中,测点将产生大量实时数据,由此产生的历史数据是海量的,如不做任何处理直接存储到磁盘历史库,将占用大量空间[10,11,12]。因此,压缩处理是磁盘历史库中一个很重要的功能。

磁盘历史库中压缩处理分为有损压缩和无损压缩2种。这里所指的有损压缩实际上就是一个筛选数据的过程,通过有损压缩过程,磁盘历史库从大量数据中筛选出哪些是需要保存到历史数据文件的,哪些是可以丢弃的。而无损压缩则是将原始数据以某种编码方式来存储,以达到节省存储空间的目的,这种压缩方式是可以通过解压缩来恢复数据原貌的[13,14,15]。磁盘历史库对不同数据类型采用的压缩方式是不尽相同的。主要分为浮点型数、开关量数以及字符串数这3种来进行处理。

a. 浮点型数据的压缩方式。本磁盘历史库中针对浮点型数据采用了旋转门压缩算法。在进行数据压缩时,旋转门压缩算法将比较新的实时数据点和前一个被保留的数据点之间的偏移,如果新的数据点和前一个被保留的数据点所构成的压缩偏移覆盖区的区域可以覆盖前面所有的数据点时,将没有任何数据点被保存。反之如果有任何一个数据点落在压缩偏移覆盖区外,则新数据点的前一个点将被保留,同时整个压缩偏移覆盖区将被重置,并且以新数据点的前一个点作为新的起点。而上面所说的压缩偏移覆盖区实际上是一个平行四边形,其起点是前一个被保留的数据点,终点是最新的一个数据点。平行四边形垂直方向的边长是压缩偏移量的2倍,压缩偏移量由测点组态决定,可以为每个测点指定其合适的压缩偏移量。图5说明了旋转门压缩算法的原理(y 为值坐标,t 为时间坐标)。

浮点型数据压缩处理的实现,即逐个判断所有的历史数据点,哪些是需要写入到磁盘文件,哪些是可以丢弃的这样一个过程。在下列这几种情况下,数据是需要写入到磁盘文件的:当前点为本测点的第1个数据时;当前点质量戳与前一点质量戳不一致时;当前点未通过旋转门压缩检测时。

b. 开关量数据的压缩方式。开关量数据采用的是变化即保存方式,这也是一种无损压缩方式,但其原理和实现都比浮点数所使用的旋转门压缩算法更简单。压缩模块在处理每个原始开关量数据时,都会与历史数据库中相同测点的最后一个历史数据记录做比较。如果当前开关量数据和最后历史数据记录的值相同则滤过该数据,不将其保存进历史数据文件;反之,则保存进历史数据文件,并将该数据设为最后历史数据记录。如一串原始开关量数据为11101001,经过开关量压缩处理,最后得到的要存入到磁盘文件上的数据就为10101。

c. 字符串数据的压缩方式。字符串数据是一种比较特殊的数据类型,单个数据的长度可能比较长。因此,有可能需要进行2次压缩。针对原始的字符串数据,首先通过有损压缩筛选出需要保存的字符串历史数据。然后再根据需要保存的字符串历史数据的具体情况选择性地做无损压缩处理。并非所有的字符串历史数据都需要做无损压缩,只有针对那些比较长的字符串,无损压缩才有意义。当然,经过无损压缩的历史数据从磁盘文件读出来时,必须做相应的解压缩操作,以恢复数据原貌。字符串数据的压缩过程实现大致如下:

…

if(strcmp(pData->Value,(pCompress->pLastSave)->strValue)==0)

{

//与上一记录数据内容相同,则不保存

return;

}

//记录最后保存数据信息

Copy(GetLastSaveData(pCompress),pData);

if(pData->Length>=20)

{

//执行无损压缩

ExecuteZlibCompress(&ComprData,pData);

//保存历史数据

AppendData(pWriteInfo,&ComprData);

return;

}

//保存历史数据

AppendData(pWriteInfo,pData);

return;

…

待处理数据进入之后首先与磁盘上记录的上一次保存数据进行比较,如果值相同则不进行任何存储操作。反之,值不相同,则需要将该数据保存至磁盘历史文件,并再对最后保存数据信息做修改。另外,如果待保存字符串数据过长,进行无损压缩处理是有必要的。至于如何衡量字符串是否过长,这与采用的无损压缩算法有关,需要通过相关测试获取。本文中所描述的历史库采用了 zlib 无损压缩。通过测试表明,采用20字节作为字符串长短衡量标准是比较合适的。

压缩模块有大约1 000行的代码。在这个模块中根据不同的数据类型进行不同的压缩操作,这是本历史库的一个特点。实际上,本历史库中数据的压缩效率也是很高的。

5.2.3 数据页存取模块

历史数据文件采用页面存储,数据页存取模块的主要功能是对这些页面进行操作。其中,页面分为历史数据页和数据索引页2种,这2种页面的大小不一定相同,页面结构也不相同。因此,对这2种页面的解析方式是不一样的。数据页存取模块代码量约2 000行,这部分主要负责解析这2种页面。

6 结语

历史数据处理是实时数据库中一个至关重要的功能。文中论述了实时数据库系统历史数据处理的详细过程,以及磁盘历史数据库的实现技术。

摘要：实时数据库(RTDB)是传统数据库技术与实时系统相结合的产物,是厂级信息监控系统(SIS)的核心。历史数据是系统定时从实时数据库中采样,保存到历史数据库中的数据,用户需要时可随时从历史数据库中访问历史数据。历史数据库包含内存历史数据库和磁盘历史数据库。内存历史数据库关注的是测点近期数据的组织方式;磁盘历史数据库管理的对象是历史数据文件和管理信息文件。对磁盘历史数据库的文件结构、缓冲区进行了描述,并详细阐述了其总体架构及重要功能模块(读/写操作、压缩、数据页存取)的实现技术。

关键词：实时数据库,内存数据库,历史数据处理,磁盘历史库,数据存储

历史数据库 篇2

三证合一更换税号后，以新税号登录开票软件，点击系统设置-系统参数设置-参数设置-运行参数，勾选“打开旧税号数据导出”，点击“确定”；

关闭开票软件重新打开，出现“旧税号数据导出”提示框，开票软件会自动搜索税控盘登记的旧税号，如果该税控盘登记过两个税号，可以从下拉框选择需要导出数据的原税号，点击“导出”；

导出过程需要1分钟左右，导出完毕会提示“导出完成，请退出后再[进入系统]！”，点击“确定”；

重新进入开票软件，点击系统维护-数据备份恢复-发票数据恢复，选择“旧税号数据恢复”，点击“恢复”，提示“确认将【纳税人识别号：***】的数据恢复到本地吗？”，点击“确定”，提示“数据恢复成功”即可；

历史数据库 篇3

关键词：大数据时代；历史学研究组织；应对策略

伴随着数据时代的加速发展，全世界的数据量呈现直线上升。即使整个经济市场遭受了金融危机的重创，也能看到数据量的爆炸式增长。据悉，零九年全球数据量要比零八年平均上升百分之六十左右。本文针对大数据时代的特征，来对其所要面临的历史学研究挑战来具有针对性的制定应对措施，以及大数据时代相关内容的研究，都是非常有必要的。

一、大数据时代历史学研究面临的挑战

（一）大数据时代的基本特点

据了解，一零年期间，以网络传播为基础所获取的数据要比之前全部年份所产生的数据的所加起来的总和都还要高。并且，这不仅仅是体现数据量的爆炸式增长趋势上，其整个大数据时代的发展结构也在发生改变。而在零二年，大数据时代已然步入到结构化的数据量阶段。比如像文档数据、网络数据、图片数据、音频数据等的数据总和占到了全球数据量结构的百分之八十左右。而且，网络数据整体结构也即将面临巨大的改革转变。

（二）历史学研究在这一时期面临的挑战

1.信息监管的乏力

大数据时代的市场环境下，发展研究必须对历史学内部信息监管工作进行有效性的研究。因为大数据时代下的经济市场发展研究必须对内部数据信息进行系统的保密监管，防止外流出来，否则，后果将不堪设想。特别是大数据时代的市场竞争当中，各大历史学都会用尽办法来获取大数据时代数据流中的数据信息。历史学内部数据信息，是作为历史学的高度机密，一旦泄露于经济市场，将对历史学内部整体的经营研究构成非常大的威胁。并且，历史学的内部数据信息也是市场竞争力的主要的组成部分。因此，历史学内部信息监管工作的有效性是非常必要的。而这也对经济市场发展研究的内部信息监管工作提出了挑战。

2.数据缺乏公信力

由于信息是通过电脑上传，从登陆到发布，都是由服务器自动完成的，不会受到相关机构的审核，其可信度就无法保证。又因为网络的匿名性，网民成分的复杂性，再加上技术上难于防范等原因，网上存在大量的虚假信息也在所难免。更有甚者，利用网民的同情心，制造虚假民意。如湖南省城步县原县委书记吴艺珍受贿案，案子审判过程中，吴艺珍之女吴芳宜利用网络，汇聚所谓的“网络民意”，为其父“鸣冤”。一时间，吴艺珍受贿案在网上形成强大的“网络民意”，试图给当地党委、历史学造成压力，并影响公诉机关和法院办案人员正常办案。毫无疑问，信息失真或虚假信息必然会干扰历史学历史研究，给历史学研究带来障碍和混乱。

3.历史信息的安全

信息丢失和信息控制问题。由于信息越来越依赖网络进行存储、利用与传输，信息系统的故障将可能直接导致有用信息的丢失或泄密。数字化的网络社会是十分脆弱的，网络“黑客”运用电脑和网络技术，寻找计算机系统和信息交换系统的弱点，就可以非法截取或篡改数字信息，破坏系统的正常运作，甚至捣毁整个系统。中国是世界上遭受黑客攻击的主要受害国之一。

二、大数据思维对历史学研究带来的机遇

（一）治理理念的转变与服务效能的提升

引导网络舆论。首先，要站在提高党的执政能力、构建和谐社会的高度，将网络宣传纳入党的宣传事业整体格局之中。其次，要加强互联网主流阵地建设，重点加强公共论坛建设，打造互联网宣传主阵地。第三，要鼓励党和历史学官员建立历史发展空间，拓宽历史宣传渠道。最后，要创新互联网时代党的方针政策宣传模式和方式，推动历史信息的公开透明。

（二）促进历史研究科学化

大数据时代应当以创新、睿智的经营理念，融合到历史学的数据信息研究当中。并且提升历史学员工对于大数据时代数据流中具有价值的数据信息的洞察力。从而更为有效的实施符合历史学内部经营研究需求的特色化运作流程，创建能够进一步增值的历史学经营模式，并且全方位提升历史学的综合竞争力。历史学人力资源研究组织作为历史学强有力的后援军，必须规划处对历史学最为有利的运作程序，来全面提升历史学的综合竞争力，从而顺应经济市场的数据信息需求。

（三）提升历史学运行效率

社会事务的电子化研究，是促进历史学研究的科学化、高效化，完善历史学研究历史研究信息和智力支持系统的关键环节。要充分发挥互联网高效、交互和集成性的优势，建设社会事务的电子化研究平台。这样不仅可以通过互联网最大限度地听取民意、汇集民智、了解民情，还可以实现“网上”与“网下”的互动，更大程度地激发民众参与社会事务的热情，赢得民众主人翁意识的回归。各级历史学研究机关通过电子化研究平台，可以更好地把握历史学研究的脉搏和“痛点”，找到网络良性互动的渠道，更快的纾解民怨，缓解社会矛盾。

三、结语

互联网的快速发展已成为当今世界不可阻挡的潮流，历史学研究创新是中国社会发展的必然要求，也是适应历史学研究环境变化的唯一出路。面对互联网带来的机遇与挑战，历史学研究唯有与时俱进，发挥互联网的优势，化解互联网发展带来的挑战，才能实现“提高社会研究科学化水平”的时代要求。

参考文献：

[1]王晓幸，木霄挺，杨杰.基于cache数据库的电子病历存储结构设计[J].医学信息.2006，03.

[2]张小娟，蒋云钟，赵红莉，秦长海，邢志，鲁帆.基于数据挖掘技术的遥感ET数据分析[J].人民黄河，2007，08.

[3]赵吉伟，李秀艳.运用关系型数据库实现综合统计电算化[J].大氮肥，1995，04.

历史数据库 篇4

一、用户层面———以用户为中心, 以用户需求为导向, 坚持用户参与原则

用户是数据库产生和存在的根基。一个数据库建成以后, 若没有用户使用, 它就是失败的。Lib2.0强调了用户的重要性。在“三江流域历史文化文献数据库”的项目论证过程中, 通过走访院系、市档案馆、地方史志办、党史办等部门的学者, 确定了该特色数据库的用户群, 即三江流域历史文化研究数据库的用户应该是具有一定学科背景的专家、学者及对三江流域的物质文化、非物质文化有兴趣的个人或团体。

在网络环境下, 用户的信息需求具有广泛性、专深性和高效性。另外, 用户的信息需求还表现在对信息服务的需求上。在走访特定用户的过程中, 音乐学院的老师需要反映赫哲族人生活的音乐, 声频信息对于搞艺术创作和研究的专家很有价值;美术学院的教师对于赫哲族人的服饰、手工艺术品的研究感兴趣, 对于一些图片类信息较热衷;反映三江地流域历史文化的文献及研究文献对于研究地方史的专家和学者有使用价值。对这些特定用户的走访, 对我们确定数据库的内容构成意义重大。

用户作为最终使用数据库的人员, 有权利参与自己将来要使用的数据库的建立。特色数据库的建立应以用户的评价为建库指南。用户的参与过程包括项目论证和申请、数据库建设中、数据库建成后三个阶段, 参与的方式可以是访谈方式、E-mail方式、问卷式。在项目论证和申请时, 专家访谈很重要, 他们可以对项目能否实施进行可行性评价;在数据库建设过程中, 数据库应该收藏哪些内容, 所收录的数据是否有价值需要用户的参与;数据库形成一定规模后, 用户要对所收录的数据的权威性及质量、使用的检索界面是否友好进行评价, 以便及时调整。

二、数据库工作人员层面———要具有lib2.0的素质

在lib2.0环境下, 数据库建库人员要有敏锐的分析和判断能力, 特别是对能够反映地域特色的内部资料、灰色文献的分析;在信息加工过程中, 应该具有编制文摘和索引的能力, 了解和掌握元数据加工技能和网络服务技能。数据库维护人员要掌握并运用lib2.0的主要技术, 如RSS、IM、WIKI、博客、社会网络软件等, 利用这些技术与用户建立连接, 挖掘用户的隐性知识, 并使之显性化。数据库宣传人员应该具有与用户沟通的能力。数据库建成以后, 如果得不到宣传, 用户是不知道图书馆拥有这部分资源的。宣传人员应该利用学校的校报、各学院的网站、印制宣传单和宣传册等方式向用户传递特色数据库信息, 对于固定的用户群, 利用电话、QQ、E-mail、博客等技术及时传递特色数据库的信息。数据库工作人员要有自主学习的能力。利用图书馆学、情报学专家建立的学术博客、维基等, 不断提高自己的素质和涵养, 了解图书馆事业发展的最新动态。

三、数据资源层面———建立信息资源收集网络

构成特色数据库内容的资源包括纸质文献、电子文献、网络资源以及通过馆际互借和文献传递从相关部门或单位获得的资源。纸质文献是构成特色数的主要资源, 有一些非公开的灰色文献, 如内部资料、预印本、会议录、科技报告和内部刊物等, 反映的是各领域的新成果、新动态, 具有独特的参考价值。电子文献和网络上的资源, 因其方便、快捷而被用户所喜爱, 网上资源较纸质资源更容易获得, 且以开放获取资源为主, 是学术研究重要的免费资源, 与lib2.0提倡的信息共享、开放存取精神相一致, 可以将这部分免费资源以免费电子期刊导航或链接方式整合到特色数据库的平台上。在资料收集过程中, 建立以图书馆的信息资源为主, 以现代网络技术为支持, 以馆际互借和文献传递等共享文献为补充, 建立由专家学者、出版商、相关企事业单位组成的收集网络。在三江流域历史文化文献数据库的资源收集过程中, 佳木斯大学图书馆专门组成资料收集小组, 与档案局、市图书馆、博物馆、市文联、史志办及周边地市县的图书馆、档案馆等单位联系, 收集了大量的地方文献及民间艺人的视频、音频资料, 为该数据库的建立做了充足的资源准备。信息资源收集网络的建立, 为实现三江流域历史文化文献数据库的共建、共知、共享提供了文献保障。

四、服务层面——建立有效的营销策略

特色数据库是图书馆一个品牌, 其建库的最终目的是被用户使用。然而调查发现, 各高校图书馆自建的数据库中真正具有较高价值、形成特色的寥寥无几。造成这种情况的重要原因在于数据库的使用率低, 用户有的根本不知道图书馆有这种数据库存在。因此, 建立有效的服务营销机制十分必要。图书馆可以通过服务传递、服务推广和服务沟通策略, 将特色数据库的资源传播出去。对于特色数据库的潜在用户群, 馆员可以在用户经常活动的场所发放特色数据库的介绍资料, 张贴海报, 并通过图书馆主页、各院系的网站、邮箱, 以及图书馆信息导报、大学校报、学生社团等刊物和校园BBS等予以推介。对于专门的科研人员和专业学生, 通过零距离接触, 让用户感受馆员亲和的形象、专业的素质, 以及服务与资源的易用性, 并且鼓励用户对特色数据库的发展和完善谏言献策。服务是双向沟通行为, 保持与用户交流的各种渠道的畅通是交互性最为重要的方面。馆员可以通过现代技术嵌入到用户的虚拟空间, 建立无障碍信息通道。通过邮箱、QQ群等及时发布特色数据库的最新动态。三江流域历史文化文献数据库的服务营销策略, 不但在图书馆主页上进行宣传, 而且在收集资料过程中, 向相关机构介绍建库的情况和意义, 让他们知道地方文献的数字化已经在高校进行着, 对于那些固定的专门研究人员, 及时与其沟通并通报数据库的进展情况。

五、技术层面——建立开放、易用、界面友好的特色数据库应用平台

虽然现在几乎每个图书馆都拥有自己的主页或网站, 但对教师和学生进行调查却发现, 多数用户没有打开过图书馆主页或网站, 原因就是其利用价值值得怀疑。目前, 国内的一些高校正在尝试将lib2.0元素嵌入到图书馆的管理系统中, 在图书馆主页或网站上实现以用户需求为主的服务平台, 通过建立易用、方便、灵活的应用平台, 吸引更多的用户使用该平台。应用平台应该将一些在科研和学习过程中经常使用的资料或者免费的网上资源做成资源导航, 及时更新;在平台上为用户开辟一个板块, 用户可以编辑、贴标签、推荐资源等, 用户还可以对资源进行评价。图书馆通过收集用户的意见及时更新资源, 为特色数据库的可持续发展做贡献。

摘要：三江流域历史文化文献数据库建设, 在用户层面, 要以用户为中心, 以用户需求为导向, 坚持用户参与原则;在数据库工作人员层面, 要求具有lib2.0的素质;在数据资源层面, 建立信息资源收集网络;在服务层面, 建立有效的营销策略;在技术层面, 建立开放、易用、界面友好的特色数据库应用平台。

关键词：特色数据库,高校图书馆,数据库建设,web2.0,lib2.0

参考文献

[1]范并思, 胡小菁.图书馆2.0构建新的图书馆服务[J.]大学图书馆学报, 2006, (1) :2-7.

[2]王尊新, 丛鲁丽.地区特色数据库的建设[J.]现代图书情报技术, 2004:55-57.

[3]肖碧云.论特色文献数据库的建设[J.]高校图书馆工作, 2006, (1) :36-38.

[4]欧阳红红.高校图书馆建设地方特色文化数据库问题探析[J.]图书馆, 2008, (6) :107-109.

[5]李三凤.我国高校图书馆特色数据库建设研究[D.]湘潭:湘潭大学, 2006.

[6]梁俭.“东盟文献特色数据库”建设之思考[J.]图书馆学刊, 2010, (9) :37-39.

[7]徐云.华侨华人文献信息专题数据库建设思路与实践评价[J.]图书馆论坛, 2007, (2) :15-18.

历史数据库 篇5

摘要：采用多元化网络数据进行历史教学，能够更便捷地调动学生学习的主动性和创造性，进而养成良好的历史学习思维和习惯，提升学生对历史课程的学习兴趣。

关键词：历史教学 网络数据 应用

一、前言

在初中历史课程教学的过程中，采用更具多元性的方式进行教学，已经成为了当前历史教师的共识。初中历史教师对于多媒体资源的运用，特别是在教学上方法的改进等，都有进行非常积极的尝试，并且也通过实际的方式调动了学生的积极性。不过当前互联网技术发展速度非常快，互联网上也有非常多的历史知识资源，这些资源都可以辅助到初中历史课程的教学过程中，成为重要的推动力量。

二、初中历史教学与网络数据之间的联系

第一，网络数据能够拓展初中历史课堂教学的知识外延，尤其是初中历史课程知识能够借助多元化的网络资源，让自身的教学更具备多元性。因为初中历史课程的教学主要还是以课程的教学为主，初中历史教师要充分结合历史课本当中的内容开展教学，这种教学模式对于教师把握教材的能力，以及教材本身的设计状况均有重要的联系。很多初中学校的历史课程教学由于课时相对较少，很多历史教师都没有办法加入更多的知识外延，导致学生没有接触到更为丰富的历史知识资源。因此，在初中历史课程教学当中运用多元化的网络资源，能够拓展他们的知识空间，提升学生学习初中历史课程的积极性。

第二，初中历史课程的教学也需要通过网络数据的多元性连接，提升课堂的气氛，让学生能够真正的了解历史事件，以及从历史当中学习到更多智慧。对于学生而言，历史事件是相对陌生的，因为并不是在他们日常的生活当中能够接触到的，不过学习历史却能够让学生提升个人的智慧和拓展他们的阅历。所以，在初中历史课程的教学过程当中，教师应该更好地把握多元化的网络数据，特别是从网络上撷取有关的资源，帮助学生更深入地理解具体的历史事件，能够发挥到身临其境的效果。这对于学生而言，多元化的网络数据拉近学生和历史事件之间的距离，避免学生在学习历史事件过程中产生生疏的感觉，能够让初中历史课程的教学达到事半功倍作用，发挥到更加有影响力的教学效果。

所以，综合上述的分析，可以看出初中历史课程的教学，通过这种方式能够让学生更进一步接触到具体的历史事件，而且多元化的网络数据也能够切实地调动学生的学习积极性与创造性，真正的为初中历史课程的教学获得更多积极效果。

三、当前初中历史教学的主要问题分析

当前，很多初中历史教师已经对历史课程的教学付出了非常多的努力。尤其是很多初中历史课程的教师，通过运用多媒体等手段，让学生能够更真切地理解历史事件，帮助他们记住并且理解一些具体的历史事实。但是，很多初中历史教师由于课时相对较短，因此在运用多媒体进行历史课程教学的过程当中，仍然没有更好的把握住调动学生气氛和积极性的关键要素。此外，当前的初中历史课程知识量相对较大，而课时较少，许多的初中历史课程的教师仍然依赖传统的教学手段，这样是不利于初中生全面地掌握历史知识。有一些初中学生对于历史事件有自己了解的兴趣和积极性，但是由于课程所提供的知识量相对较少，也大大的降低了他们学习初中历史课程的热情。因此，当前初中历史课程在教学方面主要出现的问题包括以下方面：

第一，教师要在相对较短的时间内，让学生了解掌握到基础的历史知识，这对教学方面形成了一定的压力。第二，初中历史课程对于网络的教学资源应用较少，很多教师仍然是针对教材中所提出的内容进行传输和教学，而并没有真正满足学生拓展自身知识面的需求，特别是没有满足学生的求知欲望。第三，当前初中历史课程教学过程中，对于信息化的教学手段应用较少，一般仅局限于采用多媒体等教学方式，而且信息化程度较低，也反过来降低了初中历史课程的综合教学效率，没有发挥出更好的课堂教学效果。因此，从当前的状况上分析，初中历史课程的教学，应该充分地运用多元化的数据方式，调动学生学习的积极性，营造良性的气氛，让初中学生真正能够配合初中历史课程教学的需求，从而调动他们学习的积极性，让他们更进一步地学习到历史知识当中的精华。

四、运用多元化的网络数据进行初中历史课堂教学的结合路径

对于初中历史课程的教学行为而言，积极地运用多元化的网络数据进行课堂教学，能够帮助学生全面发展，提高他们学习的主动性，进而真正地推动他们提高自己的综合素养。结合当前实际，运用多元化的网络数据进行初中历史课堂教学，二者结合的路径主要包括以下方面：

第一，采用多种媒体数据支持初中课程的教学。初中历史课程的教师应该运用当前网络资源数据获取的便捷性，从多种载体的媒体出发，帮助学生建立全面的历史课程的认知，尤其是帮助初中学生更进一步地接触到当前与初中历史课本相结合的一些视频资料、音频资料，帮助他们更深入地学习特定历史阶段的历史事实，培养他们热爱历史课程学习的信心。初中历史课程的教师应该采用一些更加简短，但是却能全面介绍到具体历史事件的资料，利用网络数据传输的便捷性引入到课堂教学当中，让学生更全面地认识到利用网络数据进行历史课程的学习，让学生更全面地认识到这一特定历史事件的演变过程。

第二，初中历史课程的教师也应该采用不同网络数据之间的差异，应该让学生能够在初中历史课堂的学习中感受到多样化。比如，初中历史课程的教师可以采用一些情景模拟的方式，利用网络数据当中的配乐以及一些图片等资源的结合，然后学生在更加生动的历史氛围当中进行历史场景还原，从而帮助他们更深入地进行历史课程知识的学习。对于初中历史课程的教学而言，只要抓住学生学习的积极性和主动性，让学生投入到历史课程的学习当中，才能够让学生更深入地了解和掌握到历史事件对于民族国家、个人的影响，从而激发他们学习历史知识的兴趣，让他们更用心投入到历史课程的学习当中。

第三，初中历史课程的教师也需要从网络的平台上面创造一些互动性的机会，利用网络数据传播的及时性，让学生能够以便捷的方式进行交流。比如，初中历史课程的教师可以通过课题探讨的方式，调动学生学习的积极性，主动地探讨不同的历史事件的演变和发展，初中历史教师可以利用网络数据传输等多种渠道，如利用移动的智能手机进行信息互动等，让学生能够自由地探讨历史课题，从而让历史知识和历史探讨的行为都能够渗透到学生日常的学习上。

五、结束语

对于初中历史课程教学而言，如何调动学生的学?积极性、培养学生的学习兴趣是一项非常重要的工作。因此，对于当前的日常教学而言，初中历史教师应该利用多元化的网络数据从多媒体数据资源以及多元化的数据传输模式，为学生创造更加良好的学习氛围，帮助学生更深入的了解具体的历史事件，培养他们学习历史的信心，养成良好的学习历史的习惯，从而真正意义上推动初中历史课程的发展。对于未来的初中历史课程教学而言，只有善于采用信息化的手段，多管齐下，调动学生主动地投入到课程的学习当中，才能够真正意义上帮助学生建立起具体的历史课程学习思维，最终帮助学生有的放矢地进行学习，为他们接下来的课程学习奠定良好的基础。

参考文献：

历史数据库 篇6

“天津开发区地方历史报纸数据库”将开发区地方报纸进行了系统性数字化处理, 从开发区第一份区域性报纸《开放报》的创办, 到《泰达时报》、《北方经济时报》和《滨海时报》等几次更名、变迁, 记录了该报诞生、发展的历史沿革和总体风貌。数据库收录了《开放报》和《泰达时报》的全部内容及《北方经济时报》和《滨海时报》区庆特刊部分, 时间跨度从1998年至2009年, 共计1515版, 真实存储了天津开发区的创业、发展历程, 是读者认识和了解天津开发区的第一手资料, 也是天津开发区地方资源泰达图书馆档案馆的宝库, 极具保存、利用价值。

为方便读者利用, 该数据库以两种方式展现:一是通过馆内的大屏幕电子读报机让读者阅读原版原貌的报纸;二是通过网络进行全文检索。

泰达图书馆档案馆自成立以来, 依托图书、档案、情报一体化管理的优势, 不断对内挖掘资源潜力, 将馆藏地方文献进行梳理, 在对该部分资源充分保护的前提下, 实现了既要管好更要用好的目标, 已先后将天津开发区发展报告、年鉴等地方文献进行数字化处理, 使读者能够通过网站远程查阅、利用这些宝贵资源。

历史数据库 篇7

浙江省电力公司作为国家电网公司系统内较早开展实时/历史数据平台研究的网省公司, 率先实现了公司范围内统一技术平台、统一运维管理、统一实施、技术规范的实时/历史数据应用。自平台建成以来, 陆续接入了生产、调度和营销等业务150余万测点实时/历史数据, 开发了上千个应用, 并广泛应用于发、输、变、配、用、调度、营销等环节, 取得了丰硕的成果[1,2,3]。

随着国家电网公司智能电网建设的快速推进, 越来越多的智能电网业务管理系统需要接入实时/历史数据平台, 以便集中存储、分析和共享电力生产实时/历史数据[4]。但是现有的平台在部署架构、应用拓展等方面已不能满足浙江电网的发展需要, 亟需构建新的实时/历史数据平台。

1 实时/历史数据应用现状

1.1 国家电网公司实时/历史数据应用现状

近年来, 国家电网公司加大实时/历史数据库技术应用力度, 特别是随着智能电网建设的发展, 亟需加强对电网海量实时/历史数据的管理与应用。国家电网公司于2011年发布了《国家电网公司海量历史准实时数据管理平台典型设计》, 对系统内海量实时/历史数据管理平台在系统架构、功能、数据交互等方面给出了规范性建议。

在此基础上, 国家电网公司开展了实时/历史数据应用平台试点研究与实施工作, 确定华东分部、上海电力公司等5个网省公司开展试点实施工作, 并在2011年底先后完成试点验收。

1.2 浙江电力实时/历史数据应用现状

浙江省电力公司于2005年经过充分选型论证, 确定了依托美国OSI公司PI实时/历史数据库建立了浙江电网实时/历史数据平台。PI数据库是当时技术先进、稳定成熟的实时/历史数据库产品之一, 广泛应用于电力、石油、化工和通信等领域。浙江省电力公司也是国家电网公司系统内最早将PI数据库引入到电网生产管理、建设和研究实时/历史数据平台的网省公司, 历经7年的建设和发展, 建成了省、地二级部署的平台, 发挥了积极的作用[5]。

PI平台架构如图1所示。省公司与地区局各自部署一套PI系统, 由PI数据库服务器、应用服务器、数据接入接口服务器和数据访问接口服务器组成。各级PI数据库服务器分别接入各自区域内的数据, 上下级PI数据库服务器通过数据复制进行数据共享[6,7]。

PI平台的建设应用, 使浙江省电力公司在实时/历史数据应用方面走在国家电网公司的前列。通过在平台上进行技术研究、应用开发和业务竞赛, 打造和培养了实时/历史数据应用技术的科技创新团队, 取得了大量技术成果和专利。

但由于浙江电网实时/历史数据平台建设起步较早, 对照国家电网公司后续制定的技术规范与要求, 存在一定差异, 同时在PI应用上也暴露出一些问题, 主要表现在以下2个方面。

1) 部署架构与国家电网公司典型设计要求存在差异。PI平台建设初期, 为了加快推进业务应用, 鼓励地区局发展个性化应用, 减小应用对网络带宽压力, 系统架构采用了省、地两级部署模式;另外, 当时PI数据库稳定版本仅有15万测点规模, 也很难支撑全省集中部署, 现有部署架构与国家电网公司典型设计方案要求的网省一级部署模式存在差异。

2) 平台业务应用发展不平衡。平台在应用过程中, 全省建成了1 000多个业务应用系统。各单位应用发展水平参差不齐, 造成平台业务应用重叠, 不利于平台的统一运维管理。

在这一背景下, 如何构建符合浙江电网应用发展需求的新的实时/历史数据平台, 成为当前面临的重要问题。

2 基于海迅数据库的实时/历史数据平台

2.1 平台价值

基于海迅数据库的实时/历史数据平台作为浙江省电力公司管理信息大区唯一的实时/历史数据管理平台, 通过统一的数据接入、存储和访问管理, 为业务应用提供公共数据服务, 降低信息安全风险, 提升信息综合利用和统一管理水平。

1) 统一的数据接入和访问。统一的数据接入和访问可以消除现有业务系统点对点直连方式带来的信息安全隐患, 并改变现有数据接口种类繁杂的现状, 降低运维工作量。

2) 规范化的数据管理。规范化的数据管理可以提升实时/历史数据共享和综合利用水平, 为各业务部门实施综合分析应用提供全面的数据支撑, 而不需要再从其他业务系统中获取所需数据。

新的基于海迅数据库的实时/历史数据平台可以有效整合实时/历史数据资源, 标准化的应用建设方式, 为国家电网公司探索实时/历史数据管理模式和应用建设提供经验。

2.2 部署架构

遵循国家电网公司SG-ERP总体规划, 按照国家电网公司典设中各网省公司应采用集中部署模式的要求, 以及浙江省电力公司制定发布的《实时/历史数据平台技术导则 (试行) 》的建设原则, 新平台采用全省集中式部署模式, 统一使用, 统一管理。基于海迅数据库的实时/历史数据平台部署架构如图2所示。

1) 在省公司集中部署数据库服务器和应用服务器, 从而做到数据和应用的集中部署, 符合国家电网公司典设要求。

2) 核心数据库 (海迅数据库) 支持分布式部署, 方便平滑升级扩容, 能满足浙江电网未来全省测点规模上千万乃至上亿的海量数据规模, 有效解决测点资源瓶颈限制。

该部署方式便于进行全省的统一数据规划、统一数据模型和统一数据标准, 同时便于基于新平台应用的全省推广。

2.3 统一数据接入和访问控制

基于海迅数据库的实时/历史数据平台横跨调度、营销、生产等多个部门, 集中存储SCADA、电量系统、用电信息采集、营销、在线监测等多数据源实时/历史数据, 业务应用将更趋向于综合应用。基于海迅数据库的实时/历史数据平台业务架构如图3所示。

作为浙江电网管理信息大区唯一的实时/历史数据管理平台, 调度、营销、生产等部门带有时标的、连续性的数据原则上都应按照统一的规范接入到平台中, 同时各业务部门的应用通过标准的数据访问服务直接从平台中获取所需的数据, 而非通过自行开发的非标准的数据接口从源系统获取数据, 从而实现新平台对数据接入和访问的统一控制, 降低信息安全风险。

平台提供标准的数据接入方法, 参考不同系统的实际状况, 遵循DL/T860、DL/T890等标准规约或以UAPI、E格式等方式, 将各类实时/历史数据接入到平台中。标准的数据接入接口应具备历史数据接入、异常处理等功能, 按照国家电网公司典设对数据接入的要求, 新平台应提供接口集中管理工具, 统一管理数据接入接口。

平台不仅提供多种形式的、符合DL/T 890组件接口规范 (Component Interface Specification, CIS) 的数据访问服务, 还通过Web Service技术提供了标准的、通用的实时/历史数据平台测点配置信息以及测点实时/历史数据访问方法[8]。常用的访问方法有服务器连接与身份验证、测点属性查询、实时数据查询和历史数据查询等。

2.4 平台应用

浙江省电力公司目前采用标准化和个性化应用并举的模式, 充分发挥一线员工的创新精神。因此, 新平台应支撑这两大类应用的开展。基于海迅数据库的实时/历史数据平台应用体系架构如图4所示。

个性化应用是指由公司各业务部门的基层人员根据自身需求自主进行开发的应用。利用平台提供的组态、报表、计算等二次开发工具来进行快速的界面开发, 底层则通过SDK等方式访问海迅实时/历史数据库中的测点信息和实时/历史数据, 一般为C/S架构。

标准化应用是指公司各业务部门提出具体需求, 由专业的技术人员进行系统化的应用开发。利用ASP、JSP或J2EE等技术进行Web应用开发, 通过CIS规范的数据访问服务或标准Web Service接口访问海迅实时/历史数据库中的测点信息和实时/历史数据, 一般为B/S架构。

由于新平台应用进行了省级集中部署, 为了能更方便地集中管理和发布这些应用, 需要提供以下相应的技术保障, 从而满足应用管理、访问权限管理、应用集中展示等用户需求。

1) 新平台应提供统一的用户管理和权限管理。

2) 新平台应提供应用展示模板和统一门户管理工具, 用于标准化应用的快速开发和集中展示。

3) 新平台应提供个性化应用开发管理工具, 用于开发、发布、部署和管理个性化应用。

2.5 基于CIM的数据管理

作为浙江电网管理信息大区唯一的实时/历史数据管理平台, 来源于SCADA、电能量、在线监测、用电信息采集等大量电力生产信息化系统或装置的实时/历史数据, 都将集中存储在新的数据平台中。

但这些数据是以数据测点的形式离散地存储在平台中, 既浪费了大量的基础平台测点资源, 也加大了综合利用业务数据资源的难度。因此, 通过电网资源公共信息模型 (Common Information Model, CIM) 对这些测点进行统一管理, 成为新平台建设的重要基础工作。

为了有效管理和综合利用这些实时/历史数据, 以DL/T890、DL/T860等标准为基础, 同时结合浙江省电力公司实际业务应用需要, 统一和整合各业务系统的CIM, 形成浙江省电力公司标准的数据模型, 通过企业数据访问总线的方式, 提供给各业务应用系统使用[9,10,11]。

新平台实现了CIM的管理和维护功能, 在统一管理和维护电网资源命名规则和量纲的同时, 兼顾测点数据的统一管理, 将测点数据与具体的电网资源绑定, 有利于合理规划和利用新平台测点资源。同时提供了通用的建模工具来创建数据模型, 考虑到公共信息模型数据之间关联性较强, 模型管理数据与测点管理数据存放在关系型数据库中, 以方便模型的管理和维护。

33平平台迁移技术策略

由于PI平台已经在浙江电力运行多年, 沉淀了海量实时/历史数据, 开发了大量实时业务应用, 因此平台迁移的过渡时期会存在PI平台和新平台共存的情况, 如何解决2个平台共存运行、平稳过渡的问题, 是平台迁移的关键点之一。在实时数据接入方面, 同时运行PI平台和新平台的数据接入接口, 分别保存数据, 使得2个平台相对独立, 互不影响;在历史数据接入方面, 新平台提供方便快捷的PI2HS数据迁移工具, 支撑数据的安全高效迁移;在应用迁移方面, 新平台提供组态、报表、计算等工具来替代PI平台原有的PI-Datalink、PI-Processbook、PI-ACE等工具, 同时还提供了PI平台所没有的工具, 如PI2HS图形迁移, 从而加快应用迁移的速度, 保证平台平稳过渡。

新平台采用了与PI平台不同的集中部署模式, 需重点解决测点规模、网络带宽等方面的关键问题。

1) 采用网省集中部署方式, 全省实时/历史数据汇集在一起, 存储数据量将非常庞大, 测点数据规模将高达上千万, 需要考虑数据库产品的测点规模问题。目前, 海迅实时/历史数据库支持稳定的1 000万测点版本, 并可通过分布式部署方式, 实现动态扩容, 满足大规模测点需求。

2) 采用网省集中部署方式, 各地市直接访问省公司的应用, 从地市到网省会不间断地传输实时数据, 势必对网络带宽造成一定压力。参照国家电网公司典设对网络压力进行理论估算, 若新平台同时有100万测点在进行数据查询操作和数据写入操作, 频率都为5 s/次, 占用的网络流量约为119 Mbit/s, 目前浙江省电力公司千兆级信息网络可以承受该情况下的实时数据传输压力。

同时在实际的网络环境中, 模拟大量客户端并发读写的情况, 对新平台的网络压力、并发事务的处理效率等进行了测试。参照PI平台中的压力情况, 模拟并发读写的客户端数量维持在800个左右, 数据读写频率达到秒级时, 服务器硬件资源基本达到饱和 (CPU占用持续超过85%) , 查询事件率为11.2万/s, 写入事件率为137.5万/s, 此时网络带宽占用约为17.8 Mbit/s。在这种压力条件下, 浙江省电力公司现有的骨干网网络能够支撑其正常运行。平台测试结果如图5所示。

4 结语

随着业务应用领域的拓展和大量业务应用的部署及数据接入, PI平台资源不足、应用水平发展不一以及部署架构与国家电网公司典设存在差异等因素都在制约着实时/历史数据应用的发展。围绕着坚强智能电网发展的总体目标, 密切结合浙江电网现状和发展需求, 通过基于海迅数据库的实时/历史数据平台的构建和平台迁移技术策略的研究, 为解决PI平台存在的问题提供了一个有效的手段和方法。

基于海迅数据库的实时/历史数据平台的建立, 为浙江电网海量实时/历史数据提供了一个标准规范的管理平台, 统一采集和接入、存储实时数据并提供标准的数据访问服务, 提升了信息共享和统一管理水平, 同时为浙江省电力公司各业务部门的应用提供了一个应用管理平台, 全面支撑业务应用, 为推动浙江电网实时/历史数据应用、挖掘实时/历史数据价值打下坚实的信息化基础。

参考文献

[1]田家英, 赵舫.PI实时数据库在供电企业中的应用[J].电力系统保护与控制, 2006, 34 (15) :46–49.TIAN Jia-ying, ZHAO Fang.Application of PI real-time database in power supply enterprise[J].Power System Protection and Control, 2006, 34 (15) :46–49.

[2]刘岩, 姚峰.PI实时/历史数据库在智能变电站的应用[J].浙江电力, 2011, 30 (8) :5–8.LIU Yan, YAO Feng.Application of plant information database in smart substation[J].Zhejiang Electric Power, 2011, 30 (8) :5–8.

[3]蔡振华, 李丰伟, 王亦勤, 等.PI数据库系统在无功电压管理中的应用[J].浙江电力, 2011, 30 (8) :24–26.CAI Zhen-hua, LI Feng-wei, WANG Yi-qin, et al.Application of plant information database to management of reactive power and voltage[J].Zhejiang Electric Power, 2011, 30 (8) :24–26.

[4]陈树勇, 宋书芳, 李兰欣, 等.智能电网技术综述[J].电网技术, 2009, 33 (8) :1–7.CHEN Shu-yong, SONG Shu-fang, LI Lan-xin, et al.Survey on smart grid technology[J].Power System Technology, 2009, 33 (8) :1–7.

[5]方明霞.PI数据库在浙江电网的应用现状与展望[J].浙江电力, 2010, 29 (4) :51–54.FANG Ming-xia.Application situation and prospect of PI in zhejiang power grid[J].Zhejiang Electric Power, 2010, 29 (4) :51–54.

[6]陶敏, 郭宁.PI实时/历史数据库系统平台架构优化[J].浙江电力, 2011, 30 (8) :1–4.TAO Min, GUO Ning.Optimization of platform architecture for plant information database[J].Zhejiang Electric Power, 2011, 30 (8) :1–4.

[7]王俏文, 陶文伟, 丁坚勇, 等.基于PI数据库的供电企业实时数据中心的设计与实现[J].电力系统自动化, 2009, 33 (6) :99–103.WANG Qiao-wen, TAO Wen-wei, DING Jian-yong, et al.Design and development of power supply enterprise real-time data center system based on PI database[J].Automation of Electric Power Systems, 2009, 33 (6) :99–103.

[8]周升, 陶敏.实时/历史数据库平台通用访问方法研究[J].浙江电力, 2012, 31 (12) :94–98.ZHOU Sheng, TAO Min.Study of universal access method in real-time/historical database platform[J].Zhejiang Electric Power, 2012, 31 (12) :94–98.

[9]张慎明, 黄海峰.基于IEC61970标准的电网调度自动化系统体系结构[J].电力系统自动化, 2002, 26 (10) :45–47.ZHANG Shen-ming, HUANG Hai-feng.Architecture of power dispatching automation system based on IEC61970 standard[J].Automation of Electric Power Systems, 2002, 26 (10) :45–47.

[10]张慎明, 卜凡强, 姚建国, 等.遵循IEC61870标准的实时数据库管理系统[J].电力系统自动化, 2002, 26 (24) :26–30.ZHANG Shen-ming, BU Fan-qiang, YAO Jian-guo, et al.Realtime database management system that conform to IEC61970standard[J].Automation of Electric Power Systems, 2002, 26 (24) :26–30.

煤矿瓦斯历史数据压缩技术研究 篇8

对于海量数据处理技术, 针对不同的信息要求常采用不同的数据处理方式。在煤矿海量瓦斯历史数据中, 占绝对多数的历史数据分布相对平稳, 关联性小, 对安全不构成威胁, 而极少数数据包含了安全隐患信息, 具有重大安全隐患特征。因此, 如何有效地采用数据处理技术, 从连续的历史数据序列中提取出这类包含危险信息的数据片断, 去除冗余的采样数据, 是一项值得研究的课题。

1 TSDP的基本原理与实现

1.1 安全隐患数据的特征

瓦斯历史数据的采样在时域分布方面总体上比较平稳, 那些具有威胁性的不平稳数据则具有危险特征, 需要通过数据处理技术从序列中提取其隐患特征进行分析。通常, 这类数据具有如下特点:

(1) 时域分布不均匀:对于存在安全隐患的瓦斯数据, 在时域上具有突发性, 即短时间范围内, 其采样值快速偏离正常范围, 分布具有不均匀性。

(2) 时隙内的数据包络变化趋势具有一定的规律:对于某类事件其采样值的包络分布具有相似性, 如炮后瓦斯浓度的变化规律具有相似性, 都是短时间内脉冲到达或接近某特征值, 然后随着通风系统的抽排, 其浓度缓慢回归到正常值。

(3) 包含多种安全隐患信息:各种不同的曲线包络蕴涵了不同的瓦斯浓度变化, 例如瓦斯突出的类型、突出时间、地质特征等信息。

1.2 TSDP的基本原理

根据危险数据的特征不难发现, 这些数据在一定时间范围内往往比较集中出现, 而且该范围内的均值超出安全警戒范围, 成为监管系统的重点监管对象。因此, 只要在时域序列中, 按一定的区间分别设置某些特定安全门限, 就容易检测出这类数据, 而这样的分段数据包络在整个时间轴上随机分布, 通过对这些被分段后的数据进行特征筛选就能有效地提取出时间序列中的有效数据。根据瓦斯数据的这些分布特征, 有必要从时间上按照一定间隔分割各时段的数据, 对各段数据分别按照不同的模型进行处理, 这就是分时段数据处理——TSDP (Time Slotted Data Processing) 技术。

煤矿工作面瓦斯浓度在不同时段的统计数据的数值特征A=E[f (t) ]和σ2=D[f (t) ]各不相同, 瓦斯浓度百分比变化基本上有下述几种分布规律。

(1) 炮后瓦斯浓度变化基本服从广义瑞利分布, 其概率分布密度:

undefined

式中:f (t) 为瓦斯变化分布函数;σ2为f (t) 的方差;A=E[f (t) ]为f (t) 的数学期望;undefined为f (t) 的零阶贝塞尔函数。

(2) 开采中的瓦斯浓度概率分布密度变化服从正态分布:

undefined

(3) 停采期的瓦斯浓度概率分布密度变化服从均匀分布:

undefined

除以上3种分布外, ρ (t) 还具有其它非统计特性分布规律。由此可见, 在不同阶段, ρ (t) 具有不同的数值特征。因此, 要判断在某时间范围内瓦斯浓度是否超出规定限度, 可以通过式 (4) 判断:

undefined

设定各区间过滤门限{ξl, ξ2l, …}, 若在[t1, t2]内求得的ξ超过该区间给定的值ξi, 则该段数据为危险数据, 应予以保留, 反之则舍弃, 从而达到对非特征冗余数据有效压缩的目的。

1.3 TSDP技术的实现

实现危险片断的提取主要有以下几个步骤。

(1) 时隙分割

设时间采样序列在单位采样周期Ts内为gi (t) =fi (t) , 则过程数据序列可被离散为

undefined

对g (t) 在时间轴t上进行展开, 并划分为若干个长度为l的固定的时间间隔 (为采样周期的整数倍) , 则可用式 (6) 表示, 分割过程如图1所示。

undefined

式中:j为区间划分的段数。

(2) 区间判决

根据不同的时间范围, 设定各区间过滤门限为{ξl, ξ2l, …}, ξi的取值将直接决定数据压缩的范围, 对于不同时间段的ξi, 其取值各不相同, 该门限值根据不同时段的瓦斯历史数据的分布统计确定。根据设定的ξi对g (t) 进行数据过滤, 可得到过滤后的序列g′ (t) :

undefined

(3) 区间抽取

设f (t) -ξi≤0时, f (t) -ξi≡0, 则:

undefined

式中:f′k (t) =fk (t) -ξk, 为采样值与设定门限的差值。

设g′ (t) 的数学期望为E[g′ (t) ], 则:

undefined

式中:P{f′k[ (jl+k) Ts]}为f′k[ (jl+k) Ts]出现的概率。

2 结论

(1) 根据煤矿开采实际, 瞬时瓦斯浓度超标并非是引起安全事故的决定因素, 瓦斯安全事故是由于其浓度随时间推移而累计超出极限的结果。因此, 瓦斯浓度适合利用过程分析理论进行分析处理。瓦斯浓度累计的界限实际是求ρ (t) 在不同时间范围内的数学期望A=E[f (t) ]与方差σ2=D[f (t) ], 适合将时间序列分段划分, 分别讨论。

(2) 由式 (8) 可知, 若∀[f (t) -ξi≡0], 则一定有mi

(3) 现实中考虑到采样值的随机性, 若P[f′k (kTs) ]=1/m, 则式 (9) 可简化为

undefined

由结论 (2) 中的假设, 在g′ (t) 的所有j分段时隙中, 一定存在undefined, 即平稳态的时间间隔内的数据均为安全数据, 将被作为冗余量被压缩, 因此必定有:j≤[n/l], [n/l]表示商取整, 即数据被成段压缩;undefined

当然, 还有一些影响计算的不确定因素, 如l的长度和ξk的取值, 需要通过长期的生产实践针对不同的开采区域来确定。

摘要：通过对煤矿瓦斯历史数据的特征分析, 采用统计分析理论, 文章提出了一种适合于煤矿瓦斯历史数据压缩的研究方法——分时段数据处理 (TSDP) 技术。该技术对海量历史数据进行分段压缩, 为其它实时系统数据处理和压缩技术提供了一种有益的参考。

关键词：煤矿,瓦斯,历史数据,压缩技术,分时段数据处理技术,安全门限,TSDP

参考文献

[1]李建铭.防治煤与瓦斯突出技术手册[M].徐州:中国矿业大学出版社, 2006.

[2]樊昌信.通信原理[M].5版.北京:国防工业出版社, 2001.

历史数据库 篇9

一、扩广度——用数据建构清晰的表象

表象是事物不在面前时, 人们在头脑中出现的关于事物的形象。只有外物正在刺激并经过感官转换来的、当下的信息才是表象。因为表象是“我”正接受刺激时信息对自我的一种呈现方式, 所以表象就会比观念更生动、强烈、实在。

知觉映像愈丰富, 记忆表象愈多样。数字作为一种知觉材料有助于强烈刺激的形成, 形成“刺激——表象——观念——语言——文字”之间的信息转化。

那么, 怎样利用数据的特征有效构建清晰的表象呢, 可从表象的两大特征入手。

1. 用“关键数字”强化刺激, 凸显直观性

“表象”形成的心理特征之一是直观性, 越直观的材料越容易形成丰富的表象。虽然“历史是个任人打扮的小姑娘” (胡适语) , 但数字作为变数较少的“关键”史料, 具有其他材料不可比拟的直观性。面对海量的资源, 删选、运用关键数字, 把关键数字作为一种知觉材料对学生的感觉进行刺激, 通过大脑的信息加工, 有利于初步表象的形成。关键数字的删选原则有以下几方面。

第一, 精确明了。以《圆明园在哭泣》为例, 为了体现圆明园是一个具有无数珍宝的神奇之园, 教师出示了圆明园中的一件珍宝——粉彩霁蓝描金花卉大瓶, 这个花瓶在现代拍卖行的价值是2 365万元。一个花瓶就价值如许, 可见其他珍宝的价值了。精确的数字, 为孩子感知历史提供了清晰的轮廓, 无形中加强了材料的可信度与说服力。

第二, 富有震撼力。以《悲愤的吼声》为例, 教师肯定会选择“30万”被屠杀者这个所有中国人都不会忘记的血泪数字。在血红的30万数字的背景下, 伴着被害国人活埋后只露出地面的两只手, 学生的情感之弦被深深地拨动。

第三, 便于比较。在《从四大发明说起》一课中, 笔者根据资料设计了一个“猜想11世纪欧洲一本《圣经》价格”的活动。得知区区一本《圣经》却需要500个德国金币 (可以买下当时半条街的房子) 的事实, 学生目瞪口呆。接着, 笔者补充:“活字印刷术发明后, 一本《圣经》就只要一个金币了。”孩子们再次发出了惊叹。这个环节, 教师所用时间少, 前后对比明确, 学生深刻体会到了印刷术的伟大。

2. 用“一组数字”整体感受, 提高概括性

从心理特征来看, 表象是多次知觉概括的结果, 它有感知的原型, 却不限于某个原型。因此, 表象具有概括性, 是对某一类对象表面感性形象的概括性反映, 这种概括常常表征为对象的轮廓而不是细节。

从历史题材学习的特征来看, 历史是一个系统知识链, 仅仅依赖于一个“点”的具体分析, 是无法让学生深刻感悟的。只有把“点”拓宽和延伸成“面”, 才能对历史有完整的认识。

综上可知, 教师通过“一组数字”的运用可以让孩子非常全面地了解史实, 形成表象的轮廓, 在整组数字的层层推进中, 全面建构历史知识的框架。

例如在《圆明园在哭泣》一课中, 教师可出示一组数字 (见表1) 。

让学生先读读这些数字, 说说单个数字的感受, 然后通过计算得出赔款总额为11.94亿两白银, 而当时1901年清政府的财政总收入约12亿两白银, 一户平民百姓的年收入是10两银子。大与小, 多与少, 官府与平民, 学生通过这一组数据的解读、精确的对比, 很形象地了解了当时清朝政府的懦弱与无奈。如此精当的选材无疑提升了学生对当时清政府赔款的认知高度, 这是单个数字难以匹敌的。无论是认知维度的多元、认识程度的深刻、运用方法的多样, 整组数字的运用具有天然的优势。当然, 这样理想的整组数字材料需要教师“慧眼”所见。如何巧妙运用, 需要教师“慧心”所思, 运用难度较大。

二、挖深度——用数据唤醒“沉睡”的形象

在未达到理智年龄之前, 孩子通过“形象”来理解世界, 历史教学很多时候就是建构形象的过程。只有建构了生动、具体的形象, 找到了进入孩子世界的通道, 学生的情感之火方能点燃。

1. 换算——拉近“形象”的距离

有些形象其实学生早就知道, 但是, 平时熟视无睹, 未加审视。如果教师能够在教学中运用数字手段唤醒孩子原有的形象储备, 深挖巧掘, 移情体验, 会有不错的教学效果。

例如有位教师在《从四大发明说起》中为了让学生体会“纸”比“竹简”的进步之处, 就设计了以下教学环节。

(1) “算一算”:如果一根竹简能写10个字, 那么, 东方朔给汉武帝的那封信大约有多少字 (用了3 000多根竹简) , 如果用教科书那么大的纸来写, 每页按1 500字计算, 大约只需要多少页?学生回答:20页。教师随即比划一下20页的厚度。

(2) 我们使用的《品德与社会》书有11万字, 如果用竹简大约要多少根?

生:11 000多根。

师:那该怎么拿?

学生七嘴八舌, 有的说用卡车装, 有的说用六七个人抬……

师:那我们上品德课就要被淹没在竹简的海洋里了。 (听课教师与学生齐笑)

师:再估算一下, 自己书包里所有的书, 如果用竹简书写, 大约需要多少根?

生:一百万根……

师:现在大家知道“学富五车”的含义了。同学们, 你们有一书包的书, 按古代标准, 你们都是学富五车啊。 (学生大笑)

(3) 通过以上的活动, 说说纸有哪些优点。

生:“便宜”, 带起来很方便, 很轻巧……

从3 000多根竹简到20页纸, 从一本品德书到11万根竹简, 再到学富五车的含义解读, 数字不再枯燥与理性。学生在明确、形象的对比中体会到了纸的优点。教师通过巧妙的计算唤醒了孩子对于纸的形象, 原本每天见面的书本竟然还是人类历史文明进程的产物, 孩子们恍然大悟, 印象深刻。

2. 借喻——深化“形象”的感受

数字往往使历史抽象化, 这种抽象使得学生只能在远处冷漠地旁观历史。通过借喻, 能启发学生的积极思维, 有利于对所学知识的理解掌握, 而且印象深刻。借喻, 使数字具体、形象, 往往能吸引着学生慢慢前行, 去体验蕴藏在数字中的真实历史。

(1) “被借喻的事物”要熟悉、得体。既然是借喻, 就有本体、喻体之分。如果教师采用的喻体太抽象, 同样毫无益处。如在教学《悲愤的怒吼》时, 有这样一段资料:侵华日军于1937年12月13日攻陷中国的南京之后, 进行了长达6个星期的大规模屠杀。在大屠杀中有至少30万以上中国平民和战俘被日军杀害。一位教师在交流过程中补充了一个借喻:如果我们细细算一算, 在这42天中, 每天就有7 500人被杀, 每小时就有312.5人被杀, 每分钟倒下的同胞就有5人。这些尸体有的被焚烧, 有的被埋入深坑, 还有的被推入江河。如果把这些尸体堆起来的话, 有10个珠穆朗玛峰那么高。如此借喻阴森恐怖, 读来令人不寒而栗。再者, “珠穆朗玛峰”的高度对于小学生来说相对陌生, 学生的情感之门难以叩开。其实, 对于“30万”这个数字, 尸体的堆积高度可以换算成当地最高的建筑, 学生才更容易理解。

(2) “被借喻的事物”要形象、直观。借喻的事物与本体之间要有一定的相似性, 这是启发学生思维的纽带。为了让孩子对中国的年代有形象直观的了解, 教师可运用一根“数轴”来表示中国所有的历史年代, 哪个朝代位于哪个位置, 相互之间距离的远近一目了然。

朱光潜在《谈美》中曾深刻地提出了人的感受性与事物的存在性的辩证关系, 事物的客观存在并不等于人的主观感受。孩子们能否“见”到教师要刻意塑造的形象是教学的关键。通过数字“换算”“借喻”等策略, 以孩子可感知的手段拉近学生与形象间的距离, 加深学生对相关事物的了解, 重塑学生对相关事物的形象, 历史才开始“活”起来。

三、提热度——用数据推进情感的意象

意象比表象、形象的内涵更丰富。历史题材的教学内容远离学生的生活世界, 要把学生带进久远的历史世界, 让学生对历史事件与历史人物产生心灵的认知交流是一件很不容易的事。实践经验表明:学生的情感因素对拉近学生与历史之间的距离感有着重要的作用, 因此要上好历史类题材的品德课就要有强烈的情感基调意识, 哪怕是在数字运用中也是如此。

1. 猜想——唤起期待

教师仅仅是枯燥地罗列数字往往唤不起学生的兴趣, 只有做足前戏, 在关键数字出现前让孩子们猜一猜, 通过猜想, 摸清孩子的知识起点与情感期待, 然后通过正确数字结果的公布, 才能达到教学的目的。

例如在造纸术、印刷术发明的时间与传播途径的知识教学中, 笔者以发明时间为纬, 以传播途径为经, 进行教学。造纸术在中国发明于公元2世纪, 请学生猜一猜传播到欧洲的时间, 孩子们有的猜过了100年, 有的猜过了400年, 但是谁都没想到过了1 000年。笔者公布过了1 000年的答案, 引发学生一阵惊叹。通过正确答案的公布, 孩子们理解了中国造纸术的发明时间之早, 领先世界水平之高。

2. 铺垫——呈现细节

历史细节如同活的化石, 有着自己的喜怒哀乐, 自己的质感和心跳。在课堂教学中, 老师要摸准细节的脉搏, 用多种方式再三铺垫, 呈现细节时才能达到“于无声处听惊雷”的效果。在教学《圆明园在哭泣》时, 笔者是这样一步步呈现的:

(课件出示圆明园兽首铜像)

师:北京保利集团花了3 000万港币从国外收购回来了牛头、猴头和虎头。后来还收回一个猪头, 又花了700万港币。一个铜做的兽头值这么多钱, 有没有人知道这是为什么?

生:因为它是历史文物。

生:因为它做工很精致。

师:是啊, 不仅如此, 它还是一座设计精巧的喷水池的一部分。

(课件出示海晏堂三维动画录像。)

学生发出惊叹声:原来这是一座喷水的钟啊!

生:在清朝的时候, 根本没有电, 他们设计的机关太巧妙了!

生:这种设计, 它的价值根本没有没有办法用钱衡量。

(课件出示先秦青铜器、《四库全书》《女史箴图》、六方套瓶、黄金制作的编钟。学生在惊叹声中了解到圆明园珍宝的价值无法计算。)

师:没有谁能说得清圆明园里到底有多少珍宝。

(课件出示其他珍宝)

学生在梦幻般的音乐声中闭息凝视, 欣赏, 感叹!

师:这就是圆明园。同学们, 看到这里, 你对圆明园又有什么新的认识?

生:它就是一座艺术品的宝库。

生:它的金银财宝根本没有办法计算价值。

生:它是我们中华文明、文化的结晶。

师:可是侵略者就把它毁了, 华丽的丝绸和衣服被抢光烧光了;历代书画家的作品被抢光烧光了;上至先秦, 下至唐宋元明清, 历代奇珍异宝被抢光烧光了;精美的建筑物被火烧塌了……圆明园为什么要哭泣?

生:圆明园为这么多珍宝被毁而哭泣。

生:圆明园为清朝政府无能而哭泣。

生:圆明园为中国被侵略者欺负而哭泣。

……

如今, 当我们再次踏上这片土地的时候, 呈现给我们的是一片废墟。孩子并没有对“万园之园”有多深的了解, 我们只能从被掳去的个别物品的价值中感受到损失是不可估量的。虽是“不可估量”的, 但是不可估量可能比一个具体数值更能让学生理解“哭泣”的真正含义。

课堂中, 精心选择数字, 运用数据, 赋历史以生命, 立足于学生原有经验, 开展深度对话。把数字作为一种“活性因子”, 激发师生之间的对话与共享, 以增强、提高学生的自我建构和自我发展能力。

历史数据库 篇10

随着电网企业坚强智能电网建设的逐步推进, 产生了大量的实时数据, 继而沉淀生成海量的历史数据, 这些海量实时/ 历史数据都是电网企业生产运行过程中的重要财富, 是实现精益化管理的重要信息基础。在这一背景下, 浙江省电力公司积极探索和尝试, 初步建立了以国产实时数据库为基础的实时/ 历史数据平台, 以满足各业务应用对实时/ 历史数据进行存储、整合、共享以及统一和标准访问的需求。但目前平台在应用层面仍缺少统一规划, 亟需形成一个统一的应用技术架构。

1 现状分析

实时/ 历史数据平台是对电网生产运行过程中各业务应用形成的实时/ 历史数据进行存储、集中、整合、共享和分析的场所, 同时提供标准统一的访问方式, 是为智能电网和SG-ERP各业务应用——特别是跨专业、跨部门的综合业务应用在实时/ 历史数据层面提供技术支撑的信息基础设施[1,2]。

《国家电网公司海量历史准实时数据管理平台典型设计》中对实时/ 历史数据平台进行了明确定位:一方面是SG-ERP的实时数据中心, 与结构化数据管理平台、空间数据管理平台和非结构化数据管理平台共同构成SG-ERP数据中心;另一方面, 也是各业务构建实时/ 历史数据计算分析应用的基础支撑平台。根据国家电网公司典设要求, 实时/ 历史数据平台在数据管理和应用管理上都要具备良好的可扩展性和可维护性, 以支撑各业务应用持续发展的需要。同时要求在实时/ 历史数据平台建设过程中, 确保业务应用规范化实施和统一化管理。

目前, 国内外针对实时/ 历史数据应用的技术框架主要偏重于数据管理方面, 如数据接入、存储、访问等方面的技术框架和技术标准较多[3,4,5]。对于应用技术框架, 则没有相关的规范和标准。

从国家电网公司内部来看, 华北、上海等实时/历史数据管理平台建设试点单位偏重于数据管理方面规范和技术的研究, 在应用规划和应用实现技术框架上, 都没有深入的研究和成型的成果。

浙江电力在2012 年开展了实时/ 历史数据平台验证性研究和建设工作, 制定了实时/ 历史数据平台技术规范, 初步在实时/ 历史数据的接入、存储和访问方面制定了相应的技术规范, 并在此基础上构建了浙江电网实时/ 历史数据平台。但在平台应用规范化管理方面, 尚未制订相关的标准和技术规范, 大多地市局个性化应用使用平台提供的二次开发工具实施, 少量全省标准化应用沿用相关厂商各自的技术框架, 并且按照各自的应用实施方案设计、开发和运维具体业务应用, 且独立部署。这与全省“统一平台”理念相背离, 也不符合国家电网公司典设方案中实时/ 历史数据及其应用的集中、统一管理要求。

因此, 从平台应用集中、统一和标准化管理要求出发, 综合考虑平台应用的可持续发展, 在“统一平台”应用规范化管理层面应对平台应用技术框架规范进行统一。

2 统一应用技术架构

2.1 总体架构

根据国家电网公司典设要求, 浙江电网实时/ 历史数据平台采用全省大集中的部署模式。为了促进平台上应用的规范化发展, 尤其是省级综合应用的统一规划和实施, 应采用统一的应用技术架构, 即参与平台上应用建设的开发单位必须遵循统一的应用技术框架实施平台标准化应用, 使得不同的业务功能模块将打包合并到一个运行环境中。应用平台总体架构如图1 所示。

该架构主要有以下特点。

1) J2EE架构。应用平台基于J2EE架构, 所有应用模块将运行在一个统一的Web APP中。

2) 数据库。业务应用基于实时数据库和关系型数据库, 实时/ 历史数据都存放在实时数据库中, 各业务应用通过实时数据库提供的API、SDK等实现对实时/ 历史数据的访问。应用平台中用户、组织结构、应用权限及元数据 (测点属性中与具体业务密切相关的元数据) 管理等采用关系型数据库进行存储和管理。

3) 系统鉴权服务。业务用户对应用系统的访问必须通过平台提供的鉴权服务, 只有合法的用户能够访问相应的业务模块。

4) 单点登录。系统实现与企业门户系统的集成, 并实现用户单点登录, 用户登录企业门户后, 无需输入用户名和口令, 可直接访问集成的各应用系统。

5) 基础业务应用。应用系统平台的基础应用主要包括组织人员管理、应用权限管理、系统管理、个人主页设置和测点管理等功能模块。1组织人员管理:主要用于提供覆盖全省的各业务单位的组织结构, 以及与之相对应的用户信息。2应用权限管理:提供对系统用户的角色分配功能, 并对所有业务模块相关功能进行权限的配置和绑定。3系统管理:为具体业务应用系统提供服务监控、日志记录、活动审计和系统参数配置等。4个人主页设置:主要提供用户个性化的主页设置, 包括一些用户个性化参数设置。5测点管理:是对实时/ 历史数据平台原测点管理功能的扩展, 在关系型数据库中维护测点的基本信息, 提供实时数据库测点与运检、营销、调控等专业平台中设备的对应关系, 同时提供测点关联关系的维护, 并可绑定相关权限。

6) 按专业分类业务应用。未来应用平台将广泛应用于运检、调控、营销、规划辅助以及信息资源监控等业务的信息化管理, 这些业务功能模块将基于实时/ 历史数据平台, 采用统一的基础架构, 包括组织、人员、权限、测点管理等, 为各专业定制功能。

7) 系统接口服务。应用平台中将提供统一的系统接口服务, 对外部业务系统 (如运检、营销、调控等系统) 提供实时/ 历史数据和相关业务功能的访问。同时提供对接口服务的监控和审计。

2.2 应用权限管理

在实时/ 历史数据应用平台中, 采用基于角色的访问控制 (Role-Based Access Control, RBAC) 方法进行应用权限控制。在RBAC中, 包含用户、角色、许可权等基本数据元素, 权限被赋予给角色, 而不是用户, 当某个角色被指定给某个用户时, 此用户就拥有了该角色所包含的权限[6,7,8]。会话Sessions是用户与激活的角色集合之间的映射。RBAC3 模型如图2 所示。

RBAC3 模型在传统的RBAC模型上引入了角色继承和责任分离2 种特性, 采用RBAC3 模型的权限控制具有以下特点。

1) 权限指派关系可以根据需求和临时情况动态调整和修改。由于权限与角色相关联, 用户通过成为适当角色的成员而得到这些角色的权限, 这极大地简化了权限的管理。在一个组织中, 角色可根据业务工作而被建立, 用户则依据相应的责任和资格来指派相应的角色, 用户可以很容易地从一个角色被指派到另一个角色。角色可依新的需求和系统的合并而被赋予新的权限, 而权限也可根据需要而从某角色中回收。

2) 角色可继承。除了具有自身的属性与权限之外, 还可以继承其他角色, 从而自动拥有被继承角色的属性与权限。如付费用户可以继承普通用户的属性与权限, 超级管理员可以继承普通管理员的属性与权限。

3) 角色可约束。约束原则将在权限被赋予角色时, 或角色被赋予用户时, 以及当用户在某一时刻激活一个角色时被强制性遵循。约束原则包括角色的互斥关系, 即互斥角色不能同时处于活动状态, 以及角色的最大活动会话数量受限规则等。

4) 提供对实例级别对象控制权限。在RBAC模型中, 资源对象是权限控制的目标, 将资源与角色指派关系绑定后将决定用户对资源的操作权限[9,10], 因此在应用平台中资源的定义及划分的颗粒度决定了系统权限控制的精细程度。权限设置方法见表1 所列。

2.3 个人主页设置

实时/ 历史数据应用平台为用户提供灵活的页面展示方式, 除了默认的主页外, 用户还可以自定义个人主页, 并可选择登录后采用何种主页模式。

1) 缺省主页展示。系统默认为每个用户提供应用访问主页, 根据权限设置情况, 每个用户的主页中只展示允许该用户访问的业务功能模块, 每个应用模块提供一个入口链接, 用户通过入口可进入系统, 每个业务应用具有独立的页签展示导航菜单和数据视图。当管理员重新分配用户权限后, 用户默认主页中相应业务模块展示将进行调整。用户可在工作台页面上查看业务模块的属性, 主要包括业务模块相关的权限设置情况。如果该用户具有该模块的管理权限, 可进行角色添加和用户指派。

2) 个性化主页定制。用户可以对个性化主页的布局进行选择, 系统支持多种布局方式。用户选定的布局方式将作为用户的个性化参数之一, 可以自行进行维护。用户可以在选定的布局中, 设置需要展示的内容组件。每个业务应用都可以配置作为展示的资源 (可以在应用权限模块中由管理员进行配置) , 如果用户具有这些资源的访问权限, 即可选择并放置到个人主页中。用户可对个人主页中的内容组件进行维护, 包括增加或删除, 同时也可在页面中拖拽调整各内容组件的位置。用户设置完成个性化主页后, 登录系统时将默认打开该页面。

2.4 测点管理

应用平台中的测点管理主要是为了建立实时数据库测点与外部其他业务系统设备模型之间的对应关系, 并建立相关的设备对象元数据。设备模型对应关系如图3 所示。

目前外部业务系统主要有生产系统、营销系统和调度系统等, 这些系统均有自身独立的设备管理模型, 当实时/ 历史数据平台接口服务器接入设备测点数据时, 如果只建立设备和测点的对应关系, 则最终无法形成不同业务系统之间设备模型的对应, 而通过设备元数据 (包括设备类型、电压等级、所属单位、变电站、间隔、设备名称等) 的维护管理, 可以判定重要元数据一致的测点所采集的数据来自于同一台设备资源, 为将来跨业务系统进行业务功能设计提供基础。同时通过建立对象元数据, 可以更方便地对测点对象根据元数据 (如按电压等级、设备类型等) 进行分类统计和查询。

此部分的主要功能如下。

1) 自动建立测点对应关系。当系统从接口采集数据时, 根据预先建立的设备匹配原则, 对满足条件的设备自动创建测点和设备对应关系, 并提取设备元数据信息。设备元数据信息包括设备类型、电压等级、变电站、所属单位、数据所属业务系统、设备名称等。

2) 提供手动方式对测点关联信息和设备元数据进行维护, 包括信息的增加、删除、修改和查询。

3) 提供对测点数据的分类统计报表, 用于分析测点建设情况。

4) 提供对测点对应关系和元数据的导入和导出, 数据格式可采用CSV或XML。

2.5 系统接口服务

实时/ 历史数据平台需要为外部系统提供一系列数据访问服务, 涉及的数据范围包括电网数据、电量数据、设备监测数据、用电运行数据、电能质量数据、环境气象数据、雷电监测数据、发电运行数据以及其他历史/ 准实时数据等。

应用平台向外部业务系统提供Web Service服务, 采用标准的跨平台的方式提供数据访问服务[11,12], 具体功能如下。

1) 提供的Web Service服务支持用户验证, 通过验证的用户在访问相关数据时需要满足应用平台中数据访问权限设置, 用户无法访问未经授权的数据。

2) 提供各类历史/ 实时数据的查询服务, 包括最新数据查询、历史数据查询、历史数据统计、报警时间查询等。

3) 可以通过设置启用或禁用指定的数据访问服务。

4) 可以对服务的访问者进行启用或禁用管理。

5) 可以对数据访问情况进行统计分析, 对可能造成性能问题的服务进行分析并实施控制。

3 结语

实时/ 历史数据平台应用技术架构是实时/ 历史数据平台研究的一个重要领域, 与核心基础数据库产品以及数据规范化接入、存储、访问的研究有着同等重要的意义。通过对实时/ 历史数据平台上应用现状的分析, 研究满足各业务应用需求的统一技术构架, 一方面可以提升实时/ 历史数据平台应用的整体管控能力, 改变现有平台上业务应用缺少统一规划和规范化技术架构的现状, 改变现有应用技术支持厂商各自为政、存在技术壁垒的现状, 形成平台应用建设的良性生态链;另一方面可以提升实时/ 历史数据平台应用的信息化水平, 有效地沉淀和积累技术及业务能力, 提升应用的实用化水平, 有利于平台应用能力的可持续发展。

参考文献

[1]方明霞.PI数据库在浙江电网的应用现状与展望[J].浙江电力, 2010, 29 (4) :51–54.FANG Ming-xia.Application situation and prospect of PI in Zhejiang power grid[J].Zhejiang Electric Power, 2010, 29 (4) :51–54.

[2]王俏文, 陶文伟, 丁坚勇, 等.基于PI数据库的供电企业实时数据中心的设计与实现[J].电力系统自动化, 2009, 33 (6) :99–103.WANG Qiao-wen, TAO Wen-wei, DING Jian-yong, et al.Design and development of power supply enterprise real-time data center system based on PI database[J].Automation of Electric Power Systems, 2009, 33 (6) :99–103.

[3]樊勇, 徐孝忠, 严浩军, 等.电网企业实时数据管理方法和工具的探讨[J].华东电力, 2012, 40 (3) :485–487.FAN Yong, XU Xiao-zhong, YAN Hao-jun, et al.Real-time data management methods and tools for power grid enterprises[J].East China Electric Power, 2012, 40 (3) :485–487.

[4]张鹰, 汤磊.SCADA与PI间的数据接口及通信规约设计[C]//2006电力系统自动化学术交流研讨大会论文集, 2006:195–197.

[5]田家英, 赵舫.PI实时数据库在供电企业中的应用[J].电力系统保护与控制, 2006, 34 (15) :46–49.TIAN Jia-ying, ZHAO Fang.Application of PI real-time database in power supply enterprise[J].Power System Protection and Control, 2006, 34 (15) :46–49.

[6]张燕燕.基于角色访问控制的实现研究[J].网络安全技术与应用, 2006 (8) :53–54.ZHANG Yan-yan.Implement of role-based access control[J].Network Security Technology and Application, 2006 (8) :53–54.

[7]姜宇锋, 付钰, 吴晓平.基于RBAC的权限系统设计与实现[J].计算机与数字工程, 2009, 37 (6) :98–101.J I A N G Yu-f e n g, F U Yu, W U X i a o-p i n g.D e s i g n a n d implementation of authorization system based on RBAC[J].Computer and Digital Engineering, 2009, 37 (6) :98–101.

[8]董永峰, 陆军, 刘建波, 等.改进的RBAC模型在信息服务平台上的应用[J].计算机应用与软件, 2012, 29 (5) :99–103.DONG Yong-feng, LU Jun, LIU Jian-bo, et al.Application of improved RBAC model to information service platform[J].Computer Applications and Software, 2012, 29 (5) :99–103.

[9]吴江栋, 李伟华, 安喜锋.基于RBAC的细粒度访问控制方法[J].计算机工程, 2008, 34 (20) :52–54.WU Jiang-dong, LI Wei-hua, AN Xi-feng.Method of finely granular access control based on RBAC[J].Computer Engineering, 2008, 34 (20) :52–54.

[10]赵卫东, 毕晓清, 卢新明.基于角色的细粒度访问控制模型的设计与实现[J].计算机工程与设计, 2013, 34 (2) :474–479.ZHAO Wei-dong, BI Xiao-qing, LU Xin-ming.Design and implementation of fine-grained RBAC model[J].Computer Engineering and Design, 2013, 34 (2) :474–479.

[11]陶敏, 郭宁.PI实时/历史数据库系统平台架构优化[J].浙江电力, 2011, 30 (8) :1–4.TAO Min, GUO Ning.Optimization of platform architecture for plant information database[J].Zhejiang Electric Power, 2011, 30 (8) :1–4.