数据库处理系统

数据库处理系统（共12篇）

数据库处理系统 篇1

1 历史数据库

在工业生产中,要维护大量共享数据和控制数据;又需要实时处理来支持其任务与数据的定时限制[1]。传统的实时系统虽然支持任务的定时限制,但它针对的是结构与关系很简单、稳定不变和可预报的数据,不涉及维护大量共享数据及它们的完整性和一致性[2]。实时数据库需要对一系列的概念、理论、技术、方法和机制进行研究,并对各个功能模块做详细周到的设计[3,4]。

历史数据处理作为工业实时数据库系统的一个核心功能,其主要作用是保存实时数据的历史记录。由于先进控制应用和实时优化的需要,有一部分历史数据被访问的频率可能很高,为了减小磁盘的读写负担,需要在内存中保存部分近期的历史数据,称之为内存历史数据。另外,对于超过一定时限陈旧的数据,需从内存中清除,并做一定的处理,然后转存到磁盘文件上。

1.1内存历史数据库

有部分历史数据是保存在内存里的。因为某些先进控制软件和实时优化软件等需要频繁访问这些数据,而内存的存取速度快的特点可以充分满足这些软件的实时访问需求。根据需要可以将某些历史数据有选择性地保存到磁盘历史数据库中[5]。

1.2 磁盘历史数据库

磁盘历史数据库主要以磁盘文件的形式存储历史数据。这种以磁盘文件为介质的形式适宜于存储长时间、大量的历史数据。同时便于转移、备份历史数据。为了使磁盘历史数据库具有快速、稳定的存储、读取性能,历史数据文件的结构、数据缓冲区的设置及使用的压缩算法等设计都是至关重要的。

目前,实时数据库市场主要为国外的 PI(PlantInformation system)、Industrial SQL Server 等几大品牌所占据。这几个实时数据库在技术性能、功能扩展等方面是比较先进成熟的。

PI 采用了独到的压缩算法和二次过滤技术,这使得 PI 成为实时数据库中压缩性能最为优越的一个。根据计算通过 PI 的数据压缩技术的处理,104点/s 数据存储一年,仅需4 G 空间。性能优越、使用简单等优点使得 PI 成为应用最广泛的实时数据库产品[6]。

IP21(InfoPlus.21)用于集成生产过程信息与高层次应用程序的基础数据平台,它使用户可以访问和集成来自整个工厂范围内 DCS 及 PLC 的数据,它通过功能极强的分析工具、历史数据管理、图形化的用户界面和大量的过程接口来访问和集成数据。IP21是一个智能化实用化的信息管理系统,它可以提供给用户最需要的东西:合适的实时应用支持、多线程、客户机/服务器结构。先进的过程数据服务器和历史数据管理在应用的任何地方都是可行的,特别是其灵活的数据结构可以根据应用的需要重新定义以适合自己的应用系统的需要。

Industrial SQL Server 是由数据采集、数据压缩、生产动态浏览和历史数据归档等功能构成一个完整的实时数据库系统,实时数据和历史数据用专门的文件保存[7];数据库服务器内嵌 MS SQL Server,使其具备关系型数据库特性,增强了复制功能,集成了 Mail 和Internet。它是第一个可满足工厂对数据采集速度、存储量要求的实时关系型数据库,是常规关系型数据库的数据采集速度、存储量的数百倍;它扩展了 SQL 语句,使其具有了时间特性。

上述几大实时数据库虽然在很多方面都很先进,但也存在一些不足之处需要改进。首先,现今几大实时数据库的历史数据查询性能有待提高。影响到查询性能一个很重要的因素是历史数据的文件结构,尤其是索引结构。另外,各实时数据库生产商在历史数据的压缩处理这方面下了很大的功夫,尤其是 PI 在这方面做得很好,但是历史数据的压缩效率还有提升的空间。

2 历史数据存储过程

实时数据库通过接口软件从下层采集数据,这些数据同时被写入到内存历史数据库和磁盘历史数据库中。某个测点在内存数据库中保存的历史数据长度,在测点组态时就已确定。当保存的内存数据长度超过这个值时,相对陈旧的数据将会被新采集到的数据替换。而将写入到磁盘的历史数据,只要磁盘空间足够大,一般是没有长度限制的。整个工厂的过程数据存储量是巨大的,不进行相应的压缩处理必将浪费大量的存储空间。因此,数据压缩是历史数据写入到磁盘之前的重要处理环节。

如图1所示,实时数据库通过接口软件从下层设备采集数据,采集方式可以是多种多样的。当今比较通用的是用 OPC(OLE for Process Control)通信方式获取数据,此时接口软件即相当于一个 OPC 客户端,通过网络获取 OPC 服务器提供的数据。接口软件获取的数据有2份拷贝,一份传至内存数据库,替换掉内存数据库内原有的陈旧数据;另外一份则通过调用磁盘历史数据库模块做一些相关处理,将数据写入到磁盘文件。其中,历史数据库的历史数据存取模块是提供对历史数据读取操作的相关接口。工厂过程数据如不经过任何处理全部存入磁盘文件,占用的空间将会是相当庞大的。因此,过程数据在存入磁盘之前需要经过相关的压缩处理。各种数据类型所采用的压缩方式有可能是不一样的,压缩算法在本文后面章节有详细描述。此外,为防止频繁进行磁盘写操作,内存中开辟了历史数据缓冲区,需要存入磁盘的过程数据首先放在缓冲区,当缓冲区中积累了一定数量的历史数据时再一次性地写入到磁盘历史数据库文件中。

3 内存历史数据库管理

在实时数据库中可能有一部分测点的近期数据将有可能被频繁访问,若每次访问这些测点数据都从磁盘上临时读取,这对磁盘将会是一个很大负担。内存历史数据库即是用作存放这些数据的。

在测点组态时,可根据需要设置各个测点要保存的内存历史数据长度。内存数据库根据组态信息预分配数据空间。进入内存数据库的数据都是经过压缩处理的,过程数据源源不断地通过接口软件采集而来,填入到内存数据库的数据区。当数据区填满时,陈旧数据从数据区中被淘汰掉,取而代之的是新采集来的数据,以保持测点数据的实时性。

4 磁盘历史数据库管理

各位号的磁盘历史数据是以磁盘文件的形式存在的。所设计的磁盘历史数据库中存在2种文件:历史数据文件和管理信息文件。一个实时数据库项目通常有一个管理信息文件及多个历史数据文件。历史数据文件主要存放位号历史数据及相关的索引信息;而历史数据管理文件保存了实时数据库中所有历史数据文件的信息及文件间的时间索引,以便快速定位某时间段对应的历史数据文件。

4.1磁盘历史库的文件描述

4.1.1 历史数据文件

历史数据文件采用的是页面存储管理方式,这样可以提高存储和访问效率。页面大小设置为多少最合适,可以根据相关性能方面的测试获取,历史数据文件结构如图2所示。

历史数据文件一般都有一个文件头页,这个页面记录了本数据文件的首个空页、空索引页的位置、页总数及页尺寸等信息。文件头页为整个文件的起始页,文件头页后紧跟着的是大量的数据页。数据页分为历史数据页和索引数据页2种类型。

历史数据页中存放位号的历史数据。一个位号的历史数据可存放在多个页面上,但一个页面不可存放多个位号的历史数据。同一个位号的历史数据可能分散在不连续的数据页内,这些不连续的数据页通过时间索引链接在一块,于是形成同一位号的历史数据链。历史数据链中的数据是以时间顺序排列的。时间索引页为测点历史数据建立一段顺序时间索引,为了提高查询速度,一个时间索引页中保存多个时间索引。每个时间索引都对应着本文件内一个历史数据页。同一时间索引页中存放的均为相同位号数据页的索引,同位号诸多索引页之间通过某种机制前后链接在一起形成索引链。并且这个索引链是跨文件的。如此通过对索引链的前后查找,就可以定位到某待查询时间的历史数据所在的页,然后再通过二分查找或者顺序查找的方式,定位到该数据页中那个要查找的历史数据。

4.1.2 管理信息文件

历史数据库的管理信息文件主要记录那些正在被实时数据库使用的历史数据文件。其主要目的是快速定位到某时间段对应的历史数据文件。一个实时数据库项目中一般有一个管理信息文件,另外还有很多个历史数据文件。管理信息文件与历史数据文件如图3所示是一对多的关系,但并非每一个历史数据文件都在管理信息文件中有记录。

4.2磁盘历史数据缓冲区

磁盘历史数据缓冲区是为了防止频繁地写磁盘而开辟的一块内存区。将要写入到磁盘的历史数据,首先放在缓冲区中,当缓冲区中累积了一定数量的历史数据时再一次性写入历史数据文件中[8,9]。

系统中配置有系统参数作为存盘时间。当存盘时间到达后,一次写入磁盘历史数据库。系统结束运行时,要将历史数据缓冲区的历史数据写入历史数据文件。用户访问历史数据时,系统首先检查历史数据缓冲区是否有用户需要的历史数据,然后再查历史数据库文件中是否有用户需要的历史数据。

用户通过系统参数可以设置历史数据库缓冲区的大小,历史数据缓冲区设置得比较大可以加快查找近期历史数据的速度,但同时内存开销也加大。最好根据本机物理内存的容量,动态设置缓冲区大小。

5 磁盘历史数据库实现

磁盘历史数据库是实时数据库的一个子模块,它主要是由实时调度模块来驱动。本课题中是以动态链接库的形式实现的。

5.1磁盘历史数据库的总体架构

磁盘历史数据库主要是为实时模块提供了对磁盘历史数据进行操作的功能。该模块主要针对上面所提到的2种文件:管理信息文件和历史数据文件。其内部大体框架以及调用流程如图4所示。

其中,接口模块负责为外部调用模块提供接口函数。通过这些接口,磁盘历史库的功能暴露给外部模块。读写操作模块是整个历史库的核心模块,提供了最为核心的读写功能,其上层接口模块中一些主要的功能函数,实际上都是在对读写模块进行封装。由于写数据的实现相对比较复杂,在此将其提出来做详细描述。写数据函数实现大致如下:

…

pLastData = GetLast(pCompress);

if ( pLastData == NULL )

{

//追加模式

return Append(pCompress,pData, nCount);

}

if (IsTimeLessThan(pLastData, pStartData) )

{

return Append(pCompress, pData, nCount);

}

if (IsTimeLessThan(pEndData, pLastData) )

{

//插入模式

return Insert(pCompress, pData, nCount);

}

//中间插入模式

return MidAppend(pCompress,pData,nCount);

…

首先,从存放在磁盘上的压缩结构中获取历史数据文件中某测点的最后一个数据。如果不存在该数据,则表示系统刚初始化,就直接追加数据。同样,如果待存入这批数据的起始时间在磁盘最末历史数据之后,依然采用的是追加模式。

除此之外,还有另外2种情况:一是待写入这批数据的结束时间在磁盘最末历史数据之前;二是待写入这批数据的起始时间在磁盘最末历史数据之前,但结束时间在磁盘最末历史数据之后。对于这2种情况,前者采用插入模式写入数据,而后者采用中间插入模式写入数据。所谓的中间插入是在删除部分已有数据的前提下进行的一种特殊追加方式。 由于篇幅问题,上述几种数据写入模式的具体流程在此不再做详细描述。

另外,数据页模块负责对缓冲区的数据页面进行解析,其调用了压缩模块的功能。管理信息文件访问模块和历史数据文件访问模块,分别提供了对管理信息文件和历史数据文件的访问功能。

5.2磁盘历史库重要功能模块详述

5.2.1 读写操作功能模块

读写子模块主要是提供了对历史数据的读写操作功能。通过该模块可以读取到某一段时间内的所有数据。写操作方面,该模块对传入的数据做相关的压缩处理,然后调用下层的一些模块将数据写入到历史数据文件。

读历史数据函数的大致形式如下:

int GetData(Time *pStart,Time *pEnd,HisData *pData )

要获取数据的时间段通过 pStart、pEnd 这2个输入参数传入,而 pData 作为一个输入/输出参数,传入的是要获取的测点标识号等相关信息,而得到的是对应时间段的历史数据。

写历史数据函数的大致形式如下:

int WriteData( HisData *pHisData)

待写入的历史数据列表由 pHisData 参数传入,在函数内部根据时间属性判断进行的是追加操作还是插入操作,从而往磁盘文件新增历史数据。读写模块给历史库提供了最核心的功能,因此,它是最为关键的一个模块。在本历史库中的源码中该模块占据了5 000行左右的代码,是一个很大的模块。

5.2.2 压缩模块

在工业控制过程中,测点将产生大量实时数据,由此产生的历史数据是海量的,如不做任何处理直接存储到磁盘历史库,将占用大量空间[10,11,12]。因此,压缩处理是磁盘历史库中一个很重要的功能。

磁盘历史库中压缩处理分为有损压缩和无损压缩2种。这里所指的有损压缩实际上就是一个筛选数据的过程,通过有损压缩过程,磁盘历史库从大量数据中筛选出哪些是需要保存到历史数据文件的,哪些是可以丢弃的。而无损压缩则是将原始数据以某种编码方式来存储,以达到节省存储空间的目的,这种压缩方式是可以通过解压缩来恢复数据原貌的[13,14,15]。磁盘历史库对不同数据类型采用的压缩方式是不尽相同的。主要分为浮点型数、开关量数以及字符串数这3种来进行处理。

a. 浮点型数据的压缩方式。本磁盘历史库中针对浮点型数据采用了旋转门压缩算法。在进行数据压缩时,旋转门压缩算法将比较新的实时数据点和前一个被保留的数据点之间的偏移,如果新的数据点和前一个被保留的数据点所构成的压缩偏移覆盖区的区域可以覆盖前面所有的数据点时,将没有任何数据点被保存。反之如果有任何一个数据点落在压缩偏移覆盖区外,则新数据点的前一个点将被保留,同时整个压缩偏移覆盖区将被重置,并且以新数据点的前一个点作为新的起点。而上面所说的压缩偏移覆盖区实际上是一个平行四边形,其起点是前一个被保留的数据点,终点是最新的一个数据点。平行四边形垂直方向的边长是压缩偏移量的2倍,压缩偏移量由测点组态决定,可以为每个测点指定其合适的压缩偏移量。图5说明了旋转门压缩算法的原理(y 为值坐标,t 为时间坐标)。

浮点型数据压缩处理的实现,即逐个判断所有的历史数据点,哪些是需要写入到磁盘文件,哪些是可以丢弃的这样一个过程。在下列这几种情况下,数据是需要写入到磁盘文件的:当前点为本测点的第1个数据时;当前点质量戳与前一点质量戳不一致时;当前点未通过旋转门压缩检测时。

b. 开关量数据的压缩方式。开关量数据采用的是变化即保存方式,这也是一种无损压缩方式,但其原理和实现都比浮点数所使用的旋转门压缩算法更简单。压缩模块在处理每个原始开关量数据时,都会与历史数据库中相同测点的最后一个历史数据记录做比较。如果当前开关量数据和最后历史数据记录的值相同则滤过该数据,不将其保存进历史数据文件;反之,则保存进历史数据文件,并将该数据设为最后历史数据记录。如一串原始开关量数据为11101001,经过开关量压缩处理,最后得到的要存入到磁盘文件上的数据就为10101。

c. 字符串数据的压缩方式。字符串数据是一种比较特殊的数据类型,单个数据的长度可能比较长。因此,有可能需要进行2次压缩。针对原始的字符串数据,首先通过有损压缩筛选出需要保存的字符串历史数据。然后再根据需要保存的字符串历史数据的具体情况选择性地做无损压缩处理。并非所有的字符串历史数据都需要做无损压缩,只有针对那些比较长的字符串,无损压缩才有意义。当然,经过无损压缩的历史数据从磁盘文件读出来时,必须做相应的解压缩操作,以恢复数据原貌。字符串数据的压缩过程实现大致如下:

…

if(strcmp(pData->Value,(pCompress->pLastSave)->strValue)==0)

{

//与上一记录数据内容相同,则不保存

return;

}

//记录最后保存数据信息

Copy(GetLastSaveData(pCompress),pData);

if(pData->Length>=20)

{

//执行无损压缩

ExecuteZlibCompress(&ComprData,pData);

//保存历史数据

AppendData(pWriteInfo,&ComprData);

return;

}

//保存历史数据

AppendData(pWriteInfo,pData);

return;

…

待处理数据进入之后首先与磁盘上记录的上一次保存数据进行比较,如果值相同则不进行任何存储操作。反之,值不相同,则需要将该数据保存至磁盘历史文件,并再对最后保存数据信息做修改。另外,如果待保存字符串数据过长,进行无损压缩处理是有必要的。至于如何衡量字符串是否过长,这与采用的无损压缩算法有关,需要通过相关测试获取。本文中所描述的历史库采用了 zlib 无损压缩。通过测试表明,采用20字节作为字符串长短衡量标准是比较合适的。

压缩模块有大约1 000行的代码。在这个模块中根据不同的数据类型进行不同的压缩操作,这是本历史库的一个特点。实际上,本历史库中数据的压缩效率也是很高的。

5.2.3 数据页存取模块

历史数据文件采用页面存储,数据页存取模块的主要功能是对这些页面进行操作。其中,页面分为历史数据页和数据索引页2种,这2种页面的大小不一定相同,页面结构也不相同。因此,对这2种页面的解析方式是不一样的。数据页存取模块代码量约2 000行,这部分主要负责解析这2种页面。

6 结语

历史数据处理是实时数据库中一个至关重要的功能。文中论述了实时数据库系统历史数据处理的详细过程,以及磁盘历史数据库的实现技术。

摘要：实时数据库(RTDB)是传统数据库技术与实时系统相结合的产物,是厂级信息监控系统(SIS)的核心。历史数据是系统定时从实时数据库中采样,保存到历史数据库中的数据,用户需要时可随时从历史数据库中访问历史数据。历史数据库包含内存历史数据库和磁盘历史数据库。内存历史数据库关注的是测点近期数据的组织方式;磁盘历史数据库管理的对象是历史数据文件和管理信息文件。对磁盘历史数据库的文件结构、缓冲区进行了描述,并详细阐述了其总体架构及重要功能模块(读/写操作、压缩、数据页存取)的实现技术。

关键词：实时数据库,内存数据库,历史数据处理,磁盘历史库,数据存储

数据库处理系统 篇2

国库会计数据集中系统业务处理办法（试行）

第一章 总则

第一条 为加强国库会计数据集中系统（以下简称数据集中系统）的业务管理，规范业务处理行为，防范国库资金风险，根据《中国人民银行会计基本制度》和《国库会计管理规定》等有关制度，制定本办法。

第二条 使用数据集中系统处理国库会计核算业务，适用本办法。

第三条 数据集中系统是实现国库会计业务统一处理、数据集中存储、信息共享使用的计算机网络应用系统。

第四条 国库会计数据集中以办理国库会计核算业务的机构为国库会计核算主体（以下简称核算主体）。由全国国库业务处理中心（以下简称中心）统一组织实施国库会计核算业务处理。

核算主体内部可包含一个或多个按照“一级财政一级国库”体制设臵的国库主体。

第五条 预算收入、退付、支出、更正、国债兑付等业务的原始数据一经采集，按照事先设定的规则，数据集中系统分别将其作为一个不可分割的整体进行连续处理，并把最终处理结果直接记入各目的国库账户。

第六条 数据集中系统与中国现代化支付系统（以下简称支付系统）一点连接，中心统一对外清算资金，各核算主体之间通过中心划转资金。

数据库处理系统 篇3

关键词:GPRS移动通信网;企业网络;智能处理技术

中图分类号:TE29 文献标识码:A 文章编号:1000-8136(2010)12-0074-02

多年来,钻井生产信息管理采用人工操作方法,工作效率低,错误率高,难以满足当前快速钻井技术要求。为此本文介绍一套具有完全网络化的钻井生产多元数据分析处理系统,以提高钻井工程信息管理、技术水平和工作效率。

由于钻井生产的野外性,探索利用了覆盖广阔的GPRS通信网络及局企业网络,合理组织钻井信息数据结构研发了一套集数据采集、信息传输、报表处理、信息发布、综合查询及系统维护功能的多层的B/S架构的钻井生产多元数据分析处理系统。轻点鼠标,公司所有野外施工井的资料如每日钻井生产动态、工作动态、钻井日报的无线数据上报及各种生产报表立刻清晰地显示在眼前。同时相关部门和各钻井队能够以B/S方式随时随地查询井队生产状态、钻机动态、钻井生产日报、生产质量信息报表、生产运行信息报表,从而可以完成对钻井的指标和时效的分析。

1该系统采用GPRS通信网络及局企业网络,每日多次信息采集与传输

由于GPRS采用分组交换技术,是在现有GSM系统上发展出来的一种新的承载业务,GPRS采用与GSM同样的无线调制标准、同样的频带、同样的突发结构、同样的跳频规则以及同样的TDMA帧结构,这种新的分组数据信道与当前的电路交换的话音业务信道极其相似。因此,现有的基站子系统(BSS)从一开始就可提供全面的GPRS覆盖。GPRS允许用户在端到端分组转移模式下发送和接收数据,而不需要利用电路交换模式的网络资源。从而提供了一种高效、低成本的无线分组数据业务。每个用户可同时占用多个无线信道,同一无线信道又可以由多个用户共享,资源被有效的利用,给移动用户提供高速无线IP或X.25服务,数据传输速率高达160 Kbps。使用GPRS技术实现数据分组发送和接收,用户永远在线且按流量计费,迅速降低了服务成本,特别适用于间断的、突发性的和频繁的、少量的数据传输,也适用于偶尔的大数据量传输。在此信道上提供TCP/IP连接,可以用于Internet连接、数据传输等应用。钻井公司采用每小队配一部GPRSIPMODEM与微机相连,数据通过它上传到移动基站,再传回移动公司;再通过GGSN网关接入Internet网,再通过网关接入企业网,生产小队将采集的数据每天可间隔上传3次～5次,也可实时采集实时上传数据。

2该系统采用中间层差分编程技术,在瞬间即可完成小队钻井生产数据及其各种报表的动态Web查询

由于小队采用GPRS网进行数据采集与传输,所以数据库读写采用中间层编程非实时差分在线技术,前端小队录入数据提交后,由应用服务系统进行各种计算后并上传至数据库服务器存储。这样由于前端在不需要数据传送时是离线的,而应用服务与数据库服务器在同一企业网内,数据就会又快又好地进行采集、传输、计算、存储等操作,读写数据管理与检索数据报表就会由应用服务器动态形成而后再呈现给各部门的客户请求。数据由采集页面填写完成后上传按钮程序

Dim pdata As New selectdata // selectdata 是中间层程序(myzdata.dll已在引用中)中含有数据处理的类模块。

Dim sqlstr As String

Sqlstr=//定义SQL语句

If pdata.executesql(sqlstr)=True Then//网络自动连接进入在线状态并上传数据,当返回值为True时,表示数据上传成功,并同时断开数据连接进入离线状态,当返回值为False时,表示数据上传不成功,并同时断开数据连接进入离线状态。

errtext.Text=“信息提示:数据上传成功”

Else

errtext.Text=“错误提示:“+dberr+”,数据上传不成功”

End If。

小队数据上传后应用服务器会迅速进行各类计算,并重新呈现小队各种状态,如黑色表示该小队今天因故停产,红色表示该小队今天数据未上传或数据有问题,蓝色表示该小队生产正常。这样指挥生产的领导与专家就会根据小队生产的首页面快速做出分析,并可直接点按小队图标,显示该小队生产状况详细情况。

同时由于小队客户端因数据传输量小,即使用GPRS网也感觉系统运行速度是相当快的,并可随时动态查询小队钻井生产数据和报表,经测试查询页面均能在1 s以内完成。

3该系统采用智能处理技术,动态处理生产数据并生成各类生产报表,供相关部门查询、生产信息时效分析与生产指挥

将小队采集的数据按指定算法进行计算,并与经验与学习库进行数据智能分析与比对,将分析的智能结果产生种类查询报表。部分程序代码如下:

//部分计算程序代码

pdataset1=pdata.SelectSqlRows(sqlstr, "glgn")//网络连接读取要计算数据到本地机缓存表,断开数据连接,进入离线计算状态。

If pdataset1.Tables(“glgn”).Rows.Count>0 Then

x_lbjs=pdataset1.Tables("glgn").Rows.Count

i=0

Do While i

//各种算法程序计算

Loop

End If

//部分报表页面呈现程序代码

<%dim j as integer

ifx_js1=0 then

else

for j=1 to x_js1-1

response. write("")

response. write(xx1(j))

response. write("")

next

end if%>

经过使用,该系统能够及时、准确地上传小队生产数据,实时动态监测和掌握小队生产情况。能准确实时进行多元生产数据处理与分析,提高了工程技术人员与企业领导指挥钻井生产的工作效率。多次准确定位和排除了小队生产的技术和安全隐患,受到上级相关部门的表扬和奖励,取得了可观的经济效益和社会效益。

Domestic Oil Companies Drilling Data Management

Command Processing Systems Promote

Wen Hongmei

Abstract:Covering a vast communications network and the Bureau of Enterprise GPRS network system, designed and developed with full network of field drilling and production data analysis, multi-processing system to improve the drilling engineering information management, technical level and efficiency.

数据库处理系统 篇4

由于数据库应用需求快速发展,特别是计算机网络和数字通信技术的飞速发展,在20世纪70年代中期人们开始对分布式数据库系统进行研究。分布式数据库是数据库技术和网络技术两者相互渗透和有机结合的结果,是数据库领域中的重要分支,并且已经成为了计算机技术最活跃的研究领域之一。分布式数据库系统中的数据库被分布在不同物理位置的各个节点中,但在逻辑上又将各个节点的数据库统一成一个集中的数据库。[1]我们可以通过分布式数据库管理系统对分布式数据库进行建立、查询、更新、复制、维护等操作。而数据库查询操作又是数据库的核心操作。在分布式数据库系统中,查询优化处理一直研究的热点之一。

2 分布式查询优化的代价估算方法和重要性

2.1 分布式查询优化的代价估算方法

分布式数据库系统的查询优化的准则是使通信费用最低和响应时间最短。在查询优化算法中估算查询代价的方法是:

设一个查询执行的预期代价为QC,则

在集中式中:QC=I/O代价+CPU代价

在分布式中:QC=I/O代价+CPU代价+通信代价

通信代价可用如下公式作粗略估算:TC(X)=C0+C1×X

其中:X为数据的传输量,通常以bit为单位计算;

C0为两站点间通信初始化一次所花费的时间,以秒为单位;

C1为传输率,即单位数据的传输时间,单位是b/s。[1]

2.2 分布式查询策略的重要性

在分布式数据库系统中,查询优化包括两个内容:查询策略优化和局部处理优化,而查询策略优化尤为重要。在分布式数据库系统中,同一查询有很多的执行策略,查询的执行策略不同,其系统资源耗费及响应时间也不相同。下面我们以一个简单的教学数据库系统为例,说明查询优化的重要性。

两个站点上的关系分配如表1所示。

假设元组的长度为100b,通信系统的传输速度为104b/s,通信延迟时间1s。

现在要查询的是所有选修了“ENGLISH”课的男学生的学号和姓名。我们假设选修了“ENGLISH”课的男学生有10名。

根据TC(X)=C0+C1×X对所有可能的查询存取策略进行计算,结果见表2。

由表2见,不同的查询策略通信时间相差很大,达多个数量级,因此查询策略的优化非常重要。

3 基于传输代价最小原则的查询优化处理

分布式查询中,连接操作是常用而且代价较高的一种操作,分布式查询处理中的连接操作是影响分布式查询效率的最关键因素。当前对连接操作的优化有降低通讯费用的半连接技术和直连技术两种趋向。我们这里主要讨论基于传输代价最小原则的半连接算法。

3.1 采用半连接算法优化连接操作的基本原理

半连接(semi-join)操作是由投影和连接操作导出的一种关系代数操作。采用半连接操作,在网络中只传输参与连接的数据。在一个关系传输到另一场地后,并非每个数据都参与连接操作或都有用。因此,不参与连接的数据或无用的数据不必在网络中来回传输。[2]

假定有两个关系R和S,在属性R.A=S.B上做连接操作(这里“关系”也可以指片段)可以表示为:

或S∞A=BR=(S∝A=BR)∞A=BR

其中R∝A=BS、S∝A=BR为半连接操作,起含义为:

或S∝A=BR=∏S(S∞A=BR)=S∞A=B(∏A(R))

由上可以看出半连接操作是不具有对称性的,即R∝S≠S∝R。用半连接表示连接的过程为:

或S∞A=BR=(S∝A=BR)∞A=BR=S∞A=B(∏A(R))∞A=BR

采用半连接方法表示连接操作的过程如图1所示。[3]

从图1可以发现,半连接算法有两次通信过程,但是每次传递过程都是经过了筛查的。下面结合公式T=C0+C1×X,分析半连接算法的传输总代价。

1)在站点2上做关系S在R和S公共属性集B上的投影∏B(S),并把∏B(S)结果送到站点1,代价为:

Size(B)为B属性的长度,val(B[S])为关系S中属性B上不同值的个数。

2)将站点1半连接结果R′=R∝A=BS送到站点2的代价是:

C0+C1×size(R)×card(R′)其中card(R′)为R′的元组数

采用半连接算法的总代价为

或T半S=2C0+C1×(size(A)×val(A[R])+size(S′)×card(S′))

3.2 半连接算法优化连接操作的举例

下面以一个简单的分布式药品采购数据库系统为例,来估算通过对两地三个关系的连接操作的传输代价。其站点关系如表3所示。[4]

现在要查询的上所有采购产地为杭州且剂别为片剂的药品品号和品名。假设:每个元组中每个属性的值均为20bit,通信系统的传输速率为104bit/s,通信延迟时间为1s,剂别为片剂的药品元组有1000个,产地为杭州的药品元组有1000个,产地为杭州且剂别为片剂的药品元组有500个。

1)把A站点的YP和CG连接后筛选出来的“药厂编号”传送到B站点进行半连接,其传输代价为:

2)把B站点的“药厂编号”送到A站点进行半连接,其传输代价为:

3.3 多关系半连接查询优化算法思考

由于半连接查询优化算法的不对称性,在多关系连接查询中,如果采用半连接查询优化算法,采用不同的半连接执行策略会有不一样的传输代价。为了在复杂的多关系连接查询中能找出最好的半连接执行策略,可以采用最小生成数算法。[5]

给定一个多元自然连接查询Q,设Q涉及的关系为{R1,R2,R3,…,Rn}用连接图表示这n个关系以及关系之间可能的连接,图的顶点表示关系,边表示关系之间的连接。通过两个关系半连接的代价估算,预先估计连接的代价作为边上的权值。对于n个关系的连接图可以建立许多不同的生成树,每一棵生成树都可以是一种连接方式。最小生成树算法就是得到一个全局上的最佳连接次序,使查询Q的总代价最小。

4 总结

采用半连接方法表示连接操作需要两次数据库传输:连接属性投影结果和半连接结果。但在通常情况下,这两次数据传输的总量要远远小于传输一个整关系的数据量。所以一般有T半﹤﹤T全。所以,如果只需要一个关系中的一小部分元组参与和另一个关系连接的话,采用半连接算法是一个使数据传输量最小化的非常有效的方案。

半连接算法是一种基于传输代价最小化的查询优化算法,它不考虑局部处理的费用,所以在低速窄带广域网中,采用半连接方案处理策略是比较有利的,如果认为局部处理费用是主要的连接查询中采用半连接算法就不可取了。

参考文献

[1]邵佩英编著.分布式数据库系统及其应用[M].2版.北京:科学出版社,2005.

[2]萨师煊,王珊.数据库系统概论[M].3版.北京:高等教育出版社,2001.

[3]陈志东.基于半连接的分布式查询优化[J].大众科技,2007(01).

[4]黄月华,周萍.基于传输代价最小原则的分布式数据库查询优化[J].中国西部科技(学术),2007(09).

数据库处理系统 篇5

全球定位系统的数据处理系统-TGO功能扩展应用

挖掘整理TGO中的`几个潜在功能,并举例进行分析说明.这不仅利于实际工作应用,而且也有助于用TGO进行GPS数据处理.

作 者：张述清 ZHANG Shu-qing 作者单位：云南省地矿测绘院,云南,昆明,650218刊 名：测绘通报 ISTIC PKU英文刊名：BULLETIN OF SURVEYING AND MAPPING年，卷(期)：“”(10)分类号：P2关键词：TGO 功能 应用

数据库处理系统 篇6

【关键词】商业智能 抽取 转换 装载 挖掘

1.引言

商业智能 (Business Intelligence，BI)的概念最早于1996年由加特纳集团（Gartner Group）提出，并对商业智能做如下的定义：商业智能描述了一系列的概念和方法，辅助商业决策的制定是通过基于事实的支持系统所提供的，商业智能技术为企业迅速分析数据提供技术和方法，包括收集、管理和分析数据，并将这些数据转化为有用的信息，然后分发到企业各处。

2.商业智能（BI）系统中数据的理解与处理

2.1 数据抽取（ETL）技术

商业智能可以看成是一种解决方案。关键在于从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理，最后将知识呈现给管理者，为管理者的决策过程提供支持。

从BI的技术框架图中，可以看出整个BI系统中，涉及数据处理的关键是数据源到数据仓库中的ETL部分，ETL过程的成功与否决定了数据仓库数据的正确性和可用性。

数据抽取（ETL，data extraction, transformation and loading），是对数据进行抽取、清洗、转换和整合的过程，是数据进入数据仓库的入口。通过ETL的过程，数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。

在数据抽取阶段以下几点值得注意：

2.1.1 数据的有效性检查

为避免数据冗余，要认识到数据装入数据仓库之前，应该对数据进行有效性检查，这是很重要的。如果没有进行数据的有效性检查，就有可能破坏依赖于数据仓库的商务分析的完整性，帮助检查数据的有效性的最好方法是源系统专家。源系统专家包括具有技术专业知识和非技术知识的人士。

2.1.2 数据的清洗和转换

由于数据抽取中的数据是来源于业务系统中的业务数据，难免会存在各种原因所导致的脏数据，例如数据不在给定的界限之内或对于实际业务来说毫无意义的数据。这些数据就是数据清洗的对象。清除数据包括对那些在给定范围之外的数据采取纠正和舍去等措施。

同样，由于数据仓库中的数据来自于多种业务数据源，这些数据源可能是在不同的硬件平台上，使用不同的操作系统的，又或者是属于不同的业务系统。因而这些数据的存储格式各不相同，或者相同的数据具有不同业务含义。而数据的转换正是为了解决这一问题而必须进行的数据抽取步骤。

2.1.3 数据的聚合与分割

由于数据仓库中数据的来源是不同的业务系统数据，而各个系统对数据存储的粒度（粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别）各不相同。而数据仓库中同一分析主题中数据的粒度必须是统一的，所以，为了保证数据粒度的一致性，必须对原有数据进行聚合（汇总）或分割（细化）。

2.1.4 数据安全性

数据的抽取必非一个完全的技术问题，往往牵涉整个企业中各个不同部门中数据的共享。那么数据共享中的权限等安全问题也就是数据抽取中必须要认真对待的问题。如何保证数据抽取中和数据集中后的限制与共享往往需要业务人员的配合和介入，不能将该问题当作单纯的技术问题来对待，而必须进行周密的考虑和计划。

2.2 ETL转换过程中的数据处理

ETL过程最复杂的部分就是T，这个转换过程从对数据源的整个宏观处理可分：

2.2.1 大表和小表关联

这种处理在数据清洗过程是很常见的，例如从数据源到ODS阶段，如果数据仓库采用维度建模，而且维度基本采用代理键的话，必然存在代码到此键值的转换。如果用SQL实现，必然需要将一个大表和一堆小表都Join起来，当然如果使用ETL工具的话，一般都是先将小表读入内存中再处理。这种情况，输出数据的粒度和大表一样。

2.2.2 大表和大表关联

大表之间的关联存在最大的问题就是性能和稳定性，对于海量数据来说，必须有优化的方法来处理他们的关联，另外，对于大数据的处理无疑会占用太多的系统资源，出错的几率非常大，如何做到有效错误恢复也是个问题。对于这种情况，尽量将大表拆分成适度的稍小一点的表，形成大小交的类型。这类情况的输出数据粒度和主表一样。

2.2.3 聚集

数据仓库中重要的任务就是沉淀数据，聚集是必不可少的操作，它是粗化数据粒度的过程。聚集本身其实很简单，就是类似SQL中Group by的操作，选取特定字段（维度），对度量字段再使用某种聚集函数。但是对于大数据量情况下，聚集算法的优化仍是探究的一个课题。

3.结语

数据抽取（ETL）技术是商业智能的四大关键技术之一，ETL技术是商业智能得以实施的一个基础性的技术，它与元数据管理相结合，提供对不同数据源的数据进行抽取，转换，清洗，加载的功能，集成和净化来自于多个不同系统的数据，然后将之载入物理数据库中。限于多方面的原因，本文在数据的理解与处理方面未能详尽的说明，希望能和同行一起共同探讨。

参考文献：

[1]张宁，贾自艳，史忠植。数据仓库中ETL 技术的研究。计算机工程与应用，2002

制动性能检验数据处理系统 篇7

近年来随着汽车设计与制造工艺的进步及高速公路的飞速发展,汽车行驶速度已大大提高,汽车制动性能对保障交通安全就尤为重要。在我国,汽车制动性能被政府主管部门列为汽车定期审验的强制性检验项目,规定制动性能达不到GB7258-2004《机动车运行安全技术条件》要求的车辆不允许上路行驶。这样制动性能检验系统数据的准确性、可靠性就成为机动车定期审验结果的关键。

按照相关国家标准的要求,汽车定期检验的设备应全部采用微机联网。而在联网制动检验设备时,因测试软件设计人员对采集数据分析与处理方法不科学所造成的制动数据失实、检验结果差别大、甚至误判的情况屡屡出现,严重影响了检验机构的诚信度。要进行制动性能检验,需要采集的主要数据就是汽车轴重和制动力。本文对机动车制动性能检验中轴重和制动力数据的采集、分析与处理做了研究。

2 制动检验数据采集

制动性能数据采集系统均采用电子技术和计算机技术,似乎测试软件应无差异,但是实际采集时不同的采样频率、不同的采样时间都会对测试结果产生一定影响。各测试软件中采样频率少则25 Hz,多则120 Hz,而采样时间也各不相同,有的少于3 s。

采样频率过低,得到的制动力曲线就会比较粗糙,而且在计算制动力平衡性时,有可能漏掉关键的信息;采样频率过高,虽然能得到较光滑的制动力曲线,但是在计算平衡性时将加大计算机的工作量,同时采样频率过高,也将增加硬件成本。根据多次试验,我们在设计中采取采样频率为100 Hz,采样时间不少于3 s。

为了能够检测到最大制动力,在采样后数据处理方式上存在“拐点法”和“滑移率法”。采用滑移率对制动力进行判别,即把保护停机时刻作为最大制动力出现并采集的时刻。尽管国内外企业和研究机构通过实验已证明在滑移率为15%～25%时,也就是在轮胎临界抱死状态时,车轮制动器所释放的制动力达到最大,但由于这是统计结果,是一个区间,而且由于车辆制动系统的不同(油刹、气刹),车轮临界“抱死”点时的滑移率也不同,这样最大制动力有可能出现在保护停机前或后。如果出现在保护停机前,即可测得最大制动力;而出现在保护停机后,最大制动力将丢失。因此在最大制动力数据处理时是在制动检测全过程中所采集到的全部采样点中甄别并显示的。

3 制动检验数据处理

3.1 模拟信号数字化后的处理

3.1.1 数字滤波技术

为了克服随机干扰引入的误差,除了可以采用硬件进行滤波之外还可以用软件算法来实现数字滤波。常用的数字滤波算法有:限幅滤波、中位值滤波、算术平均滤波、递推平均滤波、加权递推平均滤波、一阶惯性滤波和复合滤波等。

本文在轴重信号的处理上采用的是限幅滤波和算术平均值滤波;制动力信号采用的是两极数字滤波,第一级采用加权递推平均滤波法,Yi=1/4×Si-1+3/4×Si;第二级采用递推平均滤波。

3.1.2 软件抑制零点漂移

由于环境条件的变化将引起传感器及放大器电路的零点发生缓慢漂移,自动零点跟踪就是为了削弱这种漂移对测量精度的影响。其具体做法就是每次在未上车检验前采集当前零负载值作为系统零点。计算机每次正式测量采集的值减去这个零点作为本次采集值。

3.1.3 系统的非线性校正

由于传感器和放大器在其动态范围内不能保证其一致性,存在非线性误差,因而在数据处理中必须对其非线性进行校正,这样才能保证测量的精度。

3.2 轴重信号的分析与处理

轴重信号的精确测量在制动性能检验中尤为重要,因为GB7258-2004中很多参数的判定标准(如:车辆制动率、制动平衡率、驻车率及车轮阻滞力)都与轴重有关,若轴重测不准,则将影响这些项目的测量与判定精度。车辆轴重信号在静态及车辆低速通过轴重检验台时,测量精度较高,重复性也非常好,但车辆的行驶速度高于10 km/h时,测量精度将出现较大的偏差,重复性也不好,平均误差在5%～30%不等。

在汽车检测线连续三次采集了同一测试车辆以低于3 km/h的速度通过轴重检验台时的传感器输出电压信号,如图1和图2所示(注:图中数值均为AD转换器转换的数字量,还未换算成工程量)。经过回零及截取等简单处理其变换后的轴重信号,如图3和图4所示。从图中可以看出在低速情况下,轴重信号的重复性还是比较好,但与静态时的轴重相比较仍然存在较大误差。前轴轴重信号的三次峰值为:,,;后轴轴重信号的三次峰值为:2 044,2 043,2 012;静态时前后轴重分别为:2 550,2 287。相比较动态时轴重明显比静态轴重偏小。

图5是第一次前轴信号的功率谱图,从图中可以看出,经过硬件和软件滤波后,轴重信号80%的能量都集中在低于50 Hz的低频信号范围内,而影响动态称重系统计量精度的主要因素是汽车在行驶过程中产生的动态荷载对轴重测量值的干扰。车辆动态荷载的振动频率在3～20 Hz的低频范围内,振幅变化可达静态载荷的10%,这一状况决定了通常采用的抑制周期性干扰的滤波方法失效。

鉴于以上原因,在设计中尝试采用“建立称重装置重力信号模型,利用优化理论,根据测量信号拟和出模型的参数,从而抑制周期性动载干扰”的方法建立如下数学模型:

式中:Y(t)为轴重信号的数学模型;S为静态时的有效轴重;Ai为轴重信号中不同频率成份的动载幅值;Bi为不同频率成份动载的频率;Ci为不同频率成份动载的相位;P为汽车车轮动载周期干扰的个数。

实际上,由于即使存在高频成分,预处理时通常的滤波方法可以有效抑制,因此当P<3时即可使信号干扰抑制比大于30～40 dB。模型的求解是通过非线性最小二乘法拟合来实现的,拟合出上述模型的各参数后,S即车辆某一轴的静态轴重。我们采用当前采集的三组轴重数据,拟合出的前轴静态轴重分别为:2 448,2 496,2 423;后轴静态轴重分别为:2 187,2 196,2 156。拟合结果与峰值相比更接近于车辆的静态轴重。

3.3 制动力变化曲线的拟合与绘制

对于制动力变化曲线的拟合,传统的方法是通过多项式的最小二乘法进行拟合,一般采用的是5次多项式拟合,拟合前后的效果如图6所示,由该图可以看出,虽然经过拟合后曲线变得平滑,但在两处出现剧烈震荡,未能较好地真实反映动力的变化过程,并且还丢失了重要的拐点特征数据。

我们经过分析和多次实验比较后得知,由于制动力变化曲线的类型未知,所以不宜用代数多项式(或其他基本初等函数)作为拟合函数。因为多项式可由它在很小的区间上的值完全确定,当由多项式描述的曲线在一个小区间上被迫变弯时,它在别处就可能剧烈震荡,尤其是高次多项式更是这样。解决的办法是采用样条函数拟合。算法如下:

(1)对原始数据分段。该设计中根据拐值分为三段;

(2)对各分段的试验数据(xi,yi),i=1,2,…,nj,求相应段的拟合函数g(x);

(3)利用各分段的拟合函数g(x)计算节点{xi}上的插值g(xi);

(4)对校正后的试验数据(xi,g(xi)),i=1,2,3,…,n,用三次B-样条函数拟合。拟合结果如图7所示。

3.4 系统中数据采集的预处理算法

在系统得到采集数据后,一般还要对采集数据进行预处理,如数字调零,标度变换,使采样数据更加接近真值,以便对数据的二次处理更加方便、准确。

3.4.1 数字调零

在模拟输入通道中,往往存在着零点的偏移和漂移,为此还需对采样数据进行数字调零,即每次的测量值均减去该通道的零点值。考虑到是否可以采集零点以及何时采集零点与具体的应用情况有关,为此,类库中提供了零点设置和零点清零两种确定零点的方法,并在模拟量采集方法中每次减去零点值。在具体编程时,我们采用了在采集数据前先调用零点清零,然后再进行模拟量采集。

3.4.2 标度变换

直接采样得出的采样数据还需要进一步的转换才能转变为具有工程量纲的数字量。根据采样数据与被测物理量之间是否存在线性关系,标度变换又可分为线性标度变换和非线性标度变换两种。线性标度变换方法如下:

一般公式为:

式中:A0为次测量仪表的下限;Am为一次测量仪表的上限;Ax为实际测量值(工程值);N0为仪表下限对应的数字量;Nm为仪表上限对应的数字量;Nx为测量值对应的数字量。

非线性标度变换的算法较多,常采用的有公式变换法、多项式插值法、最小二乘法、查表法。在设计中轴重和制动力采样数据的标度变换采用非线性标度变换中的最小二乘法。

4 结语

本文通过对制动性能检验模块中轴重信号的分析与处理、制动力变化曲线拟合的研究,采用了信号调理放大、数字滤波、曲线拟合等先进的多项综合技术措施,建立了制动性能检验数据处理系统,有效地解决了制动性能检验模块抗干扰问题。目前采用本处理系统的分布式网络化汽车综合性能自动测控系统已经成功用于多家汽车检测线,制动性能检验数据准确,系统性能稳定可靠。

摘要：为提高制动性能检验数据的准确性,建立了制动性能检验数据的处理系统。通过对制动性能检验中涉及的轴重信号、制动力信号曲线拟合的分析研究,最终得到轴重信号的数学模型以及制动力信号的B-样条函数拟合曲线,抑制了轴重信号的周期性动载干扰,消除了制动力信号拟合的剧烈震荡,有效解决了制动性能检验模块抗干扰问题。

关键词：制动性能检验,数据处理系统,轴重信号,制动力信号,制动力曲线拟合

参考文献

[1]GB7258-2004.机动车运行安全技术条件[S].北京:中国标准出版社,2004.

[2]GB18565-2001.营运车辆综合性能要求和检验方法[S].北京:中国标准出版社,2001.

[3]陈焕江.汽车检测与诊断[M].北京:机械工业出版社,2001.

[4]马明建.数据采集与处理技术[M].2版.西安:西安交通大学出版社,2005.

[5]赵相模,许宏科,施惟颖.基于LAN的汽车安全性能自动测控系统研制[J].计算机工程,2005,31(22):207-209,212.

[6]滚筒反力式汽车制动检验台宣贯材料[S].GB/T13564-2005,2005.

[7]戴晓峰.浅论汽车检测设备计算机控制信号处理与标定技术要求[J].汽车维护与修理,2006(10):33-35.

[8]JT/T478-2002.汽车检测站计算机控制系统技术规范[S].北京:人民交通出版社,2002.

数据库处理系统 篇8

《基础物理实验》是高等院校中培养学生动手能力、实验素养不可或缺的一门课程, 随着社会对创新型人才需求的不断扩大, 各高校也担负着越来越重要的责任。对于如何培养学生具有浓厚科研兴趣及较强动手能力的的成为了各高校加强教学效果的重要议题。

在传统的基础物理实验教学中, 存在着诸多显而易见的问题:学生在预习时只是阅读了实验教材, 而且大部分学生的预习报告书写基本是复制教材, 对实验的目的、基本原理、实验方案的思路及实验步骤等没有一个完整的总体认识;教师在课堂上讲解后学生马上进行实际操作, 预期的教学效果是不理想的[1];实验预习部分的枯燥乏味, 导致在实验过程中出现各种错误操作, 甚至发生危险, 学生也就不会真正体会到实验的原理;实验的数据处理部分往往较为复杂[2], 并需要进行大量的数学运算, 手工运算占用大量的实验时间, 并不能保证结果的准确性, 为了在有限的实验时间内完成实验, 甚至导致学生互相抄袭实验结果的现象发生, 而且学生并没有认真体会实验数据处理的重要性, 缺乏正确的数据处理思维。

因此要解决这些问题, 一方面要提倡物理实验的创新性研究[3], 并加强学生培训, 改善实验室管理制度;另一方面, 要利用科学的技术手段, 如多媒体技术以及计算机强大的数据运算能力, 增加学生对实验的兴趣, 减少学生在实验过程中发生错误的几率, 让学生能节约出更多时间来实践, 思考、理解实验的原理, 提高学生的科研实验能力。

2. 设计思想的提出

目前, 有关《基础物理实验》的书籍、用具已较为完善, 实验项目也在不断增多[4]。然后, 还没有一套计算机应用系统软件能够将全部实验高效、清晰的组织起来, 同时基于以上提出的基础物理实验过程中出现的各种问题, 我们提出此设计思想。此思想将所有实验项目按力、热、光、电、综合性实验进行分类, 每个实验均有实验预习及数据处理部分。在实验预习模块中, 学生可以查阅所有预习内容, 并观看flash动画或真人实验演示视频。在数据处理部分, 学生可以讲实验数据输入系统, 了解每一步的计算过程, 让计算机完成计算工作。系统编辑人员可随时增加实验项目, 编辑预习内容和数据处理公式。

3. 系统设计与实施

3.1 设计目标

(1) 在系统功能设计方面, 本系统将实现以下功能:

◇实验项目的添加、更新、删除功能;

◇实验公式的编辑、添加功能;

◇实验预习内容的查阅功能;

◇实验数据自动处理功能;

◇实验的搜索、筛选功能;

◇管理员权限控制功能。

(2) 在交互设计方面, 本系统将以为用户提供良好体验为基础, 利用jquery、ajax等页面交互技术, 尽量减少页面刷新次数, 增强用户操作流畅度。

系统首页由系统名称、分类导航、搜索框、热门实验项目、系统版权信息等内容构成, 用户通过点击导航及输入搜索内容, 系统将实时进行筛选、搜索工作, 动态显示符合附件的实验项目, 用户鼠标掠过某一实验, 及显示实验预习及数据处理链接, 单击链接将动态显示某一实验预习内容和数据处理详情, 输入实验数据系统将动态返回计算结果。所有常规操作将在无界面刷新的情况下动态完成, 保证用户使用体验。

管理员登陆后, 将在页面显示添加、删除、编辑实验链接, 所有链接均为橘黄色背景, 公式编辑模块采用可拖拽设计, 有效减少了管理员公式编辑的难度。

3.2 总体设计

系统采用Browser/Server设计模式[5], 无需用户安装特定软件。服务器采用Linux开源操作系统, ApacheWeb服务器软件, 配合Mysql开源数据库, 有效保障了保证系统稳定运行。在编程语言方面, 系统将采用php高级语言, 基于php官方支持的zend-framework开发框架进行开发, 保障系统安装、高效性。用户交互方面, 系统采用html5+jquery+ajax技术, 有效保障系统用户体验。

3.3 数据库设计

数据库在软件系统的数据存储中占有非常重要的地位, 数据库结构的好坏直接影响着整个网站的运行效率。合理的数据库设计可以提高数据库查询以及存储的效率, 同时也可以保证数据的完整和一致。数据库ER图如下[6,7,8]:

结合系统功能的要求以及功能模块的划分, 数据库中主要的数据表如下:

管理员信息:用户名, 密码 (注:密码采用MD5的方式加密) ;

实验信息表:实验类型, 实验名称, 实验简介, 实验目的, 实验仪器, 实验原理, 仪器简介, 实验内容, 数据处理, 注意事项, 思考题, 添加时间, 排序权重, 缩略图地址, 视频演示地址, 浏览量;

数据处理公式表:关联实验, 输入变量名称, 输入变量数量, 输出变量名称, 输出变量数量, 处理公式, 数据组数。

由于各数据表的查询操作要多于存储操作, 所以均采用MyISAM存储引擎, 以提高数据库的运行效率。

4. 重点问题及解决

4.1 数据处理公式模块的设计

由于预习内容添加等功能为数据库系统管理内容的常规功能, 网页形式的实现方案已比较成熟。但网页形式的复杂公式编辑功能却很少有人涉猎, 所以此部分功能的开发较为困难。

为了让管理员方便的进行公式编辑, 系统规定每个实验可添加任意多组的公式, 每组公式可自定义输入变量数量、输入变量名称、输出变量数量、输出变量名称, 管理员可为每个输出变量定义计算法则, 提交成功后系统将把以上内容记录到数据库中。

例如在图2所示的公式添加阶段, 系统管理员需先填写数据组数、每组输入输出数据数量, 名称填写框将根据填写的数量自动生成。锁定组数后可对输入输出变量进行编辑;锁定输入变量后, 输入变量将进入可拖拽状态;锁定输出变量后, 系统将针对每个输出变量自动生成公式编辑区, 管理员可在右侧的可选元素中拖拽相应操作符、变量进行公式编辑;锁定任一组公式, 此公式即进入可拖拽区, 方便其他公式的引用。在对所有输入框都进行锁定后, 即可点击提交按钮提交此组公式。

4.2 用户实验数据的动态计算[9]

数据处理界面将由管理员编辑生成, 编辑过程中可插入公式标记符“*formula*”。

当用户打开数据处理界面时, 系统将根据此实验已编辑公式的权重依次替换公式标记符为用户可进行数据运算的模块。

当用户在各运算模块输入实验数据后, 系统用用户数据将公式变量替换, 调用相应函数计算公式结果, 动态输出到对用模块供用户查对。

4.3 实验分类筛选及搜索的实时动态进行

为了能让用户快速定位到相应实验, 系统将所有实验名称一次性返回用户计算机。用户选择某分类后, jquery脚本将利用动画效果隐藏其他分类的实验。用户输入搜索内容时, jquery脚本将监测按键弹起状态, 每次按键弹起后将组合分类选项进行实验的搜索, 利用动画效果隐藏掉无关信息, 从而实现了实时动态的筛选、搜索效果。

5. 结束语

实验教学在现代教学体系的作用越来越重要, 如何有效激发在校学生的科研潜力迫在眉睫。希望此系统的实施能够方便《基础物理实验》教学的进行, 促使实验教材、教学方法、教学结构、教学思想和教育理念等的更新, 能够促使教师在教学实践中不断地更新教育观念, 能够为培养学生的动手能力、独立思考与分析问题的能力、自行设计实验方案与解决实际问题的能力等方面创设一个良好的教学环境, 让学生主动、积极地参与到实验教学中来, 让高校为社会输送更多具有创新意识与创造性思维的高素质人才[10]。

参考文献

[1]王铁云.运用现代教育技术优化物理实验教学[J].中国电化教育, 2007, (06) :88-89

[2]宋露露.大学物理实验数据处理的教学问题研究[D].华中师范大学硕士论文, 2006:7-38

[3]李松岭, 李明雪.物理创新性实验的六大设计原理[J].物理与工程, 2007, 17 (06) :19-21

[4]肖苏主编.大学物理实验[M].中国科学技术大学出版社, 2004

[5]张俊玲.基于B/S的物理实验教学系统的设计与实现[D].天津师范大学硕士论文, 2005:4-34

[6]杨冬青, 唐世渭.数据库系统概念[M].机械工业出版社, 2003:4--21

[7]王润兰, 白然, 等.信息技术环境下初中物理实验探究教学模式研究[J].中国电化教育, 2007, (03) :84-85

[8]李南.MySQL数据库跨越式升级中乱码问题分析及解决[J].江苏技术师范学院学报, 2011, 17 (12) :151-153

[9]王磊.MySQL物理结构的自动优化[D].东南大学硕士论文, 2009:10-31

RFID系统数据处理方案研究 篇9

关键词：RFID系统,数据处理方案,嵌入式数据库,冗余数据,智能读写器

0 引 言

射频识别(RFID)是一种非接触式的自动识别技术[1,2],也是物联网的关键技术之一。射频识别系统主要由读写器和RFID标签组成,他们之间通过ISO18000-6B或ISO18000-6C协议进行通信,完成原始信息获取。射频识别系统搭配相关的应用服务软件,对采集信息进行分析处理,并给出相关结果,完成了物联网的典型应用。读写器对RFID标签进行识读时,会生成大量冗余数据,多个这样的射频识别子系统组成物联网应用会形成海量数据。这些数据对通信系统会形成较大压力,降低了系统效率。同时,对后端的信息处理也提出了更高要求,在一定程度上加大了开发周期和难度。

目前国外的主流超高频读写器设备有Impinj公司的Speedway系列[3],Alien公司的AL系列以及摩托罗拉公司的XR系列等产品。这些产品在设计上均有一个共同点,即通过减少读写器和后端信息系统之间的通信量来提升读写器的智能性和组网能力。国内读写器设备目前主要承担信息采集工作,缺乏现场数据处理能力[4],其组成的RFID系统数据处理主要依靠PC端的软件中间件[5,6,7,8]来完成。这导致了国内设备对市场需求的响应速度比国外产品慢,需要一定的二次开发周期,不利于快速占领市场。未来读写器的发展趋势将是以能够承担更多的决策和数据处理能力,能够快速适应市场需求的平台化产品。本文借鉴国外产品的设计思想,设计了一种灵活性较大的RFID系统数据处理方案,增强了读写器的智能性,提高了系统效率。

1 RFID系统架构与数据处理方案

1.1 RFID系统架构

本文研究的RFID系统根据应用场合可以分为最小RFID系统和典型RFID系统2大类,如图1所示。最小RFID系统一般不需要后端PC参与,根据读写器内置的数据处理流程完成较为简单的逻辑控制等业务,如应用在工控行业自动分拣设备中。典型的RFID系统则需要后端PC参与,主要服务由后端PC的应用服务软件提供,可覆盖大多数RFID应用领域。读写器在2种RFID系统中均占据着重要的作用,其数据处理能力直接影响系统的易用性及复杂度。本公司设计的读写器采用模块化设计,其结构主要分为射频模块、系统数据处理模块以及外部接口(含I/O及通信接口)模块。系统数据处理模块是基于ARM9的嵌入式应用系统。本文研究对象是系统数据处理模块的数据处理方案。

1.2 数据处理方案

本文提出的数据处理方案的核心是可配置的多级数据库模式,如图2所示。数据库采用嵌入式系统中常用的轻量级sqlite数据库,它具有跨平台,占用资源少,支持事件及开放源代码等特点,非常符合嵌入式RFID系统的设计要求。

从图2中可知,它共包含三级可配置的数据库。一级数据库和二级数据库位于嵌入式RFID系统的RAM(内存)中,能够频繁操作。三级数据库位于嵌入式RFID系统的FLASH中,不能过于频繁操作,主要用于非实时场合。数据处理方案是基于软件开关量、时间窗及事件处理等组件的可配置多级数据处理组合模式。

(1) 软件开关量组件

软件开关量即软件提供一个控制数据处理的开关,它有2种状态:启用数据处理和关闭数据处理。在启用该开关时,数据流按照后续数据处理单元流程进行处理。关闭时,原始数据流直接输出。软件开关量的开启与关闭与否,由用户自行设定,以满足差异化的用户需求。图2中的C0条件即为软件开关量。

(2) 时间窗组件

时间窗是指在一定的时间窗口内,借助数据库对数据进行时间平滑,并输出平滑后的结果。其算法的基本思想为:如果在窗口大小为W(W∈[T1,T2])的时间内至少有一次阅读,则在窗口结束时刻T2输出阅读。即如果重复数据流发生在时刻t(T1≤t≤T2),则过滤掉重复数据,输出单次结果。时间T1设置为初次数据流发生的时刻,T2的值则为T2=T1+W。窗口时间W由用户根据应用场景灵活设置,应用时可在不同的数据库之间分别采取时间窗,满足应用系统要求。设置合理的窗口时间,进行时间窗过滤后,本级数据出口的数据量将大大减少(尤其是单标签重复阅读时)。图2中的C1,C2,C3均为不同参数的时间窗。

(3) 事件处理组件

事件处理分为事件驱动和事件过滤2大类。事件驱动主要是指在数据处理阶段,输入的数据流达到了某种预设的条件时,触发某个或多个输出事件。如在读写器读标签时,当读到某种特定类型的标签时,触发一个输出事件,向外部输出一个I/O信号等。事件驱动在不需要外部PC干预的最小RFID系统(见图1)中应用较多。事件过滤是指在数据处理阶段,对输入的数据流按照某种预设的规则对数据进行过滤,输出过滤后的结果。事件过滤的关键在于过滤规则的设定。过滤规则可以选择标签的特殊字段(如6C标签的EPC,6B标签的ID等)作为匹配的关键字,只有完全匹配或者部分匹配(可通过掩码来决定)时,才允许该类数据通过(白名单机制),或者不允许该类数据通过(黑名单机制)。图2中C4为事件处理过程。

1.3 应用组合

参考图2中数据处理方案,根据不同的配置,可以罗列出表1中多种应用组合。

表1中的每种应用组合可以代表一种实际的应用场景。如表1中第1种应用(C0),即表示数据处理时关闭软件开关量C0,原始数据直接输出。此场景为目前大多数RFID应用系统中,读写器采取的工作模式。表1中第2种应用(C0C1),表示开启软件开关量C0,启用RAM中第一级数据库,同时采用时间窗C1对数据进行过滤。这种应用场景的输出是经过在时间窗周期内过滤掉重复标签后的数据,可以应用在门禁系统、资产管理等领域。表1中第8种应用(C0C1C2C3C4),表示开启软件开关量C0,启用RAM中第一级数据库,采用时间窗C1对第一级数据库数据进行过滤后,转存至第二级RAM数据库。同时采用时间窗C2对第二级数据库进行过滤,过滤后的数据转存至FLASH数据库本地保存。FLASH数据库的数据经过时间窗C3过滤后,进行事件处理C4,最终完成数据输出。该场景主要用于对数据实时性要求不高,需要本地备份数据的领域,如物流行业。

2 系统验证

本方案在AT91RM9200处理器,200 MHz时钟,64 MB SDRAM,16 MB FLASH,Linux 2.6系统的读写器系统上进行了实测验证。测试方法:读取EPC标签的TID字段,分别在单标签和多标签(10张)环境下测试10 min,采用上位机软件统计数据,结果见表2。

依据私有通信协议,表2中的每帧数据为16 B,在关闭软件开关量时,单标签读取产生的数据量为180 113×16=2 814 KB。启用时间窗1 min处理后的数据量为10×16=160 B。对于多标签情况,产生数据量也比不采用该数据处理方案时大大减少。产生冗余数据量的大小跟数据处理方案的组合方式有关,可根据实际工程应用场合,调试出合适的配置参数,以达到应用系统要求。目前,采用该数据处理方案的RFID系统已成功应用于深圳某世界级大型运动会和南京某大型外企的工业自动化生产线上,产生了良好的经济收益。

3 结 语

本文研究的RFID系统数据处理方案是一种可灵活配置动态方案,能有效降低RFID系统输出的冗余数据。该方案具备对原始数据的分析处理能力,方案中组件的灵活搭配可组成不同的应用组合,有利于减少RFID系统的二次开发周期,能快速响应市场需求,大大提升读写器设备的智能性,符合目前嵌入式RFID系统的发展趋势,在实际工程应用中取得了良好的经济收益。

参考文献

[1]高嵩,马连博,胡琨元.基于多级数据处理的RFID中间件开发[J].计算机工程,2011,37(24):272-274.

[2]李斌,李文峰.智能物流中面向RFID的信息融合研究[J].电子科技大学学报,2007,36(6):1329-1332.

[3]Impinj.Installation&operations guide[EB/OL].[2010-10-29].http://www.impinj.com.

[4]梁英宏,王知衍,曹晓叶,等.RFID智能站点的研究与开发[J].计算机应用研究,2008,25(3):820-822.

[5]史喜阳,孙棣华,宋潇潇.基于CEP的RFID数据处理模型研究[J].自动化技术与应用,2008,27(4):73-76.

[6]蒋邵岗,谭杰.RFID中间件数据处理与过滤方法的研究[J].计算机应用,2008,28(10):2613-2615.

[7]薛小平,张思东,王小平,等.RFID网络的数据清理技术[J].计算机工程,2008,34(7):92-94.

数据库处理系统 篇10

关键词：数据采集,智能数据处理系统,设计思路

一、数据采集与处理系统概述

1.1数据采集系统。简单来说, 所谓的数据采集系统, 其实指的就是通过运用计算机系统, 来对数据进行多路检测之后对其进行分析与存储, 经过分析计算后提取出有用的信息, 通过显示、记录等一系列过程供企业所使用。数据采集系统可以被概括为数据输入通道、存储与管理、处理、输出及数据显示这几部分。

从本质上来说, 数据采集系统本身最根本的任务, 就是把其在传感器当中所收集到的数据与信号进行合理的转换, 并使之转变成数字信号之后, 再运用计算机来对其进行相应的计算与分析, 将得到的数据显示, 进而实现对生产生活中某些物理量的监测。

1.2数据处理系统。我们所说的数据处理系统, 指的就是通过运用相关的计算机设备与技术, 来对数据进行后期的加工处理过程。从本质上来说, 数据处理最根本的目的, 就是要把具有较高价值的数据从大量数据当中提取出来, 这个过程可以由人工进行, 也可以依赖于自动化装置进行。

在各类事业机构与企业单位中, 数据处理系统都已经得到了比较广泛地应用。其内容主要包括库存管理与财会管理以及销售分析等, 能够在很大程度上促进工作效率的提升。在长期的发展过程中, 数据处理慢慢发展成一个独立的行业。通过对相关信息与数据的整理, 并对其进行适当的转换, 使之转变成具有更高价值的信息, 将会促进整个信息化社会的发展与进步。

二、数据采集与数据处理的理念和功能

2.1数据采集处理系统的设计思想。从内部组成上来看, 在数据采集处理系统当中, 主要包含了数据的采集与实时处理模块, 前端信号调理模块等。在这当中, 前端信号处理主要是用于进行信号变化幅度的测试, 并对模拟信号进行调整, 最终将其调理到采集卡的量程范围以内。而采集电路所负责的, 则主要是对输入信号的缓存与采集, 通过运用系统总线, 来把其所采集到的相关数据直接读入到计算机的内存当中去, 然后再通过运用相关的软件对其进行后期的处理工作。此外, 在整个数据处理过程中, 主控计算机所负责的主要是协调与监控。

2.2数据采集处理系统的软件设计。就针对于本系统而言, 软件的设计也是其中的一个重要环节。通过软件设计, 能够有效的对测试数据进行统一的管理与存储, 并在此基础上, 来实现数据采集器和计算机之间的实时处理与双向传输。此外, 软件设计能够对设备状态的特征进行提取与自动识别, 并且, 其所采用的通常是模块化与自上而下相结合的方式, 来是现在整个的信息与数据采集过程中, 多任务多窗口与人工控制地人机交互界面。

2.3数据采集处理系统的功能。就针对于数据采集处理系统而言, 其所具有的功能主要就包括了以下几个方面: (1) 多通道数据采集。从某种意义上来讲, 信号调理模块的适用性与软硬件的高效性, 能够从根本上来满足其自身的实际测试需要。 (2) 信号实时监测处理。当我们在进行信号的变换处理时, 该系统能够具备实时显示与高速分析的功能性。 (3) 测试信号的跟踪分析。从本质上行来讲, 该系统能够对信号进行采集之前的预先分析与连续跟踪监测。 (4) 测试数据的再现。在数据的采集完成之后, 系统可以实现对信息的重现与分析处理功能。 (5) 数据的传输和存储。在该系统中, 通过软硬件之间的高效配合, 不仅能够让数据传输更加的高校与稳定, 同时也能实现对大量数据的实时处理与储存。

三、基于WEB的数据发布与显示

基于 WEB 的数据发布与显示可以有效提高工作效率、减少操作失误几率, 该系统通常采用 WEB 浏览表示层、WEB 服务功能层和数据库服务数据层[1], 其不仅能够及时将所采集到的数据发布出去, 同时也能使用显示屏, 来对其所采集到的数据进行实时的更新与维护。基于 WEB 的数据发布与显示能够让工作人员及时了解并掌握机器的运行状态, 及早地检测到机组的异常运行状况, 合理降低操作失误, 来为企业的生产与发展提供准确而又真实的数据资料。

结语

综上所述, 在各类通信技术与计算机技术不断发展的今天, 数据的采集处理系统也得到了更加广泛的应用, 其不仅能够有效地提高生产效率, 同时也能在很大程度上降低生产成本。所以我们要重视对数据采集和数据处理系统的研究, 不断提高系统的性价比, 从而为企业的和社会带来更多的经济效益。

参考文献

数据库处理系统 篇11

关键词电力远动系统；智能节点；DSP技术

中图分类号TM文献标识码A文章编号1673-9671-(2011)081-0101-01

1概述

电力系统智能节点是完成运动数据采集、处理、发送、接收以及输出执行等功能的设备。

它具备了传统RTU的所有功能。各RTU系统之间由计算机网络连接，它们之间的数据交换由网络厂商提供的网络通讯协议完成；除了具备面向对象的I/O系统的一般功能外，最重要的特点就在于每一个系统从通讯网络的角度而言，它均为一个网络“节点”，即电力系统智能节点。

2DSP芯片的选择

本设计选择TMS320LF2407A作为本设计的DSP芯片，C240x系列DSP是面向数字控制系统的新一代数字信号处理器。该控制器集实时处理能力和控制器设计功能于一身，为控制系统应用提供了一个理想的解决方案。其内部的哈佛结构使数据空间和程序空间分离，独立的数据总线和程序总线允许程序数据同时操作；专用的硬件乘法器极大提高了运算速度；具有独特的逆寻址方式，能高效地进行快速傅里叶变换运算；指令系统采用流水线操作，减小了指令周期；采用内存映射方式管理I/O，能灵活方便地扩充外围电路。

3电源电路

TMS320LF2407A（以下简称2407A）采用3.3V电压，减小了芯片功耗；但常用直流电源为5V，因此必须考虑电平转换问题。一种方法是直接采用可调直流电源获得3.3V电压，但这样很难保证电源电压的稳定性，影响DSP的正常运行。另一种方法是采用专门的电源芯片，将5 V电压降为3.3V。TPS7333、TPS76HD318、MAX604为常用的电平转换芯片。基于本系统外围供电为5V，但DSP芯片需要的是3.3V的电压，故选择输入电压为5V，输出为3.3V的TPS7333作为电源芯片。

4智能节点的时钟电路

外部时钟信号由晶体振荡器提供，而晶体振荡器分为有源和无源，通过无源晶体连接的振荡器价格便宜，但是它的驱动能力比较差，一般不能提供多个器件共享，而且它可以提供的频率范围也比较小（一般在20kHz~60MHz）。所以，本设计采用了一个有源晶体振荡器，但是，使用有源晶振要注意时钟信号的电平，一般市场的晶振输出信号电平为5V或者3.3V。由于，DSP外围电压是3.3V，所以，本设计采用的是低电压型号（3.3V供电）的有源晶体振荡器15MOSC，这避免了对其输出进行电平转换。

5复位电路

本设计选用TL7705A作为复位电路的核心芯片，TL7705是电源监控用集成电路，采用8脚双列直插式封装，其具有处理上电复位、欠电压检测复位、手动复位功能．本文用它来实现外部复位信号管理功能，其复位信号输出引脚与DSP的复位引脚相连。其内部基准电压发生器具有较高的温度稳定性，可由1脚输出2.5V基准电压。为了吸收电源的纹波和脉冲干扰，通常在1脚接上0.1μF的滤波电容来提高其抗干扰能力。被监视的电源电压由SENSE脚引入，当其值小于基准电压时，输出脚RESET和RESET反分别为高、低电平。当被监视的电源电压高于基准电压时，端子RESET和RESET反输出关断，它能诊断电源瞬间短路、降压、尖峰脉冲干扰，并产生复位信号，外围电路的电压下降到门限设定电压时，完成数据保护，即将需要保护的数据写入DSP的内部RAM中，并使DSP进入掉电工作方式。

6JTAG电路

为了方便系统的调试和升级，电路设计时必须留出JTAG（连接测试组）调试接口，以便对DSP模块进行仿真和调试。JTAG接口用于连接最小系统和仿真器，实现仿真器对DSP的访问，JTAG接口的连接需要和仿真器上的接口一致。JTAG仿真器比较便宜，而且连接方便。标准的JTAG接口是4線：TCK为测试时钟输入；TDI为测试数据输入，数据通过TDI引脚输入JTAG接口；TDO为测试数据输出，数据通过TDO引脚从JTAG接口输出；TMS为测试模块选择，用来设置JTAG接口处于某种特定的测试模式；TRST为测试复位，输入引脚，低电平有效。

7存储器外围扩展电路

在设计TMS320LF2407A电路的时候，一般都会设计存储器外围扩展电路。外扩存储器不仅可以方便程序调试，而且也便于系统升级。2407ADSP可以访问的程序存储空间为64K字，根据MP/MC引脚的电子决定其配置方式。当MP/MC为低电平时，片内Flash存储空间使能，地址范围是0000h~7FFFFh，8000h~FFFFh的地址留给外部程序存储器。当

MP/MC为高电平时，片内Flash被禁止，64K字存储空间全部位于外部程序存储器中，即只能从片外存储器中读取数据，使得仿真调试时通过仿真器对程序修改比较容易。2407A DSP有64K的16位数据存储器空间，

32K字的内部存储器地址范围是0000h~7FFFh，包括存储器映射寄存器、DARAM和外设映射寄存器。另外，地址范围是8000h~FFFPh的32K字留给外部数据存储器空间。片外存储器的选择主要考虑电压、容量、速度等指标。本文采用工作电压3.3V，容量64K×16位，访问时间15ns的高速静态RAM，IS6lLV6416作为片外存储器。片外存储器的数据、地址线分别与DSP对应相连；输出使能引脚OE和输入使能引脚WE分别与DSP的读选通DSPRD相连。仿真调试时，用跳线把片选引脚DSPWE与DSP的程序空间选通引脚CE相连，当外部程序存储器用。程序烧写到片内Flash后，把片选引脚CE与DSP的数据空间选通引脚DSPDS相连，当外部数据存储器用。

8结论

本文完成了基于DSP电力系统自动化智能节点的硬件电路设计和软件设计。以TMS320LF2407A芯片作为核心处理器，通过对DSP信号处理电路、数据采集电路和数据通信电路的设计，实现了现场信号的采集、数字信号在CAN总线上的传输、对现场控制装置的控制以及管理。

参考文献

[1]张雄伟,等.DSP芯片原理与应用[M].北京:机械工业出版社,2005.

[2]扈宏杰.DSP控制系统的设计与实现[M].北京:机械工业出版社,2004.

[3]柳永智,等.电力系统远动[M].北京:中国电力出版社,2002.

数据库处理系统 篇12

国内许多冷床板坯跟踪系统中,装钢机、出钢机行程无法自动计算,只能手动进行装出钢操作,步进梁也只能在半自动状况下运行。操作人员劳动强度大,企业生产成本高,而产品产量低。莱钢厚板厂热处理车间冷床自动控制系统利用数据库技术,实现了板坯跟踪全自动控制。本技术采用S7-400控制系统,完成生产过程控制、数据采集、工艺显示、历史数据存储、故障报警及报表打印等功能。

1 技术原理

对冷床板坯信息跟踪程序进行开发与应用,建立冷床板坯实时数据库,记录冷床板坯数量、规格、位置等信息;板坯被步进梁抬起前进时,板坯位置信息实时更新,根据当前装料侧和出料侧板坯位置信息,计算出装钢机和出钢机行程,实现自动装出钢、冷床钢坯的周期运动和数据跟踪[1]。

数据库中第一个双整型数存放数据库当前指针,数据库中第2个双整型数存放当前数据库中存放的板坯数量。每只板坯占据22个字节(176位),共能存放最多50只板坯的信息。

根据指针的数据,可以计算出板坯的数量。例如指针为1824,则当前板坯数量为:(1824-64)/176=10只。

装钢时,根据数据库中第10只板坯的后沿位置,可以计算出第11只板坯的释放位置,这样装钢机可以自动装钢。

第11只板坯装入后,根据装钢完成信号,数据库第11只板坯信息位置处依次填入板坯的长、宽、位置等信息。同时数据库指针变为1824+176=2000,即指向了第12只板坯的起始位置,同时板坯数量更新为11。

当步进梁向前移动一个步距(设为500mm),数据库中所有板坯前沿、后沿位置信息都增加500。

当第1只板坯到达出钢位时,根据它的前沿位置计算出出钢机的出钢行程,从而实现自动出钢。

当出钢完成后,根据出钢完成信号,数据库中第1只板坯的信息清零,然后将第2只板坯的信息移动到第1只板坯的信息位置处;将第2只板坯的信息清零,然后将第3只板坯的信息移动到第2只板坯的信息位置处;依此类推,直到第11只板坯的信息移动到第10只板坯的信息位置处。数据库指针变为2000-176=1824,即指向了第11只板坯的起始位置,同时板坯数量更新为10。这样,就实现了完整的冷床数据跟踪过程。跟踪数据库结构如表1所示。

2 硬件配置

根据控制要求,经过综合对比分析,决定选用SIEMENS公司S7-400 PLC控制系统,监控软件采用SIEMENS公司的WinCC。

本工程自动化总体方案以“集散控制、分层结构”为主要特点,整个自动化系统可分为3层:现场检测与终端执行;分散的数据处理、过程控制;集中操作监视[2]。

结合本生产线工艺布置和特点,冷床控制系统使用了3台S7-400控制器、2台DELL工控机,PLC配置6个ET200从站。2台DELL工控机作为操作站,运行WinCC监控站软件,负责维护集成历史数据库和提供人机接口,访问PLC的数据。采用一台EPSON针式打印机打印生产报表和过程数据。

S7-400是模块化大型PLC系统,采用标准的以太网通信。DELL工控机采用主频为2.5GHz的pentiumⅣCPU,512MB SDRAM内存,80GB UltraSCSI接口硬盘。S7-400控制器和DELL工控机采用工业以太网通信,通信速率为10Mbps。

3 软件编制

该生产线的控制以过程控制为主,兼有大量的逻辑控制。主要功能是完成控制参数的监视和调整、逻辑联锁、故障及报警的处理、历史数据的采集及历史趋势的显示和打印,生产报表的生成和打印等。

上位机的功能包括:过程监控画面显示、报警显示与处理、报表打印、历史趋势显示与存储等。围绕以上功能编制上位机软件。

4 过程监控画面

配备功能键盘,可以选择画面和改变设定值。

根据冷床功能开发设计出不同的画面供操作者选择,例如冷床主画面、步进梁跟踪画面、冷却水画面、冷床监控画面等。冷床跟踪画面可显示下列数据:板坯号、批次、冷床板坯数量及板坯位置。

画面中含有报警信息,所有报警均可在屏幕显示,存储在硬盘里,并能打印出来。大约有100条报警信息。

过程数量记录(趋势):大约有50个过程值被记录在测量文档中,存储时间为1个月。所有过程值在屏幕上显示。

5 系统的安装调试及运行改进

5.1 实验室调试

在控制软件及工艺画面和报表编制完后,首先利用信号发生器对控制器I/O模板的每一通路进行检测,看输入、输出是否正常,模拟现场情况测试程序,检查程序运行是否正常。发现错误的地方立即进行修改,直到准确无误为止。

5.2 现场调试

经过冷调和热调两个阶段,使系统逐步满足控制要求。

5.3 系统测试

(1)系统硬件测试。

该系统采用S7-400系统,查阅运行以来的操作值班记录及维护记录,得出硬件的运行率为100%,没有出现因设备硬件而影响生产的情况。

(2)被控参数的测试。

整个生产线工艺较复杂,被控参数较多。对所有被控参数的控制精度(即设定量和实际量的差别)在不同时刻进行了测试和记录,由测试结果可知,被控参数基本能稳定在设定值的正常波动范围内。

(3)系统的报警功能。

当现场报警参数超限后,画面中出现红色报警。当参数恢复正常后,操作员按下报警确认按扭,报警消失。

(4)干扰性能测试。

当附近有大功率电机启动及使用电焊机时,该系统的正常工作不受影响。

5.4 运行改进

进入正常生产后,根据生产中的实际情况,进一步修改、完善软件,以最大限度满足生产的需要。

6 技术创新点

本项目成本低,效益高,主要技术特点如下:

(1)建立先进先出跟踪数据库,利用指针实现数据库内数据的定位、修改。

(2)开发出板坯信息的监控画面,使操作工对冷床板坯信息一目了然。

(3)根据板坯位置信息,计算出装钢机和出钢机行程,实现自动装出钢。

7 实施效果

该系统已投入运行,在冷床正常生产时有着良好的控制效果。该项目实施后,减小了工人的劳动强度,大大增强了系统稳定性,生产节奏整体提高,增加了年产钢量,取得了良好的经济效益。

参考文献

[1]陈守仁.工程检测技术[M].北京:中央广播电视大学出版社,1996