数据库系统技术（共12篇）
数据库系统技术 篇1
摘要：如何及时有效的恢复,使故障对数据库性能的影响降低到最小限度,显得至关重要。重点对内存数据库的系统故障进行探讨,并给出相关内容及解决处理方法。
关键词：内存数据库,故障,恢复技术
内存数据库运行在内存环境中,更易受到软件错误、系统崩溃、系统掉电等因素影响,致使系统出现故障而不能继续运行。在内存数据库出现故障后,如何及时有效的恢复,使故障对数据库性能的影响降低到最小限度,显得至关重要。内存数据库的故障类型包括事务、系统和介质等三种,文章重点对系统故障进行探讨,给出相关内容及解决处理方法。
1系统故障的概念
系统故障是指在运行的过程中,由于某种事件迫使系统停止运转并经重新启动才能正常运转,掉电和软件错误就属于两类典型的系统故障。内存数据库主版本存储在内存中,掉电后内存中的内容全部消失,而常见的软件错误可能覆盖主存的一部分,它们都能使系统出现故障停止运行。系统故障发生后,有些已提交事务对数据库的更新还没有写入到外存数据库。 这时,作为恢复处理中最重要的一环,重装数据库以及重装过程中的恢复能将数据库有效地“还原”到某一种一致性状态。 完全可以来说,系统故障一旦发生,只需将外存数据库载入到内存,而后对undo起始点后的日志进行undo操作就可以将数据库恢复到离故障点最近的一致性状态。总的来说,系统故障恢复的关键点是重载外存数据库到内存中及利用日志工具恢复,那么如何有效的重载入外存数据库和快速高效的日志恢复便成为解决问题的重点。
2重载恢复
重载指系统出现故障之后,重新启动,在此过程中,恢复管理器根据日志和外存数据库的信息先将未超截止期的活动事务所需的数据装入内存,若没有超过重装阈值,则将等待事务所需的数据装入,直到重装阈值。内存数据库的故障恢复时, 在不(或尽量少)影响实时事务的定时限制满足的情况下,优先载入优先级最高的事务和下一个要访问的数据,紧接着将需要紧迫执行的事务启动,此过程中选择数据逐步载入到内存时要按照某种策略进行。内存数据库载入策略的好坏直接影响主动实时数据库系统的性能,一旦采取的策略不当,最先载入的数据将闲置一段时间,而紧迫要运行的事务的数据却未被载入内存中,这样一来这些无用和有用数据将频繁循环交换。这对时间有严格要求的实时事务来说,将是一种灾难。
2.1重载算法概述
并发重载算法较为典型的有频率装载(FR)、智能装载(SR)和顺序优先级装载(ORP ),其共同点是通过预测需要立即使用的页面,并依此降低重载时间。这三者的区别在于磁盘备份的结构、是否利用数据访问频率、重装优先级、重装粒度。所谓重载粒度就是数据重载的最小单元,在这个单元的数据载入过程中,不会发生抢占,除此之外高优先级装入可以抢占低优先级装入。这些算法区分等待事务和执行事务。等待事务就是那些在系统崩溃时还未提交的激活事务,而执行事务则是在系统重新开始工作后到达的事务。
2.2改进的重载算法
该算法充分考虑了上述各重载算法的优点,同时参考重载事务的预分析、数据载入的影响因素和数据交换在数据库运行时的策略,具体的实现算法如下。
第一步:建立恢复缓冲区和脏页表,给出等待事务的标号。
第二步:将系统信息重载到MMDB系统区。
第三步:标识故障时处于活动和等待状态的事务及其存储所需的数据库片,并将这些数据库片组合在一起。组合的原则是按照柱面的不同确定,同时充分参照磁盘数据库目录提供的信息。
第四步:将外存数据重载到MMDB主数据区,当数据量达到重装阀值(RT)停止重载。重载的优先级策略如下:
首先以存取频率由高到低的顺序作为基础,将“等待”事务按照其优先级由高到低的顺序载入其数据;
其次根据日志对离发生故障最近一次的检查点之后被修改的脏数据页进行数据恢复;
最后将其余数据载入,载入时依照存取频率的高低顺序进行。
第五步:复制己提交事务的“后映像”,将这些都复制到其私有的缓冲区。
第六步:重载到达阀值,接着启动系统运行并开始处理事务。
第七步:重载其他的外存数据到MMDB主数据区,重载的优先级策略如下:
首先按请求载入新到达的执行事务所需求的相应数据库片;
其次载入“等待”事务所需的其他数据库片,仍然以柱面为基础;
最后载入其他柱面数据,载入时依据磁盘数据库的存储顺序进行。
2.3改进算法的实验与结论
本实验重写Hsqldb的恢复模块,将上面提出的重载算法编程实现,并进行实验对比。对比时,按照分别插入不同数目的记录,分别是100、1000、10000、100000。在数据库运行过程中强制执行关闭操作,得到其相应的日志文件。Hsqldb的顺序重载和按优先级重载的结果如表1和图1所示:
从图1可以看出:刚开始数据优先级重载的优越性并不明显,当插入记录的条数达到1000条后,按优先级重载的良好性能才能体现出来。那么在高并发的适应应用环境下,按优先级的重载性能优于顺序重载。
结果表明:1)数据优先级算法时间开销少于顺序重载算法;2) 一个有效的重载算法对于内存数据库系统来说是非常重要的;3) 事务优先级和数据的各种特性在设计实时内存数据库重载算法时显得尤为关键。
2.4重载后的恢复策略
系统故障恢复由两个步骤组成,分别是重载和重载后的恢复。重载后的恢复是指根据日志和检查点执行的相应操作,恢复数据库到离系统崩溃时最近一次的一致性状态。在系统重启过程中一旦发现脏页,将根据磁盘上的日志和数据库进行重载恢复,具体步骤如下:
第一步:发现到最后一个检查点。
第二步:从检查点中读入以下内容到内存:1完整的数据库镜像;2稳定全局日志尾指针;3活动事务表,包括所有活动事务的TID和状态信息;4所有活动事务的undo日志;5系统最后分配的事务提交顺序号csn。
第三步:在稳定日志中,将当前稳定日志尾指针作为开头, 按照自后向前的顺序进行搜索,直至寻找到第一个提交/失败记录,并移动稳定日志尾指针到该点。
第四步:将读入的检查点中记录的稳定日志尾指针作为起点,按照由前向后的顺序遍历日志直至日志尾,并执行以下操作:
第五步:对于在检查点处于活动状态的事务,如果redo日志中没有提交记录<commit Ti,csn(Ti)>且其状态也未被标记为“提交中”,那么从检查点中找到相应的undo日志并执行相应操作。
3小结
内存数据库的系统故障不同于磁盘数据库,内存数据库大多用在实时环境下,它要求事务和数据具有实时性,需要重新考虑其重载算法及重载过程中的恢复算法。系统故障分为故障后重载和重载过程中的恢复。改进的重载算法,表明:数据优先级算法时间开销少于顺序重载算法;一个有效的重载算法对于内存数据库系统来说是非常重要的;事务优先级和数据的各种特性在设计实时内存数据库重载算法时显得尤为关键。
数据库系统技术 篇2
一、背景概述
随着政府上网、电子政务的不断普及和深入，IBM公司的Lotus Domino系统在国内得到广泛的应用。其中不乏大型的、跨地域的企事业单位或集团公司应用案例。这些案例一般采用分布式系统结构，即分布在全国各地的分支机构分别设有独立的数据库服务器，各地数据库服务器采用数据库同步复制的方式更新本地数据库复本内容。从而使得各地终端用户及时、快捷、可靠地访问到最新公告、新闻等。
本文结合呼和浩特铁路局客运公司办公自动化系统案例讨论基于IBM公司的Lotus Domino技术构建的分布式OA系统中数据库之间的同步复制技术。
二、几个概念
IBM公司的Lotus产品包含Lotus Domino Server，Lotus Notes，Lotus Domino Administrator和Lotus Domino Designer。Lotus Domino Server为后台数据库平台，Lotus Notes为客户端，Lotus Domino Administrator为系统管理平台，Lotus Domino Designer设计开发工具。先介绍几个Domino中和同步复制有关的概念。
1、复制
Notes允许在多个服务器或工作站上保存数据库的多个拷贝，这些拷贝称做“复本”。它们使各个地方的不同网络上的用户共享相同的信息。复本与文件的拷贝不同之处在于在复制时源文件与其复本具有相同的复本标识符。
复制是在复本之间共享更改信息的过程。复制时，Notes通过把更改信息从一个复本拷贝到另一个复本来更新复本。最终，Notes 使所有复本保持一致。可以选择在复本拷贝之间进行复制，这时两个复本都发送并接收更新信息，或者选择仅从一个复本复制到另一个复本。
也可以定期安排复制，或者根据需要手动进行复制。复制可以在两台服务器之间或者在服务器和工作站之间进行。如果设定为定期进行完整复制，那么 Notes会根据时间使所有复本保持同步。
2、复本标识符
复本与源文件或数据库有相同的复本标识符。这是数据库的复本与拷贝的区别所在，因为有共同的标识符才能使复本与源数据库之间可以复制更改信息。如果数据库的两个拷贝具有不同的复本标识符，则不能在它们之间进行复制。
3、复制冲突和保存冲突
在复制之间，如果有两个或多个用户对相同文档的不同复本进行了编辑，就会导致复制冲突。而保存冲突则是在两个或多个用户同时编辑服务器上同一个数据库的同一个文档时发生。当发生复制冲突或保存冲突时，Notes 将在视图页面左边把发生冲突的文档标注出来。
Notes对复制冲突的处理是这样的，在两个或多个用户编辑并保存同一个文档之后，下次进行复制时，Notes 将编辑和保存最频繁的文档指定为主文档，而将其他文档显示为主文档的答复文档，并在视图页面左边用一个菱形符号标注出来。如果用户在一个复本中编辑并保存了某文档，然后另一个用户将该文档删除，则认为该文档是被删除的。然而，如果文档被编辑和保存了多次，或者在该文档被删除之后又被另一个用户编辑和保存过，则把编辑过的文档作为主文档。
Note对保存冲突的处理如下，当多个用户同时打开相同的文档进行编辑时，Notes指定最先保存的文档为主文档。当另一个用户试图保存同一文档时，Notes 就会提示该用户把它作为“保存冲突”文档来保存。如果用户这样做了，那么 Notes 将它显示为主文档的答复文档，并在视图页面左边用一个菱形符号标注出来。
根据笔者的经验，在实际开发过程中，我们应该通过设计控制保存冲突，避免文档产生“保存冲突”的答复文档。对于复制冲突可以设置数据库合并复制冲突，这样如果产生增量改动，服务器在复制过程中会自动合并冲突。需要说明的是，Notes在进行复制时，并不是传统意义上的完全拷贝，而是一系列的规则进行增量的合并。
4、复制类型
Domino中支持四种不同的复制方式
拉入推出：是一个双向过程。此过程进行时，呼叫服务器从响应服务器拉入更新，然后向响应服务器推出自己的更新。使用“拉入推出”时，呼叫服务器上的 Replicator 任务执行所有的工作。拉入推出是系统缺省的复制方式。
分别拉入：是两个服务器交换更新的双向过程。使用“分别拉入”时，两个复制器（一个在呼叫服务器上，另一个在响应服务器上）共同进行复制工作。
只推出：是呼叫服务器向响应服务器推出更新的单向过程。单向复制总是比双向复制耗时少。只拉入：是呼叫服务器从响应服务器拉入更新的单向过程。单向复制总是比双向复制耗时少。
三、案例
笔者曾经参与呼和浩特铁路局客运公司办公自动化系统的设计、开发和实施工作。呼和浩特铁路局客运公司包括三个信息中心，分别在呼和浩特市、包头市和东河区三个地方，三地之间通过64K的DDN专线连接。因为带宽的限制，用户远程访问速度成为本系统的瓶颈，经过再三论证，我们决定构建分布式数据库存储架构，采用后台数据库实时同步复制技术使三个异地服务器内容一致，将远程访问转化为本地访问，从而提高终端用户访问速度。
详细步骤如下。
1、安装服务器
在三地信息中心分别安装Domino服务器，服务器的详细配置并不复杂，读者可以参阅相关资料，一般情况下按照安装配置向导四步就可以快捷配置完毕。注意三台Domino服务器不要同名，其简单拓扑结构如下：
图中呼市处于相对中心的位置，所以呼市和包头之间，呼市和东河之间分别建立了互推复制机制，为了降低网络负担和流通环节，没有建立包头和东河之间的复制，各地直接通过与呼市同步来保持三地数据的一致。一般而言，如果各分支机构处于平等位置，互相之间的数据流量相当，也可以两两之间建立复制机制。
2、建立服务器之间的连接
对于两个服务器之间进行的复制，应创建一个“连接”文档来指定进行信息交换的方式和时间。“连接”文档存储在“Domino 目录”中。一次仅使用一个“连接”文档来处理每对服务器之间的所有复制。创建不必要的“连接”文档会增加网络传输量和阻塞。
缺省情况下，邮件路由和复制都已被启用，但是可以更改此设置并使用单独的“连接”文档来安排每项任务。这样，就可以分别控制复制和邮件路由的特定时间、时间范围或重复间隔，并根据需要增加或减小这些设置。
怎么保证服务器之间的连接能顺利的连通？实际上对于物理连接形式Domino并不关心，也就是说物理上无论通过什么连接方式，专线、光纤、X.25、电话拨号等，只要TCP/IP通，简单说只要能Ping通，就能够保证服务器之间顺利连接。
下面给出了建立服务器之间连接的操作步骤和主要参数的设置说明：
A）在 Domino Administrator 中单击“配置”附签。
B）在“使用目录”域中选择连接服务器的“Domino 目录”。
C）单击“服务器”，然后单击“连接”。
D）单击“添加连接”。
F）关键域配置描述：
域输入
源服务器连接服务器的名称
使用以下端口连接服务器或源服务器使用的网络端口（或协议）名称
使用优先级选择一个：“一般”（缺省）“低”
目标服务器响应服务器的名称
可选网络地址与所选协议相适应的目标服务器的地址。对于 TCP/IP，应使用完全有效的网络域名称（首选）或 IP 地址（例如：HR-E.Acme.com 或者 192.22.256.36）。
对 TCP/IP 或其他需要特定网络地址的协议，建议填写此域。
复制类型缺省情况下，Domino 的复制方向为“拉入推出”。但根据实际情况，为了平衡服务器之间的负载，充分发挥每个服务器的性能，我们可以设定双方互推或者互拉，本例中我们采用服务器双方互推的方式，即每个服务器上的连接复制类型都是由源服务器向目标服务器推出。
复制文件/目录如果为空，则服务器将DATA目录下的所有存在复本的数据库全部进行复制，否则填写哪个库系统就复制哪个库。
安排在安排中可以设置连接时间、重复间隔、每周复制日期等参数。可根据实际情况设定，本例设置为每日8：00到晚上10：00连接，连接期间每一小时进行同步复制或服务器依据增量自动复制，非连接时间服务器处理其他性能调优动作，如更新数据库索引等。
H）保存文档。
3、建立数据库复本
连接建立成功以后，保证服务器之间可以进行通讯了，下一步就是对要进行同步的数据库建立复本，当建立了复本以后，通过连接设定就能保证异地各个复本之间的数据完全一致。
这里需要说明的是，我们在第一台服务器上建立了一套数据库系统，对于需要同步复制的所有数据库，在其他服务器上只需要产生他们的复本，而不能再在每台服务器上分别创建相同的数据库。在本例中我们在呼市客运公司信息中心安装配置好第一台服务器后，在包头信息中心和东河信息中心的Domino服务器上则通过呼市信息中心服务器建立各自本地所有需要的数据库复本。
如果要在本地Domino服务器上创建源Domino服务器的复本数据库，需要本地服务器的系统管理员具有对源服务器访问和创建复本的权限，因为Domino对权限控制很严格，尤其是多域用户之间的访问，其目的就是为了充分保证系统的安全性。那么怎样才能具有这样的创建复本的权限呢？需要具有两个基本的存取权限就可以在本服务器上创建源服务器的数据库复本，一是源服务器配置中允许本地服务器的系统管理员访问，二是允许本地服务器的系统管理员创建数据库复本，这两个权限由源数据库的系统管理员设置给目标数据库的系统管理员。结合本例，需要在包头信息中心的服务器上建立呼市信息中心的数据库复本，则首先在呼市信息中心的服务器上配置“当前服务器”文档。
A）在 Domino Administrator 中单击“当前服务器”文档。
B）单击“编辑服务器”
C）选择“安全”标签页，填写以下两项：
域输入
访问服务器本例为包头信息中心系统服务器名称及管理员的用户名称
创建数据库复本同样是包头信息中心系统管理员的用户名称
D保存后退出。
接下来就可以在包头信息中心的服务器上创建源数据库的复本了，这步动作比较简单，选择源数据库，从菜单中执行创建复本功能即可，这里不在详细描述。
同样的处理在东河的服务器上如法炮制一遍，则所有数据库复本成功建立完毕。
4、复制测试
完成以上三步，配置就全部完成，接下来就要测试一下配置是否完全成功以及配置是否生效。我们测试主要包括两个内容：一是测试连接是否成功，能否进行复制动作。二是测试设置的复制安排是否按照预定生效。
A）进行第一项测试的办法是在Domino的控制台上，使用Domino的系统命令，进行数据库的推、拉测试，检查复制是否能成功进行，命令格式如下：
拉入复制
语法：Pull servername [databasename]
描述：强制从指定服务器到本地服务器进行单向复制。通过在命令行中包括单个数据库名称，将其从特定服务器单向复制到本地服务器。发起复制的服务器从指定的服务器接受数据，但不能申请将自己的数据复制到其他服务器上。该命令重设在“Domino 目录”中预定的任何复制，而强制一台服务器与发起复制的服务器立即进行复制。如果可能，请输入服务器完整的层次结构名称。
推出复制
语法：Push servername [databasename]
描述：强制进行从本地服务器到指定服务器的单向复制。也可以通过在命令行中包括要复制的单个数据库名称，来将其从本地服务器单向复制到特定服务器。发起复制的服务器将数据发送到指定的服务器，但不申请获得数据。该命令可以重设在“Domino 目录”中预定的任何复制，而强制一台服务器立即与发起复制的服务器进行复制。如果可能的话，请指定服务器完整的层次结构名称。
B）第二项测试通过将连接文档的安排时间设置为两分钟进行一次，同时观察Domino的系统控制台，查看服务器的动作，以确保安排设定生效。正确的结果是从控制台上能看到系统报告复制过程。
按照以上实例说明进行，没有任何问题。
四、结束语
数据库系统技术 篇3
关键词：数据库技术；实用性；管理信息系统
中图分类号：TP393.08
管理信息系统是很多现代化公司正在使用的企业管理工具，该系统的功能很强大，它能在企业财务管理、人力管理、运营管理等各个方面发会作用。保障管理信息系统实现以上强大功能的核心是数据库技术。
1 数据库技术特点
1.1 数据库技术概述。数据库技术是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，并利用这些理论来实现对数据库中的数据进行处理、分析和理解的技术。数据库技术研究的对象是数据，通过对数据的统一组织和管理，按照指定的结构建立相应的数据库和数据仓库；利用数据库管理系统和数据挖掘系统设计出能够实现对数据库中的数据进行添加、修改、删除、处理、分析、理解、报表和打印等多种功能的数据管理和数据挖掘应用系统；并利用应用管理系统最终实现对数据的处理、分析和理解[1]。
1.2 数据库技术特点。数据库技术最早出现于20世纪60年代末期，当时只是人为的数据管理技术。随着计算机技术的发展和数据库技术本身的迭代，现代的数据库技术已经具备了专一系统性、企业应用实践性、涉及领域全面性等新技术特点。该技术从数据库架构设计、数据层讨论，再到数据库的安全存储、运维管理，形成一个完整的技术体系，其平台技术包括Oracle、Mysql、DB2、SQL Server等，可以应用于各个行业的企业[2]。而且，随着数据库领域的新兴技术的不断出现，数据库技术还在不断优化升级，如云数据库、物联网数据库、分布式文件系统、伪分布式数据库等。
2 数据库技术在管理信息系统中的应用
2.1 组织管理信息系统中多类数据。管理信息系统中的数据来自不同的业务数据库，并且都是按照不同的主题进行数据组织与归类的。数据库技术强大的信息归类功能会按照一定的程序将数据进行抽取、转换和装载等等，并最终按照预先设定好的数据库模型，将数据加载到数据仓库中去。
2.2 提升管理信息系统数据分析效率和功能。管理信息系统面临大量复杂而又毫无规律的数据，数据库技术能将大量的数据进行合理的组织，并且能够在分析的基础上建立模型，对于结构化和半机构化的决策问题给出了结果。这种将数据进行不同分类的方法，改变了原来数据库存放着动态变化的细节性数据的情况，从而改变了管理信息系统原来数据以“业务处理”为目的的状况[3]。数据库技术是管理信息系统分析的基础，为系统提供不同分类数据的同时，提供多种分析模型，大大提高了管理信息系统的分析效率和功能[4]。在竞争激烈的市场环境下，多功能全方位的管理信息系统才能满足企业的需求。
2.3 解决管理信息系统数据存储问题。安全存储和利于检索使用是资源信息系统中数据理想的存贮状态。数据库技术实现了这一功能。数据库技术能够存储繁杂的信息、实现数据共享以及保障数据安全，并且还能够高校地检索数据和处理数据。
3 数据库技术在管理信息系统中的发展方向
3.1 面向对象的数据库技术。现有的数据库技术已经无法满足现在企业对管理信息系统的需求，也无法描述企业的实体了。而面向对象的数据模型由于吸收了已经成熟的程序设计方法学的核心概念和基本的思想，以一种面向对象语言为基础，增加数据库的功能，支持持久对象和实现数据共享。面向对象的数据库不仅在处理多媒体等数据类型时可以做到游刃有余，而且在应用系统开发速度和维护等方面有着极大的优越性[5]。它将是更加符合企业对管理系统的需求，因此，管理信息系统数据库技术的未来将会是面向对象的时代。
3.2 数据库技术能够标示复杂的数据模型。关系数据库以表的形式来表示数据。所有的表都处于同一层次。这意味着所有的数据都可以直接进行访问。比如企业中的某一员工，通过他的年龄或编号可以从数据库中看到他负责的项目、工资、培训情况等，而不需再去找他的主管部门、财务部门、人力部门查找数据。除了人可以这么管理，所有的运行项目也可以这么管理，建立关系数据库，能明显提高效率，尤其在比较大的、部门和层级比较多的企业。目前管理信息系统中虽然也在建立关系数据库，但由于没有统一的数据模型和数据逻辑理论基础，因此应用的范围小，只有一些平面数据模型，这样看来关系数据库的作用很大程度上没有发挥，未来在这个方向上还要研究立体的数据模型和逻辑理论。
3.3 非结构化数据库的建立。非结构化数据库就是字段可变的数据库。这种数据库最大的优点是突破了关系数据库的结构定义不易改变和数据定义的限制，支持了重复字段子字段以及经变长字段[6][7]。非结构化数据的复杂程度远远高于结构化数据，所以内容管理技术还存在很多有待解决的难题，比如，如何很好地解决多种异构数据源的存储和查询就是其中的关键问题。非结构化数据库的建立将会是未来数据库发展的一个很重要的补充。
3.4 数据库与学科技术的结合。数据库与学科技术结合时发展趋势更是商业需求。现在是个大数据时代，很多企业意识数据库和本行业的数据对自己企业的重要性，甚至一些反应快捷的企业已经从中获得了好处。就某些行业来看，数据库技术甚至影响整个环境的宏观发展格局和方向，比如通讯业、金融业。因此，数据库与学科结合成本数据库发展的必然趋势，并且市场向数据仓库和电子商务方向有着巨大的发展空间。一些能够把握行业变化的企业会愿意花大成本革新自己的数据库。
3.5 面向专门应用领域的数据库技术。随着社会各行业的专业化发展，一些行业分工会越来越细，越来越明确。数据库技术也将有这个方向的发展，研究团队根据需求的要求及擅长领域深度研究，比如专门研究关系库立体模型、专门研究财经企业管理信息系统、专门研究地理数据库技术等等[8]。随着研究工作的继续深入，数据库在实际工作中的运用将会越来越趋向专业化。社会中的每个领域都能找个适合自己的管理信息系统，不仅如此，其中功能将全且专业，用户可随心所欲使用数据库，它能生成各种用户所需的结果。
4 结束语
数据库技术使管理信息系统具备了强大的信息管理功能，但在快速发展的当今社会，这些强大的功能马上就会无法适应企业越来越多越来越高的要求。根据对综合需求的分析，数据库技术应当在面向对象的数据库技术、非结构化数据库的建立、数据库与学科技术的结合、面向专门应用领域的数据库技术等方面继续发展，取得更多成果，进一步优化和增强管理信息系统的功能。
参考文献：
[1]颜菲.浅谈在局域网中数据库应用系统的开发[J].计算机光盘软件与应用，2013（11）：99-100.
[2]青欣，胥光辉，戢瑶，郭霄.云数据库应用研究[J].计算机技术与发展，2013（05）：37-41.
[3]刘维志.数据库应用的高可用性及实现技术研究[J].信息系统工程，2013（04）：97.
[4]沈向艳.数据库应用系统性能优化研究[J].消费电子，2012（08X）：110.
[5]于芳.谈数据库应用中的安全技术[J].中国科技博览，2013（04）：229.
[6]孙茜，任青.浅析数据库应用系统设计实例[J].通讯世界（下半月），2013（07）：28-30.
[7]竹俊卿，王朝刚.数据库应用技术研究[J].硅谷，2013，2：129-130.
[8]陈仕琼，严玫.基于Web的数据库应用系统的安全性策略[J].计算机光盘软件与应用，2013（02）：189.
作者简介：邵君（1986.03-），女，江苏苏州人，本科，研究方向：计算机网络单位内部管理。
数据库系统技术 篇4
计算机技术的发展改变了人类工作及生活方式, 使其成为高效管理的手段, 促进计算机数据库领域研究的进展。计算机网络的广泛应用有其积极的一面, 但也出现一些问题, 网络开放性与信息安全性的矛盾一直存在。数据库远程访问的安全逐渐成为研究热点, 如非法访问、黑客攻击、数据篡改等安全问题的存在对于网络系统安全构成了极大威胁。
2 数据库安全代理访问
为实现数据库的安全访问, 在数据库传统访问方式中以代理形式添加加密、认证及防火墙等安全技术, 组成数据库新的访问结构。
2.1 系统总体结构
数据库安全访问代理主要用于对用户身份进行认证, 以及为数据库访问提供传输加密等服务, 用户对数据库的访问请求都需要利用数据库安全访问代理向其需要目的地转发。服务器端接收用户数据库访问请求后, 运行数据库相应服务后向客户传送访问结果。
数据库访问请求根据协议格式向数据报提供至数据认证客户端, 由数据认证客户端根据协议格式提供访问结果。
数据加密认证工作由客户端完成, 实现强大数据加密功能以确保数据安全。通过客户端发出的数据库访问请求由服务器接收, 该请求经客户端加密。解密后数据传至代理服务器, 结果执行完毕返回后加密回送客户端。
由上述描述可知代理系统处于广域网中, 数据库访问中广域网是最薄弱环节, 易出现各种安全问题。广域网通过代理后传输加密数据, 通过认证签名技术可有效避免窃取篡改数据, 使系统数据安全性有效提高。向数据库服务器提出代理客户数据访问请求由数据库访问代理服务器实现, 接受应答后执行相应数据库操作。
2.2 安全访问代理特点
在数据库与具体应用之间, 安全访问代理起到数据库中间件的作用。在代理系统中实现对访问请求的控制管理, 并与数据库结合实现充分发挥其性能的目的。如数据库连接池的建立就是克服传统的C/S结构弊端, 具有可重用、灵活、易管理维护等优点。远程过程调用中间件在C/S计算上, 具有客户机的灵活性, 使其比数据库中间件在更复杂的C/S计算环境中广泛应用。
2.3 安全访问代理作用
安全访问代理由系统接收访问请求后, 将对数据库的访问请求映射至代理系统, 系统对这些请求不进行复杂处理, 结合代理能实现安全控制的特征, 以及对外接收数据库访问的请求。数据库系统对代理访问请求接受后实现隔离与安全保护。另外, 还能加到其它己应用的信息系统中, 使系统安全性明显提高。
2.4 防火墙
目前网络最严重的问题是黑客攻击, 其后果造成信息被窃取、系统瘫痪甚至网络堵塞。数据库安全访问代理能够实现应用级网关防火墙功能, 使数据库在广域网中得到保护, 通过代理服务器完成对数据库的访问。代理服务器运用防火墙技术实现对黑客攻击的抵御, 同时结合数据加密与身份认证等安全技术提高系统安全性。
同时位于同一局域网中的代理服务器与数据库能够有效避免广域网中的用户访问及非法攻击, 起到保护数据安全的重要作用。
2.5 SSL加密认证技术
在代理系统中的数据加密、身份认证与签名等安全措施都是通过SSL技术来实现。应用程序一般采用IPC与各层次安全协议进行通信, 并工作于不同传输层协议中。
2.6 多层结构
为避免因传统C/S结构的不足对系统应用造成的不利影响, 出现了一种分割式应用程序, 即三层 (N层) C/S模型结构。应用程序被系统分割为不同逻辑组件, 主要分为用户服务、业务处理与数据服务三层。因安全访问代理加入系统而形成多层结构, 应使其单独形成一层, 利用标准数据库访问接口与其它层连通, 提高系统灵活性, 使数据安全访问代理的设计复杂性大大降低。
2.7 ODBC技术
ODBC对众多数据库的支持与操作的主要愿意是因目前主流的多数数据库都是基于关系数据库的基础。其基本思想是提供相对独立的程序以利于数据信息提取, 并对应用程序实现数据的有效输入方法。其接口具有互操作性的优势, 使软件设计师可在非特定数据源条件下建立基于ODBC应用的相应程序。同时在应用程序方面, 为使各驱动程序与数据源都能实现对ODBC函数的调用与SQL语句集的支持, 其接口对级别进行了一致性定义, 使ODBC API与ODBC SRL语法实现一致。
2.8 应用透明性
对数据库的具体应用是否采用数据库安全访问代理与其对数据库采用何种访问方法无区别称为安全代理访问应用透明性。技术透明性能够实现向上继承, 这是其最大的优点。应用透明性主要是采用标准数据库访问技术进行实现的, 对数据库的任一访问操作都是通过访问代理系统映射为同一数据库访问而进行实施的, 由于映射的一一对应, 原开发的应用程序不需做任何改动, 这也使系统方案设计的灵活性大大提高。
2.9 数据压缩传输
数据传输在安全访问代理中主要是利用因特网来实现的, 因特网带宽比局域网窄很多, 很容易造成数据库访问拥塞, 对数据库效率产生不小影响。因此, 可通过采用数据压缩传输方式进行解决, 数据压缩是SSL的重要组成部分, 这样可在一定程度上提高数据传输效率, 目前压缩比基本上可达到四比一左右。
结束语
计算机网络发展至今, 黑客攻击、数据窃取等已覆盖几乎所有的信息系统, 这些安全问题需要加强安全控制及培训, 提高安全意识。目前, 可基于数据库安全访问代理相关技术在数据与其应用间建立一个数据库访问多层结构, 能够实现代理相对独立, 使系统复杂度有效降低。安全代理访问技术在一定程度上可提高数据库安全, 对于保护数据被非法窃取, 避免黑客攻击等具有积极的意义。
参考文献
[1]宋红君, 秦利波.数据库安全技术策略与多级安全代理模型[J], 华北科技学院学报, 2005.2.[1]宋红君, 秦利波.数据库安全技术策略与多级安全代理模型[J], 华北科技学院学报, 2005.2.
[2]贺达, 洪飞龙, 鄢田云等.数据库应用系统中安全代理的研究与实现[J].网络安全技术与应用, 2005, 2.[2]贺达, 洪飞龙, 鄢田云等.数据库应用系统中安全代理的研究与实现[J].网络安全技术与应用, 2005, 2.
[3]谷震离, 杜根远.SQLserver数据库应用程序中数据库安全性研究[J].计算机工程与设计, 2007.10.[3]谷震离, 杜根远.SQLserver数据库应用程序中数据库安全性研究[J].计算机工程与设计, 2007.10.
[4]金烨, 曹珍富.一个新的用于移动代理的签名方案[J].计算机工程, 2010.6[4]金烨, 曹珍富.一个新的用于移动代理的签名方案[J].计算机工程, 2010.6
[5]周世忠.浅谈网络数据库安全研究与应用[J].电脑知识与技术, 2010.5.[5]周世忠.浅谈网络数据库安全研究与应用[J].电脑知识与技术, 2010.5.
[6]汪新建, 罗绯, 李明.网络数据库的应用与安全认识[J].西南军医, 2009.1.[6]汪新建, 罗绯, 李明.网络数据库的应用与安全认识[J].西南军医, 2009.1.
数据库系统技术 篇5
学籍管理工作在学校管理中占据着非常重要的地位，对于学校的管理者、决策者来说都至关重要，良好的学籍管理系统，能够为学校管理者、决策者提供更加准确、及时、全面的学生信息，给学籍管理工作提供了很大的便利。但是，我国许多学校依然采用传统的人工学籍管理方式，导致学籍管理工作准确度差、效率低，并且维护、更新以及查找工作难度大，难以满足学籍管理工作的实际需求。通过将数据库技术应用在学籍管理系统中，能够有效的提高学籍管理工作效率、准确度、规范性以及完备性，由此可见数据库技术的重要性。
2学籍管理工作现状分析
数据库系统技术 篇6
关键词:数据仓库;税务系统;数据应用;OLAP
中图分类号:TP274文献标识码:A文章编号:1007-9599 (2010) 03-0072-03
The Construction of Revenue Data Application System Based on
Datawarehouse Technology
Yin Songtao1,Zhao Weiwei2
(1.Jiangsu Local Taxation Bureau,Nanjing 210024,China;
2.Jiangsu Entry-Exit Inspectin and Qunarantine Bureau,Nanjing 210001,China)
Abstract: Based on the data warehouse technology, this article has designed the macrostructure of revenue data application system,and has researched its components ,including data processing platform, data storage platform, application services platform-OLAP engine, data presentation platform and metadata management platform, finally proposed the next step research direction.
Keywords: Datawarehouse;Revenue System;Data Application;OLAP
一、引言
随着全国税务行业信息化建设的不断深化发展,各级税务机关通过开发各类税收业务系统,已基本完成各类税收业务数据的电子化采集工作,但这些系统很多是不同时期和不同渠道建设的,普遍缺少对这些宝贵数据系统、科学、灵活、有效的分析利用,无法将其从“数据”转化成为“信息”,从而真正体现信息化技术对税收管理工作的核心支撑和驱动作用,因此研究税务系统的数据应用系统建设,具有重要的理论意义和现实价值。
本文主要阐述如何借助业界成熟的数据仓库技术来构建一整套面向各级税务机关的税收数据应用系统。通过对各类现有数据进行归并整合,使之成为一个可扩展的综合数据应用平台,从而提高税收数据资源利用率,实现信息技术手段对税收日常管理工作的辅助决策支持作用。文章主要分析了“数据仓库”的基本概念和分层架构等,同时基于数据仓库技术,提出了税务数据应用系统的宏观架构,并对其中的数据加工平台、数据存储平台、应用服务平台-OLAP引擎、数据展现平台以及元数据管理平台等各组成平台进行了研究分析。
二、数据仓库概述
数据仓库概念始于20世纪80年代中期,首次出现在被称为“数据仓库之父”WiiliamH.Inmon编写的《建立数据仓库》一书中:“数据仓库是在企业管理和决策中面向主题的、集成的、不可更新的,随时间不断变化的数据集合”。换言之,数据仓库是数据积累、信息需求增长的产物,其目标是达到有效的决策支持,但它不是数据的简单堆积,而是从大量的事务型数据库中抽取数据,并将其按照管理目标的不同进行分类清理、转换、整合成为新的特殊存储格式,随着此过程的不断发展和完善,这种支持决策的、特殊的数据存储即被称为数据仓库。
数据仓库的最终目标是尽可能让决策者能够方便、有效和准确地使用数据仓库,但这仅靠数据仓库本身是难以实现的,必须再加上数据仓库前道的数据加工和后道的分析展现才能真正实现这一目的,而这一套完整的动态体系架构我们就称之为“数据仓库系统”。在Jiawei Han和Micheline Kmaber编著的《数据挖掘概念与技术》一书中,对于数据仓库系统划分了四个层次,具体由图1表示。
图1数据仓库系统体系结构
三、税收数据应用系统设计
宏观架构设计。鉴于税收数据应用系统的特殊性,与现有传统数据采集型生
产系统在体系架构、建模方式、应用重点等方面都有较大差异,可以看作是基于数据仓库技术的数据仓库系统的一类具体行业性应用,也应按照上述四层体系结构来建设,因此我们提出采用数据仓库的思想和体系架构来建设税收数据应用系统。根据税收数据应用系统建设的要求,税收数据应用系统的宏观架构见图2。
图2税收数据应用系统宏观架构
税收数据应用系统由从下自上的五大分层平台共同构成:
(一)数据加工平台:实现不同数据之间的传递和加工,由一系列数据加工处理服务组成,包括数据交换/采集服务、数据审计(产生推送数据和预警数据,完成数据质量检查和校验)、ETL(实现不同数据模型之间的抽取、清洗、加工、转换、装载)、数据挖掘等。
(二)数据存储平台:保存税收数据应用系统中涉及的各种数据,并进行分类设计和存放。按照数据库存储数据的类型和作用分为:业务数据库、采集/交换数据库、ODS操作数据存储(主要是各类实时性比较高的明细型数据,例如一户式、一员式数据等,同时其中还包括数据审计产生的面向各级用户的各类预警/推送数据)、数据仓库/数据集市、元数据控制数据等数据库。通过这些不同类型的数据库划分,既满足不同类型应用程序的差异,又便于日常的管理维护。
(三)应用服务平台:以相对平台化的服务提供应用开发的基础平台和运行部署平台。具体包括业务处理、数据服务、采集交换、预警推送、实体查询、查询分析、报表加工、门户控制和元数据发布等主要功能。
(四)数据展现平台:将通过应用服务平台加工处理后的数据以丰富多样的形式展现给最终用户,就目前税务系统常见的展现需求而言,主要包括以下几种形式:明细查询、实体查询、多维分析、趋势分析、对比分析、排名分析、固定报表、MDX分析、图形展现等。
(五)元数据管理平台:提供应用开发人员和系统维护人员对各类元数据进行开发、维护和管理监控的平台。
在上述五项分层平台的基础上,即可搭建我们的各项应用系统,就税务行业而言,目前根据应用模式基本可以初步划分为:面向业务处理的征管信息系统、面向纳税人服务的电子申报系统和面向决策分析的税收数据应用系统,这三者通过门户手段整合到一个门户系统中。税收数据应用系统是比较全面的应用系统建设,由于篇幅所限,我们这里重点阐述整体系统架构中的数据加工平台、数据存储平台、应用服务平台中与OLAP相关的部分、数据展现平台以及元数据管理平台。
1.数据加工平台。
数据加工平台由数据加工服务器、管理监控平台、数据加工规则三部分组成,实现从源数据(一个或多个)到目标数据(一个或多个)的数据加工,系统的结构见图3。
图3数据加工平台总体结构
2.数据存储平台。
税收数据应用系统的核心在于数据的科学、合理的存储和管理,从数据类型划分、数据分布、数据用途、数据时效性等角度进行分类和设计,税收数据应用系统中包括以下类型的数据:
(1)业务明细数据:由业务处理系统产生和管理,数据的组织以业务处理
(OLTP)为主,数据时效性要求比较高,通常只保存近期(二至三年内且处于活动状态)的数据,业务明细以满足业务处理的性能作为中心进行结构设计,通常基于ER模型(实体-关系模型)进行设计和存储。
(2)操作型数据存储(ODS):通过数据抽取从业务系统数据库获得的数据,或通过数据采集/交换系统直接录入的各种业务数据,可以直接提供各种明细数据的查询服务,数据的时效性为接近实时,数据结构组织上贴近于业务处理系统。
(3)历史明细数据:由业务处理系统和ODS数据库中迁移出来,通过一定的数据清洗和转换后形成的历史明细数据;历史明细数据通常为处于稳定(不再发生变化)的数据,对历史明细数据访问的时效性要求通常不高,历史明细数据即数据仓库中的细节数据,历史明细数据满足对业务历史数据的访问要求。
(4)主题分析数据:从历史明细数据基础上通过数据的加工和聚合产生的业务分析数据,业务分析数据通过以业务主题为中心,主题分析数据的数据时效性要求不高。
通过这种不同粒度和不同层次的标准划分,来满足各类用户的数据应用需求,结合税务系统而言:对于一线税管员而言,他关心的是所管辖的每户纳税人的当月申报明细数据,以便确认该纳税人是否按期、按项、足额纳税;对于中层科所长而言,他关心的是本单位的各类轻度汇总的统计报表,以便及时调整近期的管理重点和管理方式;对于局领导而言,他关心的则是所辖各单位的高度综合数据,以便确保宏观整体工作进度,例如省局局领导所关心的是各省辖市局的最新税收入库数和计划完成数,相反他不会去关心某个纳税人当月的纳税项目和纳税金额。
3.应用服务平台-OLAP。
目前市面上有很多OLAP引擎的第三方产品,虽然种类众多,但使用基本一致。例如:Mondrian是一个使用Java开发的开放源代码的ROLAP服务器[3]。它实现了XMLA(Xml For Analysis)和JOLAP(Java Online Analytical Processing)规范,而且自定义了一种使用MDX语言的客户端接口。在功能上,Mondrian支持共享维和成员计算,支持星型模型和雪花模型的功能。
4.数据展现平台。
数据仓库的数据以及分析结果需要用一种灵活的方式展现出来,其中包括报表、查询、多维分析等多种方式提供给最终用户使用。通过对税收管理决策业务的分析,我们认为数据展现平台重点不在于其实现了多少功能,而在于其是否支持灵活扩展性,我们需要的是对于大部分查询、统计、报表、分析而言都能够由操作人员根据实际需要动态配置后即可使用,而不能是固化在程序中无法修改调整,即大部分的应用功能应基于应用开发平台配置生成,无需编码。因此我们考虑数据展现平台应至少由以下三部分组成:
(1)数据展现器:提供最终用户使用的数据展现器,实现数据的展现功能。其应能实现门户管理、通用查询、通用报表和通用分析等功能。
(2)数据展现设计器:提供开发人员使用的设计工具,完成数据展现功能的设计和开发。
(3)资料库和控制库:资料库和控制库中保存数据展现相关的各种元数据,包括用户、组、角色、功能定义、权限、数据源等,可以以XML文件形式进行保存。
5.元数据管理平台。
元数据管理是数据仓库系统中提出的概念,“元数据”即描述数据的数据,用来对数据的定义和内涵进行描述,便于使用人员(包括技术人员和业务人员)理解数据库和数据仓库保存的、及应用功能中展现的各种数据,包括数据的格式、含义、加工过程、业务算法等,形成对数据全方面的理解,并在此基础上形成对数据的分析和应用。根据上述对元数据的定义,元数据管理平台将元数据划分为以下几种:
(1)业务元数据:即数据标准定义,主要实现税收数据应用系统中的涉及的税务术语的统一定义和管理。
(2)模型元数据:对保存在数据库、数据仓库、数据集市中的数据项的结构和含义进行描述。
(3)ETL元数据:对数据加工处理过程中的指标数据的加工过程和业务算法进行描述。
(4)应用元数据:对数据分析利用阶段的业务功能的内容、指标的口径和算法进行描述。
四、总结和展望
本文设计了税务数据仓库的宏观体系架构,并对其中的数据加工、数据存储、OLAP引擎、数据展现平台以及元数据管理等设计工作进行了研究。但还有如下几方面内容需要进一步考虑:
(一)税务系统的数据仓库建成之后规模一般都很大,从建立之初就要保证它的可管理性,需要进一步解决如何使数据可用性和系统稳定性达到最大,并优化性能;在数据仓库的应用中迅速反映变化的业务环境;管理数据仓库应用程序的生命周期等。
(二)现有数据应用系统主要是针对关系型结构化数据的分析应用,随着税收信息化应用的不断深化,电子照片方式的档案资料将会更为增多,这些资料在提高数据的准确性方面和降低税务人员的录入工作量方面具有非常重要的现实意义,如何加强此类非结构化数据的应用将是下一步的一项重要工作内容。
(三)随着近几年DW2.0概念的提出,我们将结合DW2.0的思路,对现有的中心数据仓库进一步划分为:交互区、整合区、近线区和归档区[4],以进一步区分不同的数据类型,同时对VODS(虚拟操作数据存储)等新技术进行分析。
参考文献:
[1]W.H.Inmon.Building the Data Warehouse[M].JohnWiley&Sons Inc,1993
[2]Jiawei Han,Micheline Kmaber.数据挖掘概念与技术[M].范明等.北京:机械工业出版社,2001:61-67
[3]Mondrian[EB/OL].Sourceforge网站Mondrian专题,2007,1,26
[4]W.H.Inmon.DW2.0 WHITE PAPER[EB/OL].Inmoncif网站DW2.0专题,2006
作者简介
殷松涛(1979-),男,软件工程硕士,研究方向:数据仓库、数据审计、数据库管理等;
数据库系统技术 篇7
随着智能化配电网的发展,配电终端具备了自动采集和远程上传数据的功能,采集频率可达到秒级,上传周期通常为每分钟1次。配网终端 主要有以 下4种:TTU、 FTU、DCU和DTU。对于普通规模配网区域,各类终端 的数量大约为1 000台,每天产生 的数据量 约为600万条。随着系统运行,配电终端的运行数据不断积累形成海量数据。本文通过ORACLE数据库分区技术对海量数据进行管理,对提高系统访问响应速度、稳定性、用户满意度有重要意义。
1Oracle分区技术
1.1定义
Oracle分区技术于1997年在Oracle8.0中首次引入, 它是Oracle数据库最重要的功能之一,可以提高应用程序的性能、可管理性和可用性。利用Oracle分区技术,可以很好地解决数据集中带来的性能问题,并且在逻辑上是透明的,最终用户感觉不到分区的存在[1]。
Oracle分区(Partitioning Option)是一种处理超大型数据表的技术,是一种“分而治之”的技术,它将大表和索引分成可以管理的小块,无需对每个表视为一个大的、单独的对象进行管理,从而提供了可伸缩性能。通过分区将操作分配给更小的存储单元,节省了操作管理时间,并通过增强的并行处理提高性能,通过屏蔽故障数据分区增强可用性[2]。
1.2Oracle分区类型
Oracle分区主要有4种类型:范围分区、哈希分区、列表分区和组合分区。具体如下:1范围分区。将数据基于范围映射到每一个分区,此范围由创建分区时指定的分区键决定的。这种分区方式最为常用,并且分区键经常采用日期;2hash分区。对于无法有效划分范围的表,可以使用hash分区,对提高性能有一定帮助。hash分区将表中的数据平均分配到指定的分区中,依据分区列的hash值自动分配,用户不能控制也不知道记录会被放到哪个分区中,hash分区可以支持多个依赖列;3列表分区。List分区需要明确指定列的值,该分区列只能有一个,不像range或hash分区可以同时指定多个列作为分区依赖列,但其单个分区对应值可以是多个;4组合分区。如果某表按照某列分区后仍较大,可以采用 在分区内 再建子分 区的方式,即为组合分区[3,4]。上述分区 类型优缺 点比较如 表1所示。
2Oracle分区意义
(1)提高查询效率。对于全表扫描,如查找某年度所有电力终端上报数据,Oracle需要在整张大表上进行逐条扫描,如果该表按年度进行了分区,通过分区裁减功能(无需手动选择,数据库会智能使用)Oracle只对该年度的分区段进行扫描。
(2)降低数据维护成本。智能配网系统数据库中通常保存近3年配电网历史运行数据,过期历史数据需要作清除处理。传统DELETE操作不仅效率低,并且会产生大量碎片与日志记录,若回滚段设置不当,会导致宕机。如按年度分区,通过简单的命令“alter table <表名> drop partition < 分区名称 >”,即可完成 清理 (仅修改数 据字典),并不产生碎片,更不会因此而宕机。
(3)提高数据可用性。一般情况下,一张大表只能作为一个段放在一个表空间中。当出现物理或逻辑坏块时, 整张大表都不可访问。在分区情况下,由于每个分区作为一个段,有独立的物理属性,坏块出现只会影响其所在分区,其它分区数据依然可以正常访问。
3智能配网系统数据库分区策略
3.1建立分区表
配网数据时间分布特点比较明显,范围分区是最合适的分区方式。可对电压、电流数据表按照时间字段进行范围分区。
建立分区后,通过测试语句select ge.deviceid,ge.devicetype,ge.sdate,ge.stime from t_gis_his_electric ge,t_ gis_his_voltage gv where ge.sdate='2011-03-16'and gv.sdate='2011-03-16'and gv.deviceid=ge.deviceid,分区前后电压电流表连接查询性能对比如表2所示。可以看出,建立分区 后,数据库查 询时间从31.51s增加到40.02s,数据请求总数在回滚段Buffer中的数据一致性读取数(consistent gets)以及物理读取数(physical reads)都有所增加,表明建立分区表后,数据库查询性能不但没有提高反而降低了。进一步分析可知,导致表分区后性能降低的主要原因为只对表作了分区而索引没作分区。大多情况下,特别是OLPT系统通常用索引访问数据库,如果索引没有分区,索引树的高度不会降低,与未分区表索引毫无区别,而管理对象由一个表对象变为多个分区对象, 造成访问性能不仅无提高反而下降。
3.2建立局部前缀分区索引
3.2.1普通索引与局部前缀分区索引的区别
假设表A是一个范围分区的分区表,普通索引和局部前缀分区索引(简称分区索引)与分区表之间的关系分别如图1、图2所示。通过图1、图2可以看出,普通索引是以分区表为基础,而分区索引是以分区表的具体分区为基础。当需要查询的数据在某个分区内时,只需扫描某个分区的分区索引即可,查询性能大幅提高。
3.2.2分区索引特点及使用场合
建立索引可以在查询时只扫描相关的分区,不扫描无关记录数据。对某个分区进行删除或合并操作后,oracle自动对所对应的索引分区进行相同的操作,整个分区索引依然有效,不需要进行重建操作,可保障索引的可用性。
建立索引有其局限性,只能对分区字段建立索引。对于复合索引需将分区字段作为前缀。如果表分区字段正好是索引字段或者是其前缀,则应建立分区索引。
3.2.3分区索引的建立
表分区后,如未建立合适的分区索引会导致数据库查询性能降低,为解决此问题,需要在分区表上建立分区索引。以电压、电流表为例创建索引,创建方式如下:
create index T_POWER_IDX on T_GIS_HIS_ELECTRIC(tdate)local;
create index T_POWER_IDX on T_GIS_HIS_VOLTAGE(tdate)local;
建立分区索引后,执行3.1章节中的测试语句,执行结果统计信息如表3所示。
表2表明,在分区表上建立分区索引后,测试SQL语句的执行 时间大幅 缩短,同时consistent gets、physical reads两个统计指标也大幅下降。对海量数据表采用合适的分区,同时建立配套的分区索引,可以大幅缩短数据库响应时间,提升用户体验。
4结语
本文以智能配网系统为研究对象,分析配电网络运行数据特点,通过实验分析得出,ORACLE范围分区技术是建立智能配网系统分区表最合适的技术。通过ORACLE范围分区,同时建立分区索引,能大幅提高智能配网系统数据库访问性能,缩短数据库响应时间,对提供用户满意度有十分重要的意义。
摘要：智能电网的快捷发展使得配网数据极速增长,智能配网系统运行压力加大,如何够满足用户的访问响应成为当前急需解决的问题。探讨了数据库分区技术,实现了智能配网系统数据库分区策略。
数据库系统技术 篇8
关键词：横向集成,纵向贯通,数据管理,面向服务架构,安全防护,直接定位,标准数据访问接口
0 引言
以特高压、三华联网[1]为代表的智能电网飞速发展,国家电网公司集约化、扁平化管理[2]的快速推进,计算机、通信技术的长足进步[3,4,5],推动了智能电网调度控制系统(简称“D5000系统”)的研发和推广。
D5000系统体系架构,横向上将原来多套独立系统集成为分布在Ⅰ/Ⅱ/Ⅲ区的四大类应用,纵向上贯穿各级调度[6]。原各个孤立系统的数据管理技术无法适应这种架构。各级调度间信息共享,需要信息安全保障,原孤立系统数据管理不具备这样的功能。横向集成、纵向贯通的体系架构要求全局信息的支撑能力提升;数据规模急剧增加,原有孤立系统的数据管理无法应对这种数据规模,也无法达到应用协同所需的 效率。因而亟 需开发适 应D5000系统需求的数据管理技术。
D5000系统数据管理基于面向服务的总线,借助安全防护技术,包含实时数据库(简称实时库)、商用关系数据库(简称商用库)、时间序列内存库(简称时序内存库)、时间序列文件库(简称时序文件库)和集中管理文件几类数据服务。
文献[7]提出基于商用库的数据中心,将各种数据转换到数据中心,实现多套系统信息共享,该方式中间环节多,维护工作量大,定制性强,是早期缺乏统一平台的数据共享方式。文献[8-10]提出了通过资源集中、虚拟化、HBase等云技术的信息中心方案;文献中将大机虚拟化成小机的方式和D5000系统将多台服务器协作出一台大机工作效能的研究方向思路不 同;文献中提 到的基于 “关键字—数值 ” (Key-Value)的HBase,其性能无法满足D5000系统实时处理、在线计算的要求,无法进行多条件检索和联合查询;文献中提到的Map/Reduce并行处理方式,须借助于文件交换,处理批处理任务,难以满足以信息实时处理为主的D5000系统。文献[11] 将商用库封 装成电力 市场数据 管理平台。 文献 [12-13]介绍了采用拼接方式构建的模型管理平台; 文献[14-15]介绍了生产控制大区与管理信息大区内、外数据平台间的数据采集、存储、交换、共享、加工等方面的研究内容;文献[16]对变电站数据中心进行了研究;但文献[11-16]均不涉及底层数据管理研究,而是数据管理之上数据使用层面的研究。
文献[17]实现了参照公共信息模型(CIM)的对象实时库原型,但工程化考虑不足,文献提供的性能数据无法满足电网调度控制系统要求。文献[18]介绍了一种层次性实时库,其实现方式采用了和本文所提实时库不同的技术路线。文献[19]介绍了一种可扩展标记语言(XML)数据库,但性能不高,未见工程应用。文献[17-19]中的实时库均不支持横向集成、纵向贯通架构。文献[20]介绍了D5000系统实时库的部分技术。文献[21]是D5000系统实时库技术基础上的深化研究。文献[22]研究了电厂监控系统使用时序库的方法、时序库在电网广域测量系统(WAMS)中的使用[23]、时序库的备份方式[24], 但均未涉及时序内存库、时序文件库实现技术。
Google设计了基于GFS(Google file system) 的分布式存储系统BigTable[25],为用户提供简单的数据服务,客户可以动态控制数据的分布和格式。BigTable以行名、列名、时间戳建立索引,适用于特定的应用环境。Amazon提供了基于Dynamo基础存储架构的简单存储服务 (simple storage service, S3)[26],它以“桶”为容器、通过“键”查找“对象”,提供简单、易用、低成本的数据管理方式。这两种数据管理方式较好地适应了非结构化数据的特点,都能管理PB级别的数据,具备良好的可扩展性,能够很好地适用于电子商务、信息分析等数据量特别庞大, 数据处理较为简单,对响应速度要求不高的业务。其他的 非结构化 数据平台 诸如Yahoo的PNUTS[27]、阿里云的 开放数据 处理服务 (ODPS)[28]等均具有类似特点。然而这些数据存储管理方式均无法满足调度控制系统对实时性的要求,数据查询的灵活性和商用关系数据库存在明显差距,在存储历史数据时也无法达到时序文件库的效率,难以直接应用于以结构化数据使用为主的调度控制系统中。
D5000系统的文件管理是基于服务总线的大粒度文件集中管理服务,实现方式较为简洁,本文不详细介绍。
1 数据库管理的特点
数据库管理中的几种技术适合于不同的场景, 各具特点,同时也相互协作配合,相辅相成。
1)实时库
实时库提供高速的本地访问接口、远方服务访问接口,具有数据定义、存储、验证、浏览、访问和复制等功能,支持数据关系描述和检索,对各种实时、在线类应用程序提供数据共享和交换手段。实时库中的模型数据来自商用库按照应用检索的视图。
2)商用库
商用库具有结构化、完整性和可 靠性的特 点。在D5000系统中,商用库主要用于保存对一致性、可靠性要求很高,而对数据读写效率要求稍低的场景。商用库管理的数据可分为模型数据 和历史数据,模型数据包括数据字典、系统运行参数、电网设备参数、电网静态拓扑连接信息等。历史数据包括采样、告警、计划值、运行数据、考核数据等。
3)时序内存库
时序内存库 用于存储 诸如相量 测量单元 (PMU)动态检测这类高频变化的时间序列数据,其性能要远高于下文介绍的时序文件库,常用作时序文件库的高速缓存。该数据库采用共享内存存储数据,并和时序文件库协作运行,循环保存一段时间内的数据,超出时间范围的数据将被后续数据覆盖。WAMS应用下的动态监视、一次调频、扰动识别、低频振荡等功能均直接使用时序内存库。
4)时序文件库
时序文件库主要用于存储较长时期的PMU动态监测数据等高频变化数据,对于故障期间的数据还可永久保存。与稳态数据相比,动态数据具有异地同步采样、带高精度时标、高密度实时传输的 特点,能精细反映电力系统动态行为过程,基于动态数据的电网运行动态监视与分析应用让调度运行部门具备对电力系统低频振荡、短路故障、机组跳闸等电力故障行为进行有效监测和事后分析能力。海量数 据的高速采集和分析占用较大的传输带宽和存储空间,时序文件库 需具备快 速压缩存 储和高效 检索能力。
2 D5000系统对数据库管理的需求
D5000系统对数据库管理整体的要求是满足横向集成、纵向贯通架构,使用安全、可靠,D5000系统对数据库管理方式还各有如下要求。
1)D5000系统对实时库的要求
在横向集成、纵向贯通体系架构下,D5000系统的数据规模远大于孤立系统的 数据规模。在线计算、分析、控制需要实时库能够快速读写,以适应不断涌现、不断完善的各类应用。要求支持多态、多应用、多模式,应用可选择不同粒度的容器进行反演、仿真、分析计算。实时库还可以和多源信息结合,进行信息的按需管理[29]。
2)D5000系统对商用库的要求
在D5000平台对应 用广泛支 撑、备用调度 建设、省地协作、地县一体化的背景下,商用库管理的数据规模成倍增加,尤其是包括数据采样在内的历史数据管理将面临极大压力,商用数据库及其上的服务需具备足够的吞吐量应对这样的数据压力。所选商用库还需遵循通用数据库访问接口标准(DCI) 以屏蔽不同厂家数据库产品的差异。
3)D5000系统对时序内存库的要求
作为时序文件库的高速缓存,时序内存库需具备高速批量数据读写能力,能按照时间范围快速读写单点、多点数据。
4)D5000系统对时序文件库的要求
电网运行动态监视与分析功能对同步采集数据的时间分辨率有非常高的要求。以网级调度中心为例,主站系统按照200个厂站每秒采集50帧PMU数据的规模,测点数量超过50 000个,主子站间实时数据通信流量超过40Mbit/s,每小时的原始数据量超过36G字节,海量数据存储和查询对数据存储系统带来巨大压力。采用高效数据压缩算法存储电网运行动态数据,在保留电网动态过程原貌的同时, 减小数据对存储空间的占用,是动态监视与分析应用建设的关键技术要求。
3 数据库管理的体系架构
数据库管理体 系架构可 分为4个层次 (见图1)。基础设施 层包括计 算机硬件、安 全操作系统。
在基础设施之上的是总线层。数据库管理的设计体现 了面向服 务的思想,基于面向 服务架构 (SOA)的总线是数据对外共享和应用集成的基础, D5000系统的数据服务在 横向SOA支撑下,贯穿Ⅰ/Ⅱ/Ⅲ区。纵向SOA总线提供上下级系统间数据访问能力。它是数据远程访问技术的基础。安全防护提供总线、数据、应用的整体安全保障机制,具体实现见4.2节。
实时库、商用库、时序内存库、时序文件库在基于SOA的总线基础上,被封装成服务,通过标准数据库访问接口[30]对外提供数据库服务,数据库服务和标准数据库访问接口共同组成数据服务层。4.3至4.6节介绍了D5000系统中各类数据库的部分关键技术。数据访问层的具体内容详见第5节。
数据服务层之上是使用各类数据的各类应用。
4 数据库管理关键技术
数据库管理相关技术很多,限于篇幅,本文仅介绍部分关键技术。
4.1 数据远程访问技术
为了实现上下 级调度控 制系统的 纵向贯通, D5000系统实现了系统间数据远程访问的机制(见图2)。图2中有A和B两个系统,系统A需要访问系统B的数据。具体步骤如下。
步骤1:系统A需将系统B中能提供哪些类型的数据注册到资源表中。
步骤2:系统A中的应用程序调用数据访问接口。
步骤3:数据访问接口会先通过远程资源定位服务。
步骤4:查询资源定位表。
步骤5:通过远程资源定位服务返回的地址信息,通过SOA总线代理。
步骤6:找到系统B的资源代理。
步骤7:将请求带到系统B的数据服务。
步骤8:系统B的数据服务取到数据后,逐级将结果返回给系统A的数据访问接口,最后返回给调用程序。
4.2 数据访问安全技术
数据访问安全含通信加密与安全标签两项技术。
通信加密通过数字证书、隧道配置,及数据预置的方式完成相互间的身份验证及隧道协商。建立临时隧道时,通过自定义的证书交换协议完成证书的交换,并完成双向认证及密钥协商,对数据通信进行加密保护。这种加密方式对上层通信完全透明,不涉及上层通信程序的改动。
D5000系统建立了安全访问控制策略,对系统中的所有访问者(用户、程序等)和所有服务都分配一个安全标识,称为标签。然后通过电力调度证书认证(CA)系统,在标签基础上进行签名,扩展出一种安全标签。D5000系统上下级数据调用中,使用了安全标签,并按照标签中的安全策略进行数据访问控制。
4.3 实时库直接定位技术
实时库直接定位技术适宜于关键字包含逻辑记录号的情况,这种技术用关键字的逻辑记录号也是物理记录号(见图3),记录按照关键字中包含的记录号放置,根据关键字查找记录直接定位,没有中间环节;删除记录、插入记录没有记录移动,不会产生内存拷贝。通过关键字索引,获取全表记录效率可接近紧凑表的效率。设备表和大量定义表均配置成直接定位方式,工程现场使用效率较高。
4.4 商用库历史数据管理技术
以天为单位查询历史数据是最为常用的历史数据访问方式,譬如日曲线、日报表等,在这样的使用场景下,历史数据按行存储比按列存储具备更高的访问效率。历史采样采用了行式存储方式,在该方式下,列表示采样时间,行表示测点(见图4)。
以1min遥测采样为例,1min采样表每天会产生三张表名带日期的表:遥测值表、遥测状态表和遥信值表。该表的第一个列为DATA_ID,是某个遥测量的关键字;DATA_0_0,DATA_0_1,…,DATA _23_59分别表示每天第0时0分,0时1分,…,23时59分的值,该表每一行记录可以表示一个遥测量一天中每一分钟的值,遥测量个数与该表记录行数相同。遥测状态表、遥信值表与遥测值表的结构相同,只是表中保存的分别是遥测值的状态、遥信值。
历史数据的行式管理具有如下优点:
1)查询效率高。查询某测点日曲线时,只需访问1张表的1条记录即可;查询某一历史时刻断面, 也只需访问1张表的2列(含关键字列)。
2)便于管理。这种表结构设计对于采样数据的存储、归档、备份、恢复非常方便。
4.5 时序内存库批量快速访问技术
时序内存库采用SOA,提供服务端和客户端。如图5所示,服务端接收基于PMU的前置应用报文,将数据存储在本地共享内存中,应用程序通过调用客户端接口访问服务端数据。在存储方面,时序内存库采用固定时间长度、数据值等间隔、下标直接定位的设计满足动态信息数据高速、海量、带时标特点的高效存储、检索要求;同时,时序内存库还提供支持多线程的数据访问及管理接口,充分利用CPU多路多核技术。这些方法有效地提升了时序内存库的快速批量访问效率。
4.6 时序文件库压缩存储技术
电网运行动态数据的在线无损压缩有2个关键技术难题:1压缩算法须提供较高数据压缩率支持海量数据存储要求;2数据在线存储和查询要求压缩算法在压缩和解压过程中都具有较短的响应时 间。时序文件库采用独特的数据无损压缩算法,根据电网动态数据连续变化的特性,结合数据类型与数据测量值的变化趋势进行针对性优化,在获得更大的数据压缩比的同时保持较高的计算效率。
时序文件库采用高速索引与内存映射技术对压缩数据段进行文件读写,获得了较高的数据访问速度,能够很好地满足省级以上调度中心的动态数据存储要求。
5 数据库访问接口与数据库维护管理
数据库访问提供3类接口。
1)数据库本地访问接口:以实时库本地接口为代表,通过本地访问接口,可将实时库映射到进程地址空间,访问实时库就如同访问本地数据一样高效, 没有其他方面的开销。各类在线应用的处理、分析较多使用了数据库本地访问接口。
2)数据库网络访问接口:在将数据库封装成服务的基础上,提供网络接口,供D5000系统内部节点访问分布在系统内其他机器上的数据库。这类接口存在网络通信、序列化和反序列化的开销,较数据库本地访问接口效率低,自动发电控制(AGC)等需要多机数据库的应用和本地没有数据库的工作站使用到了这类接口。
3)数据库远程访问接口:如4.1节所述,在数据库封装成服务基础上,通过通信代理,使用安全防护手段,可实现系统间的数据库远程访问。
在数据库维护 上,随着各级 调控机构 协作加强[29,31,32],原有简单数据库维护方式无法保证模型共享基础上的独立维护和互不干扰,需采用分区域/ 分用户的维护管理方式(见图6)。
该维护方式通过区域、厂站、节点/用户、设备之间的多重关联和级联组合关系,结合广域权限管理, 保证数据库协作维护管理的安全性和一致性。
6 数据库容量和性能
在设计上,实时库每张表的最大记录个数可以达到1 600万条。商用库的历史采样点个数设计上没有限制。 时序内存 库和时序 文件库均 可支持10万点的采样,并可根据需要进行扩展。
经过测试,实时数据库直接定位的访问速度不低于200万次/s读(写)。商用库能在1~2s之内完成20万个采样点的保存,单个采样点一天历史数据的查询在16ms以内。时序文件库读写速度不低于100万条/s数据记录,时序内存库读写速度不低于300万条/s数据记录。
无论D5000系统在容量还是性能上,这几种数据库都能很好地满足系统未来长期运行的需要。
7 结语
以数据库管理为核心的D5000系统数据管理技术,横向上支持应用在Ⅰ/Ⅱ/Ⅲ区集成、扩展,纵向上支持各级调度贯通、协作,支持各种数据访问方式,满足各级调度高效协同运行效率要求。数据管理技术已成功应用于各级D5000系统。数据管理技术作为D5000系统核心技术,有效保障了各级电网调度控制系统安全、稳定、高效运行,为智能电网建设提供了有力的技术支撑。
随着以集群为方向的D5000系统深化研究的开展[33],为集群服务的分布式数据管理将成为未来重要的研究方向,研究内容包括以下几个方面。
1)灵活分布的数据集群化存储方法
需要研究满足电网业务需求、可灵活分布的数据集群化存储方法,其难点在于如何实现数据按电网业务需求进行分片,将数据合理分布存储在集群的多个节点中,为提高集群处理的效率提供数据存储支撑。
2)数据迁移和冗余互备技术
集群化系统中,节点数量众多,硬件故障概率较大,需要研究分布式数据的冗余备份技术,实现所有分片数据的备份存储,保证各冗余备份的数据一致性,在节点故障时仍可提供实时数据访问,提高分布式数据的可靠性。
3)高效分布式数据访问技术
需要研究满足应用性能需求的分布式数据访问技术,满足大规模电网数据计算的实时性要求,其难点在于如何提供高效的算法,实现高效的透明分布式数据访问。
数据库系统技术 篇9
在物流管理信息系统的开发中，要对大量的数据进行处理。数据库技术主要解决如何收集、存储、加工物流数据，如何快速、开放的使用物流数据。物流管理信息系统对数据结构和数据库的要求就是能充分的反应企业发展变化的状况，充分满足组织的各级管理要求。同时使得后继的开发工作方便、快捷，易于管理和维护等。衡量信息系统的主要指标之一在于建立一个良好的数据结构和数据库，是否可以迅速、方面、准确的调用和管理所需的数据。在物流管理信息系统中运用数据库技术对数据库设计就是根据数据的用途、使用要求、统计渠道、安全保密性能等方面的需求，来确定数据的整体组织形式以及数据的基本结构、类别、载体、保密措施等。数据库的设计过程分成需求分析、概念设计、逻辑设计和物理设计四个阶段，如图1所示。
1 数据模型
1.1 概念数据模型
数据库的概念设计与数据模型相关联，概念数据模型为数据库结构设计提供了基础。概念数据模型是独立于计算机系统而实现的，用于概念设计的数据模型需要具有以下特点：有足够的表达力，能方便地表示各种类型数据及其相互间的联系和约束；组成模型的概念少，定义严格，无多义性；使用图形具有表示概念的能力。实体联系模型，即E-R模型，具有上述特点。图2所示为物流企业配送管理E-R模型。
1.2 结构数据模型
结构数据模型有如下三个组成部分：(1)数据结构。实体和实体间联系的表示和实现。(2)数据操作。数据库的查询和更新操作的实现。(3)数据完整性约束。数据及其联系应具有的制约和依赖规则。常用的结构数据模型有层次模型、网状模物理结构逻辑结构概念结构需求说明与数据说明需求分析与数据分析概念设计逻辑设计物理设计18型、关系模型和面向对象模型。
2 数据库的逻辑设计
数据库的逻辑设计是数据库设计的重要部分，是指数据按一定的分类、分组系统和逻辑层次组织起来面向用户。数据库设计时需要综合考虑用户对产品管理的数据需求，分析各数据之间的相互关系。例如分布式关系型数据库管理系统（Microsoft SQL Server）是能完全满足各种产品查询要求的数据模型。
数据库设计的步骤：
2.1 数据库结构定义：
应针对分布式关系型数据库管理系统的不同特点，进行数据库结构定义。
2.2 数据表定义：
定义数据库中数据表的结构。数据表的逻辑结构包括：属性、名称、类型、表示形式、缺省值、校验规则、是否关键字、可否为空等。关系型数据库要尽量按关系规范化要求进行数据库设计，但为提高效率，其规范化程度应根据应用环境和条件来决定。
2.3 存储设备和存储空间组织：
确定数据的存放地点、存储路径、存储空间、存储设备等时，应充分考虑多版本的一致性和数据的完整性问题。
2.4 数据使用权限设置：
针对不同用户确定不同的数据使用权限，确保数据安全。
2.5 数据字典设计：
可通过数据字典描述数据库的设计，便于维护和修改。数据库的设计中应该注意如下问题：规范化地重组数据结构；对数据进行规范化表达，建立关系数据结构：进行数据基本结构的规范化重组后，还必须建立整体数据的关系结构。
摘要：本文针对物流管理信息系统开发过程中,结合相关数据库理论和技术,论述了其重要性及设计过程,并对于数据库设计中重要数据的安全性和完整性机制作了说明,对物流管理信息系统进行了比较全面和具体的研究。同时,用较多的图表详细分解了物流管理信息系统的理论与系统功能结构。
关键词：信息系统,数据库,数据模型,逻辑设计,E-R模型
参考文献
[1]刘万强.我国物流信息化现状与发展研究[J].物流科技.
[2]胡军.物流信息系统[M].北京:中国物资出版社,2006.
[3]戴树贵.物流系统模型和算法研究[D].华东师范大学,2006.
[4]原慧琳.物流管理信息系统的优化设计[J].燕山大学学报,2007.
[5]数据库系统设计教程.王彤宇,王秀红.兰州:甘肃文化出版社,2002.
数据库系统技术 篇10
1 考察指标的设置及系统主要功能
考试质量分析系统所设置的考察指标应当能正确地反映班级本次考试的实际情况及质量状况,因而设置的主要考察指标为:考试人数、最高分、最低分,平均分和及格率,卷面各分数段成绩人数分布状况及比率等,由此,考试质量分析系统应具备的主要功能及完成的任务如下:
(1)输入各学生的成绩,统计考试人数,筛选出最高分及最低分,计算平均分和及格率。
(2)按分数段分类统计人数,计算出各分数段人数的百分比。
(3)写出评语
构建考试质量分析系统的一个重要的要求是要做到:只需一次输入学生的成绩,其他所有数据均由电脑计算完成。
以下是根据上面的各项要求而编制的考试质量分析报告的主要部分示意图如图1所示。
本系统的数据量不大,而由于Access数据库系统具有界面友好易操作,开发成本低廉,面向对象的开发环境集成各种向导和生成器工具且功能强大,工作效率高,支持ODBC(开发数据库互连)等一系列优点,故本系统使用Access数据库系统开发。
2 基本数据表的设定
根据考察指标的设置以及对系统主要功能分析的基础上,本系统的数据库结构设计采用数据表1,表2。表1为主表—考试质量分析,表2为副表—成绩。
2.1 主表—考试质量分析的结构
如表1所示。
2.2 副表—成绩的结构
如表2所示。
3 系统的构建及功能实现
(1)建立“成绩输入窗口”,将其与“成绩”数据表联系,使用“成绩输入窗口”输入学生考试成绩如图2所示。
(2)使用选择查询的方法,从“成绩”数据表中筛选出最高分、最低分、平均分、及格率、90—100分、80—89分、70—79分、60—69分、45—59分、45分以下的人数(图3),以及计算出各分数段人数比率等各项数值(图4),然后使用“追加查询”(图5)及宏(图6),将数值填充到主表“考试质量分析”的相应单元格中;以上仅是简略分析,大量的建立查询、建立并使用宏将各查询链接启动的工作,限于篇幅,不再详述。
(3)建立系统的主窗口,如图7所示,窗口与主表“考试质量分析”相联系,上面设有各功能按钮,并使用宏将各相应功能赋予各按钮。
4 系统运行
本系统设置了两种输入方式:“手动输入”或“导入外部数据”方式,本系统运行时要首先选择输入方式,若选择“手动输入”方式,则在系统的主窗口中单击“输入成绩”按钮,在弹出的“成绩输入窗口”输入成绩,输入完毕,返回主窗口,然后单击主窗口上的“数据刷新”按钮,各项数据即通过后台的查询及宏的运行,填充到主窗口上的各单元格中;主窗口上的“打印”按钮已设置了宏,单击“打印”按钮即可启动打印机得出结果。因为在主表“考试质量分析”的相应字段设置“显示控件行来源类型”中,使用了“组合框值列表”方式,或使用“组合框表/查询”方式,预先输入了各课程名称、班级名称、任课教师字段的值,所以在主窗口的课程名称、班级名称、任课教师等字段值的输入中,使用下拉方式选择即可。
5 结语
系统界面友好,操作方便;设置了两种输入方式:“手动输入”和“导入外部数据”方式,“手动输入”方式上面已做了介绍,“导入外部数据”方式,主要是利用数据库系统的导入外部数据技术,导入Excel电子表格等形式的数据,限于篇幅,不再介绍。本系统只使用查询及宏即可完成复杂的数据处理及各种链接功能,未使用到VBA,方便设计及检查且只需一次输入考试成绩分数,即可得出所需的全部数据,方便快捷。经系统处理后的数据结果能较好地反映了考试的质量状况;另外,利用数据库技术亦可以将数据导出为Exce电子表格形式,供其他软件使用。
参考文献
[1]肖瑛,周琦.考试制度在高校人才培养系统中的地位—高校教学改革的理论前提研究[J].湘潭大学社会科学学报,2003,(6):143-145.
[2]王宁.Access2002范例入门与应用[M].北京:人民邮电出版社,2004.
数据库系统技术 篇11
关键词：云数据管理系统；查询技术；研究综述
中图分类号：TP311.13
现阶段，诸多行业领域都运用了云计算手段来改善产业发展过程中的经济效益水平，且反馈极佳。在技术的不断升级与革新的过程中，云计算技术的应用越来越普及。从整个云数据管理系统的基础框架来看，在多种技术的支撑下，通过网络平台进行资源的交互利用的过程日趋成熟，云数据管理系统的运作较为稳定。
1 云数据管理系统概述
云数据管理系统的构建是基于云计算模式而来的一种新型互联网运算系统。云计算，指的是凭借互联网平台展开的一种针对虚拟化资源进行数据存取的计算方法。在云计算模式下，能够实现远距离各终端间的信息数据互通、存取的目标，从而解决计算机硬件的存储空间有限的问题[1]。一段时期以来，云数据管理系统的运作靠的是强大的技术支持，其中就包括数据查询技术。
1.1 云数据管理系统的基本框架结构分析
1.1.1 云数据管理系统运行的基本状况
云数据管理系统的运作主要依赖各种技术的支撑，在云计算策略的统一调配下，完成数据的贮存、调用以及检索等过程。云计算是一种基于互联网平台管理的新型网络化服务模式，能够实现信息资源的储存以及资源的共享等目标，而且，为了保障用户在运用云计算模式过程中的数据安全性，可设定用户的访问权限，只有具备一定权限的用户才可以访问或下载相应的资源[2]。
1.1.2 云数据管理系统的核心框架结构分析
从总体来看，云数据管理系统的基本框架结构主要分为四个主要部分的内容：其一，应用接口层，该层面主要是为了接收用户上传到云数据平台上的信息内容，负责移交到云数据管理系统中的查询处理层进行数据的加工处理；其二，查询处理层，从应用接口层接收到用户上传的数据信息以后，根据数据信息的类型及特点对其进行逻辑处理，并将数据进行模式化的归集；其三，数据控制层，该层面的职能作用是四部分内容当中最关键的部分，同时也是最复杂的部分，因其不仅要对原始数据信息进行定位处理，并做好数据的备份以及迁移的准备，而且，还需要对数据信息的处理过程进行智能化的评估，为后期执行信息查询以及调配处理做好准备，云数据管理过程中的查询技术的应用也是在该环节完成的；最后，数据存储层，该层面主要负责信息的储存，并辅助数据控制层进行数据的检索处理，将数据存储层的数据分派到各个节点进行存储，从而实现信息数据的合理化分布[3]。从四个层面的主要职能作用及其特点中可以看到，每个部分的职能作用有所不同，集合个层面的特点来为云数据管理系统服务。
1.2 云数据管理系统中的技术形态
通过研究传统的关系数据库得知，以往的数据管理过程存在一定的局限性，往往受制于较弱的扩展性方面。相对而言，云数据管理系统中的技术形态较为高级，因其已经具备了利用云计算平台来处理海量数据以及数据信息检索的能力。从技术应用的角度来看，云数据管理系统的运作模式较以往有了较大的改进，不仅有效降低了维护系统的资金与人力的成本，而且，能够凭借较为先进的技术来增强系统本身的可扩展行以及容错能力，正是由于云数据管理系统的职能作用较为突显，该系统备受大型网站运营管理的青睐，其应用极为广泛[4]。事实上，云计算是一种基于互联网平台的多元化管理模式，为诸多领域提供信息传递、储存等服务。在当今大数据时代背景下，云计算服务项目得到了更为广阔的发展空间，为现代社会生产建设助力，云数据管理系统中的技术形态，云计算服务的实践价值较为突出，在诸多领域都有所涉及。
2 阐述有关云数据管理系统中的查询技术研究内容
2.1 有关云数据查询处理的目标及其运作特征的研究内容
由于信息时代的到来，大多数人们在生活和工作中都离不开各类电子产品的应用。从现实环境来看，在资源的利用与存储方面，云数据中心及其服务能够满足互联网平台上的用户服务需求。从具体的实践领域来看，现代企业或其它社会组织机构通过各种途径来获取大量的数据信息资源，并利用这些所能查询得到的信息资源来强化系统管理。在信息技术快速发展的当今社会，在很多领域所构建的数据库的规模以及范围都在不断地扩容，但即便是相关技术在不断更新当中，却也无法运用传统技术来满足极快速增长的数据信息量，这便是大型数据集过程的特点所致。从具体来看，云数据查询处理技术具有可扩展行、可用性等目标特点，而且，查询处理技术在异构环境中的运行能力较强，具有较为丰富灵活的用户接口，以便于满足用户的差别化数据查询以及存储的需求。
2.2 云数据管理系统中的查询技术的种类及其操作模式
在以往，大多数人会利用移动硬盘、U盘等设备来进行数据存储，将海量数据进行归档处理，但在有了云数据管理系统以后，便可以凭借云计算及其相关技术来实现数据的储存及查询调用等目标。通过研究云数据管理系统中关键技术的特征及系统的基本框架可知，云数据信息在接受到用户指令进行数据查询的过程中，需要通过诸多关键技术的集合作用来解决实际问题，尤其是需要索引管理、查询处理及优化的过程来辅以操作，才能达到精准查询云数据的目标。从总体情况来看，技术的应用不仅要考虑其可行性和有效性，还要考虑技术应用的经济性，如若技术应用的成本过高，则要考虑该方案的优化管理。对于商用海量数据存储要求来讲，信息记录及存储要进行合理的规划，以便于提升调用系统数据的效率。通常情况下，云数据管理系统中的查询技术主要有两种常见的模式，即BigTable技术与Dynamo技术。二者各具优势，前者BigTable技术；后者Dynamo技术采用了DHT（内网用分布式哈希表）作为技术的基本存储架构，其优势在于它的自我管理能力较强，从而避免了很多数据处理过程中可能发生的单点故障[5]。
3 结束语
从当前互联网平台的实际应用状况来看，云数据管理系统的功能较为强大，该系统中的查询技术不可或缺。鉴于在互联网平台中的云数据较为繁杂，为了能够从系统平台中快速检索到有效信息，为用户所用，则应从索引管理、查询处理以及在线检索等方面对云数据管理系统中的查询技术进行升級，使其符合用户对信息查询精准度的要求。从研究及实践来看，云数据管理系统中的查询技术的实际应用仍在不断地探索当中。
参考文献：
[1]申德荣，王习特，聂铁铮.支持大数据管理的NoSQL系统研究综述[J].软件学报，2013（08）：1798-1803.
[2]王金宝，高宏.云计算系统中查询处理及优化技术研究综述[J].智能计算机与应用，2013（04）：53-54.
[3]吴飞.基于MongoDB的LBS数据管理系统关键技术研究[J].测绘通报，2014（07）：123-124.
[4]丁治明，高需.面向物联网海量传感器采样数据管理的数据库集群系统框架[J].计算机学报，2012（06）：1175-1176.
[5]霍峥，孟小峰，徐建良.云计算中面向隐私保护的查询处理技术研究[J].计算机科学与探索，2012（05）：388-390.
数据库系统技术 篇12
考试质量分析系统主要用于班级的课程考试质量分析, 由系统分析而得出的结果反馈到任课教师及教学主管部门, 作为改进教学方法、提高学生学习成效的重要依据, 从而改进课程教学质量。同时, 应用过程所产生的数据也可以作为其它教学质量分析系统的基础数据。
1考察指标设置及系统功能
考试质量分析系统所设置的考察指标应当能正确地反映班级本次考试的实际情况及质量状况, 因而设置的主要考察指标为:考试人数、最高分、最低分、平均分、及格率, 还有卷面各分数段成绩人数分布状况及比率等。因此, 考试质量分析系统应具备的主要功能及完成的任务如下: ①输入各学生的成绩, 统计考试人数, 筛选出最高分及最低分, 计算平均分和及格率;②按分数段分类统计人数, 计算出各分数段人数的百分比;③写出评语。
构建考试质量分析系统的重要一点就是要做到:只需一次输入学生的成绩, 其它所有数据均由电脑计算完成。
根据上面的各项要求编制考试质量分析报告如表1所示。
本系统的数据量不大, 而由于Access数据库系统具有界面友好易操作、开发成本低廉、面向对象的开发环境集成各种向导和生成器工具且功能强大、工作效率高、支持ODBC (开发数据库互连) 等一系列优点, 故本系统使用Access数据库系统开发。
2基本数据表设定
根据考察指标的设置以及对系统主要功能的分析, 本系统的数据库结构设计采用两个数据表:主表——考试质量分析, 副表——成绩, 分别如表2、表3所示。
3系统构建及功能实现
(1) 建立“成绩输入窗口”, 将其与“成绩”数据表联系, 使用“成绩输入窗口”输入学生考试成绩 (图1) 。
(2) 使用选择查询的方法, 从“成绩”数据表中筛选出最高分、最低分、平均分、及格率、90～100分、80～89分、70～79分、60～69分、45～59分、45分以下的人数 (图2) , 并计算出各分数段人数比率等各项数值 (图3) , 然后使用“追加查询” (图4) 及宏 (图5) , 将数值填充到主表“考试质量分析”的相应单元格中。以上仅是简略分析, 大量的建立查询、建立并使用宏将各查询链接启动的工作, 限于篇幅, 不再详述。
(3) 建立系统的主窗口, 如图6所示, 窗口与主表“考试质量分析”相联系, 上面设有各功能按钮, 并使用宏将各相应功能赋予各按钮。
4系统运行
本系统设置了两种输入方式:“手动输入” 和 “导入外部数据”方式, 本系统运行时要首先选择输入方式, 若选择“手动输入”方式, 则在系统的主窗口中单击“输入成绩”按钮, 在弹出的“成绩输入窗口”输入成绩, 输入完毕, 返回主窗口, 然后单击主窗口上的“数据刷新”按钮, 各项数据即通过后台的查询及宏的运行, 填充到主窗口上的各单元格中。主窗口上的“打印”按钮已设置了宏, 单击“打印”按钮即可启动打印机得出结果。因为在主表“考试质量分析”的相应字段设置“显示控件行来源类型”中, 使用了“组合框值列表”方式, 或使用了“组合框表/查询” 方式, 预先输入了各课程名称、班级名称、任课教师字段的值, 所以在主窗口的课程名称、班级名称、任课教师等字段值的输入中, 使用下拉方式选择即可。
5结语
本系统界面友好、操作方便, 设置了两种输入方式: “手动输入” 和“导入外部数据”方式, “手动输入”方式上面已做了介绍, “导入外部数据”方式, 主要是利用数据库系统的导入外部数据技术, 导入Excel电子表格等形式的数据, 限于篇幅, 不再介绍。本系统只使用查询及宏即可完成复杂的数据处理及各种链接功能, 未使用到VBA, 方便设计及检查且只需一次输入考试成绩分数, 即可得出所需的全部数据, 方便快捷。经本系统处理后的数据结果能较好地反映考试的质量状况。另外, 利用数据库技术亦可以将数据导出为Excel电子表格形式, 供其它软件使用。
参考文献
[1]肖瑛, 周琦.考试制度在高校人才培养系统中的地位———高校教学改革的理论前提研究[J].湘潭大学社会科学学报, 2003 (6) .
[2]王宁.Access2002范例入门与应用[M].北京:人民邮电出版社, 2004.