数据库研究方法（共12篇）
数据库研究方法 篇1
数据库课程具有理论基础强、实践应用性突出、学科间知识综合性明显、学科内多层面内容交融、前沿新技术发展迅速等特征,针对如上特征,数据库课程设置和教学内容需要不断改革和发展。在数据库教学改革的过程中,根据其知识体系的特点及环节间关联,从系统的高度和协同的观点对教学大纲和核心内容进行设计,做到统一考虑内容,比照协调结构,渐进展开,突出该课程体系的科学性、系统性和层次性。然而,传统的数据库教学体系存在着一些急需解决的问题:课程设置缺乏系统性,缺乏与数据库科研开发结合的创新能力培养,数据库教学资源形式单一,教学方式与手段不够灵活多样等。针对数据库教学中存在的问题,结合学校实际情况,提出多角度教学方法的改革方案:在教学过程中可以讨论探索、规划设计,提出新思路、新算法,形成师生间、学生间的多向交流与互动,共同探讨最优的设计方案和最佳的运行算法,从而大大提高学生学习的兴趣和积极性,增强学生的动手能力,使整个教学活动达到良性的互动,实现教学目标。通过几年探索实践,在实际教学中取得了显著成效。
授课方式的改革,采用理论讲授、互动讨论和实践训练相结合的方式。
理论讲授:在课堂上采用课堂讲解、代码段分析、软件演示、相互提问、课堂讨论和个人观点发表等方式组织各个知识点的学习,鼓励学生主动学习,培养积极思考、创新思维的习惯与能力。教学过程中注重示例性讲解,掌握教学节奏,积极为学生创设情境,引导学生根据现象和情境提出问题、分析问题、提出假设并最终解决问题,以激发学生探究和创新的欲望,让学生的思维活跃起来,积极地参与思考,提出问题,提高学生发现问题和解决问题的能力。
互动讨论:在互动讨论中,学生最好分成若干个学习小组进行,教师除了积极地组织、启发和引导学生进行分析讨论,还要有意营造一种开放的气氛,借助于提示、提问、反问、引起争论等方式,让学生各抒己见,逐渐深入讨论。例如在制作系统登录界面时,结合实际进行启发性的提问:“用户应该分为几个等级,不同级别的用户的操作权限分别是什么?”从而使学生知道从哪里入手。集思广益、开拓思路、鼓励创新。让学生自己解决问题,锻炼他们综合运用知识的能力。经过课堂分析讨论以后,通常会提出若干个解决方案。此时,教师应该引导学生从解决问题的有效性、费用、时效、成功率等方面进行比较,权衡利弊,并预测可能的结果以及可能会出现的困难。接下来就是在上机实验中验证解决问题的方案。
实践训练:以学生具体操作为主,教师应留给学生充足的操作时间,让学生大胆去尝试,使他们在实际操作中感受和领悟。在实践训练期间,学生可以将之前确定的若干解决方案通过上机操作,得出真正的最佳解决方法和最优方案;也可以采用课程设计等形式组织完整的分析、设计和开发实践,锻炼学生的实际操作能力。这期间,对学生出现的问题,教师可作及时的纠正和辅导。通过实验,学生会产生多种疑问,进而主动去寻求答案,形成喜欢质疑、乐于探究、积极求知的良好心理状态和学习习惯。课程设计任务的提出可以由师生共同讨论或学生根据自身需求自主提出,这样可能更符合每个学生的个性和兴趣特点,使学生根据自己内在的需要去探究和学习,充分发挥自身的积极性、主动性和创造性,从而培养出独立探索、勇于开拓进取的自学能力。例如,学生提出设计学籍管理系统,教师可以引导学生通过联系实际不断地提出这样的问题:学籍管理系统需要管理学生的信息,包括学生信息的录入、学生信息修改、查询、备份、删除等功能;在使用过程中有时需要打印表格的需求,还得有打印的功能;如果该系统规定专人负责,还需要规定用户名和登录密码,体现保密性等等。经过这样逐层次的质疑,学生们产生了不断探究的兴趣,从而使学生养成积极探索的学习习惯。
教学过程贯穿了数据库的四条线索:数据库的发展从层次型、网状型、关系型、对象型、网络型到决策型的演变过程;数据模型和数据语言的演变;数据库技术的“用户”和“系统”两个端点;数据库设计从实体联系图、对象联系图到UML类图的发展过程。通过本课程的学习可以使学生了解数据库系统的基本理论和内容,能够设计和实现大型的数据库应用系统,了解数据库系统的核心技术及其实现,了解有关数据库系统研究的最新进展等等,从而认识到数据库系统在大型应用系统中的地位和作用,尤其是认识到我们国家在数据库系统方面与世界的差距,为学生将来参与有关数据库系统方面的研究奠定必要的知识基础。
教学活动围绕“培养学生的理论知识,提高实践技能和创新能力”这个中心展开,兼顾数据库技术的使用和数据库的实现这两个方面,加强数据库上机实习实践环节。
课程设计和课内实验是成功的关键,通过课程设计和课内实验,学生普遍都能掌握利用数据库技术对信息进行管理、加工和利用的技能,部分学生开始对数据库应用开发产生浓厚兴趣,期待在今后的科技活动和毕业设计中选择与数据库技术相关的课题,以便进一步通过实践增加对数据库技术的应用能力。
根据本课程的特点,考核方式可以选用闭卷、开卷、提问和设计报告等形式,旨在考核学生对基本知识的掌握情况,以及分析问题、解决问题的能力。闭卷考试主要在期末进行,平时授课期间可以采用开卷测试、提问等形式督促学生学习,而在课程进行到一个阶段的时候配合实践课题撰写相关的、合乎文档规范的设计报告,以便让学生熟悉系统分析、设计与开发的过程,培养学生的综合能力和素质。
要真正完成一堂较高质量的教学课,从课前的准备,课中巧妙地引导学生进入课程设置的情景,理智地控制课堂运作,到课后组织学生答疑,无不对教师提出较高的要求。因此教师要不断提高层次,完善知识结构,提升驾驭课堂的能力,并实现由传统的主导者到启发者的角色转变。尤其对于年轻的和没有实际软件开发经验的教师来讲,如何启发学生的兴趣和激发他们的学习主动性,还需要进一步学习。
数据库教学还需要在长期的教学实践中不断地总结、改进和完善。要优化课堂教学方法,不能简单地以一种教学方法替代另一种教学方法,而应是多种教法的综合运用。只有把多种教学方法有机地结合起来,才能真正提高数据库课程的课堂效果和教学质量,才能提高学生的实践能力与综合应用能力。
摘要：数据库是信息化社会中信息资源管理与开发利用的基础,本文针对数据库课程的特征,提出了数据库教学应该达到的目标,并分析了传统数据库教学的不足,提出了多角度教学方法的改革方案。
关键词：数据库技术,教学改革,教学方法
参考文献
[1]王晓松.信息技术与高等教育学科教学整合若干问题的思考[J].黑龙江高教研究,2005,(5).
[2]吴达胜,刘丽娟,孙圣力.数据库原理与技术的理论与实践教学的整体优化研究[J].计算机时代,2005,(11).
[3]罗蓉,苑璟,杨百龙,李俊山.数据库原理及应用实验教学探索[J].太原教育学院学报,2006,(6).
数据库研究方法 篇2
第二次全国土地调查县级数据库质量控制方法研究
本文结合当前第二次全国土地调查县级数据库成果质量检查分析结果和前期调研了解情况,针对发现的问题研究提出县级数据库建设需要注意的问题和可采用的质量控制方法.
作 者：曾珏 Jue Zeng 作者单位：中国土地勘测规划院,北京,100035刊 名：国土资源信息化英文刊名：LAND AND RESOURCES INFORMATIZATION年，卷(期)：”"(4)分类号：P23关键词：土地调查 数据库 质量控制
数据库研究方法 篇3
关键词:Oracle;同步策略;Redo日志
中图分类号:TP311.13文献标识码:A文章编号:1007-9599 (2010) 09-0000-01
Research on Oracle Remote Database Synchronization Method
Chen Zhibo,Tang xian
(Henan Agricultural University,Huayu College,Shangqiu476006,China)
Abstract:This article discusses the distributed environment to achieve synchronization strategy based on Oracle database,and data synchronization system needs to resolve several key issues and put forward a feasible distributed database system as data synchronization solution.
Keywords:Oracle;Synchronization strategies;Redo Log
分布式數据库在逻辑上是一个统一的整体,在物理上则是分别存储在不同的物理节点上,数据库系统间的数据有效同步成为一个必须要解决的问题。因此必须建立一套可靠的远程数据库同步方案。
一、数据库同步策略
在分布式数据库中保证数据同步的策略有两种:分布式事务和多副本数据近似一致方案。
(一)分布式事务采用两阶段提交协议或者三阶段提交协议等类似协议来保证事务的原子性。
(二)多副本间数据近似一致的方案。各数据副本的修改是异步的,也就是说各副本将不保证任何时刻数据库绝对的一致性,而保持松散一致性。
二、数据库同步系统的关键问题研究
(一)Oracle数据库日志
Oracle重做(Redo)日志记录了所有的发生在缓存中的变化,其中包括有数据、索引和回滚段的变更。只有当事务的变更记录在日志中标志为递交,才能认为事务已经完成,变更后的数据才会在后台进程的控制下写回该数据所在的数据文件中。如果用户没有递交,或是由于其它故障而导致没有递交,则对数据库的变更只会存在日志文件中而不会写入数据文件。而如果递交后在写数据文件时出错,这时由于日志文件中已经有了该事务的递交记录,数据库恢复程序会查找到对应的日志记录并在缓存中进行重做,最后再把结果写到数据文件中。
(二)LogMiner工具的使用
Oracle虽然在日志中详细记录数据操作的活动,LogMiner工具可以提取数据库日志的内容,获得对于数据库操作的DML语句,从而可以查明数据库的逻辑更改情况、检查并更正用户的误操作、执行数据更改的事后审计和执行变化分析等。
LogMiner工具的主要用途有:1.跟踪数据库的变化:可以离线的跟踪数据库的变化,而不会影响在线系统的性能。2.回退数据库的变化:回退特定的变化数据,减少point-in-time recover的执行。3.优化和扩容计划:可通过分析日志文件中的数据以分析数据增长模式。
为了使LogMiner重构出的SQL语句易于识别,我们需要将Oracle数据库中的内部编号转化成相应的名称,这就需要用到数据字典,LogMiner利用DBMS_LOGMNR_D.BUILD()过程来提取数据字典信息。
三、数据同步系统的设计
在分布式环境下开发数据交换系统,面对的主要问题还是增量数据如何同步以及数据同步的效率问题。在基于Oracle数据库的环境下,增量数据同步必须解决数据库日志的解析以及增量数据在目标计算机快速入库的问题。
利用LogMiner解析oracle系统日志是实现分布式数据交换系统所要解决前提之一。对LogMiner解析出的日志进行SQL语句分析重构(针对目标数据库的快速入库接口重构)是实现分布式数据同步系统要解决的前提之二。
本文提出的数据同步系统由三大模块构成,分为目的端、数据源端和控制端。1.数据源端根据控制端的要求,操纵地方各局数据库,提供系统所需的源数据。2.目的端根据用户在控制端的设置,在规定的时间内,抽取取数据源端的数据,并进行转换入库。3.控制端操纵数据源端和目的端服务运行,并提供GUI界面供用户设置系统运行所需配置信息。
在系统运行时,控制端先通过用户设置的源数据端信息和目的端信息,连接源数据端和目的端获取数据库表信息和字段信息;用户通过展示的表信息和字段信息,配置源数据端表和目的端表的映射关系;同时指定数据库日志文件的ftp信息和数据同步时间,然后将映射关系,同步时间,ftp上传路径发送给源数据端监听端口;将同步时间发送给目的端监听端口;源数据端在固定时间间隔,启动SQLPLUS运行LOGMNR脚本,进行日志转储,然后根据用户设定的映射关系进行解析、转换、保存;在同步时间到达时,将保存的解析结果上传;服务端在指定时间获得解析结果然后执行入库。
四、结论
本文根据分布式数据库的技术特点,对Oracle远程数据库同步方法进行了研究分析,提出了在分布式环境下实现基于Oracle数据库的数据同步系统的设计方法。本文所提出的数据同步解决方案是一种比较高效的开发技术,具有一定的理论和现实意义。
参考文献:
[1]李素萍.分布式数据库的同步更新技术研究[J].中国科技信息,2008,16:94
[2]杨辛宝,刘玉.Oracle数据库重做日志文件的分析及其应用[J].信息技术,2005,4:23
大型数据库设计方法的研究 篇4
1 逻辑数据库的设计
在数据库逻辑设计过程中, 为了保证数据库的一致性和完整性, 数据库要按照关系数据库的规范化要求设计。
以函数依赖为基础的关系模式的规范化等级主要有五种:1NF、2NF、3NF、BCNF和4NF, 满足这些范式条件的关系模式可以在不同程度上避免冗余、插入和更新异常问题。在基于表驱动的系统中, 基本表的设计规范是第三范式3NF。但是, 满足3NF的数据库设计, 往往不是最好的设计。没有冗余的数据库可以设计出来, 但是, 没有冗余的数据库未必是最好的数据库。有时为了提高运行效率, 就必须降低范式标准, 适当保留冗余数据。
合理使用冗余会为查询带来很大的好处, 如经常被查询的汇总数据, 可以在平时工作中就累加好, 不需要到查询时再使用如sum之类的函数。
比如:一个学生管理系统中有成绩表, 其字段有学号SNO, 课程号CNO, 成绩GRADE, 而进行平均成绩统计时, 是用户经常要在查询和报表中用到的。在表的记录量很大时, 有必要把平均分作为一个独立的字段加入到表中, 这里可以采用触发器以保持数据的一致性, 从而提高数据库的执行效率。
2 索引设计
索引即将表数据按索引要求而产生有序的数据副本。在关系数据库的表上建立合适的索引, 可以提高数据库数据查询的速度, 改善数据库的性能。除了聚集索引, 每一索引的使用都以磁盘容量作为代价, 当使用一个索引, 数据库引擎必须执行两个数据读取, 这两个数据读取是数据库记录所必需的, 第一个数据被读取到实际数据指针的索引, 第二个数据被读入到指针指定的位置。因此创建索引时必须要与实际应用系统的查询需求密切结合, 在提高查询速度和节省存储空间之间寻求最佳的平衡点:
2.1 在合适的列上建立索引
1) 在经常用作过滤器或者查询频率较高字段上建立索引;
2) 为包含了大量的空值列建立索引, 使包含空值的记录集中排在表的末端, 数据从无序变得有序, 可减少对这部分数据的遍历, 提高查询效率。
3) 有一列或多列经常被使用在where或join条件里, 则为该列或多列建立简单或复合索引以提高查询效率。
4) 在频繁进行排序 (group by) 或分组 (order by) 的列上建立索引。
2.2 不需要创建索引的情况
1) 如果表很小, 包含的数据量很少, 则无须建立索引。
2) 列不经常被用在查询条件里, 无须建立索引。
3) 不同值少的列, 比如在学生表的“性别”列上只有“男”与“女”2个不同值, 就无必要建立索引;
4) 由文本、图像等数据类型定义的列。
5) 表频繁被更新, 这样如果建立了索引, 开销会很大, 还会降低DML (INSERT、UPDATE、DELETE) 操作执行的效率, 所以此种情况无须建立索引。
2.3 聚集索引和非聚集索引
聚集索引是指行的物理顺序与行的索引顺序相同的索引。一个表只能有一个聚集索引。非聚集索引是指定表的逻辑顺序索引, 行的物理顺序与索引顺序不尽相同, 每个表可以有多个非聚集索引。缺省情况下建立的是非聚集索引, 但是在一些特定的情况下建立非聚集索引会极大的缩短查询的时间。建立索引时, 应考虑对两者的选择。
1) 对有大量重复值、且经常有范围查询 (between, >, <, >=, <=) 和order by、group by发生的列, 可考虑建立聚集索引。
2) 对于频繁修改的列、或者返回小数目的不同值的情况应避免建立聚集索引。
3) 当以某字段作为查询条件, 需要回传局部范围的大量数据时, 应在此字段上建立聚集索引, 而当查询所获得的数据量较少时, 有必要在此字段上建立非聚集索引。
比如:回传2010年1月1日到2011年1月1日这个时间段之间的数据, 可考虑在日期字段上建聚集索引, 那么数据本来就是按照日期的顺序排列的, 只要找到开始和结尾日期的数据就可以了, 可以极大的节省时间。而如果使用非聚集索引, 必须查到这个时间段中每个日期对应的位置, 然后在根据位置存取数据, 明显效率很低。
在实际应用中, 要综合各要素点具体分析, 以达到系统的性能综合最优。
3 查询设计
从大多数系统的应用实例来看, 查询操作在各种数据库操作中所占据的比重最大。许多程序员在开发数据库应用程序时, 只注重用户界面的华丽, 并不重视查询语句的效率问题, 导致所开发出来的应用系统效率低下, 资源浪费严重。因此, 如何设计高效合理的查询语句就显得非常重要。
3.1 正确地使用索引
索引作为数据库中的重要数据结构, 它的根本目的就是为了提高查询的效率。建立适合关系数据库系统的有用索引, 这样就可以避免表扫描, 并减少因为查询而造成的输入输出开销, 有效提高数据的查询速度, 优化数据库性能。
比如, 在学生表中, 如果创建学号为单列索引, 那么查询时WHERE子句中应使用学号这个字段, 使之成为有用索引。如果使用了其他字段, 那么学号这个索引就是无用索引:
使用复合索引时, 必须保证在条件子句中首先使用复合索引的第一列。比如:在成绩表中, 如果创建学号SNO和课程号CNO为复合索引, 那么在查询语句的WHERE子句中应这样使用:
否则, 下列复合索引的使用是没用的, 系统仍然采用顺序扫描方式:
3.2 模糊匹配的避免
LIKE关键字支持通配符匹配, 技术上称为正则表达式。但这种匹配特别耗费时间, 应尽量避免使用这种模糊匹配。
比如:SELECT SNO FROM SC WHERE CNO LIKE′4′
即使在CNO字段上建立了索引, 在这种情况下也还是采用顺序扫描的方式。
可改写为:SELECT SNO FROM SC WHERE CNO>′400′
这样, 在执行查询时就会利用索引来查询, 显然会大大提高速度。
3.3 子查询合并
子查询合并是将某些特定的子查询重写为等价的多个表的连接操作。子查询合并的作用在于能使查询语句的层次尽可能地减少, 从而可提高查询的效率。子查询合并的一般规则为:
1) 如果外层查询的结果没有重复, 即SELECT子句中包含主码, 则可以合并其子查询, 并且合并后的SELECT子句前应加上DISTINCT标志;
2) 如果外层查询的SELECT子句中有DISTINCT标志, 那么可以直接进行子查询合并;
3) 如果内部子查询结果没有重复元组, 则可以合并。
比如:查询选修201号课程的学生基本信息。
3.4 善于使用存储过程
存储过程是存储在数据库中的一段程序, 它可以接受参数、返回状态值和参数值, 并且还可以嵌套调用, 它是在建立时就已经编译和优化的程序。另外存储过程是一种模式化的程序设计, 通过将公共集合编写为合理的存储过程, 可避免冗余代码, 减少程序员的工作量。因此善于使用存储过程会提高大型数据库的执行效率。
4 表的优化设计
基于第三范式设计的库表虽然有其优越性, 然而在实际应用中有时不利于系统运行性能的优化, 比如:需要部分数据时而要扫描整表, 许多过程同时竞争同一数据, 反复用相同行计算相同的结果, 过程从多表获取数据时引发大量的连接操作, 这都消耗了磁盘I/O和CPU时间。针对这些情况, 可通过引入临时表来简化查询。
比如:查询每个系中年龄最大的学生的"学号"。
以上的查询对于外层的年龄关系s1中的每一个元组, 都要对内层的整个年龄关系s2进行检索, 因此查询效率不高。可以构建临时关系提高查询效率。
又如, 查询有最多男生的系的名称。使用单条查询语句获得查询结果较为困难, 则可建立临时表TEMPS (院系 (SDEPT) 、人数 (NUMBER) ) , 先将各院系男生人数的统计结果写入此表, 再在表TEMPS中查出人数最多的院系名称。通过分解操作过程, 使解决办法得以简化。
使用临时表时要注意对它的更新操作, 以保持与原始表之间数据的一致性。使用完毕后, 应对其删除, 释放其所占用的空间。
总之, 数据库的优化设计工作对提高系统执行效率起着重要的作用, 但它又是一项综合性的工作, 受到各种各样因素的制约, 有些要求往往是彼此矛盾的。因此, 设计结果常常是有得有失, 设计者必须根据实际情况, 将上述几个方面的优化策略有机地结合起来, 尽可能使系统效率达到最优。
参考文献
[1]萨师煊, 王珊.数据库系统概论[M].4版.北京:高等教育出版社, 2007.
[2]杨学全.SQL Server实例教程[M].3版.北京:电子工业出版社, 2010.
[3]黄明辉.大型数据库的性能优化方法[J].计算机时代, 2010 (6) :33-34.
[4]柳佳刚, 刘高嵩.数据库查询性能优化的探讨[J].福建电脑, 2005 (9) :58-59.
遥测数据质量评估方法研究与应用 篇5
遥测数据质量评估方法研究与应用
针对遥测数据质量评估问题,采用模糊层次综合分析方法,建立了数据质量评估模型,并详细论述其评估思路和应用步骤.试验结果证明,该方法有较好的适用性和实用性.
作 者：张东 吴晓琳 ZHANG Dong WU Xiao-lin 作者单位：92941,部队,辽宁葫芦岛,125000刊 名：飞行器测控学报 ISTIC英文刊名：JOURNAL OF SPACECRAFT TT & C TECHNOLOGY年，卷(期)：28(6)分类号：V557.3关键词：遥测数据 质量评估 模糊综合评价 层次分析法
网络封包数据解析方法的研究 篇6
关键词:网络封包数据 解析信息单元 描述模型
中图分类号:TP393 文献标识码:A 文章编号:1674-098X(2011)03(c)-0030-01
1 引言
在目前高速的网络通讯和复杂的网络诊断中,网络封包数据的解析是了解网络中流动的数据包的种类和这些数据包的具体信息以及网络安全与否的一个重要环节。计算机之间进行通信时,交互的所有信息都封装在数据包中,通过解析这些采集到的网络封包数据,可以清楚地了解到相互通信的计算机之间的通信目的;可以确定网络是否受到攻擊入侵;可以诊断网络应用程序可能出现问题的原因以及了解整个网络在各个时段内的网络负载情况等。
2 网络封包数据的解析过程
捕获后的网络封包数据经过解析后才能得到想要的信息,如作为网络监听所需要的数据帧的源地址、目的地址、协议类型等信息。
每一个网络数据包都是基于某一个网络协议产生的[1],所以分析网络数据包首先要分析其协议的内容。一般情况下,协议的分析过程如下:首先对捕获到的网络封包数据进行相应的过滤和分解,再进行具体的协议分析。由于网络具有OSI的7层协议模型,协议数据是由上至下封装后发送的,故协议分析需要由下至上进行,即:首先对链路层的协议识别后进行组包还原,然后脱去链路层协议头,再将里面的数据提交给网络层分析,直至经过传输层到达应用层。
数据包协议类型分析完毕之后,根据网络封包数据的相应协议类型进行解包,输出包信息,就完成网络封包数据的解析,为后续的相关分析提供数据支持。
3 网络封包数据解析方法
数据包解析的一种方法是PLA算法（文献[2]）,解决了如何判别在网络上传输的数据包是什么类型、用到了哪些协议的问题。
还有一种基于Winsock技术的数据包解析方法（文献[3]）,其用CProtocolInfo类来处理发送和接收的数据包并将需要的信息分离出来。
通过分析网络封包数据解析的过程及上述解析方法可知,网络封包数据解析通用方法是将截获的网络封包数据解析为用户指定格式的、可读的信息单元,其实质是建立网络封包数据中一定长度单位的比特流（称为比特单元）与信息条目之间的映射关系,如图1所示。
4 信息单元描述模型
在众多软件工具的应用中,特别是仿真系统,信息单元种类多,数量大,且不同的仿真应用,可能有不同类型的信息单元。图1中比特单元与信息条目之间的映射关系可变,如有的是简单的比例函数关系,有的是复杂的指数函数关系,更有的需要采用指定的解密算法等。
因此,为满足软件工具的通用性、灵活性和可扩展性等要求,本文基于元模型的思想,建立了信息单元的通用描述模型,并用面向对象的思想进行了封装,如图2所示。
信息单元节点类QNPIUNode:从网络封包比特流的前端截取指定长度（单位为位或字节）的比特单元,按用户指定的转换规则将其解析为可读信息。这里的转换规则主要包含如下两方面内容:
（1）信息在比特单元中的编码方式。即信息以何种方式编码为比特单元,如整型、浮点、字符串等方式。
（2）解析结果的表示方式。即解析得到的信息单元的数据类型定义、转换函数定义等。
信息单元元素类QNPIUItem:将多个信息节点实例按一定的顺序组织起来形成一个整体,同时,它又是自包含的,因此,利用NPIUItem类可以定义复杂的信息单元。另外,定义NPIUItem类可以方便地实现某些特定的应用需求,如对某些信息条目组进行加密、或某些信息条目组的重复次数不固定等。
信息单元实体类QNPIUEntity:从整体角度实现信息单元属性描述,如名称、标识值等,并根据定义的特征值对比特流进行匹配,匹配成功后,则利用NPIUItem进行数据解析。
解析时,用户可利用软件工具提供的可视化界面,实现信息单元的定义,系统自动根据用户定义,组装节点、元素和实体,建立信息单元描述模型。一个典型的信息单元描述模型如图3所示。
5 小结
本文综述了网络封包数据的解析过程,介绍了现有的网络封包数据解析方法,基于元模型的思想,建立了信息单元的通用描述模型,并用面向对象的思想进行了封装,满足了在网络封包数据解析方面各类网络软件工具的通用性、灵活性和可扩展性。与此同时,希望能引起研究人员的横向比较和讨论,集思广益,形成一套标准化、规范化、可操作性强的网络封包数据解析线路,为数据解析建设服务。
参考文献
[1]周明天,汪文勇.TCP／IP网络原理与技术.北京:清华大学出版社,1993.
[2]王锦超,李飞,沈明玉.网络数据包的协议分析算法设计与实现.计算机技术与发展,2006,16(4):30～32.
[3]熊安萍.基于Winsock技术的数据包解析研究.计算机科学,2006,33(12):81～82,134.
数据库查询优化方法研究 篇7
一、基于索引的优化
数据库的优化方法多种多样, 不同的方法对提高数据库查询效率也不相同。
索引作为数据库中的重要数据结构, 它的根本目的就是为了提高查询的效率。而优化查询的重要方法就是建立索引, 建立适合关系数据库系统的索引, 这样就可以避免表扫描, 并减少了因为查询而造成的输入输出开销, 有效提高数据的查询速度, 优化了数据库性能。
1.判断并建立必要的索引 对所要创建的索引进行正确的判断, 使所创建的索引对数据库的工作效率提高有所帮助。为了实现这一点, 我们应做到以下要求:在熟记数据库程序中的相关SQL语句的前提下, 统计出常用且对性能有影响的语句;判断数据库系统中哪些表的哪些字段要建立索引。 2.对索引使用的一些规则 索引的使用在一些大型数据库系统中会经常使用到, 这样可以有效的提高数据库性能, 使数据库的访问速度得到提高。但索引的使用要恰倒好处, 所以我们在使用索引时应遵守使用原则:建立索引可以提高数据库的查询速度, 但索引过多, 不但不能实现优化查询, 反而会影响到数据库的整体性能。索引作为数据库中实际存在的对象, 每个索引都要占用一定的物理空间。所以对于索引的建立要考虑到物理空间容量, 以及所建立索引的必要性和实用性。 3.合理的索引对SQL语句的意义 索引建立之后, 还要确保其得到了真正的使用, 发挥了其应有的作用。首先, 可以通过SQL语句查询来确定所建立的索引是否得到了使用, 找出没有使用到的索引。其次, 索引得到使用以后, 是否得到了预期的效果, 对数据库的性能是否实现了真正意义上的提高, 只有合理的索引才能真正提高数据库的性能。
二、优化SQL语句
在使用索引时可以有效的提高查询速度, 但如果SQL语句使用不恰当的话, 所建立的索引就不能发挥其作用。所以我们应该做到不但会写SQL, 还要写出性能优良的SQL语句。下面, 就如何优化引用例子进行说明。 首先, 在进行查询时, 返回的值应该是查询所需要的。在查询中应该尽量减少对数据库中的表的访问行数, 使查询的结果范围最小, 这就意味着在查询时, 不能过多的使用通配符, 如:select*from table1语句, 而应该做到最小化查询范围, 要查询几行几列就选择几行几列, 如:select col1 from table1;多数情况下, 用户并不需要查询到的所有数据, 而只是部分或靠前的数据时, 我们也可以通过SQL语句来进行限制查询的结果, 如:select top 50 col1 from table1。 其次, 对于一些特殊的SQL语句, 在使用时应正确选择。我们用一组例子来说明, 如:EXISTS, NOT EXISTS。
语句一:select sum (t1.c1) from t1 where ( (select count (*) from t2 where t2.c2=t1.c2) >0)
语句二:select sum (t1.c1) from t1 where exists (select*from t2 where t2.c2=t1.c1)
两个语句所得到的结果相同, 但, 语句二的效率要远高于语句一, 因为语句一在查询中产生了大量的索引扫描。 在对数据库查询时, 所使用的语句多种多样, 但选择恰当的语句能够有效的提高查询效率。
最后, WHERE子句在使用时应该注意的问题。
在WHERE子句中可以使用exist 和not exist代替in和not in。应该尽量避免使用in, not in, or 或者having。可以使用表链接代替 exist。Having可以用where代替, 如果无法代替可以分两步处理。
三、其他优化方法
数据库的查询优化方法不仅仅是索引和SQL语句的优化, 其他方法的合理使用同样也能很好的对数据库查询功能起到优化作用。如以下几种方法。
1.避免或简化排序 应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时, 优化器就避免了排序的步骤。 2.避免相关子查询 如果在主查询和WHERE子句中的查询中同时出现了一个列的标签, 这样就会使主查询的列值改变后, 子查询也必须重新进行一次查询。因为查询的嵌套层次越多, 查询的效率就会降低, 所以我们应当避免子查询。否则, 就要在查询的过程中过滤掉尽可能多的。 3.创建使用临时表 在表的一个子集进行排序并创建临时表, 也能实现加速查询。在一些情况下这样可以避免多重排序操作。但所创建的临时表的行要比主表的行少, 其物理顺序就是所要求的顺序, 这样就减少了输入和输出, 降低工作量, 提高了效率, 而且临时表的创建并不会反映主表的修改。 4.用排序来取代非顺序存取 磁盘存取臂的来回移动使得非顺序磁盘存取变成了最慢的操作。但是在SQL语句中这个现象被隐藏了, 这样就使得查询中进行了大量的非顺序页查询, 降低了查询速度, 对于这个现象还没有很好的解决方法, 只能依赖于数据库的排序能力来替代非顺序的存取。
四、结论
数据库研究方法 篇8
Authorware广泛用于多媒体软件的制作，具有极强的交互性。数据库是当今数据管理技术的主要形式和方法，它具有强大的数据处理功能和灵活性。在多媒体软件演示中，经常需要将演示内容与数据库内容建立关联，将Authorware的交互性和数据库强大的数据处理功能和灵活性结合在一起，在多媒体软件中实现数据的存取和管理。Authorware本身不能与数据库连接，本文介绍在Authorware7.02中通过配置ODBC来处理数据库中的数据。
1 ODBC简介
ODBC(Open Database Connectivity，开放的数据库连接)是一个不同类型数据库的API(Application ProgrammingInterface，应用程序编程接口)，是Microsoft公司提出的开放服务结构(WOSA,Windows Open ServicesArchitecture)中有关数据库的访问技术，它建立了一组规范，并提供了一组对数据库访问的标准，用这些API编写的应用程序独立于数据库管理系统，实现应用程序对不同DBMS的共享。ODBC本身也提供了对SQL语言的支持，用户可以直接将SQL语句送给ODBC。ODBC的工作原理如图1所示：
由图1可以看出，一个完整的ODBC体系结构由客户应用程序、驱动程序管理器、数据库驱动程序和数据库四部分组成。一个基于ODBC的客户应用程序不直接存取数据库中数据，各种操作请求必须由驱动程序管理器提交给数据库的ODBC驱动程序，然后通过各个不同的数据库驱动程序实现对数据库的各种操作。同样，数据库的操作结果也是通过ODBC返回给应用程序的。也就是说，不论是SQL Server数据库、Access还是Oracle数据库，均可用ODBCAPI进行访问。由此可见，ODBC的最大优点是能以统一的方式处理所有的数据库，故有了ODBC，在客户应用程序要访问数据库时，首先用ODBC驱动程序管理器注册一个数据源，管理器根据数据源提供的数据库位置、数据库类型及ODBC驱动程序等信息，建立起ODBC与具体数据库的联系。这样，只要应用程序将数据源名提供给ODBC,ODBC就能建立起与相应数据库的连接。
2 Authorware与数据库连接的方法
Authorware通过Microsoft ODBC及标准的SQL语言共同实现对数据库的各种操作。Authorware对数据库的操作分为建立数据库连接，打开数据库，执行SQL语句，关闭数据库四个步骤。
2.1建立数据库连接
使用ODBC建立数据库连接的方法有两种，一种是使用Windows控制面板中的ODBC数据源建立，另一种是在Authorware程序中通过调用t Ms DBRegister函数直接建立。
2.1.1使用ODBC数据源管理器建立连接
使用ODBC数据源管理器建立数据库连接时，需要选择用来访问数据库的ODBC驱动程序，然后指定数据源的名称、描述以及选取一个具体的数据库来完成与特定数据库的连接。具体方法如下：
(1)在【控制面板】窗口中双击【管理工具】图标，在打开的窗口中双击【数据源(ODBC)】图标，弹出【ODBC数据源管理器】窗口。ODBC的数据源(Data SourceName简称DSN)可以分为三种类型：用户DSN、系统DSN和文件DSN。用户DSN是最常用的类型，它只对当前用户可用，当用另一个用户的身份登陆时该DSN即不可见。
(2)在弹出【ODBC数据源管理器】窗口中选择【用户DSN】选项卡，然后单击【添加】按钮，弹出【创建新数据源】对话框，从对话框【驱动程序类别】列表框中选择【名称】为Microsoft AccessDriver(*.mdb)的选项，然后单击【完成】按钮。
(3)在弹出对话框的【数据源名】文本框中输入用户定义的DSN名称，单击【选择】按钮，从弹出的对话框中选择要连接的数据库，选择完毕后，依次单击【确定】按钮保存，即完成与数据源的操作。
2.1.2通过加载t Ms DBRegister函数建立连接
函数t Ms DBRegister的语法结构为：t Ms DBRegister(db Req Type,db Type,db List)。其中，参数db Req Type取不同的值代表不同的含义：
1表示增加ODBC数据源;
2表示配置ODBC数据源;
3表示删除ODBC数据源;
4表示增加一个ODBC系统数据源;
5表示配置ODBC系统数据源;
6表示删除ODBC系统数据源;
7表示删除默认的ODBC数据源。
参数dq Req Type一般设置取值为4。参数db Type指定需要使用的ODBC数据源的驱动程序。db List指定ODBC数据源的名称、描述及与之相连的数据库文件。三个参数之间用分号分隔。加载t Ms DBRegister函数建立连接的过程如下：
(1)创建一个Authorware新文件并存盘，然后打开【函数】窗口，单击【载入】按钮，为本文件载入t Ms DSN.u32文件的t Ms DBRegister函数。
(2)通过调用t Ms DBRegister函数即可完成这样做的优点是：在将应用程序拷贝到另一台机器上时不用再手工添加数据源，这样在将应用程序打包后就能生成脱离Authorware环境的可执行文件，可以在其他计算机上直接执行。
2.2打开数据库
使用ODBCOpen函数打开相应的数据库，其语法结构如下：
ODBCHandle:=ODBCOpen(WindowHandle,Error Var,DSN,User,Password)
其中，ODBCHandle是ODBC操作句柄;WindowHandle是窗口句柄;ErrorVar是错误变量，可以省略;DSN是所使用的数据源名;User是数据库用户的用户名，可以省略;Password是数据库用户密码，可以省略。
2.3执行SQL语句
使用ODBCExecute函数完成对相应数据库的操作，其语法结构如下：
ODBCdata:=ODBCExecute(ODBCHandle,SQLString)其中,ODBCdata是数据库数据的赋值变量;SQLString是标准SQL语句。
2.4关闭数据库
使用ODBCClose(ODBCHandle)函数关闭相应的数据库。
3实现实例
为了举例说明，首先用Access2003建立数据库test.mdb，在数据库中建立单选题表“tjk”，并在表中输入几条记录，然后启动Authorware7.02程序，将其以“链接Access数据库举例.a7r”为名存盘。按上面介绍方法在【函数】面板的函数列表中载入t Ms DSN.u32文件中的t Ms DBRegister函数，和ODBC.u32文件中的ODBCClose、ODBCExecule和ODBCOpen用于访问数据库。接着在流程线上放置一计算图标，在计算图标中加入如下相应代码：
为了便于说明，下面举个简单的例子。首先用Access2003建立数据库test.mdb，再在数据库中建立单选题表“tjk”，并在表中输入几条记录，然后启动Authorware7.02程序，将其以“链接Access数据库举例.a7r”为名存盘。接着，按2.1.2介绍的方法在【函数】面板的函数列表中载入t Ms DSN.u32文件中的t Ms D-BRegister函数;同理载入ODBC.u32文件中的ODB-COpen、ODBCExecule和ODBCClose三个用于访问数据库的函数。最后，在Authorware流程线上建立如图2所示的图标：
在“链接数据库”图标中添加如下代码：
在“打开数据库”图标添加如下代码：
在“定义SQL”图标中添加如下代码：
SQLString:="SELECT*FROM tjk"
在“执行SQL”图标中添加如下代码：
Data:=ODBCExecute(ODBCHandle,SQLString)
在“关闭数据库”图标中添加如下代码：
ODBCClose(ODBCHandle)
在“显示”图标中添加如下代码：
{Data}
其中Data为Authorware中二维数组变量，程序执行结果为：将“test”数据库的表“tjk”中的所有数据在“显示”图标中显示出来。然后运用Authorware提供的函数来截取我们需要的数据。上例中“链接数据库”部分也可用控制面板中“ODBC数据源管理器建立连接”代替。在“定义SQL图标”中的SQLString是标准的SQL语句，如果想要将Authorware中内容写入数据库中，只需将上例中的“Select”语句改为“Insert”或“Update”SQL语句即可。
4结束语
Authorware通过t Ms DBRegister函数连接数据库，通过ODBC.u32文件中的三个函数实现数据库的打开、执行和关闭。对数据库的具体操作使用标准SQL语句来完成。有了数据库的支持,就可以使用Authorware开发智能考试系统、多媒体习题课件等。当试题内容要改变时，只需改变数据库中记录，不需重新制作考试软件，极大拓展了Authorware软件的功能,使其能够更加广泛的应用。
摘要：Authorware作为专业的多媒体开发工具却未提供数据接口,不能直接处理数据库中的数据。文章以Authorware7.02访问Access2003数据库为例,介绍通过配置ODBC数据源,使Authorware能够访问数据库中的数据。
关键词：Authorware,ODBC,数据库,SQL,Access
参考文献
[1]朱诗兵,李迎春.Authorware数据库编程[M].北京:清华大学出版社,2000.
[2]童剑.Authorware7.0精彩设计百例[M].北京:中国水利水电出版杜,2004.
[3]袁海东.Authorware7.0教程[M].北京:人民邮电出版杜,2005.
[4]邓椿志.Authorware7.0基础与实例教程[M].北京:电子工业出版杜,2005.
[5]郝耀辉.用Authorware结合Access制作习题课件[J].中国现代教育装备,2007,(4):53-54.
数据库研究方法 篇9
为满足农村土地管理工作的需要, 加强对农村宅基地的使用和流转管理, 科学合理使用各类土地, 推动地方经济建设和社会经济发展, 国土资源局决定在辖区范围内开展农村村庄地籍调查及数据库建设工作。
本次村庄土地调查依据《土地调查条例》、《第二次全国土地调查技术规程》, 《徐州市沛县第二次土地调查实施方案》等土地调查政策及技术标准, 按照《城镇地籍调查规程》、《城镇地籍数据库标准》等技术要求开展地籍调查, 对界址点进行全野外数据采集, 同时逐宗地进行调查, 调查范围要与农村、城镇土地调查确定的范围相衔接, 不重不漏。
2 地籍调查与数据库建设
2.1 作业路线
本次村庄地籍调查实施过程中首先进行权属调查, 收集宗地权源材料, 现场设置界址标志, 勘丈界址边长, 填写权属调查表格;然后进行地籍、地形测量, 包括控制测量, 界址点全野外采集, 地籍图数据编辑;地籍数据录入数据库, 建立地籍管理信息系统。
(1) 权属调查需要收集权源资料、确定界址、设置界标、绘制宗地草图、丈量界址边长、填写调查表、双方签字, 整理资料。
(2) 图跟控制测量采用全野外采集测量界址点, 利用航测法采集其它地籍要素和相关地形要素。
(3) 数据库建设需要依据权属调查资料、全野外测量数据及航测法采集数据编辑形成各种图件及图形数据入库。
(4) 检查:对控制成果、权属调查资料、数据采集成果、街坊成果进行检查;对界址边长进行坐标反算边长与勘丈边长的校对, 各种图件检查;按要求编辑宗地图、街坊图、地籍分幅图, 并进行面积量算、输出成果、成图。
(5) 监理单位进行成果质量检查质量验收后, 进行资料提交。
2.2 权属调查
2.2.1 基本原则
本次调查的基本原则是:“尊重历史, 反映现状, 方便利用”, 总体的指导思想包括以下几个方面:尊重历史, 包括已办理合法用地手续的用地、历史延用地和其他实际用地的用地情况;反映现状, 是指要按照现状调查和测量, 同时详细说明现实情况与权属来源的情况;方便利用, 即要求按照规定的操作方法, 完善权属调查的内容, 并对有争议的用地, 或者缺失的内容根据调查结果提出解决问题的合理建议。
2.2.2 基本要求
权属调查是土地登记中一个重要法律程序, 其基本要求是:权属合法, 界址清楚, 面积准确。因此调查过程中必须严格执行有关法律、法规和规定。
本次地籍调查的对象是村庄内国有土地、集体土地使用者的情况、宗地使用的状况及他项权利, 确权的依据是经过审查认为有效的权源证件, 调查的主要方法是现场调查宗地的土地座落、位置、界线、收取并核实权源材料及证件。调查的结果是取得一份合格的宗地调查资料, 为地籍勘丈提供合法、有效、可靠的依据。
2.3 调查深度
独立宗无论大小均为调查单元。村庄范围内国有土地、集体土地、每户的宅基地调查。
共用宗分为二种情况:单位共用空地 (如院落) 等应按共用宗调查;调查区内企、事业单位独立生活区的共用宗分别按各自用途独立设宗进行调查, 内部同一用途建筑物按要求进行测量并标注幢号及建筑占地面积, 外围添加构面线并加粗;内部不同用途建筑物按实际用途按幢设宗调查。
2.4 地籍测量
2.4.1 技术流程
控制测量应用全站仪数据采集:在图根或以上平面控制点上架设全站仪, 采用解析法施测界址点平面坐标并结合使用航测法、图解法采集其他地籍要素来编制地籍图。将外业调绘图、外业采集坐标以及调查资料 (宗地编号、宗地权利人名称等要素) 通过传输录入计算机, 根据界址点坐标确定宗地范围, 根据宗地要素点坐标绘制地籍图。然后回放图检查:将初编地籍图回放, 到实地进行巡视检查, 补测遗漏宗地界址点, 最终形成符合建库要求的1:500地籍测量成果。
2.4.2 地籍细部测量
参照地籍调查成果, 实地检查界址标示的设置, 采集界址点坐标。测站能直接观测到的, 且距离在150m以内的界址点、明显地物点, 采用极坐标法直接测量。
地籍子区外围的界址点和地籍子区内部明显的界址点 (一类界址点) 原则上需要图根导线点以上的控制点上直接施测, 距离不超过150m;地籍子区内部界址点 (二类界址点) 大部分必须在图根导线点以上的控制点上直接施测。
2.4.3 地形要素测量
地形要素测量, 利用航片以及外业像控、空三加密资料, 在全数字摄影测量工作站 (如JX4、Virtuo Zo等) 上立体采集各类地形地物, 立体采集按照《图式》及《规范》的相关要求进行。像对采集完成后, 接边并裁切成图, 制作为初步线划回放图, 待外业调绘用。
地形要素测量包括居民地及垣栅测量、工矿建 (构) 筑物及其它设施测量、交通及附属设施测量、管线及附属设施测量、水系及附属设施测量、境界测量、和地貌测量。
2.5 专项调查
2.5.1 村庄整理潜力调查
在此村庄地籍调查的基础上, 开展村庄用地状况调查, 以镇为单位, 进行调查区村庄整理潜力调查, 包括村庄范围内土地利用现状调查、每宗宅基地闲置状况调查等。
以宗地为单位进行权属调查, 收集权属资料的同时, 了解每块宅基地的使用状况, 对于闲置宅基地, 在调查表实际用途一栏填写空闲宅基地, 在数据入库后即可进行此类专项数据的统计。
2.5.2 房屋调查
房屋是土地最基本也是最重要的附着物, 随着城市化进程的加快, 如何进一步科学合理统筹配置资源, 调整住房结构, 了解农村居民的住房情况, 确定房地产发展规模, 科学利用土地资源, 是我们当前迫切需要解决的问题。同时, 调查摸清现有房屋资源, 尤其是住宅房屋的数量、分布, 对政府控制人口规模也具有十分重要的作用。
以宗地为单位进行房屋调查。调查的基本内容包括:宗地内部主要建筑物类型、建筑面积、建筑占地面积、共有使用权情况等。
2.6 地籍数据编辑和建库
2.6.1 数据编辑
地形要素、地籍图数据编辑必须在南方CASS编图软件平台下进行。按外业采集的内容, 用人工干预的方式, 逐个对由外业采集的要素编辑修改成符合本设计书要求的数字地形图;经检查合格后, 再将过程数据成果转换录入徐州市统一的地籍和基础地理信息数据管理系统中, 按入库要求编辑点、线、面要素, 最后进行编辑录入元数据文件。
2.6.2 建立地籍数据库
进入属性库管理系统, 新建图库, 将分幅图的每一层的点、线、面文件批量入库。包括属性数据采集、建立地籍管理信息系统和数据库调试。
所有宗地图、分幅地籍图、街坊图及各类统计表格均须在数据库环境下编辑、并上传至数据库存储。利用数据库可以编辑控制点坐标数据库、宗地图数据库、分幅地籍图数据库、街坊图数据库、测区索引图数据库、界址点坐标数据库、宗地面积数据库、街坊面积数据库、镇区 (街道) 街坊分布图、宅基地土地分类面积汇总数据库。
3 质量控制
村庄地籍调查, 任务繁琐、细节多样, , 需要现势性很强的数据, 要求在实际工作中体现地籍调查人员的专业素质, 保证国有土地资源的准确性。在村庄地籍调查的基础上, 可以开展村庄用地状况调查, 以镇为单位, 进行调查区村庄整理潜力调查, 包括村庄范围内土地利用现状调查、每宗宅基地闲置状况调查等。
各工序作业应严格按照有关《规范》规定的作业程序及限差要求进行, 质量检查工作应按照质量管理体系的《测绘产品质量检查和质量评定实施细则》要求进行。随时分析和预防可能出现的问题。以预防为主, 防检结合, 出现问题及时解决, 质量管理贯穿于工程的全过程。
参考文献
[1]谭立萍.地籍测量与房产测绘课程建设研究[J].价值工程, 2014 (04) .
[2]何群, 马洪滨, 等.基于3S与3G技术的GPS-PDA在全国第二次土地调查中的应用研究[J].测绘通报, 2013 (03) .
数据库研究方法 篇10
1 评价目的
通过对建设项目占用和补充耕地情况进行质量评价, 分析其用地规模, 对比耕地占用、补充情况, 了解项目补充的耕地是否满足要求, 是否落实国家对耕地数量和质量占补平衡的政策。达到保护耕地, 保护粮食安全, 指导项目合理选址的目的。
2 技术方法及流程
2.1 评价主要依据
(1) 《农用地分等规程》 (TD/T 1004-2003) ; (2) 《农用地定级规程》 (TD/T 1005-2003) ; (3) 《农用地估价规程》 (TD/T 1006-2003) ; (4) 国土资源部、农业部《关于加强占补平衡补充耕地质量建设与管理工作的通知》 (国土资发[2009]168号) ; (5) 农业部办公厅关于印发《补充耕地质量验收评定技术规范 (试行) 》的通知 (农办农〔2012〕35号) ; (6) 贵州省农用地分等定级与估价技术方案; (7) 县级最新度变更调查资料; (8) 贵州省耕地质量等级成果补充完善数据库 (2011年) 。
2.2 资料收集整理
收集整理建设项目占用和补充耕地涉及区 (县) 的变更调查、遥感影像、耕地质量等级成果补充完善成果、项目区勘测定界范围、补充耕地台帐等资料。并对资料进行整理和核实。
2.3 内业评价
以年度变更调查耕地图斑和土地开发整理项目竣工的新增耕地面积作为分等单元, 结合贵州省耕地质量等级成果补充完善数据库中农用地分等因素图、土地利用系数等值区图和土地经济系数等值区图, 获取相应的指标控制区属性值, 并赋予分等单元产量比系数、光温或气候生产潜力指数, 重新进行分等单元等指数计算, 确定耕地质量等别。具体如下:
2.3.1 确定耕作制度与指定作物和基准作物
标准耕作制度是指在当前的社会经济水平, 生产条件和技术水平下, 在不造成生态破坏, 并能最大限度地发挥土地生产潜力的一种农作方式。按照《贵州省标准耕作制度》, 确定项目所涉及区 (县) 的标准耕作制度和主要农作物。
2.3.2 确定指标控制区
指标区是对区域内决定耕地自然质量的各分等因素的组合, 依主导因素原则和区域分异原则, 充分考虑地方特点, 并体现土地自然属性, 体现土地利用结构、生态、经济条件的相对一致性, 同时保持行政村界完整性的原则进行划分。根据贵州省分等指标区划分占用和补充耕地所涉及区 (县) 的情况。
2.3.3 确定光温、气候潜力指数
光温生产潜力指数 (用于水田) 指在农业生产条件得到充分保证, 水分、CO2供应充足, 其它环境条件适宜情况下, 理想作物群体在当地光、热资源条件下, 所能达到的最高产量。气候生产潜力指数为 (用于旱地) 。指在农业生产条件得到充分保证, 其它环境因素均处于最适合状态时, 在当地实际光、热、水气候资源条件下, 农作物所能达到的最高产量。根据贵州省农用地分等技术指导组提供的《贵州省分县主要作物调查表》, 得到所涉及区 (县) 光温生产潜力指数和气候生产潜力指数值。
2.3.4 确定产量比系数
产量比系数是指以基准作物为基础, 按基准作物实际产量与当地指定作物单位面积实际产量之比。即指定作物产量比系数=基准作物单产/指定作物单产。
2.3.5 确定评定因素及其权重
分等因素分为推荐因素和自选因素。推荐因素由国家统一确定, 分区、分地貌类型给出;自选因素自行确定, 一般不超过3个。采用特尔菲法和因素成对比较法确定因素因子的权重。通过因素间成对比较, 对比较结果赋值、排序, 按指定作物分别确定了因素的分等因子权重
2.3.6 评价数据库的建立
在Arc GIS系统中完成各因素图形数据与属性数据的挂接, 使空间数据和属性数据两种数据模型联为一体, 实现空间数据和属性数据之间的相互查询与检索, 形成耕地质量评价因素分值数据库[2]。运用GIS空间分析技术, 将选取的因素分值图进行空间叠加, 获得评价单元因子质量分, 形成评价因子数据库、耕地质量评价数据库。具体见流程图。
2.4 外业评价
2.4.1 自然质量状况调查
实地踏勘补充耕地的地形部位、土层厚度、耕层厚度、耕地质地、田面坡度、砾石含量、灌排设施、田间道路及周边污染情况等。若补充耕地地区及周边土壤和水有可能被污染的, 还要调查污染源和污染类型以及耕地利用状况与经营状况等[3]。
2.4.2 补充耕地质量核查
对补充耕地进行外业踏勘和实地核查, 收集新增耕地质量评定涉及的土地层度、剖面构型、表土质地、灌排条件、土壤PH值、障碍层深度、岩石露头度等指标评价因子及相关资料。根据踏勘结果, 按照贵州省耕地质量等级评价指标体系, 对补充耕地进行质量核查。
2.5 内外业综合评价
根据外业实地踏勘结果, 修正内业预判结果, 通过综合评定, 最终得到建设项目占用和补充耕地的数量、地类以及质量状况。
2.6 评价流程图
如图2。
3 评价结果
根据项目区勘测定界图、年度变更调查数据库, 结合最新的耕地质量等级补充完善成果, 采用数据空间叠加分析的方法, 评定项目占用耕地质量状况、项目补充耕地状况。对项目占用和补充耕地的数量和质量进行对比分析。核实项目是否实现了占用和补充耕地数量上相等, 质量上相当, 或略有提高, 符合国家占补平衡相关要求。
摘要：土地资源是人类赖以生存和发展的重要基础, 耕地保护工作是国家加强土地宏观调控工作的核心之一。国务院从严格土地管理的要求出发, 对建立完善土地管理和耕地保护责任制度等方面作了明确规定。通过对建设项目占用和补充耕地情况进行质量评价, 分析其用地规模, 对比耕地占用、补充情况, 了解项目补充的耕地是否满足要求, 是否落实国家对耕地数量和质量占补平衡的政策。达到保护耕地, 保护粮食安全, 指导项目合理选址的目的。
关键词：占用,补充,耕地质量,调查评价
参考文献
[1]董秀茹, 尤明英, 王秋兵.基于土地评价的基本农田划定方法[J].农业工程学报, 2011, 27 (4) :336-339.
[2]董焱, 叶公强, 刘定祥, 等.耕地整理潜力评价[J].资源开发与市场, 2004, 20 (4) :287-289.
基于统计数据质量评估方法的研究 篇11
[关键词]统计数据质量；评估方法；逻辑检验；优缺点分析
统计数据作为信息的重要载体，随着社会信息需求的不断加大，相关领域对于统计数据的质量要求也逐渐提高。统计数据质量的高低不仅关系着经济的顺利发展，更关系到相关行业的重要决策。就目前我国统计数据质量评估还存在的问题来看，有必要对现有的统计数据质量评估方式做一个系统的整理和提高。下文就我国现阶段统计数据质量的评估现状展开分析，就几种评估方法进行改善研究。
一、现阶段我国统计数据质量评估现状
统计数据质量反映的是一个国家或者一个地区社会经济活动的成果和相关记录，是社会经济问题研究的基本依据。因此，统计数据质量的高低不仅关系到经济发展的顺利与否，更影响着各项决策的实施。所以，确保统计数据质量的准确性和可靠性对于统计数据质量工作有着重要的作用。就我国目前的情况来讲，对于统計数据质量评估还较为滞后，就其原因主要就是因评估方式和方法落后、不合理、应用不恰当。统计数据质量的准确性不仅要求统计人员要坚持客观性，保证统计过程的准确性，杜绝造价、瞒报和谎报等情况；更要确保数据统计方法的有效性，在对统计的数据进行抽样设计、过程控制以及统计评估的过程中，应保证其科学合理性，并在可信的数据收集基础上，加量保证统计数据与经济现象无限接近。
近年来，伴随着统计数据分析行业的快速发展，统计信息所涉及到的领域和行业信息逐渐复杂起来。例如一些金融业、医疗行业和工商管理行业的运用都对统计数据质量有较多的关注。从宏观的角度来看，统计数据是国家宏观调控和管理的手段；从微观上，也是企业管理与决策的重要依据。然而实际发布的数据与公众心中的需求还是存在一定的差距，这不仅给市场经济传递了错误的信息，更可能妨碍社会发展。
二、基于统计数据质量评估方法的几种方法分析
1.逻辑关系检验法
所谓逻辑关系检验法就是以政府的统计指标体系为主，包含各个统计指标体系之间的包含、恒等相关内在逻辑关系的判断标准，以实现对统计数据可信度的检验。逻辑关系检验法主要包括比较逻辑检验法、相关逻辑检验法两种，下面我们以相关逻辑检验法为主进行探讨。相关逻辑检验法是按照逻辑关系与其紧密联系的客观社会经济现象来决定的，一方面，总量指标之间存在着较为稳定的比例和比率关系。 也就是说，以此来计算出来的相对指标应在特定的范围里面规定其取值。另一方面，总量指标的变动趋势之间相同程度同向或者反向的一致性，就是说各自增长率之间应该在大致的方向和幅度之间保持一致性。将其作为一种传统的检验方法来进行操作，较为简单易懂，因此逻辑检验方法对数据可信度上的初步检验有着广泛的使用率。
2.计量模型分析法
计量模型分析法主要以建立经济模型基础，对指标的数据质量进行评估的一种评估方法，主要分为模型构建、评估、分析等几个步骤。首先，模型的构建就是计量模型的分析法中的关键不走，而要构建一个合理的统计数据质量评估模型，这对于建模者也有一定的要求。传统的回归模型主要是依照理论分析来确定数据之间的经济现象复杂关系，而如果利用经典时序模型来对历史指标数据进行深入、仔细的考查就能有效的指出其变化规律；另外，运用面板数据模型能有效的刻画出宏观经济现象之间的复杂关系，更能描述出不同个体之间在不同时期的差异。此外，科学合理的模型估计和分析是建立模型后得到准确可信数据的关键环节，因此，我们要找到可用性、适用性以及有用性较高的模型构建，以保证拥挤数据的可信度和准确度。
3.核算数据重估法
所谓核算数据重估法就是从统计核算的角度上对特定的统计指标数据进行重新估计，以提高相关指标的数据质量评估方法的效率。评估的基本思路主要分三步，包括以待评估统计为依据，通过分析找出待评估统计指标在实践中存在的问题等几个步骤；挖掘现有资料，采取针对性的替代数据和运用规范来评估统计；重新估计统计指标参数，对官方统计指标数据的准确性进行评估。
三、 结语
总之，统计数据质量管理是一个涉及梁宇多、研究复杂的技术，作为统计数据质量管理的重要环节，数据质量评估方法的确定应从多个方面进行分析，就其实用性、准确性、评估过程、优缺点进行详细剖析，以确保数据质量的评估实际价值。
参考文献：
[1]郭红丽，王华. 宏观统计数据质量评估的研究范畴与基本范式[J]. 统计研究，2011，06：72-78.
[2]许涤龙，叶少波. 统计数据质量评估方法研究述评[J]. 统计与信息论坛，2011，07：3-14.
[3]胡光. 林业统计数据质量评估体系的研究[D].东北林业大学，2012.
数据库研究方法 篇12
许多研究已证实农业非点源污染是导致水体环境恶化的主要原因之一。由于农业非点源污染监测难度大,无法准确追踪污染物产生过程和负荷大小,基于数学模型进行计算机模拟是目前比较常用的研究手段。随着3S技术的发展, SWAT、AnnAGNPS等与GIS相结合的大型连续分布式参数模型相继出现,应用前景广阔,尤其是在水土流失和非点源污染等领域。AnnAGNPS模型在美国、马来西亚、澳大利亚等许多国家和地区得到广泛的应用,应用主要侧重在模型的实用性检验、参数敏感性分析和流域管理措施效果模拟等方面[1]。该模型在美国的应用最为成熟,并已经被许多政府部门所接受,并作为水质监测、土地管理等的工具和技术手段。在我国,由于相关数据缺失,对模型数据库建立的研究不充分[2],数据库建立困难,模型的研究缺乏连续性和系统性,一定程度上制约了该模型在我国的应用和发展。本文以三峡库区香溪河流域为例,收集研究区现有的建模资料,包括土地利用、土壤、地形、气象等,在现有资料的基础上,研究模型所需相关缺失数据资料的计算方法,阐述了建立完整AnnAGNPS模型土壤气象数据库的方法,以期为模型顺利推广应用提供参考,并为流域水环境的综合治理提供科学依据。
1AnnAGNPS模型简介
AnnAGNPS(Annualized Agricultural Non-point Source Pollution)是由美国农业部开发研制而成的用于模拟评估流域地表径流、泥沙侵蚀和氮磷营养盐流失的连续型分布式参数模型[3]。该模型以日为步长,根据地形水文特征而非均等进行流域集水单元划分,模拟的流域尺度更大;能够连续模拟一个时段内每天以及累计的径流、泥沙、养分、农药等输出结果,可用于评价流域内非点源污染的长期影响[1,4];通过与GIS紧密集成,能够自动提取模型需要的许多地形地貌参数,显示度显著提高。
AnnAGNPS模型主要由数据输入和编辑模块、年污染负荷计算模块、数据输出和显示模块这3部分组成。而在模型的应用中,数据准备模块是最重要的部分,它主要包括流网生成模块、数据录入模块、气象因子生成模块和数据文件转换模块。
2研究区域概况
香溪河流域位于湖北省西部,长江西陵峡北侧,地跨东经110°25′～111°00′,北纬30°38′～31°34′,流域面积共3 099 km2,兴山境内2 102 km2,占全县总面积90%[5],干流全长94 km,流经兴山县内78 km[6]。香溪河口距三峡大坝约29 km,是三峡库区库首的首条较大规模的一级支流,发源于神龙架林区,流经兴山、秭归,最终在秭归县香溪镇注入长江,是兴山县境内最大的水源。香溪河主要有高岚河、古夫河和南阳河3大支流,其中古夫河和南阳河在响滩处汇合后流入主河道,高岚河在中游峡口汇入[7]。流域森林资源极为丰富,属亚热带大陆性季风气候,雨量充足,年降雨量为850～1 400 mm。流域内有7种土壤类型,即:黄壤、黄棕壤、棕壤、暗棕壤、石灰土、紫色土、水稻土,其中黄棕壤和石灰土占该流域土地总面积的78.6%[8,9]。
3数据库的建立
AnnAGNPS模型输入参数包括8大类31小类,约500多个参数。参考模型说明文件,目前有33个参数还没有被利用。本文使用的模型版本是AnnAGNPS 5.10,由于所需构建的数据库类型较多,这里主要介绍气象数据库和土壤数据库的建立过程,为模型模拟计算提供基础数据支持,同时为类似研究提供借鉴。
3.1气象数据库的建立
气象数据输入是进行流域内其他过程模拟的驱动力,也是最重要数据输入之一[10]。AnnAGNPS模型需要一个连续的日气象数据文件DayClim.inp,包括日最高气温、日最低气温、日平均降雨量、日均露点温度、风速和云量。
这些气象数据可以是历史数据或综合模拟数据,也可以是两者的结合[2]。在AnnAGNPS5.10版本中对天气发生器作了一定的改进,模型气象因子生成模块包括2个部分agGEM和preGEM。preGEM利用实测历史数据生成流域内气象统计参数,其输出文件作为agGEM的输入文件,最后利用agGEM模拟出10 a的气象数据,其中模拟结果的有效性主要取决于历史数据的精确度和可用历史数据年数,模型要求历史数据至少要为20 a。也可以根据模型气象数据格式的要求,用手动方式在模型输入编辑器中编辑生成日气象数据文件DayClim.inp。
日最高和最低气温、日均降雨量和风速这些数据可由水文站、气象站提供,而日均露点温度和云量的获取则比较困难,一般需要进行计算。韩通等(1996年)对云量进行过定量测算,过程比较繁杂,资料获取难度大。AnnAGNPS模型在进行模拟计算时可以根据太阳辐射值自动计算云量值,因而只需要知道太阳辐射值和云量值其中任何一种即可。本节主要介绍日均露点温度和太阳辐射值的计算方法:
(1)日均露点温度。露点温度数据通过日均气温和相对湿度计算,公式(郭新波,2001年)如下:
式中:Td为露点温度;fa为相对湿度;Ta为日平均温度。
(2)太阳辐射。大气上空太阳辐射H0[单位:MJ/(m2·d)]计算公式[11]如下:
式中:Gsc为太阳常数,其值为1 367 W/m2[相当于118.108 MJ/(m2·d)];E0为地球轨道偏心率校正因子;ϕ为纬度;δ为太阳赤纬;Ws为时角(角度);Γ为年角 ,rad;n为一年中的日序数。
日出和日没间的时间间隔为日长(SL),假设在日出和日没时间太阳高度角为0,有如下日长计算公式:
大气上空太阳辐射通过大气层到达地面,有一部分会被大气吸收,另一部分则会被反射或散射回去,因而只有一部分会到达地面。根据已有的相关研究,通常情况下总辐射在大气中的透明度系数为0.8左右,特定的环境条件其透明系数有所差异[12]。地面晴空状态下的太阳辐射计算公式如下:
式中:HL为晴空状态下地面总辐射;t为总辐射在大气中的透明度系数,这里取0.8。
逐日太阳辐射利用Angtrom-prescott方程[11]计算:
式中:H为日实测总辐射;HL为晴空状态下的日总辐射;S和SL分别为日照时数和日长;a和b为经验系数,根据左大康等人的研究,这里取a为0.248,b为0.752[11],系数a,b与纬度没有明显的依赖关系,利用该系数在中国广大地区内都可能得到满意的结果。
本文的研究利用了香溪河流域兴山水文站2005-2009年的日最高和最低温度、日平均温度、日降雨量、风速、日照时数和相对湿度,结合公式计算出来的露点温度和太阳辐射值,参考模型输入文件格式要求,在输入编辑器中手动编辑生成了模型需要的包含2005-2009年气象数据的文件DayClim.inp,气象数据在Input editor界面截图见图1。
3.2土壤数据库的建立
AnnAGNPS模型所需的土壤参数包括30多种,主要包含土壤类型、水文土壤组、反射率、比重、孔隙度、土壤分层厚度及其对应的质地分级、pH值、饱和导水率、田间系数、凋萎系数、有机质率、有机氮率、无机氮率、有机磷率、无机磷率等[2]。
本文所采用的土壤源数据主要是在已有土壤调查的基础上,结合中国科学院资源环境科学数据中心1∶100万土壤图。将土壤图在地理信息系统ArcGIS中进行坐标转换等处理,以满足模型对数据的基本要求,然后在Arcview-AGNPS 5.10集成界面中将处理后的土壤图与基于DEM划分的分室图形进行叠加,各分室面积最大的那种土壤类型将被确定为这个分室的土壤类型。
(1)土壤质地转换。
目前我国进行了2次土壤普查,第1次采用了苏联制(即卡钦斯基制),第2次采用了国际制,而AnnAGNPS模型要求的土壤质地是美国制,因而先要进行土壤质地的转换,将苏联制或国际制土壤质地转换为对应的美国制土壤质地。国际制与美国制土壤质地的划分标准见表1[13]。
土壤进行质地转换的方式很多,以往多采用图解法,但图解法存在工作缓慢繁琐、主观影响较大等不足,现多以数学模型为主。在朱秋潮等人研究的基础上,蔡永明等对比了2次样条插值、3次样条插值和线性插值法插值的结果,表明3次样条插值法最优[14]。刘建立等3次样条插值、对数线性插值这2种非参数模型和逻辑生长、改进的逻辑生长以及Van Genuchten经验方程等累积粒径分布模型的估计效果进行比较分析,表明改进型逻辑生长曲线模型预测效果最佳[15]。
本文基于《兴山县土壤志》并参考中国土壤数据库中的土壤粒径资料,采用双参数修正的经验逻辑生长模型[16],将国际制土壤质地转换为模型所要求的美国制。
在利用双参数修正的经验逻辑生长模型时,将各种土壤质地的粒径累积分布和计作1,计算公式[17]为:
式中:P(d)是土壤颗粒直径小于d的累积分布;d0是模型运行的最小土壤颗粒直径,本文中d0=0.002 mm;u和c是模型的2个参数[18]。
利用1stopt软件的非线性拟合程序的Levenberg-Marquardt+通用全局优化算法[17],通过回归迭代求得u和c这2个参数的最优值,在程序算法界面中输入算法,见图2。
将求得的最优u和c值代入相关计算公式,在Excel中编写相关插值公式,求得美国制土壤粒径累积分布值。表2为香溪河流域2种主要的土壤类型在进行质地转换后美国制下的土壤粒径组成。
(2)水文土壤组。
美国农业部(USDA)农业手册AH_703给出了水文土壤组的分类标准,主要根据表层土壤导水率将土壤划分为A、B、C和D 4个组,并划分了各土壤质地所属的水文土壤组类别,见表3。
(3)土壤侵蚀因子K的计算。
影响土壤侵蚀的因素很多,包括土壤粒径组成、土壤的结构、有机质组成、土壤渗透性等[13]。土壤侵蚀因子K是用于量度土壤潜在侵蚀性的指标,当其他影响侵蚀的因子不变时,K因子的大小即反映不同类型土壤抵抗侵蚀力的高低[19]。一般而言,土壤颗粒越大,渗透性越强,K值就越低,反之则越高。
K值的获取方式主要有直接测定法和公式计算法,其中直接测定法测定难度大、成本高、耗时长,一般多采用公式计算的方式获得K值。K值的计算方法主要有长年小区实测法、查表法、诺模图法等[20]。本研究采用Williams等在EPIC模型中使用的公式估算K值,其中只需要用到土壤的有机碳和颗粒组成资料,计算公式[3,21,22,23]如下:
式中:San、Sil、Cla和Toc为沙粒、粉粒、黏粒和有机碳含量,%;土壤层中的有机碳一般由有机质的含量乘0.58得到,而有机质的含量可查阅土壤志得到[13,24]。
(4)土壤水文参数。
AnnAGNPS模型参数主要还包括土壤密度、饱和导水率、田间持水量和凋萎系数,可利用SPAW软件中的SWCT模块,根据转换后的土壤质地、有机质含量等计算模型所需要的部分土壤参数计算。计算界面见图3。
(5)其他土壤参数。
现有的土壤调查数据只包含全氮和全磷,而模型要求土壤氮磷养分含量按照有机氮、无机氮、有机磷、无机磷的含量分别输入,需要进行转换。据经验及已有研究成果,全氮中有机氮和无机氮的含量按照96%和4%转换,全磷中的有机磷和无机磷分别按照10%～18%、82%～90%进行转换[3,25]。
根据已有土壤资料,结合上述方法计算得到部分缺失参数,利用输入编辑器即可完成土壤数据库的建立。
4结语
AnnAGNPS模型参数较多,模型数据库的建立工作较复杂。本文通过计算气象数据库中较重要的露点温度和太阳辐射两个参数并结合手动编辑生成模型所需的气象数据库,利用双参数修正的经验逻辑生长模型进行土壤质地的转换,结合美国农业部对水文土壤组的分类标准对土壤进行分类,建立了模型所需的土壤数据库。通过研究模型中这两类重要数据库的建立过程和方法,以期为类似模型数据库的建立研究提供借鉴。
致谢:感谢生态水工学课题组成员崔玉洁、陈玲和许晓蓉等人对本文提出的宝贵修改意见。
摘要：针对AnnAGNPS模型在国内推广应用中因相关数据缺失,数据库建立困难的现状,以三峡库区香溪河流域为研究示范区,探讨在现有资料的基础上如何建立AnnAGNPS模型中土壤和气象这2类重要数据库,重点研究数据库建立过程中露点温度、太阳辐射、土壤质地转换、水文土壤组划分、土壤侵蚀因子K等重要参数的计算方法。以期为An-nAGNPS模型数据库的建立研究提供借鉴,并为模型在国内的推广应用提供参考。
【数据库研究方法】推荐阅读：
异构数据迁移方法研究06-03
航测数据质量控制方法研究05-22
数据库教学方法09-06
大型数据库设计方法09-15
煤质数据库的建立方法06-08
数据库恢复研究06-04
研究信息数据库06-23
数据库集群研究08-26
健康研究数据库09-12
传感技术数据库研究05-14