数据调整（精选9篇）
数据调整 篇1
1 引言
目前, 越来越多的现象证明, 数据库系统的建设和安全性已经随着我国信息化建设进程而持续得到了国家重要机关、军队和银行等事业单位的关注。数据库系统在日常生活中与人们的衣食住行息息相关, 同样也成为商业协作领域新的发展方向。随着数据库的不断发展, 对数据库的性能优化也开始变得重要起来。如何使有限的数据库系统资源为更多的用户服务, 并且保证用户的响应速度和服务质量?这些问题都属于数据库性能优化的范畴。如今, Oracle数据库是世界上使用最广泛的数据库管理系统, 文章将从几个方面来讨论如何对Oracle数据库进行优化的。
2 内存参数调整
内存参数的调整主要是指Oracle数据库系统全局区 (SGA) 的调整。SGA主要由几部分构成: 共享池 (Shared Pool) 、数据高 速缓冲区 (Database BufferCache) 、重做日志缓冲区 (Redo Log Buffer) 、大型池 (Large Pool) 和其他结构组成。其中共享池和数据高速缓冲区对于日常碰到的Oracle数据库系统性能调整最为重要。在32位的操作系统上, Oracle数据库系统理论上可以使用的内存上限是4G。现在系统运行在32位的操作系统上, 并且系统有足够多的内存可以分配, 那么我们可以修改sga_max_size, 使其等于4G的60%, 即:sga_max_size=2458M。
首先, 调整共享池。共享池是SGA保留的区, 用于存储如SQL、PL/SQL存储过程及包、数据字典、锁、字符集信息、安全属性等。在共享池中, 又包含两个CACHE, 即库高速缓存 (Library Cache) 和字典高速缓冲区 (DataDictionary Cache) 。
(1) 库高速缓存 (Library Cache) 用于存放共享SQL语句和PL/SQL语句, 采用LRU (Least Recently Used) 算法进行管理, 也就是说该区存放有经过语法分析并且正确的SQL语句, 并随时都准备被执行。可以通过下面的SQL语句来查询Library Cache的命中率 (Hit Ratio) :
SQL>SELECT SUM (pinhits) /sum (pins) FROM V$LIBRARYCACHE;如果得到的结果小于90%, 那么说明命中率不高, 需要增大LibraryCache了。如果想要将某个package放于LibraryCache中, 请使用以下命令:
SQL> execute dbms_shared_pool.keep ('package_name') ;
要将某个package从Library Cache移出, 请使用以下命令:
SQL> execute dbms_shared_pool.unkeep ('package_name') ;
(2) 调整数据字典高速缓存 (Dictionary Cache)
数据字典高速缓存包括有关数据库的结构、用户、实体信息等。数据字典的命中率对系统有很大的影响。命中率的计算中, getmisses表示失败次数, gets表示成功次数。查询V$ROWCACHE表 :SQL>SELECT (1 (SUM (getmisses) / (SUM (gets) +SUM (getmisses) ) ) ) *100FROM V$ROWCACHE;如果该值 >90%, 说明命中率合适。否则, 应增大共享池的大小。
要对数据库性能调整, 就要对库高速缓存和字典高速缓冲区做出相应调整。因为Oracle数据库会自动分配两者大小并且分配这个过程不被人控制, 所以只能通过调整SHARED_POOL_SIZE来进行。若想增加LibraryCache, 那么就增 加SHARED_POOL_SIZE。一般SHARED_POOL_SIZE占sga_max_size大小的40%。
其次, 调整数据库缓冲区高速缓存。Oracle在运行期间向数据库高速缓存读写数据, 高速缓存命中表示信息已在内存中, 高速缓存失败意味着Oracle必需进行磁盘I/O。保持高速缓存失败率最小的关键是确保高速缓存的大小。初始化参数DB_BLOCK_BUFFERS控制数据库缓冲区高速缓存的大小。可通过查询V$SYSSTAT命中率, 以确定是否应当增加DB_BLOCK_BUFFERS的值。
SQL>SELECT name, value FROM V $SYSSTATWHERE name IN ('dbblock gets', 'consistent gets', 'physicalreads') ;
通过查询结果命中率 =1-physical reads/ (dbblockgets+consistent gets)
查询出来的结果Buffer Cache的命中率应该在90%以上, 否则需要增加数据缓冲区的大小。
第三, 调整重做日志缓冲区。
重做日志缓冲区是用来跟踪并记录最近变更过的数据记录的。服务器进程 (Server Process) 及后台进程 (Background Process) 对Oracle的变更记录会写到重做日志缓冲区, 也即在数据库高速缓冲区中所做的变更, 都会产生重做日志, 而这些变更的数据都在内存中的重做日志缓冲区中以Redo Entry (重做条目, 也可称为Redo Record) 的方式存储。
重做日志缓冲区大小对数据库性能也有较大的影响。较大的重做日志缓冲区有利于减少对重做日志文件写的次数, 更适合长时间运行的、产生大量重做记录的事务。可通过查询日志缓冲区使用情况, 来确定是否应当增加重做日志缓冲区大小。
SQL>SELECT name, value FROM V $SYSSTATWHERE name IN (''redo entries'', ''redo log space requests'') 查看日志缓冲区的使用情况。查询出的结果可以计算出日志缓 冲区的申 请失败率 : 申请失败 率 =requests/entries, 申请失败率应该接近于0, 否则说明日志缓冲区开设太小, 需要增加ORACLE数据库的日志缓冲区。
3 数据库索引技术
为避免对数据库的全表扫描, 减少磁盘I/O运行次数, 加快数据库查询效率, 在大型的数据库表中有必要建立数据库索引。索引通常能够提高数据库查询 (Select) 、更新 (Update) 以及删除 (Delete) 语句的性能。但是会降低插入 (Insert) 语句的性能, 这是因为需要对数据库表和索引同时插入。对数据库索引必须合理运用, 过多索引建立会增加维护开销, 少量索引并不能提高数据库查询效率。下面介绍几种数据库索引的使用方法。
(1) Bitmap索引 (位图索引) 。对数据表列的每一个键值分别存储为一个位图, Oracle对于不同的版本, 不同的操作方式, 数据生成均有差别。位图索引对于数据仓库或者决策支持系统都十分合适。相对于B*Tree索引, 占用的较少空间, 容易创建和使用。它根据键值查询时, 可凭借起始Rowid和位图状态, 快速定位数据。当根据键值做and, or或in (x, y, ..) 查询时, 可用索引位图直接进行或运算, 快速得出结果行。
创建语法就是在普通索引创建的语法中index前加关键字bitmap即可, 例如:create bitmap index index_nameon表名 (字段) 。
(2) B*Tree索引。B*Tree索引是一个传统并且最常用的索引。B树索引所有叶子块都应该在同一层上, 并且叶子节点实际上都是双向链表, 这样在进行索引区间扫描的时候, 只需通过叶子节点的向前或者向后就可以了, 无需对索引结构进行导航。当我们的字段中使用了主键or唯一约束时, 直接可以用B-tree索引。如果在使用CREATE INDEX时, 不指定任何的索引类型参数, 默认创建的就是标准的B*Tree索引, 如:
CREATE INDEX idx_emp_empnoname ONemp_index (ename, empno) ; (B*Tree, 复合索引) ;
CREATE INDEX idx_emp_job ON emp_index (job) ; (B*Tree, 单列索引) 。
(3) HASH索引。HASH索引的运用要提到HASH集群。当我们建立一个集群或者HASH集群时, 自然定义了一个集群键。该键告诉Oracle数据库如何在集群上存储表。当存储数据时, 与该集群键的有关行均被存储在同一个数据库块上。此时要将HASH索引作为WHERE子句中的确切匹配 , Oracle数据库便能通过执行一个HASH函数和I/O来访问数据。
4 数据库分区技术
为了满足大型数据库管理的需求, Oracle数据库从8i起开始支持数据库表分区技术。建立了数据库表分区, SQL语句就可以进行独立存取和操作分区而不需要对整表进行存取操作, 对分区对象的查询可以仅搜索自己关心的分区, 提高检索速度。由于数据库对每个分区的操作是相互独立的, 如果表的某个分区出现故障, 表在其他分区的数据仍然可用, 需要修复数据, 只修复该分区即可;可以把不同的分区映射到磁盘以平衡I/O, 改善整个系统性能;数据库表分区可以将管理工作划分为若干子任务, 大大简化了大型数据库表的管理。因此可以减少操作时间, 大幅提升数据库性能。
目前Oracle数据库支持的表分区有: ①范围分区 (Range) ;②列表分区 (List) ;③哈希分区 (Hash) ;④组合分区 (Range-Hash、Range-List) 等。
(1) 范围分区 (Range) :一种将行映射到基于列值范围的分区。例如数据可以被划分为逻辑范围如年度的月份。数据根据分区键值范围指定进行分布, 当数据在范围内均匀分布时, 性能最好。例如, 创建以商品交易日期来分区的分区表。每次插入数据的时候, 系统将根据指定的字段的值来自动将记录存储到指定的分区 (表空间) 中。示例:
SQL> create table sales
(trade_id number primary key,
commodity_id number (10) not null,
commodity_description varchar2 (500) ,
trade_date date default sysdate )
partition by range (trade_date)
( partition part_01 values less than (to_date ('2012-04-18', 'yyyy-mm-dd') ) tablespace dw1,
partition part_02 values less than (to_date ('2013-04-18', 'yyyy-mm-dd') ) tablespace dw2,
partition part_03 values less than (maxvalue) tablespace dw3) ;
(2) 列表分区 (list) :如果表中某个列的值是可以枚举的, 比如说出口商品的销售表sales, 那么就可以按照出口国家进行分区可以分为partition America、partitionGermany、partition Canada。示例:
SQL> create table sales
(country_name varchar2 (20) primary key,
commodity_description varchar2 (500) ,
trade_date date default sysdate )
partition by list (country_name)
( partition part_01 values ('America') ,
partition part_02 values ('Germany') ,
partition part_03 values ('Canada') ) ;
(3) 哈希分区 (Hash) :也叫做散列分区, 是在列的取值难以确定的情况下采取的分区方法。Hash实际上是一种函数算法, 当向表中插入数据时, 系统会自动根据当前分区列的值计算出哈希值, 然后确定将该行数据放在哪个表空间中。优点就是能通过指定分区编号将数据均匀的分布在磁盘设备上, 使分区大小一致, 充分降低磁盘I/O争夺资源情况。示例:
SQL> create table sales
(trade_id number primary key,
commodity_id number (10) not null,
commodity_description varchar2 (500) ,
trade_date date default sysdate )
partition by hash (trade_id)
( partition part_01 tablespace dw1,
partition part_02 tablespace dw2,
partition part_03 tablespace dw3) ;
(4) 组合分区:组合两个数据分区为一个组合分区, 首先用第一个数据分布方法对表格进行分区, 再用第二个数据分区方法对每个分区进行二次分区。例如, 创建3个范围分区, 每个分区包含4个子分区 (系统自行生成) 。将其分布在指定的表空间dw1, dw2, dw3, dw4中。
SQL> create table sales
(trade_id number primary key,
commodity_id number (10) not null,
commodity_name varchar2 (50) ,
trade_date date default sysdate )
partition by range (trade_id)
subpartition by hash (commodity_name )
subpartition 4 store in (dw1, dw2, dw3, dw4 )
( partition part_01 values less than (2000) ,
partition part_02 values less than (3000) ,
partition part_03 values less than (maxvalue) ) ;
组合分区既适合于历史数据, 又适合于数据均匀分布, 与范围分区一样提供高可用性和管理性。
5 SQL语句优化技术
SQL语言是一种非常灵活的语言, 它可以通过几种不同的语句来实现相同的功能, 就语句的执行效率来说, 可能存在着很大的差别。当我们对Oracle处理SQL语句的机制掌握熟练后, 通过对SQL语句进行适当的调整, 就能提高数据库系统的性能。下面列举SQL语句优化的几种方法。
(1) 基于规则的优化。Oracle内部提供两种优化器:基于规则的优化器和基于代价的优化器。在基于规则的优化器中, Oracle对from子句的表名是从右向左解析的, from子句排在最后的数据库表将会首先得到处理。将该表作为驱动表。当from子句包含多表的情况下, Oracle通过排序合并的方式连接这些表。此时, 只需要选择记录数最少的表作为驱动表放在最后, 就能提高Oracle的执行效率。如果有三个以上表连接查询, 需要将连接其他表的交叉表作为驱动表。
(2) IS NULL 与 IS NOT NULL
不能使用null作索引, 包含null值的列不被包含在索引中。即使索引有多列, 只要这些列中有一列含有null, 该列就会从索引中排除。也就是说如果某列存在空值, 即使对该列建索引也不会提高性能。任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。
(3) 在Oracle语句中, where语句执行的顺序是自下而上对语句进行解析的。因此为了提高SQL语句执行效率, 通常把能过滤到大量数据的条件放在where子句的最后。
6 结束语
总的说来, 关于Oracle数据库的性能优化与调整涉及方面很多, 是一个系统性的工程, 数据库用户会在使用过程中逐渐了解和掌握。我们在数据库系统设计和运行的过程中, 有意识地运用以上提到的几个方面, 对数据库性能进行优化, 以确保其使用效率。而数据库性能的变差, 往往也不是单方面的, 而是各个方面结合导致的。因此, 需要对所有因素综合分析, 对多种优化方法综合运用, 才能做到将数据库性能维持在一个较高水平。
参考文献
[1]Steven Feuerstein&Bill Pribyl.Oracle PL/SQL程序设计 (第5版) .2011.7.
[2]Richard Niemiec.Oracle Database 11gR2性能调整与优化.2014.1.
[3]Jonathan Lewis.Oracle核心技术.2013.12.
[4]Guy Harrison.Oracle性能优化求生指南.2012.9.
[5]Rick Greenwald, Robert Stackowiak&Jonathan Stern.Oracle精髓.2009.1.
[6]Sam R.Alapati, Darl Kuhn, Bill Padfield.Oracle Database 11g性能优化攻略.2013.04.
[7]黄玮.Oracle高性能SQL引擎剖析:SQL优化与调优机制详解.2013.1.
数据调整 篇2
自产自用的粮食 上调20% +0.8
存货增加 下调1/3 -1.6
福利服务 10%企业劳动力从事福利服务 +1.6
亏损补贴 补贴视作政府最终支出 +0.8
一致性调整合计 +1.6
粮食产出 上调10% +0.9
蔬菜产出 上调30% +2.3
农村工业产出 上调10-15% +0.6
农村服务业产出 上调50-60% +6.5
住房服务支出 上调40% &n
bsp; +1.5
范围调整合计 11.7
住房服务 179.8% 1.5
全部其他行业 -12.1%-43.0% 16.6
估价调整合计 18.3% 18.3
总计 34.3
注：1、农村工业包括农村煤炭开采业、纺织业、消费品制造业和其他工业
2、农村服务业包括人文服务业、原材料服务业和其他服务业
3、全部其他行业包括粮食作物种植业、其他作物种植业、煤炭开采业、纺织业、消费品制造业、其他工业、人文服务业、原材料供应业、其他服务业
（一）一致性调整
从表1可以看出，世行关于中国官方1992年GDP数据的一致性调整包括以下几个方面：
1、农民自产自用的粮食
世行认为,中国统计体系以低于市场的价格估价农民自己生产自己消费的粮食。它假定对这部分粮食进行一致性估价将使其价值增加20%,这种调整使GDP上升0.8%。
2、存货增加
世行认为，中国对不能销售或不能按计算产出时所采用的价格销售的产出存货增加的计算存在严重的不一致性。它认为，一般来说，如果这些存货结转另一年，并最终被废弃或按大打折扣的价格销售，中国没有对GDP中的存货增加做相应的调整。因此，存货增加大于采用一致性估价所应有的价值量。世行因此将中国的存货增加调低1/3，导致GDP下降1.6%。
3、福利服务
世行认为,中国企业改革的最重要组成部分之一,是将目前企业对职工提供的诸如住房、医疗等福利性服务市场化。这种改革的结果将导致GDP上升。世行假定有10%的劳动力从事相应的服务,并假定这些服务转向市场化。通过投入产出计算,这种假定使GDP 上升1.6%。
4、企业亏损补贴
中国统计规定,企业亏损补贴作为GDP的负项。世行认为,在许多情况下,企业亏损是政府价格政策的结果。从经济观点来看,这种补贴是对以优惠价格提供货物和服务的补偿,统计上应当处理为政府的货物和服务购买和政府对相应接受者的分配,即不应当作为GDP的负项,而应当作为正项包括在政府最终支出中。世行对这种处理方法进行了调整，结果使政府支出增加7%,导致GDP上升0.8%。
综合上述结果,世行将中国官方1992年GDP数据上调了1.6%。
（二）范围调整
从表1可以看出，世行关于中国官方1992年GDP数据的范围调整包括以下几个方面：
1、粮食
世行认为,中国的耕地面积被低估了十分之一到三分之一（与卫星测量的耕地面积相比）；同时，样本产量可能被高估了,综合两方面因素,将中国的粮食产出调高10%，导致GDP上升0.9%
2、蔬菜
世行认为,中国蔬菜产出价值的计算没有反映单位面积的蔬菜实物产量随时间和收获周期而变化以及市场力量正在鼓励蔬菜的非旺季生产(此时价格较高)情况,同时,蔬菜耕地面积的测算也是不准确的。考虑以上各方面因素,世行将中国的蔬菜产出价值调高30%,导致GDP上升2.3%。
3、农村工业
&nbs
p;世行认为,村及村以下工业的产出被低估,因为相应企业通常没有完整的财务报表和不属于国家统计局直接管理的统计调查系统。农村工业的迅速发展和一定程度的偷漏税情况影响到产出的低估。某些迅速增长的农村工业,如建筑材料工业,高价格和高利润鼓励了产出的低估。利润低的行业,如煤炭开采业,也有低报的刺激,因为煤炭的自由市场价格较高。另外,世行也指出,为了夸大地方官员的政绩,农村工业也出现了高估产出的现象。综合上述因素,世行将中国农村工业产出调高10－15%，导致GDP上升0.6%。
4、农村服务业
世行认为,农村服务业,例如农村卡车和拖拉机运输服务业发展的非常迅速，但是中国没有一套系统的测算方案;农村服务业统计基本上没有包括临时生活和工作在城市的农村人从事的服务活动，例如大量的个体维修店的修理人员、小贩、餐馆老板、理发师和家庭佣人,等等。考虑上述因素,世行将农村服务业产出调高50%-60%，导致GDP上升6.5%。
5、居民住房服务
世行认为,中国居民住房服务既存在范围方面的低估，也存在价格方面的低估。从范围方面讲，城市和农村住房服务统计都不完整。中国的住房服务价值是通过住房面积、造价和折旧率等资料推算出来的，但住房面积资料不完整，城市住房面积调查资料没有包括居住在城市里的农村居民住房面积，农村住房面积调查范围的不完整性更加突出。世行假定国家统计调查网络覆盖了中国所有住房的三分之二到四分之三,进而把中国的住房服务价值调高40%,导致GDP上升1.5%。
综合上述结果,世行将中国官方1992年GDP数据上调了11.7%。
（三）估价调整
世行认为,由于扭曲的价格体制和生产率方面的差异,中国工业的土地和资本回报率远高于其他行业，消费品制造业的回报率最高,服务业和煤炭行业的回报率最低,农业的回报率也比较低，中国进一步的价格改革将改变行业的营利状况。世行试图将各行业的土地和资本回报率调整到全国的平均水平。由于纺织行业在中国对外贸易中很重要,世行在估价调整过程中,保持该行业的价格不变，将住房和其他房地产业的价格提高,纺织业以外的消费者制造业的价格降低。世行利用1987年投入产出表对GDP进行了调整,结果使GDP上调18.3%。
综合上述三个方面的调整结果,世行将中国官方1992年GDP数据上调了34.3%。
二、世界银行关于中国GDP数据调整存在的问题
世行关于中国GDP数据的调整是建立在它对80年代末90年代初中国统计体系和价格体制的了解和判断基础上的。90年代初以来，中国统计体系和价格体制改革取得了巨大进步。就统计体系来说，随着国民经济核算制度的改革，基本概念和基本框架已经基本上实现了向国民经济核算最新国际标准--联合国1993年SNA的转换；统计调查范围已经由传统的物质生产领域扩展到非物质生产领域；全面行政报表的统计调查方法已经被以普查为基础，抽样调查为主体的调查方法体系所取代；开展了多项普查，包括农业普查、工业普查、第三产业普查、基本单位普查，等等；许多专业统计采用了抽样调查方法，例如农产品产量调查、农村和城市住户调查、价格调查，等等。这一系列统计改革，使中国统计体系得到不断完善。就价格体制来说，中国进行了广泛而深入的改革，目前，市场价格已经成为中国价格体系的主体。
具体说来，世行关于中国GDP数据的调整至少存在以下若干方面问题：
（一）一致性调整问题
1、农民自产自用粮食的估价
中国农业统计规定，农民自产自用粮食的价值，按出售的综合平均价格计算，这种综合平均价格综合了国家收购价格与市场价格两种因素。近些年来，中国粮食连续获得丰收，为了保护农民种粮的积极性，国家的粮食收购价格已经高于，而不是低于市场价格，因此，上述综合平均价格不会低于市场价格。世行关于中国统计体系以低于市场的价格估价农民自产自用的粮食的判断，已经不符合中国目前的实际情况。
2、存货增加
80年代末90年代初，受传统的计划经济体制的影响，还有相当一部分企业只考虑生产不考虑市场需求和赢利情况。这些企业生产出来的部分产品可能销售不了，只能被废弃或按大打折扣的价格处理。因此，就当时的情况来说，世行把中国的存货增加调低三分之一，可能是不过分的。但是，自从党的十四大把中国经济体制的改革目标确定为市场经济体制以来，情况发生了很大的变化，市场需求和赢利状况已经逐步成为企业生产决策的主要考虑。因此，企业生产的产品被废弃或按打折扣的价格处理的情况明显减少。所以，世行的调整比率不再适合中国目前的存货产品销售的实际情况。
3、福利服务
近些年来，中国进行的一系列企业制度改革，正在推动企业的福利性服务逐步走向市场化，企业从事福利性服务人员的比例正在逐步下降。因此，至少对于中国目前的企业情况来说，世行假定企业有10%的劳动力从事福利性服务的.比例太高了，相应地对GDP的调整比例也就不合适了。
（二）范围调整问题
1、粮食
中国官方统计的耕地面积数据确实低于卫星测量数据，但是，卫星测量出来的耕地面积包括25度以上的坡地、河滩地、轮休地、沟渠和田间道路等等。这些地不能视同正常的耕地。所以，中国官方的耕地面积数据与实际耕地面积之间的差距不像世行估计的那么大。另外，除了农业统计包括粮食产量调查外，农村住户调查还编制农村住户农业生产情况表和农村住户粮食收支平衡表，分别反映农村住户粮食生产情况和年初粮食结存、年内粮食收入、年内粮食支出、年末粮食结存情况。这些不同类型调查能够对粮食产量统计起到校对作用。根据以上情况，中国的粮食产出数据与实际情况应当是比较吻合的，世行将其调高10%
，必将导致GDP数据的高估。
2、牧业
世行断定中国统计数据低估了农业产出，事实上，中国的经常性农业统计还存在高估的成分。全国农业普查结果表明，统计年报中的肉类产量高估了22%，猪、牛、羊存栏头数分别高估了20.7%，、21.1%和21.8%。因此农业总产出和农业增加值被高估了。针对这种情况， GDP应当相应地向下调整。这是世行所没有料到的。
3、农村工业
全国第三次工业普查结果表明：由农业部乡镇企业管理部门统计的农村工业总产值数据高估了18000亿元（1995年），占全部农村工业总产值的40%。显然，与世行的判断恰好相反，农村工业产出应当向下调整，而不应当向上调整。
4、农村服务业
世行关于中国农村服务业统计不完善的判断和数据调整对于80年代末、90年代初的中国统计状况来说，是不过分的。但是，中国在1993至1995年开展了首次第三产业普查，对包括农村服务业在内的全部服务行业进行了全面调查，同时，根据普查资料对GDP历史数据进行了较大幅度的调整：
表2：第三产业普查关于服务业增加值和GDP数据的调整比率(%)
年度 GDP 第三产业 运输邮电通信业 商业 非物质服务业
1978 1.0 4.4 0.0 0.0 9.3
1980 1.1 5.2 0.0 0.0 9.6
1985 5.1 20.6 0.0 52.2 11.9
1986 5.3 21.2 0.0 58.1 12.4
1987 5.8 23.0 0.0 62.3 13.2
1988 6.1 23.4 0.0 65.1 10.7
1989 5.7 20.3 0.0 66.7 8.8
1990 4.8 17.2 2.7 67.6 8.5
1991 7.1 24.7 10.4 67.6 13.9
&n
bsp; 1992 9.3 33.1 9.5 88.7 21.7
1993 10.0 32.0 11.7 73.4 24.8
注：本表根据《中国统计年鉴，1994》和《中国统计年鉴，1995》计算。
事实上，这种调整已经大大超过世行对农村服务业的调整。例如，世行对农村服务业数据的调整导致1992年 GDP数据上升6.5%,而第三产业普查之后，中国对同年GDP数据的上调比例达9.3%。因此世行对中国农村服务业统计的判断和数据调整已经不再适合中国目前的实际情况。
（三）估价调整问题
90年代初以来，中国确立了建立社会主义市场价格体制的目标模式，价格改革取得了突破性进展，严重扭曲的价格结构得到明显改善。例如，从1990年到，世行认为土地和资本回报率最低的服务业和煤炭工业价格分别上涨了222%和206%，而属于土地和资本回报率最高的消费品制造业的食品工业和纺织工业价格仅分别上涨96.8%和60.3%。特别重要的是，目前，市场机制在中国货物和服务价格形成中已经起了主导作用。货物的价格基本上由市场决定，除部分服务业，如居民福利性住房服务业仍偏离市场价格外，绝大多数服务业的价格也由市场决定。即使那些偏离市场价格的服务业也正在迅速向市场价格过渡。例如，随着住房制度的改革，住房服务将市场化，福利性住房服务不久将不复存在。
另外，有关部门在对33种具有代表性的商品进行国内外价格比较时发现，11月，国内价格高于国际价格的有22种，占69%，其中包括小麦、玉米、大豆、豆油等农产品，硫酸、盐酸、尿素等化工产品，汽油、柴油等能源产品，铝锭、生铁等冶金产品，等等。
总之，在中国的价格形成机制、价格规模和价格结构发生重大变化的情况下，如果世行仍然依据1987年投入产出表对各行业进行价格方面的调整，也势必导致GDP数据的高估。
注1： 由于中国官方GDP和GNP数据差距不大，世界银行在计算中国官方人均GNP时是以中国官方GDP数据，而不是以GNP数据为基础。由于同样的原因，本文对GDP和GNP不加区别。
注2：中国官方人均GNP是按人民币计算的。
参考文献――
1.Document of the World Bank No.13580-CHA:China GNP per Capita，December15,1994.
2.世界银行文件：《转换中的中国统计体系》，国家统计局内部翻译件。
3.国家统计局19制定：《国家统计报表制度》。
4.国家统计局1998年制定：《农村住户调查方案》。
5.国家统计局编：《中国统计年鉴》(1994,1995 ，1997，1998） ，中国统计出版社 1994、1995、1997和1998年出版。
6.许宪春著：《中国国民经济核算体系改革与发展》，经济科学出版社19出版。
数据调整 篇3
关键词：规划数据库；调整完善；更新
引言
为满足土地利用总体规划调整完善对规划数据库成果更新的要求，提高规划数据库的现势性，本文提出在充分利用已有的土地变更调查数据库成果、土地利用总体规划数据库成果的基础上，采用更新包更新规划数据库，稳步推进规划调整完善工作。
1.技术路线
以原规划数据库为基础，结合规划调整完善成果、年度土地变更调查成果和相关数据，利用规划数据库管理软件进行规划数据库更新并生成更新数据包，然后进行数据质量检查和成果逐级上报。主要经历以下阶段：方案调整、数据库更新和检查汇交（见图1）。
2.方案调整
土地规划调整完善的主要任务包括土地利用结构调整、规划目标调整和土地利用布局优化等。其中：结构调整是主要是对农用地进行结构调整；目标调整主要是对耕地保有量、基本农田保护目标和建设用地规模进行调整；布局优化主要是对耕地、基本农田和新增建设用地布局进行调整。
3.数据库更新
3.1资料整理。首先收集规划调整完善资料、规划修改资料、土地变更调查成果和其他资料等；然后对数据进行预处理，包括：格式转换、坐标变换、数据分层、拓扑检查和属性数据录入等。
3.2数据库更新。利用规划数据库管理软件，以原规划数据库为更新本底，将预处理后的资料导入规划数据库中，以人机交互的方式进行各要素数据更新，数据更新完毕后进行规划数据的检查，检查通过后输出符合要求的各类报表和增量数据库。数据库更新主要包括：基础地理要素更新、土地利用现状要素更新和土地规划要素更新[1]。
3.2.1基础地理要素更新。包括行政区划更新、地貌要素更新和基础信息更新。行政区划更新主要是对行政区划调整的部分进行更新，包括行政区的变更、新增、撤销和合并等；地貌要素更新主要是结合地形图更新数据对地貌发生变化的部分进行更新，包括等高线和高程点等要素；基础信息更新主要是对风景旅游资源、主要矿产储藏区、蓄滞洪区和地质灾害易发区等要素更新。
3.2.2土地利用现状更新。首先，将历年的土地变更调查更新数据进行地类转换，将二调分类转换为规划分类，然后，利用规划数据库管理软件将转换后的更新数据包导入规划数据库进行数据更新，得到更新后的土地利用现状。包括：地类图斑更新、线状地物更新和零星地物更新。
3.2.3土地規划要素更新。将预处理后的土地规划要素数据分层导入规划数据库中，以人机交互的方式对各层规划要素分别更新。包括：土地用途区、基本农田保护、建设用地管制分区、土地整治项目和重点建设项目等要素更新。
3.3数据检查。利用规划数据成果质量检查软件对更新后的数据库（整库）进行检查。包括：空间数据检查、表格数据检查和规划内容检查。
3.3.1空间数据检查。对基础地理要素、土地利用现状要素和土地规划要素进行空间拓扑关系和属性数据的检查，保证图形数据属性的正确性、一致性和完整性。包括：土地利用现状数据检查、规划基期数据分类检查、规划指标一致性检查、数据完整性检查和空间逻辑一致性检查等。
3.3.2表格数据检查。包括规划指标表的检查、表内逻辑一致性检查和表间逻辑一致性检查。规划指标表的检查主要是检查规划调整的相关指标（如：耕地保有量、基本农田保护面积和新增建设用地规模等）是否与上级调控指标一致；表内逻辑一致性和表间逻辑一致性检查主要是检查耕地保有量、基本农田保护面积、建设用地规模、新增建设用地等控制指标的逻辑一致性。
3.3.3规划内容检查。主要包括上下级规划指标一致性、规划空间要素一致性、规划成果间一致性、空间数据与非空间数据一致性和规划布局的检查。
3.4数据输出。首先利用规划数据库管理软件对原规划数据库和更新后的规划数据库进行空间叠加分析，提取增量数据库并进行数据指标分析，然后输出相关数据，组织更新数据包。数据包主要包括增量数据库、更新表格和其他数据等。
3.4.1增量数据库。增量数据库包含数据库更新文件和更新过程文件两部分。增量数据库中包括参与更新的所有矢量数据集，包括：土地规划地类、土地用途区、规划基本农田调整、建设用地管制区、重点建设项目和土地整治项目等图层。
3.4.2更新表格。利用规划数据库管理软件对数据发生变化的相关要素进行统计分析，然后导出相关表格。包括：土地利用结构调整表、耕地保有量和基本农田情况表、新增建设用地指标控制表、土地整治规划表、重点建设项目规划表、土地用途分区面积统计表、规划期间各类用地平衡表和基本农田调整分析表等。
3.4.3其他数据。主要包括权属单位代码表和变更元数据。其中权属代码表包括乡级行政区名称及编码、村级行政区名称及编码、权属单位名称及代码。
4.检查汇交
4.1质量检查。利用更新成果质量检查软件对数据库更新后导出的更新数据包进行质量检查。包括：完整性检查、基本检查、矢量数据检查、表格检查和元数据检查[2]。
4.2成果汇交。利用更新上报软件，将通过质量检查的增量数据库和统计报表等数据进行组织规范输出更新数据包，逐级汇交上级国土部门，通过审查后对土地规划数据库进行更新。
5.结论
在土地利用总体规划调整完善工作中，以原规划数据库为基础，采用增量更新包组织规划调整完善数据库更新成果，逐级检查上报汇交，可以实现各级规划数据库的同步更新。
参考文献：
[1]中华人民共和国国土资源部.第二次全国土地调查数据库更新技术规范（试行）；2009
数据调整 篇4
1 大数据的影响
以往, 由于数据本身的缺陷和分析工具的限制, 无论是学术领域的假设、检验分析还是商业领域的市场调研、营销决策都是建立在预设的前提之上, 追求因果关系的强烈愿望使数据使用者很难排除个人偏见的影响, 隐藏在数据背后的大量价值一直处于沉睡状态。而大数据时代的到来使得真正科学的预测和决策成为可能, 人们不再是首先依据直觉进行判断, 再用数据来证明自己的猜测, 大数据对社会经济生活的转变可能会体现在以下几个方面。
1.1 突破抽样调查的局限
大多数情况下, 进行问卷调查时人们之所以选择抽样调查而不进行普查是不得已而为之的做法, 一方面, 获得调查对象的全部数据从时间成本、资金成本的角度来看都是不切实际的, 另一方面, 即使能够以较低的成本获得普查数据, 处理数据的过程也会遭遇到难以预料的难题。虽然抽样调查会因为抽样的非随机性而产生误差, 但由于人们可获得和处理的数据规模较小, 这仍是一种权宜之计。
以消费者价格指数CPI的测算为例, 在我国为了考察居民购买的生活消费品和服务价格水平的变动情况, 统计局选取了8大类、262个基本分类的商品与服务价格作为测算指标, 从全国31个省 (区、市) 500个市县、6.3万家价格调查点搜集数据, 是典型的抽样调查。长期以来人们对官方公布的CPI指数的可信度持保留意见, 认为与现实情况的差距较大, 特别是与消费者的真实感受存在巨大差异, 这一方面是由于抽样调查方法本身的缺陷造成的, 另一方面是由于这一数据具有明显的滞后性, 无法做到实时的数据采集和分析。而对大数据的深入发掘和利用则有可能改变这一尴尬的现实, 淘宝网在2008年推出的淘宝消费者价格指数TCPI就是一种尝试。
淘宝网公布的消费者价格指数与反映消费人群整体最基本消费水平的国家CPI不同, 它是以在淘宝上成交的网购交易来反映城市主流消费人群的消费水平, 且以成交金额的比例作为权重, 并非以居民的消费支出比例为权重[2]。TCPI的虽然无法测算房价、生鲜食品等类别的价格指数, 但在数码产品、服装、化妆品等类别的统计上能够做到海量数据的实时抓取和统计, 且依据的是实实在在的成交价格和成交数量, 不存在名义价格与实际成交价格的差异, 更有利于全面、真实地反映居民的实际消费能力和物价的变动趋势。随着网络购物交易额占社会消费品零售总额的比重持续上升以及非现金交易比例的持续增长, 未来通过银行卡交易记录的海量信息进行统计分析将会获得更真实的消费指数。大数据时代已经到来, 海量的数据资源和更强大的数据处理能力可以帮助人们突破抽样调查的局限性, 样本等于总体的设想正在逐步成为现实。
1.2 摆脱预定假设的束缚
科学研究过程有4个步骤:第一步是提出一个研究问题;第二步是进行文献回顾;第三步是找到理论, 提出假设;第四步是设计并执行实证研究[3]。这意味着学术研究已经逐渐从简单的定性分析逐步向严谨的定量研究过渡, 并且在这个过程中特别注重变量、指标的选择和测量, 实证研究因其具有鲜明的直接经验特征已经成为管理领域的主流研究方向。然而, 整个研究过程中最困难的并不是看似繁复的基于统计数据的实证环节, 而是存在于基于理论和现实的假设提出环节, 假设的提出不但要符合逻辑又必须能够在现实中得到印证。这种研究方式虽然相对严谨, 又能通过真实的数据进行验证, 但由于假设的提出依赖于研究者的主观判断, 很难超脱个人偏见的影响, 而且现实的情况通常比我们假设的情况更加复杂, 预定的假设将研究的范围束缚在一个较为狭窄的领域内, 也使我们丧失了探索更多可能性的机会。
新媒体的日渐成熟使得信息的碎片化趋势也越来越明显, 依靠从单一渠道获得的信息和数据提出假设并进行检验将面临更多的质疑。在市场营销领域, 如果变量和指标的选择不能全面覆盖被研究对象的行为方式, 而只是通过片面的指标体系衡量消费者态度和偏好, 用看似理性的推理来解释现象背后的成因, 可能会失去更多有价值的信息。很多看似没有理由的现象大量存在于零售领域中, 如果一定要牵强地寻找一个理由来解释这一现象将错过那些真正与此现象有关的其他因素, 放弃寻找因果关系转而去探寻那些存在相关关系的要素是大数据时代给我们的重要启示之一。无论是超市中婴儿尿片与啤酒的销售记录之间的关联性, 还是飓风来临期间蛋挞的销量产生的明显变化, 都说明一旦放弃了预定的假设, 只是从海量的数据中挖掘各个要素之间的相互关系, 就可能产生意想不到的结果, 而这些结果由于并未受到主观意念的操纵, 是现实的真实反映, 更适合作为决策的依据。
1.3 改善数据的可靠性
传统的数据搜集和统计分析存在一个明显的弊端, 即数据的准确性难以得到保障而且对数据的真实性进行逐一核查的成本也非常高, 于是人们尝试用更多的样本来提升分析结果的有效性, 然而这种努力往往事与愿违, 扩大的样本中很可能会掺杂进更多的虚假数据。但大数据时代的来临使得数据间的交叉检验成为可能, 将不同时间、不同来源、不同形式的各类数据信息汇总在一起就有可能实现对数据真实性的检验, 这一改变将使得数据的利用价值得到革命性的改变。
过去你可能无法在互联网上判断坐在屏幕那边的是一个真实的人还是一只猩猩, 而大数据时代借助社交网站和其他媒体平台所提供的信息, 准确判断一个人的性别、年龄、所处位置和兴趣爱好已经变得更加简单了。在个别情况下, 即使是并不掌握海量数据的普通网民也可能仅凭人人可以获得的网络信息进行“人肉搜索”, 完成对一个人的背景调查。而像淘宝网、腾讯、百度这样的互联网企业, 由于积累了大量有关互联网使用者的个人信息, 判断一个人的消费习惯、感兴趣的内容变得易如反掌, 在加之实名认证信息的主动提供, 消费者画像的工作比以往更加容易, 且可信度更高。
1.4 提升营销的精确性
由于消费者群体的多元化趋势的演进, 传统意义上的“广告”开始慢慢被“窄告”代替, 即传播的过程不再强调不区分群体对象的整体覆盖率, 而是关注真正到达愿意并希望接受到此信息的受众的概率有多大。由于消费者数据的匮乏, 无法有效区分目标受众, 大量的媒体资源被浪费, 营销效果也很难达到预期的水平。然而, 大数据时代的到来可精确地瞄准受众, 将信息直达目标受众不再困难。
实际上, 受众的需求是多样和分散的, 但这种看似无序的需求又会以其他的方式重新聚合, 只有通过大数据的整合才有可能重新勾画出这些消费者的轮廓, 有了这些轮廓就可以按图索骥, 在展开营销活动之前就事先锁定推送的人群, 并真正做到个性化营销。目前, 不只是移动运营商, 就连智能手机的操作系统以及某些软件都可以轻易地获得用户的个人位置信息, 这些免费获得的信息不但能够勾画出作为消费者个人日常的生活轨迹和行为方式, 同样, 也可以分析在某一时刻某一地点聚集的人群数量, 并依此来预测某一路段的交通流量。这样, 据此向受众提供实时的路况信息, 并根据用户所处的地理位置、逗留时间来选择适合的推送广告, 就能更好地迎合对方的需求, 而对此类信息不感兴趣的人群也能够避免被骚扰, 营销的精准性也得到了有效保障。
2 大数据时代腾讯面临的机遇与挑战
腾讯作为国内最大的互联网综合服务提供商之一, 凭借其已经积累起来的优势有可能在大数据时代获得更强大的竞争力, 也有可能被更加善于利用大数据的其他互联网企业打败, 大数据时代对于腾讯来说是机遇与挑战并存的特殊时期。
2.1 依靠海量用户积累海量信息
根据2013年8月14日腾讯第二季度业绩报告显示, 腾讯QQ的活跃用户数量已经达到8.185亿, 其中在智能手机上登录的活跃账户已达4.766亿, 腾讯已经成为我国服务用户最多的互联网企业之一。依靠海量用户积累的海量信息使其获得了数据采集方面的优势, 这一优势将进一步提升其利用数据的能力, 由于拥有了规模最大的网络用户数据, 在分析用户的关系图谱、兴趣图谱方面具有任何竞争对手都无法比拟的优势。这种优势也会随着腾讯新的产品和服务的推出而不断得到延续和提升, 微信推出不足4个月就网罗了4亿用户, 且活跃用户量已达到2.358亿, 这足以说明在庞大的用户基数的支撑之下持续获得更丰富的用户信息的障碍会更小。由于短期内积累如此规模的用户信息几乎是不可能的任务, 因此这一优势对于腾讯来说是其抢先构建大数据战略的最强大的基石。
2.2 立体业务覆盖勾画完整肖像
与百度、淘宝、新浪等其他互联网企业相比, 腾讯最主要的特征就是业务范围更广阔, 并非集中在某一个业务类别上, 从搜索引擎、门户网站、电子商务到微博、电脑应用软件腾讯均有涉足。这使得腾讯所获得的数据与其他互联网公司所积累的数据相比具有了一种特殊的属性, 即能够全面展示用户在应用网络的过程中的所有轨迹。并且腾讯通过“一键登录”将用户的所有服务应用信息进行整合, QQ音乐、视频、空间、邮箱、拍拍网以及财付通等应用的数据信息能够完整地融合在一起, 不但用户的行为轨迹被完整记录下来, 其兴趣偏好、消费习惯也能够清晰地展现, 这时腾讯对用户的描述就可以形成一幅完整的用户肖像。由于腾讯所拥有的数据不但总量大, 而且呈现立体分布状态, 更符合大数据volumes、variety、velocity、value的4大特征, 在大数据应用方面必然具有更广阔的应用空间。
2.3 个人信息的谨慎利用
棱镜计划的曝光引发了民众对于个人信息安全的普遍担忧, 长期以来腾讯凭借覆盖面极广的多元化业务获取了大量的用户信息, 其中某些信息还涉及个人隐私, 如果不能谨慎地保护和利用这些信息, 腾讯掌握的数据越庞大随之而来的风险也就越大。细心的用户已经发现当使用QQ查找功能找人的时候, 腾讯会提供一些你可能感兴趣的人, 他们可能你的同学、校友, 也可能是同一个QQ群里的成员, 或者是你们有共同认识的朋友。最让人惊讶的是在推荐好友时所显示的名称可能并不是他所使用的网络ID, 而是他的真实姓名。无论这一信息是来源于用户主动提供的真实信息还是因为多人同时使用同一名称进行备注, 腾讯用户终于发现在大数据时代通过技术手段从匿名化数据中挖出用户的真实身份已经不是什么难题, 而今后是否要有意识地保护个人信息也被给予了更多的关注。腾讯不但能够通过用户的网络行为梳理出用户在虚拟空间的社交网络, 而且也能够通过智能手机用户的通讯录获取用户在现实世界的社会关系, 这类信息虽然更有助于深入挖掘用户的价值, 但如果因为使用不当而侵害了用户的个人隐私并导致大量用户弃用甚至索赔将给腾讯带来巨大的经营风险。
3 腾讯的大数据战略布局分析
大数据的意义并不仅仅体现在海量数据本身上, 更多的是体现在如何转变使用数据的思维方式, 对于腾讯来说在布局大数据战略的过程中寻找到全新的数据使用方式比单纯深入挖掘既有数据资源更为重要。基于腾讯现在所面临的机遇和挑战, 大数据战略的部署可以沿着以下几个方向逐步演进。
3.1 从数据采集者向销售者的转变
从整个大数据价值链上所处的角色看, 腾讯目前仍然只是一个数据的采集者以及初级利用者, 数据对于腾讯而言只是原材料, 主要的作用是完善并推广自身服务, 如果能够从大数据战略的眼光来重新审视数据的价值, 腾讯所掌控的海量数据完全可以作为商品进行销售, 或者通过数据的再加工为其他商业企业提供有偿服务。在这一领域淘宝网已经走在了前面, 淘宝网通过Ocean Base实现数据的产品化, 实现了从交易平台到生态圈基础服务提供商的角色转变[4], 淘宝网将其所拥有的数据赋予了更高的附加值, 不但能够给卖家提供数据产品同时也能够给买家提供优化服务。同样是海量数据的采集者, 淘宝网利用已获取的数据开发并销售新的产品和服务, 摆脱了数据初级加工者的身份, 而腾讯还需要进一步提升自己对数据进行深加工的能力并逐步实现对现有数据的产品化。
3.2 其他平台的信息整合
消费者追求自我、追求个性的趋势使得他们在消费、品牌、媒介、生活方式等方面逐渐朝着碎片化的方向发展[5], 单一的媒体或平台无法覆盖一个人完整的生活场景, 因此多平台的跨界信息整合是进一步实现大数据价值的必由之路。腾讯虽然提供了几乎最全面的互联网应用业务, 但仍无法覆盖所有的阶层, 在相对专业的领域内其并不具有任何优势, 因此如何有效整合其他平台的数据信息对腾讯来说是在战略层面从广度的拓展向深度的延伸的重要步骤。腾讯通过收购Discuz已经能够实现在大多数国内论坛通过QQ账号进行一键登录, 同时又与一些主流网站合作, 以授权方式允许用户使用QQ账号登录, 免除了用户重复注册的麻烦, 据此与这些网站实现用户共享。然而, 这些做法还只是初步的尝试, 未来腾讯应该更多去整合与用户消费相关的数据信息, 更深入、全面地触及用户的日常生活。虽然目前财付通已经支持部分城市的生活缴费, 但缴水费的业务在全国只开通了23个城市, 燃气缴费只开通了17个城市, 而有线电视缴费只开通了14个城市, 供暖缴费仅支持北京和济南两个城市, 还难以实现对居民日常生活消息的全面整合。跨平台的数据共享是一个必然的趋势, 如何充分利用这些跨数据平台的信息并使用户能够从中获得更大的便利和增值服务是腾讯需要深入思考的问题。
3.3 盈利模式的继续摸索
目前, 腾讯的利润收入主要来源于互联网增值业务和网络游戏, 这两部分业务带有较为明显的娱乐休闲式标签, 让用户通过付费的方式获得更好的体验。娱乐休闲类产品与必需品的消费不同, 用户可能会主动放弃更好的用户体验而选择免费的服务甚至根本不使用此类服务。然而, 竞争对手如果提供了同样的增值服务而并不收取任何费用, 腾讯的盈利模式将面临严峻的考验。中国移动的号簿管家业务就是一项收费的增值业务, 而现在微信、易信都可以免费实现通讯录的上传、下载及实时更新, 这项业务对于用户来说就毫无意义了。同样的道理, 腾讯通过技术手段人为屏蔽了QQ会员特权、空间装饰等功能, 只对付费的用户提供此类功能, 实质是一种短视的行为。腾讯的利润收入不应该是指向海量数据的提供者, 即腾讯的海量用户群, 而应该来自于希望利用这些数据的第三方。银行体系都已经开始考虑要向储户免费提供各种服务了, 因为他们意识到依靠银行卡交易信息的加工和出售可以从第三方获得更高的利润, 腾讯这个依赖着海量用户成长起来的企业也应该适时考虑如何摸索新的盈利模式, 不应该向用户要利润, 而应该向处于大数据价值链下游的企业要利润。
摘要：文章首先概括了大数据的影响, 明确大数据时代可能给为政府、企业以及消费者个人带来哪些新的转变, 在此基础之上以互联网行业中的典型代表腾讯为例进行深入分析, 指出大数据时代下腾讯可能面临的诸多挑战与机遇, 并对因大数据时代的到来而产生的一系列内外部环境变化进行剖析, 为腾讯未来的战略布局调整方向进行预测。
关键词：大数据,相关性分析,数据挖掘,消费者画像
参考文献
[1][英]维克托·迈尔-舍恩伯格, [英]肯尼思·库克耶.大数据时代[M].杭州:浙江人民出版社, 2013.
[2]李玲玲, 王萌.国家CPI和淘宝CPI[J].中国统计, 2009 (12) .
[3]陈晓萍, 徐淑英, 樊景立.组织与管理研究的实证方法[M].北京:北京大学出版社, 2012.
[4]黄升民, 刘珊.“大数据”背景下营销体系的解构与重构[J].现代传播, 2012 (11) .
数据调整 篇5
Oracle作为一个功能极其强大且灵活的关系型数据库系统,以其高可靠性、高安全性,可兼容性,广泛应用于各大企业。在一个数据库应用系统的设计与实施过程中,数据库性能优化的好坏会影响到整个应用系统能否正常运转。如何调整服务器和数据库性能,如何使有限的计算机系统资源为更多的用户服务,就显得非常重要。
2 性能调整与优化概述
性能调整通过优化应用程序、修改系统参数、改变系统配置来改变系统性能。性能调整包括对硬件配置、操作系统与关系型数据库管理系统配置,以及对访问这些组件的应用的详细分析与优化。在一个系统的生命周期内,对系统进行调整,想利用较少的人力、物力而能够收到较好的收益的话,最好在系统的设计和开发期内进行。
性能优化是指进行有目的地调整组件以改善性能,使得数据库的吞吐量最大限度地增加,相应的响应时间达到最小化。数据库性能优化的基本原则是:通过尽可能少的磁盘访问获得所需要的数据。对于数据库性能的优化,最好的时期是在系统的设计和开发阶段,尽量避免在一系统成型之后再进行优化。在设计阶段进行数据库性能优化的成本最低,收益最大。
3 数据库系统性能评价指标
数据库系统性能会随着环境的不同而有差异,并受应用程序、体系结构和资源、服务器以及并发活动的具体情况影响。数据库系统性能的判定标准依赖于性能衡量的研究。通常认为评价oracle数据库性能的指标主要有系统吞吐量、数据库用户响应时间、数据库命中率、内存使用情况以及所需的磁盘I/O量。
3.1 系统吞吐量
吞吐量是指单位时间内数据库完成的SQL语句数目,以每秒钟的事务量(t Ps)表示。对某些特定的系统配置而言,系统调整最重要的目的可能就是对系统吞吐量的调整。
3.2 用户响应时间
响应时间是指用户从提交SQL语句开始到获得结果集的第一行所需要的时间,是应用做出反应的时间,以毫秒或秒表示。响应时间通常也称为用户收到查询正被处理的直观确认时刻所感知的时间长度。
在任何一个系统中,吞吐量和响应时间作为调整目标通常是互相对立的。若响应时间长,吞吐量或许高;吞吐量低,响应时间或许短。
3.3 数据库命中率
oracle用户进程所需的所有数据都是经过缓冲区高速缓存来存取的。用户对数据的需求能否在内存中得到满足,给出快速的响应,可用缓冲区高速缓存命中率来衡量。
3.4 内存使用情况
内存的使用情况主要体现在可共享内存、永久性内存和运行时内存这三者的分配使用上。
3.5 磁盘I/O
数据库中发生的每个动作几乎都将产生某种类型的I/O活动,该活动可以是逻辑的,也可以是物理的。通过降低不必要的I/O开销可以增加用户任务可获得的吞吐量,缩短用户响应时间。
4 数据库性能优化的主要方面
无论哪一个数据库管理系统都会出现数据库运行效率问题,要使数据库的性能达到最大化,主要从操作系统和硬件性能、数据库结构、oracle资源配置、Oracle实例性能、SQL语句执行等方面进行,这些方面是相互依赖的。
4.1 调整与优化数据库设计
要在良好的Oracle方案中实现最优的性能,最关键的是要有一个很好的数据库设计方案。如果数据库设计本身就有问题特别是结构设计,那么再怎么对数据库进行调整和优化都达不到很好的效果。因此提高数据库应用系统的性能首先应从数据库设计开始。
数据库设计分为逻辑设计和物理设计。逻辑设计包括使用数据库组件为业务需求和数据建模,而无须考虑如何或在哪里物理存储这些数据。物理设计包括将逻辑设计映射到物理媒体上、利用可用的硬件和软件功能尽可能快地对数据进行物理访问和维护,包括索引技术。逻辑设计主要是消除冗余数据,提高数据的吞吐速度,保证数据的完整性,但对于多表之间关联查询,将会影Oracle数据库性能优化研究响其性能。因此,在物理设计时需要折中考虑,根据业务规则和关联表的数据量大小、数据项访问频度,对关联查询频繁的数据表适当提高数据冗余设计。
4.2 优化应用程序
根据统计,对网络、硬件、操作系统、数据库参数进行优化所获得的性能提升,全部加起来只占数据库系统性能提升的40%左右,其余的60%系统性能提升来自对应用程序的优化。对应用程序进行优化通常可从源代码和SQL语句这两个方面进行。
SQL语句在编写过程中的运用可以大大优化数据库的性能。在SQL语句编写过程中一般应遵循以下原则:
1)用NOT EXISTS代替NOT IN;
2)使用带有提示的NOT EXISTS或NOT IN代替MINUS;
3)使用UNION ALL代替UNION;
4)使用WHERE代替HAVING;
5)避免在WHERE子句中对索引子段施加函数。
另外,在SQL语句运用中,要充分利用Oracle提供的触发器、存储过程等机制来不断的优化数据库的性能。尽可能地把数据库的一些操作放在数据库服务器上进行,这样可以减少网络传输带来的瓶颈。避免将数据库服务器的数据通过网络传到客户机,然后在客户机上进行一系列的操作之后再通过网络传输到数据库服务器上,使数据库性能大大降低。
4.3 调整数据库内存分配
每一个Oracle实例是由一组Oracle后台进程和SGA(系统全局区)的一个内存区组成的。用户进程对这个内存区发送事务,并且以这里作为调整缓存读取命中的数据,以实现加速的目的。SGA使用效率会大大影响数据库系统的性能。由于SGA的缺省参数设置只适用于配置很低的计算机,因此,应根据数据库运行状况重新调整SGA的大小。内存分配是在信息系统运行过程中优化配置的,应在检查数据库文件的物理调整和磁盘I/O之前进行调整。
初始化参数文件中的一些参数对SGA的大小有决定性的影响。DB-BLOCK-BUFFERS参数是SGA大小和数据库性能的最重要的决定因素。该值较高,可以提高系统的命中率,减少I/O。
Oracle SGA中共享池部分由库高速缓存、字典高速缓存及其他一些用户和服务器会话信息组成,共享池是最大的消耗成分。调整SGA各个结构的大小,可以极大地提高系统的性能。
4.4 调整与优化磁盘I/O
数据库的数据最终要存储在物理磁盘上。磁盘I/O操作是数据库性能最重要的方面,它是系统消耗最大的oracle数据库操作。为了避免与I/O相关的性能瓶颈,监控磁盘I/O并对其进行调整非常重要。影响磁盘I/O的性能的主要原因有磁盘竞争、I/O次数过多和数据块空间的分配管理。
我们可将数据文件、事务日志文件分别存放在磁盘阵列的不同磁盘上,减少对数据库的数据文件及事务日志文件的竞争。还应把一个应用的表数据和索引数据分散存放不同表空间上,并且尽量把不同类型的表空间存放在不同磁盘上,这样就消除了表数据和索引数据的磁盘竞争。从而有效地改善了服务器的磁盘I/O,提高了系统的性能。
4.5 配置和调整操作系统性能
Oracle数据库服务器的整体性能很大程度上依赖于操作系统的性能,如果操作系统不能提供优越的性能,那么无论怎么调整数据库也不能发挥其应有的性能。
实施操作系统级调整的主要目的是减少内存交换和分页,使SGA可留驻内存。如果为Oracle分配更多的内存需要以增加系统的换页和交换为代价,那么这种方法不仅不会产生理想的效果,相反还会影响数据库的性能。
1)为Oracle规划系统资源
为Oracle调整操作系统的目的是为实例提供足够的资源。将计算机可用资源分配给Oracle服务器的原则是:尽可能使Oracle服务器使用资源最大化,特别在C/S中尽量让服务器上所有资源都来运行Oracle服务。操作系统必须为Oracle提供以下资源:能容纳SGA的足够内存、能容纳用户进程的足够内存、使操作系统能实现其自身功能的足够内存、使Oracle能完成其功能的足够内存、避免换页和交换。如果系统不能提供这些内存资源,那么就可能引起严重的性能问题。
2)调整计算机系统中的内存配置
多数操作系统使用虚似内存来扩大内存,它实际上属于磁盘空间。当实际的内存空间不能满足应用软件的要求时,操作系统就将这部分的磁盘空间与内存中的信息进行页面替换,这将引起大量的磁盘I/O操作,使整个服务器的性能下降。
5 结束语
Oracle数据库性能调整与优化非常重要,在应用系统的运行过程中,会有许多变化,需要根据实际情况,对系统进行适时的调整,使相关应用的性能得到改善。由于应用系统的复杂性较高,很难将参数调整到使应用系统的所有环节性能达到最优。在数据库建立时,若能根据应用的需要合理设计分配表空间以及存储参数、内存使用初始化参数,对以后的数据库性能有很大的益处。
摘要：Oracle数据库系统性能调整是一个系统工程,涉及的方面很多。在实际应用中,应根据具体情况采用适当的优化策略。该文从性能优化的基本概念出发,分析了数据库系统性能评价指标,总结了数据库性能优化的主要方面。
关键词：Oracle,数据库,性能,优化
参考文献
[1]何月顺,丁秋林.调整优化Oracle9i数据库的性能[J].计算机应用与软件.2004,21(6):10-11.
[2]王晓春,赵霎,张岩.Windows平台上Oracle数据库的系统性能优化[J].计算机工程.2004,30(09):79-81.
[3]童有奎.浅谈ORACLE数据库系统性能优化方案[J].计算机应用,2005(3):25-26.
数据调整 篇6
经济利润不同于会计利润之处在于它充分考虑了实际发生的和隐含的成本, 它要求经营者在做出任何一项决策时都充分考虑资本的成本, 力求以最小的代价充分利用有限的资源。因此, 充分理解和运用基于经济利润的EVA价值管理体系下的资本增值, 将使企业走出传统的以会计指标衡量业绩的误区, 更真实地评价企业经营业绩。从会计学角度定义:
1 EVA核算模型的财务调整
针对会计信息失真以及以利润为中心评价与考核业绩的现象越来越普遍, EVA引入了会计调整事项, 这些调整事项使EVA超越了财务指标的范畴, 成为真正意义上的经济指标。
1.1 研发费用
由于研发的投入会造成当期利润的减少, 一些管理者会因此而减少关系到企业未来价值创造能力的此类费用的投入, 不利于企业可持续发展[2]。EVA核算时, 将企业研发过程分为研究阶段与开发阶段, 如果开发费用已经资本化了, 那么企业就不需要再进行调整, 只需要把研究费进行资本化处理[3]。税后净营业利润的处理, 根据资本化金额和当期摊销额调整。
1.2 商誉
会计上处理商誉的做法是将其计入当期损益或者在受益年限内进行摊销。EVA核算时, 对商誉不进行摊销, 而将它作为企业的资产, 将过去各年份中已经被摊销的商誉重新并入资本成本中, 在税后净经营利润中并入当前已经摊销的商誉。这种做法可以使经营者将重心放在企业并购后能否获得超出资本成本的收益上, 而不是仅考虑企业的利润。
1.3 资产减值准备
从影响层面来看, 资产减值准备既不能对经营者业绩进行考核, 又会对企业经营利润有影响, 因此, EVA核算调整税后营业净利润时, 将当期提取的准备金加回税前营业利润。这种调整方法使得管理者能够对存货、应收款等资金效益问题时刻保持警惕, 使企业的经营业绩不会因此而出现下滑和缩水。
1.4 递延税款
为了保证企业的持续性发展, 公司在经营阶段会根据需要更新设备并进行适当的投资, 递延税款将始终存在余额, 因而企业需要进行递延所得税的调整。根据EVA的思想, 应把递延所得税负债余额并入资本总额中, 同时将递延所得税资产余额剔除, 在税后净营业利润中增加当期递延税款的变化项。
1.5 财务费用
财务费用中的利息支出一般认为与企业正常业务发生没有直接关系, 属于资本成本, 为了避免资本成本和费用的重复计算, 不应计入期间费用, 通常先从税后净营业利润中扣除, 在计算EVA指标时, 再统一计入资本成本。汇兑损益是企业正常经营以外, 因为某些不可控的因素而产生的的损失或收益, 在计算EVA时, 如果不将其剔除, 则会对EVA业绩评价的公正性产生很大的影响[4]。
1.6 营业外收支
营业外收支能够作为企业净利润反映经营成果, 但无法反映经营者的正常经营业绩, EVA的理念强调企业应关注其主营业务的经营成果。例如, 企业可以通过债务重组、资产重组、财政补贴获得营业外收入, 由于这部分利润的非连续性和偶发性, 不能成为企业价值的经常性来源, 因此在计算EVA时应剔除这些不具有持续性的收益以及不可抗力带来的损失。
2 案例分析
云南迪庆矿业开发有限公司是云南铜业 (集团) 有限公司二级单位, 主要对羊拉矿山的铜矿资源进行开发。该公司是采用会计利润指标对企业的价值进行核算, 也就导致股东的权益资本成本长期被忽略, 公司的价值创造、财富创造的能力以及经济竞争能力无法真实反映。
2.1 资本总额 (TC) 的计算
我们将企业扣除免息负债后的资产负债表所记录的所有的资金来源称为资本总额, 包括债务资本和权益资本。根据前文介绍的调整事项以及迪庆矿业的实际情况, 对财务项目进行适当调整后, 通过EVA核算的资本总额的公式, 计算出的资本总额、债务资本比重、权益资本比重, 如表1所示。
资本总额 (TC)
=债务资本+股权资本+投资资本调整额-在建工程净值 (2)
=短期借款+一年内到期长期借款+长期借款+应付债券+普通股权益+少数股东权益+坏帐准备+存货跌价准备+短期投资跌价准备+长期投资减值准备+固定资产减值准备+无形资产减值准备+递延税贷方余额-递延税借方余客+累计商誉摊销+研发费用的资本化金额-在建工程净值[5]
2.2 加权资本成本 (CC)
2.2.1 债务资本成本 (rd)
考虑到我国大部分企业通过银行短期贷款实现融资, 我们选取中国人民银行公布的3~5年中长期银行贷款利率作为本文的税前债务成本数据。通过计算得出的税前债务资本成本扣除所得税后得出的就是EVA值计算要求的税后资本成本, 2007~2010年计算结果分别为7.03 (注:2007年税前债务资本成本=6.48×3/12+6.75×2/12+6.93×2/12+7.2×1/12+7.38×1/12+7.65×3/12=7.03) ;7.53;5.76;5.79。根据我国税法的相关规定, 将所得税税率设为15%。
2.2.2 权益资本成本 (re)
考虑到我国的国债市场体系的不完善, 银行存款是城乡居民的无风险投资的主要选择, 本文的最低无风险收益率来自中国人民银行发布的三个月整存整取的年利率, 2007~2010年无风险利率分别为2.26 (注:2007年无风险利率=1.8×3/12+1.98×2/12+2.07×2/12+2.34×1/12+2.61×1/12+2.88×3/12=2.26) ;2.93;1.71;1.97。
风险测度系数β的测算方法是通过选取一些相似对标企业, 计算对标企业的无杠杆β值, 以此来代替非上市企业承担的业务风险, 如果非上市企业的资本结构是已知的, 我们就可计算出相应的β值。本项计算暂定β=1。
市场组合的风险溢价是对整体证券市场相对于无风险收益率溢价的反映。由于我国证券市场存在很多投机现象并且每年的收益指数相差很大。参考国内大多数学者选取GDP增长率来表示市场组合风险溢价, 2007~2010年GDP增长率分别为13.04;9.6;9.2;10.3。
由此可计算出各年的权益资本成本分别为15.3%;12.53%;10.91%;12.27%。根据公式3, 在确定了公式中的各参数后, 便可计算加权资本成本, 2007~2010年计算结果分别为7.03%;6.1%;5.99%;6.24%。
2.3 税后净经营利润 (NOPAT) 的计算
企业税后净经营利润是销售收入扣除除利息支出以外的所有的经营成本和所有费用的净值。它表现为在不涉及资本结构的前提下, 企业在某一生产经营期内所获得的税后利润, 是能充分反映企业盈利能力的有效指标。本文针对矿山企业的实际情况, 适当调整某些财务数据, 利用公式5计算出2007~2010年税后净经营利润分别为4208064.86元、47789729.71元、47575223.35元、102969588.60元。
2.4 EVA的计算
根据公式1, 利用之前计算得出的数据可以计算出2007~2010年迪庆矿业开发有限公司EVA值分别为-3378582329.42 (注:2007年EVA=4208064.86-481193512.707.03%=-3378582329.42) ;13243567.87;-1725682.94;39138183.65。
运用EVA核算模型进行业绩评价的判断基础是看EVA是否大于0, 只有当EVA大于0, 即企业的利润总额高于全部的投资成本时, 企业才增加了股东的原有价值, 才算是真正意义上的盈利。迪庆矿业开发有限公司2007~2010年的税后净经营利润持续为正值并逐年有所增长, 但EVA值仅在2008年及2010年得到正值, 二者体现了以会计利润为指标其实并没有反映企业真实的盈利能力, 只有在2008和2010年企业才为股东真正创造了价值, 经营者的经营决策才是应该得到高度评价的。
3 结语
本文在对迪庆矿业开发有限公司的财务数据进行调整后, 根据符合企业实际的EVA核算模型得出迪庆矿业2007~2010年的EVA值后发现, 考虑到现阶段我国的市场条件和各矿山企业发展状况存在较大的差异, 仍需要一定的时间才能将EVA广泛应用, 但推广和施行EVA价值管理体系仍是合理且可行的。经营者在进行决策时, 能够站在股东的角度进行思考, 致力于反映企业的真实价值, 真正做到为股东创造价值。例如经营者减少研究和开发费用这类为谋求短期利益而损失企业长期利益的行为是EVA理念所反对的, 这一点对高新技术企业来说尤为重要。
参考文献
[1]周树长.浅谈国有企业计算经济增加值 (EVA) 过程中的会计调整问题[J].会计师, 2009 (4) .
[2]翟华明, 李莉莉.基于新会计准则的EVA计算方法研究[J].商业会计, 2009 (17) .
[3]余莉, 吴虹.央企经济增加值 (EVA) 考核下的会计调整[J].武汉冶金管理干部学院学报, 2010 (12) .
[4]刘丽.试谈EVA计算调整事项[J].经济研究导刊, 2011 (05) .
[5]马宏鸣.基于EVA的兖州煤矿企业业绩评价体系研究[D].大连:大连理工大学, 2007.
[6]孙玉红.EVA对煤炭上市公司业绩评价的研究[D].青岛:山东科技大学, 2006.
数据调整 篇7
随着信息化的不断深入和推进, 关系型数据库Oracle被大家广泛的使用, 在整个数据库产品市场中, Oracle数据库产品占有率达到了一半, 并有进一步提升的趋势。由于存储量的持续膨胀、并发用户数的持续增加, 经常显现出系统吞吐量逐渐下降, 响应时间逐步增长等等的问题。怎样才可以有效调优数据库性能, 有效的绕过系统瓶颈, 变成了数据库相关人员必须面临的问题。调优Oracle数据库性能是一个持续复杂的过程, 在数据库系统的每一个时期都会涉及到它。
优化和调整数据库性能的基本原则是千方百计减少不通过磁盘访问就可以获得所需数据, 从而增强系统的吞吐量, 降低响应时间, 使数据库可用性得到不断提高。
1 影响数据库性能的因素
方方面面的因素和原因, 都影响与制约着数据库的性能。下面列出了主要的几个方面。
(1) 数据库服务器的性能。
(2) 数据库的配置。
数据库的性能取决于其相应配置, 所以数据库的合理配置就毫无疑问的变成了调优的核心。而这又主要涉及到:调整I/O设置、调整CPU、调整内存设置、整理碎片、调整回滚段设置以及调整其他参数的设置等等。数据库调优渗透到了数据库设计、创建与运行每个阶段。
(3) 网络I/O情况。
(4) 应用程序性能情况。
数据库性能很大程度上取决于应用程序的性能, 尤其是SQL语句具体使用情况、数据库的具体连接方式、客户端具体的程序设计、具体如何使用的数据库对象等等, 这些的方面的具体情况如何都对系统的执行效率有显著影响。
本文中主要阐述和讨论了怎样数据库调优中综合起来使用一些规则和方法技术, 并简单介绍下Oracle 11g自带的优化工具。
2 优化数据库的配置
2.1 内存的调整和优化
Oracle11g数据库实例的内存结构主要由系统全局区SGA (System Global Area) 和进程全局区PGA (Process Global Area) 构成, 而系统全局区又由五部分组成:数据缓冲区、SQL共享池、日志缓冲区、大池以及Java池, 它们的分配情况严重制约着数据库的性能[1,2]。
(1) 数据缓冲区的调整和优化。
数据库缓冲区又可以称作用户数据高速缓冲区, 与该实例相链接的用户进程均可以访问这一缓冲区。用户数据高速缓冲区主要存放已读取的数据文件的数据块的副本, 或是曾经处理过的数据。若所请求的数据位于缓冲区内, 便直接返回给请求的用户, 所消耗时间是比较短的;否则, 所需时间就变长了。因此要想提高数据库的性能就应该想方设法提高缓冲区的命中率。
要想知道数据库缓冲区的大小设置的是否恰当就要查询下数据缓冲区的空闲率和命中率。
空闲率检查方法如下:
SELECT CHILD#, SLEEPS/GETS RATIO FROM V$LATCH_CHILDREN WHERE NAME='cache buffers lru chain';
命中率检查方法如下:
一般情况下, 数据缓冲区的空闲率几乎为0, 否则要调小数据缓冲区的值;数据命中率会超过90%, 否则要增大数据缓冲区的值。
(2) SQL共享池的调整和优化。
SQL共享池有两个部分:即数据字典高速缓存及库高速缓存这两个部分。库高速缓存 (library cache) :主要用作解析SQL的命令, 并保存下解析后的结果, 作为备用。数据字典高速缓存 (data dictionary cache) :主要用来保存数据字典的行。
要想知道SQL共享池设置的是否合理, 需要综合考虑库缓存命中率、数据字典高速缓存的命中率、SQL共享池空闲率等因素。
SQL共享池空闲率的查看方法如下:
库高速缓存的命中率的检查的方法有:
SELECT (1-SUM (RELOADS) /SUM (PINS) ) *100"Lib Ratio"FROM V$LIBRARYCACHE;
数据字典高速缓存的命中率的检查方法有:
SELECT (1- (SUM (GETMISSES) /SUM (GETS) ) ) *100"Hit Ratio"FROM V$ROWCACHE;
一般情况来说, SQL共享池的空闲率会大于20%, 库高速缓存的命中率会大于99%, 而数据字典高速缓存的命中率会高于90%, 否则调整SQL共享池的大小就十分有必要了。
(3) 调整与优化重做日志缓冲区。
重做日志缓冲区就是专门用来暂存重做日志而开辟的一片内存区域, 其内容会被LGWR后台进程存放于重做日志文件里。若重做日志缓冲区的空间已经被使用完里, 但这个时候还没把内容保存到日志文件里, 那么日志写入的状态就处于等待, 即所谓的重做日志的缓冲区写入失败。若经常出现这种情况, 则表明重做日志缓冲区的值设置的有点小了, 应该适当增大, 否则数据库性能将会受到影响。
重做日志的缓冲区写入失败率的检查方法有:
失败率通常几乎为0, 若一旦失败率大于1%, 应该重新给LOG_BUFFER赋较大的值, 否侧要影响数据库性能了。
(4) PGA区的调整和优化。
PGA (Program Global Area程序全局区) 主要包括:私有会话区和排序区。其中, 排序区的设置是否恰当合理会一定程度上影响数据库的性能。程序全局区的排序区和临时表空间里的临时段均可以用来排序, 但是由于使用临时段排序不可避免的要增加磁盘I/O, 会影响排序效率, 所以建议利用排序区进行排序。
排序区命中率的计算如下:
排序区的命中率一般情况下会大于95%。否则, 就应该重新给SORT_AREA_SIZE参数赋值了。
2.2 磁盘I/O调整
因为磁盘I/O速度会严重制约数据库的性能, 所以要想提升系统性能就应该解决好磁盘I/O。影响磁盘I/O的主要因素有:磁盘竞争度、I/O频繁度、数据块的空间分配和管理等[3,4,5]。
一般可以依照如下一些规则来调整磁盘I/O:
(1) 数据库物理文件 (一般由数据文件、日志文件和控制文件组成) 应想方设法分散到不一样的磁盘, 避免磁盘之间的相互竞争, 达到均衡磁盘间负载的目的。
(2) 最大限度平均分配同一个表空间的数据文件至多个磁盘上, 实现磁盘间负载均衡。
(3) 所有日志文件应放于不一样的磁盘上, 减少日志文件争用磁盘。
(4) 为减少索引数据文件与数据文件争用磁盘, 应把表与索引分散不一样的表空间里, 表数据和索引数据分散到不同的磁盘上。
(5) 为减少应用之间争用磁盘。应该根据不同应用来创建相应表空间, 把不一样表空间的数据文件保存到不同的磁盘上。
(6) 为了减少数据库系统与其他应用竞争磁盘, 其他应用不应再使用系统的表空间。
(7) 创建一个这样的管理, 它能够管理非系统的回滚段利用撤销表空间, 进而防止由于磁盘的竞争影响事务的完成。
(8) 创建一个这样的管理, 它可以管理非系统临时段可以使用临时表空间, 减少在存储空间的分配和回收中产生碎片。
(9) 使用本地管理方式管理表空间, 采用自动管理分配存储空间, 千方百计避免产生碎片、出现行链接和出现行迁移。
(10) 视表之特点与数据量大小, 综合采用分区表、索引化表、分区索引、聚簇等结构, 把数据分散到不同的数据文件里, 进而提高系统I/O性能。
2.3 回滚段的设置
回退条目保存在回滚段里, 用于保存被修改数据的初始版本, 根据此信息, 用户能够撤销还没有提交给系统的事务, 从而是数据库能够保持数据一致性以及从实例崩溃里得到恢复的能力。回滚段在事务处理中起着关键作用, 它的设置是否合理会制约系统的性能。
2.4 碎片整理
不断变化的数据库对象和数据操作会不断的产生磁盘碎片。碎片一般有索引级、表级、表空间级。
(1) 索引级碎片通常情况下是由于叶节点的胡乱排序、索引值的不断变化而引起B-TREE结构的失衡、索引创建的太多等等因素导致的。要想单一化索引表, 进而少产生索引碎片, 可以采取索引尽量少创建, 索引尽量建在变化频率比较低的列上或着先执行插入数据的操作, 再创建表的索引等等措施。
(2) 表级碎片一般是指不连续的又比较零散的一些空间。要想有效避免表级碎片的产生, 数据块的大小和PCTFREE、PCTUSED参数要设置合理。常更新的表, PCTFREE设置较大的值, PCTUSED设置较小的值;常插入的表, PCTFREE设置较小的值, PCTUSED设置较大的值。
(3) 表空间级碎片一般在段建立、扩展与删除的过程中产生。要想有效避免产生表空间级碎片, 可以采取以下措施:重组表空间、执行ALTER TABLESPACE…COALESCES命令等等或者先运行EXPORT命令把数据导出来, 接着再运行TRUNCATE命令把表中数据删除掉, 最后再运行IMPORT命令把数据导入进来。
3 Oracle 11g常用优化工具
Oracle 11g自带了一些优化工具, 利用这些工具对数据字典、动态性能视图等进行分析, 最大限度的知晓当前的运行信息, 更好的服务于系统性能优化[6,7]。
3.1 基本工具
(1) 时间模型
时间模型是一组统计信息, 通过它们可以大致了解时间花费在了Oracle DB的哪些方面。
(2) 顶级等待事件
相关等待时间及其参数值都可以显示在其中。根据这些参数, 可以知道等待发生在哪些对象或资源上。
(3) 动态性能视图和表
由动态性能视图可以查看实例中不断变化的状态和条件的有关信息。
(4) 预警日志
下列预警日志文件包含的信息, 可以用于优化数据库:执行归档的时间、实例恢复的开始时间和完成时间、死锁错误和超时错误、不完整的检查点、检查点的开始时间和结束时间。
(5) 跟踪文件
可以在会话级别或实例级别启用或禁用服务器进程跟踪。用户跟踪文件包含该会话中跟踪的SQL语句的统计信息。用户跟踪文件是按每个服务器进程创建的。跟踪文件可以帮助优化数据库性能。
(6) Oracle企业管理器
Oracle企业管理器把一个中心控制台、多个代理、一些公共服务和工具结合在一起, 为数据库的管理提供了一个集成的、综合的系统管理平台。
3.2 插件
(1) Statspack
利用Statspack插件能够轻而易举的定位数据库的瓶颈位置, 记录下数据库的性能状态, 远程技术人员也可以通过它迅速了解数据库的运行状况。
3.3 选件
(1) 诊断包
诊断包 (是Oracle 11g产品集的一部分) 集成了许多自动性能诊断和监视功能, 而这些功能是内置在核心数据库的引擎和企业管理器里面的。无论是用来管理一个还是多个数据库, 它都能够提供一个完整的、经济高效的和容易使用的解决方案给数据库性能管理人员。
(2) 优化包
优化包 (Oracle 11g产品集的一部分) 提供了一个经济高效且易于使用的解决方案, 实现了整个应用程序调优过程的自动化。利用企业管理器中无缝集成的SQL Advisor功能, SQL性能得到了增强, 为复杂、费时的应用程序自动调优任务提供了一个全面的解决方案。
4 结束语
Oracle 11g的性能调优在系统开发的每一个环节上都有体现, 它是一个复杂持续的活动。要想获得很好地数据库性能, 那么就应当合理地调整Oracle 11g系统配置, 包括内存的调整、磁盘I/O的调整和磁盘碎片的调整等等。为了获得数据库良好的性能, 应该综合利用多种策略规则和优化工具不断调整优化。
摘要：据有关统计数据显示:在最受欢迎和最为广泛使用的数据库排行榜中, 关系型的Oracle数据库位于榜首, 数据库性能的好坏会很大程度上影响到应用系统的性能和效率。主要在本篇文章里探讨了Oracle 11g数据库调整优化性能的常用的一些准则、影响性能的一些相关因素、未达到优化目的应该怎样设置有关参数等等。主要包括系统全局区的参数设置、进程全局区的参数设置、磁盘I/O优化的一些设置以及磁盘碎片优化的问题等等, 最后简单介绍了一下Oracle 11g自带调优的相关工具。
关键词：性能调整和优化,配置优化,磁盘I/O优化,磁盘碎片调整
参考文献
[1]谷长勇, 吴逸云, 单永红, 陈杰.Oracle 11g权威指南[M].2版.北京:电子工业出版社, 2011, 9:61-65.
[2]Immanuel Chan, Lance Ashdown.Oracle Database Performance Tuning Guide[M/CD].Database July 2011.
[3]王海凤, 王海亮, 郑建茹, 张立民.Oracle11g SQL和PL/SQL从入门到精通[M].北京:中国水利水电出版社, 2008, 01.
[4]盖国强, 杨延琨.Oracle DBA手记3数据库性能优化与内部原理解析[M].北京:电子工业出版社, 2011, 9.
[5]柳丹.Oracle PL/SQL面向对象特性Web应用研究[J].计算机技术与发展, 2006, 16 (1) :234-237.
[6]路川, 胡欣杰.Oracle 11g宝典[M].北京:电子工业出版社, 2009.
数据调整 篇8
数据库主要包括管理系统、操作系统以及硬件设施, 因此, 数据库性能调整也主要包括三个方面的内容, 即数据库管理系统的配置、数据库操作系统的配置、硬件的配置。性能优化就是根据任务目标对数据库系统进行性能方面的优化, 一般来说就是增加数据库的数据吞吐量, 缩短响应时间, 其基本原则是尽可能减少为了获得目标信息所需要访问的磁盘区域。通过分析我们可以发现, 数据库性能调整与性能优化其实是融为一体的, 它们之间是相互促进, 相互支撑的, 其最终目的都是最大限度地提高数据库系统的功能, 同时降低成本, 实现效益最大化。
二、影响Oracle数据库性能的因素
2.1操作系统。操作系统是Oracle数据库的重要组成部分, 其服务器的运行对操作系统有较大的依赖度, 因此操作系统会影响到Oracle数据库的运行性能。一般来说主要是配置方面存在问题。
2.2CPU占用过高。CPU即中央处理器, 其主要功能是处理软件中的数据, 数据库的所有操作都是通过CPU读取指令和执行指令的。但是CPU资源是有限的, 当CPU资源被大量占用时, 就会导致系统反应速度下降, 在Oracle数据库系统中锁冲突、低效SQL语句都会占用CPU资源, 从而导致系统反应迟钝。
2.3I/O冲突。I/O冲突也是影响Oracle数据库系统性能的一个重要原因, 在数据库系统中有时会存在多个进程同时访问同一个磁盘的情况, 而同一磁盘在同一时间只能满足一个进程的访问要求, 当多个进程同时访问时, 就会造成读写磁盘的冲突, 使得数据库系统反应速度降低[1]。
2.4内存分配不合理。一般来说, 人们往往通过设置虚拟内存的方式来解决内存不足的问题, 但是, 从本质上说虚拟内存也是属于磁盘空间的。因此, 在实际能存不足时, 设有虚拟内存的系统就会将这部分磁盘空间与内存中的信息进行交换, 这种内存交换的运转方式大大增加了磁盘读写操作, 导致系统性能下降[2]。
三、性能优化和调整技术
3.1调整优化数据库。数据库的设计对数据库性能具有重要影响, 因此, 要想实现Oracle数据库系统性能的最优化, 必须制定出一个完善的数据库设计方案。数据库设计包括两个内容, 一个是逻辑设计, 主要是根据实际需求进行数据建模。其任务是确保数据完整性、减少数据冗余、提高数据库吞吐量。另外一个是物理设计, 即根据逻辑设计所构建的模型设置配套的硬件设施, 是逻辑设计的方案得以落实。在物理设计时应该根据数据访问频度、业务规则、数据量大小等情况适当提高数据冗余设计。
3.2调整优化内存。Oracle数据库系统内存的优化主要从以下几个方面着手。首先是根据数据库运行状况调整系统全局区的大小。其次是提高共享池的性能, 根据实际情况, 通过调整参数SHARED POOL SIZE的值调整每个节点共享池的值。通过把重要对象保持在内存中来提高共享池性能。第三, 数据缓冲区高速缓存性能, 通过调整数据缓冲区的大小, 减少等待时间。
3.3调整优化磁盘I/O。在Oracle数据库系统中消耗最大的就是磁盘I/O操作, 该操作也是数据库性能最重要的方面。因此需要做好磁盘I/O操作的优化工作, 一般来说影响磁盘I/O性能的因素是I/O次数过多、磁盘竞争以及数据块空间分配不合理等, 因此, 磁盘I/O调整优化工作也要从这几个方面入手, 具体来说, 通过对磁盘I/O进行监控, 针对运行情况进行及时调整。
3.4SQL优化。SQL优化就是要将低效的SQL语句转换成性能优异的SQL语句, 利用索引来避免表搜索。具体来说, 应该把经常运行条件子句的SQL语句转化为统一的绑定量, 通过加上有序索引优化使用union, order by, group by等条件的SQL。
摘要：Oracle数据库在我国使用十分广泛, 为社会发展做出了重要贡献, 但是, Oracle数据库系统也存在着一些不足之处。本文分析了影响Oracle数据库系统性能的原因, 并提出了相应的优化和调整措施。
关键词：Oracle数据库系统,性能,调整
参考文献
[1]刘哲.基于Oracle数据库系统的优化与性能调整研究[J].绿色科技, 2012 (5) :283-285.
数据调整 篇9
1 新型自动站地面气象观测业务流程
根据国家气象总局规定, 临汾市各县级在2013年12月31日正式启用新型自动气象站。同时, 对地面气象测报业务流程和平台软件进行更换, 全面开启新型ISOS SS测报业务软件。该观测软件主要由SMO模块和MOI模块两部分组成。其中前者构建于主机、网络设备等基础硬件平台上, 包括数据层、应用层、接口层等几部分组成, 主要负责完成自动观测业务, 具有观测与编制、参数设置、质控、数据维护和设备维护几大功能。SMO模块主要负责完成业务处理, 对数据进行采集、查询并发出指令等动作, 起到数据的质控效果。最后经由FTP完成报文传输。
2 改革调整中地面气象观测业务异常数据处理问题
2.1 异常数据记录的处理
正点数据在白天出现异常时, 应立即进行定时记录处理, 其他正点时次应在下一时次观测前完成修改并上传。若出现夜间数据异常, 且对08:00、09:00记录产生影响的应在10:00前完成修改并上传。或使用数据前后10 min的代替, 正点前后10 min数据可通过正点“观测编报”页面中“代缺”按钮找到。
2.2 极值处理
由于极值挑取不考虑本小时实有分钟数据的多少, 若正点数据中的气温、相对湿度、风向、风速、气压、地温、草温小时极值缺测或异测时, 可从实时记录中挑取。正点数据用正点后10 min或备份站代替时, 若该值挑为小时极值, 出现时间记为正点00分, 如果正点数据为内插值, 若该值恰好挑为小时极值时, 出现时间记为缺测。
2.3 能见度数据异常处理
能见度数据出现异常可能是设备故障引起, 若出现当能见度设备故障或数据异常, 非定时观测时次的正点数据中所有能见度数据均按缺测处理;定时观测时次需要进行人工补测, 人工观测值存入Z文件CW段能见度和VV段10 min平均能见度, 其他VV段自动能见度数据按缺测处理;A文件中使用人工观测值, 须在备注栏说明。
2.4 长Z文件异常处理
若测报软件中出现的长Z文件内容异常, 且每个正点都是, 可判定为形成了旧的长Z文件造成的, 在数据传输时把旧文件进行传输而出现的异常问题。重新启动电脑后直接生产的文件为旧长Z文件, 有质控的文件为新长文件。若出现这种数据异常的问题, 仅通过卸载软件重新安装是不能解决问题的, 需要重新安装电脑操作系统方可。
2.5 霾记录处理
自动站观测到霾现象, 且日内出现霾记录持续6个 (含) 以上时次, 则当日日数据文件连续天气现象段记霾。若日内持续霾记录不足6个时次但跨日后超过5个, 则当日界前 (后) 持续霾记录超过3个时次时在相应日记霾, 当日界前和后持续霾记录均为3个时次时, 只在日界前记霾。当台站人员发现正点数据中现在天气现象缺测或数据异常时, 日数据连续天气现象段霾记录以人工处理为准。当发现已自动发送的日数据异常时, 利用业务软件的更正编报功能对日数据进行更正, 并在次日08:00前将更正后的日数据文件上传。实时观测、正点观测和重要天气报记录按照原规定不变。A文件中霾记录以日数据记录为准。夜间出现能确定为沙尘类的现象, 被误判为霾时, 应在08:00前对相应时次的Z文件进行更正编发。
3 提高改革调整中地面气象观测业务水平注意事项
3.1 数据备份
数据备份分为日常数据备份和更换计算机时完全备份。其中日常数据备份可以通过SMO中数据处理菜单下的数据归档实现, 也可以直接拷贝:isos-》smo-》下的dataset、metadata来实现。更换计算机完全备份, 为了确保气象数据的连惯性和完整性, 需要拷贝MO目录如下文件夹MOIRecord、Aviation、Aws Data Base、Configure、Log、MOIRecord、Report Files、synop及ZBack。
3.2 计算机校时
自动站的计算机要设置内网网络校时, 在关闭自动站GPS授时功能的前提下, 可每天与省网络中心服务器校时1次, 并确保SMO每小时一次计算机与采集器校时的准确性
3.3 网络安全
部分省气象中心为了网络安全禁用Ping指令, 这一做法对地面测报业务的自动通讯有一定影响。目前, 使用的自动发送文件通讯软件具有自动检测和通讯故障警报能力, 需要ftp接收服务器和防火墙对地面气象测报计算机开放ping指令, 确保文件的正常传输和对网络链路的实施监测。
3.4 重要天气现象记录
若夜间出现重要天气现象, 且达到始发或续发重要天气报标准并持续到07:30之后的情况下, 所有台站对观测到大风、冰雹等现象合并在08:00Z文件中, 无需另发报;雷暴则以07:30以后第一声雷时间编报为准。20:00-次日07:00出现的重要天气现象, 对于能准确判断发生时间的要在10 min内编发。一般对于出现大风、雷暴、冰雹、雾和浮尘等现象时编发重要天气报, 需要记录出现的相应时间、方位、风速或直径等情况。
3.5 降雪加密观测
启动降雪加密观测时, 雪深和降水观测数据可输入正点长Z文件中, 不需要上传加密降雪观测文件。
摘要：通过简述新型自动站地面气象观测业务流程, 对改革调整中地面气象观测业务异常数据问题的处理进行分析, 并根据工作经验讨论了几点注意事项, 对提高改革调整中地面气象观测业务水平有一定帮助。
关键词：地面气象观测,异常数据,处理方法
参考文献
[1]任爽, 安宁, 赖丽娜.地面气象观测业务改革对一般气象站的影响[J].广东气象, 2012 (3) .