关于oracle分区技术初了解

关于oracle分区技术初了解

关于oracle分区技术初了解 篇1

分区表:当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区。表进行分区后,逻辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件上),这样查询数据时,不至于每次都扫描整张表。

1 Oracle提供了以下几种分区类型

1)范围分区(range);

2)哈希分区(hash);

3)列表分区(list);

4)范围-哈希复合分区(range-hash);

5)范围-列表复合分区(range-list)。

ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

2 ODS有四种类型

1)类ODS,与应用系统的数据延迟为1～2秒,实时或近似实时;

2)类ODS,与应用系统的数据延迟为2～4小时;

3)类ODS,与应用系统的数据延迟为12～24小时;

4)类ODS,数据仓库中部分决策分析数据回流至ODS中。

可以说,数据延迟时间越短,ODS建设难度越高,其中I类ODS的建设难度最高,建设成本也是最高的。从现阶段的应用来看,我单位的ODS建设目标是III类,ODS数据与应用系统的数据延迟保持在24小时左右。

3 现状分析

目前,我单位系统内部有很多的子系统,如核心业务系统数据RUCCDTA、核心业务系统参数RUCCCMN、中间业务AGENT、支付系统数据、反洗钱、支票影像、身份证核查、客户信息CIF等多个系统平台等。他们之间的信息存在着重复和不一致的情况,如客户资料、信贷数据等。如何综合应用这些数据,首要任务就是进行数据整合,ODS的特点恰恰可以担当起这付重任。

下面以核心业务系统数据RUCCDTA平台内CMVCA、SVDSA表为例,介绍如何利用oracle数据库的range分区及range子分区特性即范围-范围复合分区(range-range)技术,建设ODS数据交换平台。

4 表在oracle数据库中的规划设计

图1为ODS系统架构图。

4.1 设计说明

1)建立系统默认的表空间、索引表空间,不需要分区的表建立在此给定的空间上

2)建立40个表空间(每个机构对应一个表空间,其原因是利于数据的保存,以后可以针对每个机构进行数据导入和导出,也利于针对每个机构的数据查询)

3)创建数据表,以机构range作分区,每个表共有40个表分区

4)在每个机构表分区中再按照日期中的年range进行子分区,从系统上线的2003年到现在2009年共7年。因此每个表的分区共有:40个表分区*7=280个分区

5)对每一个表建立LOCAL索引(相当于在每一个微分区内建立索引)

6)每个最小分区的数据量:以CMVCA表为例,400G/40个机构=10G/每机构/每年。每个子分区的数据量不大,利于数据的导出、保存及导入。

4.2 详细操作步骤

4.2.1 创建系统缺省表空间:(用户默认表空间)

4.2.2 用户

4.2.3 创建分区表空间

表空间脚本:crtspace_dta.sql,根据机构数量生成对应的表空间

4.2.4 创建分区表

1)CMVCA交易日志文件脚本(带表分区VCSBNO、子分区VCTRDT)

2)交易细文件脚本(表分区DSSBNO、子分区DSTRDT)

5 创建表索引

6 结束语

至此,大数据表的在Oracle数据库中分区设计及实施已完成,此操作步骤已经在我单位的ODS建设中完全验证正确。本文的目的也是为了向其他在ODS建设过程中遇到类似问题的同行提供一点借鉴,希望能对他们有所帮助,也希望他们在大数据表处理过程中能够建设起结构清晰数据交换平台。

摘要：该单位目前要在业务系统和数据仓库之间建立一个ODS数据交换平台。此ODS数据平台用于存放从各个业务系统直接抽取出来的数据,这些数据从数据结构、数据之间的逻辑关系上都与原业务系统基本保持一致,在ODS数据平台中利用SCHEME方式进行区分。到目前为止,我单位的业务数据已运行多年,基本信息数据、历史归档数据庞大。如何规划一个设计合理、运行安全、查询快捷、性能高效的ODS数据交换平台就显得尤其重要。该文详细论述了如何利用oracle的表空间、表分区、子分区技术并结合我单位目前业务数据的特点来建立一个高效、安全、稳定的ODS数据交换平台。

关键词：数据库,oracle,表分区,子分区,表空间,LOCAL索引

参考文献

[1]18Partitioned Tables and Indexes[EB/OL].http://www.stanford.edu/dept/itss/docs/oracle/10g/server.101/b10743/partconc.htm.

[2]Oracle Database Concepts10g Release1(10.1)Part Number B10743-01(18Partitioned Tables and Indexes)[EB/OL].http://www.ora-cle.com/technology/documentation/database10g.html.