SQL Server 2008之数据库大型应用解决方案总结

SQL Server 2008之数据库大型应用解决方案总结（共2篇）

SQL Server 2008之数据库大型应用解决方案总结 篇1

SQL Server 2008之数据库大型应用解决方案总结

本教案需配合视频教程学习，视频教程地址为：http:///eschool/SQLxin3721/ 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。

一、负载均衡技术

负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，由路由器衔接在一起，各节点相互协作、共同负载、均衡压力，对客户端来说，整个群集可以视为一台具有超高性能的独立服务器。

1、实现原理

实现数据库的负载均衡技术，首先要有一个可以控制连接数据库的控制端。在这里，它截断了数据库和程序的直接连接，由所有的程序来访问这个中间层，然后再由中间层来访问数据库。这样，我们就可以具体控制访问某个数据库了，然后还可以根据数据库的当前负载采取有效的均衡策略，来调整每次连接到哪个数据库。

2、实现多据库数据同步

对于负载均衡，最重要的就是所有服务器的数据都是实时同步的。这是一个集群所必需的，因为，如果数不据实时、不同步，那么用户从一台服务器读出的数据，就有别于从另一台服务器读出的数据，这是不能允许的。所以必须实现数据库的数据同步。这样，在查询的时候就可以有多个资源，实现均衡。比较常用的方法是Moebius for SQL Server集群，Moebius for SQL Server集群采用将核心程序驻留在每个机器的数据库中的办法，这个核心程序称为Moebius for SQL Server 中间件，主要作用是监测数据库内数据的变化并将变化的数据同步到其他数据库中。数据同步完成后客户端才会得到响应，同步过程是并发完成的，所以同步到多个数据库和同步到一个数据库的时间基本相等；另外同步的过程是在事务的环境下完成的，保证了多份数据在任何时刻数据的一致性。正因为Moebius 中间件宿主在数据库中的创新，让中间件不但能知道数据的变化，而且知道引起数据变化的SQL语句，根据SQL语句的类型智能的采取不同的数据同步的策略以保证数据同步成本的最小化。

数据条数很少，数据内容也不大，则直接同步数据 数据条数很少，但是里面包含大数据类型，比如文本，二进制数据等，则先对数据进行压缩然后再同步，从而减少网络带宽的占用和传输所用的时间。

数据条数很多，此时中间件会拿到造成数据变化的SQL语句，然后对SQL语句进行解析，分析其执行计划和执行成本，并选择是同步数据还是同步SQL语句到其他的数据库中。此种情况应用在对表结构进行调整或者批量更改数据的时候非常有用。

3、优缺点

(1)扩展性强：当系统要更高数据库处理速度时，只要简单地增加数据库服务器就 可以得到扩展。

(2)可维护性：当某节点发生故障时，系统会自动检测故障并转移故障节点的应用，保证数据库的持续工作。(3)安全性：因为数据会同步的多台服务器上，可以实现数据集的冗余，通过多份数据来保证安全性。另外它成功地将数据库放到了内网之中，更好地保护了数据库的安全性。(4)易用性：对应用来说完全透明，集群暴露出来的就是一个IP(1)不能够按照Web服务器的处理能力分配负载。

(2)负载均衡器(控制端)故障，会导致整个数据库系统瘫痪。

二、数据库的读写分离

1，实现原理：读写分离简单的说是把对数据库读和写的操作分开对应不同的数据库服务器，这样能有效地减轻数据库压力，也能减轻io压力。主数据库提供写操作，从数据库提供读操作，其实在很多系统中，主要是读的操作。当主数据库进行写操作时，数据要同步到从的数据库，这样才能有效保证数据库完整性。

(ebay的读写比率是260:1,ebay的读写分离)(微软数据库分发)

2，实现方法：在MS Sql server中可以使用发布定义的方式实现数据库复制，实现读写分离，复制是将一组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储站点上的有效方式。使用复制技术，用户可以将一份数据发布到多台服务器上。复制技术可以确保分布在不同地点的数据自动同步更新，从而保证数据的一致性。SQL SERVER复制技术类型有三种，分别是：快照复制、事务复制、合并复制。SQL SERVER 主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器，负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器，分发服务器包含有一个分发数据库，可接收数据的所有改变，并保存这些改变，再把这些改变分发给订阅服务器。3，优缺点

(1)数据的实时性差:数据不是实时同步到自读服务器上的，当数据写入主服务器后，要在下次同步后才能查询到。(2)数据量大时同步效率差：单表数据量过大时插入和更新因索引,磁盘IO等问题，性能会变的很差。(3)同时连接多个（至少两个）数据库：至少要连接到两个数据数据库，实际的读写操作是在程序代码中完成的，容易引起混乱

(4)读具有高性能高可靠性和可伸缩:只读服务器，因为没有写操作，会大大减轻磁盘IO等性能问题，大大提高效率；只读服务器可以采用负载均衡，主数据库发布到多个只读服务器上实现读操作的可伸缩性。

三、数据库拆分(分布式)

通过某种特定的条件，将存放在同一个数据库中的数据分散存放到多个数据库上，实现分布存储，通过路由规则路由访问特定的数据库，这样一来每次访问面对的就不是单台服务器了，而是N台服务器，这样就可以降低单台机器的负载压力。

垂直(纵向)拆分：是指按功能模块拆分，比如分为订单库、商品库、用户库...这种方式多个数据库之间的表结构不同。水平(横向)拆分：将同一个表的数据进行分块保存到不同的数据库中，这些数据库中的表结构完全相同。

（纵向拆分）

（横向拆分）

1，实现原理：使用垂直拆分，主要要看应用类型是否合适这种拆分方式，如系统可以分为，订单系统，商品管理系统，用户管理系统业务系统比较明的，垂直拆分能很好的起到分散数据库压力的作用。业务模块不明晰，耦合（表关联）度比较高的系统不适合使用这种拆分方式。但是垂直拆分方式并不能彻底解决所有压力问题，例如 有一个5000w的订单表，操作起来订单库的压力仍然很大，如我们需要在这个表中增加（insert）一条新的数据，insert完毕后，数据库会针对这张表重新建立索引，5000w行数据建立索引的系统开销还是不容忽视的，反过来，假如我们将这个表分成100个table呢，从table_001一直到table_100，5000w行数据平均下来，每个子表里边就只有50万行数据，这时候我们向一张只有50w行数据的table中insert数据后建立索引的时间就会呈数量级的下降，极大了提高了DB的运行时效率，提高了DB的并发量，这种拆分就是横向拆分

2，实现方法：垂直拆分，拆分方式实现起来比较简单，根据表名访问不同的数据库就可以了。横向拆分的规则很多，这里总结前人的几点，(1)顺序拆分：如可以按订单的日前按年份才分，2003年的放在db1中，2004年的db2,以此类推。当然也可以按主键标准拆分。优点：可部分迁移

缺点：数据分布不均，可能2003年的订单有100W，2008年的有500W。

(2)hash取模分： 对user_id进行hash（或者如果user_id是数值型的话直接使用user_id的值也可），然后用一个特定的数字，比如应用中需要将一个数据库切分成4个数据库的话，我们就用4这个数字对user_id的hash值进行取模运算，也就是user_id%4,这样的话每次运算就有四种可能：结果为1的时候对应DB1；结果为2的时候对应DB2；结果为3的时候对应DB3；结果为0的时候对应DB4，这样一来就非常均匀的将数据分配到4个DB中。

优点：数据分布均匀

缺点：数据迁移的时候麻烦；不能按照机器性能分摊数据。(3)在认证库中保存数据库配置

就是建立一个DB，这个DB单独保存user_id到DB的映射关系，每次访问数据库的时候都要先查询一次这个数据库，以得到具体的DB信息，然后才能进行我们需要的查询操作。

优点：灵活性强，一对一关系

缺点：每次查询之前都要多一次查询，会造成一定的性能损失。

SQL Server 2008之数据库大型应用解决方案总结 篇2

2008环保公益主题大型系列活动

策 划 方 案

一、活动意义、主题：

2008 年是贯彻落实党的十七大精神、实施“十一五”环保规划的关键年。当前，山西全省环保系统的工作重点是： 紧紧抓住党中央、国务院、省委、省政府高度重视环保工作的战略机遇，按照省委、省政府的统一部署，以更加高昂的斗志、更加完善的政策、更加有力的措施、更加严格的执法，全面推进环保工作取得更大进展，进一步动员全省上下切实增强做好环保工作的紧迫感、责任感和使命感，抓住重点，全面推进，实现环境保护新跨越，迈开生态文明建设新步伐，促进全省经济又好又快发展，推动“和谐山西”建设新进程。

为了进一步推动和促进我省环境保护工作、建设生态文明的更好开展，特别策划实施“生态文明绿色山西” 2008环保公益主题大型系列活动。本次活动分为“生态文明绿色山西”大型环保公益主题演唱会、“生态文明新山西”三晋环保主题摄影书画展、“保护母亲河行动”大型祈福法会三大公益版块，将在2008世界环境日（6月5日）期间盛大举行。

二、活动内容、形式：

1、“生态文明 绿色山西”大型环保公益主题演唱会

时间：2008年6月5日晚8：00—10：00

地点：太原市滨河体育中心

拟邀明星：郭兰英杨宏基蒋大为韩 磊阎维文

蔡国庆韩红阿宝凤凰传奇容中尔甲

大兵赵卫国句号

以及栗桂莲、牛宝林、陕军、田毅等我省著名的表演艺术家

拟邀请主持人：

王小丫（女）中央电视台经济频道著名主持人

任志宏（男）中央电视台中文国际频道、科教频道著名主持人

山西籍，2007山西春节联欢晚会主持人

张 蕾（女）中央电视台综艺频道《欢乐中国行》节目主持人

山西籍，2008山西春节联欢晚会主持人

白 桦（男）中央电视台科教频道《绿色空间》节目主持人

山西籍，2008山西春节联欢晚会主持人

伴舞:

山西省歌舞剧院

山西大学音乐学院舞蹈系

山西艺术职业学院

山西黄河少儿艺术团等

舞台效果：

舞美、灯光、音响、特效等均邀请北京一流专业公司完成。

（包括舞台电脑灯、演艺摇头灯、电脑控制台、调光设备、追光灯、激光灯、空中玫瑰、烟雾机、泡泡机、雪花机、气柱机、冷焰火、礼炮机、特效烟火、流动龙门灯架、电视墙、LED灯等）

2、“生态文明新山西”三晋环保主题摄影书画展

时间：2008年6月3日、4日、5日

地点：山西省博物院

将邀请中国书画家协会、中国摄影家协会、山西书法家协会、山西摄影家协会、平遥国际摄影展知名摄影人参加，同时我省、市各级领导、环保工作者、志愿者、新闻工作者以及广大群众都将参与到本次摄影书画展。

3、“保护母亲河行动”大型祈福活动

时间：2008年6月3日

地点：太原市汾河公园

“保护母亲河行动”是由共青团中央等在1999年发起的一项社会公益活动，旨在引导青少年和社会公众更加普遍地参与资源节约和生态环保实践。

山西省2008世界环境保护日万人“保护母亲河行动”将在太原市汾河公园举行，省市各级领导将出席启动仪式，通过大学生志愿者宣传生态环保知识、大型祈福放生、知名高僧祈福法会等方式参与、宣传保护母亲河行动。

三、活动组织机构：

主办：山西省人民政府

山西省委宣传部

山西省人大环工委

山西省环境保护局

协办：山西广播电视总台

支持：中国环境文化促进会

中国摄影家协会

中国书画家协会

山西省环保产业协会

山西省环境文化促进会

承办：山西东方魅力文化传播有限公司

活动组委会名誉顾问:

国家环保总局领导

原山西省委、省政府、省人大、省政协领导

活动组委会艺术指导：

张继刚：大型原创舞剧《一把酸枣》导演、编剧，中国当代著名编导，中国特殊艺术委员会副主席，中国舞蹈界“世纪之星”称号获得者，“中华民族二十世纪舞蹈经典”获奖人一级导演，中国人民解放军总政治部歌舞团团长。

总导演：

陈临春、张晓海

2008年中央电视台春节晚会总导演、中央电视台文艺部知名导演

制 片：

英 瑞、李 昊

2008年山西广播电视总台春节晚会总导演、山西广播电视总台大型活动部主任、副主任

监 制：山西省环境保护局领导

总监制：山西省人民政府领导

山西省委领导

四、活动流程（另拟）

五、时间进度安排（另拟）

六、筹备组工作安排：

邀请山西省、全国知名环保专家、为本次活动提供支持与帮

助的社会知名人士、企业家担任此次活动的组委会名誉委员或名誉顾问人员。

组委会下设策划处、秘书处、宣传处、活动处和后勤处作为日常工作机构。

策划处：疏通上级部门关系，本次方案的总体策划，邀请各级领导和为本次活动提供支持与帮助的社会知名人士、企业家和环保专家组成本次活动的组委会名誉委员、委员和名誉顾问，协调主办、协办、支持单位、承办机构、本次活动赞助事宜。

秘书处：日常事务安排，各项工作和活动调度，联系各部门、协调各项工作的开展，统一工作进度，安排各部门人员、各项工作文件起草，合同拟定，代表本次活动组委会出席新闻发布会和发言。

宣传处：统筹媒体工作，负责组建媒体报道团和媒体报道团的运转，负责本次活动的户外、海报和活动中的各项宣传工作（包括舞美、背景板、设计各种宣传标语、海报、纪念品、宣传横幅）以及与本次活动相关新闻资料收集、整理、归档、总结。

活动处：负责所有活动的征集、安排、调度和管理。所有活动的准备和现场工作，具体活动流程的安排，活动进程的监控。活动过程的总体把握和调节。

后勤处：统管后勤资源，安排后勤支援工作（包括活动车辆调度、物品安排），支持其他各部门的工作，包括活动中财物统计工作和物品的采购、配备、保管统计，活动中各种物品、资料调度，安排工作。

七、宣传方案（另拟）

1、前期宣传；

2、中期宣传；

3、后期宣传。

八、费用预算方案（另拟）