分布式数据库技术(精选10篇)
分布式数据库技术 篇1
分布式OA系统的数据库同步复制技术
一、背景概述
随着政府上网、电子政务的不断普及和深入,IBM公司的Lotus Domino系统在国内得到广泛的应用。其中不乏大型的、跨地域的企事业单位或集团公司应用案例。这些案例一般采用分布式系统结构,即分布在全国各地的分支机构分别设有独立的数据库服务器,各地数据库服务器采用数据库同步复制的方式更新本地数据库复本内容。从而使得各地终端用户及时、快捷、可靠地访问到最新公告、新闻等。
本文结合呼和浩特铁路局客运公司办公自动化系统案例讨论基于IBM公司的Lotus Domino技术构建的分布式OA系统中数据库之间的同步复制技术。
二、几个概念
IBM公司的Lotus产品包含Lotus Domino Server,Lotus Notes,Lotus Domino Administrator和Lotus Domino Designer。Lotus Domino Server为后台数据库平台,Lotus Notes为客户端,Lotus Domino Administrator为系统管理平台,Lotus Domino Designer设计开发工具。先介绍几个Domino中和同步复制有关的概念。
1、复制
Notes允许在多个服务器或工作站上保存数据库的多个拷贝,这些拷贝称做“复本”。它们使各个地方的不同网络上的用户共享相同的信息。复本与文件的拷贝不同之处在于在复制时源文件与其复本具有相同的复本标识符。
复制是在复本之间共享更改信息的过程。复制时,Notes通过把更改信息从一个复本拷贝到另一个复本来更新复本。最终,Notes 使所有复本保持一致。可以选择在复本拷贝之间进行复制,这时两个复本都发送并接收更新信息,或者选择仅从一个复本复制到另一个复本。
也可以定期安排复制,或者根据需要手动进行复制。复制可以在两台服务器之间或者在服务器和工作站之间进行。如果设定为定期进行完整复制,那么 Notes会根据时间使所有复本保持同步。
2、复本标识符
复本与源文件或数据库有相同的复本标识符。这是数据库的复本与拷贝的区别所在,因为有共同的标识符才能使复本与源数据库之间可以复制更改信息。如果数据库的两个拷贝具有不同的复本标识符,则不能在它们之间进行复制。
3、复制冲突和保存冲突
在复制之间,如果有两个或多个用户对相同文档的不同复本进行了编辑,就会导致复制冲突。而保存冲突则是在两个或多个用户同时编辑服务器上同一个数据库的同一个文档时发生。当发生复制冲突或保存冲突时,Notes 将在视图页面左边把发生冲突的文档标注出来。
Notes对复制冲突的处理是这样的,在两个或多个用户编辑并保存同一个文档之后,下次进行复制时,Notes 将编辑和保存最频繁的文档指定为主文档,而将其他文档显示为主文档的答复文档,并在视图页面左边用一个菱形符号标注出来。如果用户在一个复本中编辑并保存了某文档,然后另一个用户将该文档删除,则认为该文档是被删除的。然而,如果文档被编辑和保存了多次,或者在该文档被删除之后又被另一个用户编辑和保存过,则把编辑过的文档作为主文档。
Note对保存冲突的处理如下,当多个用户同时打开相同的文档进行编辑时,Notes指定最先保存的文档为主文档。当另一个用户试图保存同一文档时,Notes 就会提示该用户把它作为“保存冲突”文档来保存。如果用户这样做了,那么 Notes 将它显示为主文档的答复文档,并在视图页面左边用一个菱形符号标注出来。
根据笔者的经验,在实际开发过程中,我们应该通过设计控制保存冲突,避免文档产生“保存冲突”的答复文档。对于复制冲突可以设置数据库合并复制冲突,这样如果产生增量改动,服务器在复制过程中会自动合并冲突。需要说明的是,Notes在进行复制时,并不是传统意义上的完全拷贝,而是一系列的规则进行增量的合并。
4、复制类型
Domino中支持四种不同的复制方式
拉入推出:是一个双向过程。此过程进行时,呼叫服务器从响应服务器拉入更新,然后向响应服务器推出自己的更新。使用“拉入推出”时,呼叫服务器上的 Replicator 任务执行所有的工作。拉入推出是系统缺省的复制方式。
分别拉入:是两个服务器交换更新的双向过程。使用“分别拉入”时,两个复制器(一个在呼叫服务器上,另一个在响应服务器上)共同进行复制工作。
只推出:是呼叫服务器向响应服务器推出更新的单向过程。单向复制总是比双向复制耗时少。只拉入:是呼叫服务器从响应服务器拉入更新的单向过程。单向复制总是比双向复制耗时少。
三、案例
笔者曾经参与呼和浩特铁路局客运公司办公自动化系统的设计、开发和实施工作。呼和浩特铁路局客运公司包括三个信息中心,分别在呼和浩特市、包头市和东河区三个地方,三地之间通过64K的DDN专线连接。因为带宽的限制,用户远程访问速度成为本系统的瓶颈,经过再三论证,我们决定构建分布式数据库存储架构,采用后台数据库实时同步复制技术使三个异地服务器内容一致,将远程访问转化为本地访问,从而提高终端用户访问速度。
详细步骤如下。
1、安装服务器
在三地信息中心分别安装Domino服务器,服务器的详细配置并不复杂,读者可以参阅相关资料,一般情况下按照安装配置向导四步就可以快捷配置完毕。注意三台Domino服务器不要同名,其简单拓扑结构如下:
图中呼市处于相对中心的位置,所以呼市和包头之间,呼市和东河之间分别建立了互推复制机制,为了降低网络负担和流通环节,没有建立包头和东河之间的复制,各地直接通过与呼市同步来保持三地数据的一致。一般而言,如果各分支机构处于平等位置,互相之间的数据流量相当,也可以两两之间建立复制机制。
2、建立服务器之间的连接
对于两个服务器之间进行的复制,应创建一个“连接”文档来指定进行信息交换的方式和时间。“连接”文档存储在“Domino 目录”中。一次仅使用一个“连接”文档来处理每对服务器之间的所有复制。创建不必要的“连接”文档会增加网络传输量和阻塞。
缺省情况下,邮件路由和复制都已被启用,但是可以更改此设置并使用单独的“连接”文档来安排每项任务。这样,就可以分别控制复制和邮件路由的特定时间、时间范围或重复间隔,并根据需要增加或减小这些设置。
怎么保证服务器之间的连接能顺利的连通?实际上对于物理连接形式Domino并不关心,也就是说物理上无论通过什么连接方式,专线、光纤、X.25、电话拨号等,只要TCP/IP通,简单说只要能Ping通,就能够保证服务器之间顺利连接。
下面给出了建立服务器之间连接的操作步骤和主要参数的设置说明:
A)在 Domino Administrator 中单击“配置”附签。
B)在“使用目录”域中选择连接服务器的“Domino 目录”。
C)单击“服务器”,然后单击“连接”。
D)单击“添加连接”。
F)关键域配置描述:
域输入
源服务器连接服务器的名称
使用以下端口连接服务器或源服务器使用的网络端口(或协议)名称
使用优先级选择一个:“一般”(缺省)“低”
目标服务器响应服务器的名称
可选网络地址与所选协议相适应的目标服务器的地址。对于 TCP/IP,应使用完全有效的网络域名称(首选)或 IP 地址(例如:HR-E.Acme.com 或者 192.22.256.36)。
对 TCP/IP 或其他需要特定网络地址的协议,建议填写此域。
复制类型缺省情况下,Domino 的复制方向为“拉入推出”。但根据实际情况,为了平衡服务器之间的负载,充分发挥每个服务器的性能,我们可以设定双方互推或者互拉,本例中我们采用服务器双方互推的方式,即每个服务器上的连接复制类型都是由源服务器向目标服务器推出。
复制文件/目录如果为空,则服务器将DATA目录下的所有存在复本的数据库全部进行复制,否则填写哪个库系统就复制哪个库。
安排在安排中可以设置连接时间、重复间隔、每周复制日期等参数。可根据实际情况设定,本例设置为每日8:00到晚上10:00连接,连接期间每一小时进行同步复制或服务器依据增量自动复制,非连接时间服务器处理其他性能调优动作,如更新数据库索引等。
H)保存文档。
3、建立数据库复本
连接建立成功以后,保证服务器之间可以进行通讯了,下一步就是对要进行同步的数据库建立复本,当建立了复本以后,通过连接设定就能保证异地各个复本之间的数据完全一致。
这里需要说明的是,我们在第一台服务器上建立了一套数据库系统,对于需要同步复制的所有数据库,在其他服务器上只需要产生他们的复本,而不能再在每台服务器上分别创建相同的数据库。在本例中我们在呼市客运公司信息中心安装配置好第一台服务器后,在包头信息中心和东河信息中心的Domino服务器上则通过呼市信息中心服务器建立各自本地所有需要的数据库复本。
如果要在本地Domino服务器上创建源Domino服务器的复本数据库,需要本地服务器的系统管理员具有对源服务器访问和创建复本的权限,因为Domino对权限控制很严格,尤其是多域用户之间的访问,其目的就是为了充分保证系统的安全性。那么怎样才能具有这样的创建复本的权限呢?需要具有两个基本的存取权限就可以在本服务器上创建源服务器的数据库复本,一是源服务器配置中允许本地服务器的系统管理员访问,二是允许本地服务器的系统管理员创建数据库复本,这两个权限由源数据库的系统管理员设置给目标数据库的系统管理员。结合本例,需要在包头信息中心的服务器上建立呼市信息中心的数据库复本,则首先在呼市信息中心的服务器上配置“当前服务器”文档。
A)在 Domino Administrator 中单击“当前服务器”文档。
B)单击“编辑服务器”
C)选择“安全”标签页,填写以下两项:
域输入
访问服务器本例为包头信息中心系统服务器名称及管理员的用户名称
创建数据库复本同样是包头信息中心系统管理员的用户名称
D保存后退出。
接下来就可以在包头信息中心的服务器上创建源数据库的复本了,这步动作比较简单,选择源数据库,从菜单中执行创建复本功能即可,这里不在详细描述。
同样的处理在东河的服务器上如法炮制一遍,则所有数据库复本成功建立完毕。
4、复制测试
完成以上三步,配置就全部完成,接下来就要测试一下配置是否完全成功以及配置是否生效。我们测试主要包括两个内容:一是测试连接是否成功,能否进行复制动作。二是测试设置的复制安排是否按照预定生效。
A)进行第一项测试的办法是在Domino的控制台上,使用Domino的系统命令,进行数据库的推、拉测试,检查复制是否能成功进行,命令格式如下:
拉入复制
语法:Pull servername [databasename]
描述:强制从指定服务器到本地服务器进行单向复制。通过在命令行中包括单个数据库名称,将其从特定服务器单向复制到本地服务器。发起复制的服务器从指定的服务器接受数据,但不能申请将自己的数据复制到其他服务器上。该命令重设在“Domino 目录”中预定的任何复制,而强制一台服务器与发起复制的服务器立即进行复制。如果可能,请输入服务器完整的层次结构名称。
推出复制
语法:Push servername [databasename]
描述:强制进行从本地服务器到指定服务器的单向复制。也可以通过在命令行中包括要复制的单个数据库名称,来将其从本地服务器单向复制到特定服务器。发起复制的服务器将数据发送到指定的服务器,但不申请获得数据。该命令可以重设在“Domino 目录”中预定的任何复制,而强制一台服务器立即与发起复制的服务器进行复制。如果可能的话,请指定服务器完整的层次结构名称。
B)第二项测试通过将连接文档的安排时间设置为两分钟进行一次,同时观察Domino的系统控制台,查看服务器的动作,以确保安排设定生效。正确的结果是从控制台上能看到系统报告复制过程。
按照以上实例说明进行,没有任何问题。
四、结束语
我们同样可以在客户端利用复制技术,例如在本地客户端建立邮件文件数据库的复本,以便与我们在外出或者脱机状态下还可以访问邮件文件。本地复本要求没有在服务器之间进行复制的要求那么高,本地复本的作用体现在通过本地复本,可以在没有通过网络连接服务器时对数据库进行操作。当设置 Notes 为远程工作站时,就可以通过调制解调器呼叫服务器并在本地复本和服务器数据库之间交换更新信息。
分布式数据库技术 篇2
1.1分布式数据库系统的特点。
分布式数据库由一组数据组成, 从物理层面看这些数据分布在计算机网络的不同结点上, 从逻辑层面看这些数据属于同一系统。网络中每个结点都具有独立执行局部应用程序的功能, 也能通过网络通信子系统在全局范围内执行应用程序。也就是说, 分布式数据库系统的数据库、终端、中央处理器、局部DBMS运行、局部应用程序执行等都是独立的, 但又可相互协作形成整体, 其用户可以实现在任何场地执行全局应用程序[1]。
1.2实时数据库的特点。
实时数据库系统是管理有时间限制的数据和事务, 强调调度机制和事务管理上对传统数据库的优化, 可设定事务的截止时间特征, 最大限度地满足事务起讫时间限制, 保证数据库内数据在逻辑和时序上完整一致。
1.3分布式实时数据库的优势。
现代数据库需求要求实时数据库与分布式数据库在功能特性上实现有效集成, 由分布式实时数据库管理系统统一调度管理, 其方法是在实时数据库的事务处理层基础上实现分布式事务处理, 即将具有执行期限的数据和事务分布在不同结点上。
二、分布式实时数据库的事务管理机制
2.1分布式高优先级两阶段锁定并发控制协议。
数据库系统的事务管理机制包括分布式事务并发控制机制、提交机制、避免或解决死锁及日志管理机制等, 分布式实时数据库是在分布式高优先级两阶段锁定协议基础上加入优先级因素考虑。在这一新型协议中, 优先级将由事务最后期限和紧迫性的初始状态调整为将事务进入系统的时间追加到初始状态的实时状态。以此实现每个站点上的锁管理器为站点上各个事务的子事务要访问的数据对象进行枷锁。其中, 当事务之间按照优先级的高低对占锁产生申请冲突时, 低优先级事务将被重启, 重启范围和事务自身全局或局部性质保持一致, 以此保持分布式实时数据库的优先级次序与加锁、解锁实现优化。
2.2附带终结协议的两阶段提交协议。
分布式数据库系统在出现协调站故障或通信链路问题时, 可能导致个体参与者不能及时收到协调者的提交决定, 导致参与者在结束投票阶段发生延迟, 子事务因此错过截止期, 附带影响其下关联事务执行。分布式实时数据库系统对此加入了终结协议, 以提高两阶段协议发生故障时的应急处理能力, 实现实时事务管理。
所谓终结协议即协调站在向若干参与者发送投票信息时同时附带提供所有参与站地址, 当出现上述异常情况时, 问题参与站可利用附带地址沟通信息。其实施办法是, 在参与站与恢复站的信息设计上分三种情况考虑:一是参与站有明确提交命令时则发送给恢复站相同信息, 恢复站执行协调者决策, 并发送信息至不确定站点;二是提交了信息却未收到命令则发送给恢复站不确定信息, 则恢复站继续询问;三是提交信息夭折则发送恢复站夭折信息, 恢复站自行回滚并将发送回滚命令至所有参与站。
2.3减少协议依赖性。
分布式数据库的协议模式虽实现了冲突模式下的数据共享, 却导致冲突事务之间相互依赖, 限制了提交顺序, 一旦协议出现故障且无法迅速恢复, 则其下依赖事务都将错过截止期。数据库通常依据事务在投票子阶段的时间长度是否超出无故障事务时限来断定该事务是否正常执行。因此分布式实时数据库对此协议形式改为弱依赖协议类型, 即维持执行冲突的协议解决方式不变, 而将既有的依赖性用依赖集实现其可串行性, 保证并发数据方位的数据库一致。当事务在提交后严重超出无故障事务时限则作回滚处理, 并顺次执行到该事务其下的连带事务上。由此只要有需要, 前期其提交事务都能被立即产生依赖性, 在依赖过程中可依据具体状态随时决定是否取消其被依赖资格。
总结
长久以来, 国内众多计算机应用行业文献都致力于对传统协议进行改进, 但多停留在或改善并发控制协议的并发度、或改良提交协议来提高食物管理的实时水平等单向度改进层次上, 分布式实时数据库在此问题改进上集成了二者优势, 令使协议适用于分布式实时系统环境, 设计了基于分布式实时数据库系统环境下, 并行交融并发控制和提交处理两个工作阶段的新协议方案, 解决了单向度改进协议无法全面解决的截止期问题。
参考文献
[1]庞惠, 翟正利.论分布式数据库[J].电脑知识与技术, 2011, 02:271-273.
分布式数据库技术应用研究 篇3
关键词:分布式;数据库;管理;数据
中图分类号:TP315 文献标识码:A文章编号:1007-9599 (2011) 07-0000-02
Application Research of Distributed Database Technology
Chen Xiangping
(Shengli Oilfield Company Dongxin Oil Production Plant,Dongying257000,China)
Abstract:With the development of computer network technology,distributed database technology is more widely used.This paper discusses the design is based on B/S structure of the integrated management information system the application of distributed database technology,and in the application process the principles of database design,structure and mechanism.
Keywords:Distributed;Database;Management;Data
分布式数据库技术是过去十几年中最重要的计算机发展成果之一。到八十年代中期,已出现了不少商品化的分布式数据库系统,如计算机公司等。尽管这些系统还不算完全成熟,但由于它们至少已经实现了分布和重复数据的透明管理、依靠分布式事务处理提高系统可靠性、依靠交叉查询和内部查询并行机制改善系统性能以及更容易和廉价的系统扩展,因而可以断定今后大多数组织将转向分布式数据库管理,集中式数据库系统将成为历史的过客。
一、分布式数据库结构模型
通常情况下,分布式数据库结构模型如图1所示。具体特征是:分布式数据库由分散在不同地域上的局部数据库和全局调度数据库两个强力自治的数据库功能实体有机合成。其中,局部数据库的设计实现多要配置集中式数据库管理系统(DBMS)和数据库(DB)。使用局部数据库主要完成用户专用数据存取的控制与更新,因此,各个局部数据库的有较强独立性;另外,局部数据库能够至少分享和执行一个全局调度数据库(节点中心库)所提供的全局应用功能,这种全局应用功能主要包括:远程信息检索调阅、公用信息随机存贮等[1]。
作为全局调度数据库多要配置分布式数据库管理系统(DDBMS)和数据库(DB)。该数据库部分主要完成数据库信才良的全局调度,并具体执行全局查询检索策略和并发应用管理策略。这里,全局查询检索策略主要完成用户查询语句转换和将其转变为一系列的可行数据库操作;并发应用管理策略主要完成数据库并发操作环境下的数据库操作管理与控制,并主要包括并发事务的排队处理与封锁管理等技术设计实现。
图1分布式数据库结构模型
从图1中可以看出:DDBMS主要包括网络数据字典、网络数据库管理、全局逻辑映射等功能实体;DBMS主要包括本地数据库管理、局部逻辑映射、存贮模式等功能实体。DBMS和DDBMS均应通过操作系统(OS)完成数据库的存贮访问与透明操作。
在分布式数据库开发设计过程中,网络数据字典至关重要,它不仅存有系统所需有关对象的描述信息和控制信息,以使系统能把用户对数据的高级查询转换成对相应存贮对象的低级操作,而且还应完成维护与管理功能,诸如数据分布、结构、使用和访问控制等维护和管理功能等。
关于分布式数据库中全局调度数据库与局部数据库的信息交互主要依靠两个条件支撑:1.利用全局逻辑映射与局部逻辑映射相接口,具体解决数据库结构转换和地域分片定位处理。2.数据库分布式功能实现与计算机网络环境设置密切相关,因此,作为分布式数据库的网络环境必须具有下述功能特性针对全局查询检索策略的优化设计,应对信息传输路径的优化选择提出可靠服务。针对网络数据管理,应在网络通信软件和数据库管理软件之问备有网络存取进程的必要接口服务。
二、分布式数据库技术在系统体系结构中的应用
(一)数据管理现状
由于生产管理需要,公司总部与各分公司之间经常要进行数据传递,公司总部需要动态掌握各分公司的日常生产数据。由于公司总部与各分公司处于不同城市,在业务上它们处理和存储各自的数据,如何处理分散的数据,实现公司总部与分公司数据更新同步,确保数据一致性、避免数据存储冲突是目前亟待解决的问题。
(二)数据库设计的基本原则
从全局应用的角度出发,将这些数据库自下而上构成分布式数据库系统,实现全局数据的完整性和一致性,各分公司仍然存放本公司的数据,总公司的数据库则存放所有业务数据,并对数据进行完整性和一致性的检查,这种做法虽然有一定的数据冗余,但在不同场地存储同一数据的多个副本,能提高系统的可靠性和可用性,也提高了局部应用的效率,减少了通讯代价。该分布式数据库系统可以在对当前机构影响最小的情况下进行扩充,增加新的分公司时只需增加一个节点就可以了,同时也使得各处理机之间的相互干扰降到最低。
(三)数据存储
分布式数据库系统可以通过复制、分片和复制加分片三种方式存储数据,因为各数据库之间存在一定的数据冗余,又存在着差异,我们使用了复制+分片的方式进行数据存储。
1.数据分片
在分布式数据库系统中,将关系分片,有利于按用户需求组织数据的分布,目前的分片方式有水平分片、垂直分片、导出分片、混合分片等四种。我们根据不同的数据关系采用了不同的分片方式:(1)在总公司与分公司的数据关系中,由于分公司的数据是总公司业务数据的子集,我们采用了水平分片的方式,通过并运算实现关系的重构。(2)在总公司数据库服务器与Web数据库服务器的数据关系中,数据是按照其应用功能来划分的,所以我们采用了垂直分片的方式。
2.数据同步
数据同步方式则根据系统需求使用事务复制和合并复制两种,由于分公司只存放本部门数据,数据管理和分析功能是由总公司的数据库服务器来实现,分公司只需将更新的数据发送到总公司的数据库即可,我们使用事务复制进行业务数据的同步,把分公司的数据库作为出版者和分发者,总公司的数据库作为订阅者,对分公司的数据建立快照代理,并在分发数据库中记录同步状态的信息。每一个使用事务复制的分公司数据库均有自己的日志读取代理,运行在分发者上并连接出版者[2]。分发代理的任务是将分发数据库中保持的事务任务直接推动到订阅者。当推订阅被创建时,每个为立即同步而建立的事务出版物通过自己的分布代理运行在分发者上并与订阅者相连。
(四)利用分布式技术实现事务处理
我们使用MS DTC作为事务管理器来协调各个服务器对事务的处理操作,为了减少网络故障对事务处理的影响,避免分布式事务造成不同服务器间数据的不一致,将分布式事务的处理过程规定为两个阶段,即准备阶段和提交阶段,就是常说的两阶段提交。在进行分布式事务处理时,我们首先在服务器端用Transact SQL脚本程序BEGIN DIS-TRIBUTED TRANSACTION语句启动一个分布式事务,将该服务器作为分布式事务管理服务器,然后脚本程序对连接服务器执行分布式查询或远程服务器上的存储过程,分布式事务管理服务器会自动调用MS DTC,使远程服务器参加分布式事务处理。当脚本程序执行COMMIT TRANSAC-TION、COMMIT WORK、ROLLBACK TRANSAC-TION或ROLLBACK WORK语句时,分布式事务管理服务器将再次调用MS DTC,用它来管理两阶段提交进程,使连接服务器和远程服务器提交或回滚事务。例如在业务系统中,如果主体数据库管理系统发现该数据在有重复录入,则需将该信息插入数据重复记录表中,同时在对应的局部的数据库中将该条记录的状态设为无效。我们在局部的数据库(DBServer1)中建立存储过程update-policy更新数据状态,在主体数据库服务器(DBServer)上执行以下脚本程序,启动一个分布式事务insert-reject系统执行insert-reject事务向DBServer中的reject表插入一条记录,同时更新对应的局部数据库中的对应数据表status字段,该事务使系统数据的完整性得到了保证。
三、结束语
分布式数据库技术引入系统体系结构中的应用后,有效的解决了总体和部分之间数据分散和集中管理的矛盾,实现了数据的共享和交换,有关分布式特性设计与分布式计算机网络环境的强力支撑能力密切相关。分布式数据库技术决非独立存在,它的应用与网络环境密切相关,或说两者正在融于一体。事实证明,分布式技术在远程数据管理中具有不可替代的作用。
参考文献:
[1]邵佩英.分布式数据库系统及其应用[M].北京:科学出版社,2005
[2]刘志敏.Oracle数据库应用管理解决方案[M].北京:电子工业出版社,2002
分布式数据库的主要特点 篇4
(1)、数据独立性与位置透明性,数据独立性是数据库方法追求的主要目标之一,分布透明性指用户不必关心数据的逻辑分区,不必关心数据物理位置分布的细节,也不必关心重复副本(冗余数据)的一致性问题,同时也不必关心局部场地上数据库支持哪种数据模型.分布透明性的优点是很明显的.有了分布透明性,用户的应用程序书写起来就如同数据没有分布一样.当数据从一个场地移到另一个场地时不必改写应用程序.当增加某些数据的重复副本时也不必改写应用程序.数据分布的信息由系统存储在数据字典中.用户对非本地数据的访问请求由系统根据数据字典予以解释、转换、传送.
(2)、集中和节点自治相结合。数据库是用户共享的资源.在集中式数据库中,为了保证数据库的安全性和完整性,对共享数据库的控制是集中的,并设有DBA负责监督和维护系统的正常运行.在分布式数据库中,数据的共享有两个层次:一是局部共享,即在局部数据库中存储局部场地上各用户的共享数据.这些数据是本场地用户常用的.二是全局共享,即在分布式数据库的各个场地也存储可供网中其它场地的用户共享的数据,支持系统中的全局应用.因此,相应的控制结构也具有两个层次:集中和自治.分布式数据库系统常常采用集中和自治相结合的控制结构,各局部的DBMS可以独立地管理局部数据库,具有自治的功能.同时,系统又设有集中控制机制,协调各局部DBMS的工作,执行全局应用。当然,不同的系统集中和自治的程度不尽相同.有些系统高度自治,连全局应用事务的协调也由局部DBMS、局部DBA共同承担而不要集中控制,不设全局DBA,有些系统则集中控制程度较高,场地自治功能较弱。
(3)、支持全局数据库的一致性和和可恢复性,
分布式数据库中各局部数据库应满足集中式数据库的一致性、可串行性和可恢复性。除此以外还应保证数据库的全局一致性、并行操作的可串行性和系统的全局可恢复性。这是因为全局应用要涉及两个以上结点的数据.因此在分布式数据库系统中一个业务可能由不同场地上的 多个操作组成.例如, 银行转帐业务包括两个结点上的更新操作。这样,当其中某一个结点出现故障操作失败后如何使全局业务滚回呢?如何使另一个结点撤销已执行的操作(若操作已完成或完成一部分)或者不必再执行业务的其它操作(若操作尚没执行)?这些技术要比集中式数据库复杂和困难得多,分布式数据库系统必须解决这些问题.
(4)、复制透明性。用户不用关心数据库在网络中各个节点的复制情况,被复制的数据的更新都由系统自动完成。在分布式数据库系统中,可以把一个场地的数据复制到其他场地存放,应用程序可以使用复制到本地的数据在本地完成分布式操作,避免通过网络传输数据,提高了系统的运行和查询效率。但是对于复制数据的更新操作,就要涉及到对所有复制数据的更新。
(5)、易于扩展性。在大多数网络环境中,单个数据库服务器最终会不满足使用。如果服务器软件支持透明的水平扩展,那么就可以增加多个服务器来进一步分布数据和分担处理任务。
分布式数据库的优点
(1)具有灵活的体系结构 。
(2)适应分布式的管理和控制机构。
(3)经济性能优越 。
(4)系统的可靠性高、可用性好 。
(5)局部应用的响应速度快。
(6)可扩展性好,易于集成现有系统。
分布式数据库的缺点
(1)系统开销大,主要花在通信部分。
(2)复杂的存取结构,原来在集中式系统中有效存取数据的技术,在分成式系统中都不再适用。
(3)数据的安全生和保密性较难处理。
分布式数据库技术 篇5
Twitter已经从以往的数据存储开发经验中提出一个名为 Gizzard的Scala框架,让用户可以更方便地创建自定义容错、分布式数据库,Twitter给出了一个名为“Rowz”的示例,方便用户上手,
Twitter还公布了Gizzard的完整代码。有了Gizzard,初创公司和小公司就可以更好更快地处理大量数据,从而利用更少的资源满足用户需 求。
项目主页:www.open-open.com/lib/view/home/1339141537578
分布式数据库技术 篇6
具有部分缺失数据两个几何分布总体的估计
讨论了具有部分缺失数据两个几何分布总体的参数估计,证明了估计的.强相合性和渐近正态性,为几何分布总体的统计推断问题提供了一种解决的方法.
作 者:朱五英 ZHU Wu-ying 作者单位:安徽工程科技学院,应用数理系,安徽,芜湖,241000刊 名:安徽师范大学学报(自然科学版) ISTIC PKU英文刊名:JOURNAL OF ANHUI NORMAL UNIVERSITY(NATURAL SCIENCE)年,卷(期):200831(1)分类号:O212.5关键词:缺失数据 极大似然估计 极限分布
分布式数据库技术 篇7
1 数据库访问中间件的性能与特征介绍
数据库中间件是介于系统软件、应用软件二者间的软件, 该软件可以确保应用层内部不同应用成分间协调运转。在整个电子业务交换平台上, 该中间件占据着关键的位置, 能够发挥十分重要的作用。
在整个的系统中, 数据库中间件的位置相对特殊, 位于数据库、应用程序二者中间, 发挥着数据交流与转换等作用, 且关键针对于应用程序和相关数据源间的数据转换, 该数据源主要指的来自于本地、异地、同构、异构等的数据源。总体来看, 数据库中间件发挥着桥梁、纽带的重要作用, 主要用在应用程序和数据库二者之间, 发挥着数据通讯通道的作用。
每逢客户端应用程序发射SQL请求命令, 服务器接到这一命令, 对应的数据库中间件会对请求命令做出处理, 同时, 也要把这一命令发送至数据库服务器, 这样在服务器的作用下, 数据库就会得到相应的处理, 再将把SQL处理结果凭借中间件返归客户一侧。数据库中间件在实际运用过程中, 体现出多方面的优势和优点, 具体体现在:便于集成、方便扩充、易于使用、便于操作, 安全等。
2 分布式网络中数据库中间件技术
数据库中间件系统有着一定的结构, 其中包含多个部件, 不同部件之间相互支持、相互作用, 从整体上打造出一个中间件系统, 发挥整体的优势功能。图1 为中间件系统的结构图。
2.1 数据库中间件的系统构成
2.1.1 信息接收部件
该部件同服务器、业务系统直接联系起来, 其接口被科学定义, 当客户一端有SQL数据请求时, 接口能够有效接收该数据请求, 同时检测此请求是否合法合规, 再将此命令传输至数据库脚本提取部件。
2.1.2 数据库脚本提取与执行部件
当该部件收到SQL数据请求后, 会对其脚本信息加以提取, 同时传输至执行部件, 脚本执行部件则负责执行操作, 同时将所获得成果形成特殊的文件格式, 通常为:XML格式, 再形成此格式的数据包, 使其传输到数据发送部件。
2.1.3 数据发送部件
数据包抵达发送部件后, 数据发送部件进入运行状态, 负责向客户端程序发出数据发送请求, 如果能够获得客户端应用程序的许可, 数据发送部件则会负责把来自于执行部的信息进一步传输, 使其抵达应用程序。
2.2 部件的设计
以一定的开发平台为基础, 来设计数据访问中间件, 主要平台为:J2EE。其中不同部件间, 及其同应用服务器之间能够进行有效的数据传输, 这其中依赖于EJB组件得以协商。为了确保数据访问与传输的速度与效率, 各项设备、组件之间的数据传输都依赖于定义规范的接口, 而且通常采用XML实现组件间的数据直接交换。
中间件内部包括4 大关键性部件, 都统一采用EJB组件。不同的部件被设置成类文件。其中包括Receiver, Sender等。Receiver (接收文件) 则涵盖两大方法:
(1) 接收方法:负责收录SQL数据请求, 此请求多来自于业务系统;
(2) 检查方法:负责对所受到的SQL数据加以检查, 分析其是否合法。其数据构造包括:消息标志、数据长度、类别、服务器地址等。不同的数据结构发挥着不同的功能, 其中消息标志负责check请求命令, 检测其是否合法, 当检测为合法, 消息标志将设置成真, 继而将数据进一步传输, 相反不合法, 则暂停传输。
Send XML具体实现过程中, 必须把握好关键点:
(1) XML语句必须同数据库内部各个表中的某一字段。
(2) 对不同类的操作必须做出标识。
(3) SQL语句的实际数值需要形成特殊标识。
SQL Picker则主要涵盖两大方法:
(1) 分析接收部所收到的各种数据信息, 瞄准数据库, 并将其中的脚本信息进行有效提取。
(2) 将所提取的脚本信息通过一定的形式进行传输, 使其抵达脚本执行器。
执行器则覆盖三大方法, 具体指代的是:
(1) 分析脚本数据信息, 对数据源实施有效地分离、归类, 再对应加以判断, 如果其中出现了费正确信息, 则要对应发出提示。
(2) 有效分离并执行, 来自于提取部件的XML信息。
(3) 通过XML的形式, 将执行结果加以传输, 最终抵达发送部件。
Sender则涵盖两大方法:第一种方法为:数据信息尚未正式传输前, 将返回结果数据请求加以发送, 最终的发送目标为:客户端应用程序。第二种方法:请求获得许可的前提下, 对数据信息进行传输, 使其抵达应用程序。
由此可见, 不同的部件发挥着不同的作用, 而且相互之间有效配合、集中统一运作, 最终打造出一个可以彼此协调、支持性运作的系统, 从而形成了以XML为基础的系统模型, 发挥着数据的访问与传输等功能。
总体来看, 数据库中间件主要发挥信息数据传输的通道, 确保数据从客户端到服务器端的传输。一般来说, 中间件同客户端实施特殊的信息通讯模式, 确保不同的应用程序可以共同针对相同的数据信息来实施访问, 以此来有效增强数据库的访问程度。
3 总结
分布式网络中数据库中间件系统发挥着重要的功能和作用, 本文主要介绍了数据库中间件的性能与特征, 同时对中间件系统的设计进行了详细的论述。该中间件有效克服了各类数据库之间信息的交流、访问与传输问题, 确保了数据访问水平。
摘要:分布式网络中数据库中间件系统发挥着重要的功能和作用, 本文主要介绍了数据库中间件的性能与特征, 同时对中间件系统的设计进行了详细的论述。该中间件有效克服了各类数据库之间信息的交流、访问与传输问题, 确保了数据访问水平。
关键词:分布式网络,数据库中间件,性能,特征,设计
参考文献
[1]智永锋, 张骏.基于XLM的数据库访问中间件设计与实现[J].计算机应用研究, 2011 (11) :87-89.
[2]廖湘琳, 张宏军, 赵振南等.数据访问中间系统设计与实现[J].计算机工程, 2010, 7 (32) :86-87.
分布式环境中数据存储技术的研究 篇8
关键词:分布式;数据存储;数据库
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2014)03-0455-02
1 数据存储技术的现状
近年来,随着计算机技术和网络技术的迅猛发展,依靠先进的技术进行网络化办公已经成为现实。越来越多的企业、政府机构、社会团体借助计算机技术将业务主体进行科学的专项设计和应用,用户只需要少量的终端设备就可以对大量的数据进行处理和分析。另一方面,随着人们对互联网依赖程度的逐步加深,伴随“大数据”等新概念的提出和发展,产生的数据量也呈现爆炸式增长。新数据的产生和原始数据的不断积累,导致占用的存储容量越来越大。因此,如何扩展服务提供商器的存储能力已经成为当前科研领域的重要研究热点。
目前,能够有效提高数据存储能力的方式主要有两类解决方案。一类是新增硬件的方法提高存储能力。由服务提供商采购新的存储设备来拓展服务器的存储能力。另一类是在不改变现有硬件设备的条件下,服务提供商改善数据存储软件,优化存储信息的方式,通过分类和分解数据的形式提高存储能力。第一类解决方案存在明显的弊端,服务提供商的购买能力是有限的,无法从根本上解决难题。另一类目前已经得到国内外行业的普遍认可,各大数据服务提供商投入大量人力和物力,加快了数据管理软件的研发脚步,一系列的数据库产品营运而生,像Google Spanner,Cassandra,MongoDB,MySQL Cluster等[1]优秀的产品为分布式环境下有效的管理数据,优化存储提供了先决条件。
2 分布式环境下数据存储的应用特性分析
通过大量实践可以看出,对于大量数据的处理效率往往与数据本身的可操作性有着紧密联系,所以有必要对分布式环境下的数据应用特性进行合理的分析和总结。分布式数据库主要有以下三个特点:
2.1 数据库存储的数据在逻辑上是集中的,在地理位置上是分散的
分散的数据单元所在的物理位置是透明的,通过通讯线路和协议进行相互沟通。这点有力的说明分布式数据库存在数据的“分散性”。
2.2 用户对数据进行的任何操作都有一个统一的DBMS进行调度
用户不必关心数据的并发处理、副本调度等问题,即使局部数据单元发生数据故障,统一的DBMS仍可以进行调度和工作。这点有力的说明分布式数据库存在管理上的“集中性”。
2.3 用户对任何数据进行例如添加、删除和查询操作时,每个数据单元都各有一个小型的数据管理系统,都有各自的DBMS,多数处理就地完成
这点有力的说明分布式数据库存在操作上的“自治性”。
3 分布式数据库系统的设计
在分布式环境下,对于数据库的设计要求还没有统一的标准。该文通过总结和分析整理国内外相关资料,认为一个可操作的分布式数据库系统,应具备四个功能,如图1所示。
3.1 数据分发[2]
数据分发的建立打破了传统数据存储模式,它使物理上分散的数据单元成为逻辑上统一的整体,数据模块之间通过数据链路进行连接,通过形式统一的数据接口和协议进行通讯。合理的数据分发模块能够解决数据在远距离存储上存在的异构问题。
3.2 并行处理
由于数据存储过程中的分散性和自治性的特点,使得并发处理功能就显得尤为重要。并行处理问题发生的情况分为三种:时间并行,空间并行以及时间和空间同时并行。并行处理功能要求数据库要有很好的事务机制处理办法,提供有效的并发解决方案。
3.3 SQL解析
由于大量数据库管理系统和操作系统存在异构的特点,SQL解析功能就显得尤为重要。SQL的语句首先被数据库管理软件转化为ASCII码,然后由解析器分三个环节进行解析。首先是语法解析,通常会从数据字典、对象比较、游标等方面检查用户输入的语法是否存在错误;其次是语义解析,为用户输入的语句建立语法树,对语义中提到的程序、表、字段等方面进行检查;最后是执行语法过程,将操作结果进行打包后传递给DBMS。[3]
3.4 汇总处理
汇总处理的目标是从分散的数据模块中提取用户需要的数据,并进行必要的处理后呈现在用户面前,形成一个完整的、统一的大型数据库。
4 总结
分布式数据存储能够不改变现有硬件设备的条件下,充分利用现有资源为用户服务,为用户提供快速灵活的体验,同时可以减少投入,提高设备利用率。随着数据存储技术的不断发展和成熟,能够在不同领域中得到更广阔的发展。
参考文献:
[1] CunchenLi,JunYang,JingHan,HaihongE.The Distributed Storage System Based On MPP For Mass Data[C].2012 IEEE Asia-Pacific Services Computing Conference.GuiLin,Guangxi:EEEE, 2012:384-387.
[2] 杨俊.海量数据分布式存储技术的研究与应用[D].北京邮电大学,2012.
分布式太阳能技术(最终版) 篇9
第一档(月):180度以下,收费标准在0.56元/度
推荐安装1KW-2KW发电设备,投资1—2万元左右,全部自用成本回收年限7年左右,全部出售给电网公司成本回收年限(按卖电0.43元/度算)8年左右。
综述:成本回收年限在7—8年左右
第二档(月):180度—260度,收费标准在0.61元/度
推荐安装2KW-3KW发电设备,投资2—3万元左右,全部自用成本回收年限6.7年左右,全部出售给电网公司成本回收年限(按卖电0.43元/度算)8年左右
综述:成本回收年限在6.7—8年左右
第三档(月):260度以上,收费标准在0.86元/度
推荐安装3KW以上发电设备,投资3万元以上,全部自用成本回收年限在5.5年左右,全部出售给电网公司成本回收年限(按卖电0.43元/度算)8年左右
综述:成本回收年限在5.5—8年左右
投资家用太阳能发电不仅在一定程度上摆脱对传统电力的依赖,还是一份高回报无风险的对未来收益拥有充分保障的投资,更是您对全球碳减排做出的一份努力。江阴中望光伏科技有限公司,专业提供太阳能发电一站式服务,质量有保障,如果您有相关需求,请拨打我们的联系电话:400-600-5338。
家用、屋顶按阶梯电价算(算上国家0.42元补贴,若地方暂无补贴):
第一档(月):180度以下,收费标准在0.56元/度
推荐安装1KW-2KW发电设备,投资1—2万元左右,全部自用成本回收年限7年左右,全部出售给电网公司成本回收年限(按卖电0.43元/度算)8年左右。
综述:成本回收年限在7—8年左右
第二档(月):180度—260度,收费标准在0.61元/度
推荐安装2KW-3KW发电设备,投资2—3万元左右,全部自用成本回收年限6.7年左右,全部出售给电网公司成本回收年限(按卖电0.43元/度算)8年左右
综述:成本回收年限在6.7—8年左右
第三档(月):260度以上,收费标准在0.86元/度
推荐安装3KW以上发电设备,投资3万元以上,全部自用成本回收年限在5.5年左右,全部出售给电网公司成本回收年限(按卖电0.43元/度算)8年左右
综述:成本回收年限在5.5—8年左右
投资家用太阳能发电不仅在一定程度上摆脱对传统电力的依赖,还是一份高回报无风险的对未来收益拥有充分保障的投资,更是您对全球碳减排做出的一份努力。江阴中望光伏科技有限公司,专业提供太阳能发电一站式服务,质量有保障,如果您有相关需求,请拨打我们的联系电话:400-600-5338。
家庭屋顶怎样安装光伏发电系统?
发布者:gaoming发布时间:2016-08-17 10:39:54浏览:100
近年来,太阳能光伏发电这一绿色能源走进了人们的视野,我们看到一些山上排布整齐、大气的蓝色光伏组房以及一些居民区屋顶上也会发现光伏发电系统。光伏发电开始走进了我们的生活中,有不少朋友很好奇,太阳不能也安装一套呢?不要着急,下面PVtrade光伏交易网来给您介绍一下屋顶到底怎么安装太阳能光伏发电系统
1、安装光伏发电系统的屋顶类型要求
一般情况下分为水平屋顶和斜屋顶,水平屋顶即屋顶是平面的,主要以水泥屋顶为主。斜屋顶包括彩钢斜屋的话,南方一般以角度大的斜屋顶资源为主;中部地区兼有,而东北地区则大部分是陶瓦屋顶资源。
日常用电单位为千瓦时,安装太阳能光伏发电系统通常以功率单位千瓦来计算。安装设备位置主要以向阳面光伏发电系统大小,详细参考如下表:
2、光伏发电设备安装条件
这些数据是怎么计算的呢?由于水泥屋顶放置光伏组件时,需将组件倾斜一定角度,用以保证光照尽可能垂光伏支架将组件固定,为避免前后排组件间遮挡,要空余一定间隔。间隔大小根据地区有所差异,一般每千瓦光平米左右。斜屋顶可直接敷设于屋顶上,因此可忽略间隔,而斜屋顶每千瓦组件需屋顶面积在10-15平米左右。
在安装光伏系统时,首先要保证在避免破坏屋顶的情况下安装。
对于水泥平屋顶来说,对于使用防水层的屋顶,比如覆盖沥青等。要尽量避免在屋顶打孔,可采用放置水泥基础下面垫橡胶垫以保护防水层,并防止水泥基础的滑动。
对于斜屋顶而言,瓦式屋顶需将瓦片掀起,将陶瓦挂钩固定在房梁上或水泥层上。因此部分地区建造房屋顶致陶瓦挂钩附着力下降,因此要寻找更合理的方式安装;彩钢屋顶可根据彩钢类型进行夹具式或打孔式安装,打
3、光伏发电系统发电量
对一般家庭来说,安装一套3-5kW光伏发电系统即可满足日常用电所需。例如河北地区一套3千瓦系统平以供给户用个体使用。
由于地区不同,下面以3千瓦光伏发电系统为例,光伏交易网为您整理了各地区3千瓦系统每日发电量汇总
若您不属于以上城市,可根据就近原则作为参考,由于安装角度不同、光照情况的变化以及设备的差异,可若想要系统达到较高的性价比,需要更合理的优化匹配才行。
四、安装光伏发电系统价格
大多数人最关心问题大多集中在价格方面。根据现在光伏市场上光伏发电系统平均价格计算,一套3千瓦的而安装环境难度及光伏产品品牌和质量等也会影响价格的高低。
光伏发电已经成为很多朋友关注的热点,那么光伏发电系统到底是什么样子?我们自家屋顶想要安装需要知道哪些东西呢?
首先我们应该了解大致流程是什么,下面笔者为大家介绍一下如何安装一套家用光伏系统。
一、根据屋顶情况计算装机容量
一般情况下,我们估算自家屋顶能够装多大光伏系统,可根据下面公式进行计算:
水泥平屋顶:装机量=80瓦/平米×屋顶面积;
彩钢或瓦屋顶:装机量=100瓦/平米×屋顶面积;下面是笔者为大家测算的装机量可供参考:
二、光伏系统发电量
对一般家庭来说,安装一套3到5kW的光伏发电系统即可满足日常用电所需。例如河北地区一套3千瓦系统平均每天可发电12度电左右;5千瓦系统一天发电量平均在20多度,天气较好的时候可达到30度以上,足以供给户用个体使用。由于地区不同,温度和光照条件不同,所有发电量会有所差异。
三、了解当地光伏补贴政策
想要安装光伏发电系统,了解补贴政策必不可少,这关乎到我们能够获得多少收益!光伏补贴分为国家补贴和地方补贴,国家补贴为0.42元/度电,共补贴20年,地方补贴因各地政策不同而有所差异,今后笔者会将汇总的地方补贴政策陆续分享给大家。
一般家用系统的光伏补贴主要和我们的上网模式有关,分为两种情况:
1.自发自用,余电上网模式:即光伏所发的电量优先为用户的家用电器等设备使用,用不完的电量卖给国家电网。当然,所发电量不够用时,家用设备用电还需要从电网取电。
补贴金额为:自用电量×(国家补贴×补贴年限+地方补贴×补贴年限)
其中:国家补贴0.42元/度,补贴20年;各地方补贴政策不同,详细情况可加笔者微信进行咨询。
2.全额上网模式:所发电量全部卖给国家电网。
补贴金额为:发电量×(国家补贴×补贴年限+地方补贴×补贴年限)
其中:国家补贴0.88元/度-0.98元/度,补贴20年;各地补贴政策不同。
按照河北(冀南地区)补贴条件计算,假如一天发电25度,按照全额上网测算:
日收益为:22度×(国家补贴0.98元/度+地方补贴0.2元/度)=25.96元
年收益为:25.96元×365天=9475.4元
按照全额上网模式计算,我们一年的收益可以达到9475.4元左右。大家可以根据两种收益进行测算比较,选择收益较高的上网模式。(算法不清楚的也可咨询笔者哦!)
四、系统成本报价
看完了每年能得到的补贴,有人会问,我们建这一套系统需要多少钱呢?下面笔者为您呈上设备价格单,以供参考:
注:产品价格根据品牌、采购量、时间等有所差异,以上价格仅供参考。
由上表可知,一套5千瓦的光伏系统基本在8.5元/瓦的价格,一套系统做下来要在4万多元左右。不同的厂家产品价格会有所差异,但是笔者需要提醒大家不要贪图一时便宜,买到不合格的产品哦!辛辛苦苦安装好的光伏系统,若是没几年就不发电了,咱们岂不是要赔惨了?
五、并网申请流程
知道了安装系统的相关知识,我们还需要到电网公司进行并网申请,保证安装好后能够与电网相连,才能拿到补贴和售电收益!
第一步:带上身份证,房产证(土地使用证),到当地电力局,规模不同受理单位是不一样的,家用系统到区县电力局就可以办理。
第二步:制订接入系统方案,这一步是电网公司完成的,不需要你做,静等消息吧,当然,有些地方电网公司会让你等得比较久。
第三步:确认接入系统方案,这一步主要就是确认是全额上网还是余电上网,一般来说,业主用电电价比较高且用电量较大的适合自发自用模式,否则直接选全额上网即可。
第四步:出具接网意见书,就是原则上同意接入电网了。
第五步:找一个有资质的施工单位吧,参考以上的表格价格去谈价吧,太低的价格可是做不出来好的系统的,最好是选择正规可靠的厂家,不要贪图一时的便宜,安装的系统质量无法保证,售后找不到人可就悲剧了哦!
六、建光伏电站
现在开始建电站了,首先施工方会来看场地,并出初步的图纸,一般有平面图,效果图,工程预算等,现在一般选用255W-260W组件,系统示意图见如下。
电气连接示意图
组件安装示意图
有经验的工程队大约只需要二个工作日即可完成施工,这个过程是非常快速的,然后,你家的屋顶上就多了一个漂亮的光伏电站啦!
七、并网验收
分布式数据库技术 篇10
具有分布式结构的VXI解决方案可以快速有效地处理因地域差异带来的问题。例如,德克萨斯的石油工程师监测位于迈阿密的一口油井,人们想知道这口井能够生产多少石油、气和水,判断它是否需要校准、维护或其它人工干预。传统的方法需要一个技术员携带所需要的仪器来到油井边,在准备好的表格上记录测量结果,然后将信息传真到办公室,或在计算机上记录数据,并将其通过调制解调器连接到电话线上,用电子邮件来传递信息。
测试工程师也可采用以下这种方案: 从德克萨斯的办公室上互联网 打开Web页自制一个用于记录结果的表格 点击指定的空白区域此时,位于井边的仪器自动执行适当的测试并在表格上显示文本或图形数据,同样,这种方式也可在无人情况下完成设备校准、故障清除等远程服务。
模式变迁
根据测试方法,测试结构被划分为两种类型: 线形分布式结构 远程分布式结构在线形分布式结构体系中,所有的测试工具和测试仪器――服务器、数据库管理器、数据统计进程控制硬件和软件等――都顺次连接在一个局域网上。远程分布式结构则假设仪器和控制机之间的地理距离在同一端,有关它们的进程控制则在另一端进行。这种方式包括远程监测和远程控制。
计算机通讯技术的发展使建立这种测试体系成为可能。目前,局域网技术已经得到广泛应用,远程仪器I/O标准也接收了TCP/IP协议,数据库服务器已经可以升级为远程数据服务器。这些都使各种类型的通讯成为可能。不管在一座楼内还是地球的两端,测试工程师们现在都可以利用它们来协调生产进程。已经有一些标准协议和产品如超文本传输协议(http)等提供了基本构架。很多开发环境也允许开发无缝的分布式应用程序。然而,虽然像Microsoft Visual Basic这类开发环境提供了网络应用程序的开发功能,但它们缺乏测试方面所需的一些特殊要求.惠普公司开发的可视化工程环境(简称HP VEE)和美国国家仪器公司开发的LabView等一些图形化的编程环境可用来解决这个问题。利用这些工具,测试工程师在构筑测试解决方案时只需知道域名或IP地址。再通过Netware或其它的互联网浏览器连接远程端点,简化用于两地通讯所需的软件设计工作量。
图形化编程
传统的程序设计语言需要知道关键字并遵循复杂的语法规则才能产生出成百上千行代码――这些代码很容易出现语法问题以及逻辑错误。相比之下,图形编程工具有效地利用了当今图形用户接口的点击特性。编写程序只包含以下的一些简单步骤: 用鼠标选择仪器函数作为对象 描述测试步骤和对象之间的关系 建立初始条件运行结束后,环境会自动以图形方式显示测量结果。而用传统的编程方法实现一些特定的工作如创建图形显示方式、支持鼠标和键盘控制、选择输入输出显示特性、增加程序的保密性等,可能需要几天的时间。
这种更加直观的方法可以降低80%以上的编程时间,更重要的是测试工程师认为图形技术更加方便有趣,从而鼓励他们在更多的场合应用这些工具。另外,此软件还支持众多厂家生产的仪器驱动器,包括遵循VXI即插即用标准的所有仪器模块。它还用直接I/O方式控制如下类型的仪器: GPIB RS-232 VXI 基于局域网 GPIO利用HP VEE、PC和工作站还可直接控制VXI的背板总线。
对用户的透明度
远程分布式结构体系之所以得到广泛认可的原因应归功于它大大降低了用户和他访问的信息以及信息本身之间存在的臣离所引起的问题。简单地说,不管测试仪器在同一个房间.在其它建筑物内,在另一个州或在地球的另一端.软件的操作方式都是一样的。
假设分布在全球各地的地面监测站需要控制位于一个卫星上的仪器。操作者必须知道卫星运动的方式以及需要实时监测的功能。因此,每个操作者必须知道监测链上前一位操作者所做的工作。
惠普公司通过利用VXI技术设计了一种灵活的解决方案,它使操作者之间、操作者和卫星之间密切配合,代替了以往那种操作权转移方式。这种技术还可以应用在一些危险环境中进行的测量过程,比如炼钢厂或其它充满高温或腐蚀性空气的环境,不适合工作人员在同一所房间内监测和控制仪器。另外一个应用是从一个大的测试单元检查测试参数.比如一架天线或飞机的翅膀.这些都需要在不同地点设置多个VXI机箱来执行所需的测试,而网络技术则允许在一个中心控制点来处理所有仪器。还有一个就是仪器共享问题。假设一个工作组中有若干个科学家.他们都需要用到位于指定地点的一个价格昂贵的仪器集。VXI技术和互联网技术的结合使得他们可以在各自的实验室使用这些仪器。
我们可以想象这样一个过程:生产者将生产线上所有的测试点连接到指定服务器上,这台服务器上有一个Oracle数据库和所有结点需要的测试程序。这样,生产线上的操作者在扫描粘贴在传送带设备单元上的条形码并传送给服务器后,由它来选择合适的测试方案并通知相应的测试设备,并决定所要测量的部件和参数。操作者只需将设备单元安装到固定的机架上,按下按钮即可,测试结果会自动返回给服务器。
远程诊断
测试工程师可以利用互联网技术来排除远在1英里以外的设备故障,从而提高设备的利用率,并降低维修费用。例如,我们在服务器上设置了设备诊断、校准和自检专家库,为位于吉隆坡的测试点分配一个IP地址,这样,远在美国圣大菲的测试工程师就可以通过测试点提供的信息来运行设备的诊断和校准程序,当然,所有这些都需要通过专用软件才能进行。
在不远的将来,服务器将支持在一个测试点上运行多种传输协议。通过膝上型电脑,测试人员可以浏览各个测试点信息,并在相应测试设备上运行诊断系统。“热链接”(超级链接)技术允许访问驻留在第三方系统上的校正系统,测试点可直接下载而不需测试人员身临其境。
扩展仪器功能
假设我们拥有一个Web页,一个拥有自己的http服务器和html页的仪器,将仪器的IP地址通过“热链接”技术同Web页连接起来。用鼠标点击热点“校准”就可以访问到校准Web页,它包含仪器的标准规范和校准程序。如果需要寻求仪器生产厂家的支持,第三方的超级链接可直接连接到提供此项服务的主页上。它可以自动将我们使用的软件或硬件升级到最新版本。
如果仪器在其内部有一个http服务器和Web页,那么就很容易得到厂家的技术支持,用户的操作也相应被简化。仪器的Web页应包含其基本的使用说明文档,同时为了帮助那些身体残疾的客户,这种在线帮助系统甚至还可以使用视频或音频校准功能。当然,它还应支持硬拷贝和打印功能。在这种结构中,仪器就不需要连接到GPIB总线或VXI机架上,而只需象协调其动作的PC一样,连接到局域网上即可。
创建一个解决方案
回过头我们再看一下上面提到的有关卫星的那个例子。惠普公司最初的解决方案是利用叠架式仪器。它采用一个支持VXI组织TCP/INST协议的局域网/GPIB总线转换器,即HP E2050来实现以上测试过程,这种系统通过HP E2050连接到局城网上,然后用GPIB母线和仪器连成一体。再把分布在世
界各地的、驻留有测试仪器控制程序的测试点工作站组建一个测试广域网,实现远程分布式测试。
基于VXI的`解决方案是把HP E2050转换器连接到0槽控制器上,或把内嵌式控制器配置为一个支持TCP/INST协议的服务器,这样控制器通过端口就可以和局域网连接起来。TCP/INST协议是HP实验室的研究员在标准RPC机制的基础上开发出来的一种局域网传输协议。随后,VXI组织将其接纳并作为分布式VISA的基础。采用此协议的HP VISA可通过HP E2050访问仪器或运行在服务器上并具有VXI、串口、GPIO接口的控制器,而所有这些只需知道HP E2050或控制器所属的域名或IP地址。
需要解决的问题
虽然组建分布式测试体系的可能性已经存在,特别是一些计算机技术的出现为其注入了新的活力,然而它还达不到我们理想中的完美程度。这主要是因为互联网上数据的传输率低且不受控制,其结果是从远地通过不同路径在电话线上传输的数据包不会按照正确的顺序到达指定地点。这个瓶颈通常来自一些特殊的局域网,尤其是小公司组建的局域网。另外,在数据包横跨美国大陆时,一些不可靠的传输协议会导致70%左右的内容丢失,其结果使数据的传输变得更加缓慢。另外,工业标准变动过快也是一个不容忽视的问题。
这些因素都影响到了分布式测试程序的正常运行。因为在一个分布式解决方案中包含计算机间的通讯进程,所以应用程序内存驻留数据在网上传输和在另一个计算机进程的内存中等待所需要的时间都会影响到测试结果。传输率不仅和机器本身的速度有关,也和局域网上所运行的协议有关。例如,理论上,以太网的传输速率可达到10Mbps,但如果考虑到以上这些因素,实际上它只能达到1Mbps甚至更低,远远低于一些数据采集方案的要求。
在一些数传速率要求不高的场合,可以考虑采用无钱解决方案,使远程地点不再需要传统的电话线才能通讯,从而降低费用。它只需要以下这些设备,如一台PC、所需的仪器系统、移动电话调制解调器和太阳能电池板就可以组建一个完整的、自包容的且价格低廉的监测站,使分布式测量得到广泛应用。
智能化体系
目前的分布式系统――包括远程主机和远程进程仍然采用一种主从式结构,它极大地限制了软件对另一端的控制能力。对于测试过程和测试参数的监测,必须在智能化前端机进行的系统,这种结构由于互联网的低数传速率和不可控制等因素的存在,使其无法得到应用。
增加前端机测试软件的功能,减少测试仪器到服务器的数据传输量也许可以解决这个问题。这种方案要求仪器在不需要远程服务器干涉的情况下,本身就具有独立采集数据和分析数据的能力。比如,每台仪器拥有一个JAVA虚拟机,可以通过当前的Web协议下载JAVA进程。
结论
【分布式数据库技术】推荐阅读:
分布式数据库系统07-18
分布式并行数据库07-13
分布式数据库优化10-10
远程分布式数据库11-05
分布式数据库安全问题06-11
分布式数据服务05-08
分布式数据处理06-14
分布式数据采集09-15
分布式传感器数据库论文06-01
分布式异构数据库访问10-08