数据透明性（精选8篇）
数据透明性 篇1
0 引言
逻辑上的集中、物理上的分布的分布式数据库结构是分布式数据库系统在系统结构上的真正含义。物理上分布后的数据,由系统进行统一管理,我们看到的似乎是一个数据模式为全局数据模式的集中式数据库而不是一个分布式的数据库。
分布式数据库管理系统和分布式数据库,是分布式数据库系统的两个重要组成部分。分布式数据库系统具有复制透明性和位置透明性两大特性,使用户看到的系统如同一个集中式系统。
同构异质型DDBS、异构DDBS和同构同质型DDBS是分布式数据库系统的三种分类。各个场地都采用同一类型的数据模型,但数据库管理系统是不同型号的,是同构异质型DDBS;各个场地的数据模型是不同的类型,是异构型DDBS;各个场地都采用同一类型的数据模型,便是同构同质型DDBS。
从数据处理的角度来说,典型的集中式结构是数据集中存放和处理,用户通过网络或通过远程终端连续来共享集中存放的数据。当然,分布式结构是相对集中结构而言的。
将数据及其处理分散在不同场地便是日常我们所说的分布式结构,各场地通过网络系统相互连接,同时又各自管理一部分数据。各场地的用户可以同时访问和处理别的场地的数据,也可以访问和处理本地数据。
分布式数据库作为分布式结构的典型。在设计的时候,会遇到许多没有在集中式数据库设计中出现的问题,而必须认真对待和解决主要问题便是一致性。
1 分布式数据库系统和系统透明性的一些概述
分布式数据库系统(Distributed Database System DDBS)是属于地理上分散,而管理上又需要不同程度组织提供数据管理和集中管理的信息管理系统。可以将DDBS看成是“计算机网络+数据库系统”两种技术的互为融合和渗透。
分布式数据库由两大部分组成,上面部分是在集中式数据库的基础上进行增加的模式级别。其包括:全局概念模式、分片模式、全局外模式和分配模式。局部概念模式可以采用局部场地的DBMS所支持的数据模型。例如本案中将阐述的以学校为结点建立的集中式数据库系统,这就是一个应用局域网的基础上的系统。然后,可以通过分布在不同校区的服务器,然后在互联网上实现第二层的链接,这样同构分布式数据库系统便被构成了。局部和全局概模式全部支持SQL Server 2000的数据模型。
1.1 关于分布式数据系统透明性
分布式数据系统透明性包括以下三个层次:位置透明性、局部数据模型透明性和分片透明性。
分布式数据系统透明性一共可分成四个等级:无透明、非透明、全透明、次透明。
若在分布式数据库系统已经有效提供分片透明性,当然它同时也提供局部数据模型透明性和分配透明性。也就是完成了分布透明性的最高级别完全分布透明性。而这个时候,对用户程序而言,他们所面对的分布式数据库系统,就不必考虑数据的分片细节,也不必考虑个站点上数据库是什么数据模型,不必关心个片段的副本情况,按一般的集中式数据库一样看待就可以。
通过系统对透明性实现方法进行分析。
在B/S结构基础上,让分布2.1.NET与SQL SERVER结合实现的分布式数据库系统。我们就可以采用Visual Studio.NET作为开发工具;同时,根据SQL Server和.NET的强大功能,用ADO.NET作为WEB Server中与SQL Server2000相接的工具,用ASP.NET作为我们在基于B/S结构的教务系统的脚本开发语言。由此可以设计出由SQL Server完成的后端数据库管理和前端的WEB服务器。而在实践行动中也证明这一点是可行的。
1.2 关于实现分布式数据库透明性方面。
针对这一点,我们可以充分利用SQL Server所提供的复制技术对分布式数据库中存在的一致性和透明性问题进行有效解决。而在两个数据库之间进行复制时,S0L Server可以一种称为“松散一致”的复制模式进行实现。例如:在解决公共选修课登分的问题上,我们可能使用SQL Server的存储过程,通过对WEB Server以事务的形式来调用各SQL Server(由于各个分校的服务器中都是以SQL Server作为数据基于B/S结构的分布式的教务管理系统库管理器)的存储过程来将分布式数据的透明度进行实现。
1.3 系统透明性与分布式事务管理
1.3.1 事务的具体实现
一般情况下,我们将布式数据库管理系统里面的管理功能分为两个不同的层次来考虑。对于整个分布系统来说,由各个节点协作。做到对分布事务管理的实现。而在每个局部结点上,它就象集中式数据库系统的局部事务。而这种情况下,是可以直接使用集中式事务管理的技巧和方法的。而对于整个分布系统来说的,则主要就如何实现事务的方法和解决分布环境所带来的问题。具体可以体现在三个方面:1.实现良好的调度和效率。2.实现事务的原子性和串行性。3.支持分布事务的位置透明性。
具体的操作方式的实现是让老师在进行选修课登分的时候,老师在对学生进行登分确定时,我们的系统里面的Web Server就使用ADO.而且根据学生的编号,强调用一个事务,判断所对应的数据库和服务器,然后就会生成两个子事务。对应分校的服务器中相关级数据库的选修课表对应字段进行修改,事务1对学校教务处服务器中相关班级数据库的选修课表对应字段进行修改。
1.3.2 复制技术与冗余分配
在系统过程设计过程里面,将所以的源数据放在改学校的固定部门的服务器中,于是,各分校的数据就可以看成为对应的副本了,并存放在他们各自的服务器里面,这就是我们在系统过程设计里面,我们使用的复制技术。
例如是在一切都良好进行的情况下,分校互联网里面所有的学校结点都是相通的,好像选修课登分一样,在任何时候学生选修的成绩都是一致的。但是,如果有个别的学校结点不相通的话,但同时又要求到老师一次登分成功的话。那么就只能够在学校相对应部门里修改教务处的数据来达到对相应的学生进行数据修改的目的。就这种出现数据不一致的情况发生时,因为教学管理中对数据实时性要求并不是很高。要求只要是在特定的时间内执行复制同时保证到各个分校与相对应部门的数据一致就可以了。而这时,使用复制技术既能提高了用户的透明度,又能让老师在登分过程里面,不用知道学校的服务器是不是有开通,只要正常一次性成功对学生登分,就可以了。而避免让老师出现因为某些服务器出现问题时,而不能登录的相应的学生成绩的情况发生。该视图对属于是透明度最高级别的分片透明,因为数据冗余问题、数据有相当长的一段时间是不一致等问题,有可能有造成学校教务处服务器负担过重,系统开销的增加等问题出现的可能性大大升高。因而,在解决分布式数据库系统相关问题时,要使用复制技术的话,要根据实际情况来进行考虑和操作。
2 结语
分布式数据库系统所面临的一个主要问题便是数据的一致性,复制服务器方法和两阶段提交方法都是在分布式数据库系统中能够确保数据一致性的有效方法。从上述论述中可以看出,复制服务器方法由于两阶段提交方法之处在于:复制服务器方法所提供的store-and-forward功能在某个场地故障停机时,并不会影响其余地点的正常工作,而当故障地点一旦恢复联机,必要的修改立即实施其上,从而保证可访问的数据是一致的。两阶段提交方法则不同。它在某个场地发生故障时使所有子事务从而使整个事务退回,这样所有数据保持该事务前的一致性状态。复制服务器方法的不利一面是,当为所有场地所共享的数据在系统中占有量很大时,数据的副本将会大量出现,需要占用很多存储空间。
摘要：分布式数据库系统作为数据库这个领域里面的一个主要的研究方向,其中一个非常关键的技术问题便是数据一致性维护。本文基于C/S和B/S的结构的分布式教务管理系统的具体实现和设计思想,针对地域分散的不同区域的特点,主要对分布式数据库系统透明性的实现与设计进行了重点的阐述,并涉及了B/S、分布事务管理、分布式数据库系统的理论和NET程序设计技术在系统设计中的应用等问题。
关键词：DDBS,C/S,B/S,事务,透明性,分布式
参考文献
[1]贾焰,王志英,韩伟红等,分布式数据库技术[M],北京:国防工业出版社,2000
[2]郑振楣,于戈,郭敏,分布式数据库[M],北京:科学出版社,1998
[3]卢正鼎,多数据库系统中的一致性维护[J].计算机研究与发展,2000,38(2):157
数据透明性 篇2
透明模式的防火墙就好象是一台网桥(非透明的防火墙好象一台路由器)，网络设备(包括主机、路由器、工作站等)和所有计算机的设置(包括IP地址和网关)无须改变，同时解析所有通过它的数据包，既增加了网络的安全性，又降低了用户管理的复杂程度。
而与透明模式在称呼上相似的透明代理，和传统代理一样，可以比包过滤更深层次地检查数据信息，比如FTP包的port命令等。同时它也是一个非常快的代理，从物理上分离了连接，这可以提供更复杂的协议需要，例如带动态端口分配的H.323，或者一个带有不同命令端口和数据端口的连接。这样的通信是包过滤所无法完成的。
防火墙使用透明代理技术，这些代理服务对用户也是透明的，用户意识不到防火墙的存在，便可完成内外网络的通讯。当内部用户需要使用透明代理访问外部资源时，用户不需要进行设置，代理服务器会建立透明的通道，让用户直接与外界通信，这样极大地方便了用户的使用。
一般使用代理服务器时，每个用户需要在客户端程序中指明要使用代理，自行设置Proxy参数(如在浏览器中有专门的设置来指明HTTP或FTP等的代理)，
而透明代理服务，用户不需要任何设置就可以使用代理服务器，简化了网络的设置过程。
透明代理的原理如下：假设A为内部网络客户机，B为外部网络服务器，C为防火墙。当A对B有连接请求时，TCP连接请求被防火墙截取并加以监控。截取后当发现连接需要使用代理服务器时，A和C之间首先建立连接，然后防火墙建立相应的代理服务通道与目标B建立连接，由此通过代理服务器建立A 和目标地址B的数据传输途径。从用户的角度看，A和B的连接是直接的，而实际上A 是通过代理服务器C和B建立连接的。反之，当B对A有连接请求时原理相同。由于这些连接过程是自动的，不需要客户端手工配置代理服务器，甚至用户根本不知道代理服务器的存在，因而对用户来说是透明的。
代理服务器可以做到内外地址的转换，屏蔽内部网的细节，使非法分子无法探知内部结构。代理服务器提供特殊的筛选命令，可以禁止用户使用容易造成攻击的不安全的命令，从根本上抵御攻击。
防火墙使用透明代理技术，还可以使防火墙的服务端口无法探测到，也就无法对防火墙进行攻击，大大提高了防火墙的安全性与抗攻击性。透明代理避免了设置或使用中可能出现的错误，降低了防火墙使用时固有的安全风险和出错概率，方便用户使用。
数据共享，让行政执法透明化 篇3
一起导致农民多次集体上访的
滥用职权案：
2001年至2003年间，苍南县某镇农综站站长林某及副站长杨某采取虚报手段，套取土地整理过程中的农民拆迁安置个人建房用地指标68户78间，用于开发商品房出售。该镇分管城建的副镇长黄某为谋取私利，要求当地城建办和土管所予以配合支持，造成国家土地出让金损失近310万元。此案在长达九年时间里逃脱了省、市、县各级政府和有关部门的层层监管视线，直到2010年相关村民发现自己的建房用地被冒用而多次集体上访后才导致案发。最终，参与此案的5名国家工作人员被苍南县人民检察院以滥用职权罪立案侦查。
问题症结：
行政权力作为国家公权力的核心部分，天然地具有垄断性、易膨胀性和自由裁量性，一旦缺乏必要的监督，运行过程中产生有法不依、执法不严、违法不究、滥用职权甚至徇私枉法等现象将成为必然。我国现行法律规定的行政执法监督的三种模式：即权力机关、司法机关、行政机关监督，虽涵盖行政执法监督的全部范畴，但因各自存在缺陷，监督成效甚微。
预防对策：
检察权在行政执法监督领域的缺位，究其根源在于公权力运作不透明导致的知情权的缺失。强化行政执法监督既是检察机关创新社会管理的有效途径，又是法律监督中的应有之义。针对行政执法和刑事司法脱节而导致行政执法领域存在的执法不公、有案不立、有案不移、有罪不纠等突出问题，苍南县人民检察院在对上海、江苏、浙江等多个地区的行政执法与刑事司法相衔接信息共享平台以及执法执纪信息平台进行综合考察的基础上，充分汲取外地的先进经验和成功做法，提出了“建设执法信息中心”的构想，旨在利用现代网络信息技术，打破信息闭塞瓶颈，实现执法信息资源共享，构建人大、政府、纪委监察、检察机关等多个监督主体共同参与的社会化大预防格局。通过前期对相关软件开发商进行的考察，所有的功能设想基本上都能取得相应的技术支持，目前已经进入软件研发阶段。
构想一：成立工作领导小组
执法信息中心需要建立连接全县各党政机关和行政执法部门的网络平台，牵涉面广，协调难度大，成立强有力的“执法信息中心工作领导小组”是执法信息中心顺利建成运行的组织保障。县执法信息中心工作领导小组的工作职责一是负责协调解决执法信息中心建设过程中发生的部门职能、利益冲突等问题；二是对执法信息中心运行情况进行指导监督，定期听取中心工作情况汇报。为确保苍南县执法信息中心工作依法、規范、有序开展，执法信息中心筹建小组出台了相关文件，由县委、县府两办发文，对执法信息中心的职责分工、信息范围、责任追究机制等配套机制作了明确的规定。
构想二：建立预防职务犯罪数据库
数据库是信息管理的中坚环节，苍南县将集成行政执法、刑事司法、行政许可、政府公共资源交易、财政预决算、医药购销、工程建设、农村三资管理、信访、审计、重大安全事故、犯罪档案等数据，并向人大、纪委监察局、法制办、审计局等相关有行政执法监督权的单位开放，使所有的执法动态都处于实时监控之下，为各监督主体办案提供线索及信息咨询服务，让公权力运行一览无遗。这个庞大数据库的建立，有利于检察机关的反贪、反渎、控申等自侦部门发现案件线索，为侦防一体化机制的构建奠定坚实的基础，同时也为侦监、民行部门查找立案监督、侦查监督、民事行政审判监督案源提供便利条件，为检察机关的办案提供全程的信息支持。
构想三：舆情监控和预警功能
信息中心系统通过舆情监控软件，对苍南的执法动态实施实时的网络舆情监控，以及时发现苗头性、倾向性问题，将职务犯罪和群体性事件产生的可能性化解于萌芽状态之中，同时也为职务犯罪预警功能的实现创造了条件。预警功能具体有三种方式，一是风险预警功能，指通过内设比对条件，由系统自动对行政执法单位或有关部门可能存在的职务犯罪隐患发出预警信号，提醒及时进行整改；二是犯罪预警功能，指经系统筛选，对行政执法案件以及行政执法行为中已经涉嫌或可能涉嫌犯罪的案件的预警提示功能；三是超时预警功能，指对信息分流后，未及时反馈处理情况的预警提示功能。
构想四：自动分析功能
执法信息中心的重点是建设一个高度智能的信息共享平台，可对行政执法涉嫌刑事犯罪移送司法机关处理的案件进行全程监督；可以实现执法信息的流转功能，管辖明确的智能流转，不明确的人工处理；同时，借助内置软件，系统可对数据库中的执法信息进行任意组合或分散的统计分析，其分析、研判结果可导出为工作表和可视性图形，并在此基础上形成执法信息分析报告。分析报告视情可分为月度、季度、年报等形式，主要针对行政执法部门在执法过程中的程序性和法律适用性等问题进行分析，查找问题的根源，提出建章立制、查漏补缺的方案。
构想五：配套机制
建立错误信息报送问责制，要求信息报送单位确定信息报送责任人，对漏报、瞒报、迟报、错报的，依照相关规定予以处罚，以确保信息报送的及时性、准确性和完整性。
建立信息安全保密制度，编制保密手册，严肃工作纪律，严格规定信息传阅范围和查询程序，确保信息安全，防止秘密泄露。
数据透明性 篇4
关键词：数据库安全,数据库加密,密文索引
0.引言
数据库系统是计算机信息系统的核心部件, 存储着系统中最有价值的数据, 其安全性至关重要。由于数据库存储的原始数据在操作系统中以可读文件的形式进行管理, 容易被操作系统的用户窃取或篡改, 同时由于数据库管理员通常有权访问所有数据, 存在超出职责范围访问用户敏感数据的安全隐患, 因此, 越来越多的基于数据库的信息系统希望对存放在数据库中的敏感数据进行加密以保障其安全性。
但是由于种种原因, 国内目前普遍使用的各种数据库对加密的支持力度均难以满足安全要求, 特别是加密解密运算与密钥管理会显著降低数据库访问与运行的效率, 因此高效的数据库加密技术成为迫切需要解决问题。
当对数据库进行加密之后, 数据之间原有的偏序关系将会丧失, 因而无法通过原来的索引机制来加快对密文数据的条件查询。如果数据库不能对加密存储的数据提供高效的查询手段, 必然会降低数据库的可用性。为了解决这一问题, 现在通常采用同态加密和密文索引的方法。该方法是密文和明文保持相同的偏序关系, 从而实现条件查询。但这种加密方法强度较弱, 容易被破解, 而且由于索引文件不是数据库的一部分, 数据库管理系统无法对其实现事务管理, 难以保证数据库与索引文件之间的一致性。
对于此问题, 曾有研究采用B+树等数据结构实现密文索引以支持动态结构调整和顺序查找。该些方法由于维护索引数据等问题, 难以具有良好性能。
为解决不支持字段加密的商业数据库系统的加密保护文件, 本文提出一种支持密文索引的数据库透明加密方法, 能够对敏感字段选用多种加密算法进行加密, 在数据库系统内部建立高效的密文索引, 实现对加密字段的条件查询。
1. 方法描述
本方法基于数据库系统的视图和触发器机制实现。其中, 视图是一个虚拟表, 它在向请求者返回数据之前填充数据;触发器是一个嵌入到数据库中的程序, 在满足触发条件时自动执行。通过使用视图和触发器为用户透明的提供自动加密和解密。在查询数据时, 在填充视图的过程中解密数据。当新数据插入到表中或者修改数据时, 利用触发器进行数据的加密和密文索引的维护。
为实现透明数据加密, 对原表进行改造。改造过程包括表改名、约束禁用、索引删除、视图和触发器创建等过程。具体步骤如下:
(1) 原始表改名, 并在改名后的原始表上添加RAW类型密文字段。
由于数据加密后, 数据类型发生变化, 原始字段已经不能用来存放密文, 所以必须新增RAW类型的字段保存加密后的密文。
(2) 禁用约束。
由于数据加密后, 原始约束条件失效, 而且为了保护数据的安全, 原始字段内容已被清空。因此, 必须删除建立在敏感字段上的约束。拥有主键和外键约束的字段不能被选取作为加密字段, 因此对于敏感字段上的唯一性约束、非空约束和值约束, 均需要被禁用。
(3) 删除索引。
由于数据转换为密文后, 索引将失效, 因此, 如果敏感字段本身有索引, 必须将其删除。
(4) 加密敏感数据
如果原表中有记录, 调用加密算法将敏感数据进行加密, 并将密文保存到相应的新增密文字段中, 同时清空原始字段的数据内容。如果该字段需要实现密文索引, 则建立密文索引, 然后进行步骤 (5) ;若不需要实现密文索引, 则直接进行步骤 (5) 。
实现密文索引的方法为:基于数据库的表和SQL语言, 建立辅助的实现密文索引数据结构以及查询和维护算法。利用数据库系统的索引扩展机制, 实现密文索引的调用和维护。
在密文索引机制中应包括:一个对原表记录ID的索引, 用于根据该ID实现快速解密得到明文;一个根据明文实际取值的偏序保持算法, 用于实现快速的范围查询。其中, 实现密文偏序关系的索引结构采用具有索引功能的数据结构, 例如AVL树、B+树或B-树等。
数据库系统的索引扩展机制为公知的扩展索引, 如Oracle的扩展索引, 或者IBM的扩展索引。这些扩展索引机制, 允许用户为特定的字段自定义索引方法。
由于密文索引以表的形式存储于数据库中, 且由触发器自动维护, 从而自动实现了多用户的数据同步和事务机的提交和回滚机制。
(5) 创建视图。
创建一个与原表同名的视图, 该视图取原表的所有字段, 其中, 敏感字段用解密函数代替。
(6) 创建触发器和存储过程。
在视图上建立instead of类型的插入、删除和修改事件的触发器。在触发器中, 调用加密算法将敏感数据加密, 并把密文保存在表中的密文字段中。如果原表有约束, 为了保持数据完整性, 则使用SQL语言实现约束;
(7) 实现扩展索引接口。
对原表进行上述改造之后, 表中的数据分为敏感数据和非敏感数据两类。其中, 敏感数据以密文的形式存放在表中, 而非敏感数据则以明文的形式存放。由于视图名与原始表名相同, 用户对表的操作都会作用在视图上。当用户查询数据时, 视图能够自动调用解密函数将密文数据解密, 并将明文数据返回给用户;当用户修改数据时, 用户在视图上的操作都能够由instead of触发器完成。从而实现了对敏感数据的透明加密和解密。
2. 本方法的优点
对比现有技术, 本方法具有如下优势:
(1) 加解密过程完全透明。基于视图和触发器实现敏感数据的自动解密和加密, 加密和解密过程对于基于数据库的应用程序来说是完全透明的。这种特性可以使得应用程序在开发阶段不用考虑数据库加密的问题, 在系统发布之后再进行数据库的透明加密改造而不用重新编译应用程序。
(2) 高效密文索引。实现高效的密文索引数据结构及算法, 从而可以高效的实现对密文字段的条件查询。
(3) 事务支持。由于加密机制和密文索引机制都是在数据库内部通过触发器实现的, 从而透明的支持事务的提交和回滚机制, 并且在多个用户之间自动的实现了数据同步。
3. 具体实施过程说明
下面通过一个实例对本方法做详细说明。
假设存在表T, 其包含字段:{F1, F2, …, Fi, …, Fn}。需要对表T的中的字段Fi进行透明加密。Fi的数据类型为R, 该字段具有索引I以及约束C, 需要实现密文索引。
对原表T进行改造, 具体步骤如下:
(1) 将表T重命名为T1, 其包含字段为:{F1, F2, …, Fi, …, Fn, Fn+1}。其中, Fn+1用于存储字段Fi的密文信息, 类型为
(2) 删除Fi上的约束C;
(3) 删除Fi上的索引I;
(4) 调用加密算法, 将T1中的Fi进行加密变换, 并将密文存放到Fn+1中, 并将Fi的值置为NULL;为密文字段Fn+1建立索引数据结构, 并将现有的密文插入到该结构中。
索引的数据结构和算法采用平衡二叉树。平衡二叉树又叫AVL树, 其特征为:它的左子树和右子树都是平衡二叉树, 且左右子树的深度之差的绝对值不超过1。其结构如图1所示。
该树的数据结构用表实现, 而不是使用高级编程语言的数据结构实现。查找和维护算法由SQL语言实现, 而不是使用高级程序设计语言实现。在图1中, 每个节点上存储的数据是加密存储的, 不会泄露明文的内容以及偏序关系。
通过建立树信息表和节点信息表这两个辅助表以实现图1所示的AVL数据结构。树信息表如表1所示, 用于存储针对每棵AVL树的信息。该表可被多个敏感字段公用, 每个AVL树为该表的一条记录。
每个AVL树的信息包括:
FIELD_N AME:敏感字段名, 用于记录原表中的敏感字段;
R O O T_ID:索引树的根结点在原表中的记录ID, 被加密后存储;
FIR ST_ID:叶子第一个节点在原表中的记录ID, 用于实现遍历, 被加密后存储;
HEIGHT:树的高度。节点信息表如表2所示。
AVL树中的每个节点包括信息:
DATA:节点的键值, 即敏感字段的密文;
LID:左侧孩子节点在原表中的记录ID, 被加密后存储;
R ID:右侧孩子节点在原表中的记录ID, 被加密后存储;
R ECO R D_ID:节点在原表中的记录ID, 用于实现基于原表的记录ID进行快速数据检索;
BL:当前节点平衡因子。
基于该AVL树的查询过程为:
如果使用原表记录ID作为查询条件, 则直接在节点信息表中以字段RECORD_ID为条件进行查找;
如果使用字段的值作为查询条件, 则根据检索的条件分别处理, 具体如下:
当查找条件为“Fi=KEY”:根据键值的大小, 按照平衡二叉树的查找方法, 找到符合条件的节点并返回该节点的
当查找条件为“Fi>KEY”:根据键值的大小, 按照平衡二叉树的查找方法找到比当前值大的最小值节点, 然后遍历返回比键值大的所有节点的RECORD_ID;
当查找条件为“Fi>=KEY”:根据键值的大小, 按照平衡二叉树的查找方法找到比当前值小的最大值节点, 然后遍历返回比键值大或者相等的所有节点的RECORD_ID;
当查找条件为“Fi
当查找条件为“Fi<=KEY”:根据键值的大小, 按照平衡二叉树的查找方法找到比当前值大的最小值节点, 然后遍历返回比键值小或者相等的所有节点的RECORD_ID;
当查找条件为“KEY1
当查找条件为“KEY1<=Fi<=KEY2”:找到比KEY1小的最大值, 比KEY2大的最小值节点。遍历返回所有满足条件的节点的RECORD_ID;
当查找条件为“KEY1
当查找条件为“KEY1<=Fi
由于节点的键值是加密存储的, 所以在以上的查找过程中, 在每个节点上需要先进行解密, 再进行键值的比较。
基于该AVL树的索引维护过程为:
Insert:按照“=”的条件查询到需要插入节点在AVL树中的位置, 然后在节点信息表中插入一条记录。由于AVL树要求树的平衡性, 因此需要根据需要对树进行旋转和修改该节点的平衡因子, 以及树的高度信息。
Delete:按照“=”的条件找到表中的节点进行删除, 并且根据需要对树进行旋转以保证树的平衡性。以及更新树的高度信息。
Update:先删除旧节点后插入新节点。
(5) 基于表T1建立名为T的视图, 包含的字段为:{F1, F2, …, Fi-1, decrypt (Fn+1) , Fi+1, …, Fn}。其中decrypt (Fn+1) 为使用密文字段Fn+1作为参数的解密函数, 返回其对应的明文值;
(6) 创建instead of类型的insert、delete和update触发器。在触发器中实现数据操作时对明文的加密、密文索引的维护。并实现原有的约束C;
(7) 实现扩展索引接口, 在检索过程中实现对Fn+1字段的条件查询。
4. 试验数据对比
为了检验这种方法的有效性, 基于该方法设计开发了DB-SIMS系统, 并按照图2搭建测试环境:
硬件配置:内存1G, CPU 2GHZ;
操作系统:Windows XP, SP2;
混乱算法:3DES (软件实现, 128位密钥) ;
测试表:TEST, 如表3所示。
ID:主键。
敏感字段:DATA
下面分别针对敏感字段不作为查询条件/敏感字段作为查询条件下的select语句以及insert、delete等SQL语句进行了测试分析。
(1) 敏感字段不作为查询条件
查询语句:select*from test where id<=N;
测试结果:见表4。
分析:在正常使用情况下 (返回记录小于1000条) , 性能损失在原表的2倍以内。时间延迟受返回记录数影响, 主要用于敏感数据的解密操作。
(2) 敏感字段作为查询条件
查询语句:select*from test where data<=N;
测试结果:见表5。
分析:在正常使用, 并且有密文索引的情况下 (返回记录小于1000条) , 性能损失在原表2倍以内, 时间延迟受返回记录数影响, 主要用于对密文的解密。当记录数较多, 且没有密文索引的情况下, 保护后对查询响应的效率较低。
(3) 测试插入 (insert) 语句的效率损失
前置步骤:TEST表中预先存储十万条数据。
测试结果:见表6。
分析:在使用密文索引的情况下, 由于插入数据需要建立复杂的密文索引, 需要消耗一定时间, 所以效率有一定损耗。该速度可以被绝大多数保密系统所接受。当无密文索引时, 插入操作的性能损失不大。
(4) 测试删除 (delete) 语句的效率损失
前置步骤:表中预先存储十万条数据。
测试结果:见表7。
分析:在使用密文索引的情况下, 由于需要维护扩展索引, 因此删除操作比较耗时, 性能有一定降低。性能降低与表中的记录数正相关。该性能可以被大多数保密系统所接受。在不使用密文索引的情况下, 删除操作的耗时和原表无明显区别。
从以上测试结果可以看出, 本产品在对敏感信息进行密文保护的同时, 保证数据库系统对查询操作具有很高的性能。对于使用密文索引的情况下, 对敏感字段做条件查询, 性能损失在2倍以内。对于插入和删除操作时性能有一定损失, 但是可以被大多数保密系统所接受。
5. 结论
本文提出了一种支持密文索引的数据库透明加密方法, 并通过对基于该方法设计开发的数据库加密系统DB-SIMS性能测试数据的分析得出结论:这种数据库透明加密方法在对敏感信息进行密文保护的同时, 能够保证对数据库系统的查询操作仍然具有很高性能。对于使用密文索引的情况下, 对敏感字段做条件查询, 性能损失在2倍以内。对于插入和删除操作时性能有一定损失, 但是可以被大多数保密系统所接受。
在实际应用中, 可以根据具体情况决定是否使用密文索引, 以保证更高的响应性能。例如:对于需要对敏感字段进行大量条件查询而不需要大量插入和删除的情况下, 可以通过建立密文索引保证查询效率。而对于需要大量插入和删除的情况下, 则可以不建立密文索引。对于不需要对敏感字段进行条件查询, 或者记录数较少 (低于1万) 的情况下, 可以不建立密文索引。
参考文献
[1]张敏, 徐震, 冯登国.数据库安全, 北京, 科学出版社, 2005.
[2]H wang.M.S, Y ang W P.M ultilevelsecure database encryption with subkeys, D ata&K nowledge Engineering, 1997, 22:
[3]朱勤, 于守健, 乐嘉锦, 骆轶姝.外包数据库系统安全机制研究, 计算机科学, 2007, 34 (2) :152-156.
[4]徐峰江, 庄海燕, 杨有.O racle数据库加密技术分析, 计算机科学, 2006, 33 (1) :134-136.
[5]周水庚, 李丰, 陶宇飞, 肖小奎.面向数据库应用的隐私保护研究综述, 计算机学报, 2009, 32 (5) :847-861.
[6]励锐, 刘丰, 王开栋.通用高效数据库加密系统的设计, 计算机科学, 2008, 35 (11B) :50-51.
[7]李新.密文数据库系统的设计, 计算机工程与应用, 2005, 32:169-171.
[8]朱鲁华, 陈荣良.数据库加密系统的设计与实现, 计算机工程, 2002, 28 (8) :61-63.
[9]H acigum us H, Lyer B, Li Chen, etal.Executing SQ L over encrypted data in the database-server-providerm odel, The 2002A CM SIG M O D International Conference on M anagem entof D ata, M adison, W isconsin, 2002.
[10]余祥宣, 刘伟.数据库的密文索引机制, 华中科技大学学报 (自然科学版) , 2002, 30 (3) :17-18.
[11]王元珍, 冯超.数据库加密系统的研究与实现, 计算机工程与应用, 2005, (8) :170-172.
数据透明性 篇5
第三单元 光
透明与不透明
让学生动脑想、动手做、动口说，是科学探究过程中都不可缺少的环节，教师如何让学生既动手又动脑、动口，积极主动地投入到科学探究过程中去呢？《透明与不透明》一课的教学给了我许多有益的启迪。
一、活用教材，拓宽科学探究的空间
《透明与不透明》这课是冀教版三下教材，我从教材编排特点和学生年龄特点入手，对教材进行合理地整合，采用新理念新教法进行教学。首先，以“玩各种透明镜子”导入激趣，创设探究情境，以学生常见“凸透镜点火”的现象，引导学生大胆质疑，集体讨论释疑，以分组实验鼓励学生大胆操作，仔细观察，深入探究“物体的透光性”的关系。其次，将教材中的“观察一”、“观察二”进行有机合并，通过学生动手实验，感受探究的乐趣。第三，恰当运用课件，激发学生的学习兴趣，培养学生的动手操作能力。
二、放手探究，培养学生的科学素养
科学教学要以学生为主体，以探究为核心。我在本课的教学中充分体现了这一理念。课堂上我抓住学生好奇、好玩、好动的心理，放手让学生进行实验，给学生提供了科学探究的机会，保证学生的探究时间，让学生亲自感悟“物体成像”的过程，使学生在获得知识的同时，更增强了科学探究的能力，科学素养得到全面的提高。
数据透明性 篇6
RTB（实时竞价）模式被业界认为是互联网精准营销的新打法，近两年时间在国外的发展势头非常迅猛，2012年也被互联网营销圈热议为中国的RTB发展元年。
而作为实现RTB基础的一环，DMP（数据管理平台）在RTB模式中起到受众定义和分类的重要作用。通过对受众数据进行辨别、分类，DMP既可以用在网络媒体端，为其提供用户分类工具，也可以作为一个第三方平台工具，帮助DSP（需求方平台）和广告主对其目标受众进行监测分析。
RTB浪潮袭来，数据管理的重要性不言而喻。互联网广告公司纷纷建立起自己的数据平台，为了全力运营这一数据管理平台，强大的数据挖掘和分析工具成为技术主导型互联网广告公司的研发重点之一。传漾网络科技的新产品SameData就此应运而生。
SameData是传漾数据的分析和挖掘内核，是通过尖端的数据挖掘分析模型，将中国海量的受众信息数据整合清洗为可被广泛应用的集成数据库，从而指导整个传漾网络营销平台的商业智能引擎。
首先，SameData具有高智能网聚语义兴趣的功能，能够实现定向搜索引擎。基于所覆盖的上千家媒体，传漾能够进行长期的网页正文内容的语义模型分析及研究，同时通过对受众网页内容浏览兴趣度的轨迹探索，不断突破与创新，通过独特的网聚语义匹配技术，将网页正文内容通过成熟训练场的不断应用进行实时更新。
通过语义训练与数据挖掘，SameData能够把每个网页正文内容分类标签为不同主题类型，组成高智能的搜索引擎，便捷筛选及过滤匹配内容，为精准实现定向提供底层的数据接口及应用匹配。
其次，SameData还是一款集成受众Cookie的数据库搜索引擎。通过不断的积累和技术创新，传漾早已聚合了大容量的集成受众Cookie数据库，覆盖中国主要网民。根据Cookie的浏览轨迹行为及受众对网页内容的兴趣属性，传漾SameData系统对Cookie做了30大类、150中类、1000小类的科学精细分类，对Cookie所代表的用户兴趣进行全方位的标签归属，力求最大限度的了解用户心理及兴趣内涵，协助广告主真正精准有效的找到直接兴趣受众和潜在兴趣受众。而当新的Cookie进入传漾的Cookie储存库中，会由SameData智能模型根据预设的算法结构，自动判定归类及兴趣标签，实时更新其兴趣取向，并实时提供给线上做受众及技术判断依据。这样，在新的广告需要展示时，即可选取最匹配访客兴趣的广告进行投放。
作为网民数据智能引擎，SameData可作为技术定向实现及可信度的有力佐证展示给广告主或者代理公司，意义涵盖多方面：第一，通过开放性、透明化的界面，针对代理商或广告主对精准广告投放全过程的疑问进行一览无余的展示和体验；第二，可直接检索所需推广的匹配关键词或语义主题，预估并预览关键词定向及语义定向的投放效果；第三，可直接通过系统检索在传漾广告网络中客户的目标受众Cookie信息，预估并预览Cookie定向投放的效果。
相关链接【观点】SameData应用场景
场景一 客户质疑时
疑问： 你们是怎么做到精准的语义定向和行为定向的？
SameData解决方案： 直接进入系统检索， 让客户全程体验SameData语义定向和行为定向的过程， 清晰明了的看到结果。
场景二 媒介策划数据支持时
疑问：我需要定向年龄在18-30岁，女性，月收入5000+，爱好美容、瘦身的白领丽人，在传漾的媒介圈中，这部分人有多少Cookie数？怎样保证Cookie的质量？
SameData解决方案：直接通过系统“Cookie库”筛选，限定行业属性、人群属性、兴趣属性、行为属性等条件来选择Cookie的分类，并进行实时预估数量；同时，还可以以目标受众Cookie的日常浏览轨迹和兴趣爱好来验证Cookie的精准准确性。
而传漾独特的数据训练方法——基于无数次的算法磨练而形成的“传漾机器智能学习”，作为SameData的算法基核，是在线数据的实时归类及新鲜度的技术保障。
场景三 客户需求时
疑问：我想做关键词定向，怎么做？怎样保证这就是我需要的关键词?
SameData解决方案：通过系统“词库”，智能、在线、科学的向客户推荐相匹配的关键词，根据匹配度排序，客户或策划人员自助挑选更精准、更具效果的关键词，还可以通过系统预估关键词投放的基本KPI（关键绩效指标）；在“传漾机器智能学习”的后台运算训练储备中，传漾9亿的原始Cookie数据，经过人工经验值的目标期望、实验训练样本以及反复的机器学习算法磨练生成可供实时在线归类的智能模型。然后，通过生成主题语义库，使用主题模型工具，分析抓取上亿网页，将所有关键词按是否有语义关联自动聚成若干主题，再根据传漾对行业的深度理解，将这些主题与兴趣形成对应关系，即可最大程度的保证关键词的精准度。
观点
王跃传漾科技创始人及技术副总裁
做更深层次智能数据挖掘
自成立之初，传漾就把建立网民行为数据库作为工作重点，积累至今，就数据挖掘的广度和深度而言，传漾的数据库已经建立起一定的行业优势，不仅有超过9亿的独立Cookie数，同时还拥有分类比较完备的分类模型，能够对一个用户进行多维度全方位剖析。
Samedate的推出将进一步发挥传漾庞大数据库的优势。通过传漾的DSP平台做广告全程化精准投放，它能够在广告执行前后，以非常直观的、可视化的形式，通过各种维度向广告主和代理公司展示投放全过程——这便是Samedate的价值所在——通过把广告投放的全过程向大家开放，让大家把一个神秘的东西看得清清楚楚，我们试图通过这样的方式让广告主和代理商明明白白去消费，看到每一分预算的价值。
为实现这样的技术，传漾克服了一系列技术难点，包括实现最多可以容纳30亿独立Cookie数据量的设计容量，在1毫秒内对用户进行精准判别并实时提取等。
建设大数据时代的透明电力通信网 篇7
随着信息社会的高速发展, 数据产生成本急速下降, 社会产生的数据量正在呈指数级增长, 而大量新数据源的出现更是导致了非结构化、半结构化数据爆发式的增长, 数据的结构正在日趋复杂。根据IDC监测, 全球数据量大约每2年翻一番, 意味着人类在最近2年产生的数据量相当于之前产生的全部数据量。还有预测说, 到2020年, 全球以电子形式存储的数据量将达到35 ZB, 是2009年全球存储量的40倍。事实上, 至2011年底, 全球数据量已达1.8 ZB。若将这些数据都刻录到DVD上, 那么光把这些DVD盘片堆叠起来就可以从地球垒到月球一个来回 (单程约24万英里) 。而这么大量的数据如何处理, 如何通信, 对我们现在的信息通信网络提出了巨大的挑战。毫无疑问, 大数据时代已经到来。
按照业界的描述, 大数据技术有4个特征, 即4个“V”:类型 (Variety) 、体量 (Volume) 、速度 (Vellociitty) 和价值 (Vallue) 。在在大大数据中, 各种结构化数据、非 (半) 结构化数据等各种类型的数据共存, 并不断快速增长。为了使用或共享这些数据, 系统需要高容量的网络存储和高带宽的通信能力。同时, 大数据技术还通常要求数据的在线或高速处理。可见, 无论是这4个特性中的任何一条, 都要求未来通信网络具有大粒度传输和高速交换的能力。
随着电力行业信息化建设的逐步发展, 电力通信网不断完善和电力数据的爆炸性增长, 大数据为电力通信业提供了一个全新的发展平台和前所未有的机遇。然而电力行业数据的爆炸性增长并不是简单的数据量增多, 而是一个全新的问题。总的来说, 发电行业的数据主要来源于3方面:生产、经营和管理。首先, 从生产过程来说, 大量的数据是来自生产中的技术数据, 如发电机在运行过程中利用传感设备对大量数据进行的监控, 对生产环境的温度监控, 发电量、电压稳定性等等;其其次次, 从从经经营营过过程程来来说说, 大大量量的的数数据不仅是从电厂内部产生的, 也有来自外部环境的, 例如发电原料的采购数据、设备的维修数据、交易电价、售电量、用电客户等;最后是电力企业的管理数据, 如ERP、一体化平台、协同办公等方面的数据。如果我们能充分利用好这3方面的数据, 进行深入数据挖掘, 对今后的生产实践都有着不可估量的指导意义, 还可以提供大量的高附加值服务, 有利于电网的控制和优化, 灾难预警, 推动电力企业的精细化运营管理。
为了加强电网管理, 实现电力信息化, 电网公司自主建立了一套基于光纤通信的电力信息通信网, 涵盖了全国大部分地区。虽然电力通信网是为了保证电力系统的安全稳定运行而应运而生的, 但如今其在电力系统中的地位已是举足轻重。它同电力系统的安全稳定控制系统、调度自动化系统被合称为电力系统安全稳定运行的三大支柱。目前, 它更是电网调度自动化、网络运营市场化和管理现代化的基础, 是确保电网安全、稳定、经济运行的重要手段, 是电力系统的重要基础设施。电力通信网对通信的可靠性、保护控制信息传送的快速性和准确性具有极严格的要求。而在电力通信网中传输的数据也主要是电力生产和经营管理中产生的一些数据, 还包括一些和保护、安全性相关的业务数据。电力光纤通信网目前主要采用基于同步数字系列 (Synchronous Digital Hierarchy, SDH) 的传输技术和多级组网模式, 因而光通信和光网络技术仍然是电力通信网中的关键支撑技术。
随着电力信息化的不断发展, 电力系统产生的数据无论是从量还是类上都在不断剧增, 如此多的数据还往往需要在线的实时处理和传输, 这也意味着电力行业大数据时代的来临。大数据给电力通信网带来了巨大的挑战。一方面, 大量的数据信息需要网络有高带宽传输和大粒度交换的能力;另一方面, 不同类型的数据信息要求网络有多业务支撑的能力, 尤其需要能够统一支持不同速率、不同格式数据的传输。
实现大粒度交换是新一代电力通信网改造的重点内容之一。由于电力光通信网络主要基于SDH传输技术, 仍然采用波分复用 (Wavelength Division Multiplexing, WDM) 、波长路由方式, 即光电路交换 (Optical Circuit Switching, OCS) , 因而如果在核心节点做业务疏导 (Traffic Grooming) 就需要进行大量的光/电/光转换。当传输数据量很大时, 这种做法无疑会大大增加网络运行成本, 也会在网络中形成性能瓶颈。因此, 如何在大数据战略时代下建设新型的电力通信网成为当前电力信息通信行业最大的问题, 同时也是电力通信实现再一次飞跃的良好机遇。
1 透明光网络
随着网络规模的不断扩大和用户高带宽需求的持续增长, 网络中的业务量也在急剧增长, 不断给网络容量提出新的挑战。WDM技术的发展使得人们可以充分利用光纤巨大的带宽资源进行光信号的长距离传输, 而且单根光纤的容量也在不断的增长。对于高带宽业务需求, 单单提高光纤传输容量是不够的, 还涉及到信号的传输质量、数据交换等方面。然而目前的WDM网络都是基于波长路由的, 即采用光电路交换的交换方式。这种波长路由WDM网络由于采用静态路由连接, 其波长利用率很低。为了克服这一缺点, 人们提出了业务疏导的方法, 即在核心节点对来往业务进行光/电/光转换以进行业务汇聚或分离。然而当业务的带宽很高时, 将大量的业务转换成电进行处理显然是十分低效的, 不仅对光/电/光转换速度提出了很高的要求, 对节点的处理要求也很高, 因而极容易产生瓶颈, 不利于网络性能的提高。
未来的光网络中的数据传输应该尽量避免复杂而昂贵的光电光转换, 实现端到端的全光传输, 即建立一个“透明”的光网络。光网络的透明性保证了数据的全光传输和交换, 简化了中间节点对业务的处理过程, 并使得中间节点对业务信号的处理与其具体类型和速率不相关。这样, 无论业务带宽多大, 在数据层面都可以直接透明传输, 因而透明光网络可以很好地支持高带宽的业务。透明WDM光网络在波长层面提供了额外的自由度。此外, WDM网络中波长和时间之间的正交性, 使它们可以独立和同时地对数据进行处理。
事实上, 透明光网络和全光网络其实是不同的概念。在透明光网络中, 逻辑器件和信号处理的透明度必须被牺牲掉。然而, 数据传输和交换等仍然在光域进行。由于光器件技术的不成熟, 包括光缓存和光逻辑器件的不成熟, 限制了光信息的处理, 从而限制了全光交换 (特别是信息头的处理) , 使得在可预见的时期内实现真正的全光网络仍然不够现实。因而相比之下, 结合当前技术的发展, 透明光网络则成为未来光网络发展最可行的方向。
何谓透明?理想上, 我们希望信号的输出和输入是一样的, 除了一定的时延和强度上的衰减。然而光在光纤中传输是有色散和非线性效应的, 同时, 强度衰减也是影响信号长距离传输的主要原因。色散补偿、特殊光纤、光放大器等技术和器件的发明使得光在光纤中的透明长距离传输成为可能。尤其是掺铒光纤放大器 (Erbium-doped Optical Fiber Amplifier, EDFA) 的发明和应用使得WDM系统的透明化成为可能。EDFA不仅放大倍数高, 而且放大频谱范围宽, 可以同时对光纤中所有的波长信道进行高倍数放大, 很好地支持了WDM系统长距离的全光透明传输。
在光交换和路由上, 网络的透明性体现在数据包的交换全光性。然而这一点十分困难, 由于全光逻辑器件和光缓存的不健全, 要在核心节点读取入口数据包进行分析和头处理就需要进行必要的电处理。
2 建设透明电力通信网
大数据形势下, 多业务、高带宽传输、大粒度交换的新特征对电力通信网的建设提出了新的挑战, 而构造一个透明电力通信系统则恰恰能满足这些要求。在电力通信中实现网络透明化不仅可以实现大量数据的全光传输和交换, 而且可以使得核心节点的处理与具体数据类型无关。推动电力通信网络透明化应该从下面几个方面考虑。
2.1 业务统一接入和传输
建设新型电力通信网首先应该考虑业务接入的问题。由于大数据下, 业务种类和数据类型不断增加, 不同的数据流有不同的格式, 因而电力通信网必须能够为其提供统一的接口, 支持多种流的接入, 并将不同的数据按同样的标准打包组帧以统一传输。而透明光网络对数据类型和速率透明的特性则很好地支持了这一点。
2.2 高带宽长距离全光传输
光纤通信最大的优势就在于其巨大的可用带宽, 而衰减是限制光信号长距离传输的主要原因之一。EDFA的引入使得数据能够被全光放大, 从而延伸光信号的传输距离。建设透明电力通信网需要充分开发光纤的传输带宽, 实现数据的高速远距传输。
2.3 大粒度光交换
如果只是简单的点到点单跳通信, 那么无论数据量有多大, 光纤原则上都能为其提供全光的传输。然而当实现了光层组网之后, 信息的传输往往需要经过多个核心节点, 即多跳传输。这就涉及到信号的处理、转换等。传统的电力通信网中, 业务往往需要在核心节点进行光/电转换以进行数据处理、路由选择等, 之后再进行电/光转换将信号重新发送到光信道上传输。这一系列转换大大增加了网络处理成本, 而电处理速度又限制了系统的整体性能, 成为网络瓶颈, 这一问题在大数据的条件下显得尤为突出。而如果在电力通信网中推广透明光网络技术则可以实现数据层面的全光大粒度交换, 省去了大量数据的光/电/光转换和电处理, 保证了数据的端到端全光传输和交换。
1) 光传送网技术 (Optical Transport Network, OTN) 是以WDM为基础、在光层组网的传送网技术, 是下一代骨干传送网技术。OTN将解决传统WDM网络无波长/子波长业务调度能力差、组网能力弱、保护能力弱等问题。OTN处理的基本对象是波长级业务, 它将传送网推进到真正的多波长光网络阶段。OTN可以提供巨大的传送容量, 多种客户信号封装, 大颗粒的带宽复用、交叉和配置, 端到端波长/子波长连接以及电信级的保护, 是传送宽带大颗粒业务的最优技术。然而OTN技术毕竟是基于WDM波长路由的, 因而在子波长汇聚和疏导时仍然需要用到光/电/光转换, 此时便会破坏传输的透明性。当前电力通信网已经在逐步向OTN网络演进, 这也是近期内的电力通信传送技术的发展方向, 为完全实现网络透明化奠定基础。
2) 为了进一步实现电力通信网的透明化, 电力通信网中可以引入基于统计复用的光突发交换 (Optical Burst Switching, OBS) 技术。在OBS网络中, 多个IP分组组成一个较大的数据突发包 (Burst) , 并将突发包作为网络传输单元和交换的粒度。对应每个突发包都会产生一个突发分组头 (Burst Header Packet, BHP) , 该BHP不与突发包共路, 而是先于突发包一段时间使用另外一条信道发出, 目的是提前到达核心节点进行电处理并控制沿路交换设备的重构。BHP同时还需要明确突发包的长度以便节点知道开关的维持时间, 也即预约这段时间的开关资源。BHP和突发包发送相隔的这段时间称为偏置时间 (Offset time) 。由于偏置时间的存在, 当突发包到达核心节点时, BHP已经事先把资源预约好, 因而突发包只需要按照安排在光域完成交换, 而无需光缓存和经历光电光转换, 实现了数据层面的透明传输。一个OBS机制的信令示意如图1所示。
与传统的基于WDM路由的光电路交换网络不同, OBS并不预约一整条波长的资源, 而仅仅预约和突发包相关的一部分资源, 因而资源可以更有效地分段配置给不同的突发包, 是一种基于突发包粒度的统计复用, 所以OBS可以克服OCS中因静态带宽分配而带来的一系列问题。另一方面, 由于数据以中等粒度的突发包形式传输, 因而OBS大大降低了对核心快速交换的技术要求。同时, 大突发包和小BHP的对应使得控制开销大大降低, 而BHP的提前预约机制又缓解了数据缓存的压力。故而OBS比光分组交换技术 (Optical Packet Switch, OPS) 更具可行性和实用前景。
注:T是偏置时间, δ是核心节点处理时间。
OBS网络的一个重要特点是控制信息 (即BHP) 和数据突发包分别在不同的时间和信道上传输和处理, BHP会经过路由器的电处理并提前预约资源, 而数据突发包则不需要经历光/电/光转换, 可直接在端到端的透明传输信道中传输及在核心节点全光转发。
可以看出, 利用OBS实现透明光网络是一项可行而实用的技术。OBS中数据包可以一直保持在光域进行透明传输, 而数据头则可以在独立的信道中传输并进行电处理而不影响数据包的全光传输和交换。相比OTN技术, OBS技术是基于突发包交换的统计复用, 核心节点交换和汇聚无需光/电/光转换, 因而可以实现更大程度的网络透明化。
随着光网络技术的不断发展, 新的技术层出不穷, 实现透明光网络的新方案也会不断被提出, 但无论采用何种实现技术, 在大数据时代下建设透明电力通信网一定是未来发展的重要方向。
3 结语
大数据是未来信息社会发展的下一个大方向。大量的数据处理无疑给信息通信网络提出了新的挑战, 而这一问题在信息化程度不断提高的电力系统中同样正逐步凸显出来。随着智能电网的推进和发展, 电力数据爆炸式增长, 大量数据需要存储、转发和实时处理, 传统电力通信网已渐渐无法承载, 而建设透明通信网络则成为电力信息化发展的前进方向。实现电力通信网的透明化可以支持大量数据的全光高带宽传输和大粒度交换, 在性能、成本和效率上都是大的飞跃。逐步提升电力通信网的透明程度、实现多业务大数据与网络的完美融合应成为电力行业下一步发展工作的重点。而透明网络技术同样也是未来信息通信领域的共同发展方向, 研究这一技术不仅能为电力通信网改造提供完美解决方案, 也为其他网络的发展提供了非常有价值的借鉴意义。
摘要：文章对大数据技术和电力通信网进行了详细的研究, 分析了大数据对电力通信网发展提出的严峻挑战。针对这一挑战, 提出了建设大数据时代下透明电力通信网的理念。实现电力通信网的透明化可以支持大量数据的全光高带宽传输和大粒度交换, 在性能、成本和效率上都是大的飞跃, 成为电力信息化发展的重要前进方向。
关键词：大数据,电力通信网,透明网络,光传送网,光突发交换
参考文献
[1]MIKE.Big Data Definition[OB/EL].http://mike2.openmethodology.org/wiki/Big_Data_Definition.
[2]GROBELNIK M.Big Data Tutorial[OB/EL].http://videolectures.net/eswc2012_grobelnik_big_data/.
数据透明性 篇8
数据复制模式的选择对信息系统进行容灾备份的保护至关重要, 数据复制引擎位于不同的层面, 如磁盘系统、逻辑卷、文件系统、数据库、应用系统, 采取相应的数据复制技术对业务系统产生的数据进行备份。通过层叠文件系统技术为文件系统层添加透明加密的功能, 对数据提供加密保护, 将对系统性能的影响降至最低, 能够有效地提高对信息系统备份数据的安全保护。
1 基于文件过滤驱动的数据复制技术
基于文件系统的数据复制技术的实现方式是将生产中心产生的新增或修改的文件复制到容灾中心, 因此嵌入在文件系统中的数据复制引擎需要监视容灾中心文件系统的变化, 如图1所示。
它有以下几个方面的优点: (1) 支持广域网协议, 容灾中心的地点不受传输距离的影响; (2) 硬件和软件投资较少; (3) 对磁盘子系统透明, 两个数据中心可采用不同的磁盘阵列设备。
然而, 现有的Windows NT操作系统中的文件系统无法支持对数据的实时加密和解密功能, 因此在已有的文件系统上添加一个文件系统过滤驱动即可达到对文件进行透明加密的目的。文件系统过滤驱动是一种基于Windows内核的驱动模式[1,2], 如图2所示, 它通过拦截发往已存在的内核模式驱动的请求来实现新的功能, 截取Windows系统对文件的操作指令, 例如创建、打开、修改和读写等。文件系统过滤驱动是实现对数据进行透明加密的主体。
I/O管理器是用户层和内核层进行交互操作的控制器, 当I/O管理器接收到上层应用发来的文件操作请求, 将构造成I/O请求包IRP (IO request package) , 文件系统过滤驱动通过收取这些IRP进行功能的实现。因此, 基于文件系统的透明加密机制是建立在文件系统过滤驱动的基础上的[3,4]。
2 基于文件系统的透明加密机制的设计
2.1 添加文件加密标识
容灾系统对文件发送的操作指令由I/O管理器传达到下层文件系统, 并经过过滤驱动程序对所要进行操作的文件进行加密标识的判断, 从用户层对文件的访问和修改情况可以比较, 将加密标识置于文件头部是最优的选择[5]:每次对文件进行保存时会修改文件的长度, 将加密标识置于文件的中部或者文件的尾部都容易导致加密标识的丢失或者损坏, 造成对文件的破坏, 导致不可访问。
加密标识需要对外界保密且不可见, 而添加加密标识后, 其文件的长度会发生改变, 文件的大小应该是文件标识和文件本身长度之和所决定的, 所以, 在对文件进行读写操作之前应先对文件进行预处理, 即改变文件的读写偏移, 否则系统不能正确对文件进行读取[6]。如图3所示在存储设备中的文件长度=有效数据的长度+加密标识的长度, 通过改变存储设备中的文件的读取偏移地址, 对文件的长度进行修改, 通过增加和加密标识长度相同的偏移量, 即修改文件偏移地址后的文件长度=有效数据的长度+加密标识+增加长度。
2.2 透明加密机制的设计
用户层对数据进行操作之后就涉及到对文件的存储和备份操作, 其WRITE请求流程如图4所示。
(1) 当用户层应用程序进行了对文件的写操作后, 系统的I/O管理器接收到WRITE请求, 将构成的I/O请求包IRP发送至下层的文件系统。
(2) 在文件系统过滤驱动层中添加的透明加密机制对要写入存储设备的文件进行加密需求判断, 对于不需要加密的文件则直接发送至存储设备驱动程序进行存储, 同时通过存储设备驱动程序进行数据的容灾备份, 将文件复制到容灾中心的文件系统中。
(3) 将需要加密的文件发送到数据加密层, 在数据加密层中, 对该文件进行加密强度的判断, 选择不同分组长度和密钥长度的AES算法, 满足用户不同的加密需求, 使系统的适用性更强;对于不需要加密的文件直接发送到存储设备驱动程序。
(4) 在数据加密引擎对文件进行数据加密的操作, 将文件发送至存储设备驱动程序进行数据存储。
(5) 将文件备份到容灾中心的文件系统并进行下一步操作。
同样, 系统的READ请求的工作过程如图5所示。
系统应用层发出的READ指令被I/O管理器接收后从存在设备中提取需要进行操作的文件, 发送到文件系统过滤驱动程序进行下一步操作的准备, 主要是进行解密需求的判断和分析, 文件的加密标识是加密的文件则需要进行解密才能被应用程序正确识别, 如果是不需要解密的文件就直接发送到用户层。
业务系统出现故障需要从容灾中心将备份文件进行恢复时, 先将容灾中心的备份数据传入生产中心的文件系统过滤驱动层中, 再进行数据的解密需求判断和计算。在容灾系统中通过层叠文件系统技术添加这样的文件加密模块, 在生产中心的存储设备中对密钥和加解密环境进行保存和设置, 而在容灾中心中只对备份数据进行容灾保护, 对其业务系统的整个透明加密环境不进行备份, 同时利用身份认证等技术手段对生产中心提供保护, 加强整个容灾系统的安全性。
2.3 加密算法的选择
在Windows系统中, 物理存储设备磁盘被分成若干分区, 而分区则是由磁盘上一组连续扇区组成, 这些扇区是一些固定大小的、可寻址的存储块。扇区的大小由硬件决定。大多数硬盘的扇区是512字节。在Windows中, 读写文件是以扇区为单位进行的。要么整个扇区的数据全部读 (写) , 要么全不读 (写) , 不存在只读取或者写入不足一个扇区现象的发生, 所以Windows一次性读写文件的大小总是512字节的整数倍。透明加密机制在读解密 (或写加密) 的过程中, 正是利用这一特点以分组密码对数据进行加解密[7], 选择与系统存储结构相吻合的加密算法可以达到较快的运算速度。本文设计的透明加密机制提供的加密算法主要是分组长度和密钥长度分别为128、192、256 bit的AES算法, 系统可以根据用户的实际需求选择不同密钥长度 (或者分组长度) 的AES算法[4]。
3 设计与实现
在Windows NT及XP系统中, 应用程序对文件的读写操作流程一般如图6所示[8], 因此可以根据此流程编写加解密代码。
加密过程:即函数Encrypt Write Per (irp, Irpsp, context) 的处理:
4 透明加密机制的安全性分析
整个加密机制是建立在容灾系统生产中心的主机上, 其加密环境是独立的, 一旦数据离开生产中心的存储环境, 数据文件则以密文的形式存储, 当需要从容灾中心进行数据恢复时, 首先要建立的是生产中心的业务环境, 恢复容灾系统的加解密环境。由于其加密机制是通过文件系统过滤驱动程序进行添加, 任何驱动程序都有对应的DRIVER_OBJECT。DRIVER_OBJECT的重要之处在于它有一组函数指针, 称为Dispatch functions。开发驱动的主要任务就是撰写这些dispatch functions。当系统需要调用驱动, 就会向驱动发送IRP, 并在dispatch function中处理这些请求[9]。对加载在文件系统过滤驱动程序下的数据加密机制可以通过包括身份认证、数据隐藏等技术手段进行安全保护, 在需要进行数据恢复时, 直接通过DRIVER_OBJECT调用加密机制即可以恢复到系统正常工作时的环境。在相同的业务环境下才可以进行正常的数据解密恢复, 通过这样的加密机制对容灾系统进行保护, 可以有效地控制业务系统数据文件的知晓范围, 一旦容灾中心的备份数据丢失, 没有相同的业务系统环境也不能将文件进行正确的解密和恢复, 在很大程度上提高了容灾系统的可靠性。
(1) 选择AES算法作为透明加密机制的加密算法, 达到了数据加密强度高和运算速度快的要求。对信息系统进行容灾保护, 需要考虑到多方面的因素, 尤其是对其添加透明加密机制, 要充分考虑到系统载荷的问题, 业务系统产生的数据需要向容灾中心进行实时的数据传递, 对生产中心的数据进行加密时如果达不到较快的运算速度, 无法达到容灾系统对数据进行同步或者异步复制的要求;其次会对容灾的通信通道造成巨大的资源闲置。
(2) 算法选择的多样性可以满足不同用户的加密需求。AES算法可提供多种不同长度的密钥, 对文件提供不同安全需求强度的数据加密保护, 具有更好的适用性, 同时由于其算法的复杂性又保证了短密钥对文件加密的不可逆性。
(3) 基于文件过滤驱动的透明加密机制, 对文件进行加密保护有较好的隐蔽性和灵活性[10]。对生产中心进行透明加密机制的添加, 一旦出现备份数据的泄露和破坏, 离开了生产中心的系统环境文件则无法正常恢复, 能够在很大程度上对业务数据提供保护。过滤驱动的灵活性可以随意对加密机制进行加载和卸载, 易于系统维护人员进行操作。
5 结论
由于大多的容灾中心都是在距离业务生产中心较远的地方, 其数据存储保护以及系统的维护都相对薄弱, 需要设计完善的安全保护机制才能有效提高容灾系统的安全性, 本文所设计的基于文件系统的容灾备份数据的透明加密机制可提供多种加密算法, 能够满足不同数据文件的保密需求, 对系统的运行影响较小。该机制具有以下特点:基于文件系统驱动程序使数据的加密部分模块化, 简化实现过程;对加密算法有多种可提供的选择, 尽可能地减小对容灾效果的影响;对文件进行加密标识的添加, 强化了对敏感数据的保护。
基于文件系统驱动程序的透明加密技术与Windows内核紧密相关, 将加密技术应用于Windows的内核层要比应用于用户层的安全性要大得多, 所以, 相比其他的加密方式, 安全机制更加完善, 加密算法易于隐藏, 不容易被攻击和破解;对驱动程序的动态加载卸载灵活, 只需进行简单的程序编写, 有广阔的开发前景。将基于文件系统的透明加密技术应用于容灾领域, 对容灾技术的进一步研究和发展有极其重大的促进作用, 具有很大的实用价值。
摘要：针对容灾系统的备份数据安全保护问题进行分析, 设计一个基于文件系统的容灾备份数据的透明加密机制。采用基于文件系统过滤驱动程序的方法进行加密模块的添加;并进行了程序上的设计和模拟实现。其主要思想是将容灾系统的生产环境和容灾环境进行区分, 系统的透明加密机制只在生产中心的存储设备中进行保存。一旦容灾中心的备份数据丢失, 没有相同的数据加密环境, 文件不能被正确恢复, 极大地提高了容灾系统的数据安全性。
关键词：文件系统过滤驱动程序,容灾备份数据,透明加密机制,加密标识
参考文献
[1] 宋志武.基于Windows内核驱动的加密文件系统.武汉:华中科技大学, 2007
[2] 康潇文, 杨英杰, 杜鑫.面向容灾的备份数据透明加密机制.计算机工程, 2009;35 (20) :131—133
[3] 彭荣辉.基于过滤驱动的安全文件系统的设计与实现.北京:北京交通大学, 2011
[4] 李世富.基于透明加密的文件保密技术的研究.武汉:武汉理工大学, 2012
[5] 王熙, 朱震, 苗启广.文件头中存储加密标识技术的研究与实现.计算机工程与设计, 2012;33 (10) :3746—3750
[6] 王全民, 周清, 刘宇明.文件透明加密技术研究.计算机技术与发展, 2010;20 (3) :147—150
[7] 张青凤, 张凤琴.基于Rijndael算法的研究和应用.山西大同大学学报 (自然科学版) , 2012;28 (1) :14—16
[8] 易丹.基于Windows文件系统过滤驱动透明加密的研究.武汉交通职业学院学报, 2013;15 (1) :80—84
[9] 谭文, 杨潇.Windows内核安全编程.北京:电子工业出版社, 2009:236—262