数据网系统（通用12篇）
数据网系统 篇1
1 数据流系统
数据流 (data stream) 应用的出现引起了国内外专家和学者的关注, 数据流管理技术作为一种新兴的技术已经被广泛的研究, 目前通用的DSMS (data stream management system) 包括Telegraph CQ[1], Aurora[2]和STREAM[3]。
数据流的查询过程是持续的查询 (continuous query) [4], 持续查询所关心的并不是全部的数据, 而是近期最近到达的部分数据, 所以数据流中的持续查询采用滑动窗口 (moving window) 机制, 基于滑动窗口的查询。
本文基于通用流数据库[5,6], 构建一个空间数据流系统模型。在此过程中, 借鉴交通导航应用开展工作。这里的空间流数据库模型系统的主要工作仅包括增加空间数据类型、空间滑动窗口和空间谓词, 为了实现简单易懂的空间连续查询语言, 本文在设计时, 尽量和原有的空间数据库查询语言和连续查询语言做到统一。本文依据标准SQL和CQL设计空间数据类型和空间谓词, 并参考OGIS标准, 尽量不修改原有查询语言的结构, 采用通用的空间数据类型表示方法, 通过增加通用的关键词的方式, 扩展连续查询查询语言。
2 空间数据类型扩展
我们考虑交通导航LBS (Location Based Service) 应用, 在这种应用中, 需要知道移动对象前方道路的交通状况, 根据交通状况选择合适的运行路线。假定每个移动对象每隔30秒向导航服务中心报告移动对象当前的速度和位置信息。前方的交通状况由运行在前方的一定范围的移动对象数量和这些移动对象的平均速度来决定, 数量多并且平均速度小于40km/h就表示交通状况差, 否则交通状况良好。随着移动汽车位置的改变, 其维持的空间查询窗口也在不断的改变位置, 如果设计一种空间滑动窗口, 使之能够随着移动对象的改变而改变, 就可以解决这个问题。
根据例子应用的需要, 拟增加的空间数据类型有Poin和SSwin两种。Point用来表示一个移动对象, 而SSwin用来表示一个空间滑动窗口。
(1) Point[x:float, y:float], 在这里Point表示某个移动对象, 它的值为移动对象的二维空间坐标;
(2) SSwin[Point1, Point2], 表示某一空间滑动窗口, 为了简化问题, 此处的SSwin, 仅表示一个矩形的空间滑动窗口, 由两个Point标识。
3 增加空间滑动窗口查询函数
为了支持空间查询, 需要增加空间谓词和空间函数, 本文需要增加空间函数Inside, 用来判断空间移动物体是否在空间滑动窗口内。
(1) Inside (Obj, SSwin)
这里的SSwin表示空间滑动窗口, Obj表示移动对象位置, 此运算符的结果为整型, 当Obj在SSwin的内部时, 其值为0, 否则, 返回值为1。
(2) 空间滑动窗口的连续查询
通过以上增加了空间数据类型和空间谓词以后, 流数据库可以支持空间滑动窗口的连续查询。粗体字部分表示本文增加的空间谓词:
4 空间滑动窗口查询的实现
本文的空间流数据库模型的实现工作是基于STREAM流数据库管理系统, 通过修改此系统的代码, 实现空间流数据库系统。此系统是斯坦福大学开发的一个的通用的流数据管理模型。此数据库管理系统模型是开放源代码的。它能够处理对多个连续的数据流和存储关系的连续查询。它提供大量的复杂流查询, 用来处理高容量和高突发性的数据流。它提供丰富的连续查询语言, 有良好的交互操作界面。
本文的实现是要在流数据库管理系统的基础上进行扩展, 虽然仅是对原有系统的扩展, 但是需要做的工作仍然涉及到整个数据库管理设计的全过程。一个数据库管理系统的设计包括一系列的阶段, 一般遵循以下的顺序。同时以下这些步骤也是实现此空间流数据库的过程中, 主要的工作:
(1) 生成词法分析树:由抽象的查询语言生成词法分析树, 这个过程是数据流管理系统实现的最初阶段。根据上节定义的空间连续查询语法, 在本文的空间数据流系统中, 用Yacc生成查询语言的语法分析树。
(2) 语义分析:对词法分析树进行语义分析, 将词法分析树转换为系统能够识别的内部表示。这一步生成的语义表示仍然不是一个操作符树。这个过程的设计主要是将空间数据类型和空间谓词转换为系统能够识别的形式, 具体的实现类似于算术表达式的语义转换。
(3) 生成逻辑计划:将查询的内部表示转换为逻辑查询计划。逻辑查询计划由逻辑操作符组成。逻辑操作符大多是关系代数操作符 (比如选择、投影、连接等) , 当然也有一些连续查询特有的操作符 (比如滑动窗口操作符) 。逻辑操作符不需要和查询执行中的操作符有关, 它仅仅是一种关系代数的抽象表示。
(4) 生成物理计划:将逻辑查询计划转换为物理查询计划。物理查询计划中的操作符是直接和在查询执行期间执行的操作符相关的。之所以要生成一个单独的逻辑查询计划, 是因为逻辑查询计划更加容易生成, 而物理查询计划涉及到底层细节。
(5) 查询执行:组织存储空间的分配, 物理操作符的执行等。
5 实验
5.1 LBS运动模型
构造如图1所示的导航应用, 移动汽车每30秒向导航中心报告当前位置信息和行驶速度并且进行空间滑动窗口的聚集查询, 这里我们主要涉及count和avg聚集查询, 分别计算滑动窗口内汽车数量和平均速度。移动汽车根据查询结果了解前方路况, 以起到交通导航的作用。
5.2 输入设计
(1) Mov Car
Mov Car的结构如表1所示。
(2) Spa Sli Window
空间滑动窗口 (Spa Sli Window) 数据流, 该数据流包含空间滑动窗口标志信息和空间滑动窗口位置信息如表2所示。
5.3 空间滑动窗口查询设计
上一节中构造了两个输入数据流, 分别模拟移动汽车信息数据流和空间滑动窗口数据流, 下面编写空间滑动窗口查询的脚本语言, 该查询脚本基于前面分析的简单的交通导航应用以CQL (持续查询语言) 编写, 脚本文件如图2所示。
5.4 结果输出
注册了输入数据流, 并且定义了空间滑动窗口查询之后, 经过我们设计的空间流数据库模型的处理得出图3和图4所示的结果。图3所示导航查询结果, 可以看出, 在61时刻的滑动窗口3内有6辆移动汽车, 汽车平均速度为34.1667km/h, 小于40km/h, 满足查询条件, 由此汽车A得知此刻前方路段交通状况差, 可以采取积极的应对措施, 绕过此拥挤的路段。图4所示每个查询时刻对应空间滑动窗口内的汽车信息, 可以看出, 1时刻的空间滑动窗口内有移动汽车A、B、C、D、E, 31时刻的空间滑动窗口内有移动汽车A、B、C、D, 61时刻的空间滑动窗口内有移动汽车A、B、C、D、E、F, 91时刻的空间滑动窗口内有移动汽车A、B、C, 121时刻的空间滑动窗口内有移动汽车A、C。
6 小结
本文结合交通导航应用对数据流系统进行空间扩展, 扩展了空间点和空间滑动窗口, 及基于空间滑动窗口的查询操作, 并依据数据库的设计步骤, 实现了空间数据流系统。以导航应用为例, 构造了一个基于空间滑动窗口的运动模型, 通过试验分析, 输出的结果均符合我们设计的运动模型。
摘要：数据流系统以连续查询为特点, 连续查询的处理机制能够保证数据处理做到实时处理。但是现有的通用的数据流系统没有对空间数据处理的支持, 而基于位置服务显然是一种需要空间数据处理的应用。本文从支持位置服务的后台数据处理出发, 提出用基于数据流系统的流数据库来支持基于位置服务的数据处理的思想, 并结合当今数据流系统的发展和基于位置的服务的需求, 对数据流系统进行空间扩展, 提出一种空间数据流系统的模型。
关键词：数据流,空间连续查询,LBS
参考文献
[1]Sirish C, Owen C, Amol D, Michael JF, Joseph MH, Wei H, Sailesh K, Samuel RM, Fred R, Mehul AS.TelegraphCQ:Continuous dataflow processing[R].In:Alon YH, ed.Proc.of the2003ACM SIGMOD Int’l Conf.on Management of Data.New York:ACM Press, 2003.668—668.
[2]Daniel JA, Don C, Ugur C, Mitch C, Christian C, Sangdon L, Michael S, Nestime T, Stan Z.Aurora:A new model and architecture for data stream management[J].The Int’l Journal on Very Large Data Bases, 2003, 12 (2) :120—139.
[3]A.Arasu, B.Babcock, S.Babu, M.Datar, K.Ito, I.Nishizawa, J.Rosenstein, and J.Widom.STREAM:The stanford stream data manager[J].IEEE Data Engineering Bulletin, 2003, 26 (1) :19—26.
[4]Shivanath B, Jennifer W.Continuous queries over data streams[J].SIGMOD Record, 2001, 30 (3) :109—120.
[5]姜芳艽.DBMS与DSMS的比较研究.微计算机信息, 2007.2, 3:33-36.
[6]金澈清, 钱卫宁, 周傲英.流数据分析与管理综述.软件学报, 2004, 15 (8) :1172-1181.
数据网系统 篇2
为正确、高效处臵金融统计数据集中系统数据报送环节面临的突发事件，提高应对数据报送风险的能力，保证金融统计数据采集工作顺利运行，依照人民银行总行确定的风险应对机制适用范围，根据自身情况及面临的风险特制定本方案：
一、组织机构
成立数据报送风险应急工作小组，由XXX行长任组长，计划财务部、风险管理部、信息科技部、各支行主管副行长及其他涉及数据报送的部门领导为成员。办公室设在计划财务部，负责具体工作。
二、风险应对机制方案
（一）金融统计制度变更的处理机制
对于统计制度变更引起的统计指标、统计口径等方面的变化，在接到正式通知后及时传达给各支行和相关部门。
业务部门与科技部门相关人员配合，在五个工作日内完成相关指标的修改及测试。
如果发生重大变化，如人行接口程序发生变化时，要求系统开发商在2个工作日内到达，进行相关业务的开发，保证与人行系统同步，及时按新口径进行统计，确保统计数据按时报送。
（二）数据处臵程序故障的处理机制
对于统计数据处理程序故障，视情况及时应对。我行统计数据处理程序采用BS架构模式，如出现故障，可以分为三种情况：
（1）前端应用程序出现故障，导致业务人员无法登陆生 成报送打包文件时，报送数据不会丢失，科技部门可在10分钟之内重新搭建前端环境，确保不会影响到报送业务的正常处理。
（2）数据库端出现故障，导致报送数据无法生成时,科技 部门可手动执行程序生成报送数据，整个生成数据的过程所需时间在1小时之内，确保不会影响数据报送。（3）装载数据库的pc-server机器出现软件或硬件故 障，导致报送数据无法正常生成时，可启用备用设备。备用设备的软件环境与正式运行环境完全一致，可在最多1个工作日内采集完成所需所有数据，保证报送程序正常工作。出现故障的服务器视故障严重程度，最多在5个工作日内会完全恢复至原状态。
（三）人员的配臵机制
对于人员配臵方面，实施AB岗制度，确保不因人的因素影响数据报送工作。
所有统计岗位都设立AB岗模式，以A岗为主，B岗为辅，若A岗人员离岗时，会及时移交给B岗人员。系统维护上也配备两名技术人员。
如统计人员更换，要求前任统计人员做好统计资料的交接，负责新任统计人员的培训，并指导一至二个报送周期后方可离岗。
（四）报送及时性的保障机制
统计部门与其他报送数据的部门保持联系，制订明确的数据上报时间，要求各数据报送部门按时报送。
对基层机构数据报送工作纳入内控考核，出现迟报、漏报和误报现象及时纠正，视情节给予内控扣分。
（五）数据更新的保障机制
现行机制下，我行金融统计报送系统与核心系统的基础数据是同步的，当本机构下设机构、部门发生变更时，金融报送数据系统会在次日采集核心变化的基础数据进行相应更新。
统计部门人员要在发生变更的次日进行数据测试，确保数据更新的及时和完整。
（六）报文报送途径的应急机制
一旦发生我行与人行数据接收系统无法链接时，数据报送管理员可下载打包好的报送数据到存储介质人工报送至市人民银行。
（七）计算机病毒的防控机制 服务器已安装企业版杀毒软件与防火墙，杀毒软件能够实时监控自动杀毒，对病毒进行防控。
遇到无法查杀病毒，导致报送数据的机器无法使用的最坏情况，则启用备用服务器重新生成报送数据，生成数据过程所花费时间在1个工作日之内。
（八）不可抗力的应急机制
遇到重大自然灾害，将启动特殊情况处理方案，导致主服务器及备用服务器硬件设备损坏，无法产生报送数据时，科技部门会取定期异地备份的数据库数据，在5个工作日内重新搭建报送环境，确保完成报送工作。
备份系统和数据 篇3
在Windows 7中我们可以通过控制面板打开备份和还原功能，对系统和数据进行备份，而微软目前也已经在Windows 10中实现了该功能，通过“设置|更新和安全”，并选择“备份”，我们可以选择“使用文件历史备份”功能，通过将文件备份到另外的驱动器来保护文件。其次，单击下方“正在查找较旧的备份？”下的“转到备份和还原（Windows 7）”链接，我们可以打开Windows 7的备份还原工具，导入旧系统和数据备份。对于从Windows 7和Windows 8升级的用户来说，升级后一个月内可以通过“设置|更新和安全|恢复”中的“回退到Windows 8.1”（根据原系统版本不同，选项相应变化）回到原来的系统。另外，从Windows 8开始，可以在“设置|更新和安全|恢复”中单击按钮完全初始化系统，或者在不影响数据的情况下恢复系统到刚安装的状态，在Windows 10中也将让用户选择保留或删除个人数据，如果保留则在刷新系统后保持数据完好，但已安装的程序将被删除。
分散的系统备份功能
Windows 10仍然有系统恢复功能和支持文件快照的文件系统。如果需要备份单独的文件夹，则可以通过“设置|更新和安全|备份”选择“使用文件历史备份”功能，将指定的文件夹备份到USB硬盘驱动器之类的外部存储介质。该功能可以自动备份用户的个人文件夹，例如在固定的时间间隔备份文档、图片和音乐。如果用户使用微软的云存储服务，那么激活OneDrive将可以同步OneDrive文件夹。如果需要调整OneDrive文件夹的配置，则除了可以在资源管理器中右键单击OneDrive文件夹设置，也可以通过任务栏上的OneDrive图标配置和打开OneDrive文件夹以及查看同步设置。
铁路局IP数据网系统规划 篇4
数据网以其自身的优势在铁路建设中有广泛的应用, 例如:数据网可以为用户提供10M/100M/GE等灵活的接入手段;结合MPLS技术, 可以在专网专用的结构下提供面向连接的网络层专线服务和交换型数据业务互联服务;根据不同数据业务安全性、实时性的要求, 可以将业务按不同的Qo S分级提供服务等。
1 数据网系统构成及方案
1.1 铁路数据网规划
铁路数据通信网广域网包括骨干网络、区域网络。骨干网络包括几个大区节点, 各大区节点间形成网状或部分网状连接。铁路局区域网络分为三层, 即核心层、汇聚层和接入层。核心节点及每个汇聚节点各设置2台路由器, 汇聚节点的路由器直接上联至核心节点的2台路由器, 汇聚节点与核心节点及汇聚节点间可形成网状或部分网状连接。接入节点路由器可采用本地直联双归、本地链型双归或异地链型双归三种连接方式与汇聚节点 (或核心节点) 相连, 其区域网络结构如图1所示。
1.2 铁路局数据网系统构成及设备配置
根据数据网全网整体规划, 优化铁路局既有通信数据网系统, 应按照经济合理、扩展性强的原则进行, 采用分层布局, 合理构建的方案。更新改造后的数据网, 应充分满足全局信息系统的应用。
铁路局数据网利用传输MSTP系统作为承载平台, 构建骨干、汇聚以及接入层次化网络结构。核心层设置在路局调度所, 汇聚节点设置在承载业务量相对集中以及传输电路的汇聚点, 接入节点设置在基本业务接入的车站节点。本设计根据需要采用本地直联双归、本地链型双归相结合的链接方式组网。
在实施中, 结合网络和业务实际情况, 分步实施, 平滑演进, 做好远期和近期的结合。本设计从网络总体规划、设备选型、IP地址规划、VPN划分等方面对数据网建设作全面设计。
1.2.1 系统结构
1) 核心层。为提高核心层网络的冗余能力、可靠性和高速传输能力, 数据网核心节点采用两台高端核心路由器级联的方式, 两台核心路由器之间用GE光口互联。下联至汇聚层的通道接口主要为155Mb/s POS, 与核心层同一位置的汇聚层设备采用GE光口与核心路由器互联, 与实现区域网络与骨干网络间数据的快速转发。
2) 汇聚层。为了数据网组网更加方便、灵活, 便于维护和管理, 本设计根据接入层节点地理位置情况, 以及所在地的传输系统能力, 采用A、B、C三个汇聚节点。为了防止出现汇聚节点单机宕机导致业务无法上传的问题, 各节点均设置两台路由器。双机路由器之间通过GE光口进行直联。
因各汇聚节点下联的接入网元节点较多, 传送的业务种类较丰富, 业务容量较大。与核心层路由器同址的汇聚层路由器分别通过GE光口上联至核心层路由器;异址的汇聚层路由器分别通过155Mb/s (POS) 上联至核心层路由器。传输通道由骨干及本地中继层MSTP传输系统提供, 从而实现各数据接入点的数据流量高速汇聚与转发。
3) 接入层。由于当地传输资源及通道的限制, 本设计中接入层至汇聚层网络结构采用本地直联双归与本地链型双归相结合的方式, 既可以充分利用传输通道, 又可以使网络较安全、稳定的运行, 在节省传输资源的同时又对设备进行了保护。
接入层节点均配置中等性能路由器和二层交换机, 负责本地数据的接入、交换。带宽设置要充分考虑接入层业务, 包括会议电视、视频监控、车辆5T、办公OA。当数据并发时, 最低占用带宽在2M范围之内。传输资源丰富的接入节点, 其路由器与汇聚层路由器之间、接入层路由器之间通过MSTP系统提供的FE通道捆绑n×2M构成环形网, 区域的划分要参照所利用的传输组网方式, 环形节点范围要在传输组网两个环切点之内, 并且要考虑环内每两个点之间的并发数据业务, 带宽留有余量;其余传输资源有限的接入节点, 路由器与汇聚节点路由器之间通过E1接口2M通道互联。各节点以太网交换机与本站接入路由器通过FE接口互联实现业务的高速上传。
1.2.2 设备配置原则
1) 网络节点内路由器设备的配置应充分考虑该节点在网络中的位置和功能。
2) 网络节点配置多台路由器时需考虑网络结构、流量等的影响。
3) 网络节点采用的设备主要部件应冗余配置, 并考虑可扩展性、安全性等要求。
根据以上的主要设备设置原则, 核心层节点设备采用较强路由功能的路由器, 能够提供千兆比特以上速率的IP接口;汇聚层节点设备下行接口应多样化;接入层节点设备应能够提供丰富的用户接口, 具备流量控制、用户数据隔离、端口隔离及其它策略管理功能。核心层及汇聚层设备需要提供FE端口、E1端口、GE端口、155POS端口, 接入层设备应能提供FE端口、E1端口。
1.3 数据网规划方案
1.3.1 路由设置及IP规划
铁路局数据网已设置单独的AS域号, AS内采用IS-IS作为内部路由协议, IS-IS使用两层层次化的路由。
网络设置路由时应充分考虑网络的可扩展性, 使业务流量合理分配, 并且避免网络拥塞。铁路局接入层的网元较多, 为了设备方便维护, 本设计将一个路由域被划分为多个区域。此次把全网划分为4个区域, 核心层节点为区域01, 汇聚层节点A、区域02, B为区域03, C为区域04。核心层2台路由器定义为L2路由器, 汇聚层A、B、C定义为L1/L2路由器, 接入层路由器定义为L1路由器。
IP地址划分分为三类, 第一类是设备管理地址段, 第二类是设备互联地址段, 第三类是业务地址段。网络IP地址的划分主要遵循以下几个原则:
1) 唯一性:一个IP网络中不能有两个主机采用相同的IP地址;
2) 连续性:连续的IP地址在层次结构网络中易于进行路径叠合, 缩减路由表, 提高路由计算的效率;
3) 可扩展性:IP地址分配需具有可扩充性, 并为将来的网络扩展预留一定的地址空间;
4) 层次性:IP地址的划分需采用层次化的方法;
5) 节约性:IP地址规划尽可能使用较小的子网, 既节约了IP地址, 同时可减少子网内网络风暴, 提高网络性能。
设备管理地址:段为了方便管理, 每一台路由器创建一个Loopback接口, 并在该接口上单独指定一个IP地址作为管理地址。越是核心的设备, Loopback地址越小。本设计设备管理地址的划分按照网络结构划分, 按照先纵向后横向的原则。纵向原则是按照核心层—汇聚层—接入层的顺序划分, 横向原则指按照汇聚层所在区域顺序划分。
设备互联地址段:设备互联地址指的是网络设备相互连接所需要的地址, 相对核心的设备, 使用较小的地址。互联地址通常聚合后发布, 在规划时充分考虑使用连续的可聚合地址。
本设计设备互联地址段按照区域01、区域02、区域03、区域04划分, 在每个区域中的IP地址在考虑预留地址空间的情况下按照顺序划分。这样做的好处是可以根据IP地址判断出该地址所属的设备及地点。
业务地址段:指网络中服务器、主机所使用的地址以及网关地址。
1.3.2 MPLS VPN
VPN虚拟专用网络可以增强网络的安全可靠性, 连接更安全灵活。通过VPN, 可以为不同要求提供不同等级的服务质量保证, 并且便于管理。在组建BGP/MPLSVPN网络时, 在每个PE路由器上必须运行MP-BGP协议 (MPLSVPN中PE之间使用MP-BGP) , 在PE之间进行VPN路由的学习和通告, 当VPN中的PE数量很大时, IBGP全连接的数量会很大, 为了改善这种状况, 可以使用路由反射器来解决。
本设计采用汇聚层路由器做为P设备, 进行相关路由转发和MPLS标签转发, 2台核心路由器同时作为P设备和PE设备以及路由反射器。利用各接入路由器作为MPLS VPN的PE设备, 实现信息的安全转发。接入层路由器分别与核心层路由器建立BGP邻居关系, 2台核心路由器做为路由反射器把客户端局点全部路由进行相互备份再进行路由反射。设计过程中应避免全连接网络, 避免接入层路由器路由表过大, 导致设备过载故障发生。
1.3.3 Qo S方案
为了提高网络性能, 需要对网络进行流量控制。不同业务对服务质量的要求是不一样的, 需要进行业务的区分和服务质量的控制, 对不同的业务标记为不同的优先级。
按照铁路局数据网业务划分优先级, 包括会议电视、视频监控、车辆5T、办公OA, 本次工程只对业务由高至低分四个等级。为了网络可以提供可靠的服务质量, 可以采取以下一些策略, 如提供充足的资源、缓冲能力、通信量整形、资源预留、准入控制、比例路由和分组调度等方式。具体的实施技术在设备安装配置时在设备端进行操作执行。
1.3.4 设计方案改进
由于受传输链路通道的影响, 本设计中采用了本地链型双归的组网形式。但是在本数据网布署MPLS VPN的时候遇到一些问题。MPLSVPN布署需要接入路由器和核心路由器建立BGP邻居关系, 链型组网中中间位置的接入层路由器与核心层路由器存在很大的路由相互转发业务, 如图2中的GZ1点。这样会导致路由表的增加以及业务过载等问题, 容易形成广播风暴等风险。另外, 中间的接入层路由器发生故障时, 路由反射引发的路由信息更新会反复发生, 可能引起路由震荡, 导致网络不稳定。因此, 接入层路由器最好采用本地直联方式链接至汇聚层设备, 既可解决BGP邻居关系, 增强网络安全性, 减少路由震荡可能性, 又能节省链路和人力维护资源成本。
2 结语
伴随着铁路事业的发展, 铁路信息数据业务越来越丰富。为了满足铁路局IP数据网的稳定、安全、高带宽、高速率、多业务接入以及对视频监控的承载要求, 实现资源共享、减少运营成本的目的, 铁路局IP数据网将不断向层次化、高性能、高可靠的多业务平台发展, 为铁路发展提供强有力的保障。
摘要：随着中国铁路建设的不断发展, 铁路运营信息业务的不断增加, 数据网系统在铁路通信系统中承担着越来越重要的角色。本文从铁路局数据网规划的必要性出发, 详述了数据网系统结构、设备配置, 以及具体的规划方案。
关键词：铁路通信,数据网,IP规划,MPLSVPN
参考文献
[1]石晶林, 丁炜.MPLS宽带网络互联技术[M].北京:人民邮电出版社, 2001.
[2]冯径.多协议标记交换技术[M].北京:人民邮电出版社, 2002.
[3]赵玮, 刘云.网络信息系统的分析与评价[M].北京:清华大学出版社, 2005.
[4]杨云霞.河南移动新乡分公司IP城域网组网规划与研究[D].北京:北京邮电大学, 2008.
[5]薛东.铁路客运专线数据网解决方案[J].甘肃科技, 2008.
系统数据备份方案 篇5
采供血信息系统从开始正常运行，就将随着时间的推移，不断地积累数据。在采供血机构中一切基于业务流程的活动都以这些数据为基础。在系统运行中常常会不可避免地遇到一些问题，如人为误操作、硬件损毁、电脑病毒、断电或是天灾人祸等造成网络系统瘫痪、数据丢失，这会给采供血机构、献血者和用血者带来难以弥补的损失。避免这种损失的最佳途径就是为系统进行可靠的数据备份。备份方案
1.1 备份策略 建立一套完整的备份策略，是做好备份的先决条件。（1）备份周期:根据数据的重要程度和需要，可以选择每周、每日、每时进行备份;（2）备份介质:使用的存储介质如磁带、磁盘等进行备份;（3）备份方案:目前常用的方案有双机备份、磁带备份、异机备份等方案，备份方案的选择是备份策略中最关键的一步;（4）自动备份和手工备份:自动备份是指计算机按预先设定好的时间自动启动备份作业，手工备份是指程序员不定时的人工启动备份作业;（5）检查备份数据的完整性:数据库在使用过程中有时会由于某种原因而造成索引损坏或数据丢失。由于不能对实时库进行检查，所以在数据备份后通常要对备份数据库进行完整性检验。
1.2 常用备份方案
1.2.1 双机备份 双机备份分为双机冷备份和双机热备份两种。双机冷备份为一台主机实时工作，一台备用机等待备用。这种方案最大的问题是无法实现实时数据备份。对于采供血机构的工艺流程对于数据连续性要求很强，基本无法使用备用机工作。双机实时热备份为双机镜像和共享磁盘阵列两种方案。双机镜像方案是准备两台在软件和硬件配置都要完全一样的服务器，分为一主一备，并互为镜像。将主数据库服务器上的表、文件、数据库或全部内容通过专用连接通道镜像到备用服务器上。当主服务器发生故障时，由主服务器迅速装载事务处理日志到备份服务器。备份服务器将接管事务处理日志继续完成主服务器的操作。优点是简单、便宜;缺点是降低系统效率，对数据维护的能力与共享磁盘阵列方案相同，都无法防止逻辑上的错误，如人为误操作、病毒和数据错误等。共享磁盘阵列方案为两台主机共用一个磁盘阵列。优点是不降低系统性能，为目前较为流行的主流技术，但要求磁盘阵列具有较高的可靠性。
目前较为先进的备份方案为多主机集群方案，多台主机都在同时分别工作，当其中一台主机故障，其它主机可以接管故障机的任务。这种方案在“理论上”十分完美，可以避免冗余服务器的闲置浪费，但在系统方案设计中，仍要考虑一台主机故障后，全部任务交给备份机，备份机是否有能力承担全部任务，因而硬件冗余能力必须大于系统负载，故冗余硬件能力的闲置在理论上是不可避免的。双机备份方案主要有三种模式:Mutual backup（双机同时工作相互热备份）模式虽然可各自执行各自的作业，但在出现故障时，前端客户机的工作需重新开始;Hot standby（双主机固定热备份）与Muster-Slaver（双机主从热备份）的区别在于原MASTER主机修复后是否从SLAVE恢复到MAS-TER。由于目前所有的热备软件均不能解决数据库的故障，数据库的安全和可靠性仍需单独维护。另外，数据库的切换时间与数据库的数据量及进程的复杂性有关，所以应尽量减少数据的切换、数据库的回滚及系统重新启动等。
1.2.2 异地备份 选择1台与主服务器配置相近的备用服务器，建立1个与主服务器数据库同名的数据库。利用系统本身提供的异地传送工具，通过设置定时由计算机自动地把主服务器数据库中的数据传送到备份数据库上。如果主服务器系统出现故障时，启用该服务器通过网络做临时性单机运行。一旦主服务器系统瘫痪，只要重新在主服务器上安装操作系统或重装数据库，就可以利用异地传送工具把备用服务器上的数据传回至主服务器，确保数据安全恢复。这种方案近似于手工完成备份和恢复工作。优点是简单，可根据服务器的瘫痪情况控制数据的恢复程度。缺点是不能实时备份主服务器数据。
1.2.3 磁带备份 磁带备份就是将数据库中的数据备份到磁带上。磁带备份长期以来一直是首选的数据存储备份技术。磁带介质不仅能提供高容量、高可靠性、可管理性、容易携带和保存，并且价格便宜。常用的硬件设备包括磁带机和磁带库。磁带库是一种框式封闭机构，由数台磁带机、机械手、数十盘磁带构成。它能够提供基本自动备份和数据恢复功能，可以实现连续备份、自动搜索磁带。在备份软件方面，通常使用操作系统本身所提供的备份功能。缺点是磁带质量常常影响存储效果。我站数据备份方案
2.1 血站信息系统的特点（1）工艺流程性强。整个流程包括献血者档案管理、血液采集、检测、搬运、制备、包装、发出、报废、销毁、血费收取、血液返还等，环节众多，纷繁复杂，对于信息的一致性要求极高。（2）判定机制健全、严格。为保证提供血液安全、有效，保证献血者和用血者身体健康，信息判定机制对于各种情况的判断要非常细致，对信息的完整性要求很高。（3）业务信息时效性强。
2.2 数据备份方案 根据我站信息系统的特点，笔者采用了具有容错功能的服务器，选用双机热备、磁盘阵列技术的硬件设备配置方案为主，异机备份为辅的数据备份方案。
2.2.1 硬件环境 两台服务器采用IBM xSeries225，单PII-II2.8CPU，512M，本地硬盘36.4G，分别装有10/100M网卡。服务器通过光纤集线器与一个IBM磁盘阵列柜相连，以共享其36.4G的磁盘空间作为双机热备服务器组。一台联想T200服务器作为异机备份服务器。
数据采集系统的设计 篇6
张连华
摘要：单片机作为微型计算机的一个分支。其应用系统的设计方法与一般的微型计算机应用系统的设计在许多方面是一致的。但由于单片机系统通常作为系统的最前端。设计时更应注意应用现场的工程实际问题，使系统的可靠性能够满足应用的要求。数据采集是单片机应用系统中最为重要和普遍的应用要求。数据采集的对象可以是温度、压力、流量等各种物理量。数据采集系统可以是复杂控制系统的一部分。也可以是配备显示(或打印)输出的独立系统(或仪表)。
关键词：单片机；温度；设计
中图分类号：TP274+.2文献标识码：A文章編号：1000-8136(2009)35-0164-02
1模拟通道的组成
模拟通道的一般构成见图1。
1.1传感器
传感器把被测的物理量(如温度、压力等)作为输入参数，转换为电量(电流、电压、电阻等)输出。物理量性质和测量范围的不同。传感器的工作机理和结构就不同。通常传感器输出的电信号是模拟信号(已有许多新型传感器采用数字量输出)。当信号的数值符合MD转换器的输入等级时，可以不用放大器放大；当信号的数值不符合A／D转换器的输入等级时。就需要放大器的放大。
1.2多路开关
多路开关的作用是可以利用一个A／D转换器进行多路模拟量的转换。利用多路开关轮流切换各被测回路与A／D转换器间的通路，以达分时享用A／D转换器的目的。常用的多路开关有CD4051／CD4052和AD7501／AD7502等。
1.3放大器
放大器通常采用集成运算放大器，常用的集成运算放大器有OP-07，5G7650等。在环境条件较差时，可以采用数据放大器(也称为精密测量放大器)或传感器接口专用模块。
1.4取样保持器
取样保持器具有取样和保持两个状态。在取样状态时，电路的输出跟随输入模拟信号变化；在保持状态时，电路的输出保持着前一次取样结束前瞬间的模拟量值。使用取样保持器的目的是使A／D转换器转换期间输入的模拟量数值不变，从而提高A／D转换的精度。常用的取样保持芯片有LF398，AD582等。
当前输入的信号变化与MD转换器的转换时间慢的多时，可以不用取样保持器。
1.5A／D转换器
A／D转换器的主要指标是分辨率，A／D转换器的位数与其分辨率有直接的关系。8位的A／D转换器可以满量程的1／256进行分辨。A／D转换器的另一重要指标是转换时间．选择A／D转换器时必须满足采样分辨率和速度的要求。
2数据采集系统的设计
2.1设计要求
设计一个温度数据采集系统，被测温度范围是0-500度，被测点为4个。要求测量的温度分辨率为0.5度。每2s测量一次。
2.2器件选择
传感器选用镍铬一镍硅热电偶，分度号为K(旧分度号为EU-2)。当温度为500度时，热电势为20.64 mV。
满量程为500度。对于0.5℃的分辨率要求，A／D转换器要具有0.5／500=111000的分辨能力。8位的A／D转换器的分辨能力为1／256。10位的A／D转换器的分辨能力为1／1024。5G14433具有1／2048的分辨率。
每2s对4点进行一次巡回检查时，每点取样时间为2s/4=0.5s，即1s取样2次。对于5G14433．当外接电阻Rc为300 kn时，时钟频率为147 Hz,每秒转换约9次。
另外，还需要将热电偶输出的20.64 mV的信号放大到5G14433的输入电压为2V，放大器的增益为2000／20.64=96.9。为了提高放大器的抑制共模干扰的能力，多路开关选用差动多路转换器CD4052。
由于温度信号变化缓慢，可不用取样保持器。
2.3硬件电路
数据采集系统的模拟输入通道电路见图2。
图2中未画出显示及输出部分电路，数据放大器可以选用单片高性能数据放大器芯片，也可以采用普通运算放大器组合而成。
2.4软件流程
数据网系统 篇7
关键词：焊接参数,网络监控,系统开发,CAN总线
1 概述
焊接是轨道客车钢结构组装过程中不可缺少的工艺过程, 焊接质量直接影响到车体钢结构的承载强度, 由于焊接过程受焊材、环境、机型、手法等影响因素较多, 且十分复杂, 故焊工工作绩效的管理在国内外都存在不同的评价方法, 但这些方法对焊接质量与工作强度的衡量科学依据都不够充分。目前, 焊接工艺管理主要针对设备、焊材、焊接参数、环境与焊工技能这5个方面, 而影响质量的焊接参数难以实时控制, 造成过程质量隐患。
目前既有的焊接数据网络监控主要采用计算机监控软件实现, 该软件通过与焊机通讯监控重要的焊接数据[1], 因而对设备选型有严格要求, 一方面监控管理与成效未能较好地结合实际, 实用性不强, 加之控制技术本身不够成熟, 得不到推广应用;另一方面焊接监控技术的通用性不强, 仅针对专机[2]或统一规格焊接机型进行内置控制, 应用面不广, 大部分客户无法应用。
南京某公司在做了大量现场调研的基础上, 研制了一套基于Web的焊接过程远程监控系统 (以下简称监控系统) , 经电脑仿真和现场试验, 验证了该系统适用于复杂多变的现场环境, 对焊接电源的品牌、型号无任何要求, 运行稳定, 实用性强[3]。
2 监控系统组成及功能原理
该监控系统由采集装置、数据中继站和服务器组成, 其物理连接简单, 无须复杂布线, 采集装置全外挂于焊接装置外, 如图1所示。
2.1 硬件设施
监控系统采集装置包括电流和电压信号2个采集单元, 采集到的数据通过CAN总线与数据中继站连接。采集单元的采集端分别与焊接装置的输出端连接, 数据中继站与服务器连接。
监控系统的分类报警提供了3种模式:桌面弹窗报警、声光报警及CDMA短信报警。监控系统的基础配置为弹窗报警, 其余预留接口由客户选配。显示器视频监控 (选配) 作为系统辅助监控, 可以更加直观、方便地管理现场。
2.2 系统开发
监控系统包括了参数采集、数据传输、信号转换、数据储存、数据处理、指令执行、分类报警、视频监控 (选配) 等模块。数据传输分下端传输和上端传输, 下端传输采用CAN总线, 上端传输采用以太网方式, 使本系统的可接入性及扩展性大大增强。考虑到客户现场设备种类繁多的实际情况, 参数采集模块采用了外置方式, 通用性强。
软件采用MY SQL数据库, 充分满足系统对数据实时性的要求。系统功能如图2所示。
由于焊接起弧与收弧特性, 焊接起始瞬间的焊接参数与工艺参数的差别较大, 为了更好地匹配工艺管理, 需要对焊接过程实际采集的数据进行处理, 主要包括滤除瞬间电流与电压、选取合适的焊接时长、设置合适的采集频率、实时计算焊接平均电流、调整信息输出报表格式、自动生成相关信息等内容。
2.3 监控界面
2.3.1 图视化焊接参数及系统功能
焊接过程参数直接反映在工作界面上, 反馈信息包括设备信息、焊接电流、焊接电压、焊接时间、警告及现场工区工位等, 监控系统界面如图3所示。系统可以实时监控或查询任意一台设备的相关信息, 如焊接时间、焊接参数, 包括焊丝用量、气体消耗等 (见图4) 。
系统后台参数还包括人员身份与技能资料、设备机型与焊丝型号规格、工艺参数控制标准等内容的设定, 在实施监控之前须按照现场管控的要求录入或导入焊接要素信息 (见图5~7) 。此外, 还可以对系统界面进行管理, 报表生成时即可直接全面反映焊接状态信息, 便于数据的分析与对比;为了对不同设备或同一台设备不同时间段内的焊接参数进行直观对比, 系统还可以筛选出管理人员需要的各种信息, 如操作工技术水平、焊接设备性能等;对数据进行存储与管理, 实现产品过程的可追溯性;根据客户个性化需求设定不同等级的访问权限, 保障用户对生产数据的保密性等需求。
2.3.2 数据报表生成
系统的信息汇总处理功能可把焊接生产过程中的相关信息自动生成表格反映在用户面前, 特别解决了焊接过程是否符合特殊过程工艺规定或要求进行监控的有效性问题, 另外还可以在一定范围或时间内查询焊接时间, 了解焊丝、气体等消耗量信息, 真正实现生产过程的细化控制, 提高技术管理水平。
3 应用效果
(1) 现场实时控制, 实现了焊接工艺特殊过程体系管理要求
经试验, 每台设备每天的工作全部得到了有效的监控, 只要管理者将该设备、人员、工艺要求与工作对象进行选定, 焊接过程就可以在相对标准的工作环境中得到实时监控, 影响整个施焊质量的过程因素也就得到有效控制。由于监控系统的设计能结合焊接现场实际, 无论是做焊接工艺试验, 还是批量产品焊接作业, 通过该系统都可以积累大量的数据, 为进一步优化焊接工艺及全过程焊接管理体系提供了有效平台。
(2) 节能增效, 促进了企业管控水平的提高
板材施焊前的工艺处理在很大程度上影响着焊接参数, 从而影响了焊接工艺。如某公司为了增强客车钢结构板材的防腐性能, 焊前均进行了预处理工艺, 表层磷化, 因焊接导电阻不均匀变化, 不仅直接影响了焊接参数, 还影响了焊接成形效果, 增加了对焊工的技术、技能要求。
通过现场分析、比对应用数据, 可以综合分析设备利用率、设备工作稳定性及焊工技能水平情况, 有助于促进技能培训、设备选型、定额管理等管理水平的提高。例如某车间的保护气体实际消耗量远大于当前定额, 通过加强监控发现了浪费原因, 及时制定相关管理措施, 节约了成本。同时, 对焊丝的消耗量也推断出类似的浪费现象, 从而加强了管理。
(3) 监控系统结构简单, 可操作性与维护性强, 功能扩展性强
整个监控系统的物理连接简单, 配置要求不高, 采集装置全外挂于焊接装置外, 无须复杂布线, 不受场地限制, 采用模块化控制装置, 具有很大的灵活性。另外, 结合焊接技术水平与企业管理要求, 功能扩展性比较突出, 如需与ERP系统、OA办公系统、数字化成本考核平台等接驳时, 只需进行系统升级即可。
4 结束语
随着制造业体系论证与控制要求的不断提高, 通过科技手段促进焊接过程与管理水平稳步提高是企业发展的趋势, 不仅可以提高企业的竞争力, 还能有效解决焊接人才的短缺或流失问题。
参考文献
[1]苏宪东.焊接数据的网络监控[J].电焊机, 2011, 41 (3) :20-23.
[2]牟秋锋.基于OPC的机器人焊接生产线监控系统的数据集成及软件开发[J].工业控制计算机, 2004 (9) :47-53.
数据网系统 篇8
1 LTE技术概述
LTE (Long Te rm Evolution, 长期演进) 项目是3G的演进, 始于2004年3GPP的多伦多会议。LTE并非人们普遍误解的4G技术, 而是3G与4G技术之间的一个过渡, 是3.9G的全球标准, 它改进并增强了3G的空中接入技术, 采用OFDM和MIMO作为其无线网络演进的唯一标准。在20MHz频谱带宽下能够提供下行326Mbit/s与上行86Mbit/s的峰值速率。改善了小区边缘用户的性能, 提高小区容量和降低系统延迟。
3GPP从2004年下半年开始启动了“长期演进”项目, 简写为LTE项目。从时间上看, 该项目计划在2007年年中完成标准的制定工作, 在2008年或者2009年将产品推向市场。其中标准化工作又划分为两个阶段, 第一阶段定在2006年年中, 主要完成相关的技术研究, 形成研究报告。然而使用一年左右的时间, 完成标准的撰写工作。从技术要求方面来看, 3GPP的奋斗目标是实现一个下行达到100Mbit/s, 上行达到50Mbit/s的系统。这个系统的重点是提供数据业务, 常规的语音业务不再考虑。为了支持更多的用户和更多的业务量, 这个系统要求频谱效率比现有的系统提高3~4倍, 即达到5bit/s/Hz的水平, 为了实现这个目标, 3GPP考虑引入大量的先进技术, 这样与现有的WCDMA系统的后向兼容将不再是一个重点考虑的问题。
2 LTE数据上行接收技术探讨
2.1 数据上行接收传输方案设计
本文讨论了单载波调制方式的一种可选方案。单载波调制只用一个载频, 而典型的OFDM要用成百上千的载频, 因此单载波调制信号的峰平比要小一些。这就意味着, 对于一个给定的平均功率, 单载波系统所需的线性范围要小, 换句话说, 所需的功率峰值要小, 从而所需的功率放大器要比OFDM便宜。基于此, 在LTE数据上行接收系统中, 所用的上行接收技术应该能够有效的避免由于时隙效应而带来的数据传输上的失真, 为此, 本研究论文拟采用单载波系统实现上行数据的接收。单载波系统只传输一个载波, 并用高符号速率进行调制。单载波 (SC) 系统中的频域线性均衡是普通的时域线性均衡的频域上的映射。对于严重时延扩展的信道, 频域均衡在计算上比相应的时域均衡要简单的多—因为均衡是在一个数据块上执行的, 块上的操作涉及到一个有效的FFT操作和一个信道反向操作。单载波调制信号的频域均衡理论早在十九世纪七十年代就已经指出, 通过FFT处理和添加循环前缀, 单载波系统的频域均衡与OFDM具有同样低的复杂度。
处理单载波调制数据的频域均衡接收端所具有的很多信号处理功能与OFDM接收端相同。事实上, 单载波和OFDM调制可以兼容, 这种兼容对于整个系统来说是非常有好处的。为了满足上面的特性, 带有循环前缀的单载波调制方式被广泛认可应用在EUTRA上行链路中。有两种单载波传输方式被最为候选提案:locallzed FDMA和distribute d FDMA。loe alize d FDMA方式, 每个用户的使用相邻的一组子载波, 方便频域调度;distributed FDMA方式, 每个用户使用分散在整个频带上等间隔的一组子载波, 因此可以获得频域分集增益。IFDMA是一种多载波正交调制和多址接入方式, 它结合了OFDM和单载波调制的优点。IFDMA保持了单载波系统的低峰均比性质, 同时支持多速率传输, 并可以使低速率用户获得频率分集增益。在IFDMA中, 若干个数据符号组成一个数据块 (Block) , 再重复L次, 然后添加循环前缀, 这就形成了一个IFDMA符号, 经过调制和滤波 (一般是升余弦滚降滤波器) 后发射出去。若L>1, 即distributed FDMA模式, 若L=l, 即实现了loealized FDMA, 加入直扩 (DS) 后, 可以进一步获得频率分集增益。
2.2 上行链路数据帧的结构设计
LTE上行链路的数据帧是针对低码片速率LCR-TDDUTRA和高码片速率HCR-TDDUTRA系统采用与UTRA系统相似的帧结构, 也就是说, 为了和LCR-TDDUTRA系统兼容, 需要采用和LCR-TD-DUTRA几乎相同的帧结构, 即一个10m s无线帧分为2个5m s的无线子帧, 每个无线子帧分为7个时隙 (TS0-TS6) , 每个时隙 (对应于FDD模式下的一个子帧) 长度为0.675m s。同步和保护周期插在TS0和TS1之间, 包括Dw PTS、GP和Up PTS。每个时隙包含一个小的空闲周期, 可用作上下行切换的保护周期。对于上行数据帧的接收结构, 这里做简单的分析设计:上行数据帧主要由起始码、数据码、校验码、结束码等几个部分构成, 起始码包含了上行接收通道及接收时隙等信息, 数据码则是真正传输的数据信息, 校验码用于在上行数据接收完毕后进行数据失真与否的校验, 结束码则包含着上行数据一帧结构的结束, 同时寓意了下一帧数据结构的开始。另一方面, 这个帧结构基本和原有的LCR-TDD帧结构相同, 只是在每个时隙中加入了空闲周期。这个改动主要是为了能够在一个无线子帧内实现多次的上下行切换, 以满足LTE对传输时延的严格要求。
3 结语
LTE作为当今最新的通信标准, 越来越引起业界的重视, 由于LTE的协议标准还在制定之中, 对LTE系统切换的研究目前属于起步阶段, 对于切换自优化方法的研究也才刚刚开始, 尚有很多研究内容需要进一步的深入。本文对于LTE上行数据接收技术的研究, 是对LTE通信标准及数据通信技术的一次有益尝试, 是值得推广的, 当然, 关于LTE技术, 还有很多的技术问题有待于解决, 这有赖于广大通信技术工作者的共同努力。
摘要：3G已经成为当前无线移动数据通信研究的热点, 本论文对3G协议标准中的LTE系统技术进行了分析研究, 在简单介绍了LTE技术的基础上, 重点对LTE数据上行接收技术展开了研究探讨, 给出了具体的数据上行传输方案, 并对上行链路数据帧结构进行了设计, 对于进一步提高无线数据上行通信的可靠性及其应用均具有一定借鉴意义。
关键词：LTE,数据网系统,上行接收
参考文献
[1]郭梯云, 邬国扬, 李建东.移动通信 (修订版) [M].西安:西安电子科技人学出版社, 2000.
[2]WeiWang, LingWang, ZhiqiangHe, etc.Generalized Rake Receiver for Spreading-IFDMA Systems[J].IFIPPWC, 06.Albacete, Spain, , SeP.20-22, 2006, Leeture Notesin Computer Science, vol.4217, Springer, PP.425-436.
数据网系统 篇9
随着计算机网络,通信与控制技术的迅速发展,计算机控制技术在工业控制领域得到了广泛的应用,显著提高了企业生产力。国内有些大的旧的生产设备机械功能尚好,但是控制方式落后。早期的生产设备,多采用DOS操作系统。DOS系统以其内核小、操作简单、实时性强、技术成熟等优点在工业控制领域得到了广泛的应用。在工业控制领域,经常采用基于DOS(工控模块)来对工业现场进行监测和数据采集,并对设备进行控制。Windows作为主流的开发平台,在VC,VB,Java等开发工具的支持下,不仅编程相对容易,而且能够提供友好的图形化人机交互界面。于是Windows和DOS之间的数据信息交互引起了人们的关注[1]。本文以电影洗印行业中印片机改造为例介绍一种基于Window和DOS系统平台构建的数据网络传输系统。
2 系统总体介绍
国内外电影洗印行业中,以往印片机数据传送依靠纸带、软盘等存储介质通过人工进行信息交互,交流渠道不够及时。印片车间阴暗、潮湿的工作环境造成的软盘损坏、印片机数据丢失等情况时常发生,严重影响了企业生产效益[2]。由于电影胶片的印制涉及配光、印片、查验等多个部门,同时缺乏对电影胶片印制过程的自动监视,因此存在生产责任归咎难题[3]。
根据企业工艺要求和工作环境需要,为适应恶劣的工作环境,满足不同系统平台、不同管理层次的应用需求,提供实时可靠的通信服务。本系统将配光室PC机、查验室PC机和多台印片机工控机通过以太网相连,通过简易、友好的人机交互界面来完成印片机数据网络传输、智能管理和资源共享。整个网络的硬件架构总体结构图如图1所示。
图1中配光室和查验室的PC机作为2个数据终端,负责完成印片机数据文件编辑工作,同时负责完成印片机数据的网络化智能管理工作,控制着数据的来源。服务器作为系统核心和数据仓库,实时可靠地完成印片机数据接收工作,并负责执行来自数据终端的印片数据管理指令,同时对多台DOS工控机提供数据共享服务。工控机根据工作需要,自动下载服务器上提供的印片机数据信息,并直接操控印片机来完成印制电影胶片的工作。
配光室、查验室PC机均采用Windows XP操作系统;文件服务器采用Windows 2003 Server操作系统;多台工控机均采用DOS操作系统。数据网络传输系统运用Winsock技术和多线程编程技术实现2个数据终端同服务器间的实时、可靠通信;采用MS-Client软件和虚拟磁盘映射技术实现DOS系统工控机与Windows系统服务器之间的通信;并且通过升级印片机控制系统实现印片机数据的自动下载功能,从而完成整个生产过程的自动化、网络化控制。
3 Windows系统下的网络通信设计
Windows系统平台下,网络通信主要采用TCP/IP协议,协议间交互的应用程序接口是通用的Winsock(Windows sockets)技术。本系统中基于Winsock技术开发应用程序,解决了配光室PC机、查验室PC机与服务器之间的通信问题,实现印片机数据的可靠传输和智能管理。
3.1C/S模式下的Winsock技术应用
客户机/服务器模式(Client/Server)是在TCP/IP网络应用中,2个进程之间相互作用的主要模式。主要的工作原理是客户机向服务器发出请求,服务器在接收到请求后,提供相应的服务。C/S模式在操作过程中是一种主动请求的方式,服务器启动后根据客户机的请求提供相应的服务[4]。
Winsock规范地定义了如何使用API与Internet协议族的连接。同时,所有的Winsock均支持流式套接字、数据报套接字。
基于TCP协议实现的流式套接字相比基于UDP协议的数据报套接字而言,能够提供可靠的数据传输服务,实现数据无差错、无重复的发送,并且按照发送字节顺利接收,避免了数据的丢失、重复、混乱现象。
根据C/S模式工作原理,结合Winsock技术,流式套接字的编程时序图如图2所示。
为了保证数据的安全可靠传输,配光室PC机、查验室PC机同文件服务器间的通信程序采用C/S模式的流式套接字来编写。服务器端软件始终运行,等待配光室、查验室客户端的服务请求,依据不同的指令要求,完成印片机数据文件的接收、分类储存和数据的网络化智能管理工作,满足自动化办公的工作需求。
3.2运用多线程技术解决阻塞和同步问题
Winsock技术在进行I/O操作主要有阻塞式和非阻塞式两种工作模式。对于阻塞式的套接字而言,在I/O操作完成之前,执行操作的Winsock函数会一直等待,不会立即返回。这种方式具有实现方式简单、安全可靠、通信实时性好等优点。在C/S模式下的软件系统中,配光室、查验室客户端不仅有数据实时并可靠传输的需求,同时还要负责数据的编辑、管理等工作。如果程序由于网络传输而长期处于等待状态,将会浪费宝贵的系统资源。为此采用多线程编程技术来解决阻塞问题[5]。
如图3所示,配光室、查验室客户机软件系统中,把套接字通信功能的程序放入独立的通信线程中,主线程负责维护客户端的主界面运行框架和数据编辑、管理等功能,充分利用了系统资源。客户端不会存在由于通信阻塞而导致其他功能无法使用的等待,甚至死机现象,用户能够同时完成多项工作。
服务器需要同时连接配光室和查验室两个客户端,完成可靠接收数据服务,并根据客户端指令完成印片机数据的网络化智能管理工作,存在着通信阻塞和共享资源的访问控制问题。
如图4所示,服务器通过多线程技术实现多链接。多线程服务器程序采用轮询方式在循环中调用多线程程序,为多线程程序传递Socket中调用多线程程序,为多线程程序传递Socket参数,保护共享资源,完成客户端请求,巧妙地解决了通信阻塞和线程同步问题,避免了死锁现象的发生。
4 DOS和Windows系统的网络通信设计
要实现工控机自动下载服务器上印片机数据的功能,就必须使运行DOS操作系统的工控机顺利接入局域网,具备访问网络资源的功能。因此关键是解决Windows与DOS系统之间的网络通信问题。
在Windows和DOS网络通信设计中,常见的一种解决方式是安装DOS操作系统网卡和适配驱动后,使用TCP/IP协议,基于Sockets编程的机理,采用C/S模式开发服务器和客户机程序。但是DOS系统没有相关的API支持,实现起来比较困难,编程复杂,同时对系统配置要求高,实时性较差。
为妥善解决DOS系统下低配置工控机快速访问Windows系统服务器上网络资源的问题,文中提出一种运用MS-Client软件基于NetBEUI协议通过虚拟磁盘映射技术实现DOS系统共享网络数据的解决方案。相比而言,该方案拥有简单、高效、可靠、实时性好等优点,更具有可操作性和实用性。
4.1使用MS-Client连接Windows系统
Microsoft Network Client(MS-Client)是一款Microsoft网络系统DOS客户软件,用于使DOS/Windows用户能够操作Lan Manager,Windows网络系统或者NetWare服务器上的资源。
为使DOS系统工控机能够使用MS-Client提供的网络服务功能,首先必须在硬件上为每台工控机安装以太网卡。本方案中使用DE-200PT ISA以太网卡,它是一款16位ISA总线的即插即用型以太网卡,可以插在任何一台计算机的16位ISA插槽上工作。因为DOS操作系统不支持即插即用功能,所以需要手动安装网卡驱动程序,并对网卡的中断号IRQ和I/O地址进行设置。
MS-Client拥有两种工作方式:Basic和Full。为了节约低端配置的工控机宝贵的基本内存资源,应选择Basic工作方式[6]。相比Full工作方式而言,少占用100多kB的系统内存,保证了应用程序能够使用更大的内存空间,避免出现系统内存不足而死机的现象。
MS-Client支持TCP/IP,NWLink以及NetBEUI 3种网络通信协议。TCP/IP协议是使用最广泛的通信协议,它支持Internet,路由能力强,可通过Winsock对其操作,但是参数设置复杂,通信过程延时较大,系统配置要求高。NWLink主要适合NetWare Novell大型网络。NetBEUI体积小、速度快、效率高、系统配置要求低、编程简单,尤其适合200台计算机以内的局域网通信。故选择NetBEUI作为DOS系统和Windows系统之间通信的基本网络协议。
Windows系统下的服务器,安装NetBEUI协议和NWlink模块支持后,建立工作组,并为用户开放访问权限,设定共享资源。为使DOS工控机能够成功地访问服务器上的共享资源,MS-Client客户端使用的工作组名称必须和服务器端设置的工作组名称一致。
MS-Client占用很少的DOS常规内存,支持NetBEUI协议,而且通过虚拟磁盘映射技术非常方便地使用网络资源,与其他网络管理软件相比具有很多优点,是DOS和Windows系统计算机连网的首选软件。
4.2虚拟磁盘映射技术解决资源共享难题
为了方便DOS工控机准确、实时获取服务器上的印片机数据信息,文件服务器为每一台工控机分配一个专用文件夹或者磁盘空间,通过虚拟磁盘映射技术,把共享资源空间映射成为DOS工控机的一个虚拟的网络硬盘,巧妙解决了资源共享难题,显著提高了网络共享资源的访问速度,满足低配置的工控机实时性的要求。
如图5所示,服务器建立好工作组后,为DOS用户开放访问权限,设定共享资源。客户机使用net use<逻辑驱动器名> +UNC格式就能将服务器上的共享资源映射成DOS机上的一个逻辑驱动器。如:NET USE G:serverE 将计算机命为server的E盘映射到本机的G盘。这样本地客户机就可以通过访问G盘来访问server计算机上共享的数据信息。
运用虚拟磁盘映射技术,用户不必关心具体通信网络的设计和实现过程,就能够实现高速访问网络上共享信息资源的功能。
5 控制系统软件升级
为了印片员操作方便和使用便利,需要DOS系统的工控机具备自动下载印片机数据信息的功能,实现文件服务器和工控机之间的高速数据交互,满足印片机印制电影拷贝的工作需求。为此,对工控机上的印片机控制系统软件进行了升级,升级后印片工作的程序流程图如图6所示。
软件升级的主要目的是把原来依靠纸带、软盘进行人工传输数据的工作方式改为网络读取映射盘中数据文件的工作方式;同时记录工作日志,为后续管理提供可靠信息记录。如图6所示,正常情况下,不依赖软盘,工控机将直接采用网络读取的工作方式自动获取服务器上映射盘中的数据文件;当网络出现故障,作为应急策略,软件系统自动切换到原来软盘传递数据的工作方式。为了满足系统实时性的要求,图6中的软件采用TURBOR C来编写,因为TURBOR C对于PC机的底层控制更加直接、方便、灵活,而且对于硬件中断效应是实时无延时的,满足印片工艺本身高精度,实时性好的要求。
6 结论
本文提出的数据网络传输系统,运用Winsock和多线程技术实现印片机数据的实时可靠传输和智能管理;使用MS-Client软件,通过虚拟磁盘映射技术,完成DOS客户机对Windows服务器上共享信息资源的高速访问;并通过升级印片机控制系统软件,圆满实现工控机自动获取服务器上共享印片机数据信息的功能;实现了整个生产过程的自动化、网络化控制与管理。
目前该系统已经投入生产,成功印制了大量电影拷贝。一年多的运行结果表明,系统稳定、可靠、实时性好。本系统的成功研制,减轻了工人的劳动强度、提高了工作效率,具有较大的社会效益和良好的经济效益以及潜在的商业推广价值。
摘要：提出了一套数据网络传输系统的解决方案,完成数据的可靠传输、智能管理和信息共享,实现生产过程的网络化控制。利用Windows sockets和多线程技术完成了客户机/服务器之间的实时、可靠通信,解决了通信阻塞和线程同步问题;并且使用Microsoft Network Client软件通过虚拟磁盘映射技术实现了DOS客户机共享Windows网络资源的功能。运行结果表明,系统稳定、可靠、实时性好。
关键词：网络传输,网络控制,Windows sockets(Winsock),多线程,MS-Client,磁盘映射
参考文献
[1]罗正卫,刘建群.Windows(客户端)和MS-DOS(服务器)网络通信的实现[J].计算机技术与发展,2010,20(4):191-193.
[2]Wang Lina,Yang Heping,Luo Wen.An Intelligent Data Trans-mission and Monitoring System for Film Printer[C]∥The 31stInternational Congress on Imaging Science(ICIS2010),Bei-jing,2010.
[3]裴晓宇,王莉娜,张震,等.基于DSP的电影洗印自动控制系统[J].电气传动,2010,40(8):57-60.
[4]孙鑫,余安萍.VC++深入详解[M].北京:电子工业出版社,2007.
[5]胡鸣.Windows网络编程技术[M].北京:科学出版社,2008.
数据网系统 篇10
因此,借助于数据仓库技术建立一个专用的银行数据系统是非常必要的。通过该数据系统可以集成银行不同业务系统的数据,提供分析统计,从而提高银行的经营水平和利润率。
1 数据仓库技术概述
数据仓库中的数据组织模式是根据主题而进行综合并归类抽象的,而且具有集成性、稳定性以及随时间变化等诸多特征。数据仓库中的数据需要不断进行累积,而且更偏向于工程,设计流程如图1所示。
首先,从逻辑意义进行分析,数据仓库中的主题对企业分析领域中的对象所对应;从组织角度进行分析,相关数据及数据项之间的关联描述必须是完整的、一致的,并应该完全满足分析需求。
其次,由于原数据库系统的相关记录只是业务流水帐的处理表述,存在诸多冗余数据,不适用分析,因此数据仓库中的数据不能直接从原有数据库中导入,而需要经过计算并过滤不需要的数据项。
另外,数据仓库中的数据还包括了大量的历史数据,这些数据是企业过去业务数据的重组集合,这是与传统操作型数据库的显著区别之一。针对于数据仓库的操作是以查询为主,只有在必要时才涉及到数据的更新操作,因此稳定性也是数据仓库所必须保障的特征。
2 银行数据系统的设计分析
2.1 需求分析及功能设计
为了有效展现银行机构和用户对数据仓库的需求,本文主要是通过业务主题的形式归类并整理各类需求。当然,想要穷举全部需求是不现实的,对于业务主题之外的需求,则主要是通过联机交易形式加以满足。通过与银行业务人员的沟通,银行数据库系统的功能(业务主题)主要涉及到如下几个方面:
1)业务分析。业务分析包括跨行业务(境内外)、传统金融业务、金融创新业务等。
2)经营管理。经营管理包括绩效考核管理方面的支持、财务管理方面的支持以及银行人力资源管理等。
3)营销服务。营销服务包括活动策划支持、营销活动评估及管理以及银行忠诚客户的服务支持。
4)风险管理。风险管理包括银行业务欺诈交易、异常交易的管理以及银行黑名单客户以及其他交易风险的监控统计等。
2.2 系统的总体结构设计
根据银行数据系统的需求分析及功能设计,本文借助于DB-ODS-DW对系统的体系结构进行构架,具体如图2所示。
其中,银行数据系统的最低层:操作环境层主要处理银行金融业务的OLTP以及外部数据信息;DW层则主要是将操作环境层的业务元数据进行抽取、过滤、重组,并归纳至银行的数据仓库中;银行业务层则主要是对银行业务元数据进行分析统计,并进行各种业务操作,比如:即时查询、OLAP分析以及数据挖掘等。
3 银行数据系统的实现分析
3.1 系统的维度建模
银行数据系统的维度建模主要以星型和雪花模式为主,是支持查询的建模方式。本文主要是通过星型模式进行建模操作。星型模式的原理就是以一个事实表为中心,该事实表的Main Key主要由系统维表的Main Key所组成,可见事实表的Main Key都是外键。以银行卡事实表为例进行研究说明。
银行卡事实表的字段包括:交易时间代码、受理机构代码、交易渠道代码、借记卡活动量、货记卡活动量等。而其相关维表包括:时间维表、机构维表以及交易渠道维表。其中,时间维表的字段包括:时间代码、年、季度、月、日等。机构维表的字段包括:机构代码、机构名称、上级机构、下级机构以及机构描述等。交易渠道维表的字段包括:渠道代码、渠道名称以及渠道描述等。根据星型维度建模原理,银行卡事实表的主键是由其周围的维度主键所组成,也就是银行卡事实表的主键共有三个,分别是:交易时间代码、受理机构代码、交易渠道代码。这些主键又同时作为外键,与另外三个维表建立关联。
总之,通过星型模式的建模,对各种维表进行了统计并排序预处理,提高了查询效率。但也有不足的地方,就是当银行业务发生变化时,需要对事实表的维表个数进行重改,这是一个相对复杂并耗时的操作。这个问题可以通过在数据库建立时引入三范式来解决,因为三范式可以引入较少冗余,具有良好扩展性。
3.2 数据粒度的选取
数据仓库的一个重要概念是数据粒度,用来表示数据的综合度,也决定了数据量的大小以及数据仓库能力。数据粒度的选取应该进行权衡考虑,如果粒度过大,数据综合度虽然有所提高,但针对细节的查询支持能力就会减弱;如果粒度过小,数据的细节描述更为详细,但存储开销增加,特别是综合查询时,因为数据量过大而必须进行汇总,显然对降低了查询效率。
本文研究的银行数据系统的数据粒度分了四大层次:ODS、SOR、DPA以及DM,如图3所示。
其中,ODS层存储银行业务数据粒度的级别,对银行业务数据进行定义,并保证银行业务数据的一致性,从而满足银行中高层的决策查询。SOR层是银行数据系统的核心层,通过对ODS层的抽取,将银行业务数据转换成符合维度模型的数据形式。DPA层主要是对银行业务数据进行汇总,该层的数据粒度又细分为:日。该层为DM层以及其他下层提供银行业务数据的应用服务。DM层是根据银行业务用户的需求,对不同粒度的数据(比如说:月、季度、年)进行汇集,并提供银行业务数据的调用服务。
3.3 系统的ETL逻辑流程
ETL能够保证在规定的时间内,完成银行业务数据的自动加载,这些数据可以是初始银行业务数据,也可以是历史银行业务数据,从而满足数据的扩充需求。银行数据系统的程序较复杂,但其程序结构应该尽可能的简洁,因此应该对银行数据系统中的数据抽取程序进行优化,ETL逻辑流程的设计可以很好的平衡银行数据系统开发管理性及程序性能之间的关系。
从宏观进行设计分析,ETL作为一个整体来支持银行数据系统加载银行业务初始数据和日常数据。从银行数据系统源数据中抽取完数据后,将其保存到ODS中,并且附上时间标签。银行业务数据经过清洗、转换后加载入SOR数据库。这包括三个过程:银行业务数据变换CV(convert/Clean)、数据转换TR(Transform)以及数据加载LD(Load)。CV阶段产生CIF文件,每个目标表的加载对应一组TR程序与LD程序。清洗过程中产生银行业务源数据拒绝文件,需要对有质量问题的银行业务数据进行处理以进入银行业务数据库或者直接拒绝入库。
3.4 系统的集成转换
在银行业务数据的清洗转换过程中由于ETL对业务转换规则的理解错误或者程序代码的问题都可能造成银行业务数据的质量问题,而且当ETL程序出现异常时也容易造成银行业务数据的质量问题,因此,银行业务数据进入数据仓库都是需要进行集成转换的。银行数据系统的集成转换必须进行银行业务数据的预检查。
首先,业务逻辑检查。其次,交叉验证。包括ODS、SOR、DPA、DM层交易笔数一致、SOR、DPA、DM交易金额一致等。此外,银行业务数据完整性检查。主要包括如下一些方面:银行机构在机构关系表而不在机构基本表的记录等。
银行业务数据集成转换时如果通过预检查处理发现数据质量问题时,逆向排查数据质量问题产生的原因,并做出修正然后重新对数据进行抽取加载即可。
4 总结
总之,银行数据系统通过利用数据仓库技术,整合了银行业务相关的内外数据源,有效得升了银行的数据支持服务能力,推动了银行业务市场。当然数据仓库的建设是一个长期而又复杂的过程,其涵盖的内容还包括有数据挖掘、元数据管理、系统维护等方面。因此,随着对银行数据仓库技术研究的深入,在未来的发展应用中要对以上几个方面做进一步的研究。
参考文献
[1]张晓东,王建民.浅谈商业银行建立数据仓库的必要性[J].金融与经济,2009,1:27-28.
数据网系统 篇11
【关键词】 数据仓库 数据挖掘 关联规则
【中图分类号】 R-3【文献标识码】 B【文章编号】 1007-8231（2011） 08-0655-03
在计算机技术飞速发展的今天，传统的数据库技术已经不能满足大数据量的分析要求。医院信息系统在多年的建设和发展中，积累了大量的原始数据。如何使这些陈旧的信息进行再开发和利用，从中提取出有用的信息，为临床和管理服务，是我们建立数据仓库，进行数据挖掘的目标和意义。
我们通常的数据处理分为两类，一类是对这些数据只是进行传统的操作型处理，第二类是分析型处理。操作型处理也叫事务处理，通常是对一个或一组记录的查询和修改。要求的是响应时间，数据的安全性和完整性。分析型处理也叫信息型处理，用于决策分析。想进行深入的DSS、多维分析等就要访问大量的历史数据，而这样的分析应用就会影响传统数据处理的响应时间。所以我们有必要引入数据仓库概念。数据仓库技术为历史数据的分析和处理提供良好的基础，数据挖掘使这些海量数据真正成为有用的信息。
目前医院已经有了各种信息子系统，有收费子系统，出入院管理子系统，门诊管理子系统，财务系统，病案统计子系统等等，所有子系统都同时使用一个大型的数据库，虽然硬件的配置能使系统处理数据能力较高，但是同时进行深入分析和统计时还是会降低数据处理能力，管理人员分析经营成果也没有方便有效的途径和方法。要提高分析和决策的效率，必须把分析型数据从事务处理环境中提取出来，按照分析的需要进行重新组织，使用软件工具来多方面多层次分析数据，建立数据仓库，应用数据挖掘正好可以满足这些要求。
首先在数据处理方面，传统数据库必须要将每年的数据分开统计，以提高实时的数据查询处理能力。历史的数据连查询都要分别统计，更不用说做深入的分析和应用了，而且提供的分析统计功能基本只能提供简单的查询和统计，需要专业人员设置好报表，才可以对数据进行统计。这样的数据库技术已经慢慢跟不上医院的飞速发展了。引入数据仓库技术以后，可以为提升速度，从而对数据进拆分。例如可对当月数据，直接以当前的HIS数据库为数据源，只做前台数据处理和查询使用，对隔一段时期的历史数据，定时导入到数据仓库中，数据仓库数据库在物理上与在线处理系统分离，这样做大数据量分析的时候就不会影响到在线处理系统的运行，从而造成死机，服务器瘫痪等情况，它相当于一个数据病案室。将当前数据源的数据在相隔一个期间以后，提交到数据仓库，用来提供管理分析。并且分析数据时不需要专业人员事先设定好报表，由原来被动的、固定的报表模式，到现在各级领导可跟据自已的想法，从现有的模型中主动挖掘出自已想要数据，能够充分挖掘医院信息系统的信息资源，提高医院信息系统的的应用分析水平。
其次在分析应用方面
1可以对医院医疗收入状况进行分析，以了解相关因素对医疗收入的影响
例如：以“门诊”为主题建立挖掘模型，从门诊的挂号人数，就诊时间，化验检查次数、时间、金额，取药次数、金额等方面对门诊病人就诊效率进行分析，在就诊时间上、手续上分析，发现影响就诊效率的根本所在，从而提高效率，增加门诊收入。例如采用统计分析方法对门诊病人就诊效率进行分析。如图
表1星期情况分布表
表2号种情况分布表
表3月份情况分布表
通过这些数据分析出影响就诊时间的原因，以改进医疗服务的质量。
2可以对药品采购，储存，出售，浪费情况进行分析
以“药库”为主题建立挖掘模型。从出库趋势、库存量、库存单位盈利和厂商盈利等四方面进行数据挖掘和分析。数据分析的结果为医院管理者提供管理和经营方面的决策支持，从而避免出现药品积压、药品无计划采购和药品浪费等问题
例如采用关联规则对药品的购买进行分析：（所谓关联规则，是指数据对象之间的相互依赖关系，而发现规则的任务就是从数据库发现那些确信变和支持度都大于给定值的强壮规则。）例如：将医院2010年10月—2011年九月的药房发药的数据作为源数据转换后载入数据仓库，给定最小支持度为25%和最小可信度60%对其进行关联分析得出药品的关联度如
Rule1:浓鱼肝油--->枸椽酸钙surport=0.4542Confidence=0.7323
Rule2:枸椽酸钙--->浓鱼肝油 surport=0.3041 Confidence=0.5937
Rule3:美托洛尔--->替米沙坦surport=0.3298confidence=0.5892
Rule4:替米沙坦--->美托洛尔Surport=0.4838 Confidence=0.7230
从上述规则可得出结论，浓鱼肝油多半会跟枸椽酸钙配合使用，而枸椽酸钙却不需要同时配合浓鱼肝油，同样的，替米沙坦对美托洛尔的依赖成度也较高。因此在药品采购时可以根据得出的关联规则来考虑药品配合使用的问题，调整药品的库存及采购数量。还可以根据此规则把相关的药品放在相近的药品架上，提高药房的发药效率。
数据仓库和挖掘应用是一个不断深入、不断完善的过程，完成了一个主题，一个应用，又会提出更多的应用需求。还可以对病人信息分析，医疗信息分析、绩效评估，疾病的治疗方式和成果等方面进行更深入的研究和实践。从而及时发现潜在的病因，疾病的耐药性和治疗周期等等，不仅仅为医院，甚至可能为整个医疗事业带来令人兴奋的成果。
参考文献
[1]陈京民.数据仓库与数据挖掘技术.北京:电子工业出版社,2002,95-96.
[2]康晓东．基于数据仓库的数据挖掘技术[M]．北京：机械工业出版社，2004．
数据网系统 篇12
随着社会科技的不断发展与进步,互联网得到了飞速发展,计算机技术也得到了广泛的应用,但另一方面信息的安全问题却日益突出,信息安全技术应运而生并得到了极大的发展。信息安全技术的核心是数据加密技术,它不仅能够加解密数据,而且还能够鉴别、认证数字签名等,从而使在网络上传输的数据的完整性、确认性及机密性得到了切实的保证。本文将DES算法和RSA算法的优点结合起来,将一个数据加密系统设计了出来,同时将Java安全软件包充分利用起来,实现了数字签名。
1 数据加密技术
1.1 私钥加密体制
私钥加密体制指在加密和解密时所使用的密钥是相同的,由两种类型,分别是分组密码和序列密码。分组密码对明文进行分组的依据是其固定的长度,用同一个密钥加密每一个分组,从而促进等长的密文分组的产生。序列密码又称流密码,因为它将明文数据一次加密一个字节或比特。和序列密码相比,分组密码使用于软件实现,并且具有较快的加密速度,因此在人们的日常工作和生活中得到了极为广泛的运用。
1.2 公钥加密体制
1976年,W.Diffie和Hellman最早提出了公钥体制,利用两个不同的密钥分开加密和解密的能力是该体制最大的特点。公开密钥在加密信息中得到了应用,而使人密钥则在解密信息中得到了应用。通信双方可以直接进行保密通信,而不需要事先交换密钥。同时,在计算机上也不能实现从公开的公钥或密文中将明文或密钥分析出来。
2 数据库“敏感”数据安全加密系统设计
2.1 数据库“敏感”数据安全加密系统的体系结构
该加密系统是在目前较为成熟的仿真网络体系结构HLA的基础上发展起来的,由两部分组成,分别是CA服务器端和客户端。在联邦成员中嵌入加密客户端,可以对各联邦成员之间的“敏感”数据进行加密,CA服务器则可以生成、分发及管理密钥。联邦成员和CA服务器之间及各个联邦成员之间进行通讯的途径是HLA-RTI接口。加密系统体系结构如图1所示。
2.2 数据库“敏感”数据安全加密系统的功能模块
CA服务器端与加密客户端组成了加密系统的功能模块。其中,CA服务器端的主要功能是认证客户端的身份、生成、存储并分发RSA密钥等。密钥是在用户口令字和大数分解理论的基础上生成的,每次有一对密钥(公钥和私钥)产生,用于对会话密钥进行加密和数字签名,也就是对称加密算法AES或DES、3DES算法的密钥;将生成的密钥对和申请者的用户名联系起来,促进一个关联目录的生成,以方便客户端查找即是密钥的存储;依据客户端的请求信息,在关联目录中将与之相匹配的信息查找出来,如果找到的话,就把密钥向请求的客户端发送即是密钥的分发。
加密客户端的主要功能是完成对文件的加密和解密、传输实时数据的加密和解密密文、管理和传输对称加密算法的密钥及和CA服务器交互等。其中,对称加密算法AES或DES、3DES及混沌序列加密算法的密钥均在密钥生成模块生成;密钥的加密传输模块主要是使会话密钥的安全得到切实的保障,也就是说,用公钥密码算法RSA的公钥对会话密钥进行加密,然后一起传输加密后的密钥和密文,在解密端,为了得到会话密钥,可以使用TSA的私钥来进行解密;实时数据的加密和解密模块的基础是混沌特性,在加密或解密实时数据时利用混沌序列密码算法。加密系统的功能模块划分如图2所示。
2.3 数据加密模块的设计与实现
混合加密体制是数据加密系统所使用的,它将对称密码算法具有的较快的贾母速度、较高的加密强度、较高效的加解密大量数据等能力进行了充分的运用;公钥密码算法具有较高的加密强度,密钥便于管理。为了弥补传统密码算法中不便于传递密钥的缺点,可以加密明文的密钥。将二者结合起来,可以实现数据传输的安全性。
2.3.1 3DES算法的设计与实现
目前,虽然DES具有较为广泛的应用范围,并且人们可以很方便地从公开渠道获取,但是因为DES只有56位的密钥长度,易于攻击,其加密强度已经远远不能满足现代安全的需要,因此可以将两个56位的密钥混合起来使用来完成加解密,这样密钥就达到了112位的长度,从而大大增强了加密强度,这就是3DES。3DES的算法原理如图3所示。
图3中密钥K1、K2是随机产生的。
三重DES算法的实现主要包括DES类和THREE类两个类。其中DES类的主要函数是public static byte[]encrypt(byte[]oword64,int[][]i Sub Keys)//加密;public static byte[]decrypt(byte[]b Cipher-text,int[][]Sub Keys)//解密。THREE类的主要函数是public static byte[]encrypt(byte[]oword,int[][]Sub Keys1,int[][]Sub Keys2)//解密;public static byte[]decrypt(byte[]sword,int[][]Sub Keys1,int[][]Sub Keys2)//加密,返回明文。
2.3.2 RSA算法的设计与实现
大数分解是RSA的安全性赖以存在的基础。公钥和私钥都是两个大素数的函数。RSA算法的实现主要包括三个部分,即生成密钥、加密数据和解密数据。在变量的定义方面,在对p、q、n、e、d、t进行定义时,利用Java中的大数Big Interger();在密钥的生成方面,利用publi boolean generate PQNTED(Stringe);在加密数据方面,利用public String Encrypt(String msg、Big Integer pbkey、Big Intiger n),在加密的过程中,在对所要加密的字节数组进行分组时,可以利用转换函数copy Bytes();在解密数据的过程中,利用之前产生的公钥n与私钥d。把所要解密的数据与公钥n与私钥d作为参数向加密函数public String Decrypt(String msg,Big Integer prikey Big Integer n)传递。
RSA只有在大数运算的基础上才能实现,只有这样才能执行大量的大数加减乘除和模逆、模幂运算。这就导致相对于其他特别是对称密钥算法来说,RSA的实现效率十分低下。本文设计的系统中生成的DES密钥用RSA替代的原因也就是这种速度上的差异。
本文设计的数据库“敏感”数据安全加密系统,将数据的加密技术和签名技术综合了起来,一方面解决了密钥的管理问题,另一方面也使数据的不可否认性及完整性得到了切实的保障,同时也将该系统网络通信的程序设计和界面设计方法提供了出来。本系统将集中主要的加密算法进行了具体的分类,使代码的高效性、可扩展性等得到了有效地增强,有利于以后的再次开发。
摘要：本文首先简要阐述了数据加密技术,然后从数据库“敏感”数据安全加密系统的体系结构、功能模块及数据加密模块的设计与实现三个方面,对数据库“敏感”数据安全加密系统设计进行了相关的研究。
关键词：数据库,敏感数据,安全加密系统,设计
参考文献
[1]胡向东,魏琴芳.应用密码学[M].北京:电子工业出版社.2006.
[2]贺雪晨,陈林玲,赵琰.信息对抗与网络安全[M].北京:清华大学出版社.2006.
[3]褚雄,王子敬,王勇.一种基于FPGA的DES加密算法实现[J].江南大学学报(自然科学版),2006,15(6):661—664.
[4]朱作付,徐超,葛红美.基于DES和RSA算法的数据加密传输系统设计[J].通信技术,2010,43(4).
[5]Compag,HewIett-Packard,InteI,Lucent,Microsoft,NEC,PhiIips.UniversaI Bus Specification(Revision2.0)[M].InteI,2000.