传输存储（共7篇）
传输存储 篇1
0引言
云计算能够为用户提供更加虚拟化的资源服务,在虚拟模式下,用户不需要对资源进行创建与管理,而是可以通过付费的方式使用云计算服务。云计算发展趋势良好,但是从理论与实际出发,云计算面临着安全威胁,尤其在数据安全方面。因此,云计算安全管理是云计算的保障,尤其在为用户提供服务方面,在实际的云计算中,不仅需要改变云计算中的数据传输,还要对存储安全进行改革。
1云计算
1.1概念
云计算以Internet为基础,存储内容以及运算并不运行在计算机或者服务器中,主要分布在Internet上的计算机上。换言之, 云计算在数据计算中起到搬运的作用,将原来个人计算机、数据控制中心中执行任务的有效转移Internet上,然后由用户共享的计算中心对数据搬运任务进行总结与处理,最终能够实现计算机软、硬件的功能,例如,对计算数据资源的安装、维护以及配置等服务。云计算也可以被看作是并行计算、分布式计算以及网格计算的发展与延续,但是云计算与网络计算的区别在于,云计算更加的致力于计算、存储以及应用资源的共享,而后者则侧重于解决计算上以及资源的分配问题。对于用户而言,能够吸引用户集中精力自己的业务,达到降低成本的效果。在实际的云计算中, 云用户能够按照数据协议上传数据,将数据以密文方式存储在服务器中,从而保证数据的安全。
1.2云计算的特点
规模大,云计算是一种分布式的计算形式,规模大是云计算的首要特征,尤其在数据服务上,实现方式较多。例如在经济规模中的云计算处理技术。
虚拟化,云计算的虚拟化特点主要表现在,将各个层次的功能进行封装,最终成为一个抽象实体,向各个层次的数据用户提供云端服务,该环节中每一个技术都能够通过虚拟化技术实现。 在任意位置,用户都能利用各种终端技术,从云中获取相应的应用的数据服务,不需要对具体实现与位置进行了解。
可靠性,云计算技术的高速发展,大部分取决于云服务市场的发展趋向,而云服务业务的不断拓展,依赖于云服务的数据可靠性。因此,在云计算中,必须采取一定的措施,对云服务进行可靠性保护,由此可见,可靠性在云计算技术中地位突出。
2数据传输与存储安全问题
2.1身份认证存在的问题
对用户的身份验证主要有三种方式,第一,用户知道密码; 第二,用户本身特征,例如指纹与声音等;第三,用户独特物品。 目前,智能卡认证和口令认证都是常见认证方式,例如,网银中的口令、电子口令卡、用户口令以及USB KEY方式都是在多种因素基础上的数据认证策略。
其中,智能卡、口令的双因子认证机制共同使用前两种认证方式。在实际的登录系统中,用户需要正确的ID,同时用户需要有服务器发放的智能卡,用户才能通过认证。但是在这样的过程中,智能卡只对服务器的身份进行验证,并没有对服务平台的安全性进行验证,不能完全保证服务器的安全状态,有可能造成用户个人隐私被泄露的问题。因此,身份验证中应该双向的,验证要完整。
2.2安全问题
在云计算中,我们应该充分保证数据在传输过程中不被非法分子破译与获取,其次,需要对用户上传到云环境中的应用程序和数据进行加密存储,确保数据在计算与运行中的安全。数据信息的加密与解密是对数据安全的保证,其中非对称的加密算法安全性比较高,但是在加密与解密过程中数据处理速度慢,只能局限于少量数据的加密,相反,对称数据加密算法效率高,原因在于对称密钥的存储问题上。由于加解密以及数字签名都需要相应的密钥来完成,因此使得密钥产生以及存储成为云环境中安全保障。
3数据传输与存储安全技术分析策略
3.1身份认证技术分析
对于云计算中的身份认证技术问题,首先,需要在云服务器中引入安全芯片,其中,安全芯片的主要功能就是能够为用户提供密码功能,增加用户身份认证的稳定性;其次,用户在获取智能卡之后,由云服务器生成AIK密钥,此时云服务器向CA申请AIK证书。当用户向云服务器发送认证时,云服务器能够对用户相关信息进行验证,将AIK证书签名信息发送给用户,完成用户的基本要求。接下来,用户对AIK证书的有效性展开CA验证, 主要利用AIK公钥验证数据真实性,并根据日志来确定平台的可信性。以上过程中就完成了用户与云服务器的双向认证。
3.2安全问题技术分析
用户上传数据之前会对数据加密,在安全模型中,每一个应用程序都能生成一对RSA非对称密钥PKAPP/SKapp,还能生成一个对称密钥AES。最初用户需要向虚拟机管理器提交程序注册请求。然后,用户通过模型提供的加密工具对程序和数据文件进行对称密钥与不对称加密,并将加密处理的文件传送到服务器的终端。
在这样的过程中,最重要的是对密钥的存储。其中提高用户信息安全的有效措施就是将用户的私钥存储在智能卡中,保证用户信息不被他人窃取;另外,用户的私钥、应用程序都保存在VMM内存中,这一模块的内存不能被OS以及应用程序访问, 提高密钥存储的安全性能。此外,云服务器具有备份数据的功能, 在云计算中,合法或者非法的数据复制不能对数据安全造成威胁。
3.3系统的可行性分析
3.3.1抗攻击性
云端用户数据登录过程中,用户向云服务器发送消息,信息内容中包含时间截T1,其中,时间截的有效利用是避免攻击产生的有效措施。然后,在可信云服务器发送命令,并加入命令版本号,用户能够自动生成维护命令的128位增加数版本。
3.3.2抗云内部人员攻击
在用户注册的过程中,h(PW+n)来代替PW向云服务器提交信息,云服务器的内部人员不能直接得到用户的密码。此时用户产生的随机数n并没有泄露给云服务器,内部人员不能对h(PW+n)进行攻击,信息在云端进行传输时都是以加密形式存在,不会被交换到磁盘或者设备中。
3.3.3抗服务攻击
在用户登录过程中,用户需要云服务器提供的智能卡,只有在输入用户名和密码之后,用户才能对服务器身份进行验证,并能对平台进行访问,如果攻击者不能通过相关的账号验证,那么将不能发动服务攻击。
3.3.4抗假信息攻击
如果攻击者占据两台服务器,其中真假各半,那么他将会利用不可信的服务器欺骗用户,并发动攻击。在系统中,云服务器利用AIK私钥对PCRS进行签名,如果攻击者没有可信平台私钥, 则不能完成签名操作。
4结论
综上所述,随着科技不断发展,人们对云用户以及云服务器交互的实际应用,提出了数据传输和存储安全方向的问题。本文结合云计算的功能特点,对数据传输以及存储安全做出了有针对性的问题解决,并提出了数据传输以及存储安全所采用的关键技术。云用户与服务器在交互数据前,需要相互验证身份,才能得到通信密钥,以此来保证数据传输安全。
参考文献
[1]毛宇.面向移动云计算的数据安全保护技术研究[D].广东工业大学,2013.
[2]余琦.云计算环境下数据安全多维防护体系的研究与设计[D].广东工业大学,2013.
[3]曾文英.面向移动环境的数据存储管理方法关键技术研究[D].华南理工大学,2011.
[4]刘邵星.云计算中数据安全关键技术的研究[D].青岛科技大学,2014.
[5]陆宏亮.移动云环境下基于终端上下文信息的数据保护研究[D].国防科学技术大学,2011.
基于邮件传输协议的远程存储系统 篇2
关键词：远程存储,SMTP,POP3,多线程
随着信息化进程的快速推进,许多重要的数据要求在整个信息系统中实现共享或备份。所以远程存储系统市场需求越来越大。传统远程存储系统性价比低。本文提出的基于SMTP和POP3协议的远程存储系统能够使系统成本降到最低。此种系统利用互联网上广大的免费邮件服务器作为的主要的数据存储载体,结合数据分割、压缩算法,通过SMTP和POP3邮件传送协议,将数据以电子邮件的方式分散存储于不同的电子邮件服务器中。
这种以电子邮件服务器为基础的远程存储系统采用C/S模式,分为客户机和服务器两个层次,客户机为用户使用的个人计算机,只需具备互联网连接能力,服务器无需专门配置,利用互联网络中任何可正常通过SMTP和POP3协议访问的邮件服务器作为系统服务器。
系统的工作过程主要分上传和下载两个过程。上传过程中,客户端首先获得本地要上传的目录文件列表,将该列表加入到远程虚拟目录结构中,然后对本地每个文件分割为小数据块,并记录下其在虚拟目录结构中的对应位置。随后数据块通过SMTP线程上传至服务器,为加快数据传输速度,需要同时启动多个发送线程连接服务器,最终文件就以多个邮件的形式存储在远程邮件服务器中。下载过程,客户端软件需要搜索服务器上的邮件信息列表,根据邮件主题或特定标志,对照参考本地已经下载的数据块,确定要下载的邮件,启动多个下载线程,获取邮件,然后从邮件中提取出数据块。下载同时要对已下载的数据块检测,如某个文件所有数据块均已经下载完毕,则需要将其合并重组,还原为文件,存入本地目录结构中。
由上面工作过程可见,最重要的一步是数据的分割重组,其必要性主要是因为SMTP协议中规定“文本行的最大长度,包括回车符和为透明性增加的字符不得超过1000个字符;接收缓冲区最多可以容纳100个接收者”,另外多线程发送可以把不同数据块同时传送到不同服务器上,这样可以提高效率和程序并行性。分割的大小太大,服务器将不接受;过小的数据块势必造成邮件服务器上邮件过多,从而降低了系统效率;另外,部分服务器还对服务器上一次所能POP得到的邮件数目做了限制,这也使得邮件不能太多,即数据块不能太小。通过实验程序多次模拟统计,将文件块大小限定在500KB左右是比较合适的。
采用压缩算法对数据块进行无损压缩可以使数据块变小,提高整个系统的工作效率。
系统采用多线程方式工作,由一个主线程,多个发送线程和接受线程。主线程负责用户交互、邮箱管理、数据分割重组等;接受线程通过POP3协议与POP3服务器建立连接,接受邮件,提取数据块;发送线程通过SMTP协议将包含有数据块的邮件发送到指定的邮箱。合理线程数量既能保证较快的下载速度,又不至于占用太多的内存和CPU资源。
实际应用表明,本系统可以做到屏蔽各个邮件服务器的差异,使用户像操作本地硬盘一样操作远程存储服务器上的数据文件,仅需一个客户端就可以实现可靠的数据远程备份,成本极低。但系统传输速度上由于受到复杂的用户网络环境的影响较大,能够满足小型部门或个人的需要。对譬如数据安全、数据冗余等问题还需要进一步的丰富和改进。
参考文献
[1]王月,贾卓生.网络存储技术的研究与应用[J].计算机技术与发展,2006(6):2～3.
[2]Robert Spalding[著],郭迅华,等[译].存储网络完全手册[M].北京:电子工业出版社,2004:93～97.
[3]周敬利,胡鸣,余胜生.网络存储性能改进的文件系统实现方法[J].小型微型计算机系统,2006(3):1～4.
[4]穆振海,唐建清.多线程在C++Builder中的实现[J].桂林航天工业高等专科学校学报,2004(1).
传输存储 篇3
1 云计算用户数据传输与存储安全分析
1.1 用户数据安全需求
对于用户而言, 一般分为了两种类型的数据:第一, 公开数据, 指的是用户愿意拿出来共享的, 或者说数据没有必要保密的;第二, 私有数据, 包含了敏感信息、隐私的或者是商业机密, 是用户需要保护的数据。传统计算模式下, 用户所公开的数据是在公共媒体或者是网站上发布, 允许访问和查询, 而私有数据就是放在可控的资源当中, 通过设置防火墙等就可以与外界相互隔离, 只有通过授权, 才允许访问, 这样就有利于数据安全性的保护。在云计算的架构之下, 用户的数据就会被放置在提供商处, 数据存放何处, 如何进行存放, 对于用户而言, 都是透明的。而云服务商可以通过安全策略, 确保数据不被公开。由于云计算数据安全保护的规范与标准的缺失, 会让用户对于安全性产生了疑问, 这样使得用户在云计算架构以及传统技术架构上, 就存在迷惑与犹豫。
1.2 用户数据与虚拟服务器
对于云计算当中的数据安全问题, 可以分为几大类:数据传输安全、数据存储安全以及数据使用安全, 也就是数据的保密性、完整性、不可否认性以及可用性。通过虚拟化的技术, 云计算在物理服务器当中会虚拟出虚拟服务器, 用户的数据会存放在虚拟服务器当中, 而虚拟服务器本身是较大的一个文件, 因此, 也可以称之为虚拟机, 只有对虚拟机建立出安全保护, 就可以实现数据的保护。所以, 云计算环境之下的数据安全, 也可以将其理解成为虚拟机的安全问题。云计算资源管理也就是众多虚拟机的管理, 做好服务器之间资源调度、负载均衡平台的实现。对于用户而言, 隐私数据只允许用户自己访问, 也就是平台的管理人员也无法访问。目前, 较为完善地云管理平台产品中, 还没能完全的实现用户数据安全隔离, 其数据安全主要是通过VLAN的设置, 将虚拟服务器之间的网络加以隔离, 这样就使得用户之间无法进行数据的访问。通过云管理平台的管理人员, 却可以将用户的虚拟机直接的激活。这样就可能面临风险:第一, 劫持了云计算的用户, 黑客可以通过木马等方面将云用户的信息加以拦截, 然后登陆进去, 将数据偷窃;第二, 管理平台的人员监守自盗, 也容易出现数据泄漏的问题。
2 云计算环境下数据传输存储安全策略
2.1 进行数据加密处理
在开始进行用户数据加密的时候, 从密匙库中, 用户端接收到用户数据, 然后通过加密算法公钥将相应的数据提出来。在加密的过程当中, 其对称的密匙生成是根据密钥生成器随意出现的, 其中包含了对信息的校验, 之后, 密钥再进行不对称的加密。最后, 将包含密钥的信息以及加密的用户信息一起在系统的云端存储。通过重复的上述操作, 直到最后一个加密处理的数据包也发送到了云端之后, 才表示这一过程结束。
在用户数据加密实现之中, 在对于巨大数据量的用户进行加密的同时, 还需要对于对称加密算法的密钥再一次进行非对称的加密处理, 然后将密钥和密文数据在云存储中心存储, 如此, 用户就可以只保存非对称加密算法以及加密密钥, 而不需要储存用户的数据, 这样就可以将用户数据占据的空间大幅度减少, 这样就有利于传输成本和存储成本的降低。另外, 用户也不会再面临密钥管理困难等尴尬局面。
2.2 进行数据解密处理
在解密数据的时候, 解密一方首先需要通过非对称加密算法解密钥对对称加密算法的密钥进行加密, 用于密钥的还原, 然后再根据密钥利用对称加密算法解密数据包, 将全部原文还原, 这样, 就完成了解密一个数据包的全过程。重复上述过程, 等待所有的数据包都完成了解密之后, 就可以得到最原始的数据。通过非对称加密算法与对称加密算法之间的相互结合, 就可以将对称加密算法密钥管理方面的问题加以解决, 同时, 也可以将不适合对大量数据进行加密以及非对称加密算法的运算量过大的情况加密。在这一项解决方案当中, 每一个用户都拥有非对称加密算法密钥, 并且在云端所特定的仓库当中保存其公钥, 在用户需要进行数据交换的时候, 就可以在云端下载所需要的密钥, 并且使用该密钥做好数据的加密处理, 通过两个方式的相互结合就可以实现加密, 然后再将数据传输到云端, 并且加以储存。这样就实现了数据的加密处理, 同时也确保了数据本身的安全性。
3 结语
在当前的云计算环境之下, 几乎所有的数据信息都会通过云计算的服务商将其移动到服务器集群当中去。而数据与服务的集中式管理却给云计算提出了更多的挑战。虽然很多学者认为云计算服务提供商拥有更加安全可靠的数据保护能力, 但是安全依然是在应用与推广云计算当中面临的最大难题。在云计算环境之下, 不可控的用户数据难免会影响到信任感和安全性。所以, 基于云计算用户数据的存储和运输安全分析就具备较高的学术价值。
参考文献
[1]吴旭东.云计算数据安全研究[J].信息网络安全, 2011 (09) :89-91.
[2]陈康, 郑纬民.云计算:系统实例与研究现状[J].软件学报.2009 (05) :147-148.
传输存储 篇4
1研究背景
某硬件测试平台如图1所示,主要由上位机、 EZ - USB FX2、FPGA以及3片NORFLASH构成。其中,作为主控制器的FPGA选用了Xilinx Virtex - 6系列的XC6VLX130T芯片。USB芯片选用了Cypress公司的CY7C68053芯片。NORFLAH存储则选用3片容量为2 Gbit由Micron公司生产的P30系列芯片,用于大容量调制数据的存储。高速数据缓存选用3片由Samsung公司生产容量为2 Gbit的DDR3芯片,用于缓存高速并行调制数据。3片AD9910工作于并行调制模式,用于产生3通道高速调制波形。PC机运行基于C#编写的上位机。
2SLAVEFIFO的FPGA接口设计
CY7C68053外部集成 的配置灵 活的大端 点FIFO[],如图2所示,能使数据在片上和片外高速传输,其具有以下特性: 利用CY7C68053 CPU的外部数据通路,直接与外部主控逻辑连接; “块FIFO”的结构保证了USB和FIFO之间数据的瞬时传输或提交; 具有多功能接口,SLAVE FIFO接口或GPIF接口、异步或同步时钟接口、外部或内部时钟等[]。这些端点FIFO可根据数据传输带宽的需要进行不同的配置,如双缓冲、三缓冲和四缓冲等。其中,双缓冲是指一个缓冲区用于USB数据的缓冲,与此同时,外部控制器可操作同一端点的另一个缓冲区。
图3表示了CY7C68053的SLAVE FIFO接口以及与FPGA的连接示意图,其中EP2、EP4、EP6和EP8均可作为输 入或输出 端点进行 数据的传 输。其中, FLAGS为FIFO的标志引脚,用于报告FIFO的状态, 如“满”和“空”状态。SLOE、SLRD、SLWR、PKTEND、 和FIFOADR[1∶ 0]为控制引脚,分别表示FD输出使能、读端点FIFO、写端点FIFO、IN包发送控制和端点FIFO选择控制。IFCLK为时钟接口。
根据系统需求,CY7C68053的固件程序采用同步读写操作,将EP2设置为输出端点,512 Byte双倍缓冲,总线宽度16 bit; 将EP6设置为输入端点,512 Byte双倍缓冲,总线宽度16 bit; 采用内部IFCLK时钟。SLAVE FIFO的读写操作时序如图4所示。在写时序中,在SLWR有效的下一个时钟上升沿,数据锁存至SLAVE FIFO,完成数据的写入。在读时序中,SLOE有效后,SLAVE FIFO中的第一个数据被读出,此后使能SLRD依次读出SLAVE FIFO中的其他数据。为简化设计,SLOE和SLRD可同时使能,完成数据的读出。
3NORFLASH控制器的设计与实现
P30系列是Micron公司最新 一代的65纳米FLASH芯片,有64 Mbit到2 Gbit的可选存储容 量。 在本设计中,使用了P30系列中的PC28F00BP30EF芯片,存储容量2 Gbit,采用512 Byte缓冲编程模式对NORFLASH进行写入 操作,按页读取 的模式读 取NORFLASH中的数据[]。PC28F00BP30EF的主要设备控制信号如图5所示。
其中,A表示27位地址总线; DQ为16位设备数据总线; CLK、CE、ADV、OE、WE、WP和WAIT分别表示同步时钟输入、片选、地址锁存、输出使能、写使能、写保护和输出数据有效信号。PC28F00BP30EF提供了完备的命令用户接口( CUI) ,用户只需将操作命令写入CUI,由片上写状态机( WSM) 对所有的擦除和编程算法进行处理,即可对设备进行擦除以及读写操作。
表1给出了部分操作命令编码及其总线周期,其中,SRD表示状态寄存器( SR) 的数据,用于显示设备当前的忙或准备状态,以及用户操作遇到的错误信息等; N表示缓冲编程模式中缓冲器的大小,N≤512 Byte。
根据NORFLASH读写时序进行状态机设计的关键在于,对各个操作信号的保持建立时间进行有效的控制。NORFLASH的写时序如图6所示,WE#在上升沿锁存地址和数据。WE # 有效的最小保持时间为50 ns,到WE#升高,数据和地址总线需要至少50 ns的建立时间。异步页读时序如图7所示,ADV#锁存页初始地址所需的保持时间至少10 ns,地址锁存后,数据写入片内缓冲区最多需要105 ns,之后累加变化地址后4位即可依次读取16 Byte数据。
根据上文对于SLAVE FIFO和NORFLASH操作时序的描述,本文基于Verilog HDL硬件描述语言[9], 采用时序状态机实现了大容量调制数据的存储和传输,如图8所示。由于对NORFLASH的操作,需要频繁地向CUI写入命令,故将状态机中所有需要向CUI写入命令的状态复用为“WRFSH”状态,以达到简化设计和提高状态机效率的目的。同样,用于读取SR来判断设备状态的“RDSR”状态也采用了相同的设计方法。
状态机工作流程分为读和写两个进程。在读NORFLASH进程中。首先,在“RDFSH”状态中向CUI写入读阵列命令( 0XFF) ; 然后,状态机在“LATCHADDR”状态中锁存页初始地址; 最终由“OUTPUTDATA”状态输出读取数 据。在写NORFLASH进程中。首先,在 “UNLOCK”状态中对将要进行擦写的存储空间进行解锁操作,需要注意的是,此时WP#需要保持无效状态; 然后,在“ERASE ”状态中向CUI写入擦除 命令 ( 0X20) 和擦除确认命令( 0XD0) ,接下来,在“RDSR” 状态中判 断擦除是 否成功,若擦除成 功,由 “EP2STATE”状态判断SLAVE FIFO的状态标志; 最终,由“BUFFERPRO”状态和“WRBUFFER”状态配合, 将SLAVE FIFO中的数据采用缓冲编程的方式写入NORFLASH中,至此整个擦写过程结束。在擦除和缓冲编程的命令写入CUI后,NORFLASH内部状态机进行相关算法的操作,文中只需检测SR即可判断擦除或编程是否成功或失败,若失败则需根据SR的值判断失败的原因,并反馈给系统。
由于系统需要,设计将每片NORFLASH进行了存储空间的划分,每片划分为16段。因此,本文设计的控制模块除了SLAVE FIFO和NORFLASH的地址、控制和数据接口,还给顶层模块预留了段地址输入接口、 操作模式选择输入接口,方便顶层模块对NORFLASH和SLAVE FIFO之间的数据传输进行控制,如图所示, 大幅提高了系统的灵活性和可操作性。
4测试与分析
将工程文件添加至Xilinx ISE 14. 4中进行综合实现,并生成Bit文件下载至FPGA,利用在线调试工具Chip Scope进行信号的抓 取验证,其中采样时 钟采用CY7C68053输出的48 MHz时钟。本文进行了两种数据传输模式的测试: NORFLASH的写入测试,如图9所示; NORFLASH数据的读取验证,如图10所示。
在图9数据写入过程中,状态机向CUI写入0XE8和01FF后,NORFLASH进入缓冲编程模式,状态机控制SLOE( SLRD) 信号拉低,读取SLAVE FIFO中的数据,配合WE#信号,锁存地址和数据,缓冲区被写满 ( 512 Byte) 后,写入缓冲编程确认命令0XD0,NORFLASH内部状态机开始运行编程算法将512 Byte的数据写入NORFLASH中,状态机检测SR的值判断编程是否结束。如此反复,直至NORFLASH被写满。
在状态机的设计中,采用计数器对保持时间和建立时间进行控制。本设计中,WE#信号有效的保持时间、以及数据和地址到WE#信号上升沿的保持时间, 均为3个时钟周期62. 5 ns,大于NORFLASH所需的至少50 ns,从图中可看出,建立时间和保持时间均满足要求,数据被正常写入。
在图10数据读出过程中,状态机控制ADV#锁存页初始地址后,地址依次累加输出16字页数据,同时控制SLWR信号,将读出的数据写入SLAVE FIFO中。 如此反复,直至读取完NORFLASH所有地址的数据。
在异步按页读取的过程中,ADV#有效时的保持时间至少要为10 ns,才能锁存地址; 在地址锁存后,页数据在NORFLASH中被读出并缓存至内部缓冲区,该过程最长需要105 ns。从图中可看出,ADV#的保持时间显然大于10 ns,为保证设计的可靠性,在本设计的状态机中将等待页数据缓冲完毕的时间设置为6个时钟周期125 ns。从图中可看出,数据顺利读出。
从图9和图10中可看出,控制信号完 全符合SLAVE FIFO和NORFLASH对时序的要求。经过多次测试,NORFLASH的写入速度可达36. 5 MB /min,读出速度160 MB /min,传输速率完全符合系统需求。上位机将读取的数据与源数据进行比对,比对结果数据完全一致,表明状态机工作正常且稳定可靠。
5结束语
根据实际的工程需要,基于NORFLASH解决了在AD9910并行调制模式中,大容量相位、频率和幅度调制数据的存储和传输问题。通过对SLAVE FIFO和NORFLASH的介绍,基于FPGA设计了控 制SLAVE FIFO和NORFLASH数据双向传输的状态机,经过多次测试状态机工作稳定可靠。测试结果证明了该数据传输状态机的可行性,且因其用户接口简单,具有较好的可移植性,目前已应用于工程实践中。
摘要：针对在高速调制波形产生过程中大容量调制数据传输和存储的问题,提出了基于Virtex-6 FPGA采用USB设备和NORFLASH进行大容量数据传输与存储的设计方案。采用Verilog HDL硬件描述语言设计了SLAVE FIFO控制接口,以及NORFLASH擦写、读取控制器,实现了USB设备与NORFLASH之间6 Gbits的大容量数据的存储和回放验证。硬件测试结果表明,所设计的控制器工作稳定可靠,且具有较好的可移植性。
传输存储 篇5
1 系统技术概述
1.1 云计算
云计算 (Cloud computing) 融合了分布式并行计算、网络存储、负载均衡等多种传统计算机和网络技术, 以其独特的扩展性、廉价性及容错力受到广泛关注。Hadoop是Apache开发的一个云计算的开源平台, 主要包括分布式文件系统 (HDFS) 和并行计算框架 (Map Reduce) 。Hadoop集群的规模少则几台, 多则可上千台, 其存储与计算能力也随着规模的扩大而稳步提高。
HDFS是Hadoop的文件存储系统, 适合于大规模数据集上的应用。HDFS将一个大文件分成若干个数据块, 并创建多份复制保存在多个数据节点集合中, 避免发生单点故障。因此利用HDFS能使系统实现:大规模数据存储、高冗余、轻松扩容、负载均衡[2]等功能。
Map Reduce是Hadoop在HDFS基础上的并行计算框架, 为用户提供方便实用的并行编程模式, 实现大规模数据的并行计算。Map Reduce的主节点根据输入数据的键 (key) , 通过映射函数 (Mapper) 将输入数据映射给不同的从节点进行并行运算, 随后再通过规约函数 (Reducer) 将各个从节点的运行结果进行归约合并, 形成最终的计算结果[3]。
1.2 DICOM概述
数字影像和通信标准3.0 (DICOM3.0) 是由美国放射学会与美国国家电器制造商协会联合制定的标准, 规定了不同的医疗影像设备标准化的数据格式, 从而使数字影像更有效率地传输和交换。DICOM主要的操作协议有C_STORE、C_FIND、C_MOVE, 分别执行存储、查找与获取。
2 系统架构
目前医院采用PACS来进行医学影像数据存储与传输。数据读写速度和冗余性、系统扩展性、负载均衡等都是设计PACS所要考虑的重要方面。由于当前医院数据全部存储于光纤存储局域网络 (FC-SAN) 集中式存储服务器中, 因此在使用PACS过程中尚存以下问题: (1) 数据读写速度慢。由于资金的限制, 医院将使用频率较低的数据转移到二级存储设备中, 导致读写效率十分低下。 (2) 服务器负载重。PACS依靠影像中心服务器和集中式存储服务器进行数据调度和读写, 而大量来自工作站的请求对影像中心服务器的处理器性能和存储服务器的读写能力带来极大的考验。 (3) 计算能力差。工作站目前只能在单机环境下进行有限的图像处理, 无法提供大规模运算的服务。 (4) 不同医院间数据难以共享。
2.1 架构设计
为了解决上述问题, 本文设计了一种将分布式与集中式存储相结合的混合式PACS架构。在各医院园区网内部搭建Hadoop云集群, 利用Hadoop集群的HDFS分布式存储数据, 采用Map Reduce进行大规模数据计算。系统整体示意图如图1所示。
系统将所有原有的数据移至HDFS, 集中式存储服务器只保留近期数据。而新产生的图像数据同时保存于集中式存储服务器和HDFS中。通过这样的方式节省集中式存储服务器的空间, 解决原二级存储读写速度慢的问题, 同时将数据存储在HDFS中也有利于使用Hadoop的Map Reduce框架进行并行计算。在后期系统升级过程中, 只需要简单地增加Hadoop集群的节点数目, 即可提升系统存储容量与计算性能。为了实现不同医疗组织间的资源共享, 医院园区网可以通过防火墙连接公网。对于来自公网上的工作站的请求, 防火墙需要先对其进行安全认证和访问控制, 只有符合安全规定的请求才被递交至影像中心服务器。
此外, 本文开发了SDCMO组件与WDO组件。作为中间件, 它们屏蔽底层操作细节, 为上层的应用系统提供统一的图像写入、读取和查询接口。系统架构图如图2所示。
2.2 SDCMO组件
由于每个医学影像文件不大, 而HDFS会为每个文件分配固定的内存空间, 因此处理大量的医学影像文件会造成极大的内存开销[4]。本文采用文件序列化技术 (Sequence File) , 将储存于HDFS的每个DICOM数据映射成键值对 (Key/Value) 的形式。其中Key是DICOM数据文件名, 而Value保存DICOM数据内容。每个DICOM数据被视为一条记录, 将每一组DICOM图像合并成一个包含多条记录的序列化的文件SDCM (Sequence-DICOM) , 从而减少文件数目, 节省内存空间, 同时还利用了图像序列之间的相关性进行无损压缩。
SDCMO (SDCM Operator) 组件提供对SDCM文件操作的方法。主要包括4个部分: (1) SDCM定位器, 负责获取文件位置信息; (2) SDCM写入器, 负责向HDFS写入SD-CM数据; (3) SDCM读取器, 向HDFS读取SDCM数据; (4) SDCMO Converter负责DICOM与SDCM之间的类型转换。
2.3 WDO组件
为了实现不同设备之间数据的透明交换与传输, 本文开发了适配于DICOM 3.0数据标准的WDO (Web DI-COM Operator) 组件, 该组件能够解析、响应和封装来自HTTP的C_STORE, C_MOVE和C_FIND报文, 使HDFS能够在接收存储、获取、查找请求报文时可执行相应操作[5]。该组件主要包括6个部分: (1) HTTP请求接收器, 负责接收和发送HTTP报文; (2) 释义器, 负责解析HTTP的请求报文, 并将其转换为DICOM 3.0标准的请求; (3) DICOM请求器负责发送和处理DICOM响应报文; (4) STORE封装器, 提供封装DICOM3.0标准的C_STORE报文的方法; (5) FIND封装器, 提供封装DICOM3.0标准的C_FIND报文的方法; (6) MOVE封装器, 提供封装DI-COM3.0标准的C_MOVE报文的方法。
2.4 工作流程
2.4.1 图像写入流程
考虑到安全问题, 只有园区网内的影像设备和内部工作站有写入权限。而对于来自公网的外部工作站无权对HDFS和FC-SAN进行写入操作。图像写入流程如下:
(1) 工作站向影像中心服务器发送写入请求 (C_STORE) 报文;
(2) 影像中心服务器根据业务需求的不同选择文件存储位置, 并修改索引表。若要存储到HDFS, 则执行步骤 (3) 、步骤 (4) , 若存储到FC-SAN则执行步骤 (5) ;
(3) Hadoop名称节点创建文件, 分配存放数据各分块的数据节点列表;
(4) 调用SDCMO组件中的数据转换器, 将DICOM文件转换为SDCM类型, 并调用SDCMO组件中的文件写入器, 将文件写入HDFS的数据节点中, 返回写入成功信息, 写入过程结束。
(5) 直接写入FC-SAN, 写入过程结束。
对于需要从FC-SAN迁移备份至HDFS的数据, 需递归地遍历源文件夹下的所有子文件夹, 不断执行步骤 (3) 、步骤 (4) 执行写入, 完成数据迁移。文件写入流程图如图3所示。
2.4.2 读取/查询流程
文件读取/查询流程如下:
(1) 来自公网的外部工作站与医院园区网关建立SSL连接, 发出查询请求。
(2) 网关的请求接收器与外部建立合法的SSL连接, 接收HTTP请求。
(3) 网关的释义器将HTTP请求转化为DICOM3.0标准的C_FIND报文。
(4) DICOM请求器将C_FIND报文发送给影像中心服务器, 影像中心服务器接收C_FIND请求, 查找索引表中文件的位置信息。根据文件位置的不同跳至步骤 (5) 或步骤 (6) 。
(5) 接收来自FC-SAN的数据, 跳至步骤 (8) 。
(6) 接收来自HDFS的数据名称节点根据元数据, 调度文件分块所在的数据节点。
(7) 根据名称节点中元数据的分块信息, 利用SDC-MO组件中的文件读取器得到SDCM数据, 使用SDCMO组件中的数据转换器将SDCM数据转换为DICOM数据, 并调用WDO组件中C_FIND报文的封装接口FIND, 将DICOM数据封装为DICOM的响应报文。
(8) 释义器将响应报文转为HTTP报文。
(9) 将HTTP报文发送给HTTP请求器。
(10) 请求接收器将HTTP报文通过SSL连接发送给外部工作站, 读取过程结束。
对于来自局域网的内部工作站的请求, 由于其已在局域网环境中, 且请求报文已经是DICOM3.0格式, 只需直接将请求发送给DICOM请求器, 并从步骤 (4) 开始执行即可。文件读取/查询流程如图4所示。
2.4.3 图像检索流程
当工作站需要执行图像检索等大规模运算时, 执行流程与图4大体一致, 在步骤 (4) 的过程中还需要利用Map Reduce进行特征计算、匹配以获取检索结果。
3 实验测试
3.1 系统配置
在实验环境中, 采用Hadoop集群为基本配置, 其中1台作为HDFS的名称节点兼Map Reduce的主节点, 4台为HDFS的数据节点兼Map Reduce的从节点。集群工作站配置一致, 使用Intel (R) Core (TM) i3-2310M的CPU, 内存2 GB, 硬盘500 GB, 并在Ubuntu操作系统上搭建Hadoop-1.1.2。
3.2 实验结果分析
(1) 写入与读取测试:从图5可以看出, HDFS的平均写入、读取速度分别为4.72 Mb/s和27 Mb/s, 相比原系统FC-SAN的1.5 Mb/s和2.26 Mb/s, 读写速度有了明显的提升。
(2) 压缩比测试:将一个病人产生的大约306 MB的MR图像数据转换为SDCM后, 数据只有125 MB, 压缩率为40.8%;全系统平均压缩率为40.6%。而采用SDCM不仅将原有数据进行无损压缩, 同时还将数据转换为键值对的形式, 有利于后期利用Map Reduce对数据直接进行处理运算, 省去了重新格式化数据的时间, 提高了运算效率。
(3) 计算测试:由于特征提取是图像计算的基本步骤, 本系统就一个4.2 GB的DICOM数据 (10 290个图像文件) 进行全局特征提取计算, 以测试系统计算性能。在集群数目为1、2、3、4 (集群数目为1时, 即为原系统的单机运算模式) 各自执行5次测试计算, 取各自的平均计算时间。从图6的实验结果可以看出, 对于较复杂的运算, 多节点比单机下运行速度有了明显的提高。
云计算是一项新兴技术, 但目前并未广泛地应用到医疗机构中。本文首先利用HDFS分布式文件系统与Map Reduce计算框架技术设计了一个基于云计算技术的PACS混合架构, 为原有PACS提供了一个低成本、易扩展、高效的技术方案;设计和实现了SDCMO组件和WDO组件, 并简述了系统在公网环境下的读写流程;然后通过硬件部署的设计讨论其可行性;最后在实验环境中测试了本系统的存储传输、压缩和计算性能。经测试, 系统初步达到了节省存储空间、提高读写效率、提升计算能力的目的, 为云计算技术真正应用到医院信息化建设中提供了理论基础。
参考文献
[1]樊一鸣.云计算技术与区域医学影像系统结合的探讨[J].中国卫生信息管理, 2011, 8 (1) :21-22.
[2]高林, 宋相倩, 王洁萍.云计算及其关键技术研究[J].微型机与应用, 2011, 30 (10) :5-7.
[3]赵凯.基于云存储的医院PACS系统存储设计[J].信息安全与技术, 2012, 3 (4) :92-93.
[4]李彭军, 陈光杰, 郭文明, 等.基于HDFS的区域医学影像分布式存储架构设计[J].南方医科大学学报, 2011, 31 (3) :495-498.
传输存储 篇6
1 基本概念和结构
1.1 DEC设计存储器通道 (MC) 所要达到的技术目标
●技术性能定位在SMP和标准网络之间, 带宽100MB/s、延迟5s、开销0.5s;●高可靠性, 提供自动切换、错误修复等支持。
1.2 MC技术能够提供的功能
●32位数据通道;●由硬件自动实现对MC通道检/纠错功能, 提供消息无错到达检测原语, 可以保证MC系统信道具有10-16的传输出错率;●全部有硬件实现流控制, 严格的消息顺序控制, 保证消息A的传输错误对正在传输的消息B没有任何影响;●MC上的节点互联, 采用32位16入口单级交叉开关结构, 支持MC节点之间点到点、选播和广播通信方式。
2 MC的工作原理
2.1 MC技术的定义
MC为一个基于标准PCI总线的分布共享存储器方案。MC通过提供一个存储器映射电路, 实现源节点的一个虚拟存储器 (VM) 页面到目标节点的一个物理存储器 (PM) 页面的写连接, 而目标节点通过本节点VM到PM的存储器读映射, 完成数据的读取, 从而实现源节点一个只写VM页面到目标节点的一个只读VM的连接。在MC上连接的所有计算机节点称之为簇节点。
2.2 程序中使用MC连接的工作过程
图1说明MC簇中两个簇节点之间虚拟存储器空间的连接。在图1中节点1虚页A (只写) 与节点2的虚页E连接 (只读) ;节点2的虚页F (只写) 与节点1的虚页J连接 (只读) 。
2.2.1 节点1的虚页A (只写) 与节点2的虚页E连接 (只读) 的情形
应用程序通过系统调用, 申请获得MC页C。
节点1定义页面C为只写, 它在节点1虚存空间中为A。节点1的存储器虚实转换将页A对应到节点1的发送窗, 即页B, 这是一个I/O空间;页B通过MC接口板上的PCT完成到MC页面C的映射。
节点2定义MC页C为只读, 它在节点2虚存空间中为E。节点2的存储器虚实转换将页E对应到节点2的物理存储器页D, 这是一个只读页;页C通过节点2的MC接口板上的PCT完成到MC页面C到节点2物理存储器页面D的映射, 这个映射由节点2的PCT控制, 由DMA通道完成映射。
节点1对页面A的写操作, 经过一段时间 (约5 s) , 就可以出现在节点2的物理存储器页面D中。节点2的应用程序可以通过读页面E而取得节点1的数据。
节点2的虚页F (只写) 与节点1的虚页J连接 (只读) 的连接过程与此相似。
从程序使用MC连接的过程中可以看出, 程序只能通过虚实地址转换来访问MC空间, 因此, 程序的可靠性和安全性是有充分保证的。这种使用MC的可靠性和安全性是由系统的虚拟存储器管理系统的保护机制和安全机制提供的。MC空间的使用与程序存储器空间的使用具有类似的步骤和相同的可靠性。
2.2.2 MC映射的一些可控制特性
为了便于程序设计控制, MC在定义存储器映射时允许定义MC的以下一些控制位:
●发送位 (只写) ;●接收位 (只读) ;●广播、选播或点到点方式定义;●本节点复制特性;●所有节点完成接收标志;●写中断
这些控制位在节点连接MC页面时给予定义。
2.2.3 连接示例
图2表示使用MC进行广播、选播或点到点通信方式的连接示例。数字1、2和3分别代表三个连接, 即“连接1”、“连接2”和“连接3”。
图2中的连接分别表示了下面连接示例:
连接1:具有写时中断的单向点到点连接。由节点1写, 节点3接收。
连接2:单向广播。由节点3写, 所有节点接收。
连接3:双向选播。节点2和4写, 节点2和4接收。
从图2中可以看出, 连接是以MC空间为标准的, 即使用同一块MC空间的为同一个连接。
2.2.4 MC连接特性参数
MC是基于存储器页面的连接, 因此它的连接以页面为粒度。在Alpha系统中, 页面大小为8KB。
目前的每个MC簇通过MC可以建立64K个连接, 由于每个连接的粒度为一个页面 (8KB) , 所以在一个MC簇中, 可以使用的MC总空间最大为
这也就是MC目前能够提供的最大簇通信空间。
2.3 MC硬件实现技术
图3说明MC连接中CPU、存储器、I/O接口和MC通道之间的连接关系。其中MC卡是一块占用一个PCI插槽的PCI卡, 其输出通道占用512MB只写PCI存储器空间, 输入通道占用另外一个512MB的PCI存储器空间。这两个512MB可以在4GB的PCI存储器空间中的任意位置。
2.3.1 节点1的CPU访问节点2的存储器
节点1:
执行一条存指令, 指令地址在MC空间, 被映射到MC发窗, MC的发窗为I/O空间, 因此指令操作通过CPU的cache、Buffers和系统总线, 进入PCI总线。
PCI总线对写进行译码, 选中MC卡发送通道。
利用MC卡上的PCT信息对数据打包, 形成MC包。MC包由报头、数据和包尾组成。报头为目标节点标识, 包尾为32位的CRC校验数据。
送入MC网络。
节点2:
MC卡接收MC网络上来的数据, 对其进行解包, 去掉头尾, 得到数据;
使用MC卡上的PCT信息, 根据数据包地址映射到节点2的物理存储器地址;
与一般的I/O设备一样, MC卡通过总线桥, 将数据送入物理存储器中。
2.3.2 节点2的I/O设备访问节点1的存储器
PCI上的I/O设备可以象CPU一样直接访问MC卡, 称为I/O到MC直达。使用I/O到MC直达, 节点无须通过其它节点访问盘, 盘会主动将数据送到最终需要的节点。
2.3.3 MC通信与cache数据的问题
由节点1送到节点2存储器单元中的数据, 允许节点2进入cache。因为DEC和Inte的CPU都支持这种外部数据到存储器时的cache数据一致性校验。当MC的接收通道通过总线桥将数据送入目标节点存储器时, 同时引起CPU中cache数据的一致性校验。
2.4 MC系统下软件的结构和功能简介
MC系统下软件的结构如图4所示。
摘要：集群系统可以将多台同构或异构的计算机连接起来协同完成特定的任务。本文通过从MC系统基本概念、功能等分析, 结合MC的工作原理, 提出了基于标准PCI总线的分布共享存储器的组建及关键技术在数据传输过程中的应用。
关键词：存储通道,MC,PCI总线
参考文献
[1]鲁士文.计算机网络原理与网络技术[M].北京:机械工业出版社, 1996.
[2]Andrew S.Tanenbaum.计算机网络[M].清华大学出版社, 1998.
传输存储 篇7
故障录波装置作为电力系统故障及振荡的自动记录装置,通常作为独立系统运行,因此在业内一直没有形成统一规范的通信规约。随着近年来故障信息系统的建设,逐渐出台了一些区域性通信规范,如基于TCP/IP的南方电网故障信息系统通信规范[1]。
IEC61850自2004年发布以来已经在电力系统各领域形成了广泛应用的氛围。由于系统功能集成的需要并有效解决目前通信规约不兼容的现象,IEC61850在故障录波装置中也将逐步得到应用[2]。
由于传统录波装置存在录波数据量较大且庞杂冗余等缺点,不利于通信传输和上级系统进行数据提取,因此本文从以下角度提出IEC61850下录波数据的传输机制:
1)定义录波数据的分通道存储机制,利用录波器进行故障信息分拣的预处理,定义数据文件的存储目录结构和文件命名规则。
2)建立IEC61850的标准录波文件传输模型,使经过分通道处理的录波数据,可以在只建立Server(FILE)模型的前提下,实现录波文件的上传,与未来的全面IEC61850录波功能数据模型相兼容。
1 录波数据的分通道存储机制
1.1 录波数据的智能处理
以往的录波装置在处理暂态录波时存在以下两个问题[3]:
①采用一路通道启动,所有通道同时记录的方式,没有对故障和扰动的间隔通道进行有效区分,致使形成较多无效的录波信息,降低了录波装置的工作效率和存储元件的有效利用率,在与上级通信系统进行远程数据传输时,也增加了网络负载量和通道占用时间。
②COMTRADE标准没有对配线定值参数进行明确定义,导致目前各种版本的基于COMTRADE标准的录波数据互不兼容,更无法进行高级分析。
针对以上两个问题,提出设计录波分通道文件存储机制、扩展定义.INI格式文件的解决方案:
在不影响录波装置原有录波文件生成的前提下,增加录波数据的智能预处理模块——分拣出按照一次间隔元件对象分类的不同录波分通道文件(如图1中电压文件、线路文件等,对录波通道进行选择性划分),并按照COMTRADE(IEEE Std C37.111-1999)的标准格式进行存储。同时为表征分文件的类型、并提供一次设备的建模信息、测距参数、变压器参数等便于上级系统进行数据分析、处理和计算的参数,在标准的.HDR、.CFG、.INF和.DAT文件之外扩展定义.INI格式文件。.INI和.CFG、.DAT文件为必选文件。
录波分通道文件的五种类型定义如下:
①电压文件:描述一组母线电压的信息,包括通道号、电压等级等。②线路文件:描述一组线路电流的信息,包括电压等级,电压通道,电流通道、高频、开关通道以及测距参数等;③变压器文件:描述一组变压器的信息,包括各侧电流、电压、开关通道等;④公共文件:所有不能归类到上述三种文件的信息;⑤复合文件:上述文件整合在一起,形成复合文件。
.INI文件格式定义为图2的8个数据段,从间隔对象的角度出发,将所有一次侧元件分解为若干组电压、电流以及开关,而每组电压、电流又分解为若干个模拟通道——形成清晰的一次元件与通道的对应关系。
1.2 录波分通道文件的目录命名规范
在录波装置生成分通道文件之后,为了使录波装置的分通道文件存储系统具有良好的可识别性和通用性,方便运行人员和上级系统进行调阅,定义录波分通道的目录规范规则:
每次录波启动后,录波装置根据设定的预处理策略生成一系列分文件,并以录波启动的记录时刻(dat文件第一个采样点的绝对时刻)命名其目录,格式为:
PATHYYYY-MM-DD@hh-mm-ss_@aaa
其中PATH为本地磁盘目录,如D:splitter_data;YYYY四位年数、MM两位月数、DD两位日数、hh两位时数、mm两位分数、ss两位秒数;aaa为启动状态标记,如果有保护动作或开关量变位,取值为act,否则取值为sta。分文件目录规范举例:D:splitter_data2006-02-21@15-48-32_@sta。
2 基于IEC61850的录波分通道文件传输
2.1 IEC61850的录波文件系统模型
在对录波文件进行分通道处理和规范的目录存储以后,即可利用标准的IEC61850文件传输模型与上级系统进行通信和传输。
IEC61850-7-4中定义了在间隔层的录波装置完成录波功能所需的三个逻辑节点:RDRE(扰动记录功能)、RADR(扰动记录模拟量通道)、RBDR(扰动记录状态量通道)。在三个逻辑节点作用下生成的COMTRADE格式扰动记录,按照IEC61850-7-2的规定,属于Server Class Model(服务器类模型)的FILE模型,可使用文件传输模型。录波装置的数据模型如图3。
由于本文所述的录波装置仍然基于传统数据模型的设计,属于过渡阶段的应用,因此本文只关注文件传输模型,对逻辑节点类数据模型不作叙述。
按照IEC61850-8-1的建议,在录波装置Server的逻辑根目录下设置一个COMTRADE子目录,存放录波文件,本文根据录波文件分类存储的需要,在COMTRADE下又设置三个子目录:
1)“normal_data”,存放装置正常启动产生的暂态录波文件。
2)“splitter_data”,存放正常启动后经过分通道处理的暂态录波文件。
3)“new_files”,存放装置最新的反映保护动作或开关量变位(启动标识为“ACT”)的分通道文件,供上级系统轮询。
2.2 录波文件的传输过程
IEC61850的录波文件传输[4]主要使用两个服务如表1。
① 列目录Get Server Directory(File)
上级系统使用Get Server Directory访问录波装置中的目录,录波装置则将目录中的文件及子目录名作为数据进行应答,如果返回的字符串最后一个字符是“”,则表示这是一个目录名,否则就是一个文件名。例如:“COMTRADEsample”是一个文件名,而“COMTRADEsplitter_data”是一个目录名。服务器可以使用这个方法遍历录波装置的目录树。访问根目录的ACSI服务及映射见表2(参数为空)。
② 读文件Get File
Get File服务用来从服务器(录波装置)中读取文件,主要参数如表3。
参照IEC61850-8-1的23.2.1,ACSI读文件服务应映射到一个ISO 9506-1和ISO 9506-2定义的MMS文件打开、文件读和文件关闭服务序列。
在读文件服务中,发送和响应报文的参数使用绝对路径,即从根目录开始的完整路径名。如在上级系统访问COMTRADE的目录时,使用Get Server Directory服务(参数使用“COMTRADE”),录波装置在响应时上送“COMTRADEsplitter_data”等子目录。
2.3 录波文件传输功能的实现
在上级系统访问录波装置时,通常要求有以下两种文件传输方式:
① 录波文件目录的随机访问
通过对录播文件目录的随机访问,上级系统可以选择获取录波装置的录波文件及其列表。过程如下:
1)上级系统首次访问录波装置时,可以使用列目录服务遍历录波装置的目录,列举所有目录结构,也可制定必要的简表策略,避免目录列表过长。
2)在日常使用过程中,上级系统需要指定查看某目录下的文件信息时,可以使用列目录服务,列出指定目录中的内容。
3)定位到需要访问的文件后,使用Get File服务从录波装置读取文件。
② 最新的录波文件主动上送
重要的暂态录波文件产生后,需要及时主动上传到上级系统,实现数据同步。由于IEC61850没有定义文件目录的主动上送机制,为了避免使用如报告模型、Data模型等数据建模时带来的复杂操作,定义了“new_files”子目录,目的在于仅通过文件模型的服务实现上级系统对录波装置最新录波文件的获取。该目录存放的文件是录波装置中最新的反映保护动作或开关量变位(启动标识为“ACT”)的分通道文件,要求上级系统必须召唤,但召唤时机可由子站自行决定。为了及时获取最新的录波文件,上级系统需要设定一定的周期(工程参数)访问录波装置“COMTRADEnew_files”的目录。
3 结论
本文设计的录波分通道文件存储机制,能够对故障和扰动通道进行有效区分,提高了录波装置信息处理效率。在这个机制的基础上,可以很方便地使用IEC61850的标准文件传输模型和Server(FILE)模型,完成录波文件的目录访问以及最新录波文件的传输,既避免了数据建模过程可能带来的复杂工作和附加开销,又能够保证与未来全面使用IEC61850的数字化变电站系统的传输模式相兼容。
本文设计的录波文件处理模型,已经在广东电网范围内得到了试验性使用,为提高录波装置及其他二次设备的信息化应用水平提供了借鉴。
参考文献
[1]中国南方电网继电保护故障信息系统通信与接口规范[Z].2006.Communication Interface Specification for RelayProtection Fault Information System of China SouthernPower Grid[Z].2006.
[2]汪可友,张沛超,郁惟镛,等.应用IEC 61850通信协议的新一代故障信息处理系统[J].电网技术,2004,28(10).WANG Ke-you,ZHANG Pei-chao,YU Wei-yong,et al.Research on a New Fault Information Processing Systemusing IEC 61850 Communication Protocol[J].PowerSystem Technology,2004,10.
[3]陈菁,苏忠阳,蔡泽祥,等.提高故障录波装置信息处理效率的方法[J].广东输电与变电技术,2007,5:25-27.CHEN Jing,SU Zhong-yang,CAI Ze-xiang,etal.Methods to Promote Information Processing Efficiencyof Fault Recorder[J].Guangdong Power TransmissionTechnology,2007,(5):25-27.