数据存储与网络传输（精选10篇）
数据存储与网络传输 篇1
0引言
云计算能够为用户提供更加虚拟化的资源服务,在虚拟模式下,用户不需要对资源进行创建与管理,而是可以通过付费的方式使用云计算服务。云计算发展趋势良好,但是从理论与实际出发,云计算面临着安全威胁,尤其在数据安全方面。因此,云计算安全管理是云计算的保障,尤其在为用户提供服务方面,在实际的云计算中,不仅需要改变云计算中的数据传输,还要对存储安全进行改革。
1云计算
1.1概念
云计算以Internet为基础,存储内容以及运算并不运行在计算机或者服务器中,主要分布在Internet上的计算机上。换言之, 云计算在数据计算中起到搬运的作用,将原来个人计算机、数据控制中心中执行任务的有效转移Internet上,然后由用户共享的计算中心对数据搬运任务进行总结与处理,最终能够实现计算机软、硬件的功能,例如,对计算数据资源的安装、维护以及配置等服务。云计算也可以被看作是并行计算、分布式计算以及网格计算的发展与延续,但是云计算与网络计算的区别在于,云计算更加的致力于计算、存储以及应用资源的共享,而后者则侧重于解决计算上以及资源的分配问题。对于用户而言,能够吸引用户集中精力自己的业务,达到降低成本的效果。在实际的云计算中, 云用户能够按照数据协议上传数据,将数据以密文方式存储在服务器中,从而保证数据的安全。
1.2云计算的特点
规模大,云计算是一种分布式的计算形式,规模大是云计算的首要特征,尤其在数据服务上,实现方式较多。例如在经济规模中的云计算处理技术。
虚拟化,云计算的虚拟化特点主要表现在,将各个层次的功能进行封装,最终成为一个抽象实体,向各个层次的数据用户提供云端服务,该环节中每一个技术都能够通过虚拟化技术实现。 在任意位置,用户都能利用各种终端技术,从云中获取相应的应用的数据服务,不需要对具体实现与位置进行了解。
可靠性,云计算技术的高速发展,大部分取决于云服务市场的发展趋向,而云服务业务的不断拓展,依赖于云服务的数据可靠性。因此,在云计算中,必须采取一定的措施,对云服务进行可靠性保护,由此可见,可靠性在云计算技术中地位突出。
2数据传输与存储安全问题
2.1身份认证存在的问题
对用户的身份验证主要有三种方式,第一,用户知道密码; 第二,用户本身特征,例如指纹与声音等;第三,用户独特物品。 目前,智能卡认证和口令认证都是常见认证方式,例如,网银中的口令、电子口令卡、用户口令以及USB KEY方式都是在多种因素基础上的数据认证策略。
其中,智能卡、口令的双因子认证机制共同使用前两种认证方式。在实际的登录系统中,用户需要正确的ID,同时用户需要有服务器发放的智能卡,用户才能通过认证。但是在这样的过程中,智能卡只对服务器的身份进行验证,并没有对服务平台的安全性进行验证,不能完全保证服务器的安全状态,有可能造成用户个人隐私被泄露的问题。因此,身份验证中应该双向的,验证要完整。
2.2安全问题
在云计算中,我们应该充分保证数据在传输过程中不被非法分子破译与获取,其次,需要对用户上传到云环境中的应用程序和数据进行加密存储,确保数据在计算与运行中的安全。数据信息的加密与解密是对数据安全的保证,其中非对称的加密算法安全性比较高,但是在加密与解密过程中数据处理速度慢,只能局限于少量数据的加密,相反,对称数据加密算法效率高,原因在于对称密钥的存储问题上。由于加解密以及数字签名都需要相应的密钥来完成,因此使得密钥产生以及存储成为云环境中安全保障。
3数据传输与存储安全技术分析策略
3.1身份认证技术分析
对于云计算中的身份认证技术问题,首先,需要在云服务器中引入安全芯片,其中,安全芯片的主要功能就是能够为用户提供密码功能,增加用户身份认证的稳定性;其次,用户在获取智能卡之后,由云服务器生成AIK密钥,此时云服务器向CA申请AIK证书。当用户向云服务器发送认证时,云服务器能够对用户相关信息进行验证,将AIK证书签名信息发送给用户,完成用户的基本要求。接下来,用户对AIK证书的有效性展开CA验证, 主要利用AIK公钥验证数据真实性,并根据日志来确定平台的可信性。以上过程中就完成了用户与云服务器的双向认证。
3.2安全问题技术分析
用户上传数据之前会对数据加密,在安全模型中,每一个应用程序都能生成一对RSA非对称密钥PKAPP/SKapp,还能生成一个对称密钥AES。最初用户需要向虚拟机管理器提交程序注册请求。然后,用户通过模型提供的加密工具对程序和数据文件进行对称密钥与不对称加密,并将加密处理的文件传送到服务器的终端。
在这样的过程中,最重要的是对密钥的存储。其中提高用户信息安全的有效措施就是将用户的私钥存储在智能卡中,保证用户信息不被他人窃取;另外,用户的私钥、应用程序都保存在VMM内存中,这一模块的内存不能被OS以及应用程序访问, 提高密钥存储的安全性能。此外,云服务器具有备份数据的功能, 在云计算中,合法或者非法的数据复制不能对数据安全造成威胁。
3.3系统的可行性分析
3.3.1抗攻击性
云端用户数据登录过程中,用户向云服务器发送消息,信息内容中包含时间截T1,其中,时间截的有效利用是避免攻击产生的有效措施。然后,在可信云服务器发送命令,并加入命令版本号,用户能够自动生成维护命令的128位增加数版本。
3.3.2抗云内部人员攻击
在用户注册的过程中,h(PW+n)来代替PW向云服务器提交信息,云服务器的内部人员不能直接得到用户的密码。此时用户产生的随机数n并没有泄露给云服务器,内部人员不能对h(PW+n)进行攻击,信息在云端进行传输时都是以加密形式存在,不会被交换到磁盘或者设备中。
3.3.3抗服务攻击
在用户登录过程中,用户需要云服务器提供的智能卡,只有在输入用户名和密码之后,用户才能对服务器身份进行验证,并能对平台进行访问,如果攻击者不能通过相关的账号验证,那么将不能发动服务攻击。
3.3.4抗假信息攻击
如果攻击者占据两台服务器,其中真假各半,那么他将会利用不可信的服务器欺骗用户,并发动攻击。在系统中,云服务器利用AIK私钥对PCRS进行签名,如果攻击者没有可信平台私钥, 则不能完成签名操作。
4结论
综上所述,随着科技不断发展,人们对云用户以及云服务器交互的实际应用,提出了数据传输和存储安全方向的问题。本文结合云计算的功能特点,对数据传输以及存储安全做出了有针对性的问题解决,并提出了数据传输以及存储安全所采用的关键技术。云用户与服务器在交互数据前,需要相互验证身份,才能得到通信密钥,以此来保证数据传输安全。
参考文献
[1]毛宇.面向移动云计算的数据安全保护技术研究[D].广东工业大学,2013.
[2]余琦.云计算环境下数据安全多维防护体系的研究与设计[D].广东工业大学,2013.
[3]曾文英.面向移动环境的数据存储管理方法关键技术研究[D].华南理工大学,2011.
[4]刘邵星.云计算中数据安全关键技术的研究[D].青岛科技大学,2014.
[5]陆宏亮.移动云环境下基于终端上下文信息的数据保护研究[D].国防科学技术大学,2011.
数据存储与网络传输 篇2
初始安装SQL Server时，安装程序和脚本初始化主设备，并建立master、model、tempdb和sybsystemprocs数据库，
系统数据库、预定义设备和段按下列默认方式组织：
a.master、model、tempdb数据库安装在主设备master上;
b.sybsystemprocs数据库安装在安装时选择的设备上(sysprocsdev);
c.为每个数据库创建三个预定义段：system、default和logsegment;
d.所有用户创建数据库的默认设备是master设备;
e.如果选择安装了审计数据库sybsecurity，它位于自己的设备上，
2.设备与存储管理考虑的主要问题
(1)恢复
物理磁盘崩溃时，磁盘镜像或在单独的物理设备上保存日志为数据库恢复提供了两种机制。
(2)性能
磁盘读写速度是I/O操作的瓶颈，正确地把数据库对象放置到物理设备上有利于改进性能;
把日志和数据库对象置于单独的设备上可以提高系统性能;
把表放在一个硬盘上而把索引放在另一个硬盘上，由于把工作分置于两个硬盘驱动器上，所以可以确保物理读写速度加快;
数据存储与绿色节能 篇3
在这种背景下，以“节能、环保、高效、经济”为核心价值的绿色浪潮正席卷整个IT产业。绿色IT已成为符合社会进步与环境保护要求、满足经济可持续性发展目标的新产业，绿色存储则是引领IT产业下一代革命的创新驱动力。据调查，IT产品能源消耗以每年8%～10%的速度增长。2007年IT产品耗电总量约为500亿度，IT因耗电而排放的二氧化碳已达到4000万吨！数据资源中心能耗则占IT能耗的40%，而存储设备约占数据资源中心电力消耗的37%～40%。因此，如何通过使用绿色节能的存储系统，在满足整个数据中心数据服务需求的基础上，尽可能地降低能耗，逐渐成为数据中心的重要议题。
合理选择存储介质
对于数据中心的存储系统，主要有三类。磁盘存储（虚拟磁带库被认为是磁盘存储的一种）、磁带存储和闪存阵列。其中磁带存储技术的发展时间最长，目前已经发展到LTO-6代，单盘读写性能（未压缩）可以达到160MB/s。磁盘存储近年来也得到了快速发展，目前各主流存储厂商的高端磁盘存储产品的最大可扩展容量已经超过PB级，最高性能也早已超过40万IOPS。而闪存阵列则是近几年兴起的新技术，其特点是密度高、容量大、速度快，单一机柜空间容量可以超过1PB，性能超过2200万IOPS，而功耗却不到13KW。
当前数据中心应用的存储介质，按照延迟的快慢可以分为闪存、高性能磁盘、高容量磁盘以及磁带。但是，它们之间的能耗和占地却差别巨大。如表1，性能最高的为内存，性能最低的则是磁带。但从能耗上来比较，按照同等性能来计算，最低的则是磁带，最高的为磁盘。同样，在考虑同等容量的占地成本时，磁带最省空间，高性能磁盘占空间最大。
接下来看两个具体的例子。一个是按照同等容量分别配置高速磁盘、低速磁盘、SSD以及磁带。（数据对比参见表2）另一个则是按照同等IOPS来配置三种磁盘。（数据对比参见表3）
通过以上两表分析可以看出，不同的介质在使用时，其价格、延迟、功耗和占地上有很大的区别。那么，如何在实际应用中，在不同应用场景下，合理地使用不同的介质，最终达到绿色节能的目的，将是未来我们进行项目采购时需要考虑的问题之一。
选择低能耗存储设备
除了介质对节能减排具有重要影响之外，不同的存储产品设计本身也有比较大的差异。表4列出了两个国际知名存储厂商的最高端存储的相应机房环境需求。
从表中我们可以看到，在与绿色节能有关的四项指标中，两个存储厂商的存储产品参数均有超过50%的差异。当然，折没有考虑具体产品的价格和性能因素，但在不同生产环境的使用时，在选择过程中如何更加合理地选择存储设备，来实现节能减排，也是需要认真考量的问题。
一个先进的存储虚拟化系统，能够对完全不同的异构存储资源进行集中控制和管理，从而提高业务应用的可用性和资源的利用率。其目的是对IT架构中的存储资源进行管理，确保它们能够被企业快速、有效、实时加以利用并降低企业管理成本。
一个先进的存储虚拟化系统应具备以下特性。
1. 简单高效的存储架构
可以将不同厂商存储系统的容量集中到一个存储池中，以便进行集中管理。
消除磁盘系统之间的界限，将存储设备作为一项资源而不是一台设备独立设备进行管理，从而满足业务需求。并能根据可用的所有存储资源来制定业务流程目标，而不是由存储资源来决定企业能够实现哪些目标。
通过将存储区域网络（SAN）内的多个磁盘系统容量集中起来，能够让存储管理员超越SAN存储设备传统的“孤岛”，以更好的方式对存储设备进行部署，更好地满足主机应用的需求，并能通过自动精简功能，根据主机实际需要去提供存储空间，避免由于业务部门对存储资源预测的不准确，造成对存储资源的浪费。
2. 透明稳定的资源池
由于将存储设备的物理特性对主机系统进行隐藏，因此，虚拟化设备可以使主机应用不受存储池物理变化的影响。通过此功能，当对存储架构进行更改时，能够让应用继续运行而不会发生中断，从而帮助企业提高应用对客户的可用性。
通过动态数据迁移功能来提高应用的可用性。此功能可以在不影响应用对数据访问的前提下将数据从一个存储系统迁移至另一个系统，可以帮助管理员在不影响应用对客户可用性的同时对存储容量进行重新分配和扩展。例如，在对系统负荷进行均衡而将旧的存储设备更换为新的存储设备时，或者实施分层存储架构时，可利用数据迁移功能。
新的虚拟磁盘镜像功能可以将虚拟磁盘的两个拷贝存储在不同的存储系统上。当磁盘阵列或磁盘系统出现故障，或者由于需要维护而发生中断时，此功能可以帮助提高应用的可用性，自动使用仍然可用的拷贝。
3. 丰富先进的软件功能
采用分层存储对控制存储成本来说是一个很重要的策略，可根据不同业务需求采用成本和性能都各不相同的存储。然而，直到现在，不同类型存储（即便来自同一个供应商）之间的管理和功能上的差异使得实施分层存储操作起来非常复杂，而且部署范围有限。
先进的软件能够让实施分层存储变得更加简单。因为它能在所有存储层之间保持一致的管理和功能，并且在不会对应用造成中断的同时将数据在各层之间进行移动。
对许多常规SAN磁盘阵列来说，复制操作仅限于系统内部或同类系统之间。然而虚拟化设备控制器需要让管理员在不同供应商提供的多个存储系统之间采用先进的基于网络的复制服务（例如FlashCopy功能）。此功能可以帮助简化存储环境，降低存储总成本。
虚拟化设备复制服务可以根据数据价值的高低采用不同成本的存储设备。比如说，尽管生产数据可以存储在企业级存储设备上，然而可以通过FlashCopy功能创建的备份拷贝存储在成本较低的存储设备上。
类似地，保持业务连续性的常规方法在很大程度上需要采用与生产和恢复地点相同的存储设备，进而需要虚拟化设备可以在每个地点支持不同的存储设备，从而帮助企业在制定灾难恢复战略时降低成本。
支持各种复制服务，无论采用何种类型的存储，都能以一致的方式进行工作。FlashCopy功能几乎能够对活动数据创建“瞬时”拷贝，用于备份或者并行处理任务。
支持增量FlashCopy操作，只拷贝自上次使用FlashCopy功能以来，源虚拟磁盘或目标虚拟磁盘中变化的数据。这些功能可以用来帮助企业根据生产数据对测试环境进行维护和更新。
同步复制和异步复制功能，可在不同地点的系统之间工作，创建数据拷贝，以供数据中心发生灾难时使用。
网络数据流存储算法分析与实现 篇4
网络数据流是由有序字节流组成, 字节流以报文为基本单位在网络中进行传输, 并且报文之间通常具有一定的状态联系和制约关系。关于网络数据流目前尚无统一的定义, 大体上可以把网络数据流研究分为二个方向:面向宏观的网络数据采样和面向微观的网络数据存储。数据流采样是通过定期采集网络数据流, 提取网络报文报头的特征, 实现对于网络状态分析。如 Cisco 的 Netflow 在高速网络上使用“k 取1”方法, 分析网络数据流特征使用动态采样方式提高 Netflow的精确度[1,2]。但是由于网络数据流采样时间粒度的限制, 错误地把几个不同的TCP连接聚集到一个 Netflow 中, 出现采样记录的连接数少于实际的 TCP 连接数的情况。网络数据存储主要集中在应用层, 如以 Squid 为代表的 Web cache 网络数据存储技术, Web cache 通过资源预取、缓存, 来提高客户端的响应速度, 节省带宽资源, 同时提供基于内容的资源传输管理[3]和多级缓存节点的资源协同管理等[4,5] 。但是以 Squid 为代表的 Web cache 是一种以 Object 为基本存储单位 Web Proxy 技术, 尽管 Squid 增加对部分应用协议的扩展功能, 但是仍然局限于少数的几种应用协议。
目前对于网络监控、安全预警等方面的应用, 不仅需要对网络流量进行整体的统计分析, 而且需要对每个连接状态进行记录、跟踪, 最后作出安全决策。因此如果能够实现对网络数据流的实时复制、存储, 不仅可以对关键网络业务进行精确的检测、跟踪, 而且能够实现对关键业务的备份和恢复。但是网络数据流的实时存储, 是一个在线存储过程, 面临着诸多瓶颈问题, 可以归纳如下: (1) 实际存储率低。由于网络数据流具有突发性和自相似性[6], 并且在传输过程中具有乱序传输特征[7], 加上实际存储时内存读写带宽与磁盘读写带宽的不匹配等原因, 会出现接收到数据包, 但没有实际写入磁盘中丢包现象, 造成实际存储比率低下。 (2) 缺乏有效的磁盘管理机制。传统的数据流复制, 通常是按序直接写入文件中, 不利于数据流的检索和查询。网络数据流的实时存储, 不仅需要较高的报文捕获能力, 而且更关注于网络数据流完整的复制、数据流状态维护以及磁盘数据管理。本文根据网络数据流特点提出网络数据流分段存储模型, 本模型包括基于内存的高速缓存结构和基于磁盘的多级索引结构。
1网络数据流存储模型
网络数据流存储是一个从网络数据流复制, 内存缓存, 再到磁盘文件管理的一个相互联系的复杂的过程, 为了说明方便, 首先进行如下的相关定义。
定义1 时序性 二个网络数据包a、b, 如果a 在网络传输中位于b 的前面, 即a 在时间轴上位于b 的左侧, 则称此时a 在时序上早于b, 表示为a<<b。
定义2 强时序性 设原始网络数据包序列为…l1, l2, m1, l3, m2, n1, n2, n3, m3, …, 如果数据包之间的时序性被严格地保持, 则称为数据流具有强时序性。
定义3 弱时序性 设数据流分段为 p1, p2, p3;p1= (l1, l2, l3) , p2= (m1, m2, m3) , p3= (n1, n2, n3) 。尽管p1, p2, p3 所包含数据包并没有严格的时序性, 但是每个分段的第一个数据包之间具有严格的时序性, 即l1<<m1<<n1, 称p1, p2, p3 之间具有弱时序性。为了衡量网络数据流分段后的与强时序的误差引入下面的定义。
定义4 弱时序性网络数据流的时间误差和秩 如果上例中把p1, p2, p3 数据流分段包含的数据包依次排列, 形如l1, l2, l3, m1, m2, m3, n1, n2, n3, 与原始数据流在时间上的最大的差值, 此例中的最大的差值可能发生在m3 与n1之间。把具有弱时序性的数据流分段中的数据包重新排列后, 与原始数据包序列进行比较, 其中任意二个数据包之间最大的时间差, 称为数据分段后的时间误差, 并把每个数据流分段包含的数据包的个数称为秩。
定义5 网络数据流的属主性 网络数据流通常具有明显的起始点 (源端) 或者终止点 (目的端) , 把这种性质成为网络数据流的属主性;网络数据流的属主性, 在不同应用场合使用不同的参数进行描述, 如 Cisco 通常使用七元组描述网络数据流的属主信息, TCP Session 中采用五元组描述网络数据流的属主信息。在某些场合也可以使用逻辑意义上的参数描述网络数据流属主信息。
通过上面的定义, 可以把网络数据流存储面临的基本问题描述为:如何在兼顾网络数据流属主性和时序性的前提条件下, 根据网络负载调整磁盘读写策略, 提高报文复制效率;如何为网络数据流建立体现时序性和属主性的双重索引结构, 提高磁盘数据管理效率。
由于传统模式下的按序复制、按序存储、限制磁盘读写策略, 增加了磁盘数据管理的难度。本文通过构造属主内保持强时序性、属主间保持弱时序性的数据流分段, 对构造后的网络数据流分段进行集中写入磁盘、集中建立索引等方式, 来解决传统网络数据流存储面临的问题。数据流分段之间的弱时序性是通过分段之间误差参数来控制的, 无论是网络协议栈还是网络应用程序都具有一定的时延容忍能力。例如默认的TCP 缓存区的大小是8KB, 如果能够保证各个弱时序性的分段秩小于14, 可以实现在不改变 TCP 语义的条件下, 进行网络数据流属主间的分段重组。为了实现网络数据流分段重组的目标, 本模型在内存中采用同时保证属主性和弱时序性的高速缓存结构, 在磁盘中对数据流分段建立数据流生成树的多级索引结构。
2相关算法的描述
2.1基于内存的网络数据流分段重组算法的描述
内存中的分段重组是通过散列表和循环队列实现的, 算法中的散列表保存的是不同属主的网络数据流存储位置的信息, 把同一属主内的网络报文经过散列运算后依次保存到同一个队列节点指向的数据流分段中, 通过散列运算保证网络数据流的属主性;循环队列中保存的是满足弱时序性的数据流分段, 对每个新到达的不同属主的数据流依次在队首开辟缓存空间, 而守护进程在队列尾部进行数据流分段的转存, 整个缓存和转存的过程是通过FIFO方式保证弱时序性的。对每个数据流分段之间的误差是通过每个分段的最大时间误差和秩来控制的, 当一个数据流分段超过时间误差或秩的最大限制, 设置分段满的状态标志, 表示不在本分段内继续缓存数据包, 等待守护进程进行转存数据流分段, 当仍有同一属主的网络数据流继续到达时, 重新在队首开辟缓存空间。
为了实现动态磁盘读写调度策略, 这里把循环队列分为三 个区:空闲区、工作区和转存区。空闲区是可利用的空闲队列资源;工作区是经过散列运算后, 正在写入的网络数据流分段, 工作区长度等于同时进行存储的不同属主的网络数据流数量;转存区是满足弱时序性的等待写入磁盘文件中的数据流分段, 通过观察转存区长度可以了解当时的网络流量情况, 动态调节磁盘读写速率。
算法的基本过程描述如下:
Step1 把客户端和服务器的 IP 地址经过散列运算, 得到在散列表中的表节点的索引值。如果散列表节点中没有记录, 并且冲突表为空, 在循环队列首部开辟新的队列节点, 把节点指针填入到散列表中, 进行状态记录, 把数据包数据按序插入到数据流链表结构中;如果散列表节点中有对应记录, 则取出队列节点指针。
Step2 通过队列节点的状态标志判断每个队列节点的使用状态。如果内存守护进程正在转存该节点数据, 表示内存守护进程正在转存该节点的数据, 则需要在循环队列头新开辟队列节点缓存空间, 并与散列表建立关联;如果节点为空或者正在被写入并且没有满, 表明该队列节点可用, 按序插入数据报文, 并在分段头信息中设置相应的属性值, 如果分段秩大于等于N, 设置分段满标记, 表明已达到最大数据流分段的误差, 等待内存守护进程进行数据分段转存;
Step3 在每个数据流分段转存周期内内存守护进程从队列尾部开始转存数据流分段。根据队列节点的属性值判读节点工作状态, 同时根据转存区长度‖tail-rear‖, 判断当时网络负载情况, 动态地调整转存周期的时间间隔。
Step4 定期清理散列表, 设置一个全局回收周期, 在回收周期内没有收到数据包, 则在散列表结构中清除对应项。
通过上述相关数据结构的描述和算法分析, 可以看出弱时序性的网络数据流存储结构在保持网络数据流的属主性和时序性的双重属性的前提下, 实现动态磁盘读写调度策略。对属主性的维护通过散列表实现, 对网络数据流的时序性维护通过队列的 FIFO 特性实现, 通过循环队列的分区处理, 达到对多属主数据流存储和动态调整的磁盘读写策略。弱时序性缓存结构产生的数据流分段是相同属主的网络数据报文并且报文之间具有严格的时序性, 为数据流磁盘管理提供了合理的结构。
2.2基于磁盘的网络数据流生成树的结构描述
对于由高速缓存结构产生的数据流分段, 使用数据流生成树的多极索引结构进行存储。数据流生成树是通过改进B+树来实现的。数据流生成树分为内节点和叶节点, 内节点记录索引结构数据和子树指针数据, 叶节点记录索引结构数据和数据指针数据, 数据指针指向每个分段的存储位置。数据流生成与B+树的区别是每个节点不再有最多子树的限制, 可以根据需要任意扩展子树的数目。数据流生成树不再局限于只有每个叶节点之间有兄弟指针, 内节点之间同样具有兄弟指针, 数据流生成树的高度共有五层, 每一层具有明确的逻辑含义。
设根节点为第一层, 根节点记录在一段时间内与所有Server 的通信记录;
第二层:记录每个Server 和不同的Client 之间的通信信息;
第三层:保存每个客户与服务器完整的会话的数据信息;
第四层:保存每个会话被分成的各个数据流分段的基本信息;
第五层:每个数据流分段的基本数据信息, 此时相邻数据流分段的最大时间差为最大时间误差, 每个数据流分段秩为N。
从分析可以看出, 整个数据流生成树的内节点实际上是由多级索引构成的索引树, 索引树由上到下时序性越来越强, 但是属主性越来越弱。由于网络数据流生成树在所有的内节点之间增加兄弟指针, 如果要实现针对某个节点的动态维护操作, 则整个索引树维护起来会十分复杂, 并且有些操作对于网络数据流也失去实际意义, 因此对网络数据流生成树的操作进一步限制。数据流生成树的操作仅限于数据流分段的基于状态插入和基于时序性和属主性的检索和移出, 这样把多数的对网络数据流生成树的操作转换为在同一层次上按序操作, 在满足对于数据流分段管理的同时, 也体现了网络数据流的属主性。
· 数据流基于时序性和属主性的查询 对于网络数据流的查询, 常用查询是基于时序性或者属主性的查询:
(1) 需要按照时间检索网络数据流, 可以根据第五层节点的指针依次读取各个数据流分段;
(2) 需要检索某一个客户的完整 Session 的数据流, 可以根据第四层节点指针读取各个完整 Session;
(3) 需要选择与某个服务器通信的所有客户端数据流, 可以通过第三层节点的指针依次进行查找。
上述三个查询体现网络数据流的基本特征, 是网络数据流最基本的查询操作。
· 数据流分段基于状态的插入 数据流分段的插入过程, 也是树形结构的构造过程:
Step1 如果第一层节点为空, 则根据数据流分段的头关键字, 构造第一层关键字, 并依次初始化第二层、第三层、第四层、第五层索引节点, 分配存储单元, 把数据流写入磁盘;否则进入Step2。
Step2 如果第一层节点不空, 但是没有记录, 则在第一层节点增加一条新记录, 并初始化第二层节点, 并作为第一层节点的右子树, 把原来第二层最右节点的指针指向新增节点;依次初始化第三层、第四层、第五层节点初始化, 最终把数据流分段存储在新开辟的存储单元数据块中;否则进入Step3。
Step3 第一层节点有要插入关键字记录, 根据记录进入第二层节点, 判断是否是新客户端的数据流如果是增加记录, 依次初始化其余层次的节点, 并存储数据;否则进入Step4。
Step4 第二层节点有要插入的数据流段关键字记录, 根据记录进入第三层节点, 此时判断该数据段是否是Session 建立连接状态的数据流, 如果是, 新建一个第四层节点, 作为第二层节点的右子树, 同时把该节点作为第四层节点的最右节点, 其余步骤与第三步类似;否则进入Step5。
Step5 如果不是新建连接状态的数据流, 则在第三层节点从左到右依次寻找, 找到第一个没有结束的 Session 插入数据流分段, 如果是结束 Session 的数据流, 把整个数据流标记结束, 进入第四层节点。
Step6 在第四层节点中修改节点相关信息, 建立新的第五层节点, 兄弟节点之间建立连接, 并开辟新的数据单元存储数据流, 最后返回。
· 数据流分段的移出 数据流分段的移出首先要进行查找, 然后把查找到的数据流分段进行移出, 数据流的移出操作与B+树的删除操作相似, 相区别的是不需要调整树的结构, 并且需要保持层间与右相邻兄弟之间的连接。
3系统实现及性能分析
相关算法是在基于Linux操作系统下实现的, 把Linux部署为软件路由器, 在IP层进行网络数据流复制、存储。通过在内核空间注册动态的内核模块, 挂载到Netfilter HOOK函数上, 进行网络报文捕获、过滤, 通过netlink传到用户空间, 在用户空间实现高速缓存结构。数据流分片的转存工作是由基于共享内存的守护进程来实现, 转存时间在最大的时间误差范围内, 每个数据流分段秩为N。为了便于整个系统的工作过程的跟踪和性能分析, 配置系统Log文件和系统运行Trace文件 (如图1 所示) 。
在实验中分别考察在丢包临界条件下, 本模型对于高分组速率和比特率环境下的实时存储能力。在实验中使用本文设计分段的存储模型 (PKT_s) 与传统网络报文存储模式 (PKT_t) 进行比较, 通过实验结果可以看出, 本模型无论在高报文传输速率, 还是大流量的网络背景下都具有较好地实时存储能力 (如图2所示) 。
采用网络数据流分段存储模型, 可以有效降低网络数据流存储时产生的索引数据量, 比较结果如图3所示。尽管网络数据流分段存储模型对于传统的报文存储模式具有明显的优势, 但是仍然呈现出实际存储比率随着数据流量的增加而降低的趋势, 根本原因是由于数据流分段重组时, 具有时间误差和秩的限制, 影响磁盘读写带宽的进一步提高;并且在内存中需要维护高速缓存结构, 同时增加系统的开销。
4结论
网络数据流的属主性和时序性是网络数据流存储过程中需要保持的两个基本属性, 本文根据网络数据流基本特征设计并实现网络数据流存储的基本模型。本模型包含网络数据流高速缓存结构和数据流生成树的索引结构, 进一步提高磁盘读写带宽, 并在此基础上提出同时体现网络数据流时序性和属主性的双重属性的索引结构。仿真结果表明网络数据流存储模型在高分组率和比特率的网络环境背景下, 都具有很好的实时存储能力。网络数据流存储算法模型在开封仪表有限公司生产的智能仪表中投入运用, 每年带来经济效益达1500万元, 完全符合工业现场要求, 具有很大的实际意义和应用价值。
参考文献
[1]Choi B Y, Bhattacharyya S.Observations on Cisco sampled NetFlow[C]//Proc 2005 ACM SIGMETRICS Workshop on Large Scale Net-work Inference (LSNI 2005) .Banff, AB, Canada, 2005:18-20.
[2] Zhao Q, Kummar A, Wang J.Data streaming algorithms for accurate and efficient measurement of traffic and flow matrices[C]//Proc ACM SIGMETRICS 2005.Banff, Alberta, Canada, 2005:252-255.
[3] Canali C, Cardellini V, Lancellotti R.Content adaptation architectures based on squid proxy server[J].World Wide Web, 2006, 9 (1) :70-75.
[4]Aguilar J, Leiss E L.A coherence-replacement protocol for Web proxycache systems[J].International Journal of Computers and Applica-tions, 2006, 28 (1) :12-14.
[5] Sosa V J, Gonazlez G, Navarro L.Building a flexile Web caching system[C]//Proc of the Fourth Mexican International Conference.Morelos, Mexico, 2003:61-63.
[6]Piratla N M, Jayasumana A P, Bare A A.Reorder density (RD) :a for-mal, comprehensive metric for packet reordering[C]//Proc Fourth IF-IP-TC6 Networking Conference.Ontario, USA, 2005:82-86.
网络存储技术优缺点与发展趋势 篇5
随着不断加速的信息需求使得存储容量飞速增长，存储系统网络平台已经成为一个核心平台，同时各种应用对平台的要求也越来越高，不仅在存储容量上，还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说，存储网络平台的综合性能的优劣，将直接影响到整个系统的正常运行。因此，发展一种具有成本效益的和可管理的先进存储方式就成为必然。下面就当前的存储技术及发展趋势进行分析和探讨。信息量的飞速发展使得存储容量也飞速增长，发展一种具有成本效益和可管理和先进存储方式就成为必然。本文就几种传统的网络存储框架进行探讨，之后介绍了新的存储技术，并分析了网络存储体系结构的发展趋势。
随着不断加速的信息需求使得存储容量飞速增长，存储系统网络平台已经成为一个核心平台，同时各种应用对平台的要求也越来越高，不仅在存储容量上，还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说，存储网络平台的综合性能的优劣，将直接影响到整个系统的正常运行。因此，发展一种具有成本效益的和可管理的先进存储方式就成为必然。下面就当前的存储技术及发展趋势进行分析和探讨。
一、网络存储技术概述
所谓网络存储技术(Network Storage Technologies)，就是以互联网为载体实现数据的传输与存储，数据可以在远程的专用存储设备上，也可以是通过服务器来进行存储。网络存储技术是基于数据存储的一种通用网络术语。实际上，我们可以将存储技术分为三个阶段：①总线存储阶段；②存储网络阶段；③虚拟存储阶段。以存储网络为中心的存储是对数据存储新需求的回答。它采用面向网络的存储体系结构，使数据处理和数据存储分离；网络存储体系结构包括了网络和I/O的精华，将I/O能力扩展到网络上，特别是灵活的网络寻址能力，远距离数据传输能力，I/O高效的原性能；通过网络连接服务器和存储资源，消除了不同存储设备和服务器之间的连接障碍；提高了数据的共享性、可用性和可扩展性、管理性。
二、几种传统的网络存储架构
网络存储架构大致分为三种：直连附加存储、网络附加存储、存储区域网络。这几种网络存储方式特点各异，应用在不同的领域。下面我们来做简单的介绍并分析其中区别。
2.1 直连附加存储(DAS：Direct Attached Storage)
直接网络存储(DAS)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中，主要优点是存储容量扩展的实施简单，投入成本少，见效快。DAS主要应用于：
①服务器在地理分布上很分散，SAN或NAS在它们之间进行互连非常困难时；
②存储系统必须被直接连接到应用服务器时；
③包括许多数据库应用和应用服务器在内的应用时。
缺点：
①不能提供跨平台的文件共享功能；
②用户要备份数据和存储数据，都要占用服务器CPU的时间，降低了服务器的管理效能；
③由于各个主机之间的数据独立，数据需要逐一备份，使数据备份工作较为困难；
④随着服务器的增多，数据管理会越来越复杂；增加存储设备，扩展存储容量，需要对服务器进行重新配置，这样做容易中断单位的业务连接性，造成数据丢失。
2.2 网络附加存储(NAS：Network Attached Storage)
网络附加存储(NAS)是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。NAS中服务器与存储之间的通信使用TCP/IP协议，数据处理是“文件级”。NAS可附加大容量的存储内嵌操作系统，专门针对文件系统进行重新设计和优化以提供高效率的文件服务，降低了存储设备的成本，数据传输速率也很高。
NAS应用于电子出版、CAD、图像、教育、银行、政府、法律环境等那些对数据量有较大需求的应用中。多媒体、Internet下载以及在线数据的增长，特别是那些要求存储器能随着公司文件大小规模而增长的企业、小型公司、大型组织的部门网络，更需要这样一个简单的可扩展的方案。
缺点：
①NAS采用File I/O方式，因此当客户端数目或来自客户端的请求较多时，NAS服务器仍将成为系统的瓶颈；
②进行数据备份时需要占用LAN的带宽，造成资源浪费；
③NAS只能对单个存储(单个NAS内部)设备中的磁盘进行资源整合，目前还无法跨越不同的NAS设备，只能进行单独管理，不适合密集型大规模的数据传输。
2.3 存储区域网络(SAN：Storage Area Network)
SAN(Storage Area Network，存储区域网)，通常SAN由RAID阵列连接光纤通道(Fibre Channel)组成，SAN和服务器以及客户机的数据通信通过SCSI命令而非TCP/IP，数据处理是“块级”。
应用：
①数据共享由于存储设备的中心化，大量的文件服务器可以低成本的存取和共享信息，同时也不会使系统性能有明显下降；
②存储共享两个或多个服务器可以共享一个存储单元，这个存储单元在物理上可以被分成多个部分，而每个部分又连接在特定的服务器上；
③数据备份通过使用SAN，这些操作可以独立于原来的网络，从而能够提高操作的性能；
④灾难恢复传统方法，当灾难发生时，使用磁带实现数据恢复。通过使用SAN，可采用多种手段实现数据的自动备份，而且这种备份是热备份形式，也就是说，一旦数据出错，立即可以获得该数据的镜像内容。
三、新的网络存储技术IP—SAN
网络存储的发展产生了一种新技术IP—SANt。IP—SAN是以IP为基础的SAN存储方案，是IP存储技术应用的第三阶段，是完全的端到端的、基于IP的全球SAN存储。它充分利用了IP网络的技术成熟、性能稳定、传输距离远、安装实施简单、后期维护量少的特点，可为用户提供一个运行稳定、实施简单方便、价格低廉的大容量存储系统，是一种可共同使用SAN与NAS，并遵循各项标准的纯软件解决方案。IP—SAN可让用户同时使用GigabitEtherne SCSI与Fibre Channel，建立以IP为基础的网络存储基本架构，由于IP在局域网和广域网上的应用以及良好的技术支持，在IP网络中也可实现远距离的块级存储，以IP协议替代光纤通道协议，IP协议用于网络中实现用户和服务器连接，随着用于执行1P协议的计算机的速度的提高及G比特的以太网的出现，基于IP协议的存储网络实现方案成为SAN的更佳选择。
四、虚拟存储
所谓虚拟存储，就是把内存与外存有机的结合起来使用，从而得到一个容量很大的“内存”。以存储网络为中心的存储解决不了全部的数据存储问题，如存储资源共享、数据共享、数据融合等。不少先进存储系统的倡导者都提出，存储作为一种资源，应该像我们日常生活中的自来水和电力一样，随时可以方便的存取和使用，这就是存储公用设施模型，也是网络存储的发展目标。实现存储公用设施模型的关键就是在网络存储基础上实现统一虚拟存储系统。目前存储技术还处于存储网络阶段，虚拟存储才刚刚起步。
五、云存储
云存储是在云计算(Cloud computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。
云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。
云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。用户使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。
六、结束语
数据存储与网络传输 篇6
1研究背景
某硬件测试平台如图1所示,主要由上位机、 EZ - USB FX2、FPGA以及3片NORFLASH构成。其中,作为主控制器的FPGA选用了Xilinx Virtex - 6系列的XC6VLX130T芯片。USB芯片选用了Cypress公司的CY7C68053芯片。NORFLAH存储则选用3片容量为2 Gbit由Micron公司生产的P30系列芯片,用于大容量调制数据的存储。高速数据缓存选用3片由Samsung公司生产容量为2 Gbit的DDR3芯片,用于缓存高速并行调制数据。3片AD9910工作于并行调制模式,用于产生3通道高速调制波形。PC机运行基于C#编写的上位机。
2SLAVEFIFO的FPGA接口设计
CY7C68053外部集成 的配置灵 活的大端 点FIFO[],如图2所示,能使数据在片上和片外高速传输,其具有以下特性: 利用CY7C68053 CPU的外部数据通路,直接与外部主控逻辑连接; “块FIFO”的结构保证了USB和FIFO之间数据的瞬时传输或提交; 具有多功能接口,SLAVE FIFO接口或GPIF接口、异步或同步时钟接口、外部或内部时钟等[]。这些端点FIFO可根据数据传输带宽的需要进行不同的配置,如双缓冲、三缓冲和四缓冲等。其中,双缓冲是指一个缓冲区用于USB数据的缓冲,与此同时,外部控制器可操作同一端点的另一个缓冲区。
图3表示了CY7C68053的SLAVE FIFO接口以及与FPGA的连接示意图,其中EP2、EP4、EP6和EP8均可作为输 入或输出 端点进行 数据的传 输。其中, FLAGS为FIFO的标志引脚,用于报告FIFO的状态, 如“满”和“空”状态。SLOE、SLRD、SLWR、PKTEND、 和FIFOADR[1∶ 0]为控制引脚,分别表示FD输出使能、读端点FIFO、写端点FIFO、IN包发送控制和端点FIFO选择控制。IFCLK为时钟接口。
根据系统需求,CY7C68053的固件程序采用同步读写操作,将EP2设置为输出端点,512 Byte双倍缓冲,总线宽度16 bit; 将EP6设置为输入端点,512 Byte双倍缓冲,总线宽度16 bit; 采用内部IFCLK时钟。SLAVE FIFO的读写操作时序如图4所示。在写时序中,在SLWR有效的下一个时钟上升沿,数据锁存至SLAVE FIFO,完成数据的写入。在读时序中,SLOE有效后,SLAVE FIFO中的第一个数据被读出,此后使能SLRD依次读出SLAVE FIFO中的其他数据。为简化设计,SLOE和SLRD可同时使能,完成数据的读出。
3NORFLASH控制器的设计与实现
P30系列是Micron公司最新 一代的65纳米FLASH芯片,有64 Mbit到2 Gbit的可选存储容 量。 在本设计中,使用了P30系列中的PC28F00BP30EF芯片,存储容量2 Gbit,采用512 Byte缓冲编程模式对NORFLASH进行写入 操作,按页读取 的模式读 取NORFLASH中的数据[]。PC28F00BP30EF的主要设备控制信号如图5所示。
其中,A表示27位地址总线; DQ为16位设备数据总线; CLK、CE、ADV、OE、WE、WP和WAIT分别表示同步时钟输入、片选、地址锁存、输出使能、写使能、写保护和输出数据有效信号。PC28F00BP30EF提供了完备的命令用户接口( CUI) ,用户只需将操作命令写入CUI,由片上写状态机( WSM) 对所有的擦除和编程算法进行处理,即可对设备进行擦除以及读写操作。
表1给出了部分操作命令编码及其总线周期,其中,SRD表示状态寄存器( SR) 的数据,用于显示设备当前的忙或准备状态,以及用户操作遇到的错误信息等; N表示缓冲编程模式中缓冲器的大小,N≤512 Byte。
根据NORFLASH读写时序进行状态机设计的关键在于,对各个操作信号的保持建立时间进行有效的控制。NORFLASH的写时序如图6所示,WE#在上升沿锁存地址和数据。WE # 有效的最小保持时间为50 ns,到WE#升高,数据和地址总线需要至少50 ns的建立时间。异步页读时序如图7所示,ADV#锁存页初始地址所需的保持时间至少10 ns,地址锁存后,数据写入片内缓冲区最多需要105 ns,之后累加变化地址后4位即可依次读取16 Byte数据。
根据上文对于SLAVE FIFO和NORFLASH操作时序的描述,本文基于Verilog HDL硬件描述语言[9], 采用时序状态机实现了大容量调制数据的存储和传输,如图8所示。由于对NORFLASH的操作,需要频繁地向CUI写入命令,故将状态机中所有需要向CUI写入命令的状态复用为“WRFSH”状态,以达到简化设计和提高状态机效率的目的。同样,用于读取SR来判断设备状态的“RDSR”状态也采用了相同的设计方法。
状态机工作流程分为读和写两个进程。在读NORFLASH进程中。首先,在“RDFSH”状态中向CUI写入读阵列命令( 0XFF) ; 然后,状态机在“LATCHADDR”状态中锁存页初始地址; 最终由“OUTPUTDATA”状态输出读取数 据。在写NORFLASH进程中。首先,在 “UNLOCK”状态中对将要进行擦写的存储空间进行解锁操作,需要注意的是,此时WP#需要保持无效状态; 然后,在“ERASE ”状态中向CUI写入擦除 命令 ( 0X20) 和擦除确认命令( 0XD0) ,接下来,在“RDSR” 状态中判 断擦除是 否成功,若擦除成 功,由 “EP2STATE”状态判断SLAVE FIFO的状态标志; 最终,由“BUFFERPRO”状态和“WRBUFFER”状态配合, 将SLAVE FIFO中的数据采用缓冲编程的方式写入NORFLASH中,至此整个擦写过程结束。在擦除和缓冲编程的命令写入CUI后,NORFLASH内部状态机进行相关算法的操作,文中只需检测SR即可判断擦除或编程是否成功或失败,若失败则需根据SR的值判断失败的原因,并反馈给系统。
由于系统需要,设计将每片NORFLASH进行了存储空间的划分,每片划分为16段。因此,本文设计的控制模块除了SLAVE FIFO和NORFLASH的地址、控制和数据接口,还给顶层模块预留了段地址输入接口、 操作模式选择输入接口,方便顶层模块对NORFLASH和SLAVE FIFO之间的数据传输进行控制,如图所示, 大幅提高了系统的灵活性和可操作性。
4测试与分析
将工程文件添加至Xilinx ISE 14. 4中进行综合实现,并生成Bit文件下载至FPGA,利用在线调试工具Chip Scope进行信号的抓 取验证,其中采样时 钟采用CY7C68053输出的48 MHz时钟。本文进行了两种数据传输模式的测试: NORFLASH的写入测试,如图9所示; NORFLASH数据的读取验证,如图10所示。
在图9数据写入过程中,状态机向CUI写入0XE8和01FF后,NORFLASH进入缓冲编程模式,状态机控制SLOE( SLRD) 信号拉低,读取SLAVE FIFO中的数据,配合WE#信号,锁存地址和数据,缓冲区被写满 ( 512 Byte) 后,写入缓冲编程确认命令0XD0,NORFLASH内部状态机开始运行编程算法将512 Byte的数据写入NORFLASH中,状态机检测SR的值判断编程是否结束。如此反复,直至NORFLASH被写满。
在状态机的设计中,采用计数器对保持时间和建立时间进行控制。本设计中,WE#信号有效的保持时间、以及数据和地址到WE#信号上升沿的保持时间, 均为3个时钟周期62. 5 ns,大于NORFLASH所需的至少50 ns,从图中可看出,建立时间和保持时间均满足要求,数据被正常写入。
在图10数据读出过程中,状态机控制ADV#锁存页初始地址后,地址依次累加输出16字页数据,同时控制SLWR信号,将读出的数据写入SLAVE FIFO中。 如此反复,直至读取完NORFLASH所有地址的数据。
在异步按页读取的过程中,ADV#有效时的保持时间至少要为10 ns,才能锁存地址; 在地址锁存后,页数据在NORFLASH中被读出并缓存至内部缓冲区,该过程最长需要105 ns。从图中可看出,ADV#的保持时间显然大于10 ns,为保证设计的可靠性,在本设计的状态机中将等待页数据缓冲完毕的时间设置为6个时钟周期125 ns。从图中可看出,数据顺利读出。
从图9和图10中可看出,控制信号完 全符合SLAVE FIFO和NORFLASH对时序的要求。经过多次测试,NORFLASH的写入速度可达36. 5 MB /min,读出速度160 MB /min,传输速率完全符合系统需求。上位机将读取的数据与源数据进行比对,比对结果数据完全一致,表明状态机工作正常且稳定可靠。
5结束语
根据实际的工程需要,基于NORFLASH解决了在AD9910并行调制模式中,大容量相位、频率和幅度调制数据的存储和传输问题。通过对SLAVE FIFO和NORFLASH的介绍,基于FPGA设计了控 制SLAVE FIFO和NORFLASH数据双向传输的状态机,经过多次测试状态机工作稳定可靠。测试结果证明了该数据传输状态机的可行性,且因其用户接口简单,具有较好的可移植性,目前已应用于工程实践中。
摘要：针对在高速调制波形产生过程中大容量调制数据传输和存储的问题,提出了基于Virtex-6 FPGA采用USB设备和NORFLASH进行大容量数据传输与存储的设计方案。采用Verilog HDL硬件描述语言设计了SLAVE FIFO控制接口,以及NORFLASH擦写、读取控制器,实现了USB设备与NORFLASH之间6 Gbits的大容量数据的存储和回放验证。硬件测试结果表明,所设计的控制器工作稳定可靠,且具有较好的可移植性。
数据存储与网络传输 篇7
如今, 无线传感器网络由于其独特的优势而得到极大的发展, 尤其是在微电子、通信、网络与数据库等专业领域。运用无线传感器网络, 可以实现对研究目标的实时监测, 并利用起感知功能得到大量数据信息, 通过对这些数据加工处理, 就可以得到想要的信息资料。因而, 在整个无线传感器网络技术中, 数据的存储与访问成为最重要的内容, 也是用户最关心的问题。而对于生产厂商和研究部门来说, 如何改善无线传感器网络结构, 提高数据存储与访问的效率, 并保证数据快速和稳定的传输是最重要的目标。
2 无线传感器网络中数据存储与访问
2.1 数据存储
随着网络技术的发展, 无线传感器网络数据存储技术也得到了很大的提高, 现今已实现多种存储方式:集中式存储、本地存储、分布式存储, 同时还可以对这些存储数据进行分析。
集中式存储是所有存储中最简单的方式, 它的原理是将所有的数据信息传输到一个中心站集中管理。数据访问的时候也直接从这个中心站提取。这种存储方式的优点是流程简便, 并且中心站的能量和存储空间不受限制, 因而保存的数据也就没有时间限制。但是这种方式主要是针对于数据的存储于访问, 而无法进行数据的处理;其次是本地存储, 本地存储是指节点产生的感知数据存储在节点自身的存储器中, 而数据访问请求被路由到所有节点去获取相关数据。这种存储方式的优点是存储过程简单, 且不需要通信开销。但是节点存储能力有限, 因而对数据的保存的时间和数量就有了限制。同时, 如果节点发生故障, 则存储器的数据也就会丢失;最后是分布式存储, 分布式存储是一种以数据为中心的存储策略, 其核心思想是节点产生的感知数据不一定存储在本地, 而是利用分布式技术将数据存储在其它节点, 并采用有效的信息中介机制来协调数据存储和数据访问之间的关系, 满足用户的数据库访问请求。这种方式的数据存储是按照一定的规则存放, 用户在请求访问和查询数据的时候也是按照相应的机制。这种存储机制的优点是能够较好地吻合传感器网络本身的分布性, 而且信息中介机制能够保证数据访问请求被满足, 缺点是信息中介需要额外的代价。
2.2 数据访问
数据的访问主要是数据的查询, 无线传感器网络中数据访问方法包括集中式方法和网内处理方法。集中式方法主要是针对于集中式存储, 在中心站完成所有的查询、访问工作, 网内处理是将查询处理从中心站延伸到传感器节点, 在底层路由协议的支持下, 不同节点以不同角色承担不同任务, 相互协作地完成查询处理。网内处理方法具有数据聚合的功能, 它能将数据压缩, 从而减少通信量, 降低了能量消耗, 还有智能判别数据进行近似结果, 由于无线传感器网络中的存储能力和处理能力比不上分布式数据库, 因此在采用网内处理方法查询的时候要尽量减少能量消耗,
2.3 数据查询
无线传感器网络的数据查询方式也多种多样, 比如快照查询 (一般用来获取给定时刻指定节点的感知数据) 、连续查询 (当系统受到数据查询的请求后, 传感器网络以一定的时间间隔周期性地将查询结果以数据流的形式反馈给用户) 、事件驱动查询 (与数据库中的触发器类似) 、基于生命周期查询 (主要是针对于关心网络生命周期的用户) 、连接查询 (与其他数据表通过网络建立连接查询) 。随着无线传感器网络的不断发展, 在不同物理量的建模方式中也建立了相对应的查询模型, 常用的有限状态机模型、概率模型、关系模型。同时, 在查询过程中, 为了提高数据查询的效率, 还建立了相应的优化方案, 比如为了能够节省能量, 系统根据各种流程计算做出了一个查询计划:给不同的结点分配不同的角色以承担不同的任务来执行查询, 这样可以有效的避免各节点在大部分时间都处于侦听状态, 以此来减少通信代价。
3 结束语
无线传感器网络是一门包含了众多知识的技术, 本文只是简单的对数据存储和访问及查询作了分析, 希望起到抛砖引玉的作用。国内外对无线传感器网络也在不断的研究和改进, 以期在数据存储于访问上取得更大的成绩。随着传感器网络应用面的不断扩展, 在未来的发展中, 无线传感器网络中数据存储与访问也越来越重要, 其技术发展也将越来越先进, 无线传感器网络在我们生活中的应用也会越来越广泛, 最终实现真正的普适计算。
参考文献
[1]彭绍亮, 李姗姗, 彭宇行, 廖湘科, 肖侬.无线传感器网络中一种实时高效的数据存储和查询方法[J].通信学报, 2008, 11:128-138.
[2]李志刚, 肖侬, 褚福勇.大规模无线传感器网络中基于振荡轨迹的数据存储与发现机制[J].计算机研究与发展, 2010, 11:1911-1918.
数据存储与网络传输 篇8
随着云计算、移动计算、互联网技术的快速发展和进步,人们已经迈入大数据时代。海量数据为人们提供了强大的在线教育学习、电子商务、电子政务、金融证券等服务,提高了人们的工作、生活和学习的方便性。大数据时代,构建网络的存储系统,能够从数以亿计的服务器上搜寻用户需要的数据,具有重要的作用和意义。网络化存储系统在为大数据服务过程中,引入了许多非常重要的核心应用技术,包括数据分类、数据放置和数据迁移,以便能够实现海量数据按照人们的需求进行自动化分类,同时提高数据透明分布,并且根据系统处理服务的需求智能化实施数据迁移,提高网络化存储系统的应用效率。
1 大数据时代存储系统重要性
随着通信运营、金融证券、电子商务、物流运输等行业自动化管理系统的发展和应用,已经产生了大量的数据信息资源,促进人们进入大数据时代。尤其是近年来互联网技术的发展和普及,更是快速的推动了大数据的应用。大数据包含各种视频、图像、文字等类型数据,因此,海量的、动态增长的、分布广阔的多源异构数据的有效存储和访问已经成为阻碍大数据发展的主要问题,许多学者对大数据存储进行了研究,以便能够寻求一种适合现代大数据应用需求的存储模式。随着时间的推移,网络化存储系统被提出,该技术可以有效地满足海量数据存储需要,采用层次化存储管理思想,按照数据使用频次进行划分,将许多访问次数较低、长期不使用的数据保存在较低层次;将访问频次较高、使用较为频繁的数据保存在较高层次,并且能够根据用户访问数据的次数,动态的迁移数据,可以有效地降低海量数据访问的性能,降低数据传输时延,提高数据查询准确度,具有很高的重要性。
2 网络化存储系统应用探讨
大数据时代网络化存储系统引入了层次分级管理理念,可以将海量数据存储在数以亿计的服务器上,并且对其进行自动化分级管理,以便能够实现高效的数据访问和利用。因此,网络化存储系统在应用过程中,主要包括两个关键功能,分别是云数据管理、数据文件访问频次计算、数据迁移控制、数据访问重定向、数据监视和数据迁移模块,可以实现海量数据高效存储和访问功能。在网络化存储系统中,为了能够提高访问性能,其采用的关键技术包括数据分类、数据放置和数据迁移等,详细描述如下。
2.1 数据分类技术
数据分类可以有效定义大数据的存储访问属性,根据不同的用户需求主题,参考数据的重要程度和访问频次,可以对数据进行分类管理,实现层次分级存储,是数据迁移的基础。目前,大数据分类没有统一的标准,可以根据数据自身的原始类型,将其分为非结构化、半结构化、结构化数据;可以根据数据的实际应用环境和用途,将数据分为计算机设备运行数据、业务处理数据等;根据数据的访问顺序,将数据分为周期性访问、顺序访问和只读数据;根据数据的访问读写频次,将数据分为热点数据和非热点数据。
随着数据分类方法的研究,为了提高数据分类的精准程度和有效性,目前数据分类常用的策略包括基于知识、基于专家系统、基于案例等,数据分类实现方法可以包括静态分类、人工经验分类、动态分类等。基于人工经验分类方法需要数据操作人员熟练掌握数据关联的业务背景内容,需要长时间积累数据管理和分类经验,并且无法准确把握数据分类的合理性和准确性;静态分类是指存储系统构建完成后,预先设置数据分类主题和规则,设置完成后无法再改变,不能适应现代海量数据的多样化需求,存在较大的局限性;动态分类可以有效的满足数据分类的各种需求,不断的适应现代互联网业务需求的变化,具有很强的灵活性和适应性,并且不需要人工干预,使用数据挖掘、模式识别、机器学习、统计方法和自动控制理论等智能化数据分类,降低数据管理的复杂度。目前,基于信息论的数据挖掘方法被广泛应用于数据分类过程中,能够有效的保证数据分类的鲁棒性和准确性。
2.2 数据放置技术
智能分级存储系统中,数据放置可以采取相关的原则,将存储系统中的新添加的数据或是被迁移的数据存储在某一个特定的位置上,数据放置采用方法是否科学,直接影响智能分级存储系统的访问速度,制约数据的实时性,形成数据访问瓶颈等。在存储系统研究过程中,数据放置是一个非常常见的问题,已经得到了广泛的研究,常见的数据放置技术包括RAID、Stripe等。由于智能分级存储系统具有多种存储介质,并且互联网运行采集的数据具有实时性、多元性特点,分级存储出现了许多新的需求,放置问题变得更加复杂化,比如,数据放置的位置存在多种选择,每一种选择方案都对网络存储系统产生复杂的影响。为了解决上述问题,数据放置需要解决两个问题,一是数据放置在什么类型的存储介质上,二是数据采用放置形式,比如随机放置、文件分割放置、顺序放置等。目前,网络存储系统中数据放置的力度也发生了很大的变化,从文件的块大小考虑放置策略可以改善系统访问的效率,也可以降低系统的硬件成本。
2.3 数据迁移技术
在网络存储系统中,人们对数据的访问频次、服务质量等需求是动态变化的,因此需要使数据和存储设备实现动态匹配,相同级别或者不同级别之间的数据需要进行迁移,因此数据迁移是网络存储系统的核心技术之一。传统数据迁移是指根据软硬件环境升级的需要,将数据迁移到新的环境。在网络存储系统中,数据迁移通常包括同级迁移和异级迁移两种模式。同级迁移模式通常出现在存储系统硬件配置发生变化过程中,其主要目的是均衡各个存储设备的负载;异级迁移模式是智能分级存储系统经常发生的事件,其可以更好的优化存储系统,迁移过程中是自动化的,异级迁移过程可以是高性能存储设备向低性能存储设备迁移,也可以相反迁移。随着人们的研究和改进,数据迁移方法存在很多种,比如数据在线迁移和离线迁移。数据在线迁移实现过程复杂,但是其能够满足现代互联网动态数据需求的特点,离线迁移实现过程比较简单,但是已经无法满足动态增长、业务需求多变的现代化互联网需求。
3 结束语
数据存储与网络传输 篇9
目前,国内校园网建设如火如荼,各大高校、中小学校都建立起了自己的信息网络中心。校园网作为整个学校信息化建设的重要基础设施,它是一个高速、开放、智能的计算机信息网络平台,公共服务体系和各种基础设施建设的平台。随着校园网建设不断的发展,应用种类不断增长,应用的数据也在不断增长,校园网的数据中心的重要性日益凸显,数据存储的矛盾也日渐突出。如何保证数据中心的数据安全成为众多校园网建设中的一个严峻挑战。如何有效地存储、备份和管理这些业务系统的海量数据,并使管理达到功能完备和手段的自动化,减少人为的错误因素和设备故障所造成的业务损失。由于网络存储系统建设费用高,许多资金紧张的学校根本不想再这方面投入,也有许多学校在校园网存储系统建设中投入了大量资金,但由于技术力量不够实际效果不明显。因此本文提出设计一个符合本校校情,既实用又相对低廉的校园网数据存储方案,确保校园应用数据的安全性和可用性。
1 校园网络数据存储现状分析
多年建设的校园网络已经积累了大量的重要信息数据,已经建设完成的一些重要软件系统的数据和应用也急需备份服务的支持。安全的数据交换和共享平台的重要性凸显,它不仅要求有大容量的存储设备,而且要求数据的存储非常安全。而目前校园网的存储资源大多是各自分立的,实验室、机房有其独立的服务器和数据存储、各院系和部门也有其独立的服务器和数据存储。而他们由于不具备存储专业知识,他们对简易性的重视在高性能和高可用性之上,并对成本比较敏感,需要集成了文件服务、存储阵列功能和数据保护且需要成本低、实用的解决方案,因此大多采取手动、离线备份、服务器RAID技术以及数据容灾技术来保护数据的安全。
有些学校网络信息中心投入了大量资金建立了数据存储系统,并且具有远程容灾的功能,但这个数据存储系统基本只用来存储全校级的公共数据,未能把学校二级单位的数据整合到网络中心数据存储系统中,未真正实现全校数据存储的统一,采取单一备份策略,系统容灾多从系统运营的角度出发,企图构建支持运营系统自动切换的容灾系统,这往往需要大量的资金投入和漫长的建设周期,结果可控性差。致使投入大量资金建设的数据存储系统利用率低下,效果不理想。整个学校存在大量的服务器,各服务器利用率不到30%,造成大量资金的浪费。
由于资金比较短缺、存储专业知识的匮乏,很多学校则根本未建立数据存储,没有真正实施存储区域网络,因为存储区域网络虽然可以解决许多难题,但实施这样一个网络还涉及时间、资金和技术问题,因此许多学校主要是依靠RAID技术来保数据安全,但RAID技术是一种通用的在线存储技术。RAID能够恢复单个失败的介质,但不能保证恢复两个同时失败的介质,出现多个介质失败的情况,RAID本身也就失效了。仅采用磁盘阵列作为备份设备风险很大,依靠RAID保护全部数据,等于把鸡蛋放在一个篮子里,篮子烂掉了,鸡蛋就全碎了。
2 校园网络立体化数据存储方案设计
总体上看,目前校园网络存储方法和手段安全性低,存储策略单一,管理繁锁而且费时,可靠性低,可操作性不强,数据损坏后,恢复时间长,效果差,未能真正上的数据存储统一。针对此种现状我们将raid技术、虚拟存储技术和数据容灾技术有机融合,建立一个立体化的校园网络数据存储方案。该方案主要包括三个存储层,每个层又采取两种不同的存储方式,具体设计模型如图1所示。
该方案设计思想是构建三个层面的存储平台,为物理存储层、虚拟存储层、数据容灾备份层。在物理存储层利用raid技术实现磁盘冗余,保护硬件资源;在虚拟存储层利用虚拟化技术整个网络中的服务器磁盘聚集为一个虚拟的存储池,对磁盘统一分配、集中管理,利用虚拟平台备份技术对操作系统平台备份,利用批处理自动备份程序对应用系统关键数据进行备份;数据容灾备份层利用IP SAN存储技术实现本地存储与异地存储进行实时同步数据备份,当本地数据中心系统发生灾难时,可以使用备份容灾中心的备份数据进行恢复,确保关键数据备份的安全性。
2.1 物理存储层设计
对于学校各二级单位存储介质一般是服务器中的硬盘,服务器中的硬盘是数据的载体,但往往由于二级单位管理人员技术缺乏,常常因误删除、误格式化、误分区、误克隆、病毒破坏导致服务器中的数据丢失,甚至有时因硬盘损坏造成大面积数据丢失。因此大多数是采取离线手工备份的方式,但这种方式工作量大,而且恢复慢,并且随着数据呈跳跃性增长,备份磁盘越来越多。因此对于二级单位保护服务器数据最简单、效果又非常好的方法是采用raid技术来实现磁盘的冗余,当服务器磁盘中的数据丢失或者磁盘损坏可以快速的恢复,对于服务器中一些敏感、关键数据在实现raid技术后,再采用手工离线备份,而不是对整个磁盘中的数据进行备份,这样可以大大减少后备磁盘成本。
磁盘阵列有两种方式可以实现,那就是“软件阵列”与“硬件阵列”。软件阵列是指通过网络操作系统自身提供的磁盘管理功能将连接的普通SCSI卡上的多块硬盘配置成逻辑盘,组成阵列。
如微软的Windows NT/2000 Server/Server 2003和NetVoll的NetWare两种操作系统都可以提供软件阵列功能,其中Windows NT/2000 Server/Server2003可以提供RAID 0,RAID 1,RAID 5;NetWare操作系统可以实现RAID 1功能。软件阵列可以提供数据冗余功能,但是磁盘子系统的性能会有所降低。硬件阵列是使用专门的磁盘阵列卡来实现的,硬件阵列能够提供在线扩容、动态修改阵列级别、自动数据恢复、驱动器漫游、超高速缓冲等功能。它能提供性能、数据保护、可靠性、可用性和可管理性的解决方案。磁盘阵列卡拥有一个专门的处理器和专门的存储器,用于高速处理和高速缓冲数据。这样一来,服务器对磁盘的操作就直接通过磁盘阵列卡来进行,因此不需要大量的CPU及系统内存资源,不会降低磁盘子系统的性能。考虑到现在的非入门级服务器几乎都提供磁盘阵列卡,不管是集成在主板上或非集成的都能轻松实现阵列功能,因此在本方案中采用硬件阵列raid 5技术来实现物理层存储安全。
2.2 虚拟存储层设计
虚拟存储层的设计思想是把学校分散的服务器磁盘集中管理,统一使用。虚拟化技术是在实体主机的硬件系统和操作系统之间建立一个称为虚拟机监视器(Virtual Machine Monitor,VMM)的软件监控层,用来阻隔操作系统与硬件系统的直接通信。通过VMM的分析和转换后,再转向控制硬件系统。由于VMM对系统指令的拦截和转换的特殊作用,使得在VMM上可同时支持多个异构操作系统的运行。在此我们在每台服务器上安装VMware ESX Server,利用逻辑资源池技术,将全校所有服务器磁盘资源聚集为一个磁盘池,然后使用Virtual Center(虚拟中心)对ESX Server进行集中管理、合理分配,再将其按需动态分配到Guest OS上。使用Virtual Center(虚拟中心)创建虚拟机配置如www、FTP、Email等系统服务和分配应用软件,这些虚拟机资源随机存储到各磁盘,在物理环境不进行任何改变的情况下,完成对系统综合资料的重新部署和分配,甚至在无须中断服务的情况下,实现指定虚拟机到实体主机的安全迁移。同时,Virtual Center还可通过服务的迁移实现零中断的底层硬件和存储维护。虚拟化以较低成本让管理人员做更有效的资源调度,并获得更好且安全周密的防护。当系统发生灾难时,可以在最短的时间內迅速复原系统的运作。
为了进一步提高存储利用率,虚拟存储层设计时我们扩展了自动精减配置技术,采用了一个虚拟存储在虚拟机间按需动态流动方式。该方式将一台服务器拥有的所有存储资源都整合到一个统一的存储池中,从存储池中创建逻辑卷,作为每个虚拟化机所拥有的虚拟存储空间。基于此,虚拟存储空间可以根据需要动态地扩展;另一方面,当整体存储空间紧张时,为了响应其它虚拟化机的虚拟存储空间的扩展与创建需求,也可以收缩某一虚拟化机所拥有的虚拟存储空间,回收其一部分空闲空间;若回收了空闲空间后资源仍然紧张,则可以向网络中的邻居节点(服务器磁盘)请求共享邻居节点的空闲空间。即存储空间可以由一个空闲空间较多的虚拟化机“流”向空闲空间紧张的虚拟化机。由此,采用自动精简配置技术,更能有效地提高存储利用率,进而降低存储开支和能耗,也更有利于异地存储模式。
为了保护各虚拟机中的敏感、关键数据,本设计中我们还利用批处理制作自动复制程序,然后采用任务计划功能启动自动备份软件实现各虚拟机中敏感、关键数据自动备份到备份服务器中。
2.3 数据容灾备份设计
考虑目前大多数高校校园网业务数据增长特点以及存在多种异构操作系统,而且考虑到经费问题,IP SAN性价比更高,可节约设备成本。IP SAN基本上可以满足近期的需求,并且IP SAN基于以太网,数据的访问、备份和恢复不影响LAN的性能,在有大量数据访问时,不会大幅度降低网络性能,带宽不受数据访问的影响。鉴于IP SAN的优势,本方案数据容灾备份设计采用IP SAN网络存储技术实现数据容灾,通过IP容灾技术来保证数据的安全。数据容灾使用两个存储器,在两者之间建立复制关系,一个放在本地,另一个放在异地。本地存储器供本地备份系统使用,异地灾备存储器实时复制本地备份存储器的关键数据。二者通过IP相连,构成完整的数据容灾系统。
(1)本地备份系统确保数据安全
存储备份必须保证足够小的备份窗口,对系统运营的影响要减少到最小。恢复更需要以最快的速度完成。本地有足够的带宽和资源,能够实现高速网络备份、LANfree等快速备份恢复模式。安装在本地网络中的存储备份设备,能实现备份本地数据,以及各种备份各异构系统,确保本地网络数据的安全。
(2)异地备份系统实现数据容灾
运营数据和备份数据都在本地网络存放,显然是不够安全的,如果本地遭到灾害,所有数据都处在危险之中。关键数据必须复制到另外的备份存储器中,并且两个备份存储器分隔足够远的距离,通过充足带宽的IP网络相连。在本地介质失效后,及时从远端恢复失效的数据到本地存储器,就可实现异地数据容灾,解决介质安全问题,数据不再惧怕自然灾害。
目前,数据容灾系统建设的成本投入比较大,因此在选择容灾方案时一定要结合学校应用环境和预算等实际情况做出决定,选择适合本校的方案。
3 结束语
该立体化数据存储方案在作者学校实施以来,取得了很好的效果,主要表现在以下几个方面:
(1)本方案设计简单、可操作性强,甚至在资金比较紧张的情况下也可以实现。如raid技术一般在购买服务器可集成,虚拟技术利用VMware ESX软件价格低廉,数据容灾备份只需购买两台存储设备,甚至可以采用批处理自动复制软件实现异地备份。
(2)提高了服务器的稳定性与数据的安全性,实现了复杂的数据应用如多数据库、多用户管理、多部门关键数据的存储。
(3)基于虚拟化技术,通过整合众多异构、廉价的服务器和存储设备,构建众多的虚拟化的实例,为学校提供持续不断的应用和存储服务,不仅可以满足学校的存储需求,而且也有效地减少了学校的存储开支和能耗。
(4)存储、备份和容灾技术的充分结合,构成一体化的数据容灾备份存储系统,使用基于以太网的IP SAN技术,在不对校园网做任何改动的情况轻松架构数据容灾备份平台,能满足较长时间的在线容量增长和性能扩展,管理维护简单。
参考文献
[1]石方夏,岳凤芝.信息化建设中的RAID技术应用分析.现代电子技术.2010.
[2]张成峰,谢长生.网络存储的统一与虚拟化[J].计算机科学.2006.
[3]宋振华.虚拟化技术中的存储管理问题研究[D].中国优秀博硕士学位论文全文数据库(硕士).2010.
[4]Baird R.Mass Storage Systems,1995.Virtual storage architectureguide(VSAG).In:Proc.of the Fourteenth IEEE Symposium on11~14 Sept.1995.
[5][美]Farley M著,孙功星等译.SAN存储区域网络(第2版).机械工业出版社.2002.
数据中心存储网络架构研究 篇10
当前, 国家电网公司正在开展信息系统容灾中心的建设工作。根据规划, 将在北京、上海、西安统一建设3个集中式信息系统容灾中心, 公司各单位按就近原则接入共享, 从而形成全公司两级数据中心及3个集中式信息系统容灾中心的格局。容灾的功能将分为数据级容灾和应用级容灾2个阶段来实现。数据级阶段完成生产中心的业务数据备份, 应用级阶段实现接管生产中心应用系统功能:即生产端由于自然灾害或其他原因发生业务系统中断后, 容灾中心利用本地的备份数据接管相应业务系统, 保障公司对业务持续性的要求, 且容灾中心将来能够平滑过渡到数据中心。这就要求容灾中心的建设要立足数据级、展望应用级并考虑向数据中心过渡, 相应基础设施建设与系统实施工作要充分考虑容灾中心角色的转变。
存储技术在整个容灾中心乃至数据中心涉及的技术体系中占有重要地位。这不仅因为数据存储在上述3个阶段中处于基础性地位, 而且还是因为它必须在容灾中心演进的过程中具有可靠性、可用性和可扩展性。鉴于存储网络的重要性和上述要求, 需要了解和分析当前存储网络架构领域的技术。下面对3种存储网络技术进行介绍和对比, 通过多个维度的考量, 明确3种技术的优缺点, 从而为国内各行业容灾中心、数据中心存储网络架构设计提供借鉴。
1 存储区域网
随着经济、社会的发展, 人们对数据的请求方式越来越少地受到时间和空间的限制, 数据的增长与需求不再有很强的规律性可循。然而, 大量的独立存储仍广泛存在于企业的数据中心中, 很容易使数据分布呈现“信息孤岛”的局面, 对数据的存储、利用和分析造成很大困难。通常这些独立存储与业务系统相对应, 随着数据量的增长, 对它们的扩容也经常出现顾此失彼的现象。如果一次性扩容较大, 难免挤占其他系统的扩容预算, 如果扩容较小, 则会承受频繁扩容的压力。此类问题需要新的存储技术来解决。
存储区域网 (SAN, Storage Area Network) 是将存储设备 (诸如磁盘阵列、磁带库等) 与服务器连接起来并采用光纤接口的专用存储网络。它结构上允许服务器和任何存储磁盘阵列或磁带库相连, 并直接存储所需数据。SAN架构如图1所示。
较之传统的存储方式, SAN可以跨平台使用存储设备, 还能对存储设备实现统一管理和容量分配, 降低维护和使用的成本, 提高存储的利用率。根据美国存储专家克里斯多佛的统计, 使用独立存储方式时, 存储利用率达到50%就算比较高了, 而使用SAN架构的存储利用率通常在80%以上。更高的存储利用率意味着闲置存储设备的减少, 相应的电源能耗和制冷能耗也会降低。部署SAN的优势包括集中管控、统一交付诸如定期备份等存储服务、高效利用存储资源, 非常适用于应用的集中存储、备份和容灾。
SAN的另一大特点是文件传输与存储设备直接交互, 而传统的存储需要占用局域网 (LAN, Local Area Network) 资源, 且通过TCP/IP协议传输数据层层打包, 资源会有较大的消耗。SAN也支持IP协议, 但它针对存储数据传输的特点设计, 在需要大量、大块的数据传输时, 光纤信道 (FC, Fibre Channel) 更有优势。当客户端在LAN上请求来自服务器的数据时, 服务器将在SAN上的存储设备中检索数据。由于这种方式对数据的处理没有IP打包方面的开销, 所以能够更有效地提交数据。
采用SAN的拓扑架构示意图如图2所示。
由图2可以看到, SAN独立于LAN, 这个特点的优势已经阐述过, 然而它不可避免地带来了另外一些缺陷。因为它需要建立专属的网络, 这就增加了数据中心线缆的数量和复杂度。服务器方面, 除了连接LAN的网卡之外还需配备与SAN交换机连接的主机总线适配器 (HBA, Host Bus Adapter) 卡。它的建设成本和能耗也相应的比较高。针对这些缺陷, 以太网光纤信道 (FCo E, Fibre Channel over Ethernet) 技术应运而生。
2 FCo E技术
以太网光纤信道 (FCoE) 是INCITS T11开发的一项新标准。FCo E协议独立于以太网转发模式, 并在以太网上映射本地光纤信道。FCo E保留了所有的光纤信道结构, 保持与光纤信道相同的时延、安全性和流量管理特征, 因此可以通过循序渐进的方法向I/O端口整合的趋势演进。
数据中心既使用面向TCP/IP网络的以太网, 又使用面向存储区域网 (SAN) 的光纤信道 (FC) , 两者相互独立, 且可以并存。以太网网络通常用于满足最终用户对少量信息的需求。SAN则用于访问面向应用的I/O块, 例如在SAN上启动系统、邮件服务器、文件服务器和大型数据库等。考虑到服务器虚拟化在数据中心的逐渐普及 (例如8台虚拟机存在于一台物理主机已经比比皆是) , 需要通过光纤信道来连接这些虚拟主机。这种情况下, 系统管理程序通过光纤信道为访客操作系统提供虚拟存储资源, 并通过光纤信道网络基础设施来访问存储资源 (系统管理程序为一个虚拟化平台, 支持多个操作系统同时运行于一台主机上) 。这些服务器需要配置一对光纤信道主机总线适配器以及2个或多个网络接口卡 (NIC) 。某些高端部署会在只有2个CPU内核的高性能服务器中配置8个以太网NIC。FCo E支持将SAN和以太网流量整合到一个通用网络适配器上, 从而减少所需的适配器数量。Fo CE架构如图3所示。
理论上FC需要3种扩展, 以实现FCo E的功能:1) 把本地的FC帧封装为以太网帧;2) 以太网协议也需要改进更新, 以支持拥塞情况下的无损传输;3) 在以太网的MAC地址和FC的N_port ID之间建立映射。
由图3可知, 服务器通过聚合网络适配器 (CNA, Converged Network Adapters) 连接FCo E交换机。CNA有1个或多个以太网物理端口, 并在一张卡上同时包含了HBA和NIC的功能。虽然FCo E的封装可以通过传统N I C上的软件实现, 但CNA能够减少CPU对底层帧处理和HBA功能的压力。
FCo E能够迎合数据中心服务器虚拟化的趋势, 它支持I/O整合, 且可以为数据中心提供以下增强特性:1) 减少服务器所需的网络接口卡数量;2) 减少服务器电费预算并降低冷却要求;3) 大幅度减少需要管理的线缆数量;4) 无缝连接现有的存储网和以太网, 可继续使用现有的FC工具、安全模式和基础设施等。
3 IP-SAN技术
以上所述的SAN, 指的是采用光纤信道的存储局域网络 (FC-SAN) 。i SCSI协议出现以后, 业界把SAN分为FC-SAN和IP-SAN。i SCSI即“互联网小型计算机系统接口”, 是一种在TCP/IP上进行数据块传输的标准。i SCSI可以实现在IP网络上运行SCSI协议, 使其能够在诸如千兆以太网上进行快速的数据存取备份操作。IP-SAN和FC-SAN的区别可以用图4中的图a) 和图b) 来表示。
从图4中可以看出, 在FC-SAN架构中, 文件流存在于应用系统和文件系统之间, 文件系统和卷管理进行交互, 卷管理和存储之间进行块传送, 存储设备包含独立冗余磁盘阵列 (RAID) 和磁盘。在IP-SAN架构中, 基本的组成元素和FC-SAN是一样的, 但是应用系统和独立于服务器之外的文件系统交互文件流, 块传送因而也在存储设备内部发生, 由此可见IP-SAN降低了服务器端的复杂度。它建立在常见和稳定的工业标准上, 对IP技术熟悉的人员可以很容易接受和实施, 因而减少了聘请专业人员的成本。同时, 它还减少了网络数量, 降低了布线复杂度, 并且可以使用常规以太网交换机而不必专门采购光纤交换机, 很大程度提高了互操作性, 降低了投资。使用IP-SAN架构使得数据传播更为便捷, 可以在全球IP网络上进行以太网传输, 实际传播距离不会受到任何限制。
SAN、FCo E及IP-SAN 3种存储技术的各自特点及应用如表1所示。
4 结语