存储区域网络SAN（共4篇）
存储区域网络SAN 篇1
1. 引言
随着社会越来越依赖网络和计算机, 需要存储大量的数据。如何才能简便、安全、快速地存储这些数据?这对存储管理过程中所涉及的容量和速度是一个严峻的挑战。因此, 数据存储成为一个重要的课题, 大部分国内外研究机构都在研究和开发专门的数据存储解决方案。网络存储成为主流的存储技术。本文重点探讨基于SAN技术的网络存储。
2. SAN技术概述
SAN (Storage Area Network) 是将许多存储设备和不同的服务器利用基于光纤通道技术 (Fiber Channel) 的交换机、集线器和电缆连接起来, 形成的“后端”网络[1]。后端网络专门负责存储数据的传输, 而所谓的前端网络则负责正常的TCP/IP传输。
在SAN中, 服务器和存储设备、以及存储设备和存储设备之间数据的存储管理信息交换都是以多点对多点的通信模式进行的。同时, SAN的后端网络的技术特点使得SAN可以快速有效地直接从一个存储设备传送数据到另一个存储设备, 而不用经过企业局域网。作为一个独立的后端存储网络, SAN具有高传输率和高可靠性的强项。由于SAN的良好表现, 成为企业级存储解决方案的重要技术。
3. 基于SAN的网络存储
3.1 基于SAN的网络互连
基于SAN网络互连结构中的部件包括主机总线适配器、网桥、路由器、光纤、集线器以及交换机等, 各部件遵循连接协议进行通信。网络互连结构配置设备如下描述:
(1) 主机总线适配器 (Host Bus Adapter, HBA) :通过它可以让主机连接到存储设备上。
(2) 网桥 (bridge) :它是连接FC、SCSI和ESCON的设备。
(3) 路由器 (route) :通过它可以在SCSI总线和FC端口之间转换数据。
(4) 集线器 (hub) :集线器在SAN中所起的作用与在传统网络中的类似。服务器可以通过一个或多个FC集线器或FC交换机来访问存储网络。集线器的特点是共享100Mbps的带宽, 端口较少, 一般是7-12个, 在同一时刻内只有两个节点可以相互通讯。它的端口体格很便宜, 非常适合小应用场合。
(5) 交换机 (switch) :逻辑上, FC交换机是SAN的中心。交换机可以和集线器结合, 组成网络互连结构, 并允许在各个端口之间以满带宽相互访问, 从而提高系统的性能价格比。
3.2 基于SAN的存储结构
要正确理解SAN, 最好还是从物理架构来定义它, 如图3-2所示:
需要注意的是, SAN的管理是集中而且高效的。传统的服务器与存储系统的连接通常难于更新或集中管理。每台服务器必须关闭才能增加和配置新的存储。相比较而言, SAN不必中断与服务器的连接即可增加存储容量, 用户可以在线添加、删除设备、动态调整存储网络, 将异构设备统一纳入SAN的管理范围。SAN的集中管理数据的特点大大降低了企业的总体拥有成本。
3.3 SAN存储的优缺点剖析
基于SAN架构的存储, 可实现服务器和存储系统之间的任意连接。通过一个安全、高速的网络将多个存储系统和服务器连接起来, 从而形成了以数据而不是以服务器为中心的网络[2]。
基于SAN架构的存储优势:一是SAN具有的20OMB/s的环路带宽, 提升了主机系统的存储带宽。由于大量的数据存在于高速的SAN存储池中, 减轻了服务器与客户机之间的通讯带宽。二是对于大数据量的访问操作我们都可以通过SAN来完成。只有少量的控制信息通过TCP/IP网络进行传输, 大大节省了TCP/IP网络带宽资源。三是SAN架构中的所有硬件设备都可以采用冗余结构, 在具体应用的实现方式上支持Active/Active和Active/standby。
基于SAN架构的存储缺点:由于SAN本身缺乏统一的标准, 不同厂商之间的存储设备各自为政, 每个厂商的存储管理软件只能管理自己的存储设备, 不能管理其他厂商的存储设备。同时由于SAN的技术普及时间较短, 集成商的技术支持的水平参差不齐, 而原厂商的维护费用又相当昂贵, 因此采用基于SAN架构的存储, 需要对存储设备是否与现有各业务系统的设备有良好的兼容性做详尽的技术调研和测试。
4. 总结
总之, SAN是一种基于存储网络的解决方案。SAN在物理布局上与普通的局域网的类似, 都是在服务器和存储设备之间通过专用的集线器、网关和交换机建立连接的。但普通的局域网以Ethernet为接口, 而SAN以FC接口和i SCSI接口等为主。可见, 通过将SAN技术应用于网络存储, 能够有效缓解网络数据量日益增大所导致的存储压力。
摘要：本文在明确网络存储重要性的基础上, 概述了SAN技术, 并详细探讨了基于SAN的网络存储, 涉及到:基于SAN的网络互连及存储结构。最后剖析了SAN网络存储的优劣。
关键词：SAN,网络存储,网络互连
参考文献
[1]法利 (美) 著, 孙功星等译.SAN存储区域网络 (第2版) .机械工业出版社, 2007.
[2]谢长生, 傅湘林等.一种基于iSCSI的SAN的研究与实现.计算机研究与发展, 2008, 第40卷第5期.
基于SAN的网络存储系统的研究 篇2
1 传统数据存储存在的问题
1.1 存储空间得不到合理利用
所有的数据存储以服务器上的磁盘空间为主,或者通过后端连接着SCSI阵列(称为DAS系统)。对于这种数据存储方式,在整个主机系统里形成了多个所谓的数据孤岛,存储内容无法共享,存储空间无法合理利用,有些应用服务器由于应用数据少而留着很大的存储空间处于空闲状态,而又有很多应用服务器的数据量相当大,这种存储资源的不合理利用,浪费了很多宝贵的存储资源,提高了用户的整体拥有成本[4,5]。
1.2 存储空间无法满足数据的增长
存储空间主要依赖于本机的硬盘,而每台主机能够挂接的硬盘毕竟有限,随着业务的发展,需要的存储资源越来越大,在未来业务发展后,信息量必然陡增,仅仅依靠本机的存储空间显然是力不从心了。况且,每一次增加硬盘,都会中断业务的运行,增加服务器的负载,同时数据的分散,导致对数据的管理变得异常复杂,大大加重了管理员的负担。
1.3 存储架构无法满足业务的发展
存储架构主要是本地硬盘或DAS(Direct Access Storage)。任何硬盘、连接线等部件的故障,都会中断应用的I/O,对于用户来说,业务的中断所带来的损失不仅仅直接影响经济效益,而且对于用户的名誉也是一种打击,造成负面影响。这就要求我们建立一种全冗余的,高可靠的、高效的、先进的基础存储架构来保障数据的安全性,保证业务的连续性。
1.4 整个存储架构扩展性差
所谓的可扩展性,是需要在保护现有投资的情况下,通过极小的成本、不影响业务的前提下而达到客户的扩展要求。而我们的现状,最简单的扩容,或许不仅是买几块硬盘的事了,可能需要添加服务器设备、直连存储设备(DAS),甚至要迁移系统。而这些扩容根本称不上是扩展,真正的扩容应该是在保证业务连续性的前提下,通过添加硬件设备(如硬盘)就可以达到扩容要求的方案。
2 基于SAN的网络存储系统
2.1 SAN技术
如何解决传统数据存储存在的问题,实现数据的集中管理,网络的发展提供了基于网络的存储方案,出现了网络存储技术及其产品,如SAN。SAN不是一种产品,而是一种独立于服务器网络的专门网络,是基于光纤通道的、面向数据块的存储。SAN是由专用的交换机和网关建立起的与服务器和磁盘阵列之间的直接连接的子网,这一子网上的存储空间可由主网上(如Ethernet、ATM、FDDI)的每一系统所共享。这种网络在连接上可以使用光纤,通过光纤通道协议来传输数据。光纤通道协议具有极高的可靠性、很好的性能、超长距离支持能力以及良好的扩展性,因而SAN作为专用于存储的子网,独立于网络服务器,不占用网络服务器运算处理的网络带宽[3]。
SAN支持远距离通信,并允许存储设备真正与服务器相隔离,使存储成为可由所有服务器共享的资源。SAN也允许各个存储子系统,如磁盘阵列和磁带库,无需通过专用的中间服务器即可互相协作。SAN将是企业存储数据的场所,在服务器调用这些数据之前,所有的数据都驻留在SAN上,仅当服务器调用这些数据时,SAN才会转化为客户机网络。
SAN的优点是:①管理上的方便性,集中式管理软件允许远程配置、监管和无人值守运行;②可扩展性,容量可扩展以符合网络需求,在不影响LAN性能的情况下充分发挥存储硬件的功能;③容错能力、高可靠性和高用性,SAN就绪的磁盘阵列、磁带库具备可热插拔的冗余部件、磁介质、电源和冷却系统以确保可靠性;④配置的灵活性,具备长达数公里距离的远程功能以及灵活的网络部件,基于光纤通道的SAN可以根据要求进行配置;⑤支持异构服务器,UNIX、NT和Net Ware服务器可同时连接;能够有效地减少总体拥有成本(TCO),保护用户的有效投资。
2.2 方案的设计
我们选择EMC公司的CX3-40存储阵列和2台光纤交换机。如图1所示,构建一个基础的SAN网络信息平台,为整个架构的扩展,备份的实施以及容灾系统的建立打好良好的基础。每台服务器配置了2块光纤通道卡,实现从服务器到存储之间的双通道冗余,保证了存储系统无单点故障,保证了数据访问的高可靠性。每块HBA卡通过一根光纤线连接光纤交换机上,同时再把CX3-40的控制器也连接到光纤交换机,这样就建立了服务器到存储系统的数据访问链路。CX3-40优秀的性能和可靠性是我们数据安全和数据完整的有力保障。
在所有服务器的操作系统中,安装了EMC专利技术所独有的通道管理软件Power Path,通过该软件操作系统可以把来自冗余路径中的存储空间进行管理整合。在操作系统里,我们只看到整合好以后的磁盘设备名,然后可以进行正常的分区格式化使用。而在系统后台Power Path软件将对所有的该磁盘的I/O操作进行多通道的负载均衡,充分利用2块光纤通道卡和2台光纤交换机以及双控制器的CX3-40的性能,数据传输能力可以达到8GB。而万一当冗余结构中的任何一个部件出现故障和问题,比如光纤通道卡、光纤线、交换、存储控制器,Power Path软件将自动进行通道切换,保证数据传输如终可用,整个过程对于操作系统和应用程序来说是透明不可见的。
在CX3-40存储阵列上,有许多保护数据的技术和策略措施。CX3-40采用全冗余的高可靠性架构,CX3-40配备有两个电源,冗余的风扇,两个阵列控制器,每个控制器都有两个光纤接口,在磁盘上放置有用来检验数据完整性的校验数据,同时对磁盘做RAID5来保证数据存储的安全性,通过这些措施,可以有效地保证存放在阵列上数据的安全和完整,整个存储设备从主机接入端到后端扩展端不存在任何的单点故障,保证了数据的高可用性。而优化的存储操作系统保证了整个IO的高性能性。
所有的磁盘做成一个RAID5的磁盘组,然后在这个磁盘组划分磁盘空间LUN。通过CX3-40集成的NAVISPHERE软件分配给不同的服务器使用,保证不同的服务器可以有效地访问自己的存储空间,而不受其他服务器的影响。首次考虑的CX3-40全部的4T存储,全部是全光纤硬盘,所以在数据的分层存储方面,只需要把4T划分成若干LUN就可以了,对于近期数据和远期数据可以同时存放在本存储系统中。
2.3 方案的优势
该方案以SAN存储架构来整合数据,从而实现医院的统一数据存储平台,并作为将来业务持续发展的基础数据业务平台。整个架构解决了传统的数据存储的所有问题。在资源的合理利用上,所有的存储空间都在EMC存储阵列上,我们可以通过管理软件按应用需求划分;在可扩展性上,未来若需要扩容,我们只要通过增加硬盘,就可以达到扩容的要求,而整个扩容过程不会中断业务,不会停机,保证了业务的连续性。而未来,我们若需要加入新的应用的话,只需在新加入的主机上安装HBA卡,即可介入存储区域网,即可享受到EMC阵列带来的高可靠性、高性能的存储空间;在可靠性上,全冗余的架构,双重数据保障以及Power Path软件都保证了数据的安全性,整个架构不存在单点故障,任何的单点失效,不会影响业务的运行;在业务连续性上,我们可利用EMC的Snap View软件,这是EMC的卷拷贝软件,我们可对任何的生产卷作快照或克隆,若生产卷真的发生故障,通过克隆卷的反向同步过程,在秒级恢复数据,保证了业务的连续性;在高性能上,EMC阵列拥有全球领先的高性能可以满足整个应用对存储的要求。
数据容灾可通过远程复制软件EMC的Mirror View软件通过光纤实现数据的远程容灾,保障了数据对灾难性事件的抵御能力。为了防止用户数据逻辑错误的发生和可恢复,用户可以在原有的SAN基础上进行SAN备份的规划。SAN备份(也叫LAN Free备份)的最大优势在于所有的备份数据流全在SAN网络中传输,不仅解决了网络备份的速度慢的最大弱点,而且解放了备份恢复时对以太网资源的占用,备份和恢复不占用以太网络资源,也就不会对应用系统造成影响。
摘要：传统数据存储以服务器上的磁盘空间为主,或者后端连接着共享SCSI阵列,存在严重不足。我院采用SAN(Storage Area Network)为核心的智能化网络存储系统,存储、整合数据,使网络存储系统具有良好的可用性、可扩充性、可维护性。从而实现医院的统一数据存储平台,保障医院网络业务的高效、正常运行。
关键词：SAN,网络存储系统,服务器,光纤通道
参考文献
[1]罗京全,黄锋.网络存储方案在医疗信息管理中的应用[J].医疗设备信,2004,19(3):26-27.
[2]孙凯,赵志强.应用在PACS上的网络存储设备[J].医疗设备信息,2001,16(7):22.
[3]王维江.网络应用方案与实例精讲[M].北京:人民邮电出版社,2003:109-119
[4]徐浩,等.WORM存储技术及其在医院中的应用[J].医疗设备信息,2006(8):25-27.
存储区域网络SAN 篇3
关键词：网络存储,光纤通道,SAN,容灾备份
数字化校园网建设不仅契合信息技术与现代高等职业教育教学的发展趋势,而且也是高职高专教育教学模式创新、教学管理质量提升以及对外服务范围拓展的体现[1]。我院信息中心建设采用先进的FC-SAN光纤存储网络架构,能够确保数字化校园网服务的持续性,同时也保证了系统数据的可靠性和安全性[2,3]。
利用SAN不仅可以提供大容量的存储数据,地域上可以分散,缓解了大量数据传输对于局域网的影响[4]。SAN的主要思路是将局域网上因存储而引起的流量转移到主要由存储设备组成的SAN网络上,使得数据的访问、备份和恢复操作不影响局域网的性能,在有大量数据访问时,不会大幅度降低网络性能。SAN能够解决与网络存储备份有关的问题,它可以提供高达8GBps的高性能数据管道和集中管理的共享存储设备。
1FC-SAN简介
FC-SAN在链路中使用光纤介质建立专用光纤通道,解决传输信道电磁干扰,实现远距离的I/O通道连接。FC-SAN高效的光纤通道协议基于硬件实现,连接到主机上的光纤交换机以及HBA卡均由高可靠性、高性能的ASIC芯片构成,基于硬件的高效数据处理过程完全不耗费主机处理资源。FC-SAN是一种利用光纤通道技术将存储设备、连接设备和接口设备等集成在一个高速网络中的技术[5]。其中SAN本身就是一个存储网络, 承担了数据存储任务,FC-SAN采用双网设计,使得SAN网络与以太网络相隔离,使数据存储与网络应用服务分开,实现存储网络的数据流不会占用校园网带宽资源的目的。
FC-SAN允许存储设备与服务器隔离,而所有服务器又能共享数据存储系统中的资源,任意服务器可以连接到任何存储阵列,完成异地远程存储,此外服务器还可以直接存取所需的数据[6]。FC-SAN能够提供丰富的接口(光纤通道和i SCSI)功能允许各个存储子系统(如磁盘阵列)互相协作,无需通过专用较为复杂的中间服务器,其所支持的远距离通信技术,成为系统容灾备份策略的重要形式之一,被广泛地应用于金融、电力等数据量大,数据安全性要求很高的行业。
SAN允许用户能够对备份作业进行集中式的管理,从而使管理变得更为简便,备份资源的利用也更高。如果集中备份无法实现,SAN解决方案还能够集中管理分布式数据备份。这种灵活性可对已有的系统实现更好的管理,并可在将来需要时对系统进行扩展。
SAN架构是将存储系统和以太网络相互连接起来,以太网络中多台服务器可以同时访问后端的数据存储系统,能够实现存储网络与业务网络分离[7]。SAN网络架构能够实现数据集中管理,扩展性好,存储硬件的更换以及后端存储系统的扩展不会影响到以太网业务数据正常的运行;SAN系统可用性高,容错能力强,数据备份及系统恢复简单可实现,适用于存储数据量较大的海量数据存储环境中。SAN网络架构成本相对较高、 系统也较为复杂[8]。
2项目方案设计
本课题主要对校园网信息中心机房数据存储系统进行了深入的研究,拟采用FC-SAN存储架构对数字化校园网数据统一存储、集中管理;建立开放的服务平台,方便数字化校园网软件和硬件系统的扩展;通过多种系统备份的策略如同步备份和异步备份、冷备份和热备份、本地备份和远程备份确保校园网数据资源的完整性和安全性;采用光纤通道和i SCSI协议等多种选进的技术实现数据传输的高带宽、低延迟。学院网络信息中心业务系统整体结构如图1所示。
FC-SAN网络存储系统结构满足前端用户快速灵活数据访问的要求,后端存储系统中的构成是:所有服务器均可通过HBA卡连接到光纤光换机上,光纤光换机再连接至后端的SAN存储系统。考虑系统中就引入了3个故障点,分别是服务器的HBA卡、光纤交换机和SAN存储系统。我院信息中心存储系统采用冗余设计,每台服务器配置两块光纤通道卡,每块光纤通道卡分别连接到互为冗余的FC光纤交换机上。光纤交换机作为SAN的核心部件,采用双冗余配置,提供了必要的安全性与稳定性。同时,FC-SAN后端存储网络允许用户快速将数据传输到存储系统,具有良好的兼容能力,可以支持各种开放的系统平台,也方便日后存储系统的升级,我院拟建设的FC-SAN存储网络是一个中等规模、全冗余存储备份的网络系统,FC-SAN存储网络系统拓扑结构图如图2所示。
面对大规模并发访问,无论是从外接用户数量来说,还是从传输性能和稳定性来说,FC-SAN具有较强的适应性。FC-SAN网络系统的核心部件以及相关的所有链路均可采用支持带电热插拔技术的双冗余设计,如存储子系统的冗余控制器、 冗余电源等;链路可采用多路径冗余或者负载均衡。可在线完全非中断应用的情况下对现有的FC-SAN网络进行扩展,如增加新的服务器、增加新的存储空间、更换硬盘等,完全不影响已有系统的性能。
FC-SAN存储网络由光纤交换机、安装在服务器上的HBA卡和SAN存储系统组成,所有的业务及数据都经过FC光纤交换机转发,光纤交换机采用冗余结构设置,可以避免其单点故障而使整个后端存储系统瘫痪。每台业务服务器通过HBA卡与光纤交换机连接,服务器配置2张HBA卡,分别与两台光纤交换机连接,FC-SAN存储网络系统结构如图2所示。备份系统采用备份服务器与其中任一台光纤交换机连接,备份系统拟采用备份服务器存储或者再接入一台备份磁盘阵列系统。备份的存储系统可以通过光纤放置在本地或者异地,实现整个信息中心的容灾策略。
3FC-SAN关键技术
本题课组对FC-SAN存储系统涉及的关键技术进行了研究,主要有FC光纤通道技术、i SCSI和虚拟化技术等。
光纤通道进一步扩展了网络带宽,与I/O通道技术相结合, 形成统一、集成的网络体系,实现i SCSI协议封装,使用光纤可以连接到几十公里以外的存储系统,为业务系统容灾备份提供了一种切实可行的方式。光纤通道为存储网络创建串行高速的数据信道,实现两个端口之间的逻辑双向服务功能,将局域网络和通道通信有机集成起来,实现存储区域网络SAN的高带宽、低延迟需求。其传输的速率目前主要有4Gbps和8Gbps。
i SCSI运行TCP/IP协议栈,是一种基于存储网络的Internet协议。SCSI命令通过i SCSI封装,再加上TCP/IP协议包头,能够实现以太网上数据传输。i SCSI协议可以利用现有的IP网络设施及技术,构建网络,大大降低成本,也降低使用i SCSI新技术所面临的技术风险。i SCSI技术作为一种网络存储的解决方案,可以建立在局域网、广域网或Internet上,实现数据传输和数据存储功能。到目前为止,i SCSI技术已经成为推动存储区域网SAN技术快速发展的关键技术之一[9]。
虚拟存储(Storage Virtualization)将多个存储介质模块通过虚拟化技术,集中统一管理,为用户提供大容量、高数据传输性能的存储系统,其目的是实现物理存储实体与存储逻辑表示相分离。存储网络SAN可以实现网络级的虚拟化,其存储空间可以跨越多个异构的磁盘阵列。SAN网络级虚拟化存储可以使不同类型的存储子系统整合成集中管理的存储池,在存储池中建立虚卷,再将虚卷设置成相应的读写权限分配给网络服务器,使SAN存储资源得到充分利用,降低成本,同时实现集中统一的管理。SAN网络虚拟化如图3所示。
FC-SAN网络存储架构还包括数据库技术、磁盘阵列技术以系统容灾备份技术等。浙江安防学院信息中心网络架构采用FC-SAN具有技术先进性、系统可靠性、数据安全性,系统集成度高,管理更方便,成本更低廉。
4FC-SAN网络架构的优势
FC-SAN网络架构具有高带宽、低延迟、高可靠性等特点, 被广泛地应用于企事业单位信息中心建设项目中。我院校园网信息化建设采用FC-SAN网络架构具有如下技术优势。
1)双机热备确保数据服务可持续性
图书馆文献管理系统和教务管理系统在数字化校园建设中具有举足轻重的作用,每个系统的后台数据库系统均分配两台刀片服务器。每台服务器硬盘均设置为RAID1磁盘冗余阵列,每个系统的两台刀片服务器再做成双机热备模式,确保后台数据库系统稳定,可持续地运行。
2)虚拟化技术确保系统资源高效利用
虚拟化技术是系统高效运行的保障措施之一。我院各类WEB服务器发布的网页,如学工在线、图书馆和教务信息服务网站,学院的主页及各二级学院的主页。信息中心分配4台刀片服务器,每台服务器均分配两颗8核Intel至强E7CPU、 128MB内存。4台物理服务器虚拟化成10台WEB服务器。确保信息中心可靠运行的同时,也极大地提高了刀片服务器运行效率。
3)光纤交换机双冗余设计确保系统高效运行
光纤通道技术是SAN互连的精髓,为存储网络用户提供高速高可靠性以及稳定安全的信道传输。我院信息中心与SAN存储网络光纤通道的传输速率高达8Gbps,数据的请求和发送的延迟降至最低,光纤通道转换所产生的延时仅有数微秒,不会对以太网服务器的运行。以太网服务器与SAN存储网络系统是通过安装在服务器上的HBA卡和光纤交换机相连接。我院信息中心采用双链路冗余设计,两台光纤交换机通过心跳线彼此在线实时侦测,当主交换机宕机时,备份交换机自动升级为主交换机,接管所有的任务。主交换机权限漂移的时间为数秒,可使整个系统持续可靠地运行。
4)数字存储系统确保数据安全性
存储系统第一期工程配置了24块SAS硬盘,每块硬盘均支持带电热插拔技术。图书馆文献管理系统和教务系统的后台数据库存储分别分配6块硬盘,这6块硬盘均做成RAID5,然后再分配两块硬盘作为后援磁盘,如果其中的某一块硬盘出现故障时,可将后援磁盘加载进来,不会影响系统的正常运行。存储系统分配4块硬盘备份数字化校园中的10台WEB服务器的数据;剩下的6块硬盘分配给学院的固定资金产管理系统、人事管理系统和校园一卡通等服务器。
存储系统按校园网数据业务范围固定分配存储空间的方式共享资源,该种方式的最大优点是可以实现故障隔离,缺点是磁盘利用效率不高。我院建校初期,数据量不是很大的情况下,按不同的系统分别存储数据的方式更方便数据的管理,数据安全性更有保障。
5)统一的网管平台简化系统管理的复杂性
统一的网管平台一般都是基于SNMP协议基础上所做的二次开发,我院信息中心采用HP公司提供统一的网管平台,能够实时监控服务器、存储系统以及中间件系统;备份和管理数据库系统;系统日志管理及故障报警等。简化了大量的网络管理操作,方便整个FC-SAN的网络管理及系统维护等工作。
5结束语
存储区域网络SAN 篇4
1 视频编辑网络系统存储设备的需求特点
视频编辑网络系统对存储设备有其特殊要求, 我们首先通过我台非编网络的系统需要对与存储有关的参数进行分析:
(1) 网络中工作站数量共45台, 其中收录工作站6台, 编辑工作站39台。
(2) 网络总共收录工作站为单视频流、大洋3000工作站为2层视频流、大洋5000工作站为4层视频流。
(3) 节目素材采用高低质量双码率编辑方式, 其中高质量视频文件的码率为25Mb/s, 低质量视频文件的码率为800kb/s。
1.1 存储系统带宽分析
由于节目编辑时, 不可能所有的工作站的编辑的节目全部都是由4层实时视频组成, 因此总带宽不能按所有工作站都是4层实时编辑来计算。考虑到4层的画面在节目中的时长, 所有工作站同时工作时, 按25%的工作站做4层编辑来计算。43台工作站同时工作时所占用的带宽如表1所示。
由表1可知, 当45台工作站同时工作时, 整个系统所需要的总带宽为2387.5/8=298Mb/s, 考虑到系统要有8 0%的带宽冗余, 那么存储系统应该至少能够提供373Mb/s的带宽。
1.2 存储系统容量分析
编辑工作站将1小时节目上载到存储系统时, 高低视频文件所占用的容量为:
因此1小时节目需要11.29GB的存储空间。收录按照140小时的容量设计, 需要的存储空间为140×11.2=1.54TB, 节目部门按照每个编辑人员在网上的素材保存总时长5个小时, 129个人员来设计, 5×11.2×129=7.22TB, 则需要的总存储空间为8.76TB。考虑到存储空间要有20%的冗余量, 则存储系统总共要有10.5TB的有效可用容量。
通过以上计算, 我们知道视频编辑网络系统中的存储设备要有以下特性要求:
(1) 大容量:
视频编辑的数据量非常大, 相应对存储设备的容量要求也是以TB来计算, 就要求存储系统的容量很大。
(2) 大带宽:
系统总的带宽需求较大, 并且视频编辑工作有长时间、码流恒定的特点, 这就要求存储系统要有很大的恒定带宽, 只有具有足够的带宽, 才能满足上下载和节目实时编辑的需要。并且, 带宽越大, 能支持的工作站数量才会越多, 以往用SANergy等管理软件对带宽进行的测试值是1秒中内的平均值, 只有参考价值, 多视频工作站的压力测试更加具有实际意义。
(3) 可扩展性:
存储的扩展性方面我们主要考虑容量的增加, 以及带宽的增加, 至少容量增加的同时带宽不能下降。
(4) 易维护性:
主要考虑系统的复杂程度, 以及管理的方便性。
(5) 安全性:
主要考虑系统的冗余设备, 以及网络的安全措施。
2 传统SAN的技术弱点
SAN技术就是利用通用光纤设备将通用的存储设备连成一个专用的存储数据网络, 并利用专用的软件来实现诸如大容量分级存储、数据容灾备份、虚拟存储和数据整合以及数据高可用等不同的存储需求。
SAN技术大大提高了存储技术的应用和发展, 目前已成为存储技术的主流。但是随着数据量几何级的增长和SAN应用规模的迅速扩大, 现有的SAN技术的缺点也暴露无遗。在许多大规模SAN存储系统中, 由于有着大数据流并发读取需求, 不仅需要多用户事务处理环境要求快速I/O支持实时访问, 而且还对强大的计算能力有特别的要求。
传统SAN存在着很多技术瓶颈 (图1) , 当存在大数据流并发存储的需求时, 相对拥挤fabric (指在SAN中, 连接服务器和工作站到存储设备的硬件设备) 的访问会造成许多交换时间的延迟和许多端口的资源争夺。另一方面通过主机Striping (指在多个存储单元的情况下, 将一个大文件进行分割, 存储到每个存储单元中去, 从而提高整个存储体的读写带宽) 会消耗CPU的大量性能, 造成性能相应的下降;而每个存储设备的I/O的狭窄, 更是造成性能下降的主要原因。此外繁多的组件, 会产生复杂的安装调试过程和昂贵的拥有成本和维护费用。
3 S2A系列磁盘阵列
S2A系列磁盘阵列使用了以下独特的技术和工具, 成为视频编辑网络应用的较佳选择。
3.1 并行存储技术
S2A没有采用传统的光纤通道交换机的交叉点交换机制, 它所采用的高度并行端口技术 (HPPT) 消除了交换机制所带来的不可避免的时间延迟, 能够提供持续不变的可以充满端口带宽的数据吞吐量。S2A控制器内部的四个主机通道之间采用虚拟的并行DMA体系结构, 通过提供并行处理和并行数据读写的途径, 使得在多主机的存储区域网络环境中具有非常高的不受多主机环境影响的使用性能。此外, 它还在磁盘通道之间采用了并行处理的RAID技术, 从而使系统的校验计算和磁盘的访问可以并发地进行, 由此提供了在SAN环境中极为重要的单存储池性能。
3.2 PowerLUNs和DirectRAID技术
S2A的PowerLUNs技术可使单个物理LUN的大小最大可以达到32TB, 使单个LUN的性能可以达到读1260MB/s、写1400MB/s (在S2A内部) , 比传统的单LUN性能平均提高了15倍, 即使成千上万个进程同时访问也不会出现性能的下降 (图2) 。而DirectRAID技术的采用, 则突破了实现传统RAID的单数据流和单校验磁盘的限制。S2A调整和优化了传统RAID提供的数据保护, 对所有可利用的驱动器进行条带化, 所有的校验盘同时运行提供了不引起性能衰减的无缝的数据保护。
3.3 虚拟端口技术
端口虚拟化使读写存储的数据传输不用考虑数据流通过的具体途径。虚拟端口技术使通过一个端口做出的数据请求, 可以通过其他端口来提供服务。虚拟端口技术通过存储虚拟化来得到应用, S 2 A通过管理主机的WorldWide Names和存储系统的vLUN (虚拟的逻辑单元) 之间的连接来保证硬件上的独立性, 使应用程序和他们的数据之间的连接完全虚拟化。
虚拟端口技术使S 2 A本身成为一个功能强大的S A N设备, 使用零时间延迟的八个并行的SAN主机端口将SAN的稳定工作的规模提高了八倍以上, 因为影响SAN网络稳定性的关键因素是整个网络环境中数据访问的时间延迟, 所以零时间延迟的SAN端口技术和极高的多主机SAN环境的存储实际性能提供了具有高稳定性和大规模的第二代SAN的存储方式。
3.4 强大的计算能力
强大计算能力是保证高性能SAN的关键, 与传统SAN的设计思路不同, S2A通过超强的计算能力实现了没有性能下降的数据实时校验检查、高速磁盘重建功能等高级存储功能。
传统SAN在提供正常的实际使用性能的同时, 实时后台校验检查会消耗大量CPU性能, 同正常的数据访问争夺用于校验计算的CPU资源, 使存储系统的使用性能大大降低, 影响应用的正常运转。S2A存储系统具有对应用性能没有影响的实时后台校验检查功能, 在使用这一功能时, S2A的实际使用性能不会有任何下降。S2A通过超过20个以上处理器的并行处理能力和高达7200MB/s的校验引擎解决了CPU资源争夺问题。这正是S2A在跑满主机端口的性能 (1600MB/s) 的同时还能有足够的CPU资源 (5600MB/s) 去做高速的实时后台校验检查和高速的磁盘数据重建。
S2A提供的146GB磁盘数据重建功能, 可以在不影响性能的前提下, 在3小时以内完成任务, 大大降低了存储系统处于不安全状态下的时间。这样快的数据重建完全来自于S2A的2 0个以上处理器的并行处理能力和高达7200MB/s的校验引擎。而对于没有采用多CPU并行的传统SAN, 数据重建的时间至少在几十小时之上, 同时在此期间的实际使用性能只有正常性能的30%, 而且在此期间如果再有一块磁盘故障将导致数据的彻底丢失。就会出现40～50小时以上数据重建时间, 由此对存储性能产生巨大的影响。这一存储技术难题。S2A8000通过多CPU并行的存储技术和并行RAID技术能够彻底的解决。当然, 我们在网络使用的高峰期, 要调降数据重建的速度, 减少系统内外同时对计算和带宽的高度集中使用要求, 有利于系统安全。
3.5 S2A8500具有强大的扩展能力
单台S 2 A 8 5 0 0的容量可以从1 4 4 G B连续扩展到160TB;磁盘机柜可以从5个16盘位机柜扩展到70个16盘位机柜;磁盘个数可以从9块磁盘扩展到可连接1120个磁盘。它的每个端口可以满足200MB/S的带宽寻求, 只要容量和端口的开通数同步增加, 所有的扩展都不会对性能产生影响, 而其它RAID系统在一个磁盘通道的磁盘个数超过一定数量时系统性能会明显下降。
3.6 S2A8500具有真正意义上的全冗余结构
S2A8500的控制器、每个控制器的电源、每个控制器的风扇、每个控制器内的缓存、磁盘扩展机柜、每个磁盘扩展机柜的电源、每个磁盘扩展机柜的风扇、主机通道、磁盘通道均为冗余结构。而其它所谓的全冗余RAID系统的控制器机柜和磁盘机柜均为单故障点, 任何一个机柜坏掉均会导致数据丢失。虽然机柜的平均无故障时间相对与其它部件来说较长, 但在容量较大需要很多个磁盘扩展柜时, 故障几率便大大提高。
3.7 S2A设备具有内置于硬件中的功能强大的资源管理套件
S2A设备的资源管理套件具有集中的、安全的和强大的管理能力, 它通过存储区域网络基础结构设备提供五项不同的功能:
(1) 虚拟逻辑单元管理器 (LUN Manager) :虚拟逻辑单元管理器提供存储区域网络的存储资源管理, 任意分配所需要的存储资源。在连续工作的重要的业务环境里是没有合适的时间去做系统配置的, 任何停机时间都会带来巨大损失, 因此要尽量减少停机时间。使用虚拟逻辑单元管理器, 可以在需要时能够在数秒中的短时间内通过一个简单的命令行接口来任意分配存储。因为不需要重新启动主机, 系统管理员可以通过虚拟逻辑单元管理器在任意时间增加、删除和分配存储, 存储被配置完成以后可以立即使用。
(2) 配置管理器 (Configuration Manager) :主要功能有:监控和配置主机口状态, 配置、增加、删除和监控所连接的存储资源, 对不同种类的存储区域网络进行统一的管理, 显示和改变存储阵列的行 (Tier) 映射。
(3) 安全管理器 (Security Administrator) :S2A设备的资源管理套件中的安全管理器提供贯穿整个存储区域网络的安全性管理, 安全管理器提供了存储区域网络中存储的读写权限控制。安全管理器提供的存储安全性使系统管理员能够建立和管理一个复杂的使用各种类型服务器和存储设备的存储区域网络, 系统管理员可以安心的将存储分配给主机, 保证只有被授权的主机才能进行数据读写。安全管理器模块的主要功能如下:在用户和存储逻辑单元之间建立相应的访问许可, 对S2A设备的登录注册进行审查跟踪, 对未经授权的登录注册尝试提供报警, 将内部的逻辑单元认证映射到外部逻辑单元认证, 所有的安全性动作都被安全的记录在案。
(4) 性能管理器 (Performance Manager) :使一个存储区域网络拥有最佳的性能, 是你能够得到最佳技术上的投资回报的一个实质部分。如果不能使性能最优化将导致不必要的硬件购买和资金投入, 减少应用效力和增加管理花费。存储区域网络的性能管理是一个意义重大的挑战, 目前在其它系统中可以用到的工具不能提供完成智能分析所需要的信息, 而这些信息是用来做一个完善的结论所必需的, 事实证明基于SNMP的管理工具不能解决性能管理问题, 由于与S N M P适应的管理信息基础 (MIB) 不能提供智能存储区域网络管理所需要的性能数据。S2A设备资源管理器套件中的性能管理器模块为系统管理员提供了与性能相关的数据的广泛排列, 这些数据可以用来优化数据广播和反映存储区域网络的特征。性能管理器模块提供了丰富的性能管理能力, 这些管理能力在以前是通过使用一系列软件工具和昂贵而复杂的光纤通道分析器作为补充来实现的。性能管理器模块的主要功能如下:对主机接口、S2A设备接口、磁盘通道和缓存提供广泛的监控和事件报告能力, 对任何部分都可以进行集中管理, 在不同种类的存储区域网络中进行统一的管理, 管理和监控预读和缓存的效率、数据请求的分布、端口的处理和传输速率, 进行I/O请求响应的基于读写模式的优化。S2A设备提供了一套存储区域网络管理工具, 这个管理工具使用户能够集中管理存储和网络资源。存储区域网络的管理信息在本地和远程都可以访问到。结合在S2A设备中的这些因素帮助使用者减少了总的拥有成本, 并增加了他们的存储区域网络的工作效率。
4 总结
S2A8500的并行存储技术、PowerLUNs和DirectRAID技术、虚拟端口技术和强大的计算能力使得系统在各种情况下都可以获得稳定足够的带宽, 使用2年多来, 从没有因为带宽不够引起的系统故障。S2A8500本身属于光纤通道存储设备, 只与网络的FC交换机连接, 本身没有操作系统, 远程的黑客即使能入侵到网站的内网, 也无法直接访问到核心存储设备, 更无法破坏核心存储设备, 加上S2A8500的真正意义上的全冗余结构、资源管理套件中的安全管理器的使用, 使得S2A8500在硬件架构、权限管理和防入侵等方面都有很高的安全保障。