超融合存储架构（精选3篇）
超融合存储架构 篇1
自2010年7月1日国务院办公厅公布第一批三网融合试点地区(城市)名单之后,更多的城市开展了IPTV业务。IPTV即交互式网络电视,是一种利用宽带有线电视网,集互联网、多媒体、通讯等多种技术于一体,向家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。以上海文广为代表的“上海模式”和华数的“杭州模式”获得了肯定,开始向全国各地推进,与此同时广电行业由原来的内容提供到现在的内容发布、传输、运营,比电信运营商表现出了更强的兴趣。广电行业2009年至2010年存储采购需求,如下图所示:
数据来源:IDC中国存储市场季度跟踪报告(2009-2010)
随着IPTV用户数量的增加和各种新型业务的推广,数据量急剧增长,对后端集成播控平台的数据中心提出了严峻的考验。绝大多数IPTV的存储架构采用FC SAN(块级存储)+卷共享软件的方式,越来越跟不上业务发展的需求。FC SAN共享架构面临的主要问题有如下几点:
●扩展性差
●成本高昂
●FC SAN架构存储维护复杂
●卷共享软件针对海量存储的限制
随着科技的高速发展,涌现出了许多新兴技术,如虚拟化,云存储,Scale-out NAS等等。Scale-out NAS也可称之为集群NAS,集群NAS可实现容量和性能的线性增长,摆脱了传统NAS的局限性,可以应付大量非结构化数据存储的需要,特别是富媒体数字信息的增长需求。此外集群NAS有助于统一存储基础设施,它可以创建一个很大的存储基础设施,通过一个单一的视图或工具集进行管理。了解了集群NAS的这些特点,我们发现它非常适合IPTV的存储架构,以应对日益增长的海量多媒体信息,IPTV采用集群NAS存储架构的优势主要表现在如下几点:
●维护管理简易
●可轻易扩展配合业务需求
●共享架构,无需安装卷共享软件
●成本经济
目前IT市场上有许多集群NAS产品,如IBM的SONAS,HP的StorageWorks X9000,近期被EMC收购的Isilon的S和X系列产品,NetAPP Data Ontap 8存储操作系统,Panasas ActiveStor系列等。此外还有一些软件产品,可架构在多台服务器上以实现集群NAS的功能。典型的产品有IBM GPFS,SUN Lustre,Redhat GFS,Gluster等等。
据IDC统计,与2009年同期相比,2010年中国NAS市场前三个季度的平均增长率达到了27.7%。同时IDC观察到,除了IPTV业务快速增长,三网融合也推进了许多新兴业务的快速发展如手机电视,互联网电视等,这些需求海量多媒体信息的应用都会给存储厂商带来新的机会。
基于超融合架构的机房建设浅析 篇2
1 什么是超融合
要认识超融合,我们首先需要明白的是:超融合不是云桌面(虚拟化桌面)的技术替代者,而是一种底层的补充和完善。超融合是一种基于硬件之上,操作系统之下的中间件。超融合的本身还是一种软件,一个算法。从字面上来理解超融合就是只在同一台服务器中不仅具备计算(cpu),网络,存储(ram)和服务器虚拟化等资源和技术,同时还应该通过中间件(软件)实现备份,快照,重删,数据压缩等功能,而多台服务器可以通过统一的中间件进行网络聚合,进而实现模块化的无缝横向在线扩展,从而形成统一的资源池,对运算和存储资源进行统一化管理。超融合的技术核心是利用分布式文件系统(NDFS)来替代传统的SAN和NAS存储和昂贵的装用san交换机构建的存储网络。它将虚拟化计算和存储整合到了一个平台。目前业界普遍的认为:软件定义的分布式存储层和虚拟化计算是超融合架构的最小集。
2 超融合技术的历史与现状
超融合技术最早的起源是受Google、Facebook等大型都联网公司通过软件技术构建大规模数据中心的启发,结合虚拟化技术来实现可扩展的IT基础架构。
超融合技术的出现最初的目的就是为了使用廉价的x86服务器架构来构建分布式大型数据中心。其最早的理念来源于Google的DFS也就是google File System,这是Google公司为了存储海量搜索数据而设计的专用文件系统,包括最核心的多副本容错的理念。即系统的稳定性不会因为某个运算或者存储节点出现的故障而受到影响。其后随着技术的发展,软件定义的目的越发明确,从最初的操作系统和硬件之间的中间件,渐渐向底层纵向延伸,越发的与底层的硬件设备实现紧耦合。众多厂商也从最初的“软件定义存储”渐渐扩展到了基础性软硬件一体化架构的发展模式。即从最初的vsan技术,发展到了包含计算,存储,网络等基础体系架构。
目前,国外厂商以VMware、Nutanix、SMARTX为代表,引领超融合技术架构攻城略地,国内厂商也积极跟进纷纷推出了自己的超融合架构方案,一时间“超融合”技术成为了2016年度云计算领域“最火”的词汇。
3 超融合技术的优缺点
通过对比图我们可以较为清晰看出超融合与传统数据中心建设方案之间的区别:
图1为传统的数据中心建设方案,图2为超融合架构的技术方案。通过比较我们可以发现。超融合架构对比传统架构具有以下优点:
1)较低的建设费用:超融合架构的价值在于它摒弃了专用SAN和NAS存储网络,以及集中式共享存储系统,转而使用X86服务器自身的硬盘,通过软件定义组成共享存储,从而大大降低了存储的硬件成本(传统集中式存储的采购成本基本在8000~10000元每TB,专用san交换机价格数万元,而x86服务器的硬盘价格基本维持在1000元每TB)。
2)丰富的功能:超融合不仅是一个单纯的分布式存储系统。它还包括了备份软件、快照技术、重复数据删除、在线数据压缩等强大的功能。通过这些功能可以保证数据可以高效的利用存储,减低消耗,以及保证系统的稳定运行。
3)便捷的部署方式:因为超融合平台没有传统存储解放方案常见的复杂性问题。因此超融合平台部署相对简单,避免了在传统架构设计SQL基础架构师的常见问题。这种平台无需面对LUN、RAID、FC交换机、分区、掩码、注册表状态变更通知(RSCN)或复杂的存储多路径问题。
4)灵活的横向扩展能力:超融合与传统虚拟化云技术一个重要的不同点在于,超融合架构包含硬件底层的部署,系统包含运算单元。该架构可以通过增加节点的方式,进行运算能力的扩展。更加可贵的是,可以按照需求定向的扩展所需资源,如cpu运算节点,内存节点,GPU节点,存储容量节点。这极大减轻了系统建设时期的设计和预算压力。
5)更好的性能:超融合技术的分布式存储,因为利用本机的机械硬盘(扩充容量),以及配置的SSD硬盘(提高性能)。极大提高了存储的I/O性能,这是传统集中式存储所不能比拟的。
然而,我们也不能忽视超融合这个新技术可能会带来的问题,即超融合基础架构存储还没有像计算平台那样成为一种成熟技术。作为项目实施方需要评估成本、复杂性、可靠性和性能表现等多种因素以及可能会带来的最坏影响。
4 如何使用超融合技术进行机房的建设
既然超融合技术有着如此多的优点,那么我们如何将这个技术用来对传统机房进行改建呢?我们可以从两个方面来分析这个问题。
从硬件架构方面:传统的机房建设虽然开始使用代理服务器来提高水平和运算性能,但是依然没有摆脱用户个人机的传统架构。然而,单台数千元的PC机器,往往不出数年就无法满足用户的性能需求,及时性能上依然可以满足,然而硬件的损坏以及零配件的采购困难也会导致机器自然的淘汰与报废。这造成了不可避免的资源浪费。然而我们基于新的超融合云桌面技术可以从根本上解决这个问题。采用超融合组建运算和存储单元配合瘦客户端的方式(用户端不在有PC主机,而只有输入输出设备)
通过计算、存储和文档管理系统的全面融合,可提高数据中心的整体灵活性,同时还消除了部署管理的复杂性。也极大的降低投资,节约空间,节约能耗,同时分布式节点可以减少网络数据流,有效的抑制启动风暴,减少I/O延时,同时通过SSD的使用,极大的提高了存储缓存,提高了数据读取命中率。同时基于分布式架构,数据副本随机分散于多个节点中,支持自动副本修复功能,实现虚拟机、硬盘、节点等高可用性。支持Scale-out架构,可实现存储和计算同步线性扩展;可根据需求进行单节点扩展,避免叉车升级。因为服务器节点可以随桌面部署数量的增加而分批购买,也可以无缝的扩展到集群系统中,所以有效地减少初次部署成本和运维成本。
从软件架构方面:机房因为业务对象的原因,需要经常性的对用户使用系统进行维护和升级。而基于vmware虚拟化桌面技术,通过制作模板,生成虚拟机的简单性操作,就可以批量的大规模管理用户集群,极大地减低了管理员的工作量。同时,基于vmware的DRS、Vmotion技术,可以确保节点故障无感知,降低了管理人员的工作压力。
5 总结与展望
超融合存储架构 篇3
关键词：云数据中心,超融合架构,分布式存储,Server SAN
1 企业数据中心基础设施架构演进趋势
1.1 云计算趋势下, 企业数据中心建设面临的挑战
数据中心在不断进行演进过程中, 云计算、大数据、移动互联的需求日益高涨, 基于此需求的近实时或实时数据分析 (OLAP、OLTP) 等商业智能分析应用得到越来越多企业用户的关注。不论是私有云、公有云或是混合云, 都面临企业云数据中心建设的关键问题, 即如何提高数据中心的资源利用率、如何降低整体成本、优化管理、如何应对业务的快速变化、如何伸缩自如等, 这些都是数据中心建设者们需要积极思考的问题。
目前企业云数据中心的建设通常对服务器、存储、网络设备、平台及应用软件等部件独立采购, 而后再集成的方式。这在一定程度上降低了数据中心的初始购置成本。然而, 随着云数据中心规模的不断扩大, 传统的构架会使企业将在后续运维运营上消耗过多的人力物力, 进而导致IT效率低下, 终将阻碍业务发展。企业需要不断寻求改善IT环境的解决方法, 来保证业务能够稳定、敏捷地运行。可以预见, 未来企业IT希望购买到的是一个数据中心基础设施整体方案, 通过更多聚焦于IT技术对业务的响应, 为公司业务提供增值辅助, 从而将传统的成本中心转为“利润“中心。
1.2 超融合架构是企业云数据中心基础设施架构的大势所趋
为应对当下云计算、虚拟化和大数据发展的趋势, 2014年第三方权威调查机构Wikibon提出Server SAN名词, 自被提出就获得很多关注和热烈讨论。Server SAN简单来说是由多个独立的服务器直连存储组成的一个存储资源池。服务器之间实现高速互联 (如Infini Band或低延迟万兆以太网) , 通过软件进行统一管理。
Server SAN可以用标准的X86服务器、高速通用网络来实现, 省去了专用设备和网络成本。同时集合了超大规模、计算与存储融合和闪存等技术优势, 计算和存储可以共享网络, 在扩展性和易管理上亦有不俗表现。因此, Server SAN是超融合架构的产品化代表。目前超大规模互联网公司如Facebook、Google和亚马逊等已经开发了超融合Server SAN解决方案。目前已经商品化的10Gb以太网技术不仅提升了数据的传输速度, 降低延迟, 而且传输距离更远。“软件定义”这一新兴概念也逐渐被成果化, 因此通过软件作为媒介, 将普通服务器内部存储组成一个存储资源池, 既保证了存储需要的性能, 又同时通过硬件加软件的方式, 提供了良好的扩展性。由此看来, Server SAN发展所需基础都已经逐渐成熟。
2 超融合架构的关键特征
2.1 超融合架构基本概念与组成
超融合架构是一种新兴的数据中心基础设施解决方案, 从根本上将核心计算、存储和网络功能集成到单一软件解决方案或设备中。而传统集成平台和系统的自主计算、存储和网络系统是在工厂由供应商或代理商进行集成的。超融合系统将存储和计算功能集成到一个单一节点 (或节点集群, 每个节点都提供计算和存储功能) , 超融合系统都具有以下通用核心组件:
(1) 分布式存储系统:构建在虚拟化平台之上, 在服务器虚拟化基础上, 通过部署存储虚拟设备的方式, 对本地存储资源进行虚拟化, 再经集群整合成资源池, 为应用虚拟机提供存储服务。
(2) 高速网络:GE/10GE以太网交换机, 或者Infiniband光纤交换机为分布式计算和存储集群提供可扩展和高可用性的网络通道。
(3) 统一管理平台:其管理程序除了提供硬盘或SSD硬件抽象层之外, 还提供工作负载邻接、冗余、故障迁移、管理和容器化作用。
因此, 超融合架构可以基于X86服务器等低单价企业服务器为基础, 对服务器的内置硬盘资源进行虚拟化, 提供raid后的存储空间供服务器使用。服务器采用集群的方式部署在数据中心的多个机架内, 通过机架间及机架内的高速二层交换网络提供极高的连接可靠性。整个超融合集群系统, 以一个2U X86机架服务器提供40TB裸容量为例, 一个100个服务器组成的集群可以提供4PB的存储容量, 可满足90%以上企业的业务增长需求。通过批量采购的商用服务器可使基于超融合架构建设的数据中心可具有较高的性价比。
2.2 超融合架构主要特点
2.2.1 分布式、无共享架构的分布式存储系统
超融合架构分布式存储系统一般采用分布式, 无共享 (Share Nothing) 架构设计理念, 通过分布式计算算法, 将数据分散式存放在集群中的所有节点上, 不仅提升了数据可靠性, 同时大大提升了系统性能。另外, 整个分布式存储系统也无集中管理和控制节点, 每一个数据节点都有能力承担另一数据节点的功能, 节点之间通过内部高效的分布式协议完成相互协作和通信。
2.2.2 计算与存储融合
超融合架构通过将计算服务器上的存储设备组成一个高性能、高可靠的分布式存储池, 给服务器或者虚拟机上的应用提供存储空间。通常虚拟化、数据库等对I/O延迟要求高的应用将数据存放在应用所在的物理服务器上, 减少传统外置共享存储 (SAN/NAS) 带来的网络开销, 提升应用的读写性能。
2.2.3 相对低廉的采购成本
然而使用传统共享存储设备提供空间, 当存储空间不够时, 需要再次购买昂贵的专业存储设备。然而基于服务器的构架可避免购买传统的外置共享存储设备 (SAN/NAS) 和交换机, 有效的降低采购成本。当存储空间不够时, 在现有物理服务器上添加性价比较高的存储磁盘或者添加物理服务器即可有效扩展存储空间。
2.2.4 高冗余横向扩展架构
由于超融合架构采用分布式架构, 因此, 具备强大的横向扩展能力, 一般都能支持成百上千个节点的集群, 其分布式集群架构消除了传统计算和存储分离导致的低性能、不易扩展、单点故障等问题, 保证了节点扩容后无需迁移系统内所有数据, 可以快速达到负载均衡状态;增加节点的同时, 系统的IOPS、吞吐量等性能, 以及系统存储容量能够实现同步线性增长。传统计算存储分离架构解决方案中的存储系统被限制在少量的几个硬件控制器上 (中低端一般是两个主备控制器) , 而对于超融合架构系统而言, 集群中的每个节点既是计算节点, 又是存储控制器, 因此, 随着节点的增加, 性能也能线性增长。
与传统的计算存储分离架构相比, 超融合架构集群具备非常好的弹性扩展能力。在系统运行过程中, 管理员可在不中断业务的情况下新增和删除节点。当一个新节点或者一个新硬盘加入到集群中时, 超融合架构能实现集群内数据的最优化的自动重新分布和均衡。而整个数据的迁移和重新均衡的过程不会影响应用对数据的访问。因此, 新增节点和硬盘, 不仅提高的系统存储容量, 也同时提升了系统的访问性能。当管理员删除节点或者硬盘时, 系统能够在通过数据迁移实现数据在其余节点的重新分布, 以保证系统的数据均衡性。在所有数据的重新分布和均衡过程中, 系统能够保证只需尽可能少的数据进行重新分配, 而无需对系统内所有数据进行调整和迁移, 提升了系统稳定性和性能。
表1对比了超融合架构与传统计算、存储分离架构的主要优劣, 可见超融合构架相对于传统构架具有较大优势。
3 超融合架构产品与市场发展趋势
3.1 超融合架构产品发展趋势
随着软件定义数据中心概念的兴起, 软件定义存储和计算存储融合等概念和技术也成为了下一代存储的热点。近几年来, 在美国, 以色列等IT先进国家, 涌现出了一批面向企业云数据中心场景, 研发软件定义存储和超融合系统的创新公司, 比如Nutanix、Scale IO、Simplivity、Nexenta、Maxta等。与此同时, 传统虚拟化和存储大厂商也逐步看到了企业数据中心下一代基础设施系统的发展趋势, 纷纷通过收购或自研进军来布局软件定义存储和超融合架构市场, 比如EMC收购Scale IO, HP收购Left Hand, Dell收购Equallogic, Vmware自研VSAN等。这些创新公司和传统存储公司, 根据自身的发展或者产品布局需要, 推出不同形态的超融合架构产品, 比如Nutanix、Simplicivity等推出软硬结合的超融合架构一体机, 而EMC、Vmware、Nexenta等则推出纯软件的软件定义存储方案总体来说, 新型创业公司走在了超融合架构产品和市场的前列, 他们占据了超融合架构基础设施市场的大半壁江山。目前Nutanix, Simplivity、Nexenta等创新公司推出的产品最有竞争力, 占据的市场份额也最大。
国内的超融合架构基础设施发展速度总体上落后国外, 但随着融合存储系统在国外越来越受到存储大厂和大客户的关注和重视, 以及云计算、大数据、软件定义存储等新一代数据中心基础设施技术的发展, 目前国内的主流存储厂商, 比如, 华为、浪潮、曙光等公司, 开始进行新一代大规模分布式存储系统的研发, 但其主要关注点在面向数据中心的海量数据存储场景提供分布式文件或者分布式对象存储集群。比如, 华为公司的UDS对象存储系统, 中科院蓝鲸大型分布式文件存储系统等等, 这些系统一般都面向公有云应用场景。面向企业云数据中心环境的超融合软件定义系统, 国内也出现了一批新型创业公司, 比如深圳杉岩数据公司、北京志凌海纳公司等推出的超融合架构产品。
3.2 超融合架构市场发展趋势
近年来, 超融合架构系统市场发展迅猛, 对传统计算分离架构系统市场冲击很大, 特别是传统外置存储设备市场, 以至于传统存储大厂也纷纷进入超融合架构和软件定义存储市场。
据IDC最新发布的2014年全球融合存储系统分析报告, 基于软件定义存储的融合存储系统正在强势领跑全球存储软件市场, 最近一个季度的收入规模达到38亿美元, 同比增幅为39.4%。根据Reportsn Reports的预测, 全球软件定义存储市场在2015年到2019年之间的年复合增长率预计为35%, 覆盖大中小各种类型的企业。企业级级融融合合存存储储市市场场在2013年全球销售收入达2.7亿美元, 并且以5500%%左左右右的的年年复复合增长率增长。HP、Nutanix、Simplivity占据了TOP33的的市市场场份份额额。。另从国内整体市场来看, 超融合架构系统正在从大型型互互联联网网公公司司的的数据中心逐步向公有云、私有云、以及混合云等企业业云云数数据据中中心心市市场延伸和扩散。一方面, United Stack, Easy Stack等公司司利利用用OOppeenn SSttaacck开源产品中的分布式存储系统构建公有云数据中心心基基础础设设施施;;另另一一方面, 华为推出的Fusion Storage分布式存储产品已已经经在在浙浙江江电电信信云计算虚拟化平台上得到应用。华为, 天玑科技, 云和和恩恩墨墨等等公公司司纷纷纷推出基于软件定义存储的数据库一体机, 在运营商商, , 金金融融, , 政政府府等等行业中得到应用。
4 超融合架构在电力行业数据中心的应用展望
目前, 电力行业数据中心的IT基础设施还是以传统的计算与存储分离的架构为主建设, 以深圳供电局有限公司为例, 数据中心存储基础设备全部都是以传统外置存储系统SAN和小型机为主的计算、存储分离架构。已经延续了20多年的传统外置存储架构和产品, 在云计算、虚拟化和大数据应用面前, 暴露出了扩展性差, 灵活性低, 管理复杂, 成本高等致命问题。随着企业规模的壮大和业务的增多, 以及X86服务器虚拟化技术和应用的普及, 数据量快速增长, 基础硬件设施逐步采用X86服务器替代小型机的转型。因此, 如何为未来基于X86服务器和虚拟化计算平台的关键应用提供与之匹配的高可扩展性、高性能、高可靠性、和可维护性的存储平台、同时又能满足核心业务按需、灵活的交付特性, 是包括电力在内的各行业在向云计算、虚拟化和大数据等信息化建设转型和发展面临的重大挑战。
因此, 深圳供电局有限公司目前正结合自身业务场景, 积极开展超融合架构产品和技术在电力行业应用的探讨和研究, 计划摸索出一套适用于电力行业数据中心超融合平台建设规范和标准, 为不同业务层级提供不同的超融合架构解决方案提供建议和参考依据, 并且适用于云数据中心虚拟化、大数据业务应用的运行、管理、扩容等多种多样的需求。并在未来将项目的研究成果在行业内以行业标准和规范进行广泛共享和推广, 从而为公司创造更大的经济效益。
参考文献
[1]赵雷霆.运营商级云计算数据中心发展研究[J].信息安全与技术, 2011 (8) :36-39.
[2]王恩东, 张东, 亓开元.融合架构云数据中心:概念、技术与实践[J].信息通信技术, 2015 (2) :31-36.