海量存储技术（共7篇）
海量存储技术 篇1
摘要：在存储技术不断发展和转变的过程中, 新的网络存储需求逐渐被提出, 本文通过分析RAID、DAS、NAS、SAN存储方式的特点, 对规划现代化网络存储系统、优化选择理想的存储模式, 应考虑到的问题及必须坚持的原则, 对如何选择存储系统, 提出了理论分析, 并对磁盘阵列的存储架构、扩充能力、响应速度, 以及设备的扩充、异构系统兼容、网络传输速率乃至存储系统的可扩充性与扩充容量进行了实践探讨。
关键词：数据,存储技术,存储系统
0 引言
面对着日益繁忙的网络应用需求和爆炸性增长的数据信息增量, 以服务器为中心采用磁盘阵列技术的存储架构已经受到扩充能力、存储资源共享、响应速度等问题的严重挑战, 在数据增长, 以及数据内容、格式和应用服务多样化的情况下, 不仅涉及设备的扩充、异构系统的兼容、网络传输的速率、系统的全天候响应乃至存储系统的可扩充性与扩充容量对先期投资的保护等问题交织在一起, 其局限性不容忽视, 存储问题已经成为现代网络存储发展的关键问题之一, 数据的存储、使用和保护已经成为影响网络存储正常工作秩序和网络服务乃至生存发展的至关重要的问题。
随着需求的高速增长, 新的数据存储技术应运而生, 目前可供各类网络采用的存储技术包容了单一磁盘存储数据、磁带备份和磁盘阵列存储数据以及日趋成熟的DAS、NAS、SAN等网络存储系统, 为网络海量存储信息存储提供了新的解决方案, 并成为今后网络存储模式的发展方向。
1 网络数据存储技术进展
1.1 数据存储的技术基础———磁盘阵列技术
RAID (Redundant Array of Inexpensive Disks, 廉价磁盘冗余阵列) RAID是由多块磁盘构成的冗余阵列, 它是通过磁盘阵列与数据条块化方法相结合, 以提高数据可用性的一种结构, 根据RAID采用的方法不同, 可以将其分为0-5六个级别, 常用的有0、1、3、5四种。RAID技术是形成DAS、NAS、SAN的共同基础。RAID子系统将用户数据和应用分布在多个硬盘上提供容错, 提高了数据的可用性, 也提高了I/O传输, 多硬盘并行数据存取可提高系统性能, 从而可使多个硬盘同时处理单一传输请求。RAID技术是一种快速、大容量和容错分布合理的磁盘阵列, 优点是适用大数据量的操作, 也适用于各种事务处理, 随着在线的全文数据库日益增多, 单个硬盘已完全不能满足数字化图书馆在线存储容量的需要, 因此RAID技术在图书馆的应用日益广泛。
1.2 网络数据存储的三种技术架构
1.2.1 DAS存储
与内嵌式存储系统不同, 直接存储系统 (Direct Attached Storage, DAS) 采用独立的外接式存储设备并通过标准接口技术与服务器连接。将对存储器件的读写操作从应用服务器中分离出来以及加上高速接口技术从一定程度上提高了总体存取时间。而且存储设备可以和多个服务器连接, 如果其中一个服务器出现故障, 数据仍可通过其他服务器来存取数据。这种连接方式主要应用于单机或两台主机的集群环境中, 主要优点是存储容量扩展的实施简单, 投入成本少、见效快。
DAS适用于以下几种情况: (1) 服务器在地理分布上很分散通过SAN或NAS在它们之间进行互连非常困难时; (2) 存储系统必须被直接连接到应用服务器, 如某些数据库使用的“原始分区”上时; (3) 包括许多数据库应用和应用服务器在内的应用, 它们需要直接连接到存储器上。当服务器在地理上比较分散很难通过远程连接进行互连时, 或传输速率并不很高的网络系统, 直接连接存储是比较好的解决方案, 甚至可能是唯一的解决方案, 但是由于DAS存储没有网络结构, 存在许多缺点:一方面该技术不具备共享性, 每种客户机类型都需要一个服务器, 从而增加了存储管理和维护的难度;另一方面, 当存储容量增加时, 扩容变得十分困难, 而且当服务器发生故障时, 数据也难以获取。因此, 难以满足现今的存储要求。
1.2.2 NAS存储
NAS (Network Attached Storage, NAS) 是一种将分布、独立的数据整合为大型、集中化管理的数据中心, 以便于对不同主机和应用服务器进行访问的技术。NAS被定义为一种特殊的专用数据存储服务器, 包括存储器件 (例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质) 和内嵌系统软件, 可提供跨平台文件共享功能。NAS通常在一个LAN上占有自己的节点, 无需应用服务器的干预, 允许用户在网络上存取数据, 在这种配置中, NAS集中管理和处理网络上的所有数据, 将负载从应用或企业服务器上卸载下来, 有效降低总拥有成本, 保护用户投资。
NAS采用以太网和SCSI的即插即用存储技术将存储设备通过标准的网络拓扑结构, 连接到一群应用服务器上。存储设备实际上是一个与应用平台无关的服务器或一组专门用于存储的服务器群, 不承担应用服务, 通过网络接口与网络连接, 实现与服务器间共享数据。NAS本身能够支持多种协议 (如NFS、CIFS、FTP、HTTP等) , 能够支持各种操作系统。
NAS由于其较好的可扩展性、可访问性、低价位、安装简单、易于管理等优点, 广泛应用于电子出版、CAD、图像、教育、银行、政府、法律环境等对数据量有较大需求的应用中。多媒体、Internet下载以及在线数据的增长, 特别是那些要求存储器能随着公司文件大小规模而增长的企业、小型公司、大型组织的部门网络, 更需要这样一个简单的可扩展的方案。
1.2.3 SAN存储
存储区域网络 (SAN--Storage Area Network) 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用SAN的接入点。SAN是一种特殊的高速网络, 连接网络服务器和诸如大磁盘阵列或备份磁带库的存储设备, SAN置于LAN之下, 而不涉及LAN。利用SAN, 不仅可以提供大容量的存储数据, 而且地域上可以分散, 并缓解了大量数据传输对于局域网的影响。SAN的结构允许任何服务器连接到任何存储阵列, 不管数据置放在哪里, 服务器都可直接存取所需的数据。
SAN的应用主要可以归纳为下面集中应用:构造群集环境, 利用存储局域网可以很方便地通过光纤通道把各种服务器、存储设备连接在一起构成一个具有高性能、较好的数据可用性、可扩展的群集环境。在实际应用中, SAN也存在着一些不足: (1) 设备的互操作性较差。 (2) 构建和维护。 (3) 异构环境下的文件共享方面。 (4) 连接距离限制在10km左右等。
2 新的网络存储技术
2.1 NAS网关技术
NAS网关经由外置的交换设备, 连接到存储阵列上—无论是交换设备还是磁盘阵列, 通常都是采用光纤通道接口—正因为如此, NAS网关可以访问SAN上连接的多个存储阵列中的存储资源。它使得IP连接的客户机可以以文件的方式访问SAN上的块级存储, 并通过标准的文件共享协议 (如NFS和CIFS) 处理来自客户机的请求。当网关收到客户机请求后, 便将该请求转换为向存储阵列发出的块数据请求。存储阵列处理这个请求, 并将处理结果发回给网关。然后网关将这个块信息转换为文件数据, 再将它发给客户机。对于终端用户而言, 整个过程是无缝和透明的。NAS网关技术使得管理人员能够将分散的NAS filers整合在一起, 增强了系统的灵活性与可伸缩性, 为企业升级文件系统、管理后端的存储阵列提供了方便。
2.2 IP-SAN技术
网络存储的发展产生了一种新技术IP-SAN。IP-SAN是以IP为基础的SAN存储方案, 是一种可共同使用SAN与NAS, 并遵循各项标准的纯软件解决方案。IP-SAN可让用户同时使用GigabitEthernet SCSI与Fibre Channel, 建立以IP为基础的网络存储基本架构, 由于IP在局域网和广域网上的应用以及良好的技术支持, 在IP网络中也可实现远距离的块级存储, 以IP协议替代光纤通道协议, IP协议用于网络中实现用户和服务器连接, 随着用于执行IP协议的计算机的速度的提高及G比特的以太网的出现, 基于IP协议的存储网络实现方案成为SAN的更佳选择。IP-SAN不仅成本低, 而且可以解决FC的传播距离有限、互操作性较差等问题。
3 结束语
数据的重要性越来越得到人们的广泛认同。未来网络的核心将是数据, 网络化存储正是数据存储的一个发展方向。当前网络存储技术还在不断的快速发展, SAN和NAS的融合、统一虚拟存储技术是未来发展的两个趋势。
参考文献
[1]付长冬.小型微型计算机系统[J].网络存储体系结构的发展和研究, 2004 (4) :486-487.
[2]刘波.NAS与SAN在数字化图书馆的应用[J].现代图书情报技术, 2004 (.6) .
[3]范涛.网络存储技术的研究与应用[J].福建电脑, 2008 (.6) .
海量存储技术 篇2
随着计算机技术、网络技术和数据库技术的快速发展,智能的、自动化的数据采集、存储技术,已经成为许多人研究的对象,智能网络安全可靠的运行,需要动态采集数据信息,实时地针对智能网络运行数据进行查询和监控,实现高效数据传输和共享。但是,智能网络数量众多,分布范围广泛,面对海量的、动态的、分布式的多源异构网络数据, 传统存储模式已经无法满足实时性可靠性的需求。因此,寻求一种适合现代海量网络数据存储的模型,已经成为许多学者研究的热点。海量数据存储系统中,许多数据长期不用,部分数据高频次使用比如最新采集的数据在一段时间内会被经常性地访问随着时间的推移, 该部分数据访问频率将会大大地下降。因此,针对海量数据采用智能分级存储系统,可以有效地缩短数据访问和传输时延, 提高数据的查询准确度,保证网络数据存储的安全性和可靠性,确保网络数据能够更好地为人们提供服务。
2 智能分级存储系统
海量网络数据智能分级存储系统可以采用直连式存储DAS或网络连接存储NAS构建分级存储。DAS存储设备可以使用光缆直连网络数据服务器,用户的读写请求可以直接发送到相关的网络存储设备上,能够有效支撑多存储设备的操作系统均可以采取DAS进行智能分级存储。NAS通常应用于数据共享过程中,能够基于网络实现文件级锁定,为智能分级存储系统提供高级的并发访问保护功能,实现异构环境共享数据文件。
海量网络数据智能分级存储系统的各个存储硬件设备使用NAS或DAS方式连接在一起,存储网络可以将用户的读写请求发送给关联的存储设备,存储设备完成数据操作,并且将结果反馈给请求程序。另外,智能分级存储系统根据文件的活跃程度,可以实现不同级别的数据在各个存储设备之间的自动化迁移。
3 智能分级存储关键技术
智能分级存储系统可以实现海量网络数据的自动化、分层化管理,实现数据的高效访问和存取,提高存储系统的资源利用率。智能分级存储系统的关键技术包括数据分类、数据放置和数据迁移等,这些技术可以有效地保证智能分级存储系统的访问有效性、存储可靠性和数据的准确性。
3.1 数据分类技术
数据分类可以定义海量网络数据的访问属性,根据不同的用户逻辑业务主题,参考数据的重要程度,对海量数据进行分类,实现智能分级存储,其是数据迁移的基础。
目前,网络数据分类没有统一的标准,可以根据网络数据的实际应用环境和用途,将数据分为硬件系统运行数据、软件系统运营数据等;可以根据数据自身的原始类型,将其分为非结构化、半结构化、结构化数据;根据数据的访问读写频次,将数据分为热点数据和非热点数据;根据数据的访问顺序,将数据分为周期性访问、顺序访问和只读数据。随着数据分类方法的研究,为了提高数据分类的精准程度和有效性,目前数据分类常用的策略包括基于知识、基于专家系统、基于案例等,数据分类实现方法可以包括静态分类、人工经验分类、动态分类等。基于人工经验分类方法需要数据操作人员熟练掌握网络运营数据内容,需要长时间积累数据管理和分类经验,因而一定程度上无法准确把握数据分类的合理性和准确性;静态分类是指存储系统构建完成后,预先设置数据分类主题和规则,设置完成后无法再改变,不能适应现代电力运营数据的多样化需求,存在较大的局限性;动态分类可以有效满足数据分类的各种需求,不断地适应业务需求的变化, 具有很强的灵活性和适应性,并且不需要人工干预,使用数据挖掘、模式识别、机器学习、统计方法和自动控制理论等智能化数据分类,降低数据管理的复杂度。
3.2 数据放置技术
海量网络数据智能分级存储系统中,网络数据放置可以采取相关的原则,将存储系统中新添加的数据或是被迁移的数据存储在某一个特定的位置上。网络数据放置采用方法是否科学,直接影响智能分级存储系统的访问速度,制约网络数据的实时性,形成网络数据访问瓶颈等。在智能分级存储系统研究过程中,网络数据放置是一个非常常见的问题,已经得到了广泛的研究,常见的数据放置技术包括RAID、Stripe等。
由于海量网络数据智能分级存储系统具有多种存储介质,并且网络数据具有实时性、多元性特点,智能分级存储出现了许多新的需求, 放置问题变得更加复杂化,比如数据放置的位置存在多种选择,每一种选择方案都对智能分级存储系统产生复杂的影响。为了解决上述问题,数据放置需要解决两个问题:一是数据放置在什么类型的存储介质上;二是数据采用放置形式,比如随机放置、文件分割放置、顺序放置等。目前,海量网络数据智能分级存储系统中数据放置的力度也发生了很大的变化,本文从块级别进行考虑,使用元数据属性,从文件块大小考虑放置策略, 既改善了系统访问的效率也降低了系统的硬件成本。
3.3 数据迁移技术
在海量网络数据智能分级存储系统中,网络数据的访问频次、服务质量等需求是动态变化的,需要使网络数据和存储设备实现动态匹配,相同级别或者不同级别之间的网络数据需要进行迁移,因此网络数据迁移是智能分级存储系统的核心技术之一。传统网络数据迁移是指根据软硬件环境升级的需要,将网络数据迁移到新的环境。在智能分级存储系统中,网络数据迁移通常包括同级迁移和异级迁移两种模式。同级迁移模式通常出现在存储系统硬件配置发生变化过程中,其主要目的是均衡各个存储设备的负载;异级迁移模式是智能分级存储系统经常发生的事件, 其可以更好地优化存储系统,迁移过程中是自动化的,异级迁移过程可以是高性能存储设备向低性能存储设备迁移,也可以相反迁移。
网络数据迁移方法包括离线迁移和在线迁移,离线迁移实现简单,效率较低;在线迁移实现复杂,但是其适用于复杂业务处理,因此本文智能存储系统采用在线迁移,合理制定数据迁移计划和实施流程,降低数据迁移对带宽、CPU等资源占用率, 并且有效提高数据访问综合性能。
4 结束语
海量存储技术 篇3
在国内, 随着社会信息化进程的不断深入, 传统行业以及新兴行业如互联网、电子商务、网络多媒体、网络游戏等的发展对存储系统的需求增加;国家和各部委推动与实施的系列重大工程, 如电子政务、平安城市工程、各级备份和容灾中心、医疗数据存储、下一代广播电视网 (NGB) 等, 也进一步推动了存储产业的迅速发展。虽然目前学术界和产业界都已对TB级的数据存储有了相对完善的解决方案, 但随着数据持续高速增长, PB级数据的存储需求已迫在眉睫。无论是在生物信息、核能、航空航天、武器装备等科学研究和工业领域, 还是在电子商务、教育、媒体、游戏、金融、医疗设备等服务领域, 日益增长的海量数据要求具有极强的扩展性、更高性能、更易管理的存储解决方案, 这些问题已经成为各个领域和社会信息基础设施的巨大挑战性问题。
随着越来越多的信息被数据化, 尤其伴随着互联网的发展, 数据呈爆炸式增长。从存储服务的发展趋势来看, 用户一方面对数据存储量的需求越来越大, 另一方面对数据的有效管理也提出了更高的要求。首先, 存储容量的急剧膨胀, 从而对于存储提出了更大的需求;其次是伴随数据持续时间的增加, 数据的多样化、地理上的分散性、对重要数据的保护等等都对数据管理提出了极高的要求。
随着高性能计算、数字图书馆、电子商务、多媒体传输等应用的快速发展, 数据从GB、TB到PB量级海量急速增长。浪潮自主研发的新一代AS3000海量存储系统面向金融电信、勘探勘测、空天信息、生物工程、气象、高性能计算、能源等海量数据业务应用的广大客户, 可充分满足大中型企业对高性能、高可扩展性的要求。新一代AS3000是基于分布式文件系统的集群存储系统, 通过全局命名空间技术, 客户可以将激增的数据分布在横向扩展的控制器节点上, 这样一来, 用户仿佛搭载了一台高速动车组列车, 在数据扩展的同时可以享受到更快的IO和带宽性能, 新一代AS3000系统采用快照技术和多副本方式解决用户安全性问题。
作为国内最早从事存储技术研究和产品开发的企业, 浪潮积极发挥国内存储产业的龙头作用, 并先后服务于11届全运会、16届广州亚运会、中国资源卫星应用中心、国家超算中心等重大工程的数据存储系统。
海量存储技术 篇4
随着省级变电站视频联网的推进和变电站高清视频技术的应用,视频存储在电力视频监控系统中变的越来越重要,存储的信息量也越来越大。监控视频存储系统可以更好地发挥变电站安全保障作用,值班人员可以能够更准确分析变电站异常状况并进行报警。事故追溯是变电站监控系统的重要功能,因此图像存储是视频监控系统非常重要的一个环节。
视频存储根据存储的画面质量不同对容量需求差别很大,随着画面质量的提升、监控路数的增加,对存储容量的要求会成倍增加。视频存储需要能够满足不间断的数据读写,数据流量大,但访问请求数量不高。目前视频监控数据保存周期短,一般要求为一个月,主要采取自动覆盖的方式。对于一些事故录像要求能长期保存,以便能进行事后分析,为事故预防打下基础。以720p为标准,每小时录像需要的硬盘容量约为4~8 Gbyte,如果要保存1个月,9路监控大约要21~42 Tbyte的容量,与传统的CIF格式相比,存储容量增加近10倍。因此为了使系统能够更好地运行,发挥更大的作用,视频监控系统对系统存储提出了更高的要求。
1 变电站图像监控存储系统的现状
变电站视频监控系统包括变电站子站和监控中心主站。在变电站安装子站系统,主要负责视频信息和报警信息的采集、编码与传输,采用DVR进行编码的子站还具有存储的功能,可进行当地录像存储。主站负责接收子站的图像信息和报警信息并显示,并能实现对子站的控制,有的主站设有存储服务器可以对变电站的信息进行存储。以上是传统的基于CIF或D1分辨力的显示和存储基本模式。根据在多个省的调研,大多数变电站视频监控系统采用分布式存储模式,监控中心很少安装专门的存储服务器。对于新建的基于720p分辨力的变电站视频监控系统在变电站本地都设有专用的存储服务器,在监控中心也安装有存储服务器。目前的存储基本是采用直接存储的方式,都是在服务器上连接几个磁盘,采用点对点的磁盘系统,存储的可扩展性和存储性能很难提高。DVR使用IDE硬盘,没有相应的数据保护机制,一旦硬盘损坏,将造成数据丢失。
随着高清视频监控系统的建设,由数字监控取代传统技术产生出的许多数字监控的新功能正在逐渐成为主流技术。原数字化监控的核心设备DVR逐渐减少,开始被以视频服务器结合IP SAN为核心的监控系统所替代。
2 SAN存储系统
SAN即存储区域网络(Storage Area Network),由存储设备和网络设备构成。它是一种新存储连接拓扑结构,主要用于代替现有的系统和存储系统之间的SCSI/O连接。SAN是一种将数据由数据处理系统传输到数据存储系统的方法。SAN的通信都在一个与应用网络隔离的单独的网络上完成,可以被用来集中和共享存储资源。它和以太网有类似的架构,由服务器、HBA卡、集线器、交换机和存储装置所组成。SAN可分为FC-SAN和IP-SAN,针对视频监控系统对存储的需求,这两种存储框架有各自的特点。
FC-SAN采用光纤通道技术,拥有自己的协议层。光纤通道支持3种拓扑方式:点对点方式,FC-AL方式和FC-SW方式。其中FC-SW即交换式光纤通道连接方式,最为灵活,但需要配备支持交换架构的交换模块或FC交换机。目前的主流FC产品的带宽可达4 Gbit/s,光纤磁盘高性能为FC磁盘阵列提供了存储速度基础。FC-SAN一般要单独组网,不会受到已有IP网络上的不安全因素影响,通过Zoning机制可以对SAN进行分区管理,避免了服务器和存储之间的非法访问,因此FC网络安全系数比较高。FCSAN的高性能对应的是它的成本较高,光纤阵列、光纤磁盘、光纤交换设备和光纤HBA卡等价格都比较高,也相应增加了专业维护成本。
IPSAN采用iSCSI通信协议,SCSI协议被封装于IP包中在LAN/WAN中进行传输,支持数据库应用所需的基于块的存储,iSCSI是基于块的存储。由于通过以太网进行传输,用户可以利用现有的以太网设施来部署iSCSI存储网络,这种部署方式不需要更改用户的网络体系,从而大大降低了部署成本。这种模式不但可以应用在局域网中,也可以跨过路由设备在广域网中实现,从而大大扩展了iSCSI存储网络的部署范围。这种模式的存储系统可以直接在现有的网络系统中进行组建,可以直接使用交换机来连接存储设备,因此iSCSI存储系统具有很高的扩展性,可以广泛应用到中低端的存储应用中。
表1显示的是FC-SAN、IP-SAN的一些性能比较。针对视频监控用户的需求和数据存储应用特点,IP-SAN架构是比较合适的。
3 海量存储技术在变电站图像监控系统的应用方案
现在各省市公司正在进行变电站视频监控系统的联网,按相关要求220 kV及以上电压等级的变电站视频都需要接入省级指挥中心。各部门间统一协调、统一管理的需求正越来越明显,大监控、全局监控的建设逐渐成为电力行业构建新一代监控网络的必然要求。省级变电站视频监控系统建成后,将是分布式、网络化的大型监控平台。系统通过网络连接了子站(变电站)、主站(地市供电公司视频监控中心和省电力公司视频监控中心),为三级架构。
3.1变电站视频监控系统现有的存储方式
3.1.1变电站前端存储
变电站前端存储是在视频监控系统的前端设备进行存储,由站端的远程视频单元(RVU)设备进行监控图像的本地录制和保存。对于前端存储,由于一个变电站安装的监控摄像机数量不多,大部分都在16路以内,存储时间一般在30天左右,所以对存储容量要求不高。用户既可以通过直接登录单个RVU进行录像资料的点播回放,也可以在统一监控平台进行对前端录像资料进行集中的检索和回放。
变电站前端存储具有几个优势:一是可以通过分布式的存储来减轻集控站或地市监控中心集中存储带来的容量压力;二是可以有效缓解集中存储带来的网络流量压力,保证实时视频信息的传输;三是由于图像直接在当地存储,在网络发生故障时仍然可以保存现场的图像信息,存储安全性较高。
3.1.2监控中心存储
在变电站视频监控系统中,有的采取监控中心集中存储的方式。站端设备采集监控点图像信息并编码压缩处理成数字码流,然后通过网络传送到监控中心管理平台,由监控中心管理平台将数据分发给相应的存储服务器进行集中存储。
有些大型变电站视频监控联网系统采用多级分布的中心存储方式,即建立主、分监控中心进行存储。以一个省级的电力视频监控联网系统为例,在省电力公司建立一级存储,在各个地市公司建立市级的存储中心,这样既可降低一个中心点集中存储带来的存储容量和网络流量的压力,同时也提升了系统的可靠性。
使用多级中心存储具有以下几个方面优势:1)检索和调用录像资源更为方便;2)存储内容的完整性更容易保证,对重要的视频信息可以在不同级别的存储中心都进行存储,这样不会因为某个前端设备故障而导致重要内容的丢失;3)有利于制定多样化的存储策略,以满足不同用户的需求,节省资源;4)运行维护更加方便。
3.1.3混合型存储
对于视频监控网络复杂、存储安全性和可靠性要求高的系统,可以采用既有集中存储也有前端存储的建设模式,这样的存储系统兼具二者的优势,提高了系统的安全可靠性,但建设和管理成本也相应增加。
对于大规模的变电站视频联网监控系统,比如全省电力视频联网系统,通常采用多级监控中心体系,每个级别的监控中心管理其辖区内的监控资源并进行存储。省市公司都可以对录像资源进行查询、下载,省级监控中心统一管理所有的视频资源和录像文件。这样的存储系统,以分布式存储作为基础,同时在省级监控中心设置网络存储服务器。短期的数据临时存放在变电站端和地市监控中心的网络存储服务器内,长期重要数据比如事故录像或反事故演习资料等上传到省级监控中心的网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中心的网络存储服务器,也实时传输到省级监控中心的网络存储服务器中作为备份。
3.1.4变电站视频监控系统海量存储解决方案
目前省级变电站视频监控系统采用混合型存储的模式,在变电站端通过硬盘录像机进行录像存储,变电站一般采用移动视频侦测录像或采取24 h自动覆盖录像。在地市监控中心通过采用IP-SAN方式进行存储,遇到发生设备故障、反事故演习或其他安全事件,将所运行维护的110 kV,220 kV,500 k V变电站的相关视频存储到地市监控中心。在地市监控中心制定备份计划,采用定时自动备份的方式,将超过30天的文件资料备份到市监控中心存储服务器相对应的目录中,并定期进行维护。在省级监控中心也采用IP-SAN方式进行存储,如遇到应急演练、重要变电站设备故障或其他安全事件,将省公司所属的重要220 k V变电站、500 kV变电站的视频录像保存到省公司。省监控中心可以随时调用地市监控中心存储的重要视频资料。系统结构如图1所示。
在进行视频监控的存储系统设计时,首先要对系统中摄像头数量、采集视频的格式和码率、视频服务器的数量等参数进行统计和分析,计算出系统中存储的总带宽压力和存储容量要求,设计存储系统的网络架构,然后再根据可选用的存储设备型号及价格成本,最终选定存储设备的型号。
对于存储系统容量,按照标准每路视频都若采用D1格式和定码流方式。D1格式流量为2 Mbit/s。单路和100路视频实际占用带宽分别为
单路视频每天存储容量为
单路视频每月存储容量为
100路视频每月存储容量为
对于高清视频监控系统,按照标准每路视频都若采用720p格式和定码流方式。720p格式流量为6 Mbit/s。单路和100路视频实际占用带宽分别为
单路视频每天存储容量为
单路视频每月存储容量为
100路视频每月存储容量为
4 小结
随着变电站视频监控系统联网的推进和电网全景预警系统的建立,视频监控系统呈现的新特点为:1)监控规模和范围越来越大;2)视频存储周期变长;3)监控视频清晰度越来越高;4)视频监控系统不再只提供简单的安防功能,已和其他电力生产辅助系统相结合,应用范围不断扩大。视频存储与应用在电力系统中的作用越来越重要。视频监控的存储系统随着存储技术的发展而不断进步,在构建存储体系时应综合考虑成本、用户需求、系统性能等因素。网络化、智能化是视频监控系统的发展方向,视频存储应能适应目前的发展趋势,提供基于网络的智能化存储、检索和回放。同时,由于无线系统大多构建在Internet的基础上,而变电站视频监控系统是建立在电力内网上的,如何实现内、外网视频信息的合理利用也是一个重要课题。
摘要：介绍了变电站视频存储系统的应用现状,针对近年来在监控系统中出现的SAN存储技术,介绍了FC-SAN和IP-SAN及其优缺点。重点阐述了视频监控系统的几种存储方式和省级变电站视频监控系统的存储方案及存储容量计算方法,并描述了今后视频监控存储技术的发展方向。
关键词：电力,变电站,视频监控,存储
参考文献
[1]许辉.存储技术在铁路综合视频监控系统的应用[J].铁路通信信号工程技术,2009,6(6):1-3.
[2]唐瑜珅.视频监控系统中的通用视频存储策略[J].硅谷,2010(8):16-17.
[3]陈利,潘正清,吕格莉.流媒体视频存储服务器设计与研究[J].计算机工程与设计,2010,31(4):906-910.
[4]劳定雄,封斌.城市视频监控系统综合网络管理平台的设计[J].广州航海高等专科学校学报,2010,2(18):39-41.
[5]吴玄.NVR,IP视频存储的未来[J].中国公共安全:综合版,2009(6):71-72.
[6]张丽,田银磊.FC SAN+IP SAN综合网络存储架构在数字化校园建设中的应用[J].科学技术与工程,2010,10(10):5098-5100.
[7]杨勇.FC SAN与IP SAN全面比较[J].广播与电视技术,2007,34(12):62-64.
研究称钻石可能存储海量数据 篇5
“我们率先发现可以把钻石作为超密存储的平台。”该研究的主要作者、纽约城市学院物理学家希德哈斯·多姆卡尔 (Siddharth Dhomkar) 说道。
有一部分钻石的晶体结构中缺失了一些碳原子, 从而构成了一些空穴。由于空穴周围聚集了一些氮原子, 因此这种缺陷被称作氮空穴色心 (nitrogen vacancy centers) 。研究人员用这样的钻石进行了一系列实验。
这些空穴中通常储存着电子, 因此使钻石带上了负电荷。不过, 研究人员可以通过向钻石发送激光, 将其转化为中性。在吸收了激光之后, 空穴的特性便会发生改变:它们在光线照射下不会再闪烁, 而是会始终保持黯淡的色泽。这一变化是可逆的, 持续时间很长, 并且弱光照射不会对其造成干扰。
这一研究发现说明, 钻石可以以负电荷和中性电荷的形式存储数据, 然后由激光完成读取、写入、抹除和重新写入等任务。
多姆卡尔指出, 每字节数据在钻石上仅需占据几纳米的空间, 比现有的任何数据存储设备都小得多, 因此有助于我们研发超密计算机存储技术。
不过, 研究人员目前还无法从如此微小的结构中读取或写入数据。但他们确实证明了自己可以解码3D形式的数据 (由2D图像堆叠而成) 。
“如果引入第三维度, 数据存储能力将大大提高。”多姆卡尔指出。利用研究人员所研发的3D数据存储技术, 我们或许能创造出一种新型数据存储光盘, 存储空间可达普通DVD光盘的100倍。
珍藏高清影像,先锋蓝光海量存储 篇6
先锋的BDR-101A蓝光刻录机, 她是先锋公司推出的第一款蓝光刻录机也是世界上首发的蓝光刻录机。她支持2X倍速BD-R (一次性刻录光盘) , BD-RE (可重复擦写一千次光盘) 的两种BD光盘。目前BD光盘容量是25GB, 也就是说它可以一次性备份25GB的高清视频, 完全满足满足第一个条件, 目前市场上同时已经有售50GB的蓝光单面双层的BD DL的盘片, 更为适合更大数据的存储。
先锋BDR-101A刻录机符合蓝光高清视频播放要求, 其数据传输率可以达到72 MBPS, 而一般高清视频要求的传输率仅为54MBPS, 是一般传输率的1.3倍。如此高的传输率可以让用户流畅便捷的享受高清视频数据, 轻松体验高画质完美享受。
集群存储实现海量备播数据管理 篇7
以往,电视台节目生产与播出业务受传统技术模式的限制,播出系统备播工作流程主要是基于效率底下的节目磁带库作为近线存储,节目素材从本地上载到播出服务器,人工将播后素材再迁移到带库,无法直观地统一管理备播素材。
近年来,随着电视台网络化制播系统的建设发展,节目的播出业务模式发生了根本的改变,我国电视节目备播系统正在向网络化、文件化以及流程化的业务系统发展。而随着高标清同播业务需求,按照标清播出文件的码率为12Mb/s,高清播出文件的码率为50Mb/s来计算,每小时高标清同播的素材大小为62×3600/8=27.9GB。传统的在线存储空间早已不能满足日益增长的海量备播节目数据的存储需求,因此,建设集中的后台集群存储作为备播业务支撑是非常有必要的,可以更有效率地完成播出素材的上载工作,安全稳定地保障备播区域素材到播出服务器的迁移工作,方便直观地开展播后素材管理以及重播、重审工作。
但是海量的备播数据爆炸式的增长向集中的集群存储数据管理方式提出了挑战,一方面要应对数据容量的不断扩充,另一方面需要确保所有有效数据的高安全性和可管理性。
2 集群存储平台介绍
2.1 集群基础架构
集群存储平台系统主要由元数据服务器集群、存储服务器集群两大部分组成。元数据服务器集群管理文件系统的元数据,管理整个存储系统的命名空间,对外提供单一的系统映像。存储服务器集群存储用户的实际数据,是整个集群存储系统的存储资源提供者。整个集群按大模块分类可以分为以下三个部分。
元数据服务器(Metadata Server,简称MDS)。元数据是集群存储的核心,文件的地址、基本属性、列表、一致性维护、负载均衡和副本等信息都存储在元数据服务器上,读写文件时能提供高效的信息随机访问。
存储服务器节点(Data Server)。存储节点仅提供单纯的存储服务,功能较简单,应用客户端根据元数据反馈给它的设备信息和偏移信息直接和存储节点建立通信存取数据。
应用客户端(Client)。此模块安装在需要访问集群存储的服务器或PC上,负责提供统一视图的存储空间给服务器(Windows服务器看到如同新增一个本地硬盘,Linux新增一个挂载目录),同时负责跟元数据服务器交互元数据属性信息,跟存储节点交互数据流。
2.2 元数据工作原理
(1)为了提高元数据的安全性,元数据服务器总是成对出现的,每台元数据服务器上存放的元数据信息metadata在设计时又被拆分为metadatal (M1)和metadata2 (M2)两部分。(2)元数据服务器MDS2提供M1的服务、M2的备份;元数据服务器MDS1提供M2的服务、M1的备份。(3)元数据服务器MDS1既提供M1的服务,又提供M2的服务;元数据服务器MDS2作为备份服务器。(4)元数据服务器MDS2既提供M1的服务,又提供M2的服务;元数据服务器MDS1作为备份服务器。
默认情况下,元数据服务器1提供metadata1的服务,元数据服务器2提供metadata2的服务,假如元数据服务器2异常离线或服务关闭,用户在访问客户端(客户端有读/写操作)时,metadata2的服务会自动切换到元数据服务器1上。元数据服务器2启动恢复服务后,元数据服务器1上的数据会自动同步到元数据服务器2上,保证了主备元数据的一致性和冗余性。
3 备播系统采用集群存储优势
3.1 系统容量扩展
由于备播节目数据量在非结构化大数据时代背景下指数增长,未来系统所需容量难以预估,初步部署时可预估两年内容量进行部署。集群系统支持ScaleOut的扩展方式,保证整个系统的扩展非常平滑,任何存储节点可以在线地添加和删除,相应地可以在线扩容和缩小容量。添加或删除节点后,存储节点上的数据会均匀分布到每一个节点。
3.2 数据读写性能
集群存储可以使用全台网备播系统现有的以太网环境,总带宽达到2.2GB/s以上,部署万兆+千兆工作站及服务器的高速交换网络。单存储节点的64M分配机制可保证同时多硬盘的读写,加上分布式文件调度的多节点同时读写,使所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用,这样集群存储系统的聚合带宽由多台存储服务器上的IO带宽相加而成,从而克服了NAS的单一出口点所造成性能瓶颈,可以满足高速度素材送播。
3.3 数据安全性