云数据服务（共11篇）
云数据服务 篇1
摘要：云服务模式已逐步成为未来教育信息化的基础服务模式, 在基础教育领域探索区域教育云服务数据中心建设, 全力打造一个功能完善的区域教育云服务平台, 可以提高软硬件系统的投资效益, 实现资源共享, 缩小教育差距, 促进教育公平, 对推进“三通两平台”建设和区域教育现代化有着重要意义。本文通过深圳市宝安区教育云服务数据中心建设的案例, 介绍区域教育云服务数据中心建设的定义、必要性、可行性、成效及发展的展望。
关键词：云服务,区域教育云服务,数据中心
一、建设区域教育云服务数据中心的意义
2013年, 国家出台了《国家教育管理信息系统建设总体方案》和《省级教育数据中心建设指南》。北京、上海、江苏等省市也出台了相应的政策支持教育云的发展, 广东省人民政府办公厅《关于加快推进我省云计算发展的意见》 (粤府办 [2012]84号) 把建设教育云确定为七大重点示范应用项目之一, 《广东省教育信息化发展“十二五”规划》也把教育云建设确定为五大行动计划之一, 深圳市和宝安区等多个城市及地区均把教育云纳入十二五发展规划的重点推进工作。政府的重视给区域教育云数据中心建设的发展带来广阔的前景。
很多地区已建成教育宽带城域网, 高标准实现了“宽带网络校校通”和“优质资源班班通”, 但同时也出现了重复建设、资源贫富悬殊、“学习空间个性化人人通”难于普及等问题。国家“十二五”期间重点推进“三通两平台”和“两级建设、五级应用”平台推进体系建设都对区域教育云服务数据中心建设提出了迫切的需求。统一规划建设区域教育云服务数据中心, 打破并超越孤立数字校园的分散建设模式, 节约分散建设模式下的巨额建设及运维成本, 通过区域教育信息化顶层设计整体推进的策略和资源集约化使用和治理的云计算和云服务等先进技术手段, 提高区域教育云服务平台的容错性、伸缩性和动态性, 从而保障和提升平台的整体服务质量及水平, 为区域教育用户提供优质、个性化的综合信息服务, 避免了多级重复建设。
二、区域教育云服务数据中心的定义
“云服务”是基于互联网的相关服务的增加、使用和交付模式, 通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源[1]。“区域教育云服务”是指通过区域教育信息化顶层设计整体推进的策略和资源集约化使用和治理等云计算的关键技术, 将现有的信息化教育资源、教育应用和基础设施整合、集成为一个巨大的虚拟资源池, 向区域内各级各类学校、师生、民众提供云服务。“区域教育云服务数据中心”是面向区域教育云服务平台的载体, 用户申请的各项云服务均通过区域云服务数据中心来提供, 各种云资源均由区域云服务数据中心统一调度和分配[2]。因此, 区域教育云服务平台的建设应以区域教育云服务数据中心为支撑, 把建立教育云服务数据中心作为平台建设工作的重点, 从而保证云服务的有效供给。
三、区域教育云服务数据中心的技术架构
区域教育云服务数据中心的建设遵循“资源集约化使用和治理”的云计算核心本质, 采用“1+N”弹性云架构、云服务架构、WOA架构、OGSA架构、背景感知计算、内容聚合计算、展现配件渲染计算、OLAM等技术, 确保平台高可用、高扩展、高安全、高性能, 并能科学地构造智能化、体系化、网格化的教育服务云。各专业化应用服务可随时被云化、推送到云端;未来还可为全区学生提供专业化“云到端”的“电子书包”云服务, 按照标准体系、随需扩展, 实现真正的弹性化。
深圳市宝安区于2009年建设宝安教育云服务平台的同时新建了区教育云服务数据中心, 涵盖了基础设施、公共软件平台、信息安全、技术服务与运行、维护体系等各方面的设计和建设, 建设的范围与内容与2013年颁发的《省级教育数据中心建设指南》的指导表基本吻合[3], 本文通过实例验证了《省级教育数据中心建设指南》在基础教育领域推进区域教育云服务数据中心建设过程的指导性和实操性, 基础教育领域区域教育云服务数据中心的建设可依该指南为蓝本, 根据实际规模的大小及应用服务保障的需求级别进行整体规划及分期建设。
宝安区教育云服务数据中心的总体技术路线:
1.“1+N”弹性云架构技术, 即一个云聚合中间件平台、N种信息资源。云计算的核心本质为资源聚合, 而且是大量复杂资源的整合及聚合, 其资源聚合过程就是一个资源抽象、概括、类化的过程, 云端用户看到的就是良好的服务, 对于后面复杂资源的聚合过程, 云端用户没有必要知道, 它主要是由“云聚合中间件”完成。
2. 云服务架构技术, 即为云端可寻址的服务生成、共享、编目和治理机制, 实现各类资源的服务化封装, 确保教育云平台具有极强的松耦合和可组合性, 便于系统可以无限扩展、随需重组。全面支持Java EE应用、.net应用、移动应用、流媒体应用、邮件系统、短信彩信平台等异构系统的整合及聚合, 真正实现跨系统、跨机构、跨体系的整合、聚合和应用。
3.WOA架构技术, 即为面向Web、面向WAN、第二代SOA架构技术, 它汲取了B/S结构、RIA架构和SOA架构的核心优势, 并为教育云平台的云端用户提供了良好的操作体验, 确保教育云平台具有协同性、可重用性、可组合性、服务可寻址性、适应性、自治性、松耦合等先进特性。
4. 背景感知计算技术, 即能够感知用户背景, 主动为其提供最合适的定制内容、产品或服务, 采用背景感知计算技术自动感知各个教育用户群体的操作习惯, 实现不同用户登录到教育云平台后, 所看到的个人桌面和常用功能完全不一样, 为角色不同的各级教育用户提供良好的操作体验。
5. 内容聚合计算技术, 采用内容聚合计算 (ContentMashup Computing) 技术, 即能够聚合各教育子系统的各种信息资源, 如:常用功能聚合、待办任务聚合、子系统报表聚合、子系统消息聚合、子系统日志聚合, 改被动为主动, 打破以往的“人找信息、人找任务”的应用模式, 创新“信息找人、任务找人”的教育应用新模式。
6.OLAM技术, 即在线分析挖掘技术, 融合了OLAP和Data Mining技术, 能够针对数据集市中的各类面向主题的数据集, 通过配置自动生成各类数据魔方 (Cube) , 以快速形成统一的数据魔方池, 提供面向主题的展现图表, 确保教育云平台不仅拥有实时的业务运行顶层监控功能, 而且拥有在线分析挖掘功能, 能够有效模拟、预测未来的业务发展趋势, 为管理决策、宏观调控提供依据。
7.OGSA架构技术, 即网格服务架构技术, 以多个站类、多级站点和多种频道为三维架构模型, 同时支持虚拟化网格式的站群部署、物理化网格式的站群部署两种部署模式, 构建教育门户网站群, 为社会公众、学生家长提供家校互动服务、教育信息服务。
8.4W访问控制 技术, 即从Who、When、Where、What四个维度进行细粒度访问行为控制, 云端用户在不同的时间、在教育公共云及教育专有云中所拥有的资源访问权限是不同的、所拥有的虚拟化个人桌面内容是不同的。
9.Hyper-V虚拟化技 术, 即采用微 软Windows Server Hyper-V、Virtual Machine Manager及SelfService Portal构建了虚拟化生态服务器平台, 在单一物理服务器虚拟成数个独立的逻辑服务器, 按需动态设置CPU个数、虚拟机内存、虚拟硬盘大小, 支持动态迁移、故障转移集群和群集共享卷。
10.Iaa S、Paa S、Saa S动态融合 技术, 动态融合Iaa S层的NOSQL云盘存储服务、Paa S层的共享交换服务及信息资源池的创建与管理服务、Saa S层的各种专业化的应用服务及网络化的信息服务, 以形成面向11类教育用户群体的综合云服务体系。
四、宝安区教育云服务数据中心的创新及应用成效
宝安区教育云服务数据中心的核心优势和创新水平如下:
1. 打造“一个平台”, 全面利用“1+N”弹性云架构、云服务架构、WOA架构、OGSA架构、背景感知计算、内容聚合计算、OLAM分析挖掘等技术整合及聚合所有教育信息资源, 包括:教育电子政务、虚拟数字校园、网络社区服务, 是业界领先的教育云平台解决方案。
2. 提供“两类云服务”, 即教育专用云服务、社会公共云服务;为教育管理人员、教育科研人员、学校管理人员、教师、学生等云端用户提供全面的办公服务、沟通服务、云盘服务、管理服务、决策服务、教研服务、教学服务、学习服务等;为学生家长、社会公众提供即时的家校互动服务、教育信息服务等。
3. 构建“三个一站式”, 即一站式登录、一站式管理、一站式服务, 将接入教育云平台的所有子系统的单点认证、访问控制、系统管理、云端服务进行一站式提供, 使云端用户所得到的服务更加便捷、体验更加良好。
4. 确保“四大通”, 即身份通、数据通、应用通、门户通, 使区域化的教育综合云服务中心得以顺利建成, 它们既相对独立, 又能关联互动;使区域化的数据交换、数据共享、服务共享、多级协同、覆盖大教育体系得以实现。
5. 遵照“五大化”, 即平台化、系统化、服务化、标准化、个性化的建设指导方针, 采用从应用基础平台的平台化、系统化, 到云资源 (数据资源、应用资源) 的服务化、标准化, 再到云端用户享受服务的个性化等多位一体的顶层设计。
6. 实现“六统一”, 即统一身份认证机制、统一访问控制机制、统一资源聚合机制、统一资源共享机制、统一门户管理机制、统一顶层监控机制, 使得面向区域化的教育综合云服务体系不仅能够建立起来, 而且能够满足未来不断发展的教育信息化需求。
7. 开辟“七大”创新
(1) 创新了“以用户为导向”的建设模式, 顺应了教育转型中教育多元化和个性化的需求, 符合区域教育信息化科学发展的趋势;
(2) 创新了信息化支撑教育公平的模式, 该平台全面支撑区域内所有公办教育、民办教育、社区教育、成人职业教育、家庭教育等大教育体系, 有力促进了区域教育的均衡和公平发展, 提高了教育信息化的经济效益和社会效益;
(3) 创新了三级协同工作模式, 该平台建设覆盖“区/ 街道 / 学校 (社区) ”三级教育管理体系, 实现了“自上而下”和“自下而上”的信息资源流通和协同工作, 提高了资源利用效率和工作效果;
(4) 创新了信息资源共建模式, 该平台顺应信息时代的潮流, 站在“主动贡献取代被动消费”革命的最前沿, 抓住用户对象“乐于为内容作建设和评估, 使用数字媒介表达自己的观点”的特点, 鼓励师生主动贡献优质资源;
(5) 创新了信息资源应用模式, 实现了“信息找人、任务找人”, 提升了电子业务的智慧能力;
(6) 创新了内部资源和外部资源有机整合的机制, 在该平台中, 整合了微软Live@EDU、宝安区数字图书馆资源等一些公益性的免费优质资源和工具平台, 实现了互动双赢的目的;
(7) 创新了教育公共服务模式, 内网门户网站为教育系统内用户提供服务, 外网门户网站按照电子政务公开的要求, 为广大市民提供了丰富的便民服务项目, 从而提升了教育信息化为社会信息化服务的能力 (如图1) 。
宝安教育云平台于2011年9月29日正式开通运行, 是一个典型的Iaa S、Paa S及Saa S融汇一体的综合云服务平台。平台成功实现了传统数字化校园从孤立、物理、实体化建设向区域、虚拟、云化建设的转型, 建成了区域教育云服务数据中心, 统一为全区提供公共的教育信息化云服务。平台采用了“1+N”弹性云架构、云服务、WOA架构、OGSA架构、背景感知计算、内容聚合计算、展现配件渲染计算、OLAM等技术, 实现了从Iaa S、Paa S、Saa S三个层面的虚拟化、弹性化、服务化, 统一了数据标准、应用标准、共享标准、安全标准、使用标准、运维标准等标准规范体系, 有效聚合了20多个IT系统的应用资源及数据资源。通过服务器虚拟集群、存储、负载均衡、防火墙等核心设备集中部署在全区统一规划建设的教育云服务数据中心, 全区11类用户均有各自的个性化虚拟桌面门户 (人人有个性化工作桌面) 。教育局、督导室、教科培中心、6个街道教育办、6个街道教研中心、340多所学校都能均等拥有各自的功能强大且可自定义的虚拟化数字平台网站功能 (校校为虚拟化数字校园) , 惠及全区教育管理人员、教育科研人员、师生及家长50余万人, 率先在我国基础教育领域取得了典型的云计算技术的应用效果, 荣获了“2011中国城市信息化成果应用奖”的殊荣, 提升了区域教育现代化水平。
五、区域教育云服务数据中心的发展展望
区域教育云服务数据中心建设的宗旨是提供丰富、优质的教育云服务。十二五期间, 宝安区将继续在现有教育云服务平台的基础上, 通过畅通渠道及引进企业等源头活水方式, 充分应用云计算技术, 有效完成与深圳教育云 ( 鹏云、中国习网 ) 、微软教育云、省部级教育资源云等各类教育资源、完成与市大学城图书馆、区图书馆等第三方社会资源的深度融合, 实现宝安教育云服务平台各项应用的全面拓展和云间资源直通。通过试点建设3-5所智慧校园, 由智慧校园担当试验田先锋, 牢牢把握信息技术与教育教学深度融合的核心理念, 通过教育信息化推动教育教学的改革, 由试点的学校继续探索适合区内学校教育、教学、科研、管理、资源、绩效分析等方面的特色及亮点应用, 依托已有的教育云服务平台不断把智慧校园试点成功的应用及特色亮点通过平台接口云化, 推广覆盖全区所有公、民办学校、幼儿园, 点面结合, 不断优化实现“三通两平台”, 挖掘平台的新鲜应用供给。强化用户使用体验, 尤其是资源应用与用户智能背景的智能感知关联, 全面实现“人人通”。通过区域推进的信息化手段尝试解决非户籍人口严重倒挂、边远落后地区的信息化教育资源不公等问题, 让广大边远落后地区的学校、幼儿园及外来工子弟平等享有政府主导的教育资源, 提高教育质量, 有效促进区域教育现代化的优质均衡发展。
参考文献
[1]黄明燕, 蔡祖锐.云计算教育应用研究综述[J].软件导刊-教育技术, 2014, 01:6-10.
[2]李聪.服务器_网络_存储虚拟化技术在数据中心的应用研究[D].天津大学, 2009, 05:1-72.
[3]省级教育数据中心建设指南.教育部教育信息化推进办公室, 2013, 04:1-61.
云数据服务 篇2
关键词：智慧校园；数据中心；云服务；自助服务；监控与管理
中图分类号：TP315 文献标志码：B 文章编号：1673-8454（2016）15-0063-04
智慧校园的建设是教育信息化的重要组成部分，也是衡量教育现代化程度的重要标志，近年来智慧校园建设已经得到了人们的极大关注，同时随着云计算技术的快速发展，智慧校园各项应用对基础信息服务的依赖程度更加紧密，资源共享程度要求更高，数据中心作为云计算技术的基础设施，受到越来越多的重视，数据中心监控技术的研究也成为云计算相关领域内的重点。该环境下的监控平台具有其自身的特殊性，数量庞大的集群设备，动态增长的管理规模，多样化的监控对象，高可靠性的性能要求，这些应用需求都对数据中心监控系统的设计开发提出了严峻挑战。因而对数据中心的各类资源如何有效实时监控（服务器运行状态、异构数据库的健康以及各类应用服务的状态监控）成为云平台非常重要的工作。高效实时的云监控可以保障智慧校园数据中心各项服务的稳定，提高服务的可用性。保证监控的实时性和高效性。本文将以Oracle EM为基础构建智慧校园云数据中心监控体系提出研究实践和探讨。
一、云计算发展现状与数据中心的需求
1.云计算现状
云计算的本质到底是什么，目前还没有一个公认的权威的定义，各家公司和研究机构也都有着自己的认知。IBM公司认为，云计算就是“未来的服务器”，虚拟服务器将是最主要的卖点；AMAZON公司也有IBM着同相似的观点，他们认为云计算就是以通过互联网为媒介，租售虚拟服务器即基础架构；Google公司则更关注通过云端为终端用户提供在线文档编辑、个人资料存储等服务。
可见对于云计算的讨论和思考可以称得上百家争鸣。各家都从不同的角度发现了云计算应用的广阔前景。但是本质上讲，云就是用户可以随时访问和处理云端信息，便捷地使用在云端上大量资源的资源管理和分配模式。这己经在业界形成广泛共识。根据美国国家标准和技术研究院的研宄结果，全世界己经公认云计算具有三种服务模式：
（1）IaaS基础架构即服务。用户可以定制和使用“基础硬件资源”，掌握“虚拟服务器”的操作系统和存储空间，部署定制化的应用程序和软件系统，而不需要关注云基础架构。在今天众多的案例中、是典型的商业实现。
（2）PaaS平台即服务。这种服务模式起源于搜索引擎系统采用的平台架构，用户享有完整的软件开发运行环境，可在此基础上开发和托管用户代码，发布和运行软件系统。这个过程中，用户无需完全掌控操作系统、硬件平台以及网络部署架构。
（3）SaaS软件即服务。在此服务模式中，用户完全不需要了解操作系统、硬件设备和基础网络架构，通过互联网即可直接操作和使用某项软件服务，最大限度、最方便地构建IT信息化平台。
2.云计算对数据中心现实需求
云计算本身的优势是显而易见的，云服务提供商通过在特定的地区建立超大规模的商业数据中心，综合运用虚拟化、分布式计算、网格计算等前沿计算机技术，集中部署大量的计算和存储资源，对外提供高性能、高可用的服务，实现相对低成本的信息系统管理、分配和计费。这种商业模式可以带来巨大的规模效应，强大的资源分配能力，高可伸缩性、高可靠性、高通用性、廉价的IT服务产品。基础设施是云计算最重要的物理载体，而基础设施最终是通过云数据中心数以万计的服务器、交换机以及配套设备实现的。然而数据中心业务数据迅速增长，应用系统正变得日益庞大与复杂，由此面临一系列运维管理方面的挑战：
（1）服务器、存储、网络设备、软件规模增长迅速，尤其随着Oracle数据库一体机的引入，对于软硬件及网络设备集中、统一、一致的IT运维管理成为必需；
（2）IT基础架构设备及技术的频繁升级和更新对人员的层次要求越来越高，也造成了人力成本上升并带来了管理风险；
（3）应用架构（包括关联性）越来越复杂，出现应用群的概念，多个应用之间协调完成复杂交易。从而，对交易的追踪与管理变得越来越困难；
（4）应用的复杂带来基础架构性能保障的风险，IT运维部门面临持续优化提高基础架构性能、保障业务高可用性的压力；
（5）新应用低下的测试效率和应用质量会将企业投资置于风险之中，保障应用质量对维持业务敏捷性、保证服务质量、降低总体成本与风险变得异常重要，成为IT部门的新命题；
（6）云数据中心是IT基础架构的发展方向，大多数IT组织开始在企业内部数据中心应用云计算，无论是更快地供应、按需访问、基于策略的灵活资源调度，还是按规则收费以保证商务结算和对环境的更好控制，IT部门都必须从被动式反应转型到主动和预防式管理上来。
面对以上挑战，通过使用Oracle基础架构运维管理技术软件和其在IT运维管理领域的丰富项目经验，结合现有的IT运维体系流程，建立一体化的运维管理框架，实行业务和技术管理创新，对于降低IT运维管理风险，提高业务用户的满意度，保障基础架构高可用性等方面有着紧迫和重要的战略意义。
由于我校在十二五期间进行了基于Oracle项目的人事系统和校园一体化建设，作为基础，结合OracleEM，使之成为我们建设和管理成为可能和高效的手段。
二、Oracle EM的特点与安装部署
1.Oracle EM的特点
Oracle Enterprise Manager （Oracle企业管理器，简称OEM）是Oracle公司的集成企业信息技术管理产品线，它提供了业界唯一的完整、集成和企业的云管理解决方案。OEM通过利用内置的管理功能，为传统和云环境，实现前所未有的效率收益，同时大幅提高服务水平，创造价值。
OEM是通过一组Oracle程序，为管理分布式环境提供了管理服务。OEM包括了一组DBA工具，一个repository，以及一个图形化显示的控制台。OEM控制台与每一个服务器上的智能化代理（IntelligentAgent）相对应。
智能化代理能够监控系统的特定事件并且执行任务（作业）就像你在系统本地一样。事件和作业的结果会被送回控制台，这样可以在一个地方管理所有的系统。Oracle的Oracle Enterprise Manager Cloud Control 13c应用技术。Oracle的企业管理器在经历了多个版本的发展后，企业管理器的功能更加完善、稳定，支持更多的平台和版本，配置越来越健全，主流浏览器基本通过认证。在EM13c中，Oracle提供了更加完善的一体化云管理解决方案。可以预见，Oracle的企业管理器必然会在数据库管理和监控方面成为优先选择。该系统架构如图1所示。
2.Oracle EM的部署
本文的建设是基于REDHAT AS6.4操作系统，采用双机备份的模式，数据库采用的Oracle12C12.1.0.2.0，EM为Oracle Enterprise Manager Cloud Control 13c Release 1（13.1.0.0）。具体安装部署可以参看Oracle官方的标准文档。部署完成后的结果如图2所示。
安装完成后对系统进行初始参数配置后即可开始正常服务，系统参数配置图如图3所示。
三、Oracle EM实时监控与管理
OEM涉及框架和基础设施，企业监控和事件管理功能、数据库管理、中间件管理、硬件和虚拟化管理、异构（非Oracle产品）管理、云管理、混合云管理、生命周期管理、配置管理、大数据设备管理、信息服务交互测试和查询、应用绩效管理，应用质量管理等功能服务。下面主要从如下几个主要功能应用做出介绍。
1.对数据库的云监控与管理
Oracle EM实现了无人值守式监控IT环境。通过一系列有关性能与健康指标监控IT关键组件，例如应用、应用服务器、数据库，以及他们所依赖的后台组件。另外OEM与ServerManagerMotif相比，有以下优点：
（1）从适用范围看：OEM可以同时监控管理多个系统上的多个数据库，因而特别适合分布式环境；而ServerManager只能监控管理一个数据库。
（2）从管理对象看：OEM可以监控管理节点，数据库和监听进程（listener），而ServerManager只能监控数据库。
（3）从适用版本看：OEM可以同时监控管理Oracle7.x和8.x，而从8版开始，ServerManager已不存在。
OEM数据库工具组是一组使DBA能够通过GUI界面管理Oracle数据库的工具。包括以下工具：
DataManager（数据管理器）：这工具使你能够象加载数据一样执行数据的export/import。
SchemaManager：这工具使你能够在数据库中管理对象。可以用于创建，修改，和删除tables，indexes，views，snapshots，sequences等。
SecurityManager（安全性管理器）：这工具使你能够管理用户、角色、权限及profiles。
StorageManager（存储管理器）：这工具允许你创建和修改表空间、数据文件和回滚段。
InstanceManager（实例管理器）：这工具允许你关闭、启动实例并且存储和管理数据库参数。
SQL*Worksheet：这工具使你能够运行或创造SQL脚本并且存储在硬盘上。你能使用这工具重现最后执行的语句；同时，检查显示到屏幕上的执行结果。
BackupManager（备份管理器）：这工具允许你管理备份和恢复为Oracle7和Oracle8数据库。在Oracle7此工具支持EnterpriseBackupUtility（EBU），在Oracle8此工具支持恢复管理器RecoveryManager。
SoftwareManager（软件管理器）：这允许你将远程软件安装到支持这一特性的远程服务器。
监控数据集中存放在存储库中，管理员可以利用丰富的图表诊断故障并分析趋势。一旦检测到告警，将发送各种通知给管理员以快速解决问题。
缺省地，EM提供以下能力：
1）符合Oralce最佳实践的监控指标与阀值设置，包括客户化指标；同时支持监控模版。
2）基线设置与更正行动。
3）监控所有IT基础（Oracle的或非Oracle的），包括应用与服务。
4）实时访问各种性能图表。
5）收集、保存、汇总各种指标数据。这使得你可以执行战略性分析，例如趋势分析与报表。
6）对检测到的紧急事件提供各种通知能力。
2.意外事件处理机制
Oracle EM利用集中式直观的“意外事件管理器”简化故障管理复杂性。EM将所有通过指标阀值等触发的事件称之为“事件”。EM的事件类型包括：目标可用性、基于指标阀值的告警、作业状态的变化、合规性冲突、高可用检测、服务等级告警等等。
在此基础上，将有意义的“事件”或重大的“事件”整合为“意外事件”或“故障”。一般地，管理员只需要专注于“意外事件”，而避免陷入大量无意义的“事件”中，从而大幅降低工作复杂度与工作量。意外事件管理器使你可以查找、查看、管理、并解决故障，同时提供了指导解决方案，加速问题处理。意外事件管理器：意外事件的触发条件由规则/规则集控制。规则定义了什么情况下、什么时候、向谁发送通知。规则集则是规则的集合，可以为一组目标（例如主机、数据库、组等）采取合适的行动以自动化事件的流程处理。Oracle EM具有整套的意外事件处理机制，可以跟踪它的完整生命周期：
1）分派异常事件的所有者；
2）跟踪异常事件处理状态；
3）设置异常事件优先级；
4）设置异常事件的升级；
5）提供定制的汇总视图；
6）提供注释；
7）提供压缩和解压能力；
8）提供手动清除异常事件能力；
9）提供创建ticket能力。
四、OracleEM云资源管理监控
OracleEM云服务如图4所示
云的概念中有两条重要的标准：按需获得服务；自助服务。在云服务里最终服务的都是我们的最终用户。OracleEM13c最显著的好处就是可以让标准的数据库平台部署和中间件平台部署，从管理员驱动的形式向最终用户驱动的形式转变。OracleEM13c可以让我们完成以下工作。
（1）池化资源；
（2）标准化和自动化部署流程；
（3）发布模板和服务目录；
（4）设置基于角色的访问控制和授权；
（5）设置限制过度消费资源的配额；
（6）建立升级、降级和回收的策略；
（7）建立测量手段，使按资源消耗收费成为可能；
（8）通过BI进行报表分析和数据挖掘。
配置好云端的参数和路径如图5所示。
每个云服务资源均按如图6所示的进行配置，即可提供给用户进行自助服务。
五、结束语
从目前来看，智慧校园的建设管理对教育信息化的发展具有相当重要的作用，要根据学校的总体发展，统筹规划、逐步实施、通力合作，使智慧校园的建设日趋完善。
通过对云服务管理和监控平台的建设，初步达到了高可用性原则、由于该系统承担着对整个系统的统一管理和监控，一旦出现系统崩溃造成数据丢失或者暂停服务，都会给学校带来不可估量的损失，因此，在建设该云管理和监控平台的同时，一定要考虑管理和监控系统本身的高可用性原则、一体化管理原则和易用性和管理原则，监控系统一定要支持双机备份能力，当主管理机器出现故障，备份机器能及时接管，确保云资源数据不被丢失，同时也不会造成暂停服务的状况。所有的管理和监控在统一的监控平台上进行管理和监控，操作人员在该平台，可以直观地管理被管理目标，集中监控各管理单元的各项指标，系统应能提供统一视图，让操作人员可以从上而下，到相应的管理单元进行细化管理。同时通过统一视图，可以直观展现各个管理单元之间的逻辑关系，便于管理者有序地对各管理单元进行管理。监控管理平台管理终端要求采用中文图示化管理界面，最好能提供多国语言支持，可以提供满足需求的不同时间尺度的分析图表，并能够提供各个角色的访问权限管理，为不同角色的操作人员提供不同的管理视图。
通过上述对数据中心资源的云服务监控与主动管理的摸索与实践，为高校智慧校园的建设和管理打下坚实的基础。
参考文献：
[1]饶冰，裴征峰，高文博.Oracle云管理平台企业管理器12c实战指南[M].北京：清华大学出版社，2013.
[2][OL].https：//docs.oracle.com/cd/E63000_01/.
[3][OL].http：//www.oracle.com/technetwork/indexes/downloads/index.html#em.
亚马逊开放云存储数据迁移服务 篇3
亚马逊AWS导入/导出服务还提供了API(应用程序接口)和网络界面，让用户可以查看数据迁移状态。该服务能加速亚马逊网络服务和便携存储设备之间的大量数据迁移过程。用户可将存储设备寄给亚马逊，绕过网络上传过程并直接使用亚马逊的内部高速网络复制数据。
亚马逊指出，在迁移大量数据方面互联网目前还难以胜任。尽管还需要邮寄存储设备，但亚马逊声称“导入/导出服务通常比互联网传输要快，而且比起升级网络来说也更加节省成本。”正如亚马逊在声明中所说：“通过T1网络连接传输1TB的数据通常需要80天之久。”
亚马逊对每个存储设备的收费是80美元，此外每小时还收取2.49美元的数据迁移费。数据迁移完成后亚马逊将把存储设备交还给客户。
云数据服务 篇4
云计算数据中心是支撑云服务实现用户转变到客户的数据中心，是一系列新技术集中应用和面向业务服务运营管理的集中体现。云计算数据中心采用虚拟化、自动化、并行计算、安全策略以及能源管理等新技术，解决目前数据中心存在的成本增加过快和能源消耗过度等问题;通过标准化、模块化、动态弹性部署和自助服务的架构方式实现对业务服务的敏捷响应和服务的按需获取。
1、云计算数据中心的构成
云计算数据中心本质上由云计算平台和云计算服务构成。云计算服务包括通过各种通信手段提供给用户的应用、软件、工具以及计算资源服务等;云计算平台包括用来支撑这些服务的安全可靠和高效运营的软硬件平台。通过云计算平台将一个或多个数据中心的软硬件整合起来，形成一种分层的虚拟计算资源池，并提供可动态调配和平滑扩展的计算、存储和网络通信能力，用以支撑云计算服务的实现。
2014-2019年广东物联网云计算行业趋势分析及投2014-2018年云计算行业招商计划书2014年版云计算项目融资商业计划书 2014-2018年中国云计算第三方软件行业市场深度2014-2018年中国政府云计算行业市场深度调研及2014-2018年中国云计算行业市场竞争格局分析与2014-2018中国云计算产业园区行业竞争格局分析2014-2018年中国云计算行业市场深度调研与发展云计算服务是云计算中心的外在实现，包括互联网(internet)、应用软件(saas)、系统平台(paas)和计算资源(iaas)等服务，其特点是无需前期投资、按需租用服务、获取方式简单以及使用安全可靠等，可以满足不同规模的用户根据需要动态地扩展其服务内容。
云计算平台是云计算中心的内部支撑，处于云计算技术体系的核心。它以数据为中心，以虚拟化和调度技术为手段，通过建立物理的、可缩放的、可调配的、可绑定的计算资源池，整合分布在网络上的服务器集群、存储群等，结合可动态分配和平滑扩展资源的能力，提供安全可靠的各种应用数据服务。
2、云计算数据中心的实施过程
云计算数据中心的实施不是一个简单的软硬件集成项目，在实施之前需要谨慎评估和整体规划，充分考虑云计算数据中心的管理模式，并将未来的运营模式纳入到整体规划中，这样才可以充分发挥云计算平台作用。
结合对云计算中心用户需求的调研和国外的实施经验，目前云计算数据中心基础架构实施主要分为以下5个阶段：
1)规划阶段：要将云计算中心建设作为战略问题来对待，管理高层要给予极大的重视和支持，并明确每一阶段所要实现的目标，从业务创新和it服务转型的高度进行规划和部署。
2)准备阶段：根据本行业特性，充分了解用户采用云计算数据中心想要获得的服务与应用需求，并对云计算平台进行充分的评估，选择合适的技术架构。同时充分考虑系统扩展和迁移的可操作性，保证基础设施平台技术的连续性和核心业务的连续性。
3)实施阶段：资源虚拟化是云计算中心的基础，通过构建支持异构平台的虚拟化平台，可以满足安全性、可靠性、扩展性和灵活性等各方面的服务要求。
4)深化阶段：在实现平台架构虚拟化的基础上，还要实现各种资源调度和分配的自动化，为全面管理和自助服务打好基础。
5)应用和管理阶段：云计算的基本特征是开放性，云计算平台应能提供标准的api实现与现有应用兼容。所有的应用移植是渐进过程，云计算基础架构要很好的支撑核心应用，而并不仅仅是新增的需求。同时，云计算平台建设是个闭环的过程，需要进行不断地改进。
3、云计算数据中心的关键技术
云计算数据中心的建设融合了很多新的技术，主要包括以下几个方面。
1)虚拟化技术
虚拟化技术的应用领域涉及服务器、存储、网络、应用和桌面等多个方面，不同类型的虚拟化技术从不同角度解决不同的系统性能问题。
服务器虚拟化对服务器资源进行快速划分和动态部署，从而降低了系统的复杂度，消除了设备无序蔓延，并达到减少运营成本、提高资产利用率的目的。
存储虚拟化将存储资源集中到一个大容量的资源池并进行统一管理，实现无需中断应用即可改变存储系统和数据迁移，提高了整个系统的动态适应能力。
网络虚拟化通过将一个物理网络节点虚拟成多个节点以及将多台交换机整合成一台虚拟的交换机来增加连接数量并降低网络复杂度，实现网络的容量优化。
应用虚拟化通过将资源动态分配到最需要的地方来帮助改进服务交付能力，并提高了应用的可用性和性能。
云计算数据中心基于上述虚拟化技术实现了跨越it架构的全系统虚拟化，对所有资源进行统一管理、调配和监控，在无需扩展重要物理资源的前提下，简单而有效地将大量分散的、没有得到充分利用的物理资源整合成单一的大型虚拟资源，并使其能长时间高效运行，从而能源效率和资源利用率达到最大化。
2)弹性伸缩和动态调配
弹性伸缩可以从纵向和横向两个方面考虑。纵向伸缩性是指在同一个逻辑单元内增加资源来提高处理能力，如：在现有服务器上增加cpu或在现有的raid/san存储中增加硬盘等;横向伸缩性是指增加更多逻辑单元的资源，并整合成如同一个单元在工作。
动态调配是根据需求的变化，对计算资源自动地进行分配和管理，实现高度“弹性”的缩放和优化使用，而使用者不介入具体操作流程。
3)高效、可靠的数据传输交换和事件处理
大数据，云气象 篇5
然而，慵懒舒适的暖冬背后，隐忧却不容忽视——随着人类排放的温室气体越来越多，不仅是中国，整个地球都已经变得日愈“温暖”。在过去几十年，每一个十年的温度都比前一个显著上升。2011～2015年是有记录以来最热的五年，2015年更是自 19世纪末有现代气象观测以来最热的年份。
直面更热、更旱、更涝的未来
不过，温度上升还不是故事的全部——气候变化正在破坏季节的自然格局，热浪、干旱和暴雨等极端天气事件的发生频率和强度正在不断增加。
热浪——世界许多地方都创下了高温新记录。2015年，西班牙高温纪录出现在巴伦西亚和兰萨罗特的5月，高达46.2℃，比历史最高气温高出6℃；埃及的最高温度出现在卢克索的7月，高达47.6℃；南非则发生在弗雷登达尔的10月份，高达48.4℃。
干旱——干旱继续肆虐巴西东北部和北美西部，导致阿拉斯加出现破纪录的野火季；中美洲、加勒比地区和南部非洲也受到了降雨不足的影响；印度西南季风降雨量低于常值；干旱为印度尼西亚的极大野火火上浇油，并影响了周边国家。
暴雨和洪涝——持续的升温使大气保持了更多的水份，暴雨正在不断增多。2015年1月，马拉维爆发了有史以来最严重的洪水，5月成为美国大部分地区最湿的月份。
这些频发的极端天气事件，不仅严重地影响着人们的生产生活，还极大地威胁着人们的生命及财产安全。数据显示，过去20年来，极端天气事件已夺走60.6万人的生命，造成1.9万亿美元的经济损失（比2015年美国国家财政收入的一半还多）。
正因为如此，世界气象组织将2016年3月23日世界气象日的主题定为“直面更热、更旱、更涝的未来”，呼吁大众共同行动起来，应对日益严峻的气候环境。
对此，2015年12月，世界各国一致通过巴黎协议，倡导要快速和大幅削减温室气体排放。而对大众来说，在倡导低碳行动的同时，人们也迫切地需要更加及时、精确的气象监测和预报。大数据下的云气象，正是在这样的背景下进入了人们的视野。
大数据，带来气象“云预报”
实际上，为了获得精确气象预报，气象部门历来都会收集大量数据，这些数据组成了一个超大的“数据库”。而在大数据时代，天气预报正是利用海量气象数据进行“云计算”后，得到的大数据产品。
我们平时从电视、报纸、网站或手机获取的看似简单的天气预报，在其后都有非常庞杂的数据采集作支撑，包括全国2000多个地面站、120多个高空探测站、6颗在轨卫星、5万多个自动监测站、600多个农业监测站、300多个雷达站等，逐日逐小时甚至到逐分钟扫描着中国出现的各种各样的大气数据。
我们每日接收到的天气预报信息，就是由如此庞杂的数据，再加上欧亚甚至全球的所有气象数据，通过筛选、运算、分析等一系列复杂的工序得到的。
随着预报业务的不断发展以及大数据、云计算的应用，这些数据变得更加精密，数量也持续增加，气象预报也随之变得越来越精确。现在，我们已经可以随时、随地通过电脑、手机、电视、网站等查询天气预报，其精度甚至可以精确到1公里、1小时以内。
云气象，让生活更美好
对于普通人来说，更精细、更准确、更长时效的预报，让我们的日常生活以及衣食住行变得更加便捷——早上起床后，穿薄的还是厚的衣服，是否带伞出门，要不要进行晨练；长假期间是否要外出旅游，旅游时需要带哪些随身物品……如何选择，天气预报会为你提供参考。
实际上，气象工作的最终目的是服务。随着各行各业对气象信息的需求越来越大，简单的晴雨气温预报早已无法满足社会的需要，因此，就需要针对不同领域、不同行业、不同群体，制作相应的气象产品。
气象部门现有的服务，包括面向政府的决策气象服务，面向社会群体的公众气象服务，面向水利、电力、交通、农业以及其他部门或企业的专业专项服务，以及针对干旱、暴雨洪涝、森林火险、冰雹、雷电等灾害性天气的气象灾害预报预警服务。
比如说能源，可以通过分析电力负荷历史，加上气象数据进行用电量估算；比如农业，通过某一地的农耕历史加上气候信息，就可以指导农户进行农作物种养殖结构调整；还有交通，航班准点率历史加上机场历史天气特征，就可以得到航班延误预测；再有公共卫生，通过门诊量和药品销量加上气象历史，就可以推测发病率趋势；在食品方面，通过销量和气象要素关联，就可以掌握销量变化……这些日益丰富的气象产品，构成了气象大数据的重要部分，同时也让我们的生活变得更加美好而便捷。
气象预警，防灾减灾的“安全阀”
防灾减灾是气象部门最重要的职责之一，气象大数据在防灾减灾救灾中大有可为。在大数据观点中，预测是核心，而防灾是应对灾害的重中之重，所以气象预警信息显得尤为重要。气象预警的确定，需要非常复杂的气象数据分析，再综合地形、地貌等数据，以及预报员自身的经验分析。
同时，防灾减灾的发展方向，不仅仅是完善预警系统和提高预警准确率，还要做老百姓看得懂的预警，直接指导人们防灾避灾。在这方面，云计算大有可为——云计算使得大数据处理更方便、更快速、更省时省力，这在气象防灾减灾中意义重大。要提高预报预警准确率、科学评估灾害，就必须要纳入除气象数据以外的大量其他各行各业的数据，传统的设备无法快速处理，而云计算可以很好地解决这个问题。
例如，我们可以通过某一个地方的历史灾害情况和历史气候数据，以及该地的地理信息、森林覆盖情况、居住人口数据等，提前知晓在什么天气条件下该地会出现洪涝灾害，雨要下到多大才会成灾，下那么大的雨会有多少人受灾，受灾人群要如何撤离等，进而指导农作物种植、房屋建造、建筑设施规划选址等，从源头防灾减灾。
气象部门应用气象大数据的实例很多。例如今年2月17日贵州省出现大范围雨雪天气，17日夜间至18日白天，全省普遍降雪，有8个县出现暴雪，12个县出现中雪，52个县出现小雪。全省共有83个县1341个乡镇降水，贵阳市区也降下了中雪。
其实早在2月中旬初，贵州省气象局就已经根据大量的气象观测资料以及模式资料数据分析，对这次大范围的降雪天气进行密切跟踪预报，期间多次向政府及各部门提供决策服务材料，通过各大媒体发布预报和预警信息，并针对公路、铁路、民航、农业等不同领域制作相应的气象服务产品。正是通过对大量气象数据以及交通、农业等其他领域的数据进行分析处理，最终才实现了准确预报和及时到位的服务，省领导作出重要批示，充分肯定了各部门之间的通力协作和联动应对，将降雪对交通运输的影响降到了最低。从大数据角度来看，这也是对各行各业之间的数据共享做出的肯定。
打破“数据壁垒”——气象大数据将大有作为
当气象邂逅大数据，它必将带给我们更多的惊喜。然而，气象大数据是气象数据加上行业数据分析后得出的事情变化规律和对未来的预测，也就是说，要在不同数据之间确立一定的规则，才能对未来进行预测。气象数据和各行各业的相关性非常高，只有充分挖掘出这些气象数据资源的价值，利用好它们，与政府部门、企业、社会组织等紧密合作，才能提供更贴近民生、贴近生产、贴近实际，且更为准确、更个性化的气象服务产品。
云数据服务 篇6
关键词：云计算,病毒,防火墙,入侵检测
0 引言
随着云计算、移动技术的快速普及和应用, 百度云服务、360云杀毒、金山云平台等在方便人们生活的同时, 其安全性也越来越受到人们关注。云计算数据服务存在的安全威胁主人有哪些?如何构建网络安全主动防御系统 [1]?
1 云计算数据服务面临的安全威胁
只要用户接入互联网就无法避免黑客的攻击, 而云计算完全依赖互联网存在, 故自云计算提出以来, 安全问题就无法回避。根据云计算安全联盟CSA的调查, 目前, 云计算数据服务面临的安全威胁主要包括:数据泄露、数据丢失、账户劫持、不安全的API等方面。
1.1 数据泄露
传统的计算机网络安全威胁多来自黑客的攻击, 黑客可以通过分析边信道 (Side-Channel) 时间信息来获得虚拟机的私有密钥, 对于多租户云计算服务, 若数据库设计不妥, 也可以成为黑客跳板, 泄露用户数据。作为防止数据丢失手段的异地备份, 也无形中加大了数据泄露的风险。
1.2 数据丢失
为随时随地更方便的使用数据, 用户往往选择云平台存储数据, 但可能导致黑客在入侵云计算服务器后恶意删除数据, 或一些不可抗因素 (如地震、火灾等自然灾害) 导致云计算服务遭遇毁灭性破坏而数据意外丢失。另外, 云计算服务器使用各种加密算法保密用户数据, 服务器或用户丢失了加密密钥, 反而导致数据丢失。
1.3 账户劫持
与数据泄露和数据丢失相比, 账户劫持让黑客活动更加主动也更加隐蔽。CSA认为, 若黑客获取了企业登录信息, 窃听企业活动并操纵数据甚至误导企业客户进入钓鱼网站在技术上完全是可行的。
1.4 不安全的 API
API是指应用程序接口, 在此特指实现云计算用户与服务器之间通信的程序接口。由于云计算的用户使用API对云服务进行配置、管理, 因此安全性差的API会成为黑客进入云计算服务器的有效门票。
此外, 拒绝服务攻击、云计算服务滥用、共享技术漏洞也是威胁云计算的重要因素。
2 云计算主动安全防御系统模型
根据云计算数据服务平台的功能和规模, 可以将云计算主动安全防御系统分为两个层次:管理层和技术层, 两层模型分析如下:
(1) 管理层。云计算数据服务运行过程中, 云计算数据服务管理具有重要的作用, 其位于安全模型的核心层次。云计算数据服务管理的对象包括技术、用户和制度等。云计算数据服务技术的管理可以采用相关的策略促进分散安全技术成为一个集成化的、纵深化、相互协调互补的有机整体, 最终使各级安全措施能充分发挥作用, 以便能够有效地提高网络安全的防护性能。
(2) 技术层。云计算数据服务主动防御技术包括预警、保护、检测、响应、恢复、反击等六种, 从六个不同层面进行深度防御, 能够及时有效地发现云计算数据服务中存在的安全威胁, 采取保护措施, 发现网络中潜在的攻击行为, 做出响应, 恢复网络运行, 并且可以根据攻击行为进行反击。
3 云计算主动安全防御技术
云计算数据服务主动防御技术可以有效地检测已经发生的、潜在发生的安全威胁, 采取保护、响应和反击措施, 保证网络安全运行。
(1) 预警。构建包括漏洞预警、行为预警、攻击趋势预警、情报收集分析预警等环节的网络体系。漏洞预警可以根据已经发现的系统漏洞, 预测未来发生的威胁;行为预警可以分析用户行为, 将其分类存储在专家系统中, 基于用户行为预测威胁;攻击趋势预警可以采集已经发生或当前正在发生的攻击数据, 分析攻击趋势;情报收集分析预警可以通过各类数据挖掘算法, 采集、分类、建立情报信息攻击模型, 发现攻击趋势。
(2) 保护。云计算数据服务安全保护是指采用静态保护措施, 保证数据信息的完整性、机密性, 通常采用防火墙、VPN (虚拟专用网) 、PGP数据加密等具体技术实现。
(3) 检测。云计算数据服务检测是云计算数据服务主动防御系统的重要环节之一, 其可以采用入侵检测技术、安全扫描技术、实时监控技术等检测是否存在非法的数据流, 是否存在安全漏洞, 目的是发现中潜在的攻击行为, 有效地阻止攻击。
(4) 响应。如果云计算数据服务预警攻击即将发生或者网络攻击已经发生, 主动响应技术可以及时做出攻击防范, 将攻击带来的危害降低到最小程度。主动响应技术能够及时判断攻击源位置, 搜集攻击数据, 阻断攻击行为。响应需要将多种技术进行整合, 比如使用网络监控系统、防火墙等阻断攻击;可以采用僚机技术或攻击诱骗技术, 将攻击引导到一个无用的主机上去, 避免攻击造成网络瘫痪。
(5) 恢复。云计算数据服务攻击发生后, 可以及时采用恢复技术, 使网络服务器等系统提供正常的服务, 降低攻击造成的损害。因此, 为了能够确保云计算数据服务受到攻击后及时恢复系统, 需要在云计算数据服务日常运行过程中做好系统备份工作, 系统备份可以采用的技术包括现场内备份、现场外备份、冷热备份等。
(6) 反击。云计算数据服务反击是主动防御系统区别于静态防御系统的一个非常重要的特征。云计算数据服务反击可以采用的具体措施包括病毒类攻击、欺骗类攻击、控制类攻击、漏洞类攻击、阻塞类攻击、探测类攻击等, 这些攻击手段可以有效地阻止云计算数据服务攻击行为继续发生, 但是反击需要遵循云计算数据服务安全管理法规等。
4 结束语
随着云计算数据服务技术的快速发展, 云计算数据安全防护也成为一套动态的、复杂的、需要实时更新的防御系统, 通过融合数据挖掘技术、漏洞检测技术、响应攻击技术等, 构建一个多层次、全方位的主动防御系统。
参考文献
[1]吴慧, 于炯, 于斐然.云计算环境下基于信任模型的动态级访问控制[J].计算机工程与应用.2012 (23)
[2]周茜, 于炯.云计算下基于信任的防御系统模型[J].计算机应用.2011 (06)
[3]苏剑飞, 王景伟.网络攻击技术与网络安全探析[J].通信技术.2010 (01)
[4]宋宜昌.网络安全防御技术浅析[J].网络安全技术与应用.2010 (01)
云数据服务 篇7
1 大数据时代“云服务”的特征
在信息发达的现代社会, “云服务”带给我们非常好的数据存储平台。我们可以将自己的信息放到云端, 以便于随时随地的应用。将云服务的主要特征划分为以下几个方面:一, 方便快捷。“云服务”的普及, 使得使用者具有了一个内存大且不易丢失的存储工具, 人们只要将数据信息传到上面, 就可以放心的查看, 使用, 大大的节省了时间, 给人们的生活带来便捷。二, 高性能, 高可靠性。“云服务”的各个单元相互独立, 不会互相影响, 它们有各自的软件及硬件资源, 提供了高性能的服务。同时, 在云端, 提供各种数据的存储以及备份, 还可以在工作失误的情况下, 提供恢复的服务, 大大的提高了使用的可靠性。三, 隐私问题的保护和安全性有待提高。每件事情都有两面性, “云服务”也有。如何保证用户的数据不被非法的查看、盗窃、修改, 是现在技术方面要着重考虑的问题。
2“云服务”信息安全隐患产生原因
2.1 前期开发阶段安全性不高
软件在开发过程中, 设计者没有考虑到来自互联网方面的各种危害, 没有对软件本身的安全度加固。还有就是监管不到位, 使用者没有注意到软件的防护与定期监管, 就会使得各种恶意软件有了入侵的机会。
2.2 使用者安全意识淡薄
使用者在注册登录的时候设置的密码过于简单, 大大的降低了安全度。此外, 没有做好安全加固和内部访问设限等都是潜在的安全隐患。
2.3 黑客对信息的窃取
因为“云服务”的大范围使用, 用户会将很多重要信息传到云端, 这样就吸引大部分的竞争者。他们想要窃取并修改对方的信息, 以造成对方的巨大损失, 这样就产生了很多侵入别人信息内部的黑客。黑客是“云服务”信息安全的重大隐患。
2.4 相关使用法律不规范
“云服务”的相关法律法规存在不规范之处, 其对于使用者缺乏有效的监管与约束, 从而造成了大量的使用者肆意妄为的现象频频发生。
3 大数据时代“云服务”信息安全保护的重要性
因为“云服务”使用的范围广泛, 大到国家, 军队的相关信息, 小到企业, 个人的相关信息都与“云服务”密切相关。一个信息的泄露有可能影响到全局的发展, 所以提高安全性是必要的。
信息是一种资源, 而信息安全主要包括信息的完整性、可用性、保密性和可靠性。完整性是指确保信息完整, 不能丢失。当用户将数据传输到云端, 要确保数据永久存在, 这样才可以让广大的使用者产生信任, 吸引更多的使用者。可用性是指数据传输成功后, 当用户再次使用, 应确保数据仍旧可以被使用。保密性是指信息不能被泄露和修改。最后一个可靠性是指这个平台无论是本身存储方面, 还是后期的管理方面, 都要确保万无一失。这样才能使“云服务”更加广泛、放心地被使用。
4“云服务”信息安全保护措施
4.1 加强技术保护
技术能力的提高是信息安全保护的直接方式。在网络普及的现代, 侵权者的手段在不断的提高, 过去保护的方法已经被破解, 为了信息的安全存储, 技术方面的提高迫在眉睫。在各方面迅速发展的情况下, 研究新型的技术, 培养高技术人才是网络信息安全保护的重大任务。
4.2 加强监管能力
这里的监管包括软件自身的监管, 行政监管和本身使用规范的监管三方面。软件自身的监管就是要增强软件自身防恶意侵袭和对软件时刻监管的能力, 只有这个能力增强了, 软件自身的可靠性也就大大的提高了。行政监管就是网络安全部门要制定相关的制度, 必须明确使用者权限以及越权的相关惩罚。本身使用的监管就是使用者本身要有自我约束能力。
4.3 增强加密系统
设置加密系统, 首先要设定用户权限。具体表现为;为不同用户设置不同的使用权限, 当非本人操作时, 就会发出报警和自动加锁。其次要对数据进行加密, 当用户申请访问数据时, 就会有相应的解密, 如果解密成功, 就可以访问。反之, 就会发出报警。当然, 针对时间长久遗忘了相关加密信息的使用者, 也应该有相关的验证, 然后重新获取。
4.4 增加相关保护法则
近年来, 国家越来越致力于大数据的应用, 那么越来越多的重要信息被传入到“云服务”。这些数据都是至关重要的, 应该添加重要的法则加以约束。
5 结语
大数据和“云服务”的时代已经到来, 各行各业得到了迅速的发展, 这给我们带来众多益处的同时也带来了更多的机遇和挑战。我们应该积极的面对, 不断地发展, 提高使用的安全性, 让使用者更加放心的使用, 让时代快速发展。
参考文献
云数据服务 篇8
关键词：云平台,结构化数据,分布式计算,并行计算,海量数据
0 引言
企业通过信息时代的编程技术、数据库技术和网络技术实现了企业办公自动化、经营决策管理信息化和生产过程信息化, 革命性的提高了运营效率, 但是对信息获取手段的落后, 使得信息的采集和长久保存都十分困难和复杂。目前, 解决海量数据并发处理较为成熟的新技术是Hadoop, 但它更多的是针对互联网行业百万以上小用户微粒度数据库实例的高并发处理问题, 并不是为海量结构化关系型数据聚集条件下单一大数据实例应用而设计。因此, 我们将站在全新的大数据应用高度, 对新的技术架构进行探索和研究, 以便更为合理的解决企业大数据应用的关键技术难题。
1 系统设计
构建企业大数据应用的客观技术前提, 主要可分为海量数据的存储架构和海量数据的服务架构两个方面:
(1) 快速读写的海量数据存取架构
海量数据的存取架构主要指在架构层需能够满足海量数据的存取处理能力和存储容量。当数据从多个来源方向向海量数据的数据池中汇入时, 数据存取架构能够在目标时间内完成处理, 并且具备水平扩展能力, 适应未来数据递增的各种条件。
(2) 快速响应的海量数据服务架构
数据服务架构是指海量数据在数据池中汇总完成后, 数据如何对各类企业决策层和企业业务层提供服务。当数据服务的请求者将一份数据服务请求涉及到多个原本跨业务系统、数据表或复杂查询时, 在数据服务架构层能够以最终结果数据量 (包括硬件处理能力) 为目标, 快速将数据服务结果反回给服务请求者。这将需要海量数据服务架构能够对各类无属性关联性的数据实现透明化管理, 对各类数据服务能够预定义快速处理的操作策略。
如图1所示, 我们按照SOA设计原则把整个平台逻辑分割成4大部分。包括:数据云协调管理器、数据云执行处理器、数据云分片管理和数据云存储。
数据云存储为整个平台数据持久化子系统, 它负责平台所有的数据的存储, 我们可以看到数据云存储部分共有3个节点, 其中A节点为没有分片的节点, 这里需要说明的是我们的平台除了支持分片集群外也支持非分片存储库的接入, 从而使许多遗留的非分片存储库可以享受平台带来的众多好处。节点B是一个分片集群, 从图中可以看到数据被分片到了3个不同的数据库中。节点N代表理论上可无限扩充的分片集群, 根据实际的存储需要和性能需求我们可以接入更多的分片集群来满足需要。
数据云分片管理提供用户对数据云存储的管理中的分片集群和非分片存储库提供统一的管理入口。它提供两种交互方式, Web页面的方式和WebS ervice方式。其中的功能部分可以支持用户对分片的管理、数据源的管理、数据迁移的管理和数据虚拟大纲的管理。
数据云执行处理器是负责整个平台数据处理执行的子系统。该处理器通过用户设定的执行策略来执行具体与数据相关的业务逻辑。它从用户那里得到要处理的业务逻辑, 从后台的云数据存储中得到对应的数据, 最后按照事先设定的策略进行计算和处理。
最后是数据云协调管理器子系统, 可以把它看成整个平台的核心。用户可以在这里定义具体的业务逻辑、将业务逻辑分配给指定的执行处理器、设定执行处理器处理执行这些业务逻辑, 并结合底层云的弹性计算架构对执行管理器进行调度管理。它提供了Web和WebS ervice两种交互方式, 用户可以通过界面或者接口来进行相应的操作。
2 技术实现
考虑到通用性、高效性、平台移植性和安全性的需求, 我们选用JAVA作为平台的实现语言。借助其广泛成熟的类库是实现平台级系统的首选。Java虚拟机我们选用了成熟可靠的JDK6, 它在动态语言方面提供了更好的支持。在数据持久化方面, 我们选用了Hibernate和Hibernate Shards作为数据持久化框架和数据分片框架, 他们都是广受好评的开源框架具有灵活的可扩展性和完善的支持。最后, 在业务逻辑脚本解析方面, 我们选用了动态语言作为业务逻辑描述语言。JDK6提供了广泛的动态语言支持, 包括Groovy、Javasript和JRuby, 我们选用Groovy作为我们平台的首选动态语言。
3 实验
我们通过系统研发构建了一个数据服务云平台的早期版本, 将其部署在了Amazon云计算平台。以测试其性能表现。亚马逊Redshift是由美国亚马逊Amazon建立的PB级规模的数据处理系统。这是一个构建在亚马逊AWS云服务平台的DaaS [1] (数据即服务) 的数据处理系统。
数据服务云平台和Redshift都支持并行数据访问。Redshift使每个节点上的CPU和内存资源平均分配给查询处理。数据服务云平台则支持相同的放置多个“切片”在同一台物理机器上, 或者使用分布式存储在不同的机器上, 或两者兼而有之。数据服务云平台和Redshift都基于“无共享”架构, 所以可以简单的理解成:你有几个节点就可以获得几倍的性能提升。
测试配置
16个节点。
Redshift分配16个XL节点和1个LeaderN ode
数据量为120G Raw Data
数据服务云平台 (16个节点共120G可用内存、64个计算核心、13340MB本地数据存储) 、Redshift (16个节点共240G可用内存、70.4个计算核心附带LeaderN ode、32000MB本地数据库存储)
响应时间 (三次查询均值)
注释:1、蓝色为数据服务云平台, 橘红色为 Redshift; 2、柱子越短代表性能越好
4结论
性能测试结果充分证明了基于分片和虚拟化技术来处理海量结构化数据的可行性。可以看到大多情况下数据服务云表现良好。但需强调的是我们的数据服务云平台运行在更少的资源和更低成本组成的系统上, 总体成本只有Redshift的三分之一。可以确信的是如果付出与Redshift相同成本的情况下, 数据服务云平台集群的可以获得更好的性能。随着计算节点增加, 处理能力呈线性提升。更好的满足数据加工和查询的同时, 更可以享受到云计算技术带来的所有好处:高性能、可伸缩。
参考文献
云数据服务 篇9
2013年伊始, 数据中心产业热潮迅速来袭。1月12日, 工信部等五部委联合发布了《关于数据中心建设布局的一些指导的意见》, 加速我国的数据中心, 特别是大型数据中心的合理的布局和健康的发展。不久后的1月23日, 华通携手阿里云搭建云数据中心。
事实上, 2012年, 在政策利好以及市场需求推动下, 我国数据中心产业规模继续以两位数增速快速增大。互联网、IT、广电等领域企业相继进入, 而云计算模式的兴起打破了市场旧格局。如微软、IBM等已经开始抢滩IaaS领域, 国内互联网企业如新浪、腾讯、盛大、阿里等借助云计算平台推出云主机, 华为、中兴等大型企业也将加入云服务阵列。
那么, 在国内IDC产业竞争惨烈的情况下, 新入互联网企业该如何改变传统数据中心托管和租赁业务, 创新运营模式来发掘IDC产业潜力?民资进入IDC产业对现市场格局带来哪些冲击?电信运营商又该如何利用云计算创新技术和增值应用提高盈利能力?
市场处于大发展时期
“近几年, 随着中国互联网产业的发展以及企业信息化水平不断的提升, 数据中心作为整个互联网和社会信息化重要的基础设施, 已经受到了越来越多的关注和重视。”对于当前数据中心产业的发展趋势, 工信部电信研究院副院长刘多表示, “数据中心市场的规模一直以40%的速度在不断增长, 移动互联网、云计算、物联网、大数据等领域技术发展, 带给整个IDC产业新的热潮”。
纵观2012年, 我国数据中心产业迅速发展, 多个产业政策颁布。2012年6月工信部发布了《关于鼓励和引导民间资本进一步进入电信业的实施意见》, 支持民营资本进入IDC市场, 2012年12月份发布了《关于进一步规范因特网数据中心业务和接入服务业务市场准入的实施的方案》, 开放了IDC牌照申请。
为什么现在IDC产业迎来大发展的时代?工信部电信研究院互联网中心高巍从市场需求方面表示, 首先是由于整个社会对IDC需求旺盛。一方面互联网网民已经到了5.6亿以上, 据测算, 到2015年互联网流量的需求比2011年底增加7到10倍。“这也就意味着产业需要新增160万台以上的服务器, 意味着互联网数据中心的容量需要增加一倍才能满足用户需求。”
另一方面, 企业与政府信息化需求将增长。国内企业信息化的水平比较低, 拥有几千万的中小企业、小型企业, 但是其中只有10%有自己的网站。政府的信息化水平虽然经历了十几年的发展, 但实际上也较低, 仅有9%的政府机构信息化应用比较成熟。
同时, 2012年也是国内云计算落地的一年, 运营商、互联网等企业建成多个“云”化数据中心。在IDC专委会专家季昕华看来, 整个IaaS业务2012年市场规模只有5亿元人民币, 只有1%的比例是使用云计算技术。“所以云计算IaaS市场空间很大, 2013～2014年是众多企业的机会, 预计3年内中国必有3～5个非常大的云计算公司崛起。”
从世界IT产业发展来看, 50%以上IT需求是服务和软件, 但国内80%以上需求是硬件, 这也是国内需要转变地方, 因为大量的企业自有数据中心建设并不能得到充分应用。业内专家表示, 我国政府在不同的场合和渠道, 引导现在的IT采购, 从传统的以硬件采购为主向IT软件采购为主。“而这些采购服务意味着云计算IDC会有很大的发展机会。”
多方企业争雄云服务
在此大背景下, 企业在积极快速地“抢位”, IDC领域竞争越来越激烈。众所周知, 2012年国内三大电信运营商大力发展云计算数据中心, 推出云主机、云存储等多项业务, 积极拓展IDC云服务市场。
与此同时, 传统的互联网企业开始进入这个市场。赛迪顾问云计算研究室总经理吴李知表示, 国外的有亚马逊、Google, 国内的有百度和阿里巴巴。设备厂商, 不管是企业端的或者是用户端的, 也开始纷纷推出基于云的数据中心的服务。微软、用友软件等软件厂商开始进入这个领域。传统IDC厂商也在另辟蹊径, 如2012年11月, 世纪互联宣布与微软合作开拓国内公有云服务的市场。
季昕华表示, 互联网企业提供云服务, 让从零开始“拎包创业”成为可能。创业企业IT资源部署周期可以非常短, 马上进入业务运营阶段。比如亚马逊建立的云平台上, 有个团队只用了一年左右就打造了市值12亿美元的公司。中国企业如何能够复制这种神话?这有赖于互联网公司云服务的支持。
同样, 广电行业运营商也不甘寂寞。据悉, 华通新建设的云数据中心是浙江省内第一个云计算产业园, 在浙江省全省全面形成了大规模面向社会、企业、家庭和个人云服务、云应用的布局和能力。
据了解, 为推进“云计算”产业的全面发展, 华数集团、阿里云、网新科技等知名企业强强联合, 组成“云应用发展的联合体”, 以华数集团网络和云计算基础设施资源、阿里云云计算平台, 以及网新科技软件技术优势, 在“云网络、云资源、云技术、云平台、云应用”等方面发挥各自优势, 打造全资源、全方位的云应用综合服务体。
“华数已推出了‘三朵云’, 包括个人云、中小企业云和政府云, 这些业务在逐步开花, 产生收益。如近期我们拿下杭州市政府的桌面云项目, 部署了3000个手机云桌面, 后期加在一起会有2万个的规模。”华数相关人士表示。
民营资本进入IDC市场
微软一位人士表示, IDC产业链以前是电信运营商与IDC企业提供数据中心主机等托管业务, 新浪、搜狐、腾讯、阿里巴巴等再基于该业务想最终消费者或企业用户提供互联网服务。目前, 随着竞争加剧, 云计算技术的发展, IDC价值开始转型。只要互联网等非传统IDC业务提供企业将数据中心机架、带宽、电源做好, 提供低价优质IT资源租赁服务, 就会有用户或者企业愿意付费使用。
很少有企业甘心成为IDC价值链的最底层, 或愿意不在自己现有客户基础上去扩展业务。“阿里巴巴、盛大都已开展云主机业务, 他们掌握了大量的客户, 也掌握了更多的需求, 有钱为何不赚?”
然而, 在过去几年, 业界企业积累了大量投资电信行业的需求, 因为IDC运营牌照停发, 所以一些企业只能通过不是很合规的方式开展相关业务, 或者以牌照买卖的方式进入这个领域。
2012年6月27日, 工信部发布《关于鼓励和引导民间资本进一步进入电信业的实施意见》, 民资进入电信业的大门被打开, 电信行业向运营多元化、技术融合化等方向发展。2012年12月份工信部发布了规范数据中心和接入服务的实施方案, 意味着IDC业务准入的大门正式打开。
“民营资本的进入为整个行业带来巨大活力。对此, 工信部电信研究院副院长刘多表示, 各行业信息化对数据中心也是提出了很多、很高的要求, 因此, IDC行业应该向运营主体多元化, 客户市场多元化的方向来进行发展。新的市场规则和市场环境也会逐步的建立, 这样对于中国IDC市场的发展和竞争的格局一定会带来非常大的深远的影响。
电信运营商则希望和民营企业优势互补。中国联通IDC运营中心副总经理康楠透露, 在云主机和云存储业务方面, 未来中国联通可能要与民营企业进行合作。“因为现在政府对民营企业开放增值电信业务, 在网络互联互通的质量方面我们还有许多工作要做, 所以面向中小企业云主机、云存储服务方面, 我们下一步可以通过合作, 加大推广力度。”
“但是这个发展不论从政府的角度来看, 还是从用户的角度来看, 从IDC运营者角度来看, 都应推进业务质量的增长, 而不是盲目的规模增长。”工信部电信研究院互联网中心高级工程师高巍指出。
云平台创新电信IDC模式
传统IDC业务包括提供机架、带宽这样资源型的业务, 电信运营商由于网络基础、规模效应和国企背景得以占据优势。而随着云计算时代的到来, IDC传统业务面临IT厂商及互联网企业的竞争, IDC行业创新应用迫在眉睫, 尤其是电信运营商。
对于运营商如何应对市场挑战, 康楠表示, 从未来产业变革的角度来看, IDC作为基础设施的形态可能会更加突出, 新业务不再是一个简单的传统的托管和带宽接入的业务形态, “未来2～3年之后, 我们的业务模式要转移到云服务的模式上, 而把传统的IDC只作为它的一个基础设施”。
从云计算IaaS (基础设施即服务) 层面看, 康楠表示, 目前IaaS还是偏重于底层, 服务价值和利润都不是太高。“未来我们考虑也是要往PaaS层延伸的, 在整个的云平台产业孵化角度, 我们要创新商业模式和服务模式, 打造中国联通的能力云孵化平台, 构建一站式的孵化环境。”
在“软件”配套方面, 中国联通要逐步完善合作伙伴孵化的服务流程和运营的基地机制, 主要体现在一是从市场需求到最终产品端到端的流程要快速的建立;二是捆绑, 包括营销捆绑、解决方案捆绑, 在平台、资源能力的提供方面, 中国联通帮助合作伙伴降低开发成本, 激发整个产业的孵化。
在“硬件”配套方面, 中国联通提供一站式的孵化环境, 包括开发、测试和建立一些知识库、资源、工具等。中国联通未来要打造一个水平的支撑平台, 建立垂直应用, 形成一站式孵化体系架构。“当然, 在PaaS层方面, 我们目前亟需加快与IT软件公司、互联网公司开展合作。”
中国联通聚焦十大数据中心市场
大数据商机：云存储 篇10
如果3000多年前商朝的史官穿越到今天这个时代，他们一定会产生一种对信息数据的眩晕感。
这是一个数据爆炸的世界，人类从未像今天这样随时随地地创造数据。有统计称，现在全球一天创造的数据相当于过去几百年创造的数据。我们可以在互联网上搜索、聊天、购物、摄影、看视频、听音乐、写文档……现在BAT（百度、阿里巴巴、腾讯）各自处理的数据量已达到100P（1P=1024T，1T=1024G））级别。据说淘宝和天猫每天新增的数据量，能让人连续不断地看28年高清电影。
随着数据量的与日俱增，如何方便、安全地存储信息就成了人们考虑的问题。在随处是“云计算”的“云时代”，人们纷纷将数据搬到云端。数据云端化趋势催热了存储市场，各种云存储产品纷纷落地。
“云计算”催热“云存储”
2002年左右，陈进才所在的研究团队正从事一项数字电视台研究，需要存储高清的数字电视信号，当时主流的硬盘大小只有几十“G”（1G=1024M），无法满足存储需求。陈进才想到的办法是，将几个小容量且便宜的硬盘组合成为一个磁盘阵列，每个磁盘阵列大小为1T，总共用了四个这样的磁盘阵列。
“现在在京东、淘宝上很轻易就能买到几‘T’大小的移动硬盘。”回想起12年前的存储条件，陈进才感叹道。计算机科学出身的陈进才现在是华中科技大学光电国家实验室信息存储与光显示功能实验室的科学家，专注于信息存储的基础研究工作。
“硬盘是信息存储历史上具有里程碑意义的发明。我最早使用的硬盘大小只有几十‘M’，现在几百‘G’、几‘T’容量的硬盘都很常见了。”陈进才的硬盘使用史大致与硬盘发展史相当。
不过现在，陈进才可能要跟硬盘说拜拜了。人们逐渐将数据搬到云端，而不是硬盘、U盘或者光盘，而这一切都拜“云计算”这个时髦词儿所赐。
“计算和存储是两个密不可分的概念。人们在计算什么？数据。计算的结果是什么？还是数据。只要是数据，都需要有一个场地，这就是存储。”陈进才说，“以前学术界和产业界对计算的投入较多，所以云计算才发展这么快，不过紧接着云存储又落地了，现在网盘已经走进了人们的生活。”
人们日常使用水、电，只要拧开水龙头、插上插头就可以用了，并不需要知道所使用的水和电来自何方。事实上，水、电来自不同的水厂、电厂，并纳入统一的水电供应网络中。云存储也是一样的道理。以前，人们知道一个文档存储在U盘、光盘、硬盘当中，现在数据走向云端，人们不知道数据究竟存储在哪里，但这并不妨碍人们随时随地使用数据。
云存储技术的出现是符合时代发展需要的。这是一个大数据时代，生活在这个时代的人跟商朝史官的最大不同是，人们能随时随地记录和保存自己的历史。人们记录个人历史的方式各式各样，产生的数据诸如文字、语音、照片、视频、消费记录、搜索记录等，五花八门。特别是智能硬件兴起以后，各种可穿戴设备正马不停蹄地记录我们身体的数据。个人拥有的数据量与日俱增，传统硬盘已经无法满足需求，云存储适时出现，缓解了存储压力。
这又是一个移动互联网时代，人们随时随地都在使用PC、笔记本、手机、平板等多种终端设备，而这些设备之间的数据同步和共享问题也日益突出。人们使用数据的场景日益丰富：工作时在单位的PC上办公，有时又需要在其他终端上查看数据；用手机拍摄了照片、视频，想在PC或者电视的屏幕上观看。传统的解决办法是用U盘、移动硬盘等存储介质转移数据，但使用起来总是不便。一旦终端设备或者U盘、硬盘损坏或丢失，造成的数据损失无法弥补。云存储技术则很好地解决了数据同步和共享，给用户带来便捷。
据思科公司发布的《思科全球云指数：2013-2018》报告预测显示，到2018年，全球将有78%的数据量会在云端存储和处理，只有22%的数据会在传统物理介质中存储和处理。对此，陈进才表示：“具体的比例我无法评价，但是数据云端化趋势是明显的，这个预测大方向是对的。”
云存储应用无处不在
正因为数据无处不在，所以云存储也无处不在。近两年，个人云、家庭云、企业云、行业云等各式各样的“云”纷纷问世。
对家庭来说，照片是最值得回忆的纪念。360云盘就打算把用户的照片作为未来发展的重点。“照片对用户来说是很重要的数据。我们想把用户的照片都备份到云盘中，避免用户手机、电脑故障时丢失照片的情况。以后用户也可以在手机的云盘或相册内看到这些照片，实现无障碍查看，且不占用手机存储空间。”360云盘产品经理刘航对《支点》记者说。
云存储的好处还在于能突破传统U盘物理时空的局限。比如人们拍摄了照片，将照片保存并分享到云存储，远在老家的爸妈可以瞬时查看这些照片。类似的使用照片数据的场景很多，而家庭云存储则能很好地满足家庭成员在不同地区、不同场景下查看照片的需求。
随着物联网建设的推进，家庭智能化也逐步实现。“一个家庭就是一个物联网系统。现在家里一般都有好几台移动设备，还有其他的智能设备，比如空调、电视、冰箱等。对这些智能设备的控制、需求都会产生信息数据，而有数据就需要存储配置。家庭云存储能够把这些电子设备共用起来，建立在一个共同的平台上，从而达到数据同步和共享的目的。”陈进才认为，家庭云存储前景广阔，“按照现有技术，家庭云存储很快就能够推广开来。”
云存储在智慧城市建设中也应用广泛。比如城市智慧交通，有了云存储，交警可随时在个人终端上查看道路交通信息。比如智能安防系统，由于要存储大量的高清监控视频，传统的存储方式根本无法满足。云存储不仅能存储大量视频，还能让用户随时随地调取视频数据。又比如在智慧医疗中，云存储平台将人们跟医院等健康机构联系起来。各种可穿戴设备记录人们身体的数据，并实时将数据上传到云端，医生则可随时查看数据并提出指导意见。
nlc202309041205
类似的云存储技术应用还有很多，未来云存储将在智慧城市的各个细分领域都将得到长足发展。据IDC的《2020年的数字宇宙》报告预测，到2020年数字宇宙的规模将达到40万亿GB，其中40%的数据将会在云服务商那里被存储或处理，15%的数据将始终存储在云中。
业内混战跑马圈地
尽管云存储市场空间巨大，但无论是美国，还是中国，云存储行业还处于起步阶段，市场中还没有形成占绝对优势领头羊的局面。
比如在美国，不仅苹果公司推出iCloud云存储服务，其他巨头如谷歌、亚马逊和微软也纷纷角逐云存储市场。而Box这样的初创公司也开始与大牌公司Dropbox（世界上最大的云存储服务公司之一）抢市场。一时间，美国云存储市场好不热闹。
国内云存储市场也热闹非凡，互联网巨头和初创企业纷纷在云存储市场上跑马圈地，并没有哪一家处于很明显的优势地位。网盘作为针对个人用户的一种云存储产品，尤其受到青睐。百度云盘、360云盘、微云、天翼云、115网盘、金山快盘、华为网盘、新浪微盘，都在使出浑身解数，积攒人气。
“现在PC没落了，移动设备越来越普及。云存储可以备份终端设备中的重要资料，防止丢失，各个终端之间也可以同步和分享数据，给用户带来便利。另外，手机制造商也想用云存储黏住用户，资料备份在他们的云存储里，用户换品牌的机会就变少了。”刘航向《支点》记者解释了为什么云存储会引发起众多互联网公司的兴趣。
热闹归热闹，陈进才从热闹中看出了些门道。在他看来，目前国内的云存储服务提供商还处于聚集用户的初级阶段。“通过提供免费的大容量的网盘服务，达到聚集大量用户的目的，再通过提供增值服务收费，比如扩充存储容量等。”
“企业这么做也很无奈。毕竟云存储刚出现，消费者心里没底，如果一开始就收费的话，用户肯定不买账，免费则符合国内用户的心理。”陈进才认为，国内云存储服务提供商还需慢慢探索更有效的商业模式。
刘航也坦言，360云盘还没有找到有效的盈利模式，处于用户积累期。不过他坚持认为：“好的基础服务应该是免费的，未来我们也不会向云盘用户收费。”
陈进才建议，云存储服务商应转向企业级用户要利润。“企业有时会存储大量数据，所以迫切需要云存储。”当然企业可以自建私有云，但云存储技术门槛很高，需要企业投入大量资金购买存储硬件和软件设备建设云存储平台，还得请专业人员运营和维护这一平台，成本投入较大。当然企业也可以把这些工作交给专业的云存储服务商，这就给国内云存储服务商们带来了机会。
未来存储将生物智能化
人类自文明诞生以来，就一直在探索存储信息的方式。从结绳记事到龟甲兽骨，从莎草纸到竹简丝绸，从纸张到软盘，从硬盘到光盘，从U盘到云盘，信息存储能力在越来越强、越来越便捷的同时，人们也越来越注重存储的安全问题。
艾媒咨询在去年底发布的《2014中国个人云存储行业及用户行为研究报告》显示，80.3%的中国网民会选择用U盘存储文件，只有33.6%的网民会选择云存储产品存储文件，同时还显示，有59.6%的网民在选择云存储服务时比较关注存储的安全性。
安全的云存储对用户使用习惯的形成至关重要。一说到“云”，总给人一种虚无缥缈的感觉，用户对于云存储也有这样的感觉。跟U盘存储不一样，数据云端化以后，用户不知道数据究竟存储在哪里，从而对云存储的数据安全产生担忧。
云存储，究竟安不安全？去年闹得沸沸扬扬的好莱坞女星艳照门事件，不禁让人们对云存储安全性产生怀疑。女星的艳照就是从苹果公司的云存储服务iCloud中流出的。
刘航解释说，iCloud泄漏是因为苹果公司对iCloud账户登录没有限制，允许用户反复重试密码，黑客利用这个漏洞开发软件穷举各种密码，从而破解账户盗取文件。
刘航认为没有绝对的安全。要提高安全性能，一方面云存储服务商本身要将安全措施做到极致；另一方面用户也要提高自身安全意识。
陈进才认为，安全问题是目前云存储推广的最大障碍之一，但用户没有必要因此就排斥云存储。“以前我们去银行柜台存钱就觉得安全，而在网上交易则觉得不安全，可现在大家普遍都在网上转账、付款。请给云存储一点时间，未来云存储的安全体系会越来越先进。”陈进才对云存储的未来充满信心。
当然，云存储也并不是人类存储信息的最终形态，事实上云存储的数据依然存储在硬盘上。刘航认为，未来肯定会出现更为先进的存储技术，比如蛋白质存储器。据悉，一个蛋白质存储器的存储容量可达5万GB，与传统光盘相比访问数据的速度更快，且在无电源的情况下还能存储数据。
“互联网预言帝”凯文·凯利在《失控》一书中认为，人造事物和天生事物正在联姻。他说：“机器，正在生物化；而生物，正在工程化。”蛋白质存储器正是生物工程化的体现。未来，蛋白质存储器很有可能会成为继云存储以后存储市场新的增长点。
依靠存储技术，人类知识得以传承。毫不夸张地说，未来人类文明的延续，存储技术的进步至关重要。（支点杂志2015年3月刊）
云数据服务 篇11
互联网是人类历史上成功的科技成果之一,极大地改变了人类的生活方式。移动网络、社会网络、物联网等新兴服务发展,人类社会的数据种类和规模飞速增长,互联网迎来了大数据时代。充分运用大数据作为新型的资源,挖掘有价值的信息,是实现大数据价值的关键所在。大数据服务是指以服务方式封装大数据资源,供用户访问,或对大数据进行处理和分析,挖掘出有价值的信息,为用户提供辅助决策,实现大数据价值的过程。通过云环境能快速获得或动态释放构建大数据服务所必须的计算和存储资源。越来越多云服务提供商提供的面向大数据服务的云服务,为实现低成本的大数据服务构建提供了强大的技术支撑[1,2,3,4]。
在业务需求驱动的促使下,以服务方式进行的,保证服务执行一致性、可靠性和服务质量(Quality of Service,Qo S)的大数据服务发现和组合已经成为研究重点。目前很多研究主要集中在对组件服务求解Qo S上,实现Qo S全局或局部最优的Web服务(Web Service,WS)选择[5,6,7,8]。然而其无法保证组合服务执行时的一致性和可靠性。为了实现服务运行结果的可靠性和一致性,在服务选择时引入事务处理机制[4]。传统的事务模型的ACID特性并不能完全应用在Web服务的事务处理中[9]。本文提出一种利用Web服务事务属性进行服务选择的方法,使得选择出的服务组合运行时是一致的、可靠的。也可以和Qo S服务选择相结合,保证一致的、可靠的运行的前提下,实现Qo S最优选择。
在本文大数据服务事务属性进行服务选择的方法中,首先定义了服务的事务属性,组件服务可以是基本服务,也可以是组合服务,因此分别对两者的事务属性进行定义。其次提出冒险度定义,表示用户事务需求。最后根据事务驱动的服务选择自动机,指导组件服务的选择,通过被选择组件服务形成的组合服务能可靠的、成功的被执行。
2 基本Web服务和组合Web服务事务属性
2.1 基本Web服务事务属性
Web服务事务属性是一个服务和其他服务交互时功能性的实现方式。在组合服务的组件之间交互时,某个组件服务的事务属性出现偏差,导致该组件服务运行失败,还会对其他组件运行产生副作用。组合的Web服务(CWS)是一个交叉型跨组织的系统,所以必须确保一致性和可靠性。依据参考文献[10],对Web服务的事务属性进行了重新定义。
定义1(不可重入性)若具有不可重入性Web服务被成功执行,则其效果和影响不能被语义的撤销,否则不会产生任何影响和作用。具有不可重入性Web服务不能被回滚。下面将不可重入性简写为p。
定义2(可补偿性)若Web服务具有可补偿性,则存在另一个服务WSi可以语义的撤销该服务的执行。下面将可补偿性简写为c。
定义3(可重试性)设Ai(m)为服务WSi的第m次执行事务实例,对于事务Ai∈A,若存在一个正整数n∈N,即使对所有的1≤j<N,Ai(j)都被放弃,Ai(n)仍能确保提交,则服务WSi具有可重试性。下面将可重试性简写为r。
一个基本Web服务不仅可以具有上述定义单一属性,还可以具有复合属性,所以基本Web服务具有的事务属性集合为{p,c,pr,cr}。
2.2 组合Web服务事务属性
组合服务是对现有的Web服务的聚合,它通过这些现有服务的相互协调、相互作用,提供一个新的增值服务,实现统一目标。
(1)组合服务的工作流模式
YAWL是一种过程建模语言,描述一个组合服务的组合逻辑。组合服务使用YAWL中的工作流来表示,一个工作流由许多活动构成,每个活动由一个组件服务执行实现。组件服务业务流程是通过指定组件服务之间的依赖关系实现的。而组件服务之间的依赖关系是通过工作流模式和事务属性定义。工作流模式一般指定组件服务如何被装配到工作流中,以及某组件服务行为是如何影响其他组件服务。事务属性指定在失效情况下的服务行为(如是否为可补偿的行为等)。
服务之间的依赖关系通过如下几种工作流模式实现:顺序(sequence)、AND-split(parallel split)、XOR-split(exclusive choice)、AND-join(synchronization)、和XOR-join(simple merge)。组合服务既可以由基本服务组合而成,也可以由组合服务组合而成。而一个工作流既可以由活动组成,也可以由子工作流组成。
(2)组合Web服务行为属性
下面将组合服务作为整体,定义其事务属性。
定义4(组合服务的原子性)若组合Web服务具有原子性,则当所有组件Web服务成功完成,其效果仍永远不能在语义上撤消。否则,当一个组件服务没有成功完成,那么所有先前成功的组件服务必须被补偿。组合服务的原子性简写为a,非原子性简写为珘a。
定义5(组合服务的可补偿性)若组合Web服务具有可补偿性,则所有组件服务必须为可补偿的。组合服务的可补偿性简写为c。
定义6(组合服务的可重试性)若组合Web服务具有可重试性,则所有组件服务必须为可重试的。组合服务的可重试性简写为r。
定义7(事务的组合服务TCWS):是一个组合服务,事务属性在如下集合中{a,ar,c,cr}。
通过基本服务事务属性{p,c,pr,cr}和组合服务事务属性{a,ar,c,cr}的定义,根据输入初始状态和用户提出事务需求,将决定为工作流装配每个组件服务的事务属性。同时为服务提供失效处理和补偿机制提供依据。
3 事务驱动的服务选择自动机
3.1 冒险度的定义
由于工作流装配每个组件服务的事务属性是由输入初始状态和用户提出事务需求两者决定的,但是用户事务需求不同于Qo S需求,可以使用一些具体值提出,而一个服务被成功执行的概率(通过事务属性反应的)将直接决定服务是否被用户选择和接受。本文提出反映服务被完成和恢复的确定性标准—risk(冒险度)。通过risk不同等级反映服务被完成和恢复的确定性。
定义8(冒险度等级)冒险度存在两个等级:risk 0等级,如果一个执行服务被完成,其结果是可以被补偿的。即用户可以执行一个服务语义撤销前一个服务。risk 1等级,如果一个执行服务被完成,其结果不能保证是被补偿的或语义上被撤销的。
根据上面的定义,以组合服务事务属性为例,组合服务行为属性{a,ar,c,cr}可以被分为两个子集:{a,ar}和{c,cr}。对于{a,ar},由于服务被执行后不能回滚,这两个元素拥有相同的risk等级—risk 1。而{c,cr}则为—risk 0。
3.2 事务驱动的服务选择自动机
从初始状态开始,组件服务在不同工作流模式中使用不同的装配过程。每装配一个服务可以获得一个组合服务的事务属性,直到n个服务被装配完成,可以获得最终组合服务事务属性。在顺序结构中服务从左到右装配到活动中。根据已经装配好的服务事务属性和用户定义的risk等级,选择合适的组件服务装配到下一个活动中。装配好的组合服务是事务的。在分支结构中(主要指AND模式)服务从顶到底的装配到活动中。在AND-split结构中组合服务获得事务属性是从里向外从基本服务装配开始。
在获得组合服务事务属性时,每装配给工作流中的活动一个服务,就获得一个新的组合服务,当前组合服务事务属性通过以前被装配的服务(可能是一个组合服务,也可能是基本服务)事务属性和新组装的服务事务属性获得。当组装完最后一个活动的服务,获得最终的组合服务事务属性。以前被装配的服务和新组装的服务类型可能出现组合形式为WS和WS、WS和CWS、CWS和WS,及CWS和CWS,其在不同工作流模式中形成组合服务属性取值如表1-表4所示。
表1-表4中,不同工作流模式下新组合服务事务属性的获得,是根据定义1至定义7获得。有些组合服务获得事务属性为,是不能保证其被成功地、可靠地执行。所以应对每个要装配到工作流中服务进行选择,使得被选择的组件服务被装配后组合服务属性在{a,c,cr,ar}中。因此得到了如下指导组件服务选择的规则。其中,ai表示在工作流中已被装配的服务,ai+1表示将要被装配到工作流中的服务,ai,ai+1∈{WS,CWS}。
根据以上规则推导出如图1所示事务驱动服务选择自动机。在自动机中p,pr,c,cr,a,ar表示服务的事务属性,SEQ表示以顺序模式组装,PAR表示以并行模式组装。在图1中工作流的初始状态为{Fic(c),Fic(p),Fic(a),Fic(cr),Fic(pr),Fic(ar)}六种,以初始状态为p或a为例,说明利用该自动机进行服务选择过程。当初始状态为p或a时,如果工作流模式为顺序结构,则必须选择事务属性为{pr,cr,ar}的组件服务组装到下一个活动中。即该服务必须是可重试的。如果工作流模式为分支结构,则必须选择事务属性为cr的组件服务组装到分支活动中。另外还可以看到以p或a为初始状态时,无论是哪种工作流模式,组装多少个服务,最终得到的组合服务的事务属性为a。
3.3 事务驱动的服务选择算法
根据输入的工作流,以用户提出的冒险度为依据,从初始状态出发自左向右、自顶向下的,通过服务选择自动机指导每个组件服务选择,从而达到确保组合服务能被可靠的、成功的执行的目的。服务选择算法如下:
输入:冒险度等级(risk 0或risk 1)和由n个活动构成的工作流(a1,a2,…an)
输出:n个被选择的组件服务
4 事务驱动服务选择的仿真实验
为了有效的验证上面提出的事务驱动的服务选择机制,选用配置为:Core II 1.07 GHz、内存为1,014MB、Windows Vista、Java 2 Enterprise Edition V1.5.0的实验环境,实现了基于自动机的服务选择算法。
实验中输入工作流如图2所示。
为图2中每个活动产生15个候选服务,每个候选服务的事务属性在{p,pr,c,cr,a,ar}中,Qo S向量取值按照其对应的事务属性在其区间中选取。对于不同事务属性,Qo S向量取值范围如表5所示。
对于某个组合服务采用score量化表示,,其中n为组件服务的个数,wi为Qo S属性的权重,qi为Qo S属性值。在该实验方案中,为每种Qo S属性选择了如表5和表6所示的七个权重。Execution price(执行代价)和Execution duration(执行时间)两个Qo S属性的权重占到了总权重的60%,所以重点观测了随着这两种属性的权重变化,依据不同冒险度,按照有限自动机为工作流中每个活动选择不同事务属性组件服务,形成组合服务的score变化。
在图3中给出了随着执行价格所占权重增加,不同冒险度等级的组合服务score变化曲线。图中可以看到如果价格标准对于用户来说很重要,即价格所占比重较大的场合,应该按照冒险度等级为risk 1,通过有限自动机选择相应事务属性服务。由于冒险度等级为risk 0服务需要生成事务的补偿机制,花费的代价比没有补偿机制要大。而价格权重越大,risk 0的组合服务的score会越低。所以根据事务驱动的有限自动机选择的服务,能真实的反应出组合服务的特征,并为服务优选提供依据。
图4给出随着执行时间所占权重增加,不同冒险度等级的组合服务score变化曲线。图中如果时间标准对于用户而言很重要,即时间所占比重较大的场合,应该选择冒险度等级为risk 0。通过有限自动机选择事务属性为{c,cr}的服务。由于冒险度图3等级为risk1服务没有补偿机制,不能被语义的撤销,使得请求被响应时间延长。
通过本实验反映出:依据冒险度等级,利用事务驱动服务选择有限自动机,既保证了选择出的组件服务一致性、可靠性,还可以再依据Qo S属性为用户提供最佳组合服务。
5 结束语
组合的Web服务是一个交叉型跨组织的系统,在一个组合服务的几个组件交互时,某个组件服务执行时出现了一些意外行为,这不仅会导致本服务运行失败,还会对其他组件运行产生副作用。在组件服务选择时如果注重Qo S最优,没有考虑其事务属性,则可能导致组合服务运行失败,或产生副作用。为了保证组合服务的一致性、可靠性,本文讨论了在组件服务选择时,先从事务属性出发,根据事务驱动服务选择有限自动机,选择组件服务形成组合服务也是事务属性的,保证了其执行时的一致性和可靠性。
参考文献
[1]程学旗,靳小龙,王元卓等.大数据系统和分析技术综述[J].软件学报,2014,25(9):1889-1908
[2]李德毅,林涧华,李兵等.云计算技术发展报告[M].北京:北京科学出版社,2012.54-58
[3]L.Y.Xiao,Z.Wang,R.Wang,and H.N.Wang.Architecture key technologies of cloud computing[J].Advanced Materials Research,2013,756-759:1953-1956
[4]Muhammad Younas,Kuo-Ming Chao.A tentative commit protocol for composite web services[J].Journal of Computer and System Sciences,2006,72(7):1226-1237
[5]M.C.Jaeger,G.Roec-Goldmann,and G.Muehl.Qo S Aggregation for Web Service Composition Using Workflow Patterns[C]//Proceedings of the Eighth International Conference on Enterprise Distributed Object Computing.Hawaii:IEEE Computer Society,2004:149-159
[6]D.Menasce.Composing Web Services:AQo S View[J].IEEE Internet Computing,2004,8(6):88-90
[7]B.Wu,C.H.Chi,and S.Xu.Service Selection Model Based on Qo S Reference Vector[C]//Proc.IEEE Congress Services.Salt Lake City:IEEE Computer Society,2007:270-277
[8]L.Zeng,A.N.B.Benatallah,M.Dumas,J.Kalagnanam,and H.Chang.Qo S-Aware Middleware for Web Services Composition[J].IEEE Trans.Software Engineering,2004,30(5):311-327
[9]A.Portilla,G.Vargas-Solar,C.Collet.Contract Based Behavior Model for Services Coordination[C]//Proceedings of the third International Conference on Web Information Systems and Technologies.Hawaii:IEEE Computer Society,2007:109-123