云端数据库

云端数据库（精选10篇）

云端数据库 篇1

0 引言

随着学术界和业界对于大容量数据存储和高性能计算需求的增加, 传统的数据存储解决方案已经很难满足用户日渐增长的数据存储、管理和容灾备份需求。在这样的背景下, 云存储技术应运而生。

1 云存储的产生和意义

随着技术的进展, 存储数据转移的趋势正在逐渐形成。每一天都有大量的新数据被创建, 需求量与日俱增, 如何安全便捷的获取到这些数据便成了当下各企业的IT部门以及各大供应商的一个首要问题。

传统的数据存储解决方案, 由于扩展性差, 技术架构过于老旧, 当用户数据不断增加时, 只好通过添加高端存储设备予以解决。而随着系统整体运行环境变得日益复杂, 管理和运营成本不断推高, 产生了更多的能源消耗。

针对这一问题, 形成一个大规模的、高性能低成本的解决方案———即基于云计算的云存储技术。而客户也将通过实时压缩功能、复制和数据迁移的改进来体验到数据管理系统效率的提升。

云存储是在云计算 (Cloud Computing) 概念上延伸和发展出来的一个新的概念, 当系统主要提供海量数据存储和管理服务时, 那么云计算系统就转变成为一个云存储系统, 所以云存储是一个以数据存储和管理为核心的云计算系统[1]。

2 云端数据管理系统设计目标

本文的设计目标是完成一个基于云计算技术的数据管理系统的设计。系统依据分布式系统的部署方式, 通过提供存储节点集群以及管理节点, 创建系统的底层硬件环境。同时利用No SQL数据库Mongo DB的分布式特性, 进行海量数据的存储, 索引和管理。在此基础之上, 利用二级数据缓存技术, 引入Memchache加强数据的聚合以及数据的快速返回, 提供较好的用户使用体验[2,3]。同时对于系统的I/O操作进行有效优化, 以期提供更快更有效的数据访问方式。在系统的可扩展性方面, 则依靠Mongo DB在部署工程中提供的弹性, 满足了大规模数据访问服务的需要。该设计方案集中体现了当前基于云计算技术的分布式数据管理系统的设计与实现上的常用思路和解决方式。

以下是主要的系统设计目标: (1) 系统能够支持并发用户访问数目要达到10万规模, 即能同时支持数十万在线访问; (2) 系统能够支持PB级数据访问量, 同时保证数据可靠性和数据的无差错访问; (3) 系统能够支持大并发, 大数据量访问的同时, 保证系统页面的响应时间在5秒钟以内; (4) 系统能够支持横向分布式扩展。只需要通过集群的服务器数量的递增, 即可满足系统扩展需求; (5) 系统能够提供管理员界面, 并且用来进行集群的日常维护和特殊情况下的系统监控和数据可靠性。

3 云端数据管理系统的功能结构

基于云计算技术的数据管理系统, 其在线数据存储端需要提供的功能是对于用户的操作界面以及与后台逻辑层面的接口支持, 其中包括:用户管理, 数据管理, 后台系统管理, 以及高可用性管理等功能模块。

用户管理模块:该模块的功能涵盖了所有普通用户, 以及企业用户的Web端操作。该模块提供了用户操作中需要的所有交互接口, 以及应用接口实现。

数据管理模块:该模块的功能包括了系统在服务器端所做的操作。

后台系统管理模块:该模块的功能主要集中在系统监控, 管理员信息修改, 权限赋予, LDAP服务器配置以及系统数据分析、聚合。

系统高可用性管理模块:该模块负责对系统HA的配置以及相关自检机制, 系统主备服务器手动切换的触发。

4 系统架构设计

根据系统的功能需求分析, 结合本研究项目的技术选型, 包括比较不同技术的优缺点, 关键特性。在系统的架构过程中, 选择了基于No SQL技术的Mongo DB, 以及用于数据缓存的Memcached组件。通过使用这些不同的技术手段, 可以得到图1所示的架构设计图。

根据系统架构图所示, 这里给出了系统运行时, 各个模块的行为描述: (1) 用户的数据访问请求 (Request) 将会被数据管理系统Web端接收, 然后查询系统Memcached缓存, 期望提高一次数据访问命中率, 提高系统响应速度。 (2) 数据管理系统后台管理框架将会提供六大管理功能:集群管理功能, Provision功能, 网络管理功能, 软件管理功能, 消息管理功能, HA管理功能。 (3) 集群管理功能将会承担对于Memcached服务器集群, 数据库服务器集群, Mongo DB集群的操作管理功能, 保证集群的正常运行。 (4) Provision功能可以完成集群的部署安装以及节点替换, 系统重装等基本服务。 (5) 网络管理功能可以完成网络发现以及集群节点分组定义。 (6) 软件管理功能可以完成软件安装和升级, 同时包括内核驱动更新等等。 (7) 消息管理功能可以实时监控集群服务器运行状态, 并且发送机器Alert或者系统警告通知。 (8) HA管理功能可以帮助管理员完成主要节点的备份工作。 (9) 系统数据库提供系统运行参数以及运行时数据保存, 该数据库与用户数据库完全隔离。用户数据库提供用户数据索引的检索以及用户帐户信息的存储。 (10) Mongo DB集群提供分布式文件存储技术, 保证海量用户数据的存储以及快速操作能够快速完成。

综上所述, 通过引入基于No SQL技术的Mongo DB, 以及内存缓存技术组件Memcached, 包括后台管理系统的搭建。本文所需要完成的系统优化以及IO层次的两级存储方式, 就可以构建完毕。

5 总结

近十几年来, 互联网有了长足的进步和发展, 云计算成为下一代计算技术的研究热点。其实追根溯源, 云计算与分布式计算、并行计算、网格计算、互联网技术都关系紧密, 更是虚拟化、Saa S、SOA等技术混合演进的结果, 它提供了一种安全、快速、便捷的数据存储服务和计算服务[4], 使得互联网成为每个用户的数据中心和计算中心。

参考文献

[1]杨振贤.基于云计算的安全数据存储研究与设计[J].信息安全与技术, 2011, 11 (15) :72-79.

[2]付惠惠.一种分布式存储管理原型系统客户端软件的设计与实现[D].北京交通大学, 2011.

[3]刘媛.个人云存储技术研究[D].电子科技大学, 2010.

[4]王萍, 张际平.云计算与网络学习.现代教育技术, 2008, 18 (11) :1-2.

泥土和云端里的大数据 篇2

中国农业部2011年底成立市场预警专家委员会，首批确定10名委员，建立沟通交流机制，职责之一是密切关注国内外农产品市场运行情况，及时提出政策建议。

美国意外天气保险公司利用美国气象局和农业部公开的气象、产量、土壤等数据，租用大数据分析平台，预测不同品种农作物的来年产量，为农户提供价格保险产品，2011年底获得超过5000万美元的风险投资。

农产品价格的循环波动客观存在，影响因素包括农资价格、劳动力成本、需求数量、政府政策、资本运作、自然灾害和汇率期货等诸多方面，描述这些因素的信息资源构成了影响农产品价格的大数据。这些大数据来源于生产交易的“泥土”，反映在资源网络的“云端”，善于利用，价值巨大。

“大数据”从英语“Big Data”翻译而来，维基百科将其定义为“无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”。数量庞大、种类复杂、增速迅猛是“大数据”的明显特征，以往所说的“信息爆炸”、“海量数据”等已不足以描述数据对于日常活动乃至国计民生的重要价值。“大数据”得到信息科技企业的重视，IBM公司在2012年3月发布的年报中明确指出该公司的核心竞争力在于“gusher of data”（汹涌而出的数据），其新任CEO表明将依靠大数据分析取得今后5年业务发展的动力。“大数据”甚至上升为国家意志，也在2012年3月，美国奥巴马政府公布了“大数据研发计划”，首批投资2亿美元，目标是改进人们从海量和复杂的数据中获取知识的能力。“大数据”蕴含的潜力，可见一斑。

大数据的生命力在于持续积累

随着信息科技的发展，无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得大量的新数据无时无刻不在涌现。任何事物的发展都有一个过程，会不断释放有关事物发展过程和结果的事实，相关数据的持续积累蕴含勃勃生机，有望使掌握数据的一方在事态发展中争取主动。

1997年，一台名叫“深蓝”的计算机击败了当时的国际象棋冠军Garry Kasparov。2011年，另一台计算机Watson在美国电视智力竞赛节目《Jeopardy！》再次战胜前几届的冠军。诞生于传统数据时代的深蓝，通过将象棋规则转化为以0和1形式存在的算法，借助并行处理技术，计算可能的走棋结果，通过扫描数据库将结构化的查询和答案相匹配。而在大数据相关技术帮助下，Watson能够“读取”包括百科全书、报刊、书籍等大量人类知识载体，实时智能分析，回答以人类说话方式提出的不可预测的问题，速度和准确性都超过参与竞赛的人类对手。这两则事例诠释了传统数据与大数据时代下计算机生命力的精彩延续，而其背后是数据的持续积累，非一朝一夕之功。

咨询机构麦肯锡公司2011年5月发布报告《大数据：创新、竞争和生产力的新前沿》认为，当前大数据规模以及其存储容量正在迅速增长，大数据已经渗透到各个行业和业务职能领域，成为可以与物质资产和人力资本相提并论的重要生产要素，大数据的演进将与生产力的提高有直接关系。

大数据的创造力在于发现“关系”

如同显微镜的发明使得人们以前所未有的细胞级水平观看和测量事物，引擎搜索、网页点击、论坛发帖等数据记录使得人们的行为和情绪能够被衡量，来源广泛、表现形式多样的数据之间存在复杂关系，发现其中的“关系”使得判断和决策以数据和分析为基础，而非经验和直觉。

2008年2月，谷歌公司通过对美国大西洋沿岸中部地区网民关于“流感症状”关键词搜索结果的统计分析，推断出该地区关注感染流感的人数比较多，有爆发流感的趋势，这一分析结果比美国政府公布的时间早两周。2008年11月，谷歌公司推出了“流感趋势”免费网络服务，帮助美国境内的人们了解自己所在地区的流感病例爆发情况，提前采取措施，避免感染。美国疾控中心表示，谷歌“流感趋势”服务可以对其现有的疾控监测起到很好的补充作用。可以看出，大数据的持续积累使得量化统计分析“关系”成为可能，从而爆发出鉴别真伪、分析原理、研判趋势、预警潜在的机会和威胁及快速响应突发事件等系列行为，大数据的创造力得到彰显。

基于大数据，应用科学的研究方法，才能提高发现“关系”的客观性。本文引子中提到的农产品价格波动的应对事例，一个是基于专家的经验和判断，定性地识别出价格与影响因素的“关系”；另一个是基于计算机的数据聚类和文本挖掘等方法，定量地识别出价格与影响因素的“关系”。有效利用大数据分析的“关系”，将促进新想法和新见解的产生，甚至带来行业的关键发现。

大数据的破坏力在于威胁信息安全

我国目前的信息安全法规定义在“计算机系统”，而大数据弥漫在计算机、手机、监视器以及所有电子设备上，连接所有人体、生物体和物体，大数据时代没有“可以锁起来”的信息安全，竞争可能从“谁能锁得紧、藏得牢”跃迁为“谁能用得好、用得快”。而透露个人行为、情绪等隐私的大数据，成为威胁社会稳定和信息安全的极大隐患。

与此同时，越来越多的公司、机构等组织需要访问第三方数据来源，并将自己信息与外部信息进行集成以充分获取大数据的潜力。而在目前情况下，市场尚未建立交易或共享数据的成熟机制，尤其对于缺乏竞争强度和绩效透明的公共行业以及利润高度集中的产业，数据获取的障碍客观存在，解决价值挖掘与信息安全之间的矛盾值得密切关注。

而由信息安全衍生出来一系列问题：数据可以轻松复制带来的知识产权问题，不准确数据导致负面结果的责任问题，优化数据使用的工作流构建问题，相关的数据人才短缺问题等等，有待破解。

安讯实现云端大数据分析 篇3

Actuate One本身已经具备极为快速的可视化和分析功能, 再结合亚马逊Redshift的强大性能、可扩展性和低成本优势 (低于1000美元/TB/年) , 任何规模的组织都可以实现超高速的访问和接近思维速度的可视化, 从而可对任何容量或复杂性的实时大数据工作负载进行基于云的业务分析。

安讯产品营销副总裁Jeff Morris表示:“与亚马逊Redshift集成后, Actuate One的用户立即能够扩展数据, 速度与Actuate One扩展用户不相上下。亚马逊Redshift可以提升查询性能, 更快地将数据传输到Actuate One, 并在该平台上直观地显示, 通过拖放界面在几秒内进行重新配置, 显示模式和异常, 产生见解, 从而实现有意义的业务改进。此外, 亚马逊Redshift还能帮助客户克服有关大数据的一大问题, 也就是应将数据存储在何处。如果不是存储在Hadoop平台上, 应该是哪里呢?通过该集成, 已在云中的数据保留原处便可实现Actuate One可视化。”

AWS全球生态系统主管Terry Wise表示:“我们非常高兴地看到安讯将Actuate One、BIRT on Demand与亚马逊Redshift集成在一起。通过该集成, 客户既能受益于亚马逊Redshift的性能、易用性、可扩展性和低价格, 又能充分利用安讯解决方案的丰富分析和可视化功能。

使用亚马逊Redshift实现Actuate One和BIRT on Demand的具体特性和优势

●显著增强可扩展性, 实现Actuate One数据的可视化和分析:亚马逊Redshift让客户能够从单个2TB节点轻松扩展到一百个16TB节点, 存储1.6PB的压缩用户数据, Actuate One让客户能够轻松访问这些数据, 以便进行分析和可视化。借助Actuate One和BIRT on Demand, 客户能够快速轻松地访问他们的所有亚马逊Redshift数据。

●凭借无与伦比的数据处理速度, 在Actuate One中实现即时交互和“思维速度”可视化, 让用户从大型数据集获得见解。

●消除前期数据仓储成本:亚马逊Redshift无需前期费用, 允许客户随用随付。亚马逊Redshift每年每TB的费用不足1, 000美元, 仅为大多数传统数据仓储解决方案成本的十分之一。亚马逊Redshift消除了前期开支, 让客户能够从2TB数据仓库开始使用, 每小时费用不足一美元, 还可根据需要轻松调整群集大小, 从而显著降低客户的数据仓储成本。

与亚马逊Redshift一起运行的Actuate One让组织能够对任何容量或复杂性的数据进行可视化和分析, 这些数据可以来自任何数据源, 包括Twitter、Facebook、印刷存档和机器日志数据。Actuate One可在任何环境中部署, 包括在本地部署或在私有云和公有云中部署, 它支持基于Web的BI, 以及Apple i Pad和i Phone、安卓电话和平板电脑上的移动BI。凭借安讯丰富的经验、久经考验的能力和灵活的架构, 该平台成为组织的首选, 可以帮助他们增强数据可视化和分析能力, 提高盈利能力。

安迅创立并共同引导开发了BIRT开源方案, 该方案目前正被全球超过250万的开发人员使用, 并被用作Actuate One�平台的基础。构建于Actuate One基础之上的应用程序向更多人提供更多企业和消费者见解, 所有BI公司加起来也无法与之媲美-确保组织为大量数据的指数增长和触摸设备的扩张做好充分准备。

云端数据库 篇4

测量仪器中的的传感器通过Wi-Fi、3G等网络将环境实时数据输送到“云端”，再通过机器学习和云计算，把数据更精确地反馈到手机上。这些数字可以清晰地表明你所处位置的pm2.5是多少。

方之熙从不抽烟，可是为了实验，一支烟就成为测试空气质量的最好道具。一旦香烟燃起，PM2.5指数立即上升，实验室里的那道光线也骤然发亮。

这一幕只不过是他日常工作中的管中窥豹，大数据和他24小时的生活已经分不开。

在不少公司、实验室和政府机构，“数据”被捧为21世纪新型“石油”。在方之熙看来，这种“新石油”在2013年最大的变化莫过于“飞入寻常百姓家。”

“大数据的应用已经很大程度地推广到老百姓生活当中去，比如人们上网买东西用支付宝，把钱存在余额宝里。我们出去吃饭总用定位查找哪个饭店最近，这些背后都有大数据在运作，尽管我们看不到。” 方之熙说。

小格子，大世界

英特尔研究院里每个员工的办公室都不过是几平方米的开放的小格子间，方之熙也不例外。

在这里他要用PC处理很多日常事务。唯一特殊的是，在旁邊有一张小圆桌，他可以和同事面对面畅谈。

行走，数字无止境

方之熙的碎片时间也逃不脱工作，在车厢里处理邮件是最常见的一幕。当然他也常用手机地图查找路线，寻找美食餐厅。

视频不能承受之“逆差”

参加视频会议是方之熙最不愿为之的事情。会议往往是从美国时间早八点持续到下午16点，这意味着他要在这个视频会议室从凌晨12点一直呆到次日早8点。而这样的会议差不多每两周就要召开一次。年过的他往往在开会前小憩一会，还要备足咖啡零食，以熬“时差”之困。

但正是这样方便高效的智能办公，见证了英特尔的每一步重大计划与决定。

3D打印，创新的盐

3D打印将是英特尔研究院重要的研究方向之一。方之熙每每要投入30%的精力到此项可能主宰未来的技术中。

咖啡厅里的会议30分

楼下的咖啡店是方之熙除了办公室和家之外的“第三空间”，每周至少有两天他是在这里度过的，常常与属下共进午餐，不时要用手机当面沟通工作，这样最重要的意义在于节省时间。

云端数据库 篇5

1、现在, 随着云计算的兴起和发展, 越来越多的IT管理人员使用云计算来解决他们的数据保护难题。云备份和云恢复的关键优势在于它能够在线 (取代成堆的磁带) 将数据备份至远程站点, 以满足法规遵从及灾难恢复的需要。云备份服务既可作一种网上外包服务 (公有云) , 也可在企业内网以在线服务 (私有云) 的形式进行部署。混合云则是这两种方式的结合:一些任务外包到公有云上, 而另一些任务则在私有云上运行。即可在与云连接的远程站点上独立实施 (企业外部) , 也可与存有备份数据副本 (缓存) 的本地服务器一起进行部署, 以快速可靠地进行临时性恢复 (企业内部和外部) 。

Asigra成立于1986年, 当时人们还未设想过云计算。Asigra使用混合云的方式帮助各类企业备份和恢复服务器、虚拟机、台机和笔记本电脑上数据。早在“云计算”成为流行语之前, Asigra就已经开始提供云备份和恢复服务了。Asigra解决方案通常由知名的电信公司及服务提供商销售, 并且已被众多企业部署在数以万计的远程站点上。

2、图2所示是一个典型的Asigra混合云备份和恢复解决方案概况。两处企业办公地点的服务器和工作站上的数据通过云被发送至WAN连接的服务器, 实现异地容灾以满足法规遵从要求。而运行Asigra软件LAN连接的客户端则用作备份数据的临时站点, 以实现快速和可靠的本地恢复。数据在通过云发送至远程站点以前就会进行重复删除、压缩及加密等操作。Asigra使用行业标准的数据访问方法, 无需使用主机代理和磁带。

云端数据库 篇6

新华社记者欧东衢摄

说起大数据,人们的印象都是海量、云计算、云存储,怎一个“大”字了得。

记者在中国大数据产业峰会发现,大数据正在“化大为小”,变身一个个APP软件,一部部终端,和人们的衣食住行联系得越来越紧密,与企业发展和城市治理息息相关,不知不觉间让我们的生活发生重大改变。

百姓衣食住行更便捷

预约量体裁衣,在线选择款式工艺,工厂生产专属的数据版型,手机支付货款……以大数据为支撑的“互联网+私人定制”模式改变了传统制衣模式。酷特智能工学院副院长王丹琦介绍,他们利用大数据,把所有繁复传统的制衣过程在虚拟空间运算得出结论之后,再同化到物理空间来实施。用数据替代了模具后,每个人都可以成为自己的服装设计师。

大数据能让人们吃得更安全更放心。“扫一下二维码就可以知道农产品是从哪里生产出来,产地环境如何等,视频、图片等溯源技术展现一目了然。”在清华同方展区,工作人员正在介绍全国绿色农业特产示范基地溯源大数据平台。目前与这个平台合作的全国绿色基地约400家,可实现对绿色基地企业在种养殖、加工、检测、流通、营销等环节一体化的数据服务。

大数据在健康方面的应用也越来越多。在腾讯的展区,工作人员展示了一款名为“糖大夫”的血糖仪,“糖大夫”具有24小时实时监测与历史数据记录整理功能,使用者还可以就监测结果通过系统咨询医生。监测数据可以上传至微信端,使用者的子女、亲朋可以通过微信即时获取测试结果。

在出行方面,一辆科技感十足的白色乐视超级汽车Le SEE首款概念车赚足了观众的眼球。这款高度智能的自动驾驶汽车背后离不开大数据处理,一台无人车一天可能要处理十几个TB的数据。在2号展馆,工作人员还展示了如何使用滴滴出行盲人版。据滴滴出行董事长兼CEO程维介绍,近期滴滴专快车日均服务订单超过1000万,这是全世界范围内第一次移动出行突破千万量级。

企业发展定位更精准

大数据不仅改变了人们的衣食住行,还成为企业发展转型的好帮手。

在展区,华为现场模拟了一个刷信用卡减免KTV房费的精准营销活动,展示了银行如何利用大数据技术来实现精准营销的业务场景。首先,业务部门提交一个刷卡免房费的精准营销任务给后台,后台接收到这个营销任务后,通过精准营销平台下指令给华为的Fusion Insight大数据平台,让大数据平台从后台数据库中去获取用户过去几个月的消费信息。然后,华为的数据分析平台会对这些用户消费信息进行数据分析和数据挖掘,计算出符合本次营销活动的客户名单,并将这个客户名单反馈给提交精准营销任务的业务部门。相较于常规操作中人工对客户信息进行筛选和询问,大数据挖掘更全面也更准确高效。

在峰会工业互联网创业与发展论坛上,北京北大方正电子有限公司总裁杨斌介绍,大部分的传统企业是在生产环节布局太多了,缺乏用户思维,大数据则可以帮助企业找准定位。在中科天玑展区,其大数据服务事业部副总经理吴琼介绍,利用数据采集、数据分析挖掘方面的核心技术,可帮助企业实现用户画像、消费者需求洞察,进而协助企业实现精准广告投放和社会化营销,并为企业提供市场预测与决策支持等。

此外,大数据还能在物流方面优化资源配置。货车帮是贵州的大数据企业,平均每天有天南海北的货运信息超过500万条汇聚到该货运平台上,通过大数据平台的信息整合,每天减少货车空驶高达1000万公里,极大减少了中国公路物流的资源浪费。货车帮CEO戴文建介绍,“我们把货源和司机紧密地联系在一起,搭建起了中国货运车辆共享运力池。”

城市管理更智慧

哪里交通拥堵、哪里人流量增多、哪里的空气质量不好……一座城市的关键治理数据可视化地展现在一块巨大屏幕上。在数字冰雹展台,一个大数据可视化系统平台可以涵盖智能交通、应急指挥、城市管理、公共安全、环境保护等领域,为城市管理与运行提供决策支持。

如果说互联网拓宽了城市管理的空间,那么大数据则为城市管理能力的现代化进行了技术赋权。“智慧城市大数据可视化决策平台集成了包括地理信息、GPS数据、建筑物三维数据、统计数据、摄像头采集画面等多类数据,可以把市政、警务、消防、交通、通讯、商业等各部门各类型的数据融合打通。”数字冰雹副总经理丁冬说。

在贵州电子政务云平台展区,可以看到大数据采集、挖掘、分析、应用被用来提升政务能力。“不同于传统纸质方式开展行政办公,电子政务网公文流程各环节无缝链接,真正实现了全省公文跨地区、跨部门、跨层级信息共享和联动办公。”展区工作人员介绍。目前贵州已开通各级各部门信息共享门户4745个,实现省级政府组成部门100%全覆盖。

“晚高峰下班,连遇20个绿灯!”这不是你运气好,而是红绿灯会思考。贵州公安交警云是国内首个运行在公安内网上的省级交通大数据云平台。该平台采用以阿里云为主的云计算技术,并在2015年7月投入使用。平台汇聚了贵州全省“天网工程”6.8万路信号和贵州路网全部监控资源,为公共服务、交通管理、警务实战提供了有力支持。

云端数据库 篇7

关键词：数据安全,访问控制,DAC-VCS,存储空间,加解密效率

车联网作为物联网在交通领域的具体应用,主要基于SOA架构的应用定制服务［1］。由于云计算具有处理规模大、可靠性高、按需服务等优点,将车辆网中与车辆相关的海量数据放置在云端存储和处理成为必然［2］。云存储作为云计算的一种重要的设备［3］,允许数据所有者将自己的数据放在云端,依靠云服务商给数据使用者提供“24 /7 /365”数据访问权利。由于在云开放环境下,数据所有者与数据使用者不会直接交互［4］,即数据的所有者将数据上传至云端之后便失去了对已上传数据的控制权,无法再直接控制哪些用户可以访问数据。然而,在车联网环境下,用户上传的数据种类复杂,其中还包含一些重要信息,如车辆的历史轨迹,车辆行驶过程中检索过的地点、路线等［5］,在这些数据访问时存在以下风险:

1) 针对数据访问用户的身份复杂,存在涉车机密信息被非法访问用户,如黑客,恶意窃取并进行商业贸易,甚至危及车辆用户生命和财产安全的风险;

2) 针对用户访问的数据内容种类复杂的特点,存在合法用户去访问不在自己访问范围的数据的风险; 例如,车辆A和车辆B是合法用户,允许访问与自身相关的数据。正常情况下,车辆A和B都只能获取自身以及对其提供服务的相关部门的信息,然而,由于数据内容复杂,若数据在访问时管理不当,就会出现A可以访问B的相关数据,从而造成B隐私泄露的风险。

据以上分析可知,数据访问控制［6］是一种保护车联网云中数据安全访问的非常有效的方案。目前,数据所有者在将数据上传之前先进行加密处理,之后只允许拥有特定密钥的用户去访问这些已经加密的数据［7］被认为是一种解决云环境下用户数据安全的基本方法,然而,这些方法存在以下弊端:

( 1) 密钥管理机制复杂;

( 2) 数据所有者必须保证全天在线,以确保当有新用户注册时,可以及时地向该用户传输密钥值,从而使得新加入的合法用户可以访问数据;

( 3) 如何有效地使用已加密的数据。

基于属性加密的密文的访问控制方案( CP-ABE)［8－9］方案是云存储中一种有效的数据访问控制方案。在CP-ABE方案中,数据所有者对于数据访问有直接的控制,也无需数据所有者分发密钥。用户属性的管理和密钥的分发是由完全可信任的第三方进行。数据所有者定义数据访问结构,用这样的访问结构式样加密待上传的数据。只有当数据使用者的属性满足加密时使用的访问结构时,才可以对数据进行解密,以获取所需的内容。

在云存储这样一个不完全可信的背景下,对加密的数据进行搜索是解决数据上传前进行加密数据安全问题的有效方案。许多著作已经对搜索加密的数据［10］进行了研究,但是只是集中于单个数据上传者的情形,在这样的情形下,为了使用户检索已加密的数据,数据所有者必须与授权用户共享密钥［11－13］或者保持全天在线来产生数据使用者检索数据时所采用的密钥。这些方案都在一定程度上限制了数据使用者搜索的灵活性。

针对上述问题,本文在研究分析CP-ABE算法的前提下,对此算法进行了改进,使算法具有更高的加解密效率。并在此基础上,设计了适用于车联网云端数据的安全访问控制方案( DAC-VCS) ,经过分析验证,可以有效节约云中存储空间,并具有良好的安全特性。

1 改进的CP-ABE算法描述

CP-ABE算法包括4 个步骤:

1) Setup: 生成主密钥MK和公开参数PK。

2) Encrypt( PK,M,T) : 使用PK、访问结构T加密数据明文M为密文CT。

3) Key Gen( MK,S) : 使用MK、用户属性值S生成用户的私钥SK。

4) Decrypt( CT,SK) : 使用私钥SK解密密文CT得到明文M。

根据上述CP-ABE算法,在进一步分析研究的基础上进行改进,以适合车云数据环境,在改进的算法中,包含以下几个算法: Setup,SKGen,Encrypt,TKGen,Decypt,Create UL,Search。

1) Setup( λ) → ( MSK,SMP,{ uid,GPKuid,GSKuid} ) : Setup算法的输入为文件的安全参数 λ。构造阶为素数p,生成元为g的双线性群G0,双线性映射为e: G0× G0→GT。此时,GT具有双线性,非退化的特性。输出系统主参数SMP,系统主密钥MSK,对于识别码为uid的用户,将会为该用户产生全局私钥GSKuid和全局公钥GPKuid。

2) AASetup( aaid) → ( SKaaid,PKaaid,{ VKxaaid,PKxaaid} ) : 属性机构初始化算法由每个属性管理机构AA运行。以该AA的唯一识别码aaid为输入,输出AAaaid的认证私钥SKaaid和认证公钥PKaaid,为AAaid管理的每个属性产生属性版本号VKxaaid和属性公钥PKxaaid。

3) Create UL( SMP,uid) →UL: Create UL算法的输入值为系统主参数SMP和用户识别号uid,输出可访问数据的用户列表UL。

4) Encrypt ( SMP,AS,d,{ PKk}k∈IA,{ PKxk}k∈IAxk∈SAk) → CT:Encrypt算法由数据上传者运行。输入值为SMP,加密时采用属性所在AA的公钥{ PKk}k∈IA和属性公钥{ PKxk}k∈IAxk∈SAk,访问结构AS和用户待上传的数据d。根据访问结构AS加密数据d,输出密文CT,即,在CT中包含了访问结构。

5 ) SKGen ( SMP,Suid，aaid,SKaaid,{ PKaaid} ) → SKuid，aaid:SKGen算法由每个属性管理机构AAaaid运行,以SMP,AAaaid为用户uid提供的属性集Suid，aaid,AAaaid的认证私钥SKaaid和一组认证公钥{ PKaaid} 为输入,输出AAaaid为用户uid产生的访问私钥SKuid，aaid。

6) Search( UL,SK) → pass / ⊥: Search算法由云服务器进行调用,输入为访问用户列表UL和用户的访问密钥SK,只有当用户处于UL中且用户本身所具有的属性满足要访问数据内部嵌入的访问结构AS时,就可以让用户访问数据。任何一个条件不满足,数据访问过程将被中断。

7) TKGen( CT,GPKuid,{ SKuid，k}k∈IA) →TK: TKGen产生算法由云服务器运行。当用户的数据访问为合法请求时,云服务器将已加密的密文CT,用户全局公钥GPKuid和每个AA为用户生成的访问私钥{ SKuid，k}k∈IA作为输入,输出解密口令TK。

8) Decypt( CT,GSKuid,TK) →d: Decypt算法由数据使用者运行,以已加密的密文CT,用户全局私钥GSKuid和解密口令TK为输入,输出为用户所要访问的真实数据d。

2 方案描述

2. 1 系统模型

在DAC-VCS方案中,系统主要包括5 个部分: 车联网云服务提供商( VCSP) 、车辆数据上传者( VDO) 、车辆数据使用者( VDU) 、可信任第三方( TA) 和属性分配机构( AA) 。

系统总体架构如图1 所示。

TA是完全可信的一个身份认证机构,完成系统的初始化,接受所有合法用户和AA的注册。对于每一个合法的用户,TA会给这个合法的用户一个独一无二的用户识别码,一对全局公钥和全局私钥。然而,TA并不负责管理属性和生成用户访问数据的访问私钥。

AA则系统中根据用户在自己所属域中的角色或身份进行属性的授予,更新和撤销,并为每个用户产生反映自身属性的私钥。每个属性只属于一个AA,但是一个AA可以管理多个属性。

云服务器保存数据所有者上传的已加密数据和允许访问数据的用户列表。通过用户识别码和AA为其产生的私钥决定是否为此次访问返回密文和产生解密口令帮助用户解密密文。

车辆数据所有者有两方面的作用,一是加密上传的数据。首先根据逻辑将数据分成若干段,采用对称加密的方法使用不同的加密密钥加密不同的数据段。然后,数据使用者利用允许访问用户的不同属性定义访问政策,根据这些访问政策去加密加密密钥。之后,数据使用者将已加密的数据和密文同时放在云端存储。另一个作用是,根据用户编号和系统主参数,创建合法用户列表。限制哪些用户可以访问此数据库里面的数据内容。

车辆数据使用者从可信任第三方处获得一个用户的唯一识别码,为了访问数据,每个数据使用者将会向云提交全局公钥,用户识别码和从AA处获得的私钥,让云端为其产生每个密文的解密口令。收到解密口令和密文之后,用户可以利用解密口令和全局私钥解密密文获得自己所需的数据。只有当用户在允许访问的用户列表中,并且满足定义在密文里面的访问结构时,才能在云端获得解密口令和密文。

2. 2 系统方案

在该部分中,将对提出的车联网云端数据安全访问控制方案( DAC - VCS) 进行详细的描述。首先,定义防碰撞的哈希函数H: { 0,1}*→Zp,具有随机数据结构。在本方案中,包含系统初始化、数据加密、AA产生用户访问私钥、搜索和解密口令的产生、数据解密五部分。

2. 2. 1 系统初始化

系统初始化包括TA初始化和AA初始化,以及产生允许访问的用户列表3 个部分。

1) TA初始化

可信任第三方TA运行Setup算法,TA首先选择一个随机数a∈Zp作为系统的主密钥MSK,并根据a计算系统主参数SMP = ga。TA接收用户注册和AA注册。

( 1) 用户注册

每个用户在系统初始化的时候都会在TA中注册自己的身份。TA会给用户分配一个独一无二的号码uid,并为其产生全局公钥GPKuid= guuid和全局私钥GSKuid= zuid,其中uuid和zuid是Zp中的2 个随机数。

( 2) AA注册

每个AA在系统初始化时都要向CA注册。如果AA是合法的,则CA会向AA发布一个全局认证码aaid。

2) AA初始化

每个AAk( k∈SA) 运行AASetup算法完成初始化,SAk代表该属性机构管理的所有的属性集。在Zp中选择3 个随机数 αk,βk,γk,作为认证私钥SKk= ( αk,βk,γk) ,计算认证公钥。同时,对于SAk中的每一个属性xk计算属性公钥,其中,vxk为属性的版本号。

3) 产生允许访问的用户列表

对于系统中的每一个合法用户f,需要将该用户添加到可访问的用户列表中,以便在数据访问过程中,对访问者的身份的合法性进行判别。数据所有者在Zp中选择一个随机数字s作为新的MSK,此时系统主参数SMP = gs,随机选择Zp中的数字x,将调用Create UL算法,使Df= [e ( g,g )s]－ x。再将( uid,Df) 数组交给云服务器,让云服务器记录所有数组,即为可以访问的全部用户组合。对于在系统初始化完成之后新加入的合法用户,也采用相同的方式,将用户数组( uid,Df) 及时添加到云服务器可访问数据的用户列表中。

2. 2. 2 数据加密

数据使用者在将数据上传至云端之前,先使用加密密钥κ 利用对称加密的方法对数据进行加密,此处的加密方法选择128 位的AES加密。之后,调用Encrypt算法要对加密密钥 κ 进行加密。以系统主参数SMP,公钥,加密密钥 κ 和相关AAk所包含的属性的访问结构为( M,ρ) 。M是l × n矩阵,l代表所有属性的个数。方程 ρ 将M的行与属性关联起来。

加密算法Encypt首先选择Zp中的一个随机数s作为加密指数,和一个随机变量v = ( s,y2,…,yn) ∈Zpn,y2,…,yn共享相同的加密指数s。对于任意i∈( 1,l) ,计算 λi= v·Mi,Mi是矩阵M的第i行。随机选择r1,r2,…,rl∈Zp,计算得出密文

2. 2. 3 AA产生用户访问私钥

对于用户每一个合法用户Uj( j∈Su) ,每一个AA根据用户的角色、身份为其赋予一个属性集Sj，k,并利用该属性集产生用户的访问私钥,,其中,k∈SA,tj,k是Zp中的一个随机数。

2. 2. 4 搜索和解密口令的产生

当云服务器收到用户Uj访问数据时上传的访问私钥{ SKj，k}k∈SA时,云服务器先调用Search算法,检查用户的用户识别码uid,是否在该数据库的访问列表中,判断此用户是否为合法用户,如果Uj在用户列表中,则被认为是合法用户,可以获得任意已加密的数据。当且仅当Uj的属性满足密文中定义的访问结构时,才可成功调用TKGen算法产生解密口令,解密加密密钥,进一步解密数据密文,获得自身所需的信息。

假设I = { IAk}k∈SA是在密文中包含的所有的属性索引,其中,IAk{ 1,…,l} 是从AAk处获得的,IAAK= { i: ρ ( i) ∈ SAk} 。令NA是在密文中包含AA的数目。选择限制因子,重新计算加密指数,如果根据M是有效的

算法计算得到解密口令TK

将计算得到的解密口令TK送给用户Uj。

2. 2. 5 数据解密

数据使用者Uj收到解密口令TK之后,Uj可以使用TK和全局公钥GPKuj= zj对接收的密文CT进行解密,从而获得加密数据时使用的加密密钥 κ,κ = CT/TKzj之后用户可以使用 κ 进一步解密已加密的原始数据。

3 性能分析

将DAC-VCS方案与Ruj的DACC［14］方案在存储开销、加解密效率两方面进行比较。

3. 1 存储开销

存储开销是云存储访问控制系统的一个关键因素。假设在系统中有N个属性管理机构AA, q是Zp中元素的大小,na，k和na，k，uid分别表示AAk管理的属性总数和AAk分配给编号为uid的用户的属性数目。在系统的AAk、数据上传者、数据使用者、车云服务商4 个方面进行存储开销的比较,见表1。

表1 中: nc为存储在车云服务商里面的密文总数; tc为密文中包含的属性总数。

3. 2 计算开销

在加/解密时间上对于本方案和DACC方案进行仿真分析和比较。环境是搭建于Intel Core2 双核CPU,3. 16 GHz主频和4. 00 Gbyte内存的Linux操作系统上的ubuntu10. 10,仿真云环境的接入控制方案。代码使用配对的密码库0. 5. 12版来模拟访问控制方案。笔者使用对称的椭圆曲线 α 曲线,其中基础字段大小为512 位和嵌入级数为2。α 曲线具有160 位的群阶数,这意味着p是160 位长的素数。所有的模拟结果是20 次试验的平均值。

图2 展示了AA的数目以及每个AA管理不同数目的属性时系统的加解密所需时间。图2a和图2b显示了当每个AA管理的属性数设置为10 时,AA数目与加/ 解密时间的关系; 图2c和图2d中则将AA的数目设置为10 时,表现了加/解密时间与每个AA管理的属性数目的关系。仿真结果表明,本方案在数据上传者端数据加密,数据使用者数据解密两方面会产生较小的计算开销。

4 小结

云端数据库 篇8

一、应运而生的“成长地图”

一直以来, 教育评价过于关注学业成绩, 过于关注结果, 过于突出甄别与选拔功能的问题不仅严重制约着素质教育的实施, 也影响教育培养“人”的终极目标的实现。我们在反思目前备受诟病的诸多教育问题后越来越希望有这样的一种评价存在———高度融合学校、家庭和社会的教育资源和力量, 真实记录学生的成长, 并真正能够引导和促进学生的发展。学校前几年尝试的“成长记录袋”评价形式, 一开始深受学生、家长和教师的好评, 但由于操作繁琐和不易保存的问题, 后期逐步冷淡下来。在科学技术飞速发展的今天, 我们发现, 微信、QQ、淘宝、支付宝等各类APP软件已广泛应用于人们的日常生活。玩转这些软件的人, 不仅便捷了自己的生活, 还依托数据平台, 时时记录生活中的点点滴滴, 让记忆恒久“保鲜”。2016年5月30日, 在全国科技创新大会上, 华为公司的老总任正非谈到, 未来二、三十年人类社会将演变成智能社会, 深度和广度都还想像不到。智能社会不是以一般劳动力为中心的社会, 没有文化不能驾驭。而这里所指的“文化”绝对少不了对于各类信息交互平台的使用。作为培养未来社会公民的学校, 我们逐步在办学过程中萌生了这样的想法, 如果将大家已经熟悉的现代信息技术运用到学校的教育质量综合评价工作中, 不仅能较全面、及时地留下每一个学生的成长瞬间, 保障了学生综合评价的客观与科学, 真正促进学生的发展, 同时过程中集成的数据, 还可以帮助教师、学校和有关教育行政部门有针对性地进行相关调控与改进。于是, 2014年, 学校借助ECLASS网络平台, 开辟了学生“成长地图”板块, 逐渐形成富有学校特色的教育综合评价体系, 即从“品德发展水平、学业发展水平、身心发展水平、兴趣特长养成、履行志愿者职责”这几个维度出发, 分别对应“成长地图”的五个方面:美雅足迹, 多彩课程, 身心健康, 兴趣特长, 小小志愿者, 全面整合学生成长信息, 通过评价促进每个生命个体的灵动自主发展。其中, “履行志愿者职责”这个维度是学校因校制宜, 为了突出学生社会责任感、实践能力和创新能力培养设置的。其目的是为了增强评价的导向功能, 营造良好育人环境, 落实“立德树人”这一根本任务, 引导家长和社会树立科学的教育质量观。通常, 学生一入学, 家长和学生就会分别申请账号进入到学校的ECLASS管理平台, 在“成长地图”版块记录并参与到学校教育质量综合评价中来。

二、“成长地图”的板块组成

美雅足迹———主要参照《中小学生行为规范守则》和《红领巾学校学生优雅行为手册》制定的各年级学生“应养成的好习惯标准”, 结合学生在“美雅争章”活动中的集章情况, 记录下学校生活、家庭生活的精彩一刻。

多彩课程———指的是教师、学生和家长可以在ECLASS平台中实时上传各类课程中的学业评价、成果、成长心得等, 或是参与学校舞蹈、体育、美术、器乐等校队课程中的精彩瞬间。

身心健康———身体发展水平的评价, 主要是参考学生《体育健康标准》达标情况予以记录评定;心理发展状况的评价则主要是综合班主任、心理健康任课教师和同学、家长的意见, 关注学生与人交往、自我情绪控制的能力。

兴趣特长———侧重于学校外的特长学习, 记录下精彩片段, 主要是记录学生的课外活动参与情况, 个性特长的展示 (音频、视频、图片、文字资料) 及获奖情况记载。

小小志愿者———记录学生在学校内、外参与志愿者及各种公益活动中主动奉献, 乐于奉献的精彩情景。

三、“成长地图”的记录方式

在我们留存成长资料的过程中, 也许字迹会逐渐模糊, 图画会慢慢褪色, 而照片和视频却能将色彩、画面长期保存下来, 上传到云端, 储存在自己的成长空间, 并能实时更新。每一个曾经想要记住的“永恒”在“成长地图”上清晰呈现, 指引着孩子们坚定地追寻心中的梦想。

(一) 记录部分

红领巾学校为每位学生搭建了这样一个展示的平台, 记录他们的成长。2016年, 学校又将成长地图的记录空间拓展到微信端, 开辟了类似微信“朋友圈”功能, 我们的这个“圈”则叫做“成长圈”, 在圈内互相欣赏、留言、点赞的则是同学和家长。如今, 无论是学生还是家长都以习惯于将他们认为有教育价值的成长经历在“成长圈”里晒一晒, 彼此点个赞, 这种贴近于大众交流方式的运用, 拉近了家校和家长相互之间的距离。

(二) 评价部分

评价是实现正确引导的重要手段和方法, 能给予学生自主发展最直接的帮助。因而, 在评价过程中, 我们注重整合学校、社会和家庭多方教育力量, 采取定性与定量、终结与过程、内部与外部相结合的方式。在“成长地图”评价部分, 总体分为两大类:指标性评价和建议性评价。即:有国家、地方或者学校特色的指标化评价考量体系的项目, 学校会分项提供参考数值给教师、学生及家长进行参照分析, 如:身高、体重、视力、各项体育达标指标、学业指标、志愿者指标等。另一类需定性考量的, 将通过教师、家长、同学等多方合力, 为被评价者提供参考建议和意见, 如:学生参加多彩课程情况、完成社会实践活动情况及兴趣爱好特长情况等。“成长地图”中的评价方式, 既为学生发展提供了可参照依据, 又为学生提供了可参考的内容和方法。再加上是连续12个学期的持续评价, 每个阶段的分项评价结果会帮助学生不断自我改进, 激励学生做“更好的自己”。

四、“成长地图”中的成长故事

一天天, 一月月, 孩子们的发展在成长地图的各个板块中呈现, 照片、音频、视频记录下学生生活的点点滴滴, 并通过丰富多彩、形式多样的分项、多维评价, 切实促进学生的全面发展。

姚佳均同学是一个性格开朗, 善于思考, 多才多艺, 古灵精怪的女孩。她热爱生活, 勤于思考, 在她的“成长地图”中留下了一串串多彩足迹。在校门口的她, 会主动和老师问好, 带着明媚笑容的她举止文明, 在“美雅足迹”里留下痕迹;舞蹈教室中的她, 劈腿、拉伸, 每个动作都一丝不苟, 讲求精准到位, 从不喊苦叫累, 老师的赞赏在“多彩课程”中成为她前行的动力。细心的老师随机抓拍下并上传至班级ECLASS平台上的同学们的学习、生活图片, 她和家长会有针对性地选择并对应放入自己“成长地图”的各个版块中, 辅之个性化的随想与点评, 欣喜和自豪之情溢于言表。

贾松睿同学和老师、家长一起, 将自己积极参加体育活动的情景通过图片、视频和文字的方式及时上传至“成长地图”里的“身心健康”版块, 秀快乐、秀进步、秀发展。三年下来, 原本体弱多病的他, 体能测试均已达到《国家学生体质健康标准》中的各项相应指标。操场上, 他努力奔跑, 奋力跳跃;羽毛球馆, 他挥汗如雨, 动作协调;乒乓球台, 他稳扎稳打, 脚步灵活。尤其值得注意的是在50m的项目记录中, 体育老师每次都会将测试到的成绩及时在他的“身心健康”板块下更新, 让他能够从具体的数据中感受到自己每一次进步, 激励着他向更高的目标迈进。同时, 他的进步也能够带动其他同学自觉锻炼, 促进学生共同发展。

徐紫涵是一个性格有些内向的同学, 但是她的责任感强, 非常愿意为班级做贡献。班主任老师发现她这一特点后, 让她担任班级“餐饮志愿者”。每天中午, 她进餐完毕后, 会笔直地站在“厨余桶”旁, 提醒这个不要挑食, 提醒那个餐具轻放。老师和同学们将她的表现看在眼里, 在她的“成长地图”里的小小志愿者板块中定期给予评价。若是优秀, 大家会为她的辛苦和付出点赞, 若是良好, 大家也会提出改进的建议。

“成长地图”就是这样一个集合记录和评价的“百宝袋”, 它打破了社会、学校和家庭间的壁垒, 整合了学生成长过程中的多种资源, 培养了学生自主发展意识和能力, 和谐了老师和家长, 老师和学生, 学生和学生之间的关系, 让评价成为促进学生自主发展不可或缺的一部分。

五、“成长地图”的价值探索

在数字化成为未来社会主要特质的趋势下, 作为一所学校必须要有与之相适应的前瞻性思考, 基于培养能适应未来社会发展需求的人的目的, 为学生的当下学习提供触摸得到、体验得到的未来社会发展的成长环境。《国家中长期教育改革和发展规划纲要 (2010~2020年) 》也指出:“信息技术对教育发展具有革命性影响, 必须予以高度重视。”江汉区红领巾学校作为武汉市“教育云”工程试点工作先进单位和武汉市中小学数字校园建设的示范校, 有责任率先迈开探索的步伐。

“成长地图”的实施和运用是学校根据《教育部关于推进中小学教育质量综合评价改革的意见》 (教基二【2013】2号) 和《武汉市中小学教育质量综合评价改革实验实施工作方案》的要求, 运用信息技术手段多维度记录学生成长点滴, 采取分项多元评价帮助学生正确认识自己, 形成自主发展意识, 学会理性规划未来的一种尝试。

聚合云端企业 篇9

云计算来了，软件公司怎么办，软件公司以后还能不能存活？对于这个问题，所有软件公司，特别是中国的软件公司，包括我们用友自身在内，确实都在思考，也在行动。就我们自己的体会来讲，云计算对于软件企业实际上是一次战略机遇。

这次战略机遇如果把握好的话，可以实现跨越式的发展，让软件公司为用户创造更多的价值，让我们用新的方式更快速地开拓市场。但同时，对软件企业来讲也是一个巨大的挑战，因为这确实是一个大的转型。如果转型不成功，一定会走向或者说滑向失败。越来越多的应用系统正在被云服务替代，成功的转型是有难度、有挑战的。尽管如此，我们没有别的选择，唯一的选择就是去积极拥抱这个机遇。

中国发展云应用、云服务，优势首先是全球最大的用户基础。在云计算时代，这点基础意义非常重要。第二是中国化的应用创新环境。云计算最后一个表现是云的服务，因为最后是要让人使用的，所以这与应用环境密切相关。

云计算背景下未来的企业将会是云端企业。这里的云端有两重含义，一是漫步云端的云，企业的运营都要运用云服务、云平台。另外一个是“云+端”的意思，就是云和端的结合。企业的信息化应用呈现出很多新的特性，最大的变化就是让我们企业的应用更加简便，使企业信息更加实时。

在这样一个大的产业浪潮下，用友去年也发布了云战略，战略框架是“S+S”，就是“用友软件+用友云服务”。按照传统的概念，有120万家客户安装用友上一代的应用，是要被云计算淘汰的。当我们把云和端联合起来看的时候，我们发现120万家的机组恰恰是我们提供云服务特别有价值的端。所以我们把“S+S”，把我们原来用友软件的端和云服务结合起来，这就成为了我们整个战略的框架。

在产业定位上主要分为两层，一个是SaaS，一个是PaaS。PaaS是我们针对企业公有云的服务，我们跟厂商进行紧密的合作。未来在这样两个平台上，我们可以提供PaaS平台服务，提供用友支撑服务、第三方服务，还有客户在这个平台上自己开发出来的其他很多服务。

上海移动:云端计费 篇10

上海移动正在重构自己的计费系统,全力打造计费三朵云——应用云、详单云和MDB云。对于这次“大动干戈”,上海移动信息系统运营部副总经理蔡加祺给出的缘由是“中国速度”:智能终端数量猛增,数据业务话单量爆发式增长,而除夕一天的话单量是平时的5倍;与此同时,计费方式也在不断演进,从离线计费到在线计费再到资费包计费,并开始互联网化。他说:“硬件发展的摩尔定律追不上中国移动的发展速度,4G时代,云化成为解决之道。”

“惊呆了的小伙伴”

上海移动计费系统重构的目标有两个:在保持原有计费账务业务能力的基础上新增对资费包计费模式的支撑,实现计费的互联网化转型;引入全新的分布式计费架构,提升计费系统处理效率,适应中国速度的发展。整个项目涉及70多个子系统的改造、2 0 0 0多个功能菜单的梳理和开发、2200多个外围平台接口的联调测试以及2500多万用户数据的割接,自2011年8月15日项目启动到2013年1月11日应用云部分正式上线,历时16个月。2013年7月,账单云也正式上线;按计划, MDB云最晚2014年3月也会正式启用。

应用云的本质是一套可扩展的云化流处理引擎,将传统头尾连贯的业务逻辑打碎,以不同的服务组件完成不同的服务环节,并通过一个无状态的任务总线承担任务调度和路由的功能,由此完成整个应用的分布式的流处理。

详单云又包括两朵子云:查询云和数据集市云。查询云主要满足实时账单查询对高并发读写有着非常高的性能需求,由于实时查询条件单一,适合提前预制查询条件,查询云是基于Hadoop平台的。而数据集市云主要满足复杂账单随机查询和统计分析需要,这需要支持灵活的SQL语句,需要支持在无索引条件下的快速查询、统计和分析,是基于大规模并行数据库MPP技术。蔡加祺特别指出,由于无法预见突发的即时查询和统计分析会占用多少系统资源,是否会影响前台的用户体验,因此上海移动根据账单不同阶段数据查询和统计分析的不同需求分别采取了不同的数据库技术,不但保证了性能最优,同时实现了性能隔离,更好地保障了用户体验。

而MDB分布式改造新增加了10台x86服务器,其中有2台作为路由机,其他8台作为MDB机。2台路由机采用一主一备的方式,都提供查询功能。8台MDB机每台机器上部署同样的应用(用户MDB、应用MDB和余额管理M D B),即同质化部署,这样每台机器可以固定支撑一定的用户量,在后续的扩展时,可以通过简单的增加机器即可获取相应的支撑能力。MDB的8台机器每两台之间做互备,一台机器上运行主MDB同时备份另一台机器上的MDB。为了使新增MDB机器时不影响已在运行的系统,新增的机器需要形成主备的模式,即新增机器的数量需要成对,这样就可以不用调整已在运行的系统部署架构,从而使新增机器的过程中能继续提供不间断服务。

在云计算时代,业务应用的承载从RISC向x86平台迁移是大势所趋。在云化之前,上海移动的计费系统是全部运行在IBM小型机上,一共9台,而新系统是运行在26台基于英特尔至强E7平台的IBM3580服务器上的。在迁移之前,上海移动事先做了严格的压力测试,结果让蔡加祺和他的“小伙伴们惊呆了”。传统基于小机的计费系统的批价(根据既定的原则和规则,对用户使用网络的情况计算费用)延时<15min,批价效率是1:2,投资约为1300万;而基于x86服务的云计费系统的性能预期是批价延时<10min,批价效率是1:6,而投资仅仅在500万左右。目前新计费系统总吞吐量达到90000TPS,2014年3月完成M D B云化后,将超过180000T P S,同时实现了T P S随设备的线性增长能力。

极限运算的陷阱

对于这次计费系统的重构以及x86迁移,蔡加祺还重点共享了他们的宝贵经验。

非常重要的一点是,从小机迁移到x86,应用需要更强壮。小型机在高负荷运转下的平均无故障时间约在12到18个月左右,而x 8 6服务器在加电后的第一个月处于故障高发期,需要密切监控。上海移动针对x 8 6云化场景的 健壮性设计是这样的:任务总线采用双机热备方式,任意节点异常,备份节点实时接管;所有任务队列支持异常重处理机制,通过重处理剔重机制保障所有话单仅仅倍计费一次;每个内存数据库都同时在不同设备中开启两个副本,实现交易同步,一旦发生异常,可实现自动接管。

此外,蔡加祺还提到了在极限运算场景中的两个陷阱:线程数与CPU核数的匹配问题以及跨节点的网络集群协同的时延问题。

在类似MDB这样的内存集中访问的应用场景下,外部访问连接数(线程数)和CPU核数的最佳匹配关系,最好不超过20:1。在上海公司新计费系统第一阶段上线后,单台MDB设备最大连接数(线程数)达到了4000以上,线程与核数之比超过124:1,CPU大量时间耗费在线程切换上。因此,上海移动立即启动了MDB云化工作,将MDB进行拆分,并采用带超线程(HT)技术的芯片,极大降低了单核线程数,使得系统效率成倍上升。

在小机时代,大部分应用只在单机上完成,所有运算节点不需要通过复杂的网络传输和调用完成。当计费应用彻底云化后,通过寻址技术,把原来集中在一台设备上的工作打散进行实时云化的流计算,在提高系统扩展性的同时,大量的耗时集中在网络络交互上。上海移动通过本项目建设测算出:计费系统在云化后,在单条话单批价耗时中,网络延时占到了30%。因此,选择低延时的以太网技术或者Infiniband组网技术将极大提升云计算效率。