学习分析云平台设计

学习分析云平台设计（共10篇）

学习分析云平台设计 篇1

学习分析技术是近几年才流行的技术,而其实学习分析概念提出之前就己经有相似的概念出现[1],如计算机管理、人机交互、互联网等领域。与学习分析技术相关的科研领域包括行为分析、教育数据挖掘、商业智能、网络分析、学术分析等[2]。而随着教育信息化的迅猛发展,以上技术逐渐应用到教育领域,进而发展成为了行为分析、预测分析等分析技术[3]。学习分析技术从管理人员的角度设计,目的是解决通过数据建模技术和分析技术辅助教育决策、提升教学质量的问题。随后,不断对学习分析技术进行研究,取得到了大量的研究成果。

1学习分析技术

学习分析在首届学习分析与知识大会上被定义为“测量、收集、分析和报告有关学生及其学习环境的数据,用以理解和优化学习及其产生的环境的技术”。学习分析是基于数据挖掘技术的不断发展而产生的。1995年数据挖掘技术被应用到传统教育领域中,并在21世纪的早期应用到在线教育领域。在商业领域中的数据分析技术包括网站分析与商业智能,是利用计算机来对网络中的访客或用户交互的数据进行收集、追踪、管理、建模与分析,从而获得客户的潜在需求,更好的提供服务与帮助。

2云计算技术

美国国家标准和技术研究院(NIST)将云计算(Cloud Computing)定义为一种新的数据计算方式,它通过网络搭建服务器群,为用户提供功能强大、成本低廉、灵活扩展的硬件与软件资源,提供服务的方式主要有三种:(1)基础设施即服务(laaS)(;2)平台即服务(Paa S);(3)软件即服务(SaaS)。把云计算技术应用到学习分析领域当中,可以弥补传统网络服务平台的不足,实现服务系统和教学资源的共享。

3学习分析云平台设计

3.1用户管理模块

平台设计了三类用户,分别是学生、教师与管理员,管理员拥有云平台所有的权限,可以进行用户管理、课程管理、数据管理、学习模块设置、系统分析等功能。

3.2数据管理模块

具有存储教师的教学数据、学生的登录数据、学习时间数据、学习课程数据、学习成绩数据等功能。

3.3学习模块

学习分析系统是否能够分析用户行为的功能至关重要,本文设计的学习分析平台具有学习功能,以Web环境中的学习环境服务器中存储的数据为基础,采用Hadoop软件进行大规模数据分析。该功能架构主要包分析和报表二个模块,分析所有学生学习情况,根据知识点的点击次数可以得出学生对知识点的撑握程序,从而为教师提供所有同学的个性化查询服务。

3.4分析模块

平台为教育资源提供存储、索引、分析功能。包括提供高容量的安全的存储服务、快速查询服务,数据分析服务,构建分析结果报表服务。平台的分析模块可以对大数据存储数据进行收集预处理,然后把数据发送给Hadoop工具进行分析,最后通过Map Reducer工具得出分析结果。

3.5学习预警模块

学习预警是一项定制的服务,可识别个别学生的行为模式与学习水平,并提供相应的服务,包括资源的推送、自定义学习模式、学业预警等。该功能模块可以改善学生的学习效果,是对学生学习效果产生影响的介入手段。

结束语

本文首先介绍了学习分析技术、云计算技术,并利用以上两项技术设计了学习分析云平台,该平台具有用户管理模块、数据管理模块、学习模块、学习干预、分析模块和学习预警模块,平台具有一定的应用价值。

参考文献

[1]李青,王涛.学习分析技术研究与应用现状述评[J].中国电化教育,2012(8):129-133.

[2]张羽,李越.基于MOOCs大数据的学习分析和教育测量介绍[J].清华大学教育研究,2013(4):22-26.

[3]陈律.大数据背景下学习分析技术对教学模式的变革[J].中国教育信息化:基础教育,2013(12):15-17.

学习分析云平台设计 篇2

云计算网络教学平台的实现主要集中在应用支撑平台建设的实施和教学资源库建设的实施。应用支撑平台建设的实施关键在于三点，第一点，必须要对教学需求做周密的分析，根据分析结构对技术平台的组织结构做适当的调整，确保技术平台组织结构的稳定性与合理性。教育部门可以在所有相关师生进行一次民意调查和意见征集，在广泛调研的基础上学习和借鉴其他院校或企业在云计算模式下网路平台构建的成功经验与成熟方案，再结合自身所有的资源的种类、数量、结构等实际情况，构建实用性强、安全性高、便捷的应用支撑平台。第二点，在云计算模式下，计算机性能缩小，功能扩大，为了促进资源共享最大化的实现，提高资源利用效率需要对现有的教学信息和资源做具体的归纳和分类，从而优化资源分配。第三点，在网络教学平台的功能和结构相对稳定后，根据实际发展需要对技术平台做深层次的开发，或引进新的技术从促进网络教学平台的长久持续发展。 教学资源做网络教学平台教学活动得以实现的基础和前提，是实现网络教学平台功效的核心，因此云计算模式下网络教学平台的实现离不开教学资源库的建设。而教学资源库的建设实施主要关注一下几点，首先需要成立教学资源开发基地，以校为单位进行立项，每年都有规定的项目数量，项目内容有资深主讲教师提出，有青年教师负责项目的主持和分工事项。其次，在明确网络教学平台所能提供的帮助和支持后，规划项目内容；确定项目实施过程中的各项规定和标准；根据实际情况编制合理的评价指标；为促进项目的顺利实施，对参与项目的教师和相关人员进行针对性的培训，明确个人任务与整体目标；利用身边的各种有效途径进行资源收集；最后在经过仔细的删选后，对收集到的资源进行严格而科学的审核，最终将合格的、有教学价值的登记收入教学资源库中。

3 结语

随着信息技术的快速发展，云计算技术的运用必将更加成熟，其与教育教学事业的结合是现代教学发展的需要，是不可逆转的。而网络教学平台作为云计算模式下，新时期教学的一项重要探索，最大限度促进和实现资源共享的同时，也极大程度的便捷了网络教学管理，提高了教学的管理水平，使得教学资源得到充分的利用。且云计算模式下网络教学平台也增强了学生自主学习的系统性和持续性，方便教师更加准确地掌握学生的学习状况，因而建设优质的网络教学平台是十分重要的。

微学习圈学习出版云平台开发感悟 篇3

和业内众多的出版界同仁一样，作为一家专注于中学教辅出版策划的机构，我们对于数字出版的学习、研究和探索也经历了多年时间，从最开始在技术公司那里获得的理念熏陶，到后来通过购买数字出版开发软件和运营平台进行尝试，我们同样也走了一条曲折的道路。直到一年前，我们怀着对“云出版”的极大兴趣，自建技术团队开始了“微学习圈”数字学习出版平台的开发之路，才取得了小小的突破。到目前为止，虽然平台的完整框架还没有架构完毕，但是在“云出版”的探索上，我们已经有了很多切身的感悟和经验。这里，笔者不揣浅陋，现将开发过程中的经验感受分享出来，以就教于业内同仁。

一、战略结构组合

微学习圈学习出版云平台是我们以教育出版商的视角切入在线教育领域的一次尝试，通过“微学圈子”将名师编委与学生读者连接在一起进行在线互动，试图解决编委资源和读者用户的整合问题；通过 “云端创作平台”提供稀缺的“微学习卡”“微学习贴”“微学杂志”等数字出版物，初步实现了数字出版研发流程的“云端再造”；通过与线下产品配套的“微学计划”来强化与读者用户的连接关系，并通过VIP收费机制实现盈利。

（一）微学习圈平台的格局定位

在线教育有多个切入点，具备不同背景或基因的机构都需要凭借自己的相对优势选择最佳切入角度，于是BAT巨头纷纷搭建在线教育大平台，百度有百度传课和百度文库，淘宝有淘宝同学，腾讯有腾讯课堂和智慧校园，互联网技术公司涌现出沪江网、一起作业网、猿题库、阿凡题等，教育培训机构有新东方的新东方在线和酷学网，学而思的e度学习网、家长帮和学而思网校，高思教育的爱学习平台，多媒体公司有爱学堂，教育出版机构有跨学网、全品学堂、91淘课网等等，总之是群雄逐鹿、各显其能。

我们选择以自身的优势出发，在借鉴很多国内外众多案例的基础上，结合公司的“教育出版”定位做了创新性的设计，最终确立为：连接作者和读者的学习出版云平台。这一平台定位植根于企业的教育出版主业，又在在线教育的市场格局中找到了自己的独特定位。

（二）微学习圈的产品组合

微学习圈在产品整合上是从 “卡”“贴”“刊”“音频”等数字化出版物应用切入的，这些不同的出版物类型分别形成了各自独立的产品模块，同时又为互动社群“微学圈子”和学习体系“微学计划”提供了数据支撑。平台的产品组合关系主要包括以下几块：

出版应用：我们已经上线公测“微学习卡”“微学习贴”“微学杂志”等3个数字产品模块，即将上线公测“微学电台”模块。其中，“微学习卡”和“微学习贴”主要完成通用性、工具性、资料性的碎片化知识的出版；而“杂志”和“电台”则对于线下产品的线上增值有较好的互补关系，下一步我们也将开发“视频”和“测评”等内容模块。这些出版应用的开发都有技术的支撑，主要通过基于自主产权的“云端创作平台”实现内容的创作与发布。

微学圈子：线下教辅的读者用户是不明确的，只有转移到线上才有网络价值，转移到线上必然要依托产品建立社群联系（编读之间和读者之间），微学习圈的核心模块——微学圈子，就是为这一目标而建立的。每个圈子致力于整合编委老师和读者用户，通过名师直播、指导，学生发言、提问，共享精品资料等形式，实现用户的整合与互动。这是将我们线下的读者用户与编委资源围绕公司品牌教辅连接起来的较好的办法，也是解决一家教育出版商真正痛点的有效途径。

微学计划：在有了出版应用和互动圈子的基础上，我们就具备了构建系统化数字学习服务体系的能力，为此，我们构建了有助于实现公司产品价值线上转化的数字学习计划——微学计划。微学计划依托传统教辅的目录体系进行了更深层的设计，每一套计划中的内容由“卡”“贴”“刊”“音频”“视频”“练习”“测评”等多种形式组成，较好地实现线下产品的内容增值，同时我们对于用户在整个学习计划中的学习进度，都做了跟踪记录，这就为依托大数据提供智能化学习服务提供了数据基础。

综上，通过出版应用、微学圈子和微学计划三个有机互动的功能，实现了内容的产生、用户的互动和服务的深化，有助于实现对于用户更深层的学习出版服务。这三种功能分别对应于用户学习的几种方式：碎片化学习、社交化学习和体系化学习。

（三）微学习圈平台的商业模式

商业模式的构建要思考用户价值和盈利模式。为用户提供深层次的学习出版服务是我们的价值所在，而实现这一价值主要是基于“云端”版权化的内容资源。由于我们平台的内容都是通过在线创作平台开发的，版权内容难以被直接复制，因而就具备了对用户收费的可能。我们初步设想是对于部分“核心内容”以及“微学计划”设置VIP学习权限，通过收取VIP会员费用实现盈利。

所以，微学习圈的商业模式基本可以概括为：以连接教师编委和学生读者为目标，以“读者用户”经营为核心，通过基于自主产权的创作平台创作的“版权化内容”，为用户提供全方位、多角度、深层次的“VIP制”学习服务，实现与用户的共赢。在这一共赢价值链中，包括平台官方、编委团队（含机构）以及读者用户。

二、运营战术组合

内容研发、平台建设、营销运营，这是在线教育运营的三驾马车。运营战术组合与战略结构组合有机配套，方能保障我们的战略设计落到实处。

（一）内容研发策略

微学习圈内容研发是基于创作平台的“模板化开发、协同化编纂”开发模式进行的，在整个内容研发流程上形成了与传统出版迥然不同的流程特征。另一方面，微学习圈的内容研发是“社交化的”，所有选题策划都从属于作者账号，从而有助于编读互动机制的形成。

nlc202309091605

表1 传统图书出版与云端数字出版开发模式对比

表2 云端数字出版的作者社交属性与媒介优势

通过上表可以看出：在线出版更有助于连接起内容供应者，依托“模板共享”“资源共享”的优势，在线出版可以更加高效地利用知识资源，创作出优质学习内容。

（二）技术开发策略

微学习圈的技术开发架构综合考虑了pc端、wap端和app端的不同需求，做了系统化的设计，其中pc端主要解决了教室编委在线创作的问题，wap和app主要服务于学生读者用户的学习使用。

在开发的过程中我们经历了很多艰辛的探索，也积累了一些开发的经验，比如在前端开发上，分别采用了成熟的bootstrap框架和mui框架，大幅提升了开发效率；在app开发上，我们采用了html5开发技术，相比原生开发模式节省了“6名工程师”的人力成本；在创作平台搭建上，我们利用了全球最流行的mvvm框架——angular框架。这些技术都具备较好的扩展性，对于后续模块的增加和扩展，都提供了很大的便捷性。

目前，平台基础框架已经搭建了相对完善的根基，在此基础之上可以扩展开发新的内容模块和小型应用，这些将会持续增加平台的用户粘性和平台价值。

（三）营销运营策略

微学习圈内容营销推广总体坚持“守正”和“出奇”两条路线，“守正”是让用户在平台上直接学习及与互动，“出奇”是让用户通过社交网络平台间接阅读内容。

“守正”是守教育出版之正。我们以直接推广“微学习圈”平台为核心的营销方式，这自然要借助已有的营销传播通道，目前会以与公司产品互动宣传为主要的推广通道。微学习圈平台的推广在给平台带来用户的同时，也具有反哺线下教辅产品销售的作用。目前，鉴于平台还没有完善，直接推广的任务还没有启动。

“出奇”是出社交红利之奇。鉴于平台直接推广需要较大的广告宣传投入，我们重点考虑“出奇”策略，即在社交网络平台上通过内容推送、用户分享、朋友扩散的方式获取流量和用户。这一块主要针对“出版应用”来展开，因为大量免费的出版应用和知识应用是社交网络稀缺的社交学习资源，我们构建了以“数据”为核心，以“场景、社群、内容、连接”为组合的“社群营销框架”，从上线内测时2个月的数据来看，微信社群积累了5000以上的粉丝用户，其中有40%转化为了平台用户，显示了较好的用户转化率。

三、转型发展问题

传统出版机构的数字化转型过程，从一开始就面临巨大的阻力，在发展的过程中也必然面对意想不到的困难，这一点在我们这里同样存在。在笔者的感受里，管理机制的困扰和团队发展的问题成了最大的烦扰，虽然我们一直在努力解决这些问题。

（一）管理机制问题

1.传统出版机制的影响

在同一家企业中，将之前的管理经验复制到新业务的管理中，是公司的各级管理层不自觉地进行的一项行为。但凡事都有一个度，当新业务的业务模式与传统业务有足够的差异之时，已有的管理经验不仅经常失灵，而且还有很大可能对新业务的发展构成巨大的束缚。

数字出版在研发流程、运营模式等方面都与传统有着迥然的差异，对于一家数字出版业务份额很小的企业来说，要让公司管理层能够为数字出版业务提供适合的管理机制，显得很不容易。但这恰恰是决定数字出版业务顺利发展与否的关键所在。

2.管理团队的困惑与分歧

在笔者带领着现在的团队从传统出版过渡到数字出版业务的过程中，从商业模式、网络技术、研发技术到运营模式等方面接触了大量全新的知识信息，各种新的名词、概念、技术、案例每天都在影响着团队的思想意识，这在促进了我们团队探索和前行的同时，也造成了和做传统出版的同事甚至公司管理层的沟通不畅，由此导致了较长时间的思想分歧，使得内耗加剧，影响了开发的进程。

这种现象让我们面对同样的市场机遇时，因为战略决策未能及时达成很容易错失良机。由于参与战略决策的是来自公司各部门的高层领导，在传统出版和数字出版之间，有太多的不一样的思想逻辑，管理层是否有较好的思想共识，对于战略决策显得格外重要。

（二）团队建设与成长问题

1.对于外部专业技术人才的吸纳

在引进外部的专业技术人员方面，出版机构常常显得力不从心。在笔者组建内部的技术团队的过程中，感受最深的就是技术人才对于专业的互联网团队氛围的渴望，他们最为担心的就是传统企业没有从机制上做好互联网转型的配套，事实上，我们也因此错失了几位很看好的人才。

所以对于外部专业人才的引进，需要公司从管理层的思想意识开始做好转变，努力搭建适合互联网生存法则的管理机制，以便能放开怀抱吸纳优秀的人才加盟。

2.传统编辑、营销人员的转型

传统编辑、营销人员的转型，从一开始也并不是那么风平浪静，一方面数字出版的员工绩效相比传统出版一开始并不诱人，另一方面是数字出版要求员工从思想观念到操作技能再到创新思考方面重塑自己，学习成长的压力很大，这注定了是不平凡的历程。

我们这里的员工相对年轻化，对于接触新的事物都抱着开放的心态，但鉴于数字出版要学习的东西实在太多，员工们成长过程中的困惑和压力始终存在着。

上面是笔者近三年来从事数字出版业务探索的经验和感受，可以说，三年来我和我们团队的每一名员工一起，都同样饱尝了技术障碍之忧和思想困惑之扰，虽然已经超越了自我做出了阶段的成果，但离目标还有很遥远的一段路要走！

（作者单位系河南天星教育传媒股份有限公司）

学习分析云平台设计 篇4

随着计算机技术和信息网络的快速发展, 人们的生活发生了很大的改变, 传统的学习模式受到了前所未有的冲击, 各种新的学习模式如潮水般涌现, 在所有学习模式中, 最具有冲击力的便是数字化学习 (e-learning) 。目前, 数字化学习已成为教育领域一种不可或缺的学习方式, 学员足不出户即可通过网络轻松地学习到视音频、图文等各种形态的数字化资源, 并可实时与教师和其他学员进行交互。

各种提供数字化学习服务的学习平台纷纷建立, 然而, 随着在线学习人数的快速增长和各种学习资源的不断累积增加, 对平台的硬件支撑环境、软件系统和网络带宽等各项技术要求也越来越高。具体来看, 体现在几个方面:1、需要支持大用户群体;2、要支持多样化学习内容的提供;3、要支持用户个性化使用。

这些要求往往是大于平台设计时的能力的, 传统的平台是建立于单一硬件设施的应用网站, 通过流媒体服务等技术手段提供学习内容, 解决这些问题的传统方法是不断加大平台硬件、网络带宽投入和对软件系统进行持续的更新升级来实现系统的可扩展性, 但这种方法的主要缺点是投入大、周期长、维护成本高、可扩展性差等。

在这种情况下, “云计算”的概念被提出来。云计算系统往往是由单一组织掌控的一个或多个数据中心的软硬件系统构成, 在多个用户或应用程序之间分摊数据中心的资源。从用户看来, 云计算提供了一种大规模的资源池, 资源池管理的资源包括计算、存储、平台和服务等各种资源, 资源池中的资源经过了抽象和虚拟化处理, 并且是动态可扩展的。1这为解决上述问题提供了良好的技术基础和合理有效的架构模式。本文主要工作就是基于云计算技术在基础架构、平台架构和应用开发等方面的理念和技术支撑, 设计一个高效的数字化学习平台, 以期达到平台的高效运行、可扩展、易维护等效果。

2. 相关技术

2.1 数字化学习平台

数字化学习 (E-Learning) 是一种全新的教学方式, 它主要是指通过计算机网络技术进行的学习、培训与教学活动, 它充分利用现代信息技术所提供的、具有全新沟通机制与丰富资源的学习环境, 充分运用大量数据信息、档案资料、程序、教学软件、兴趣讨论组、新闻组等学习资源所形成的一个高度综合集成且不断更新变化的资源库实现一种全新的学习方式。

数字化学习平台即为用户提供数字化学习服务的平台。一般由WEB前台 (门户网站) 、管理模块、学习模块、资源库模块等组成。对于学员来说, 主要实现选择课程、学习课程内容、参加课程讨论、答疑、完成作业、网上自测、参加考试、了解学习进度和学习状况等功能。对于管理员来说, 主要实现对用户的动态管理, 统计掌握相应的信息, 并在网上为学员学习提供全过程的服务, 确保学习活动正常、有效的进行。

2.2 云计算

云计算是分布式计算的一种形式, 它强调在互联网上建立大规模数据中心等IT基础设施, 通过面向服务的商业模式为各类用户提供基础设施能力, 是建造和运维互联网分布式系统相关技术的总称。

云计算面向服务器商业模式主要有基础设施即服务 (Infrastructure as a Service, Iaa S) 、平台即服务 (Platform as a Service, Paa S) 、软件即服务 (Software as a Service, Saa S) 三个。

同时云计算还具备其它几个典型特征: (1) 规模经济驱动的资源集中共享。云计算系统中的资源在多个租户之间共享, 通过对资源的集中管控实现成本和能耗的降低。 (2) 资源虚拟化。云计算系统使用了虚拟化的方法, 从而打破了数据中心、服务器、存储、网络等资源在物理设备中的划分, 对物理资源进行抽象, 以虚拟资源为单位进行调度和动态优化。 (3) 系统动态可扩展。云计算系统的一大优点便是可以支持用户对资源使用数量的动态调整, 而无需预先安装、部署并运行峰值用户请求所需的资源。

3. 基于云计算的数字化学习平台

3.1 基于虚拟化的基础计算设施层架构 (Iaa S)

考虑到数字化学习平台应用的特性, 其硬件支撑环境须解决灵活的硬件配置、支持高并发负载和对资源分布存储管理等三大问题。平台在应用了虚拟化技术后, 能很有效的解决这些问题。

硬件灵活配置。采用高配置服务器搭建虚拟化应用环境, 在该环境上虚拟出多个同时运行的不同操作系统的应用, 分别承担数字化学习平台的WEB应用、数据库、资源库等功能。由于每个虚拟机是以文件的形式存在的, 所以备份和恢复一台虚拟机变得无比简单, 从以前的数十小时恢复一台物理服务器减少到数小时恢复一台虚拟机, 充分体现了资源灵活、安全可控、数据可靠、节约成本的优点。

解决高并发负载。采用软硬结合方式解决系统的高并发负载问题, 软件方面提供分布式部署的计算服务集群, 开通不同的计算“窗口”, 对系统的负载请求进行分布式处理;硬件方面根据软件需求并结合虚拟化设备, 进行动态部署。

进行分布式资源存储和管理。资源和课件可以分布存储在不同的磁盘和不同地域的服务器上, 提供统一的查询和索引服务, 并可以进行镜像服务, 客户端根据自身网络自动匹配相关的资源服务, 获取浏览的资源。

3.2 面向学习平台的应用框架设计 (Paa S)

在面向广大学习者的学习系统中, 如何能够为学习者提供丰富多彩的学习内容和永不厌倦的学习模式, 不只是提供基础的硬件和网络环境就可以实现的, 需要让更多的应用设计者参与进来, 共同来搭建形式多样的应用, 而如何快速方便的建立面向学习者的应用就需要平台的建设者可以制定出一种参与的规则, 这个规则包含商业规则和技术规则。商业规则主要是一套合作分成的模式, 就像苹果的App Store, 制定了开发者与运营者之间的商业规则, 吸引了众多的开发者加入到苹果的应用开发中。而技术规则侧重于设计一个快速有效的开发体系, 使得开发者只要有创意和经过简单的学习就可以利用技术规则来实现自己的创意, 得到一个应用来提供给使用者, 这个通常来说就是所谓的API, 而且这个API要达到简便易学的程度才可以广泛的吸引创意者和开发者的加入, 要降低API的门槛, 那从平台的设计角度来说就必须更加的完善, 需要组合更多底层的API形成高级的API, 屏蔽更多的技术细节来使得使用者更容易上手并粘合, 不停的为平台的学习者创意更多的学习应用, 让平台成为真正的服务提供者。

3.3 支持个性化使用的学习服务系统的设计与实现 (Saa S)

对于学习者来说, 在登录学习平台后, 面对平台相对复杂的功能和海量的学习资源可能觉得无从下手, 不知道该怎么学, 甚至不知道自己需要学习什么。这时, 支持个性化使用的学习服务系统就将发挥作用。

学习者登录后可自定义学习平台功能, 只需从云功能平台上“抓取”各种需要的功能放到学习“桌面”上, 组成个性化学习平台, 形成了“某某人的学习中心”, 从而大大简化了使用过程。在学习资源的选取上, 系统增加了智能推荐和云资源库的功能。平台会根据学习者的个人信息 (如性别、年龄等) 优先推荐一些可能适合他的课程清单, 同时学习者也可以在云资源库中搜索、自定义的课程清单, 他并不知道这些课程可能来自不同地方的不同服务器。

对于平台的行业使用者或合作者来说, 他们可以在这个学习平台新建学习项目, 几乎不需要任何投入, 即可在该平台上虚拟出一个子学习平台, 同样具有独立的门户网站和用户管理体系, 可迅速开展面向学习者的在线学习服务。这也是平台即服务的另一种表现。

4. 实例

以正在开发建设的无锡市数字化学习社区为例, 该平台由门户网站、课程资源库、学习平台和管理平台四个部分组成, 面向全市社区居民提供数字化学习服务。该平台具有市、区县、街道、社区四级管理权限, 具有统一的市级门户, 同时还与各区县教育局合作开设区级门户网站, 各区县的居民通过登录区级门网站进行学习。

得益于前述的云计算学习平台架构形式, 各区县教育局不需要投入任何软件与硬件, 即可在该学习平台上快速建立一个区级门户网站, 立即拥有一套看拟独立的用户管理体系和一个区级资源库。具体而言:

(1) 在硬件支撑方面, 如图1所示, 采用两台浪潮高性能服务器NF560D2结合存储系统构建Iaa S虚拟化平台, 利用Vmware进行虚拟化, 虚拟出WEB、数据库、资源等服务器。

(2) 在应用框架方面, 面向学习平台研发了平台的基础框架, 提供学习资源管理、用户管理、学习模型定制等基本平台功能, 并基于此支持多样化学习平台的定制和快速开发, 可以直接调用平台的相应接口快速生成学习型网站。如图2所示, 在数字化学习社区的建设中, 可快速地建成区县社区学习网站。

(3) 在用户使用方面, 学习者可在统一的云资源库里进行检索查询所要学习的课程, 可自定义并组合学习内容, 同时系统会根据用户情况推荐学习内容, 并对其学习状况进行记录, 并给予一定的反馈, 从而实现了学员的个性化学习。

5. 总结展望

在以互联、开放、共享和协作为主旋律的互联网计算环境下, 各种软件呈现出网络化、服务化、虚拟化和集成化的发展趋势, 应用系统的形态也在发生质的变化, 不再以固化、独有的形式出现。

基于云计算技术的数字化学习平台, 利用虚拟化技术实时调配和监控硬件资源, 利用云的概念对软件平台进行整合提升, 形成了一种新型的学习平台, 是未来各种在线学习平台的发展方向。它避免了很多传统技术手段无法解决的弊端, 推动了网络与远程教育相结合的技术革新, 降低了平台开发与使用的成本, 其灵活性和迅速的响应能力, 使平台更易操作, 功能更加强大, 学习内容更丰富, 可满足人们日益增加的学习需求。

摘要：从软硬件环境的角度介绍了基于云计算的数字化学习平台的设计, 分别从云计算的三种面向服务的商业模式进行了具体分析, 并结合实际的学习平台项目进行了研究与实践。

关键词：云计算,数字化学习,学习平台

参考文献

[1]韩燕波等.互联网计算的原理与实践[M].北京:科学出版社, 2010.

学习分析云平台设计 篇5

文章提出协同化和交互式的设计服务架构，依托网络化信息平台，突破地域、行业和技术的限制，构建大型科学仪器与文献资源共享、技术评估与转移服务、工业设计共性技术支撑、科技检测服务等四个服务模块的“一站式”创新科技服务模式，实现以工业技术设计为代表的，跨系统、跨平台的科技资源共享和协同服务，从而提升中小企业的产品设计和制造水平。

随着全球经济一体化的加深，市场竞争日趋激烈，信息技术的发展又加速了这一竞争态势，以电子商务(e-Business)为特征的全球化制造网络体系快速形成，在这一趋势下，制造企业的设计资源往往不能满足客户动态变化的多样化需求。以中试服务为例，某些情况下中试开发平台本身的设备并不能满足用户的需求，这时就需要利用大型科学仪器共享平台或者其他的外部资源。因此，通过跨平台的业务数据和流程协同机制，提出基于多个平台资源整合的、面向用户需求的科技资源共享平台，充分发挥大平台、大融合的优势，为用户提供“一站式”云设计科技服务体验。

学习分析云平台设计 篇6

云计算是当今IT界新兴的计算模式和服务模式, 通过该模式可以将最终用户从计算机系统繁琐的使用和维护中解放出来, 使用户可以轻松使用各种计算机服务。同时也将有限的资源集中起来提供无限的服务, 极大地提高了资源利用率。随着云计算技术的成熟, 云计算成为高校信息化建设和发展的新模式, 并逐步实施。目前, 私有云已成为高校云计算主流模式, 其对于高效整合校园资源、 降低管理维护成本起到了重要作用。如何有效利用高校的私有云平台, 更好地为教学服务已成为一个热点问题, 本文着重探讨如何在私有云平台上通过Moodle来搭建一个云辅助协作学习平台, 实现高效教学的开放性、交互性。

1 Moodle课程协作学习平台

1.1 Moodle特点

Moodle是伴随着网络教育而发展起来的一个课程管理系统。Moodle的核心思想是 “社会建构主义教育学 (Social Constructionist Pedagogy) ”, 它允许师生或学生彼此间共同思考, 合作解决问题。该平台的特点是:

(1) 开发性。学生可以随时在任何与网络相联的终端上进行学习, 教师能够方便、及时地进行教学内容的充实、 调整和更新。

(2) 交互性。网络课程不仅能够人机交互, 更重要的是教师与学生、学生与学生之间可以通过网络实现教与学的交互, 还可以通过链接等多种方式共享国内外日益丰富的网上动态学习资源。

(3) 自主性。网络课程以教师为主导, 强调学生自主学习。

(4) 探究性。学生通过自主学习提出问题, 提出自主想法, 并通过相互合作收集证据, 然后形成相应的解释, 对最终结果进行集体评价, 讨论出结果从而达到探究性学习的目的。

1.2 Moodle存在的问题

Moodle可以免费获取, 具有跨平台、自由组合的动态模块化设计等特性, 因此有着的广泛应用, 但是也存在一些问题:1配置复杂, 其使用的主要组件为Apache、 MySql、PHP等, 对于普通任课教师而言, 技术门槛相对较高;2不方便大规模部署;3系统维护复杂, 运行稳定性有待提高;4使用成本高。

2高校私有云模式下基于Moodle的课程协作学习平台设计

针对目前Moodle使用存在的问题, 将Moodle平台搭建在高校的私有云中, 利用高校的私有云平台SAAS (软件及服务) 实现服务可免配置 (配置定制化) 和稳定性有保证。因此, 基于云计算技术构筑Moodle应用系统可以直接使用、免配置、免维护, 其配置维护工作由学校专业技术人员完成。

高校在私有云上部署Moodle应用系统还可以实现与高校内部办公网站、财务数据、教务数据等的有效整合。 学生可以通过云计算客户端实现随时随地学习, 不受时间、空间的限制。教师可以通过Moodle课程协作平台的教师角色登陆后台对教学内容进行及时更新, 同时可以及时与学生互动。

3高校私有云模式下基于Moodle的课程模块设计

本文通过该平台对《信息安全技术与应用》课程协作平台进行了设计, 包括基本模块和扩展模块。课程设计完成后, 学生可以登录该平台, 自主选择课程进行学习。

3.1课程协作平台基本模块

课程协作平台基本模块是Moodle默认包含的模块, 主要包括课程管理、作业模块、聊天模块、投票模块、论坛模块、测验模块、资源模块、问卷调查模块、互动评价 (workshop) 等。

3.2课程协作平台扩展模块

扩展模块主要是在课程协作平台中引入激励机制, 在Moodle原有模块的基础上加入新的共享模块, 实现学生探究性学习的目的, 同时将Moodle平台变得更加人性化, 使学生主动学习, 使枯燥的学习更加生动有趣, 与此同时, 教师可以更加直观地看到学生的学习情况, 能通过学生学习反馈的信息进行有针对性的教学修改, 从而促进学生探究性学习的可行性。

根据马斯洛需求层次理论中的最高层次是“自我实现”, 每个人都希望自己的努力得到肯定, 从而获得满足感和成就感。而如何提高学生在信息技术课堂中的积极性, 是教师最迫切、最棘手的问题。利用这一理论, 在课堂中调动学生的积极性, 通过网络中大量资料的查询和测试, 我们对Moodle课程协作平台进行了二次开发和扩展。

(1) 消极用户。教师通过消极用户模板可以查看个人课程中没有在预先设计好的时间上线的学生, 默认只有教师可见, 但是通过设置可以显示给学生。当学生看到自身的用户或者名字出现在消极用户公告板上时, 根据马斯洛需求层次理论, 可激发学生积极上线学习, 如图2所示。

(2) 积极用户。积极用户是一个显示当前一定时间内最活跃用户的插件。学生通过查看积极用户从而发现自身学习时间的不足之处, 同时也可以观察那些积极用户学习状态, 促进学习者的学习积极性。

(3) 时间模块统计。时间统计是指教师对学生学习时间的反馈信息进行统计, 修改原来的教学方式以引导学生更努力地学习。

4结语

笔者学校在私有云平台上搭建了基于Moodle的课程协作平台, 并在《信息安全技术与应用》课程中进行了应用, 通过对学生访问量、平均在线时间、学生反馈情况等多方面数据统计, 数字都远高于普通的精品课程网站, 该学期学生的成绩数据反映, 教学效果也得到了大幅提升。在高校私有云平台上构建基于Moodle的课程协作平台, 可以有效地提升学生学习自主性, 更好地激发学生开展探究性学习, 促进高校教学质量的全面提高。

摘要：目前很多高校都在建设私有云信息平台。针对这种趋势, 提出在校园私有云平台上构建基于Moodle的课程协作学习平台。该平台以“构建主义”作为教学资源平台建设基础理论, 将教学资源设计成为多对象的“学习中心”, 引发学生主动参与, 同时引入激励机制, 为学生提供协作性和探究性学习环境, 促进课程教学质量的全面提高。

关键词：私有云,Moodle,协作学习,资源模块

参考文献

[1]陈莹.云在学校计算机公共服务平台的应用探讨[J].硅谷, 2009 (19) .

[2]JOHN B HORRIGAN.Use of cloud computing applications and services[M].Washington:the Pew Research Center, 2008.

[3]张莹.云计算技术在高校资源建设中的应用初探[J].科技资讯, 2009 (9) .

[4]曾棕根.LAMP (PHP) 程序设计[M].北京:北京大学出版社, 2009.

[5]王萍, 张际平.云计算与网络学习[J].现代教育技术, 2008 (5) .

学习分析云平台设计 篇7

关键词：云计算背景,CDIO理念,自主学习平台,设计研究

云计算是基于互联网的相关服务的增加、使用和交付模式, 通常涉及通过互联网来提供动态交易且经常是虚拟化的资源, 并提供了最可靠、最安全的数据存储中心, 故云计算技术具有节约成本和伸缩性的特点。鉴于此, 基于CDIO理念的自主学习平台的设计研究就可以充分运用云计算技术。

1 当前网络教育的不足

1.1 教育体系及理念欠佳

网络教学虽被作为一种新生的先进教学方式而存在, 然教育体系及理念使其仍处于教师利用传统教学模式进行教学的局面。相比之下, 传统的学校面授在一定程度上更有利于学生的学习。首先, 当学生与教师面对面交流时, 可感受教师的教学激情和生动活泼的教学语言;其次, 当学生遇到问题时, 可及时与教师交流和讨论;再次, 课堂学习是一种群体学习, 学生之间可对相关问题进行讨论和交流, 有效激发学生的学习兴趣和锻炼学生的沟通、表达交流能力和协作能力, 综上比较可见网络教学优势得不到有效发挥。

1.2 学习资源及交互方式欠佳

网络教学的核心过程是依托网络教学系统的互动性和学习资源的多样性来开展个性化的自主学习。但目前绝大部分的网络教学系统中并没有针对性地将众多有益的相关教辅资源进行有效整合和及时更新, 故造成了网络学习资源的同质化。此外, 多数现有的交互方式依然倾向由教师掌握交互的主动权, 而学生与学习资源之间、师生之间的交互不自觉地陷入受调控和被动的局面, 进而导致教学交互性能及效果低下。

1.3 硬件技术未有效利用

传统的B/S式的设计模式对信息呈现的方式不够新颖。因为这种模式对信息的展示都是以文字、图片和视频的方式进行, 表现手法和方式单一。现在的大多的网络教学平台都是采用的这种传统的B/S式的设计模式, 没有充分利用硬件技术, 不能够很好的激发学生的学习兴趣, 更不能够吸引学生的注意力。

2 CDIO工程教育模式概述

CDIO工程教育模式是近年来国际工程教育改革的最新成果, 其继承和发展了欧美20多年来工程教育改革的理念, 并系统的提出了具有可操作性的能力培养、全面实施以及检测测评相关的12项标准。

CDIO以“一体化教学计划”的工程教育理念不仅重视学生的专业素养和基础理论的培养, 而且重视学生的团队合作意识、沟通交往能力和创新实践能力的提高和发展, 同时还重视培养学生对系统进行构思、设计、实施、运行的综合能力。CDIO是一个开放的教育理念, 各个学校或教育机构可以根据自身的实际情况对其进行改革, 从而优化教育资源, 寻求自身发展。

3 CDIO与自主学习平台的整合

CDIO教育理念包括的12项标准为工程教育系统的发展提供了良好的基础, 故可利用CDIO工程教育理念创造一个良好的自主学习的网络环境, 以有效激发学生的学习热情和兴趣。将CDIO与自主学习平台整合则应当对CDIO的教育理念进行综合分析和灵活理解, 并有效运用其包括的12项标准进行网络教学的过程设计。同时, 为保障学生网络环境下的学习效果, 还需引入合理的学习评估机制。

3.1 一体化教学交互设计

在CDIO教育模式下的自主学习平台中, 鉴于让学生通过主动的、实践的、全局联系的方式学习并且获得实践能力的理念, 创新地将游戏作为学习资源的载体, 进而构建了新的一体化教学交互模式。这与传统的教育模式形成了鲜明的对比, 充分调动了学生的积极性。本研究主要从游戏的设计理念、评价机制、激励机制和学习过程等方面对CDIO运用于自主学习平台的设计进行分析。

3.1.1 设计理念

传统的游戏主要是以娱乐和消遣为主要目的, 而基于CDIO的理念设计的学生自主学习的游戏的设计理念是将任务与课程紧密联系, 把具体的知识巧妙安排在游戏中, 采用沉浸式学习的方式, 学生在根据学习主题创设的游戏模拟情景中通过一系列的游戏交互完成具体知识的学习和操练, 实现“寓教于乐”的目的。

3.1.2 任务设计

注重将有益的教学资源进行整合, 多角度地开展游戏的任务设计, 按照工程思想将适用于具体学科工程项目实施的各阶段划分成游戏的具体关卡, 并按角色设计团队任务, 学生在完成知识学习的同时还培养了其战胜困难的勇气与信心。同时, 游戏引入了等级、装备、交易和成就系统, 以更好的激发学生的学习兴趣和增强游戏的趣味性。

3.1.3 评价设计

学生自主化的学习需要有一个具体的评价机制来检验学习效果。在游戏中, 每个关卡的节点都设置了相应的评价系统。学生可以在任务完成后对自己知识的掌握进行相应的评价。为提高游戏的可玩性和学生的学习热情, 测试结果的设计是与游戏的成就系统、虚拟货币和道具系统的有效结合的。学生实践能力的培养需要采用线上学习与线下实践相结合的方式以加强理论知识和实践能力的联系。

3.1.4 辅学设计

在学习过程中, 学生遇到相关问题后, 可通过自主学习平台提供的基于云服务的在线资料学习中心查阅资料。同时完成节点的任务后, 系统同步设置相应的线下实践测试, 用以考核用户对知识的掌握水平。学生需在各任务节点处将该节点的文档资料进行上传, 并获得其他用户和老师的肯定才能获得相应的奖励。

3.2 平台的设计与实现

CDIO教育模式下的自主学习平台主要包括4个功能模块。即用户中心、资料中心、游戏中心和互动社区, 见图1。

3.2.1 用户中心

该模块主要功能包括用户信息的注册、用户的登陆、用户信息管理和维护。学员和系统管理员是自主学习平台的典型用户。学员就是自主学习平台的用户, 管理员就是对自主学习平台进行管理和维护, 发布、更新和注销学习资料的人员。

3.2.2 资料中心

学生可通过该模块查询课程游戏涉及到的项目实施的相关知识, 并对游戏中出现的有关项目开发的问题进行处理, 从而使学生更好的完成项目开发的任务。在功能上, 资料中心这个模块与传统的网络学习平台知识所展示部分是相同的。在内容组织上, 资料中心这个模块打破了传统教学中的课程界限, 主要以游戏中的项目开发任务为主线, 采用通过任务的方式让学生进行自主学习。

3.2.3 游戏中心

该模块是本系统的核心, 包括了游戏主程序、角色系统、导航系统、成就系统、任务系统、道具系统和测试系统, 每个系统都有具体的功能。

3.2.4 互动社区

网络互动学习与传统的教学中的互动学习完全一致。该模块主要是为师生之间和生生之间提供一个交流的平台。学生和教师可以在这个社区交流学习心得和游戏体验。同时, 学生也可以通过这个社区向教师寻求帮助。该模块是联结线上学习和线下实践的枢纽, 使得网络教学手段得以完善, 也是构建网络教学完整性的关键。

当然, 该教育平台的设计与实现需要在高速发展的计算机技术环境下实现, 而云计算技术作为一种低成本的资源配置方式, 恰好为自主学习平台提供了一个可伸缩的、低成本的运行平台。

4 结语

综上所述, 基于云计算环境这一低成本和可伸缩的运行平台, 将CDIO工程教育理念及其衍生出的新型的教学模式有效整合到网络教学过程中, 为我国网络化学习提供了良好的平台构建基础, 其发展和运用可以改变我国网络教学的现状及推动我国网络教学的快速发展。

参考文献

[1]孙伟, 马永强, 贺志宇.在云计算环境下基于CDIO思想的自主学习平台的设计与研究[J].集宁师范学院学报, 2014 (4) :107-111.

学习分析云平台设计 篇8

随着通信行业竞争的不断加剧, 运营商如何有效地利用庞大的信令数据进一步实现深度运营和精确营销已经成为当务之急, 急需一种可控投入就可满足可控信令数据存储, 并能高效地对其分析、挖掘信令数据价值的数据平台。Big Data”大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革, 对国家治理模式, 对企业决策、组织和业务流程, 对个人生活方式都将产生巨大的影响。在研究领域, 麦肯锡认为, 数据已成为流入全球经济每一个领域的洪流。大数据完全能够成为企业的新型资产, 形成竞争力的重要基础, 并发挥重要的经济作用。IDC认为, 大数据处理将在2012年成为一项必备能力。Gartner认为, 2015年超过85%的财富500强企业将在大数据竞争中失去优势。2012年3月, 奥巴马政府发布了“大数据发展计划”, 并将其定义为“未来的新石油”。这一系列事件使得大数据成为又一个炙手可热的名词。

电信运营商引入大数据技术, 通过可控的成本实现海量数据存储分层的同时, 通过缩短数据处理路径和提供超大数据处理带宽, 有效减少数据分析响应时间, 提升信令分析的业务价值, 增强运营商核心竞争力。

2 大数据时代面临的挑战

2.1 大数据概念

(1) 数据规模大:很难给出一个绝对的数字标准来确定大小, 可能用一些模糊的感觉来相对比较;

(2) 数据结构复杂度高:复杂的数据结构的数据能够传递更丰富的信息;

(3) 数据关联度高:数据关联度的高低关系到数据的可挖掘程度, 如果数据关联度低, 无论数据量如何大, 结构如何复杂, 也形成不了大数据。

2.2 大数据时代面临的问题

(1) 简单的脚本语言预处理, 无法解析过于复杂的数据结构;

(2) 关系型数据库在大数据面前面临尴尬;

(3) 商业数据库的优化空间有限;

(4) 数据质量无法做到有效监控;

(5) 越来越多的业务需求向数据运算能力妥协。

3 基于云计算的大数据方案研究与设计

3.1 大数据统一分析平台设计思路

(1) 在企业内构建统一的数据运算平台;

(2) 企业所有者可以直接控制其数据实例;

(3) 通过实体整合直接提供企业级的数据访问功能;

(4) 灵活的扩展和配置降低了投资的平均风险。

云时代的大数据平台不仅以高性价比、高扩展性的硬件体系支撑PB级别, 甚至ZB级别的海量结构化、半结构化、甚至非结构化的数据存储。同时还需要能够高速的挖掘这些数据的价值, 为企业创造利润, 真正实现大数据等于大价值。

基于云计算的大数据统一分析平台结合数据库存储和Map Reduce架构为企业构建高效处理的结构化、半结构化、甚至非结构化数据的大数据分析平台, 客户可以以此平台为基础实现数据资产从成本中心到利润中心的转变, 以数据驱动业务。

3.2 大数据统一分析平台软件架构

(1) 软件架构

通过Master主机和多节点的Segment主机和数据库通过互联网络连接。应用程序通过Master主机访问数据, 网络中的每一个存储节点都是独立的数据库, 相互之间没有共享。在多存储节点和Master主机之间进行数据交换。

各个节点的segment服务器通过互联网络进行连接, 完成相同的任务, 从用户的角度来看是一个服务器系统。其基本特征是由segment服务器 (每个segment服务器为节点) 通过互联网络连接而成, 每个节点只访问自己的本地资源包括内存、存储等, 是一种完全的无共享结构 (share-nothing) , 因而扩展能力最好, 理论上期扩展无限制, 目前的技术可实现512个节点的互联, 数千个CPU。每个节点可运行自己的数据库、操作系统, 但是每个节点不能访问其他节点的内存, 节点之间的信息交互是通过节点互联网实现的, 这一过程称为数据重分配。

(2) 高可用性方案设计

Master主机与备Master主机采用一主一备方式同步进程, Master主机与多节点的Segment主机通过GE网络进行连接, 每一节点Segment主机上包含了主网段和镜像网段两份数据, 保障整个系统架构的高可用性。

3.3 大数据统一分析平台网络架构

(1) 目前的共享架构方案

“完全共享”体系局限于单一服务器 (通常是价格比较昂贵的SMP服务器) 。

“磁盘共享”体系允许系统带有多个服务器, 这些服务器与SAN或其它共享存储设备相连。这种体系需要通过一个狭窄的数据管道将所有I/O信息过滤到昂贵的共享磁盘子系统。

从结构上分析, 采用“完全共享”或“磁盘共享”体系, 其扩展性和性能受到相应的限制。而且, 通用磁盘共享体系复杂、脆弱, 在处理万亿字节数据时难以胜任。

(2) share-nothing完全不共享架构方案

完全不共享架构的磁盘SAN/FC网络、网络主机SAN/共享磁盘、通用数据库等是针对OLTP处理功能设计的, 在运行大量小规模交易查询数据时效果最好。

在“完全不共享”体系下, 在主机上规划查询项目, 并将其分成若干部分在集群上并行执行, 所有通讯功能都在一个高宽带网络互连体系上实现。这种体系的一个重要优势就是每个节点都有一个通往本地磁盘的独立高速通道, 从而简化了体系, 并提供扩展性很好的并行扫描和

查询处理功能。

3.4 大数据统一分析平台方案特点

(1) 数据保护-节点镜像

在大数据统一分析平台中, 只有Master主机保存了系统的元数据, 每一节点的Segment主机保存了用户的部分数据, 通过镜像, Segment主机的镜像数据保存在不同的Segment主机上。

比如:Segment主机1的主要数据版本1在Segment主机1, 它的镜像数据保存在Segment主机n;Segment主机2的主要数据版本2在Segment主机2, 它的镜像数据保存在Segment主机1;Segment主机n的主要版本数据在Segment主机n, 它的镜像数据保存在Segment主机2;

根据这样的镜像配置, 如果有Segment主机down机了, 仍旧可以从其他节点的Segment主机恢复完整的可用数据到本Segment主机数据库系统。

(2) 基于外部表的高速数据加载

①并行数据流引擎, 可以直接用SQL操作外部表;

②加载完全并行, 加载速度可达4.5TB/小时。

(3) Map Reduce&SQL一体环境

与传统的RDBMS系统和编程环境不同, 大数据分析平台采用Map Reduce&SQL一体化的环境。

(4) 私有云计算平台

硬件采用X86开放架构的PC服务器, 数据分布式存储和采用大规模并行计算, 从根本上解决I/O问题, 性能线性扩展, 高可用保障, 资源按需定制。

3.5 大数据统一分析平台优势分析

(1) 允许根据业务优先级按需调配和再分配大量计算资源的敏捷性;

(2) 能够分析更细化、更多元化的低延迟数据集 (大数据) , 同时保留数据内的细微区别和关系, 以便得出有利于优化业务绩效的差异化洞见点;

(3) 围绕关键业务计划展开组织范围的协作, 快速传播最佳做法和组织发现的结果;

(4) 成本优势:可以利用商品化处理组件来分析大数据, 从而利用以前即便能利用也不能经济高效的利用的业务机会。

基于云计算的大数据统一分析平台将带来可大幅扩展的处理容量, 允许利用细粒度数据集, 实现低延迟数据访问以及紧密的数据仓库和分析集成, 为公司和企业提供有实际内容并有可操作性的洞见点。

4 结束语

根据Gartner的预测, 2012年大数据技术处于高速的发展时期, 不断取得技术上的突破, 产品密集发布或者其他能产生重大利益的项目快速大量出现。基于云计算的大数据统一分析平台将有效地支撑数据关联度高、数据结构复杂的数据, 有效支持PB级别数据、有效减少数据分析响应时间, 提升信令分析的业务价值。基于云计算的大数据统一分析平台对电信运营商未来业务和技术的发展有重要的战略意义和经济意义。

摘要：通过介绍大数据时代的业务特点以及目前大数据时代面临的挑战, 对基于云计算的大数据统一分析平台进行了详尽的研究与设计, 包括大数据分析平台的架构体系、大数据分析平台的软件架构、大数据分析平台的网络架构、大数据统一分析平台的方案特点等, 分析了基于云计算的大数据统一分析平台方案的竞争优势, 基于云计算的大数据统一分析平台将更有效支撑未来电信运营商业务的发展。

关键词：云计算,大数据,Master主机,Segment服务器,完全无共享 (share-nothing) 架构,数据保护,并行计算框架 (Map,Reduce) 高可用性

参考文献

[1]陈如明.大数据时代的挑战、价值与应对策略[J].移动通信.2012, (17) :14~15

[2]赵春雷, 乔治.纳汉.“大数据”时代的计算机信息处理技术[J].世界科学.2012, (2) :30~31

[3]易鲜成, 朱红.用Delphi5开发多层应用系统处理大数据集的方法研究[J].计算机应用研究, 2001 (12) :126~128

[4]黎宏剑, 刘恒, 黄广文, 卜立.基于Hadoop的海量电信数据云计算平台研究[J].电信科学, 2012, (8) :80-83

[5]成静静.基于Hadoop的云计算/云存储方案研究与设计[J].数据通信, 2012 (5) :14-18

[6]顾芳, 刘旭锋, 左超.大数据背景下运营商移动互联网发展策略研究[J].邮电设计技术, 2012, (8) :21~24

[7]覃雄派, 王会举, 杜小勇, 王珊.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报.2012, (1) :32-36

[8]郑启龙, 房明, 汪胜.基于MapReduce模型的并行科学计算[J].微电子学与计算机, 2009, (08) :13~17

[9]王桂强, 陆朝俊.基于并行技术的大数据量统计分析探讨[J].计算机应用如软件, 2011 (3) :162~165

[10]王珊, 王会举, 覃雄派, 周烜.架构大数据:挑战、现状与展望[J].计算机学报.2011, (10) :1741~1752

学习分析云平台设计 篇9

如今云计算方兴未艾,但真正部署一个云计算环境应用于生产实践费时费力,投入比较大,并且云计算环境存在诸多安全隐患和漏洞,极容易受到威胁和攻击[1,2]。现在大多数的开源云计算平台都只是针对其中一个层次上的开发应用,那么将各个不同体系的开源云计算平台进行整合,构建具备完整三层体系的云平台是很重要的[3]。

此外,利用此类构建的云计算平台可快速、经济的进行一些安全的模拟仿真,如传统的攻防及安全测评等,所以说,整合筛选多种开源软件构建一个异构的云计算平台具有非常大的创新性和研究利用价值[4]。

1 云安全隐患分析模型

1.1 全生命周期云安全隐患分析模型的构建

在云计算中,有效的安全管理和企业风险控制是从良好开发的信息安全管理过程中得到的。良好的开发信息安全管理过程会使信息安全管理程序一直可依据业务伸缩、在组织内可重复、可测量、可持续、可防御、可持续改进且具有成本效益。在参考分析了美国国家标准研究院发布的风险管理框架及ENISA的云计算风险评估方法的基础上,结合已有的信息安全管理方法,提出了一种基于全生命周期的云安全隐患分析模型——LCSAM模型[5],模型包括五个主要过程,如图1所示。

LCSAM模型主要包括选型风险评估、实验室预评估、现场评估、运营过程评估、报废评估五个关键过程。相对于其他云安全隐患分析评估模型来说,LCSAM模型更符合国内的操作习惯,具有较好的实践性[6]。

鉴于该模型的具体应用情况,主要针对实验室预评估过程进行相关验证。验证方案的主要思路如下:在实验室预评估阶段,综合筛选多种开源软件,组合搭建一套特有的云计算平台,对各应用层次平台的软件产品进行模拟评估和检验。那么,搭建一套对于特定的环境进行快速、经济的分析验证的云计算平台系统是验证方案的关键所在。在部署构建完成该系统后,即可对前面所述的LCSAM模型加以验证,并在此平台上部署一些典型的应用并针对此环境进行云安全隐患的分析研究。具体验证方案如图2所示。

在图2所述模型验证方案中,对云计算平台各层次相应的产品需要进行对比选取,其考虑因素包括产品的开源性、性能稳定性、安全性、兼容性等相关需要关注的影响因子。然后,构建特定的云计算平台,对每个层次上的应用模拟现实产品的真实应用场景,并对各层上需要关注的性能因子进行影响评估,验证确定是否符合评估和检验标准。

1.2 Paa S层安全策略模型的构建

云技术主要来自于一个隐藏内部细节和实现的抽象层。抽象层主要采用的是虚拟化技术,能够很好的使数据快速的迁移,同时平台也具有很高的独立性。目前许多云解决方案的研究者提供了一套具有一定安全级别服务的全局云环境,云计算中的虚拟化技术将允许用户以一种完全透明的方式从一个平台迁移到另一个平台。实际上云平台直接看起来是没有交互操作的。如果存在兼容性问题,它一般仅限于数据互操作性和访问层次。从一个平台迁移到另一个平台一般需要一次新的认证过程,其中涉及一个新的定义或安全概念定义的范式转变、成本和技术支持相关的平台。这其中的诸多限制因素限制了云技术的使用并且降低了原本应有的高效性。为了构建一个更加灵活富有弹性的云环境,一个更高的抽象层次是云安全服务所必需的。

在任何云环境需要交换彼此的平台服务时,要确保云层之间取得Qo S安全机制。已研究的云信任框架主要涉及云服务提供层,信任管理服务层,云服务消费层三个层次。

构建基于Kerberos的云服务提供层、信任管理服务层及云服务消费层三层的信任即服务框架。

(1)云服务消费层Client将获得的TGT和请求的服务信息发送至KDC,此时KDC中的TGT(Ticket Granting⁃Service)将为Client和云服务提供层Service之间生成一个Session Key用作Service对Client的身份鉴定。

(2)KDC将刚才的Ticket转发给Client。因为这个Ticket是要给Service的,不能让Client看到详细信息,所以KDC用协议开始前KDC与Service之间的密钥将Ticket加密后再发送给Client。

(3)为了完成Ticket的传递,云服务消费层Client把之前得到的Ticket转发到云服务提供层Service。由于前面的Client不知道KDC与Service之间的密钥,所以它无法篡改Ticket中的信息。

(4)此时,Service在收到Ticket后利用它和KDC之间的密钥将Ticket中的信息解密出来,从而获得Ses⁃sion Key和服务名,用户地址(IP),用户名,有效期。

(5)如果云服务提供层Service有返回结果,将其返回给云服务消费层Client。

2 平台的构建

2.1 关键技术分析

基于云计算模型以及模型验证方案,本研究课题中模拟云计算平台环境主要包括Iaa S平台、Paa S平台、Saa S平台的设计构建,各层次平台主要遴选目前较为流行的开源软件进行部署搭建。

有的开源Iaa S云平台在分层上做得都比较好;从SOA/组件化/解耦这点上来看,Open Stack和Eucalyptus有优势;在框架和插件设计上,除Eucalyptus较差外,其他平台均有很好的设计,Open Stack的开发平台做得最好,Cloud Stack次之。综合来看,目前Open Stack的设计是最好的,Eucalyptus和Cloud Stack次之。综上所述,对于Iaa S平台搭建选择Open Stack是比较好的。

在搭建的云计算平台中对hadoop分布式计算平台的测试,只需简单地将待分析内容提供给分布式计算系统作为输入,就可以得到分布式计算后的结果。而对于应用程序服务平台Cloud Foundry,主要部署发布已有的应用程序,测试其运行效率和使用情况[7]。

依据云计算平台的通用层次结构划分,建立一个多层次的云计算平台系统。平台依次由物理资源层、虚拟资源层、Iaa S层、Paa S层、Saa S层和云安全攻击与防护组成[8]。

2.2 平台构建过程

(1)硬件设备搭建

系统共使用4台戴尔R710服务器,每台服务器共配备8核CPU,24 GB内存,4 TB硬盘容量,配备一台PC机,另外,环境中配有一台交换机。

(2)网络环境

整个云环境部署在一个局域网络内,服务器网络配置如下所示:

服务器一:控制节点,主机名iaas001,IP地址:192.168.0.50。

服务器二:计算节点,主机名iaas002,IP地址:192.168.0.100。

服务器三:计算节点,主机名iaas003,IP地址:192.168.0.150。

服务器四:物理资源虚拟化设备,安装VMwa⁃re ESXI,IP地址:192.168.0.200。

(3)系统部署结构

PC机客户端的主要作用是对网内服务器进行控制操作,如分布式密码破解客户端操作、DDo S客户端操作等。物理资源虚拟化服务器主要安装ESXI,并直接安装Windows XP及Server 2003等系统虚拟机。在各虚拟机上部署应用,如分布式密码破解、虚拟交换机,虚拟IDS。计算节点和控制节点主要安装Open Stack,并在Opens Stack管理环境下启动相应镜像实例,在启动实例上进行hadoop分布式部署,在此平台上,在各个启动实例上部署传统的应用,如DDo S攻击等。

(4)系统物理结构

该系统在XX中心真实的部署试运行,从图3中可以看到4台服务器整个的运行情况,显示器中显示的是Iaa S层的Open Stack的管理界面。

(5)Open Stack的安装配置

整个安装过程采用离线源码的方式安装Open Stack的各部分组件。因涉及的操作安装过程步骤较多,较为复杂,不在此赘述。

(6)hadoop的安装配置

在系统环境中,采用5台虚拟机实例部署hadoop的分布式环境,其实例启动情况如图3所示。关键安装配置操作如下。

首先,需要设置各实例间的无密码访问,方便后面各节点之间服务的访问通信,关键命令如下:

然后,需要为实例配置Java环境,将事先下载的JDK传入实例,进行安装配置即可。

下一步即进行hadoop的安装,hadoop安装包在相应实例中进行解压即可完成安装,接下来对hadoop/conf文件夹下的各个配置文件进行相应配置,主要配置文件包括masters,slaves,core-site.xml,hdfs-site.xml,mapred⁃site.xml。最后,配置完成后,确保各个节点之间的配置相同,即可进入hadoop/bin目录,输入hadoopnamenode⁃format命令格式化hadoop云计算系统,正常执行后,输入start⁃all.sh命令即可启动hadoop服务。

(7)Nutch的安装配置

首先,需要将下载好的安装包解压到node1节点实例中即可完成安装,接下来只需对其相应的文件进行配置即可正常使用nutch服务,在此环境中主要采用nutch的分布式抓取功能,在rutime/deply/bin/nutch下执行分布式抓取命令,执行chmod+xbin/nutch命令赋予执行权限。

nutch⁃site.xml,regex⁃urlfilter.txt文件的关键配置如下所示:

</property>配置完成后,即可执行爬取操作,关键命令如下所示:

看到map⁃reduce任务成功执行,则配置成功。

3 模型的验证

利用已构建完成的云计算平台,进行安全隐患的模拟仿真,并依次对平台各层次进行应用的评估测试,以此实现LCSAM模型的验证。根据云平台搭建方案,选取开源软件Open Stack作为平台的Iaa S层,那么在该层应用中,主要针对此软件的应用进行入选模拟评估及检验。

3.1 评估验证样本及环境

评估验证样本:主要包括搭建环境中的Paa S模块,主要由hadoop构成。

评估验证环境环境:主要采用的服务器为戴尔R710,24 GB内存,配备5 TB硬盘容量,8核CPU,服务器数量为4台。环境所采用的操作系统为Ubuntu。

3.2 功能验证

对搭建安装的各个功能模块包括hadoop中两个关键组件hdfs,mapreduce进行安装测试验证,采用手工方式逐项安装测试,预期各个功能模块功能安装成功,服务均能正常启动,主要包括数据存储服务、数据计算处理服务等。

本测试仍采用黑盒测试方法,针对功能进行验证。测试过程如下:

(1)针对hdfs组件中的存储功能进行测试验证,存入本地的文件或文件夹到hdfs中,查看是否存储成功;

(2)启动mapreduce任务,测试验证能否正确执行分布式计算处理任务,出现问题查看日志文件进行排查。

测试结果表明,系统正确实现了各个组件模块的功能,并可通过Java自带的jps命令查看各服务进程是否处于启动状态。

压力验证:测试结果表明在当前的网络环境下,启动50个任务,服务响应正常,60个左右服务性能开始下降,与设定目标较为相符,在可接受范围内。

安全性验证:对hadoop服务进行安全性测试,采用手工的方式进行测试,主要针对系统网络安全及数据库安全两个方面测试,预期在现有安全措施及环境下无任何致命性缺陷或安全漏洞泄密,系统服务在自身可控范围内正常工作。通过测试,产品与预期相符,符合使用要求。

3.3 Saa S层应用

(1)云计算攻击

在已构建云环境中,启动多台虚拟机实例模拟DDo S攻击,其实例设置如图4所示。

利用实例进行模拟攻击实验有很好的效果,主要试验过程如下所示。

首先,对DDo S的软件进行测试,将其中的4台虚拟实例攻击机添加进入Autocrat DDo S Client软件,然后,对4台主机的状态进行检测,接下来,远程登录被测主机,查看其本地连接的数量,在攻击软件中点击“开始攻击”之后,本地连接数迅速增加,最后,在停止攻击之后,本地连接数马上下降,即流量迅速下降。

在云环境中,除了需要注意并预防这些传统的攻击手段之外,更要重点关注云计算环境带来的特有的攻击手段,如在云“多系统多用户”的系统中,利用底层虚拟机漏洞进行虚拟入侵。

(2)云计算防护

在已构建的云计算环境中,利用云技术进行安全防护验证,验证示例如图5所示。

图中验证测试主要是对相关的加密文档进行密码恢复破解,其中利用云环境中的多台实例作为agent,进行分布式计算工作。通过在已有云计算环境中进行一系列防护验证及对现有云安全现状进行研究分析,认为下一步云计算安全防护可以主要从“快、全、多”三个方面着手考虑实施。其中“快”是指快速响应的能力、快速规则升级能力、快速部署能力;“全”是指技术覆盖能力、行业覆盖能力、地理覆盖能力;而“多”是指功能的多样性,如正则匹配、统计分析、数据挖掘、快速搜索。

4 结论

针对已有的云安全隐患评估方法,提出了一个基于全生命周期的云安全隐患分析模型——LCSAM模型,力求对云环境中存在的安全问题提出一种可行的解决方案,在本文中,也对模型中的实验室预评估阶段进行了实验验证,初步证明了该模型的有效性。

此外,在已有的信任即服务框架基础上,研究提出了一个基于Kerberos的信任即服务框架实现,并对其加以理论验证,该框架主要关注于Paa S层的安全策略以及云层之间数据的交换或平台的迁移,用于解决云服务提供层和云服务消费层之间的安全信任问题。

摘要：目前各国对于云环境中存在的安全隐患缺乏一个统一标准的解决方案与防控措施,在研究已有云安全隐患评估方法及模型的基础上,提出了一个全生命周期云安全隐患分析模型——LCSAM,详细分析了云计算潜在的安全隐患,构建Paa S层安全策略模型,在已有研究基础上提出了基于Kerberos的信任即服务框架,综合利用云计算关键技术,组合多种开源软件搭建了一套对于特定的环境进行快速、经济的分析并可用于云攻、云防、云测的云计算平台系统,为LCSAM的验证提供了实验环境。最后,在此平台上部署一些典型的应用并针对此环境进行云安全隐患模拟仿真,实现了LCSAM模型的验证。

关键词：云计算,云安全,隐患分析,信任即服务,LCSAM

参考文献

[1]房秉毅,张云勇,程莹,等.云计算国内外发展现状分析[J].电信科学,2010(z1):1-6.

[2]秦中元,沈日胜,张群芳,等.虚拟机系统安全综述[J].计算机应用研究,2012,29(5):1618-1622.

[3]蒋万春,汤立,陈震.虚拟化安全问题探析[J].信息网络安全,2010(8):83-86.

[4]张秋江,王澎.云计算的安全问题探讨[J].信息安全与通信保密,2011(5):94-95.

[5]冯登国,张敏,张妍,等.云计算安全研究[J].软件学报,2011(1):72-83.

[6]王宇宾.基于Cloud Sim的作业调度算法评价模型设计与实现[J].现代电子技术,2015,38(14):12-15.

云存储平台设计探析 篇10

近年来,随着互联网的迅速发展,每天产生数量庞大的信息,如何存储这些潜力巨大的信息,成为亟需解决的问题。如果将这些信 息都存储 在本地,则会占用 大量资源。因此,人们可以利用虚拟化云技术进行存储。首先介绍云存储的概念和特点,进而论述云存储平台在设计过程中遇到问题和解决方案,最后探讨云存储平台设计。

1 云存储特征及服务

1.1 云存储特征

云存储将大量不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储服务。云存储服务对传统存储技术的数据安全性、可靠性、易管理性等方面提出了新挑战[1]。通过对近年来互联网上的典型云存储技术进行调研和分析,大多数云存储技术具有以下特征:1按需扩展。云存储平台类似于一个空间比较大的资源池,当用户使用空间超过原有分配空间时,平台会自动按需分配出足够的空间供用户使用,不仅能满足消费者需求,而且使资源得到合理分配;2功能隐藏性。在使用云存储过程中,用户只需请求相关服务,云平台会自动进行分配,以满足用户需求,云平台对外隐藏具体实现细节;3低成本存储。随着信息量不断增加,本地化存储需要更多资源,如硬盘、软盘等,使用户增加大量存储成本,但若利用云存储平台,不仅可降低用户成本,而且也能满足用户的移动存储需求。只需具备上网条件,用户无论何时、何地都可以上传或下载所需文件。

1.2 云存储服务

云存储是将一些文件和数据存储在云端,然后开放一些标准的协议和接口,让用户能够方便地将文件和数据传输到云端。将文件保存在云端不用担心存储空间问题,也不用关心数据或文件的存储位置,并且随着云存储技术的不断发展,存储安全性也得到了极大提升。

云存储服务主要分为3类:1存储服务。该服务不仅指云存储可直接为用户提供服务,而且开发人员还可利用这些服务进行二次开发;2相关平台服务。平台技术能对普通资源进行再次抽象,并对资源进行动态扩展或收回,还加入多种容错技术。而且平台对外提供统一接口,能解决不同终端的接入问题;3云存储软件服务。主要面向普通用户群体,该用户群体可直接利用客户端使用服务,这些服务允许用户自定义使用环境,而且还可为特定人群提供个性化服务。

2 云存储关键技术与解决方法

基于对企业需求的分析和对市场中标杆产品的学习,云存储平台的研发目标是为上层应用提供海量、安全和高可用的云存储服务,帮助其有效应对高并发和海量数据的场景[2]。

2.1 拓扑结构

在利用云技术进行存储的过程中,需设计科学合理的拓扑结构,使节点间 能相互关 联。对于数据 存储服务 而言,利用传统星形结构比较合适,原因在于星形结构能进一步发挥云存储按需分配的特点,将存储空间进行合理分配和回收。因此,本文中拟采用星形拓扑结构,同时在相邻节点间进行通信。当用户查询某个数据或文件时,若在某个节点中无法查询到,该节点能将查询请求发送到相邻节点,帮助用户进行查询服务。

2.2 云存储系统架构

云存储平台主要是为用户提供数据和文件存储服务。为此,在设计云存储平台架构时,需要以用户需求为出发点进行架构设计。当用户利用客户端使用云存储平台服务时,能及时将请求传送到云存储平台。经过云存储平台处理,然后及时向客户端返回处理结果。本文采用架构主要是以客户端为核心的架构方法,客户利用客户端发送服务指令,然后存储平台节点接收并执行这一指令,如果某个节点接收该指令而无法完成,可以向相邻节点进行指令转发。该方式能使节点之间进行通信,同时可减少节点间的负荷,从而大大提高数据传输效率,为用户带来更好的服务体验。

2.3 元数据

元数据可理解为存储在云存储平台中的数据结构,其是对数据或文件进行的抽象,能将数据或文件转换为云平台存储内部的数据格式,从而使云存储平台对数据进行更好的管理。本文采用类似于Linux操作系统的文件存储类型,主要是将元数据和元数据的存储数据进行分离。在进行元数据查找过程中,可以通过对元数据索引遍历进行快速查询;同时,元数据索引所占空间小,可方便进行二级和三级索引扩展,从而方便用户使用和查询。

2.4 数据隔离

云存储平台是一个多用户、多任务的存储平台,在该平台上,不同用户可同时执行不同操作,云存储平台需对这些请求作并行化处理。因此,为防止用户数据在操作过程中相互干扰,需对用户数据进行隔离。本文的解决方案是将数据按照一定分类进行隔离。主要分类标准是应用种类、数量和规模,而且在进行分类的过程中不能出现数据交叉或重复现象。数据隔离是云存储平台设计过程中的关键问题,必须给予很好的解决。

2.5 数据存储和维护

数据存储和维护是云存储平台的核心业务。数据存储主要需考虑以下问题:1数据能方便、快速地进行插入、查询、删除和清空等操作,而且表与表之间关联性较低,不存在复杂表关系;2存储模式。目前的主要存储模式分为关系型存储和非关系型存储,因此需要根据不同文件的存储需求,选择不同存储模式;3数据维护。在云平台进行存储的过程中,由于多种因素可能导致数据破坏或消失。为更好地满足用户需求,要求云存储平台具有数据维护功能,主要是利用数据校验和容错技术,保证数据能在云存储平台进行安全存储。

3 云存储平台设计

3.1 系统结构

通过以上论述和分析,云存储平台系统结构主要分为以下部分:1客户端。客户端主要是使用户能利用可视化界面进行操作,发送文件或数据存储和读取命令到云存储平台并进行相应处理;2云存储服务端。服务端主要是对数据进行存储,然后对节点进行管理,通过服务端节点可以生成很多子节点;3中间接口和协议。云存储平台对外开放标准协议和接口,使用户或其他开发者能方便地使用云存储平台,在云存储平台基础上进行二次开发,从而能为用户提供更加丰富的服务。

3.2 分布式存储流程

为满足众多用户的 服务请求,对数据进 行分布式 存储,可有效减少服务器性能损耗,同时也可提高用户查询数据的效率。为了更好地进行分布式存储,需合理设计分布式存储流程和架构。存储流程主要分为以下步骤:1当用户通过客户端发送 请求后,需读取用 户信息的 相关文件,检查该用户是否存在,如果存在,则继续进行后续服务;否则返回用户不存在提示,结束服务;2当用户通过客户端向服务端发送请求时,携带用户IP地址和请求命令,并根据用户请求IP到特定服务器查询用户的相关数据和服务,从而实现分布式存储。

3.3 系统相关模块

如图1所示,云存储平台系统架构设计完成后,通过对云存储平台的分析,抽象出系统的3个主要子模块:1管理节点模块。该模块主要是对节点进行管理,使云存储平台节点能及时有效地响应客户端需求,同时通过对节点的管理,及时发现节点问题,从而提高平台有效利用率;2子节点。为更好地实现节点功能,可将节点划分为更加细致的子节点,各子节点任务间需要具有较高的无关性,从而能使各子节点间进行并行的任务处理,有效提高节点性能;3客户端。客户端是用户使用服务的重要工具,因此客户端不仅需要满足基本功能,还需具有一定美观性。

4 结语

云技术的出现,可使大量计算和存储过程都利用云技术加以解决。利用云技术不仅能使文件和数据方便、安全地存储在云端,而且能帮助本地节约大量资源。随着科学技术的不断发展,云存储平台将得到进一步完善,从而为人们提供更加方便、快捷的服务。

摘要：随着计算机技术的不断发展,互联网为人们提供越来越丰富的服务,只需具有基本的上网条件,即可方便地使用互联网提供的各种服务。尤其在云技术出现后,人们可利用云技术进行“云”存储。介绍了云存储的相关概念和特征,并论述了云存储关键技术和解决方法,最后探讨了云存储平台设计。