大数据与云计算论文（共8篇）
大数据与云计算论文 篇1
大数据与云计算
摘 要：大数据（Big Data）这个概念近年来在越来越多的场合、被越来越多的人提及，并且经常和云计算联系在一起，云计算与大数据之间到底是什么关系成为热点话题。本
专题报告包含以下四个方面内容：1.大数据的价值；2.大数据带来的挑战;3.大数据研究成果；4.云计算是大数据挖掘的主流方式。通过本报告阐述我们对大数据的理解，以及对大数据的价值的认识，探讨大数据处理与挖掘技术，大数据主要着眼于“数据”，提供数据采集、挖掘、分析的技术和方法;云计算技术主要关注“计算”，提供IT 解决方案。大数据、云计算技术可以促进持续审计方式的发展、总体审计模式的应用、审计成果的综合应用、相关关系证据的应用、高效数据审计的发展和大数据审计师的发展。强化大数据、云计算技术审计应用的措施包括制定长远发展战略、加快审计法规建设、建立行业平台、加强研发和提高利用能力。关键词：大数据 云计算 数据挖掘 对审计影响 政策建议 引言
目前，大数据伴随着云计算技术的发展，正在对全球经济社会生活产生巨大的影响。大数据、云计算技术给现代审计提供了新的技术和方法，要求审计组织和审计人员把握大数据、云计算技术的内容与特征，促进现代审计技术和方法的进一步发展。
一、大数据、云计算的涵义与特征
随着云计算技术的出现，大数据吸引了全世界越来越多的关注。哈佛大学社会学教授加里·金(2012)说: “这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”(一)大数据的涵义与特征
“数据”(data)这个词在拉丁文里是“已知”的意思，也可以理解为“事实”。2009 年，“大数据”概念才逐渐开始在社会上传播。而“大数据”概念真正变得火爆，却是因为美国奥巴马政府在2012 年高调宣布了其“大数据研究和开发计划”。这标志着“大数据”时代真正开始进入社会经济生活中来了。“大数据”(big data)，或称巨量资料，指的是所涉及的数据量规模大到无法利用现行主流软件工具，在一定的时间内实现收集、分析、处理或转化成为帮助决策者决策的可用信息。互联网数据中心(IDC)认为“大数据”是为了更经济、更有效地从高频率、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术，用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。大数据具有4 个特点: 第一，数据体量巨大(Volume)，从TB 级别跃升到PB 级别。第二，处理速度快(Velocity)，这与传统的数据挖掘技术有着本质的不同。第三，数据种类多(Variety)，有图片、地理位置信息、视频、网络日志等多种形式。第四，价值密度低，商业价值高(Value)。存在单一数据的价值并不大，但将相关数据聚集在一起，就会有很高的商业价值(金良，2012)。大数据时代，不仅改变了传统的数据采集、处理和应用技术与方法，还促使人们思维方式的改变。大数据的精髓在于促使人们在采集、处理和使用数据时思维的转变，这些转变将改变人们理解和研究社会经济现象的技术和方法。
(1)是在大数据时代，不依赖抽样分析，而可以采集和处理事物整体的全部数据。19 世纪以来，当面临大的样本量时，人们都主要依靠抽样来分析总体。但是，抽样技术是在数据缺乏和取得数据受限制的条件下不得不采用的一种方法，这其实是一种人为的限制。过去，因为记录、储存和分析数据的工具不够科学，只能收集少量数据进行分析。如今，科学技术条件已经有了很大的提高，虽然人类可以处理的数据依然是有限的，但是可以处理的数据量已经大量增加，而且未来会越来越多。随着大数据分析取代抽样分析，社会科学不再单纯依赖于抽样调查和分析实证数据，现在可以收集过去无法收集到的数据，更重要的是，现在可以不再依赖抽样分析。
(2)是在大数据时代，不再热衷于追求数据的精确度，而是追求利用数据的效率。当测量事物的能力受限制时，关注的是获取最精确的结果。但是，在大数据时代，追求精确度已经既无必要又不可行，甚至变得不受欢迎。大数据纷繁多样，优劣掺杂，精准度已不再是分析事物总体的主要手段。拥有了大数据，不再需要对一个事物的现象深究，只要掌握事物的大致发展趋势即可，更重要的是追求数据的及时性和使用效率。与依赖于小数据和精确性的时代相比较，大数据更注重数据的完整性和混杂性，帮助人们进一步认识事物的全貌和真相。
(3)是在大数据时代，人们难以寻求事物直接的因果关系，而是深入认识和利用事物的相关关系。长期以来，寻找因果关系是人类发展过程中形成的传统习惯。寻求因果关系即使很困难且用途不大，但人们无法摆脱认识的传统思维。在大数据时代，人们不必将主要精力放在事物之间因果关系的分析上，而是将主要精力放在寻找事物之间的相关关系上。事物之间的相关关系可能不会准确地告知事物发生的内在原因，但是它会提醒人们事情之间的相互联系。人们可以通过找到一个事物的良好相关关系，帮助其捕捉到事物的现在和预测未来。(二)云计算的涵义与特征
“云计算”概念产生于谷歌和IBM 等大型互联网公司处理海量数据的实践。2006 年8 月9 日，Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会首次提出“云计算”的概念。2007 年10 月，Google 与IBM 开始在美国大学校园推广云计算技术的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持(Michael Mille，2009)。目前全世界关于“云计算”的定义有很多。“云计算”是基于互联网的相关服务的增加、使用和交付模式，是通过互联网来提供动态易扩展且经常是虚拟化的资源。美国国家标准技术研究院(NIST)2009年关于云计算的定义是: “云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务等)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。”根据这一定义，云计算的特征主要表现为: 首先，云计算是一种计算模式，具有时间和网络存储的功能。其次，云计算是一条接入路径，通过广泛接入网络以获取计算能力，通过标准机制进行访问。第三，云计算是一个资源池，云计算服务提供商的计算资源，通过多租户模式为不同用户提供服务，并根据用户的需求动态提供不同的物理的或虚拟的资源。第四，云计算是一系列伸缩技术，在信息化和互联网环境下的计算规模可以快速扩大或缩小，计算能力可以快速、弹性获得。第五，云计算是一项可计量的服务，云计算资源的使用情况可以通过云计算系统检测、控制、计量，以自动控制和优化资源使用。(三)大数据与云计算的关系
从整体上看，大数据与云计算是相辅相成的。大数据主要专注实际业务，着眼于“数据”，提供数据采集、挖掘、分析的技术和方法，强调的是数据存储能力。云计算主要关注“计算”，关注IT 架构，提供IT 解决方案，强调的是计算能力，即数据处理能力。如果没有大数据的数据存储，那么云计算的计算能力再强大，也难以找到用武之地;如果没有云计算的数据处理能力，则大数据的数据存储再丰富，也终究难以用于实践中去。
从技术上看，大数据依赖于云计算。海量数据存储技术、海量数据管理技术、MapＲeduce 编程模型都是云计算的关键技术，也都是大数据的技术基础。而数据之所以会变“大”，最重要的便是云计算提供的技术平台。数据被放到“云”上之后，打破了过去那种各自分割的数据存储，更容易被收集和获得，大数据才能呈现在人们眼前。而巨量的数据也只能依靠云计算强大的数据处理能力，才能够“淘尽黄沙始得金”。
从侧重点看，大数据与云计算的侧重点不同。大数据的侧重点是各种数据，广泛、深入挖掘巨量数据，发现数据中的价值，迫使企业从“业务驱动”转变为“数据驱动”。而云计算主要通过互联网广泛获取、扩展和管理计算及存储资源和能力，其侧重点是IT 资源、处理能力和各种应用，以帮助企业节省IT部署成本。云计算使企业的IT 部门受益，而大数据使企业的业务管理部门受益。
从结果看，大数据与云计算带来不同的变化。大数据对社会经济带来的变化是巨大的，涉及到各个领域。大数据已经与资本、人力一起作为生产的主要因素影响着社会经济的发展。数据创造价值，而挖掘数据价值、利用数据的“推动力”就是云计算。云计算将信息存储、分享和挖掘能力极大提高，更经济、高效地将巨量、高速、多变的终端数据存储下来，并随时进行计算与分析。通过云计算对大数据进行分析、总结与预测，会使得决策更可靠，释放出更多大数据的内在价值。
二、大数据、云计算技术对审计的影响分析
审计技术和方法的发展是随着科学和管理技术的发展而发展的。现代审计技术和方法体系是在原始的查账基础上从低级向高级、从不完备到比较完备发展起来的。在业务和会计处理手工操作阶段，审计实施的是账表导向的审计技术和方法;当内部控制理论和方法全面应用于业务和会计处理时，审计实施的是系统导向的审计技术和方法;当风险管理理论和方法全面应用于业务和财务管理时，审计实施的是风险导向审计技术和方法;与风险导向审计技术和方法并行的是，计算机技术广泛应用于业务和会计处理时，审计实施的是IT 审计技术和方法。目前，面对大数据、云计算技术的产生和发展，审计人员需要应时而变来适应由此而带来的变化，分析大数据、云计算技术对审计方式、审计抽样技术、审计报告模式、审计证据搜集等技术和方法的影响。(一)大数据、云计算技术促进持续审计方式的发展
传统审计中，审计人员只是在被审计单位业务完成后才进行审计，而且审计过程中并不是审计所有的数据和信息，只是抽取其中有的一部分进行审计。这种事后和有限的审计对被审计单位复杂的生产经营和管理系统来说很难及时做出正确的评价，而且对于评价日益频繁和复杂的经营管理活动的真实性和合法性则显得过于迟缓。随着信息技术迅速发展，越来越多的审计组织对被审计单位开始实施持续审计方式，以解决审计结果与经济活动的时差问题。但是，审计人员实施持续审计时，往往受目前业务条件和信息化手段的限制，取得的非结构化数据无法数据化，或者无法取得相关的明细数据，致使对问题的判断也难以进一步具体和深入。而大数据、云计算技术可以促进持续审计方式的发展，使信息技术与大数据、云计算技术较好交叉融合，尤其对业务数据和风险控制“实时性”要求较高的特定行业，如银行、证券、保险等行业，在这些行业中实施持续审计迫在眉睫。如审计组织对商业银行的审计，实行与商业银行建立业务和数据系统的接口，在开发的持续审计系统中固化了非结构化数据结构化和数据分析模块，该模块可以在海量贷款客户中挖掘、分析出行业性和区域性贷款风险趋势，实现在线的风险预警，并将发现的风险数据、超预警值指标及问题登记为疑点，并建立实时审计工作底稿，按照重要程度进行归类、核实或下发给现场审计人员进行现场核实，以较好处理非结构化数据的利用和数据的实时分析利用问题。(二)大数据、云计算技术促进总体审计模式的应用
现时的审计模式是在评价被审计单位风险基础上实施抽样审计。在不可能收集和分析被审计单位全部经济业务数据的情况下，现时的审计模式主要依赖于审计抽样，从局部入手推断整体，即从抽取的样本着手进行审计，再据此推断审计对象的整体情况。这种抽样审计模式，由于抽取样本的有限性，而忽视了大量和具体的业务活动，使审计人员无法完全发现和揭示被审计单位的重大舞弊行为，隐藏着重大的审计风险。而大数据、云计算技术对审计人员而言，不仅仅是一种可供采用的技术手段，这些技术和方法将给审计人员提供实施总体审计模式的可行性。利用大数据、云计算技术，对数据的跨行业、跨企业搜集和分析，可以不用随机抽样方法，而采用搜集和分析被审计单位所有数据的总体审计模式。利用大数据、云计算技术的总体审计模式是要分析与审计对象相关的所有数据，使得审计人员可以建立总体审计的思维模式，可以使现代审计获得革命性的变化。审计人员实施总体审计模式，可以规避审计抽样风险。如果能够收集总体的所有数据，就能看到更细微、深入的信息，对数据进行多角度的深层次分析，从而发现隐藏在细节数据中的对审计问题更具价值的信息。同时，审计人员实施总体审计模式，能发现从审计抽样模式所不能发现的问题。大数据、云计算技术给审计人员提供了一种能够从总体把握审计对象的技术手段，从而帮助审计人员能从总体的视角发现以前难以发现的问题。
(三)大数据、云计算技术促进审计成果的综合应用
目前，审计人员的审计成果主要是提供给被审计单位的审计报告，其格式固定，内容单一，包含的信息量较少。随着大数据、云计算技术在审计中广泛应用，审计人员的审计成果除了审计报告外，还有在审计过程中采集、挖掘、分析和处理的大量的资料和数据，可以提供给被审计单位用于改进经营管理，促进审计成果的综合应用，提高审计成果的综合应用效果。首先，审计人员通过对审计中获取的大量数据和相关情况资料的汇总、归纳，从中找出财务、业务和经营管理等方面的内在规律、共性问题和发展趋势，通过汇总归纳宏观性和综合性较强的审计信息，为被审计单位投资者和其他利益相关者提供数据证明、关联分析和决策建议，从而促进被审计单位管理水平的提高。其次，审计人员通过应用大数据、云计算技术，可以将同一问题归入不同的类别进行分析和处理，从不同的角度、不同的层面整合提炼以满足不同层次的需求。再次，审计人员将审计成果进行智能化留存，通过大数据、云计算技术，将问题规则化并固化到系统中，以便于计算或判断问题发展趋势，向被审计单位进行预警。最后。审计人员将审计成果、被审计单位与审计问题进行关联，并进行信息化处理，在进行下次审计时，减少实地审计的时间和工作量，提高审计工作的效率。(四)大数据、云计算技术促进相关关系证据的应用
审计人员在审计过程中，应根据充分、适当的审计证据发表审计意见，出具审计报告。但是，在大数据、云计算环境下，审计人员既面临巨量数据筛选的考验，又面临搜集适当审计证据的挑战。审计人员在搜集审计证据时，传统的思维路径都是基于因果关系来搜集审计证据，而大数据分析将会更多地运用相关关系分析来搜集和发现审计证据。但从审计证据发现的角度来看，由于大数据技术提供了前所未有的跨领域、可供量化的维度，使得审计问题大量的相关信息能够得以记录和计算分析。大数据、云计算技术没有改变事物间的因果关系，但在大数据、云计算技术中对相关关系的开发和利用，使得数据分析对因果逻辑关系的依赖降低了，甚至更多地倾向于应用基于相关关系的数据分析，以相关关系分析为基础的验证是大数据、云计算技术的一项重要特征。在大数据、云计算技术环境下，审计人员能搜集到的审计证据大多是电子证据(秦荣生，2013)。电子证据本身就非常复杂，云计算技术使获取有因果关系的证据更加困难。审计人员应从长期依赖因果关系来搜集和发现审计证据，转变成为利用相关关系来搜集和发现审计证据。(五)大数据、云计算技术促进高效数据审计的发展
直到今天，审计人员的数字审计技术依然建立在精准的基础上。这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以审计人员必须尽可能精准地量化被审计单位的业务。随着大数据、云计算技术成为日常生活中的一部分，审计人员应开始从一个比以前更大、更全面的角度来理解被审计单位，将“样本= 总体”植入审计人员的思维中。相比依赖于小数据和精确性的时代，大数据更强调数据的完整性和混杂性，帮助审计人员进一步接近事情的真相，“局部”和“精确”将不再是审计人员追求的目标，审计人员追求的是事物的“全貌”和“高效”。围绕大数据，一批新兴的数据挖掘、数据存储、数据处理与分析技术将不断涌现。在实施审计时，审计人员应利用大数据、云计算技术，使用分布式拓朴结构、云数据库、联网审计、数据挖掘等新型的技术手段和工具，以提高审计的效率。
(六)大数据、云计算技术促进大数据审计师的发展
大数据、云计算时代，数据的真实、可靠是大数据发挥作用的前提。这客观上要求专业人员来对大数据的真实性、可靠性进行鉴证，审计人员可以扮演这种角色，或者称为数据审计师。能对大数据真实性、可靠性进行鉴证的数据审计师应该是计算机科学、数学、统计学和审计学领域的专家，他们应有大数据分析和预测的评估能力。数据审计师应恪守公正的立场和严守保密的原则，面对海量的数据和纷繁复杂的相关关系，选取分析和预测工具，以及解读数据及数据计算结果是否真实、可靠。一旦出现争议，数据审计师有权审查与分析结果相关的运算法则、统计方法以及数据采集、挖掘和处理过程。数据审计师的出现是为满足以市场为导向来解决数据真实性、可靠性问题的需求，这与20 世纪初期为了处理财务信息虚假而出现的审计人员一样，都是为了满足新需求而出现的。
三、大数据挖掘
数据的价值只有通过数据挖掘才能从低价值密度的数据中发现其潜在价值，而大数据挖掘技术的实现离不开云计算技术。在业界，全球著名的Google、EMC、惠普、IBM、微软等互联网公司都已经意识到大数据挖掘的重要意义。上述IT 巨头们纷纷通过收购大数据分析公司，进行技术整合，希望从大数据中挖掘更多的商业价值。数据挖掘通常需要遍历训练数据获得相关的统计信息，用于求解或优化模型参数，在大规模数据上进行频繁的数据访问需要耗费大量运算时间。数据挖掘领域长期受益于并行算法和架构的使用，使得性能逐渐提升。过去15 年来，效果尤其显著。试图将这些进步结合起来，并且提炼。GPU平台从并行上得到的性能提升十分显著。这些GPU平台由于采用并行架构，使用并行编程方法，使得计算能力呈几何级数增长。即便是图形处理、游戏编程是公认的复杂，它们也从并行化受益颇多。研究显示数据挖掘、图遍历、有限状态机是并行化未来的热门方向。MapReduce 框架已经被证明是提升GPU 运行数据挖掘算法性能的重要工具。D.Luo 等提出一种非平凡的策略用来并行一系列数据挖掘与数据挖掘问题，包括一类分类SVM 和两类分类SVM，非负最小二乘问题，及L1 正则化回归（lasso）问题。由此得到的乘法算法，可以被直截了当地在如MapReduce 和CUDA 的并行计算环境中实现。K.Shim 在MapReduce 框架下，讨论如何设计高MapReduce 算法，对当前一些基于MapReduce 的数据挖掘和数据挖掘算法进行归纳总结，以便进行大数据的分析。Junbo Zhang 等提出一种新的大数据挖掘技术，即利用MapRedue 实现并行的基于粗糙集的知识获取算法，还提出了下一步的研究方向，即集中于用基于并行技术的粗糙集算法处理非结构化数据。F.Gao 提出了一种新的近似算法使基于核的数据挖掘算法可以有效的处理大规模数据集。当前的基于核的数据挖掘算法由于需要计算核矩阵面临着可伸缩性问题，计算核矩阵需要O(N2)的时间和空间复杂度来计算和存储。该算法计算核矩阵时大幅度降低计算和内存开销，而且并没有明显影响结果的精确度。此外，通过折中结果的一些精度可以控制近似水平。它独立于随后使用的数据挖掘算法并且可以被它们使用。为了阐明近似算法的效果，在其上开发了一个变种的谱聚类算法，此外设计了一个所提出算法的基于MapReduce 的实现。在合成和真实数据集上的实验结果显示，所提出的算法可以获得显著的时间和空间节省。Christian Kaiser 等还利用MapReduce 框架分布式实现了训练一系列核函数学习机，该方法适用于基于核的分类和回归。Christian Kaiser 还介绍了一种扩展版的区域到点建模方法，来适应来自空间区域的大量数据。Yael Ben-Haim 研究了三种MapReduce 实现架构下并行决策树分类算法的设计, 并在Phoenix 共享内存架构上对SPRINT 算法进行了具体的并行实现。F.Yan 考虑了潜在狄利克雷分配（LDA）的两种推理方法——塌缩吉布斯采样（collapsed Gibbssampling，CGS）和塌缩变分贝叶斯推理（collapsedvariational Bayesian，CVB）在GPU 上的并行化问题。为解决GPU 上的有限内存限制问题，F.Yan 提出一种能有效降低内存开销的新颖数据划分方案。这种划分方案也能平衡多重处理器的计算开销，并能容易地避免内存访问冲突。他们使用数据流来处理超大的数据集。大量实验表明F.Yan 的并行推理方法得到的LDA 模型一贯地具有与串行推理方法相同的预测能力；但在一个有30 个多核处理器的GPU 上，CGS 方法得到了26倍的加速，CVB 方法得到了196 倍的加速。他们提出的划分方案和数据流方式使他们的方法在有更多多重处理器时可伸缩，而且可被作为通用技术来并行其它数据挖掘模型。Bao-Liang Lu 提出了一种并行的支持向量机，称为最小最大模块化网络(M3)，它是基“分而治之”的思想解决大规模问题的有效的学习算法。针对异构云中进行大数据分析服务的并行化问题G.Jung 提出了最大覆盖装箱算法来决定系统中多少节点、哪些节点应该应用于大数据分析的并行执行。这种方法可以使大数据进行分配使得各个计算节点可以同步的结束计算，并且使数据块的传输可以和上一个块的计算进行重叠来节省时间。实验表明，这种方法比其他的方法可以提高大约60% 的性能。在分布式系统方面，Cheng 等人 提出一个面向大规模可伸缩数据分析的可伸缩的分布式系统——GLADE。GLADE 通过用户自定义聚合（UDA）接口并且在输入数据上有效地运行来进行数据分析。文章从两个方面来论证了系统的有效性。第一，文章展示了如何使用一系列分析功能来完成数据处理。第二，文章将GLADE 与两种不同类型的系统进行比较：一个用UDA 进行改良的关系型数据库（PostgreSQL）和MapReduce(Hadoop)。然后从运行结果、伸缩性以及运行时间上对不同类型的系统进行了比较。
四、总结 大数据的超大容量自然需要容量大，速度快，安全的存储，满足这种要求的存储离不开云计算。高速产生的大数据只有通过云计算的方式才能在可等待的时间内对其进行处理。同时，云计算是提高对大数据的分析与理解能力的一个可行方案。大数据的价值也只有通
过数据挖掘才能从低价值密度的数据中发现其潜在价值，而大数据挖掘技术的实现离不开云计算技术。总之，云计算是大数据处理的核心支撑技术，是大数据挖掘的主流方式。没有互联网，就没有虚拟化技术为核心的云计算技术，没有云计算就没有大数据处理的支撑技术。
参考文献
秦荣生.大数据、云计算技术对审计的影响研究 何清.大数据与云计算
张为民.云计算: 深刻改变未来
文峰.云计算与云审计———关于未来审计的概念与框架的一些思考
Big data and cloud computing Big Data(Big Data)in recent years, more and more occasions, the concept is mentioned more and more people, And often, and cloud computing together, what is the relationship between cloud computing and big data become a hot topic.this Special report contains the following four aspects: 1.The value of big data;2.Big data challenge;3.Big data research;4.Cloud computing is the mainstream way of data mining.Through this report on our understanding of big data, as well as the understanding of the value of big data, large data processing and mining technology, large data mainly focus on “data”, provide the technology and methods of data collection, mining and analysis;Cloud computing technology focusing on “computing”, providing IT solutions.Big data and cloud computing technology can promote the development of continuous audit mode, the overall audit mode of application, the audit results of comprehensive application, the application of related evidence, the development of efficient data audit and the development of large data auditor.Strengthen big data and cloud computing technology measures of audit applications include set up long-term development strategy, accelerate the construction of the audit regulations, establish a platform, to strengthen research and development and improve the utilization ability.Keywords: big data cloud computing data mining impact on the audit policy Suggestions
大数据与云计算论文 篇2
近年来大数据浪潮汹涌来袭, 这绝不仅仅是信息技术领域的革命, 更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。大数据正在改变我们的工作、生活和思维方式, 更多更大的变革正蓄势待发。
马云在卸任阿里巴巴CEO时说:“这是一个变化的世界, 我们大家都认为电脑够快, 互联网还要快, 当我们很多人还没搞懂什么是PC互联网时, 移动互联网来了;当我们还没搞懂移动互联网的时候, 大数据时代又来了。”
那么所谓的大数据和云计算是一个概念吗?他们之间有什么区别和联系呢?
2 云计算
2.1 云计算概念
云计算 (Cloud Computing) 是一种基于互联网的计算方式, 通过这种方式, 共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往通过互联网来提供动态、易扩展且虚拟化的资源。
2.2 云计算特点
(1) 大规模。云一般都具有较大的规模, Google云计算已拥有100多万台服务器, Amazon/IBM等的云计算均拥有几十万台服务器。
(2) 虚拟化。云计算可以支持用户在任意位置、使用各种终端获取应用服务:所请求的资源来自于云, 而不是固定的有形的实体, 用户无需了解、也不用担心应用运行的具体位置。
(3) 高可靠性。云采用了数据多副本容错、计算节点同构可互换等技术手段来保障服务的高可靠性, 使用云计算比使用本地计算机更可靠。
(4) 通用性。云计算不针对特定的应用, 同一个云可以同时支撑不同的应用。
(5) 高可扩展性。云的规模可以动态伸缩, 满足应用和用户规模增长的需要。
(6) 按需服务。云是一个庞大的资源池, 可按需购买、使用。
(7) 成本低廉。云采用极其廉价的节点来构成, 其自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本, 用户可以充分享受云的低成本优势。低成本是云计算相较于其他技术的压倒性优势, 是云计算成为划时代技术的根本原因。
2.3 云服务模式
云计算的典型服务模式有三类:软件即服务 (Software as a Service, Saa S) , 平台即服务 (Platform as a Service, Paa S) 和基础设施即服务 (Infrastructure as a Service, Iaas) 。
(1) Saa S
该层通过部署硬件基础设施对外提供服务。用户可以根据各自的需求购买虚拟或实体的计算、存储、网络等资源。用户可以在购买的空间内部署和运行软件, 包括操作系统和应用程序。用户不能管理或控制任何云计算基础设施, 但可以选择操作系统、存储空间和部署的应用, 也可以控制有限的网络组件 (如防火墙、负载均衡器等) 。
(2) Paa S
该层将云计算应用程序开发和部署的平台, 包括应用设计、应用开发、应用测试和应用托管, 都作为一种服务提供给客户。开发者只需要上传代码和数据就可以使用云服务, 而无需关注底层的具体实现方式和管理模式。
(3) Iaa S
该层是指云计算服务商提供虚拟的硬件资源, 用户只需通过网络租赁即可搭建自己的应用系统。Iaa S定位于底层, 向用户提供可快速部署、按需分配、按需付费的高安全与高可靠的计算能力以及存储能力租用服务, 并可为应用提供开放的云基础设施服务接口, 用户可以根据业务需求灵活定制租用相应的基础设施资源。
无论是Saa S、Paa S还是laa S, 其核心概念都是为用户提供按需服务。总体上来说, 云计算通过互联网将超大规模的计算与存储资源整合起来, 并以可信服务的形式按需提供给用户。
3 大数据
3.1 大数据概念
“大数据”作为近两年来的一个热门话题, 维基百科对于大数据的定义是, 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取管理和处理的数据集合。
3.2 大数据特点
大数据主要具有4个基本特征, 分别是:Volume (容量大) 、Variety (种类多) 、Velocity (速度快) 、Value (价值密度低) 。大数据的意义并不在于大容量、种类多等特征, 而在于我们如何对数据进行管理和分析, 以及因此而发掘出的价值。
3.3 大数据处理
大数据的处理过程如图1所示。
首先进行数据采集, 接着是对不同的数据源进行不同的数据处理, 其中具有代表性的几种计算模式的特点见表1。最后是数据分析挖掘, 提供数据服务能力。整个处理流程在各个不同阶段都会对传统的技术手段提出挑战。比如, 海量的网络化设备、海量的在线用户、不间断的网络联接, 都在时刻生成大量的、多格式的内容数据, 连同成千上万的访问和操作请求, 都会以高并发的方式向系统服务器施加压力。
3.4 大数据关键技术
(1) MPP数据库
MPP (Massively Parallel Processing) 架构是将任务及数据分布到集群中不同的节点上, 尽量使得计算在本地完成, 通过网络彼此协调计算, 集群作为一个整体对外提供服务。MPP数据库普遍采用了列存储技术, 硬件基于X86PC服务器, 存储基于服务器自带的本地硬盘。基于大规模分布式计算, 拥有极高的横向扩展能力 (scale out) 和内在的故障容错能力和数据高可用保障机制。该技术重点面向行业大数据, 应用于数据仓库、数据集市 (专项应用库) 、历史库 (主仓库历史数据存储及长周期趋势分析预测) 、ETL、即席查询等领域。
(2) Hadoop
Hadoop是一个能够对大量数据进行分布式存储和处理的软件框架, 主要是由HDFS、Map Reduce等组成。其中HDFS是一个高度容错性的分布式文件系统, 能提供高吞吐量的数据访问, 非常适合大规模数据集上的应用。Map Reduce是一种编程模型, 用于大规模数据集的并行运算。
4 大数据与云计算的关系
大数据这些复杂的需求对技术实现和底层计算资源提出了高要求。而云计算所具备的弹性伸缩、动态调配、资源虚拟化、支持多租户、支持按量计费或按需使用以及绿色节能等基本要素正好契合了新型大数据处理技术的需求, 也正在成为解决大数据问题的未来计算技术发展的重要方向。
4.1 大数据与云计算的区别
(1) 目的不同:大数据的目的是充分挖掘海量数据中的信息, 以发现数据中的价值;云计算的目的是通过互联网更好地调用、扩展和管理及存储方面的资源和能力以节省企业的IT部署成本。
(2) 对象不同:大数据的处理对象是数据;云计算的处理对象是IT资源、处理能力和应用。
(3) 推动力量不同:大数据的推动力量是从事数据存储与处理的软件厂商和拥有大量数据的企业;云计算的推动力量是IT设备厂商以及拥有计算和存储资源的企业。
(4) 带来的价值不同:大数据能发现数据中的价值, 从而带来收益;云计算则节省了IT部署成本。
4.2 大数据与云计算的联系
大数据和云计算除了有差异也有相同。它们都是为数据存储和处理服务, 都需要占用大量的存储和计算资源, 因而都要用到海量数据存储技术、海量数据管理技术、Map Reduce等并行处理技术。
如果说大数据是一座蕴含巨大价值的宝藏, 云计算则可以被看作是挖掘的得力工具, 即云计算为大数据提供了有力的工具和途径, 大数据为云计算提供了有价值的用武之地。从所使用的技术来看, 大数据可以理解为云计算的延伸。云计算能为大数据提供强大的存储和计算能力, 以及更高速的数据处理, 更方便地提供服务;而来自大数据的业务需求, 则为云计算的落地找到更多更好的实际应用。大数据若与云计算相结合, 将相得益彰, 互相都能发挥最大的优势。
5 大数据与云计算对电信运营商的影响
5.1 提升网络质量
随着互联网以及移动互联网的持续发展, 运营商的网络将会更加繁忙, 用于监测网络状态的信令数据也会快速增长。通过对海量运维信息以及信令数据的智能分析, 能够提高网络维护的实时性, 预测网络流量峰值, 预警异常流量。从而有效地防止网络拥塞和系统宕机, 从而提高网络服务质量, 提升用户体验。
5.2 提升客户价值
通过使用大数据分析、数据挖掘等工具和方法, 电信运营商能够整合来自市场部门、销售部门、服务部门的数据, 从各种不同的角度全面了解自己的客户, 对客户形象进行精准刻画, 以寻找目标客户, 制定有针对性的营销计划、产品组合或商业决策, 提升客户价值。
5.3 提升行业信息化水平
智慧城市的发展以及教育、医疗、交通、环境保护等关系到国计民生的行业, 都具有极大的信息化需求。目前, 电信运营商针对智慧城市及行业信息化服务虽然能够提供一揽子解决方案, 但主要还是提供终端和通信管道, 行业应用系统以及集成需要整合第三方实现, 用户价值较低。电信运营商如能把大数据技术整合到行业信息化方案中, 帮助用户通过数据采集、存储和分析更好地进行决策, 将能极大提升行业信息化水平及信息化服务的价值。
5.4 大数据与云计算带来的风险和挑战
大数据在蕴含丰富价值内涵的同时, 也给电信运营商带来了前所未有的挑战。传统的数据分析手段都是针对结构化数据, 不具备处理越来越多的非结构化数据的能力。因此, 要结合企业实际, 提出符合企业发展战略的大数据发展规划和目标, 形成适合自身发展的大数据解决方案, 让大数据真正的带来价值。
大数据也有大风险, 其中之一就是用户隐私泄露及数据安全风险。由于存在大量敏感而且有价值的信息, 数据保密和隐私问题将在未来几年内成为一个更大的问题, 电信运营商必须尽快研究新的数据保护措施。
6 结束语
本文论述了大数据和云计算的概念、特征和主要技术, 重点论述了大数据与云计算的关系, 以及对于电信运营商带来的机遇和挑战。目前大数据技术以及相关产业尚处在发展的初级阶段, 如何高效分析处理非结构化数据, 如何将大数据技术对电信运营商现有资源进行改造, 这些都是亟待解决的问题。因此, 针对大数据以及其产业的发展还有相当长的一段路要走。
参考文献
[1]徐天舒.基于商业平台的云计算产业构架分析[J].南京航空航天大学学报 (社会科学版) , 2012:134-136.
[2]BARWICK H.The four Vs of big data[EB/OL].http://www.Computer-world.com.au/article/396198/iii3_four_vs_big_data/, 2011.
[3]维克托·迈尔-舍恩伯格, 肯尼思·库克耶.大数据时代[M].盛杨燕, 周涛译.杭州:浙江人民出版社, 2012.
[4]曾鸿, 丰敏轩.大数据与统计变革[J].中国统计, 2013:265-268.
倪光南：大数据与云计算相辅相成 篇3
随着大数据、云计算产业所蕴含的商业价值在全球范围内不断显现，关于中国大数据和云计算时代的产业探索和应用创新更是备受关注。那么，大数据为国内哪些企业带来机遇？它与云计算有着怎样的联系？企业又如何利用好云计算？带着这些问题， 《智慧城市》杂志专访了中国工程院院士、中国科学院计算所研究员倪光南。
《智慧城市》：随着智慧城市建设的不断推进，大数据的概念也不断被人们提及，有业内人士表示，大数据将是对智慧城市建设的一个挑战，该如何解读？
倪光南：随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及，海量数据正在中国互联网上快速生成，催生了中国大数据时代创新机遇的到来。
不得不承认，大数据使人们的生活发生了改变，无论是金融、电信、交通，还是教育、医疗等领域，都要应用到大数据。我国在大数据方面有很大的优势，但各个领域、各个地区的需求各不相同，这对大数据应用提出了挑战。
与此同时，大数据的应用覆盖了经济学和社会学、政治和政策等诸多领域，因此在智慧城市建设中，除了扩展大数据的来源以外，我们还要将原来各部门分散、孤立的数据整合起来，实现共享，并且注重加强数据分析挖掘等方而的工作。
可以说，充分利用大数据，将大大改善城市的管理，提高企业的效益，增加居民的福利，这是决定智慧城市建设成败的重要因素。
《智慧城市》：您曾经提到过，大数据为中国企业带来新的机遇，那么具体来说，大数据为国内哪些企业带来新机遇？
倪光南：当“大数据”成为企业赖以生存的工具时，很多企业也更加重视大数据的运用给自身带来了新的发展机遇：一类企业是大数据的直接用户，他们利用大数据是为了提高企业的竞争力和效益。这一类包括了传统行业的企业，他们通过大数据来提升自己的管理水平，改进产品和服务等等；同时也包括了新兴的基于数据的企业，这些企业利用大数据作为自己的核心竞争力，基于大数据改进原有的服务或者推出创新服务等等。另一类是提供大数据的基础设施、解决方案、应用平台的企业，简言之，它们就是提供利用大数据的工具。总之，无论是哪一类企业，都有机会紧抓大数据的机遇谋求新发展。当前，这个领域刚刚兴起，基本上没有被垄断，对中国企业来说，有比较平等的竞争机会，现在中国互联网企业在世界上的地位仅次子美国，就是一个例证。
《智慧城市》：提到大数据，自然会联想到云计算，近年来关于“云”的关注并不亚于大数据，那么对于企业而言，应该如何应用好云计算？
倪光南：总的来说，云计算既是技术创新又是模式创新，所以应用云计算不仅要在技术层面需要相应的技术和网络支撑外，更需要大力推进云计算模式。为此，需要企业和应用云计算的各个机构在业务模式、管理体制等方面作出相应改变。比如有的企业推行“云管理”，使管理高度扁平化，管理层次高度简化，大大提高了工作效率，同时新创意、新设计、新工艺等也更容易付诸实施，从而大大激发了企业员工的创新精神。所以说，我们一定要既抓技术创新，又抓模式创新，这样才能全面落实云计算的应用和创新。
但各个领域、各个企业的需求各不相同，因而对云计算的要求、使用方式方法以及利用云计算的情况也各不相同。例如有的是希望用云计算缓解日益繁重的信息处理任务压力，有的是希望用云计算节省成本，包括基础设施的成本和运维的成本，也有的是希望用云计算缩短新业务的部署时间、增强企业的应变能力……所以各领域及企业都应该根据自己的实际需求科学合理地利用好云计算，并让其充分发挥作用。
当然，云计算的具体作用还不仅仅是这些，它还可以满足许多的需求，今后云计算应用的深度和广度还会不断发展。
《智慧城市》：众所周知，大数据和云计算为智慧城市建设提供了技术支撑。根据您的了解，我们该如何理解和协调好大数据和云计算之间的关系？
倪光南：现在大数据和云计算往往连在一起，例如在2013年的第五届中国云计算大会上，有关大数据的内容占了主题报告的‘半以上，应该说大数据已经成为不可回避的趋势。
其实在人们眼中，数据是宝贵的资源已成事实，大数据被比喻为一座蕴含巨大价值的矿藏，那么，云计算则可以被看作是采矿作业的得力工具，倘若没有云计算的强大处理能力，大数据蕴含的巨大价值也不可能被挖掘出来。
对于大数据而言，云计算的意义不仅在于通过相关技术解决各种具体问题，还在于通过云计算构建一种通用、高效和可靠的大数据支撑平台，掌握以数据流为中心的系统集成思想，在大数据应用层面探索更广阔的内容。
因此，从整体上看，大数据与云计算是两个相辅相成的概念。
《智慧城市》：面对迅猛发展的信息技术以及风云变幻的金融环境，大数据应用仍面临诸多挑战，对此，您怎么看？
倪光南：不言而喻，大数据所发挥的作用受到了各界关注，但应用大数据也面临着不小的挑战，因为其一方而关系到数据本身，包括数据的获取、共享和消除对隐私的顾虑；另一方面则是对数据的分析。
其中数据隐私是最敏感的问题，涉及观念上、法律上以及技术上的问题。如近些年互联网及移动互联网的迅速发展，也出现了个人或单位信息被暴露的事件经常见诸报端，所以我们必须警惕新技术的兴起可能会造成的损害并应设置必要的防护。
同时，如何得到合适的描述即对数据进行摘要；如何通过演绎，解释数据或者使用数据有意义；又如何进行定义和检测异常等等，这些都是对新的数据源进行分析所面临的挑战。
《智慧城市》：信息安全一直以来都备受关注，特别是大数据时代的来临，更是将信息安全推向风口浪尖，那么，您认为应该从哪些方面着手保障国家信息安全？
倪光南：在大数据时代，丰富的数据和管理技术给人们带来诸多便利，用户的需求也已不仅仅局限于数据存储，更是向数据管理、分析、展现、挖掘等多元化方向发展，但同时，这也给国家信息安全带来了日益严峻的挑战。
nlc202309020724
应该承认，保障大数据时代的数据安全是一个很复杂的问题，人们首先注意的是隐私权问题，如果掌握了海量用户信息的机构不适当地运用他们所掌握的信息，就会对用户造成很大的危害。在这方面，有关的法规制度还很不健全，需要尽快着手制订。不仅如此，大数据具有信息安全的共性问题，特别是近年来网络信息泄漏事件的发生表明，网络战已经成为一个现实的威胁，过去并没有引起人们的足够重视，只是由于认识不足，或者技术能力不足而已。但而对大数据迅速发展的情况下，国家应当强调使用自主可控的国产软硬件和服务，并高度重视信息安全，采取严密的防范措施，将网络空间看作是第五战场，要像保卫国家领土、领海、领空和领天一样，保卫国家领网的安全。
《智慧城市》：当下，移动互联网时代已经来临，云计算、大数据等信息技术越来越受重视，若要跟上发达国家的发展节奏，国产软件还需要做哪些努力，政府在其中能发挥什么样的作用？
倪光南：云计算、大数据、移动互联网等都属于新一代信息技术，应该说，在这些技术中软件都起到重要的甚至是决定的作用。就国产软件总体来说，在这一波IT新浪潮中发展不错，例如在云计算最活跃的互联网领域，以中国的百度、腾讯、阿里等为代表的企业已进入世界互联网顶级企业的行列，实际上，中国这个产业的规模和水平，毫无异议地处于世界第二位，仅次于美国。可以说在这个领域，美国和中国是第一梯队，相比第二梯队，遥遥领先。但是，我们还必须清楚地认识到，与美国相比，中国仍有不少差距。国产软件还要抢占一些制高点，比如自主可控的操作系统、数据库等，这些当前基本上被外国操作系统所占据。
一般来说，由于软件拥有自然垄断性，国产软件往往很难进入一般市场，这时，政府采购市场可能成为国产软件的切入点。我们常说，软件是用出来的，但软件刚开发出来总是有缺陷的，所以在软件界通常认为第三版才可用。此前两版必须通过应用，发现缺陷，加以改进，才能达到最好的程度。所以，一种情况是没有市场支持，软件就没机会改进，而因为不好用，就没市场，这样就成了恶性循环。但另一种情况却是软件有市场，软件能在应用中不断改进循环。因此发展软件，第一是靠人才，第二是靠市场。
或许很多人都会这样想，中国不缺人才，看起来似乎发展软件很容易，其实不然，因为市场不一定有，当然并不是真正的没有市场，而是没能给新出现的国产软件提供率先应用的市场。国产软件很需要这样的市场，需要政府通过“首购”的方式，采购国产软件，帮助它进入市场的良性循环。这类成功例子不少，像国产Office办公软件经过这些年政府采购，现在已经有相当的市场份额，这在很大程度上要归功于政府的支持。
但归结起来说，政府采购作用还发挥得不够，还有很大的发挥潜力，为此，中国要以企业为主体，产学研相结合，协同创新，去抢占那些制高点。同时政府还要做好宏观环境的支撑，比如在推动信息安全产业方面，就要切实贯彻《政府采购法》，实行信息安全审查制度等等。当然，我们强调市场的作用并不意味着政府权力的减少，实际上政府的作用仍然很重要，我们必须要更好地处理好政府和市场之间的关系。
大数据与云计算论文 篇4
【摘要】文章通过分析云计算的定义特点及云数据的管理技术，以促进云计算和云数据管理技术的发展和提高。
【关键词】云计算;云数据;管理技术
作者简介：初鲁京(1987-)，男，山东烟台人，中国人民大学在职研究生，研究方向：企业管理
近年来随着科技水平的不断提高，信息数据量不断增大，并且具有快速的增长速度，用户对于计算机的存储能力提出了更高的要求。而“三网融合”、“物联网”、“智能电网”等应用的快速发展对于计算和数据管理也带来了新的挑战。云计算作为一种正在兴起中的新型技术，可以改变普通用户操作计算机的模式，可以根据用户的需要来提高计算能力和存储能力，使用户像使用水电一样的方便快捷的使用计算机，降低用户的软件和硬件采购成本。云计算是基于分布式系统和网络计算上提出的新型概念，核心功能的提供海量的数据和存储，并且提供高效率的计算能力，由于开发更多的应用形式。而云计算并不仅仅是做计算，还需要融合更多的技术成果，提出云数据的管理概念。本文通过分析云计算和云数据的管理技术，促进云计算和云数据管理技术的发展和提高，方便今后工作的开展。
一、云计算的概念
(一)云计算的定义
云计算是一种近年来兴起的新型计算模型，是在互联网技术快速发展的基础上发展起来的。由于目前对于云计算还没有统一的标准定义，所以出现了很多云计算的定义版本。而通过对于云计算的分析研究，总体的定义方向都是一致的。具体来说，云计算实际上是一种对于虚拟化技术、网络技术和WebService等几种不同的新型信息技术的综合应用。云计算所运用的技术几乎包括了所有的互联网和信息技术。可以说云计算是网络计算的必然发展，虚拟化技术又是云计算得以发展的基础和前提，WebService信心技术为云计算提供了互联网环境的技术支持。随着互联网的发展，计算机用户也越来越专业化，它们对于数据信息的.了解和使用越来越熟练，对于数据信息的要求也发生了变化，提出了各种不同的信息数据需求，云计算正是满足了这类用户的需要，也得到了进一步的使用和发展。
(二)云计算的工作原理
云计算在工作环境下不需要使用本地的计算机，通过互联网联接来进行数据的分布和处理，并且优化数据，然后经过互联网的连接来实现分享数据的目的。这种工作模式可以使企业方便的进行资源利用，并且有效的切换有效资源，根据实际工作的具体要求来访问计算机和存储系统，获得相关的信息和数据。云计算作为一项新型的实用性技术，一定程度上提高了计算能力的商业性，通过网络传播和售卖实现了降低售卖成本的目的，同时还充分发挥了实用性，使企业的相关工作得以全面落实。
(三)云计算的体系结构
云计算的体系结构非常庞大，并且具有很强的复杂性，一般以“云”网络为核心，联接到其他网络和服务器，发送出相关的数据信息。同时通过虚拟技术的支持扩展相关服务器的功能，在云计算的平台上实现各种信息资源的整合，达到为用户提供更多更有效数据的目的，提升了计算能力和储存能力。完善的云计算体系结构应包括云端用户、部署工具、服务目录、管理系统这主要的四个部分。
二、云数据管理技术的主要特点
(一)规模大，海量性
随着近年来互联网技术应用的发展和普及，一些互联网技术是通过传感器来进行数据信息的采集来完成相关的工作。而随着应用技术的发展和推广，数据量变得越来越大，并且还在快速的增长。云计算中的“云”具有规模大的特性，以云计算为基础而构建的信息服务或设备也具有大规模的特点，并且应用于处理海量性的信息数据。另外云计算还可以无限扩展，同时处理成百上千的信息节点。这种可以无限扩大和伸缩的特点满足了不同用户的不同需求，在云计算的数据管理技术中也要注重技术和方法的改进，提高信息数据的管理水平和处理水平，重视信息数据的整合、提取和推理，有助于工作决策的完成。
(二)安全可靠性
云计算的技术包括了虚拟化技术、互联网技术及分布式计算等比较成熟的技术手段，为云计算的可靠性提供了有效的保证。并且云计算在安全性方面也具有优势，云计算采用了不同服务器上的信息数据多副容错的方式，计算的信息节点采用了同构互换技术，这些都极大地提高了云数据管理的安全性。
(三)异构性
由于应用云计算技术的领域和行业的不同，云计算的数据采集设备和方式也各不相同，存在着一定的差异性。每个行业中云计算所获取的结构和数据形态也存在着不同的差别，需要根据具体的实际情况，来判断采取不同的传感器，例如二氧化碳浓度传感器、温度传感器和湿度传感器等。不同的传感器在应用的时候，传递信息和获取信息的形式也是不尽相同的，这些差别会带来数据分析、处理和访问等各个环节的差别，另外数据的多源性也会造成数据的类型各不相同，不同类型的数据信息也有不同的格式，从而会出现半结构化数据、非结构化数据和结构化数据同时存在的情况，使信息数据存在异构性的特点。
(四)不确定性
云计算的运行环境中数据信息具有一定的非确定性，主要表现为信息数据本身、数据语义匹配及数据信息的分析查询等方面具有不确定性。而为了达到保证信息数据准确客观的目的，用户在应用云计算时一定要明辨真伪，去其槽粕取其精华，反映真实的需求完成预期的工作目标。
(五)通用性、便捷性
云计算的使用平台在提供各项服务时，用户在使用中不会受到空间上的限制，也不会受到时间的约束。用户只要具有访问验证信息就可以自由的使用云计算平台，享受云计算的服务，不会受到系统和平台的限制，具有极大的通用性和便捷性。
三、云数据管理技术
用户通过云计算来分析处理大量的数据信息，云计算的数据管理技术必须要能够满足用户的需求，高效及时的管理分析海量的数据和信息。云计算分析处理的数据具有海量性、不确定性，这对云计算数据管理技术的开发和发展不断提出新的要求，需要积极的构造高效可用的信息数据管理系统。
(一)数据信息的组织管理
数据的组织管理可以采用分布式的系统来访问分析海量的分布式数据，例如GFS技术。这种技术可以在差别不大的各种普通硬件上运行，为用户提供了容错功能，并且为用户提供高效可靠的信息数据并行的存储和访问权限。
(二)数据信息的集合管理
数据信息具有海量性、动态性、不确定性等特点，需要采取分布式的数据信息处理技术来进行采集分析，例如BigTable技术可以用于对海量数据信息的处理，提供高效的服务。
(三)数据信息的分析管理
应用云计算的数据管理技术是为了分析和挖掘相关的数据来满足用户的需求。因此需要运用不同技术和布局来从海量的数据中提取挖掘有用的潜在数据，并且理解所挖掘的信息数据同时进行分析，为各种应用提供支持。
(四)数据信息的存储管理
以Dynamo技术为例，这是一个具有高可用度的存储系统，具有DHT和数据库的特征，为AWS提供了基础的技术支持，并不直接展示于外网。Dynamo技术设计的存储架构可以使信息数据在框架内均匀的存储，并且各个存储节点之间可以互通，根据数据的具体操作需求在框架内进行转发，具有较强的自主性，而由于有主控点来进行控制，单个节点之间一般不会出现故障。Dynamo技术在存储时还具有一些优点，可以通过提供N、R、W这三个参数结合实际情况去调整实例。N即表示副本的个数，R为可完成的数据信息的成功一致个数，W为完成写入的个数。Dynamo技术可以记录、处理不同版本的对象，将对象的不同版本来提供给技术应用，使应用可以对这些数据信息进行合理的整合和利用。在这一过程中并不要求将副本个数N全部的成功完成，只需要成功读取的个数R和成功写入的个数W两者相加，大于副本个数N，这样就可以保证数据的最终一致性。这种读取方式比写入一次进行多次读取的系统要麻烦一些，但是写入方式变得更简单，也充分满足了用户的需要。同时Dynamo技术也具有负载均衡的优势，由于所采用的DHT方式将需要的信息数据都均匀的存储到每个节点，导致每个节点的数据信息访问量和存储量都大致相同，比较均衡。
四、结语
当今社会处于高速发展的信息时代，各种数据信息在全球范围内传递交换，也就需要开发和利用高效可用的信息传播媒介来适应信息时代的发展，云计算和云数据管理技术正是为此而生。作为新型的信息技术，云计算具有广阔的发展空间也面临着不同的挑战。网络互联网技术的快速发展使云计算和云数据管理技术有了更好的机会和支持，也导致了新型应用系统的开发和应用，因此云计算和云数据管理技术要充分把握机会面对挑战，利用本身的优势和时代的发展来实现进一步的提高，解决应用过程中的技术难题，得到长远发展。
参考文献
[1]刘正伟，文中领，张海涛，等.云计算和云数据管理技术[J].计算机研究与发展，，49(z1)：26-31.
云计算与大数据学习报告 篇5
“大数据与云计算”学习报告 题目：谈谈对“大数据与云计算”技术的理解，及这两项技术对商业活动、社会进步带来哪些影响.首先我想简单谈谈何为云计算，何为大数据。云计算，是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，其侧重的是计算，而大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，本质就是利用计算机集群来处理大批量的数据，大数据的技术关注点在于如何将数据分发给不同的计算机进行存储和处理。其侧重的是计算的对象。
其次说说云计算与大数据的关系.可以说，大数据相当于海量数据的“数据库”，而云计算作为计算资源的底层，支撑着上层的大数据处理，前者强调的是计算能力，或者看重的存储能力。大数据需要处理大数据的能力，大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术。
最后说说云计算与大数据对商业活动、社会发展的作用.云计算和大数据的出现，正在引发全球范围内深刻的技术与商业变革。技术革新对信息化发展的引领与推动作用已经毋庸置疑,而新一波以云计算和大数据为代表的新技术对我国信息化的拉动作用也正日益显现,随着云计算服务的互联,移动互联网、智慧城市等领域的渗透相互促进,形成了市场需求与技术进步双拉动的态势，对电信运营商而言，在当前智能手机、智能设备快速增长、移动互联网流量迅猛增加的情况下，大数据技术可以为运营商带来新的机会。大数据在运营商中的应用可以涵盖多个方面，包括企业管理分析如战略分析、竞争分析，运营分析如用户分析、业务分析、流量经营分析，网络管理维护优化如网络信令监测、网络运行质量分析，营销分析如精准营销、个性化推荐等计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。
大数据与云计算论文 篇6
据说比尔·盖茨当年遇到一个乞丐讨钱，比尔·盖茨递过一张10美元的钞票，这个乞丐非常感谢，给了比尔·盖茨一张卡片，上面印着这个乞丐的网络邮箱，这让比尔??盖茨很吃惊，于是一回公司，就着手制订新的互联网战略，这种战略一直延续至今。不过，今天的互联网，又有了新变化。
面对新的变化，金蝶国际董事局主席徐少春说，当下，新兴技术风起云涌，云技术浪潮席卷全球，以社交网络、移动互联网、云计算、大数据等为代表的新兴互联网技术，正在颠覆以往的模式。
刚刚在顺义新城落户的北京金蝶软件园里，新建了国内首个融合云时代新技术与实践的云管理体验中心。这个体验中心首次将社交网络、移动互联网、云计算和大数据等新兴技术融合在一起。在这个体验中心，你或许能提前领略到未来生活的便捷，感受生活在“云端”的不同。
金蝶中国副总裁郝登胜告诉记者，现在我们到了一个颠覆传统的时代，这是因为新技术带来的新想法，带给人们新的感受、新的消费习惯。
有“互联网女皇”之称的前摩根士丹利全球科技研究组联席领导人玛丽·米克最近离开了曾令无数人羡慕的职位，开始了在云技术时代的独立创业，也正是看到了这个新时代的新机会。
过去几十年，计算机与互联网，给整个世界带来了巨大的改变。计算机的出现，让我们把信息总量不断地叠加和累积，互联网则促使信息交换速率成几何倍的增长。未来十年，大数据、云计算、社交网络等相互联动，将会带来新的改变。
大数据与云计算论文 篇7
关键词：大数据,云计算,关系,未来发展
1 概述
马云说:互联网还没搞清楚的时候, 移动互联就来了, 移动互联还没搞清楚的时候, 大数据就来了。大数据让我们的生活变得便捷, 我们可以不用担心具体什么时候下雨而烦恼, 精确到钟点的天气预报为我们解决了后顾之忧。大数据在科学研究、公共管理、工业生产与商业经营方面都有广泛的应用。那么不少人会有疑问, 所谓的大数据和云计算是一个概念吗, 他们之间有什么区别和联系呢, 带着疑问, 笔者做出了具体的分析。
2 大数据的特点
什么是大数据?海量数据就可以称为大数据吗, 答案是错误的, 大数据也不是云计算, 是云计算的灵魂和升级方向。云计算的核心是业务模式, 本质是数据处理技术。大数据具有以下4V特性:体量Volume、多样性Variety、价值密度Value、速度Velocity。下面我们来对大数据做进一步的理解。
大数据比云计算更为落地, 云计算本身也是大数据的一种业务模式, 大数据不仅仅是“大”, 比“大”更重要的是数据的复杂性, 有时候甚至大数据中的小数据如一条微博就非常具有信息价值。和数据中心一样, 软件是大数据的驱动力, 大数据的应用不仅仅是精准营销, 通过用户行为分析实现精准营销是大数据的典型应用, 大数据在各行各业特别是公共服务领域具有广阔的应用前景。管理大数据“易”, 理解大数据“难”。目前大数据管理多从架构和并行等方面考虑, 解决高并发数据存取的性能要求及数据存储的横向扩展, 但对非结构化数据的内容理解仍缺乏实质性的突破和进展, 这是实现大数据资源化、知识化、普适化的核心。
大数据的关键技术表现在以下三个方面:
a.Map Reduce编程模型:是指分布式编程模型, 用于并行处理大规模数据集的软件框架。
b.海量数据存储技术:分布式存储方式存储数据, 冗余存储方式保证系统可靠。
c.海量数据管理技术:No SQL数据库, 进行海量数据管理以便后续分析挖掘。
3 大数据与云计算的关系
云计算的模式是业务模式, 本质是数据处理技术, 数据是资产, 云为数据资产提供存储、访问和计算, 云计算更偏重海量存储和计算以及提供的云服务, 如果数据是财富, 那么大数据就是宝藏, 云计算就是挖掘和利用宝藏的利器, 大数据根植于云计算。
大数据与云计算有相同也有差异, 云计算为大数据提供了有力的工具和途径, 大数据为云计算提供了有价值的用武之地, 两者之间的相同和差异具体表现在:
a.两者之间的相同点:大数据和云计算都是为数据存储和处理服务, 都需要占用大量的存储和计算资源, 因而都要用到海量数据存储技术、海量数据管理技术、Map Reduce等并行处理技术。
b.两者之间的差异
(1) 背景不同:大数据体现在现有的数据处理技术不能胜任社交网络和物联网产生的大量异构数据, 但这些数据存在很大价值;云计算体现在基于互联网的相关服务日益丰富和频繁。
(2) 目的不同:大数据的目的是充分挖掘海量数据中的信息;云计算的目的是通过互联网更好地调用、扩展和管理及存储方面的资源和能力。
(3) 对象不同:大数据的对象是数据;云计算的对象是IT资源、能力和应用。
(4) 推动力量不同:大数据的推动力量是从事数据存储与处理的软件厂商和拥有大量数据的企业;云计算的推动力量是生产计算及存储设备厂商、拥有计算及存储资源的企业。
(5) 带来的价值不同:大数据能发现数据中的价值;云计算则节省了IT部署成本。
4 大数据的应用
大数据在企业中的应用十分广泛, 是行业的拓展者, 为行业打造基石。IBM公司提供的服务包括数据分析、文本分析、蓝色云杉 (混搭供电合作的网络平台) 、业务事件处理、IBM Mashup Center的计量、监测和商业化服务 (MMMS) ;在政府职能变革中, 重视应用大数据技术, 盘活各地云计算中心资产, 把原来大规模投资产业园、物联网产业园从政绩工程改造成智慧工程;在安防领域, 应用大数据技术提高应急处置能力和安全防范能力;在民生领域, 应用大数据技术提升服务能力和运作效率以及个性化的服务, 比如医疗、卫生、教育等部门。并且它还可以解决在金融、电信领域中数据分析的问题。
5 大数据的未来发展
传统的关系型数据仍然会成长, 它的成长在今天传统关系型数据库的运用和使用方面已经达到了相对比较成熟的阶段, 在大数据时代, 数据分析的手段是关键, 只有通过数据分析才会带来价值。传统的数据分析能力, 无法处理这么大量的数据, 大数据的未来既包括数据湖 (以原生格式存储海量数据) , 也包括云计算, 大数据技术的发展催生产业链投资机会, 传统行业最终都会转变为大数据行业, 无论是金融服务业、医药还是制造业。
结束语
大数据的应用为我们的工作和生活带来了大变革, 但还有不少领域的问题需要解决, 比如个人信息被融入信息源进行加工和利用, 为人所用, 而这正是我们所担忧的问题, 随着科技的不断发展, 这些现实问题也将得到根本性的解决。
参考文献
[1]庄晏冬.智能信息处理技术应用与发展[J].黑龙江科技信息, 2011.
物联网与云计算 篇8
2004年春天，《微电脑世界》(PCWorldChina)曾经邀请了日本Ubiquitous网络计算技术研究所所长、东京大学教授坂村健先生在当时的年度技术趋势大会上作主题演讲，在他的演讲中，就对未来的物联网进行了详细描绘，而当时日本相关物联网的很多研究已经进入了实地试验阶段，在超市、食品加工管理、药品管理等领域进行着小范围的实地应用研究。
其实国内基于物联网基础理论的小的闭环应用系统也已经在探索或者应用阶段，高速公路不停车收费系统、铁路车辆调度系统、动物追踪管理、危险品追踪管理、学生进出校门管理，都是基于物联网理论的应用探索。
但所有的这些应用仍停留在闭环应用阶段，使用着各自独立的标准和系统，离“网”还有相当的距离。
物联网是一个国家工程甚至是世界工程，需要标准化的数据库、标准化的软硬件和数据接口、互联互通的网络平台、还有统一的物体身份标识和编码系统，才能让遍布世界每个角落的物体接入网络，被世界识别、掌握和控制。
这不是一个单纯的技术问题，涉及世界范围内的政策、法律、标准、文化等方方面面，所以广义的物联网似乎非常遥远。
前不久听了一位专家级领导的有关“云计算”的报告，他认为云计算就是前些年热炒的网格计算的一个概念延伸和变换，只是网格计算的发起和炒作者是研究机构，而如今是GooSe、IBM等技术厂商在推广云计算，包装手法和宣传方式高于研究机构。从网格计算到云计算就是一个“穿马夹”的游戏。
网格计算和云计算都强调计算资源和能力的连接、整合、集中、共享以及按需分配，网格计算更面向行业、大企业和专业应用，而云计算则同时会惠及“大众百姓”。
有人预言，云计算时代计算将从PC时代重回大型机时代。这基本可以看成是对PC的一种误解。
也许云计算时代，大型机会承担更多的计算和存储工作，但是在每一个用户端，都需要PC来完成接入、数据输入输出、人机交互，多媒体处理的工作，而今天和未来承担这些工作的肯定是台式机、笔记本电脑、上网本、MID、手机、电视、电子书等各种不同形态的PC(PersonalComputing，个人计算)设备。