《大数据时代》的心得体会

《大数据时代》的心得体会（共10篇）

《大数据时代》的心得体会 篇1

读了《大数据时代》后，感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式，但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前，我的思想被强烈震撼，不禁战栗起来。

本书从思维、商业、管理三个方面阐述了在大数据时代在下的变革，这些变革涉及到我们生活的方方面面，几乎其影响程度可以与两次工业革命相媲美。作者在第一部分提出了三个比较令人震惊的观点，也就是大数据的精髓在于我们分析信息时的三个转变，这三个转变将改变我们的理解和组建社会的方法。并且作者将生活，工作思维的大变革和这几个方面紧紧联系在一起。

第一个转变是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。也就是说样本等于总体;

第二个转变是对研究数据不会追求精度，而且追求混杂性，小数据时代下，追求精确度是合理的，因为我们收集的数据很少，所以要越精确越好，包括如今仍然也在使用这种办法;但是在某些时代，尤其是在大数据时代背景下，快速获得一个大概轮廓和发展脉络，要比精确性重要得多，既然选择了整体性，肯定要忽视细节和确定性;

第三个改变是不是因果关系而是相关关系，在大数据时代，我们更需要了解一个东西是什么，而不是为什么，要找到关联无，通过一个良好的关联物的相关关系可以帮助我们捕捉预测未来。

这三个方面是大数据时代所给我们带来的思维上的改变，所谓思路决定出路，思路有了创新，有了拓展，相应的社会也就会有很大的变化。紧接着第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。第三部分则是阐述了大数据时代下的弊端以及在管理上的措施。个人认为本书的精髓部分是第一部分，第一部分的三个观点涉及的面很广，包括统计学、逻辑学、哲学等。后两个部分都是以第一部分这三个观点为基础展开阐述的。

这本书给我感触最深的就是这三个转变，或者说是三个观点，可以说是哲学上说的世界观，因为世界观决定方法论，所以这三个观点对传统看法的颠覆，就会导致各种变革的发生。

首先是第一个，作者认为在抽样研究时期，由于研究条件的欠缺，只能以少量的数据获取最大的信息，而在大数据时代，我们可以获得海量的数据，抽样自然就失去它的意义了。放弃了随机分析法这种捷径，采用所有的数据。作者用大数据与乔布斯的癌症治疗例子说明了使用全部数据而非样本的意义，列举了日本“相扑”等来证明使用全体数据的重要性。

这个观点足以引起统计学乃至社会文明的变革，因为统计抽样和几何学定理、万有引力一样被看做文明得以建立牢固的基石。我对这个观点还是比较认同的，如果真能收集到整体的数据而且分析数据的工具也足够先进，自然是全体数据研究得出的结果更令人信服。但是这个观点也过于绝对，就算是在大数据时代要想收集到全体数据还是不太可能实现的，因为收集全体数据要付出的代价有时会很大。比如说，你要检测食品中致癌物质是否超标，你不可能每一件食品你都检测一遍吧。

第二，要效率不要绝对的精确。作者说，执迷于精确性是信息缺乏时代和模拟时代的产物，只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法被利用。作者是基于数据不可能百分之百正确的考虑而做出这样的判断的，如果采用小数据一个数据的错误就会导致结果的误差很大，但是如果数据足够多、数据足够杂那得出的结果就越靠近正确答案。大数据时代要求我们重新审视精确性的优劣，甚至还说到大数据不仅让我们不再期待精确性，也让我们无法实现精确性。谷歌翻译的成功很好地证明了这一点，谷歌的翻译系统不像Candide那样精确地翻译每一句话，它谷歌翻译之所以优于IBM的.Candide系统并不是因为它拥有更好的算法机制，和微软的班科和布里尔一样，谷歌翻译增加了各种各样的数据，并且接受了有错误的数据。

而在阅读这本书时，发现这本书中争议最大的一个观点，不仅是读者，就算是本书的译者也在序言中明确地说到他不认同“相关关系比因果关系更重要”的观点。作者觉得相关关系对于预测一些事情已经足够了，不用花大力气去研究他们的因果关系。作者用林登的亚马逊推荐系统的成功，证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分利用并挖掘各类数据信息的代表，从啤酒和尿布的案例，以及作者举的有关蛋挞和飓风天气的案例，都说明了掌握了相关关系对于他们策略的帮助。

一句话，知道是什么就够了，不用知道为什么。很明显作者所举的例子都是属于商业领域的，但是对于其他领域来说这个观点就值得商榷了。比如说，在科学研究领域，你需要知其然也需要知道其所以然，找到事件发生的原理。用文中的一个例子说明，乔布斯测出整个基因图谱来治疗癌症，但是你治疗癌症你必须知道癌症发病的原理，知道哪一段基因导致了这种疾病，不可能只是说收集各种数据，然后利用其相关性来判断哪里出现了问题。

过度依赖所带来的后果。也用《少数派的报告》这部电影来说明如果痴迷于数据会导致我们将生活在一个没有独立选择和自由意志的社会，如果一切变为现实，我们将被禁锢在大数据的可能性之中。所以书中提出了几种解决方法，一种是使用数据时征询数据所有个人的知晓和授权。第二个技术途径就是匿名化。毫无疑问，大数据将会给社会管理带来巨大的变革。

在这个信息爆炸的时代，大数据给人类社会的方方面面带来了巨大的变革，这是社会发展的潮流，不可逆转，我们只有顺应这种潮流，把握住大数据时代变革的思想，才能在时代潮流中成为佼佼者，在思维上思路上略高一筹，才能在行动中占得先机!

《大数据时代》的心得体会 篇2

按照百度百科的解释, 大数据技术 (Big Data) , 或称巨量资料, 指的是所涉及的资料量规模巨大到无法通过目前主流软件工具, 在合理时间内达到撷取、管理、处理, 并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume (大量) 、Velocity (高速) 、Variety (多样) 、Value (价值) 。显然上述解释仅仅是描述了大数据的一些特征, 对于企业如何开发大数据、利用大数据进行运营管理, 并没有过过多的指导。

本文建议传统企业在建设大数据系统的过程中, 不仅要建设数据分析平台, 更要构建起一个数据分析的生态圈, 让人人都是分析师, 让数据分析渗透到企业运营的每个环节, 真正实现数据运营、科学决策的管理模式。构建数据分析生态圈, 可以概括为“两个市场, 一个平台”, 两个市场是指业务数据市场、分析工具市场, 一个平台是分析观点分享平台。

2 业务数据市场, 让业务数据变得开放透明

业务数据是分析的源泉, 没有数据就谈不上大数据。企业经过多年的信息化建设, 一般都会有多套业务系统在运行, 如办公自动化系统 (OA) 、财务管理系统、ERP系统等不一而足, 但这些业务系统都是孤岛式隔离, 数据缺乏整合, 而且底层数据库都是经过专业设计, 复杂度较高, 非厂家技术人员难以使用, 通常都是利用定制报表的方式进行分析和使用。因此, 在利用数据上存在着数据提取难度高、报表需求响应慢、数据准确性差等问题。

产生上述问题的原因在于, 传统数据结构复杂, 对业务人员不开放, 利用报表的方式提供数据时, 需求人员期望的数据与技术人员提供的报表之间存在着巨大的鸿沟。建设业务数据市场就是将各业务系统的数据进行抽取、清洗、整合之后, 按照业务过程重新进行整合, 封装为统一粒度、统一维度的数据库表。这些数据表的特点就是能被业务人员所理解并解读分析, 这样业务人员可以在较早期就发现数据中间存在的问题。在建设数据市场的过程中, 有几点需要特别注意。

(1) 采用维度建模方法, 以“易懂性、易用性”为原则

业务数据市场的数据是供企业分析人员使用, 他们更多的是不懂技术的业务人员, 数据结构应该符合多数人的直觉, 而非像传统“三范式”那样, 需要借助复杂的ER图才能表述清楚。对于专业的IT人员, 尤其是要抵制将维度模型设计成“雪花模型”以节省数据重复、增加灵活性的诱惑, 从而带来模型复杂性的代价。

(2) 全面梳理业务, 实现数据的互联互通

传统企业的业务系统, 多数是烟囱式的软件系统, 若不在企业层面进行业务梳理, 就不能很好地对数据进行整合, 提取有价值的信息。在整合数据的过程中, 必须要有统一的维度才能有效实现数据整合, 比如统一的客户编码、身份证号等, 所以梳理企业层面的统一维度是实现数据整合的关键步骤。

(3) 分主题、稳步推进

企业运营涉及的业务过程众多, 眉毛胡子一把抓是不可能的。在建设企业数据市场时, 要根据企业的特点, 优先建设对运营最重要的业务, 尽快投入使用, 逐步完善, 比如一个销售类的企业可以先将订单业务整合起来。

如图1所示, 采用维度建模方法构建中间层数据结构, 可以大大降低数据的使用难度。以事实表为中心的中间层模型, 可以让业务人员将主要精力放在理解数据和业务上, 避免过多的技术细节所带来的技术门槛和恐惧心理。

将生产库的交易数据转换为维度模型, 必然带来非常大的数据转换工作量, 因此ETL过程就成了整个项目成败的关键, 选择或打造一个性能优良的ETL框架是系统的核心。笔者建议可以从选择开源的ETL框架开始, 图形化的开发框架会给研发带来极大的便利, 降低学习成本。图2为图形化的ETL开发框架。

3 分析工具市场, 打造适合需要的分析框架

数据是一座金矿, 但还需要依赖好的工具才能将金子提炼出来。直接分析原始数据虽然灵活, 但更加适用于高水平的人员, 对于大多数的一线员工, 应该提供更加易用的分析工具, 如报表、图表、报告等, 将业务指标以形象的方式展现出来。分析工具市场就是企业内部汇集分析工具的地方, 提供给员工根据自身情况使用。

分析工具市场包含两部分功能, 一是制作分析工具的开发平台, 一是运行分析工具的门户平台。在建设分析工具市场的过程中, 有几点需要注意。

(1) 分析工具市场建设

从技术角度来看, 分析工具市场可以找到众多的软件系统满足需求, 企业可以根据实际情况, 或采购、或使用开源, 搭建这么一套软件系统, 既能让企业自己定制报表、分析图表, 也能将制作好的分析报表展现出来。

(2) 分析工具的开发以企业自身为主, 外购为辅

分析工具与业务特点、人员使用习惯等因素紧密关联, 其需求变化频率高, 全部依赖外部厂家开发, 一方面费用较高, 另一方面需求响应也不及时, 可能等开发出来, 分析的需求却没有了。因此企业要培养自己的开发队伍, 可以利用数据市场中的数据开发出各类查询报表、分析图表等。

分析工具是数据分析环节最成熟、也是选择性最多的环节, 有非常多优秀的BI工具可供选择, 商业中的有Cognos、SAP等, 开源的有Pentaho、BIRT等, 但数据可视化仅是数据分析的起点, 要想将数据价值挖掘出来, 还需要数据分析人员对分析工具进行深入分析, 提炼出知识并进行固化和传播, 才能让数据发挥价值, 形成从知识到洞察的转换。图3所示为数据可视化图标类型。

4 分析观点分享平台, 让数据分析社交化

大数据时代, 在数据充裕的同时, 带来了有价值分析结果的匮乏。数据分析, 绝对不是高高在上的阳春白雪, 而是需要人人参与、百家争鸣的氛围, 要在企业内部树立人人都是分析师的理念。

分析观点分享平台的建设, 采用类似于朋友圈、微博等社交媒体的机制, 让每个人都有机会表达对数据的分析观点, 通过转发、评论机制, 让有价值的观点浮上来。在这个过程中, 分享观点的个人可以获得成就感, 转发、评论的人有参与感, 企业从中获取到对运营决策有价值的想法, 基于数据分析过程实现了科学、民主的决策。在建设分享平台的过程中, 有几点需要注意。

(1) 人员关注机制

由于企业运营不同于互联网, 存在着一定的封闭特性, 不建议采用微博关注的开放性, 而应该采用朋友圈类似的“关注-同意”的朋友机制, 避免不适当的关注带来的信息泄露。

(2) 分享范围控制

由于企业数据的特殊性, 员工在分析观点的时候需要控制分享范围, 避免机密信息的泄露。控制分享范围, 既要有人工控制, 也要从平台层面通过权限控制, 如财务数据的分享范围仅限某几个部门或人员等。

(3) 分享观点排序算法

综合多种因素对发表出来的观点进行排序, 以便让展现到每个人眼前的都是最符合期望的内容, 营造一个良好的分享环境, 避免劣质内容驱逐优质观点给生态圈带来的毁灭性打击。

5 实践

根据上述思路, 我们规划了一个数据分析平台的产品, 分为三个阶段进行演进, 即智能报表阶段、企业内部数据整合和大数据分析三个阶段, 遵循“整体规划、分步实施”的路线。在实际推广中, 引导客户优先解决现阶段最迫切的问题, 比如统计报表, 通过经营分析平台的构建, 充分调动每个人的积极性和能动性, 减少定制化工作的数量及频率, 有效利用企业经营中产生的数据。图4是数据分析平台的技术架构图。

如图5所示, 数据分析平台的第一阶段是“智能报表”阶段, 其重点是建设数据中间层、提供灵活的分析工具, 让企业的每个人都能参与到数据分析的过程中。因此, 产品的技术架构也就围绕着这两个目标进行重点建设。

其中, 数据建模和数据集市所用到的方法论就是本文第一节所提到的“维度建模”, 将中间层数据通过上层的数据分析工具开放给用户进行分析, 最终通过报表、仪表盘等形式呈现给各级人员进行决策管理, 实现数据价值的体现。

6 结束语

大数据的“大”时代 篇3

关键词 互联网 大数据 发展

中图分类号：TP3 文献标识码：A

时下最热门的搜索词中“大数据”恐怕是名列前茅的，“大数据”不仅仅是IT行业的一个术语，它越来越影响着人们日常生活的方方面面，渐渐地成为一种生活态度，思维方式。大数据的“大”时代正向我们走来。

互联网的迅猛发展，使得大数据技术成为可能。互联网海量数据的获取、聚集、存储、传输，大数据应运而生。互联网为大数据提供了更多数据、信息资源;大数据为互联网的发展提供更多数据服务以及应用。

当今社会，互联网的迅猛发展和普及，将每个使用网络的人都主动或被动的吸纳到大数据中来。网民在网上的任意一个访问行为，都将成为大数据海洋中的一滴水。据2014年11月世界互联网大会最新发布的数据，经过20年的发展，中国已拥有6.3亿网民，12亿手机用户，5亿微博、微信用户，每天信息发送量超过200亿条。全球互联网公司十强，中国占了4家，中国已成为名副其实的互联网大国。人们日常工作与生活中的消费、信息交换已成为必不可少的部分。大数据正是基于这些庞大数据的分析与处理，从这些数据中挖掘有价值的信息，并且合理的预测判断出事态的走向，将这些预测运用到各个领域。比如在电商领域的精准服务。通过顾客在购物网站的浏览记录，历史购买，科学合理的判断出该顾客现在的需求，以及未来存在的潜在需求，并且能伴随着顾客兴趣点的转移，新的习惯爱好，实现内容及广告的精准推荐。大数据为我们的生活带来了重大的变革，让我们的生活更智能，更便捷。

牛津大学教授维克托·迈尔·舍恩伯格（Viktor Mayer-Schonberger）在他的《大数据时代：生活、工作与思维的大变革》中提出大数据带来的变革不仅存在于有形的商业模式，更多的将会影响到人的思维模式。

首先，大数据不再局限于随机的样本，这样就避免了因不能保证绝对随机性而带来的偏差。大数据模式规避了小样本的弊端，颠覆了传统的样本分析思维模式。

其次，大数据允许不精确。大数据不再局限于随机样本，不再局限于小信息量的信息收集，大数据有足够“大”的信息来反映事态的发展。宽容了错误，人们掌握的数据就多了起来。因此，大数据让我们把花费在如何使样本数据更加精确上的时间和精力，花费在收集更多数据上。人的思维不再局限和狭隘，有了更广阔的视野。

最后，大数据让人们知道“是什么”就够了，没必要知道“为什么”。大数据分析的方法不受信息数量局限，不受信息误差局限，因此能客观的预测未来。人们开始将因果思维转换为相关思维。

维克托·迈尔·舍恩伯格在《大数据时代创业取决于创意》中提到，如何通过大数据来观察和认识这个世界是我们需要关注的课题。

大数据改变了我们的生活，并且逐步影响着我们的思维模式，基于大数据带来的许多问题也开始日益显现。

首先，大数据时代，我们在网络中的每一次点击，每一次信息交换产生的数据都将永久的保存下来。因此，我们首先必须面临的挑战就是：大数据时代，我们该如何保护我们的信息安全。一方面，随着对互联网的日益依赖，人们将大量的数据通过云端来记录和保存，金融数据、医疗信息以及政府部门的信息都需要有安全性和保密性。庞大的数据以及处理这些数据做出的结果一旦丢失，损失将是不可估量的。如何保护好这些数据安全是一个重要课题。另一方面，大数据作为一个巨大的资源库，它给企业带来的商业价值无疑是巨大的。当企业一味的追求利润最大化，商家在利用大数据不断挖掘着潜在客户，运用消费者一切数据来预测未来的消费增长点时，当人们的生活轨迹被通过几个关键词还原，并能预测出他即将出现的地点时，人们意识到，每个人有可能就这样毫无隐私的暴露在大众面前。

同时，商家运用着大数据不断刺激用户超前消费。一年一度的“双十一”是网购者的狂欢盛宴，也是众多电商的饕餮大餐。由此而产生的“剁手族”、“剁手党”也随即出现。网民们一面捂着荷包大呼再买“剁手”，一面又禁不住点开“双十一”来袭那铺天盖地的推荐广告。也许在某个时刻你曾经保存了一家明星款的风衣，“双十一”要做的就是告诉你，今天，有更多更便宜的明星款，并且，过时不候。至于人们到底是不是真的需要这件明星款的衣服已经不重要了，这个时节，就是狂欢。

最后，大数据忠实地记录着互联网成员的每一次点击，并且将他们保存起来，甚至会让这些数据“永存不朽”。然而，人类社会的发展尤其是人际的交往，也许并不需要那么“清晰的记忆”。当人们不愿提及的一段过往被运用大数据毫无保留的重新呈现出来，这无疑让人们对大数据的公平与真实产生一些畏惧。伴随着畏惧产生了对大数据的不信任，人们很可能会减少这些数据的产生，对于依赖海量数据的大数据处理，这无疑是巨大的打击。

大数据时代读书心得 篇4

无处不在的大数据：各种云计算，谷歌的神通，亚马逊的推送，天涯人肉，微博万能等等等等，我们掌握了新的工具，也获取了以前从未有过的各种信息。大数据拉近了我们与现实的距离，“地球村”变成了“地球屋”，仿佛所有人所有事物都触手可及，而这些牛逼哄哄的互联网巨头就在客厅展示着世界的每一寸光景。

然而，事实真的是这样吗?首先，从应用角度出发，低廉的运算能力和存储空间，让以前的样本分析显得非常简陋——一些从全体数据挖掘出来，忽略精确而从大量数据的简单算法得出来的结论颠覆了常识。但个人觉得，这只是统计学的终极目标——并没有非常大的跨越，可能终结了回归分析，有效性验证等手段，但依旧还是统计。而革命性在于关注相关关系而非因果关系。现场讨论从神学角度挑战了因果关系的不可能——或者说人类用简单思考的逻辑来定义因果，以及用之前小数据演绎出大概率事件来推导因果，都是不正确的。真正的因果关系应该属于上帝的范畴，人类如果真的完全掌握之后，会统治整个宇宙。但我觉得，无需从神学观点来讨论，而可以借鉴量子力学对经典力学的颠覆——在原子层面上，经典力学会失效——那么在大数据层面上，普通的抽样调查直观反映会失效。而且从量子力学角度是很难推导经典力学的公式，那么从现在的惯有思维，也难以推导出大数据的因果关系。同时现场有讨论，是否计算机可以精确地模拟每个原子，然后完整地展现微观到宏观的化学反应细节?我觉得首先是计算能力不足，其次即便设定原子的运动条件真的正确，计算结果未知但宏观结果我们却已经知道——牛顿的经典力学足以应付日常绝大部分情况了。好比切西瓜，究竟刀头的铁原子和西瓜的有机分子如何作用，真的重要吗?回归到商业领域，如果我们可以提高相关性的准确度，从而提高投入效率，那就已经足够了。本来一个产品受到一半客户喜欢，但如果通过大数据挖掘到更好的定位，有百分之八十的客户喜欢，那么价值已经非常可观了。

大数据时代的社会伦理——很大的命题，但重点都在讨论如何保护个人隐私。因为手机越来越智能，网络越来越快，个人的信息也越来越透明——隐形几乎完全不可能。我想说的是，作为硬币的另外一面，我们无法舍弃：互联网只不过是让人与人之间碎片的关系得以统一，其实各种人肉和信息只不过是坊间传闻的升级罢了。当我们住在拥挤的小区，三公里走完一圈的县城，半小时散步完的村落，人和人之间有隐私吗?现在只不过是把这个范围放大到了一个地球而已。硬币的一面是人和人之间有沟通的需要，去团结对抗世界的未知，那么另外一面就是隐私的缺乏。与其说是要在大数据时代保护自己的信息不被泄露，不如站起来维护自己和他人的隐私，从法律和道德的角度来尊重人与人之间的权利。在一个互相尊重的环境下，你可以穿热裤，他也可以穿长裙走上街头;在一个互相践踏的社会中，人人都得带着面具生活。

大数据帮助我们把未来的迷雾拨开了一点，但好比《沉重的肉身》当中讨论的，更多的选择权并不能带给人幸福——因为知道自己不能做不能得到的也更多了。解决工作模式，生存意义，幸福之道等问题，关键还是看自己如何看待和使用这些新式工具以及新结论。引用《神探伽利略》里面的台词：可被重复的，一定有道理存在。那么现在重复的越来越多，更需要保持探索和敬畏之心，人才不会迷路。

《大数据时代》的心得体会 篇5

电影大数据报告：大数据时代的电影消费洞察

近日，猫眼电影发布了关于“大数据时代的电影消费洞察”的报告（以下简称报告），报告数据分析来源于超5亿人次的猫眼电影消费数据和4000家影院数据。报告显示，2015上半年全国电影票房线上化率超过50%，最受好评的国产片是《战狼》，进口片是《速度与激情》。

公开数据显示，2015上半年中国电影票房同比激增49%，达到202亿元。其中，中国电影市场的高速互联网化趋势明显，3月份线上出票占大盘比超过50%。报告指出，目前国内三四线城市的票房增速明显高于一二线城市，2014年上半年一二线城市票房为93亿元，2015年上半年增至135亿元，同比增长45%；2014年上半年三四线城市票房为43亿元，2015年上半年增至67亿元，同比增长56%。

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

一个属于调研行业的B2B网站

国内最具权威的市场调研门户网站之一

学数据分析、找行业报告、招调查人才可移步一起调研网

大数据时代的历史机遇 篇6

听完了《大数据时代的历史机遇》报告后，我对于大数据的兴趣依旧不减，还是想了解更多，而《大数据时代的历史机遇》就让我有了一个新的机会，从另一个层面了解大数据，了解信息技术领域的核心。其实现在很多时候，大数据已经悄然进入我们的生活、学习，只是我们还没有发现而已，正如文章中提到的：“没有大数据的云计算，就是房地产的代名词”，云计算虽说可以称为一场信息技术领域内的革命，但是它并不是一场技术革命，云计算在本质上是一场IT产品与服务、消费方式的变革，而大数据就是这场变革中的必然发展方向，说了这么多，到底什么是大数据呢？通过查阅资料，在维基百科中我得到了答案：“巨量资料(big data)，或称大数据、海量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯”，而本书中提到亚马逊的大数据家John Rauser给出的定义是：“大数据是任何超过一台计算机处理能力的数据量”，其实不管怎么定义，都突出了大数据的“大”，不过“大”确实也是大数据的重要特征所在。

本书通过三部分的内容向我们阐述了大数据时代产业趋势的问题，数据科学以及世界主要国家在大数据方面的政策和举措，新兴公司在大数据领域的实践，其中在第一部分，作者提到当下的一个重要趋势是：行业垂直整合，也就是说，消费者才是中心思想，那些越靠近最终消费者的公司，将在产业链中拥有越来越大的发言权，现在无论做什么都是这样，只有更贴近消费者，更主动倾听消费者的需求，才能在竞争中胜出。就像我最近看的很多关于淘宝物流的论文中一样，在C2C电子商务市场中，目前拼的就是物流，而现在我国的物流水平基本一致，所以很多公司都从物流模式上下功夫，以此在C2C市场鹤立鸡群，就如淘宝网近期推出的“免邮仓”活动，买家在不同的淘宝店购物后，可由一个淘宝大仓负责统一发货，即一个买家购买多个卖家的商品将能合并成一个包裹送到买家手里，这样不仅能让多个卖家分摊这一个包裹的邮费，而且对于消费者来说，不管购买多少东西都是包邮。随着淘宝大物流计划的诞生和淘宝免邮仓活动的陆续进行，种种新型的物流模式都在尝试应用中，无论什么计划、活动，只要从客户出发，从客户的角度进行创新，结果一定会是双赢的，就像包邮仓活动一样，给客户提供便利的同时，也能为淘宝网稳固客流，更重要的是使物流系统变得专业化，这是大家希望看到的结果。所以形成以消费者为核心的产业格局，对于互联网大数据未来的发展相当重要。

泛互联网化是作者提到的另一个重要思想，刚开始对这个的概念很模糊，以前都没有听过，看了之后知道泛互联网化是为了摆脱传统产业时代的标准思维，不要使用单一的模式，使多种形态的设备、软件都会具备互联网的功能，作者经过对苹果、谷歌等引领世界潮流的公司进行分析，最终得出“终端”+“应用”+“平台”+“数据”的四位一体的泛互联网化标准，如果不集成网络功能的话，就不能带来最新的数据，商业价值也会随之大打折扣采用四位一体范式后，公司可以根据自己的优势选择盈利主要来源，来源不同，商业模式也就不同，文章中有一句话概括的相当到位：“最终决定胜负的将是“终端”或者“应用”带来的数据流量，是在“平台”中逐渐积累而形成的“数据资产”。”确实是这样，一个软件或者终端最终体现出来的价值，都是通过数据的流量来体现的。

大数据时代下信息数据安全的探讨 篇7

根据IDC (互联网数据中心) , 预计在2017年将达到530亿美元, 同时Google趋势反映出大数据的关注度, 表明我们已经进入到大数据时代, 所以各国在大数据方面提出了自己的发展部署。2012年3月, 白宫网站发布《大数据研究和发展计划》, 提出将通过收集庞大并且复杂的数字资料, 获得知识和洞见以提升能力, 并协助加速在科学上发现的步伐, 强化美国国土安全。欧盟启动了“未来投资计划”, 总投资3500亿欧元推动大数据等尖端技术领域创新。2013年9月中央政治局以实施创新驱动发展战略为题举行第九次集体学习, 主题之一就是大数据的发展情况。

1 什么是大数据

1.1 大数据的概念

顾名思义, 可将翻译为大规模数据或海量数据, 因为这些数据结构较为单一, 人们还能用传统的技术和方法进行分析和处理, 所以它并不能完全概括大数据的本质内涵。实际上大数据至今没有一个权威性的定义。麦肯锡称:”数据, 已经渗透到当今每一个行业和业务职能领域, 成为重要的生产因素。人们对于海量数据的挖掘和运用, 预示着新一波生产率增长和消费者盈余浪潮的到来”。亚马逊网络服务有一个简单的定义:“大数据就是任何超过了一台计算机处理能力的庞大数据量”。大数据在维基百科中定义为:”所涉及的数据量规模巨大到无法通过当前主流软件工具, 在合理时间内达到管理、截取、处理、并整理成为帮助企业经营决策更积极目的的信息”。综上意见, “大数据”被IDC定义为:为了更经济更有效地从大容量、高频率、不同类型和结构的数据中获取价值而设计的新一代架构和技术, 用它来描述和定义信息爆炸时代产生的海量数据, 并命名与之相关的技术发展与创新。

1.2 大数据的特点

目前, 较为统一认识的是大数据具有四个基本特点:第一, 数据量大。从TB级别跃升到PB或EB级别。第二, 数据类型多。比如视频、博客、图片、音频信息等。第三, 价值密度低。比如在连续不间断监控视频中, 有价值的可能就是一两秒。第四, 处理速度快。有些数据的实时性非常强, 需要很快的速度来处理。

1.2.1 数据量大 (Volume)

这是大数据的基本属性。根据IDC估计, 到2020年, 全球数据使用量预计将达到35.2ZB。使数据规模增加的原因有很多, 首先是迅速发展和应用的互联网, 比如, 社交网络、搜索引擎等网站、传感器及移动网络等都在不停的产生数据, 促使当前数据增长比以往任何一个时期都要快。其次是随着不同传感器获取数据能力的不断提高, 获取的数据也越接近于事物本身, 描述事物的数据量也会增加。最后是采样的样本不断变大, 以前是用少的数据量描述大事物, 这样得出结论可能不准确, 随着技术的发展, 样本数目逐渐接近原始的总体数据, 高数据量带来高的精确性, 可以从更多的细节来了解事物属性, 同时所需的数据量也会显著增多。

1.2.2 数据类型多样 (Variety)

这是大数据的重要特性。当前的数据存储、处理、查询都是基于数据格式统一、事先定义好的结构化数据。但随着互联网快速发展, 涌现出大量的非结构化数据, 由于非结构化数据没有统一的结构属性, 所以在存储时, 不但要存储数据还要存储结构, 这样增加了数据存储、处理的难度。目前人们上网不但要浏览新闻、网上购物, 还要发送微博、视频聊天及上传下载文件等, 那么这些数据大部分是非结构化数据。综上所述, 即将处于主流地位的非结构化数据量已占到总数据量的75%以上, 且增长速度比结构化数据快, 那么数据的分析和处理将面临挑战。

1.2.3 数据处理速度快 (Velocity)

大数据分析区分于传统数据挖掘的显著特征。随着微信、移动网络等信息传播、获取技术的不断发展, 数据的产生也更快速和方便, 产生数据的量也越大, 即呈新摩尔定律式的快速增长, 不断产生的数据也要求有相应的处理速度来匹配, 才能使得大数据发挥有效的作用, 否则快速增长的数据不能给解决问题带来优势, 反而变成一种负担。同时, 网络中的数据是不断变化的, 通常这种数据的价值会随着时间的变化而降低, 如果数据在规定的时间节点内没有得到有效快速的处理, 那么这些大量的数据就失去了其存在的价值。此外, 在许多环境中要求能够实时处理新增的数据, 比如在京东, 亚马逊、淘宝等电子商务网站中, 就具有很强的时效性, 大数据以数据流的形式产生、消失, 且数据量的产生表现形式不是一条直线形式, 而是呈现为波浪式, 这就要求对大数据的处理要快速、实时、持续。

1.2.4 数据价值密度低 (Value)

这是大数据的重要特性。从统计学角度看, 可以对传统的结构化数据进行采样, 然后进行抽象、分析和归纳等处理, 那么在进行采样时, 样本越大, 所得到的统计结果也就越接近于事物本身。但是对于大数据通常是直接采用全部数据, 由于省去了归纳和采样, 就包含了所有的数据信息, 保障了分析结果的可靠性, 但同时也带来了许多无用的信息, 所以大数据关注的非结构化数据的价值密度偏低。如果能将它们“提纯”并迅速处理为有价值的信息, 就相当于掌握了一把能够开启宝藏大门的钥匙。目前, 如何通过强大的机器算法更迅速地完成数据的价值“提纯”, 是大数据时代亟待解决的难题。

2 国内外开展的相关工作

美国政府由于意识到大数据技术的重要性, 所以将大数据看作“未来的新石油”, 把其作为战略性技术进行大力的推动, 于是, 在2012年3月宣布投资2亿美元资金启动“大数据研究和发展计划”, 大力改善和推动与大数据有关的政策, 组织和分析工具和技术, 以提升美国利用收集的庞大且复杂的数字资料, 提炼真相的能力, 协助工程领域创新步伐、加速科学, 转变教育和学习模式, 强化美国国土安全。

国内对大数据的应用主要集中在能源/制造、公共事业、金融等三大领域。2011年12月工信部发布了物联网“十二五”规划, 把信息处理技术作为4项关键技术创新工程之一被提出来, 其中包括了海量数据存储、数据挖掘、图像视频智能分析, 这都是大数据的重要组成部分。2013年11月国家发改委正式批复同意, 国家超级计算天津中心建设“面向新兴产业的大数据处理技术研发与应用”国家地方联合工程实验室。这也是目前国家发展改革委在大数据领域批准的第一家工程实验室。这些都说明了大数据得到了国家层面的充分重视。

3 大数据技术

大数据的核心思想是对数据采集、处理、加工、挖掘、分析等, 把数据资源转化为有价值的信息, 为政府部门、企事业单位和个人创造经济价值和社会价值。

3.1 大数据采集

随着互联网、云计算和物联网的迅猛发展, 传感器、RFID射频、移动设备及社交网络等方式所产生的各种类型的非结构化、结构化的海量数据, 要获取这些数据, 必须要解决针对大数据源的感知、识别、适配、传输、接入等技术。主要是提供大数据服务平台所需的虚拟服务器, 物联网资源和非结构化、半结构化和结构化数据的数据库等基础支撑环境, 重点要攻克分布式虚拟存储技术, 大数据获取、挖掘、分析等操作的可视化接口技术, 大数据的压缩技术、网络传输与大数据隐私保护技术等。

3.2 大数据存储

从海量数据时代开始, 大量数据的长期存储、数据迁移一直都是研究的主题。目前主要存储方式有:存储局域网络 (SAN) 、网络附加存储 (NAS) 、直接外挂存储 (DAS) 和IP SAN等。这几种存储方式虽然是不同时期的产物, 但是各有特色, 数据中心往往是根据要处理的数据对象和自身的服务器数量进行选择。此外, 最近这云端存储非常流行, 其实就是一种虚拟化的存储。所谓虚拟化, 就是将原有的服务器中的硬盘空间划分为若干个独立的小空间, 这样在一台服务器上就可以提供多种存储服务, 既节约存储成本, 又提高了存储效率, 也是异构数据平台的最好选择。

3.3 大数据挖掘

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中, 提取隐含在其中的、人们事先不知道的、又是潜在有用的信息和知识的过程。海量数据挖掘一直是热点和难点, 也是一种决策支持过程, 它主要基于人工智能、数据库、模式识别、机器学习、统计学、可视化技术等, 高度自动化地分析大量数据, 做出归纳性的推理, 从中挖掘出先前未知的并有潜在价值的信息, 帮助决策者调整市场策略, 减少风险, 做出正确的决策。

当前非结构化的数据是按TB级别增长, 以至于达到PB、EB级别, 因此无法使用常规的工具或技术来处理。由于大数据的规模是不断在扩大的, 所以在数据挖掘过程中要考虑其增长带来的影响, 因此, 大数据的挖掘需要采用云计算技术和分布式挖掘, 目前较流行的且适用于各种类型的大数据挖掘工具是Hadoop, 这个工具具有高效、高扩展、高可靠性和高容错率等特点。

3.4 大数据分析

众所周知, 在全部大数据中, 大约有80%是非结构化和半结构化数据, 而被利用的数据很少, 大部分的非结构化数据尚未得到开发利用, 所以最重要的是对大数据进行分析, 只有通过分析才能获取很多有价值的信息。那么越来越多的应用涉及到大数据, 而这些大数据的属性, 包括速度, 数量, 多样性等都是呈现了大数据不断增长的复杂性, 所以大数据的分析方法在大数据领域就显得尤为重要, 大数据分析普遍采用统计方法来进行。统计与分析主要利用分布式数据库, 或者分布式计算集群来对存储于其内的海量数据进行的分类汇总和分析等, 以满足常见的分析需求。

4 大数据面临的机遇和挑战

由于大数据会给企业和组织带来有价值的信息, 所以会形成以大数据为中心的一个完整的产业链, 在这个链上的每个节点即会产生相应的价值。但由于大数据是个新兴的产业, 所以在技术不成熟, 人才稀少及安全方面都会有一定的挑战。

4.1 机遇

大数据打破了传统信息体系架构, 将数据仓库转化为具有信息共享和连接、流动的数据池。大数据技术使人们可以利用非结构化的数据类型, 分析出有价值的信息, 从而使企业组织更加高效和智能。

(1) 大数据的应用和挖掘成为核心, 将从多个方面创造价值。大数据从采集、传输、存储, 一直到数据的挖掘和应用, 在这一系列的过程中, 会产生出多个方面价值, 这将会影响企业未来的运营模式。

(2) 在大数据使用中, 安全尤为重要, 这为企业带来发展契机。随着移动互联网、物联网等新兴IT技术迅速发展, 有价值的数据无处不在, 这对信息安全提出了更高要求。同时, 基于大数据领域出现的产品与技术将为安全分析提供新的可能性, 信息安全贯穿于大数据产业链的各个环节, 这将推动信息安全产业的大发展。

4.2 挑战

大数据发展在面临重大机遇的同时, 也面临一些挑战。

4.2.1 信息安全问题

目前, 人们生活越来越多地与互联网发生关联, 每天产生大量的数据, 如何防止非法用户对数据被篡改或窃取, 这不是一个防火墙就能满足安全要求的, 而目前中国相关法律法规还存在许多空白, 互联网监管还存在一些漏洞, 所以必须采取专门针对大数据的安全保护措施, 以满足大数据应用带来的新的安全需求。

4.2.2 人才和技术问题

设计和实施大数据解决方案, 需要专业化技术和工具, 包括建模、统计学、自然语言处理和可视化技术。目前, 我国数据产业发展仍然存在一些短板, 如核心技术缺失, 相关工具软件少, 复合型人才匮乏, 政府数据开放程度低等。大数据产业的发展, 不能光靠炒概念, 而是要遵循市场规律, 努力的把短板补上。

4.2.3 数据存储的问题

目前, 所产生的数据量正呈新摩尔定律增长, 但就数据的保存和管理来说, 目前的技术改进并不大, 而数据的易失性风险却在增加。大数据的存储将会是一个非常严重而现实的问题, 但最后还是要依赖于硬件进行处理和计算的, 所以硬件的更新换代将是大数据发展的基础。

5 结束语

随着人们对大数据的认识不断提高, 数据也将被越多的企业当作一种无形的资产, 那么与大数据相关工具的研发也将受到企业的重视, 处在大数据产业链中各个结点也将受益, 也将逐步提高自身的素质及服务水平。

摘要：随着移动互联网、便携设备和云计算技术的发展, 人类社会进入了“大数据”时代。人类产生、获取、处理和存储的数据量正以指数级别增长, 这样改变人类的生活、工作和思维方式。伴随着机遇和挑战的同时, 也有大数据本身安全问题, 如何解决这些问题, 并挖掘出有价值的信息是具有十分重要的意义。

关键词：大数据,数据挖掘,关键技术,信息安全

参考文献

[1]马建光, 姜巍.大数据的概念、特征及其应用[J].国防科技, 2013.

[2]严霄凤, 张德馨.大数据研究[J].计算机技术与发展, 2013.

大数据时代的机遇 篇8

阿里巴巴为首的中国民营企业积极创新，不仅带动了成千上万的创业者和小微企业的迅猛发展，也在充分利用和挖掘大数据资源方面做出了一系列有益的尝试。中国政府面临千载难逢的契机，有可能在今后10年里领导人民持续开创举世瞩目的经济增长奇迹！

我们有阿里巴巴那样的鼓励草根创业平台，我们有广东、浙江和江苏那样的社会服务的创新，我们还有来自国际方面的先进经验和竞争压力，我们没有理由怀疑中国在大数据时代引领世界的能力。将这种能力变成现实需要远见卓识的领导，也需要合作的力量。商界、学界、政府和媒体联合起来，全社会的创新精神得以鼓励和释放，我们可以把事情做成，做得更好。

综合2012年年底在清华大学一次会议上与各界针对大数据的研讨与交流，本文从企业以及城市管理两方面来简要介绍大数据未来的发展潜力。

阿里巴巴数据战略

云计算的建立和数据的公开是阿里巴巴为1000万家小企业，1亿电子商务从业者，10亿消费者打造了一个平台。在这个平台上，阿里巴巴集团打通了旗下阿里巴巴、淘宝网、支付宝等公司的资源，打通了整个电子商务产业链。

万通实业股份有限公司董事长冯仑曾经说过，能够构成前瞻力的一定是站在未来安排今天。阿里巴巴集团主席马云正是这样一个人。

早在六年之前，他就已经意识到数据的重要性，尽管当时不明确具体的用途，但他隐隐感觉到：是时候开始了。而这一预见性想法也在今天逐步让阿里巴巴成为数据时代下的佼佼者。

据阿里巴巴研究中心统计，2012年双十一当天，天猫和淘宝共吸引了2.13亿独立用户访问，相当于有四成网民参与了狂欢节。在2012年11日零时37分39秒，天猫1111购物狂欢节支付宝交易额突破10亿元。

根据当天的实时交易量统计，在2分钟时候，支付宝交易就达到1亿，13个小时就达到100亿，这对于服务器有非常大冲击。对于凌晨就守在电脑前面准备抢购的买家来说，很多反应“订单无法登陆无法打开就是付款之后却显示无货状态”。而阿里巴巴研究中心开发出的平台“聚石塔”，保证订单的交易购买过程中的零丢单、零故障。

阿里巴巴集团研究中心研究部专家张婷介绍，这期间聚石塔内的商家很好地完成了任务，其中有6家商家当天的交易额在5000万以上。

不过，阿里巴巴对自己提出了更长远和清晰的定位。引用张婷会上的一段话作为总结：“阿里巴巴现在还远未达到大数据的状态，我们还有很长的一段路要走。在这个过程中我们也是在被业务驱动着跑，业务量大了之后有很多数据沉淀下来，然后我们需要用数据平台去处理一些问题。数据平台推动起来之后，我们希望能够对数据进行研发，然后用数据去推动商业进步。目前，我们正在积极利用大数据来寻找小而美的卖家，鼓励更多的人来到阿里巴巴平台上创新、创业。”

相信，会有更多更丰富的创新不断涌现出来。

智慧城市

大数据今年3月份成为美国战略，并获得2亿美元的来自美国联邦政府的财政支持，与其当年拿出4个亿来支持互联网旗鼓相当。无疑，信息系统以及数据战略对于支撑一个国家的软实力建设至关重要。

随着社会发展，越来越多的城市人口给城市管理和服务带来巨大的挑战，也带来了能源的压力和环境危机。原来以国家为单位的竞争逐渐转变为城市之间的竞争。美国凯特智能决策有限公司亚太事务主任涂子沛着重强调了大数据对于智慧城市的意义何在。

智慧城市是大数据时代下的主要载体。中国与美国比，无疑在很多地方有差距，但若从城市角度出发，特别是从信息技术角度出发，这个时代为我们提供了一个契机，上海，北京，广州实际上完全可以比纽约波士顿要好，时代的竞争慢慢成为城市的竞争。

涂子沛提到，智慧城市首先是一个开放的城市，能够保证信息自由流动，在其基础上才能产生知识和智慧。这不仅仅是一个技术创新，也是社会创新。

例如，2011年10月，美国国家气象局（NWS）在2000辆客运大巴上装了传感器，沿途收集温度、湿度、露水、光照度。而美国国家邮政局（U.S.PostalService）也规划在邮车上安装传感器，在投递邮件时采集社区的空气质量、污染指数和噪声数据。

现在城市的数据开始多元化，主要有三种表现形式。

原来是只有信息系统数据，也就是精确数据。各类信息系统的数据，每一条都有具体的含义和价值。

后来开始有一些社交媒体的出现，他们形成的单条数据可能没有明确含义、确定价值，是由大众产生的数据。这部分数据称之为模糊数据，也就是其价值是有待确认。

第三部分则是指准增值数据，也就是这些数据与大部分数据结合可以产生价值，这部分数据大部分也是公共数据。

数据的价值在于整合，不整合没有价值。中国仍旧缺乏透明详实的公共基础数据，但缺少这些社会基础数据，很多数据就无法有效整合，例如天气、人口、地理、经济发展指标、社会福利等等。而数据开放之责任在于政府。

大数据时代的“安全三原则” 篇9

2015年5月26日，“2015年贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会”在贵阳开幕。马云、马化腾、雷军、周鸿祎、田溯宁、郭台铭等所有你认识不认识的互联网大小佬都来了，他们在会上说了写什么？

@周鸿祎：“每个人只让讲七分钟，大领导坐满台下，我就没办法讲段子了，但是马云口才超级好，思维方式极其独特，不得不佩服。”

真正的大数据时代我觉得刚刚开始。我们现在觉得当互联网从PC互联网到手机互联网产生了数据，量有了飞速的增长，实际上现在“互联网+”中间有一个非常重要的趋势，就是IOT，也就是我们所说的万物互联。

中国现在大概有5亿台电脑，中国有十几亿人口，未来手机保有量在20亿部左右，会产生我们今天所说的大数据。但是在未来五年里，随着IOT的技术发展，每个人平均会拥有30到50个智能设备在和互联网连接，也就是未来可能在几年里面，中国所有人拥有智能设备数将会达到或超过400亿到500亿，而且所有这些智能设备，即使你在睡觉的时候他们可能也在默默为你工作，不断采集各种数据，上传到云端。

所以可以想像，五年以后，我们一天甚至一个小时产生的数据都会超过人类历史上有史以来产生的所有数据。这个我觉得代表了未来大数据真正的趋势，也就是今天大数据的时代才刚刚开始。

但是大数据时代带来一个非常重要挑战，就是安全的挑战，没有安全就没有互联网。习总书记说没有网络安全就没有国家安全，如果没有一个好的对大数据安全的保护，我们今天所有设想的大数据可能都会变成空中楼阁。

最后我提一个问题留给大家讨论和思考，也就是大数据的伦理和道德问题。因为今天技术的发展实际上已经超越了我们很多过去传统的规则，刚才马总也提到，比如滴滴打车，大数据必然产生资产，但是这个资产所有权到底属于谁？实际上所有大数据都是由用户产生，或者主动，或者被动，或者知道，或者不知道，被传到各个互联网公司的云端服务器或者传到政府的云端，这里面到底用户信息的所有权到底属于政府还是属于互联网公司？所以我们提出一个大数据时代信息安全三原则，供大家做讨论：

一个是用户信息实际上还是用户的个人资产，它的所有权属于用户。它只是存放在政府或者公司的服务器上。

第二个互联网公司和政府是通过给用户提供有价值的信息服务，实际上是作为一种平等交换，换取了用户的数据，对用户数据的使用必须经过用户的授权和认可。也就是说用户要有知情权和选择权，如果有用户说不愿意接受你的服务，希望你把数据删掉，我觉得互联网公司应该遵循这个原则。

最后一个就是作为存储用户数据的这些主体，无论是政府还是公司，应该做到安全存储，安全传输，来对用户数据提供最安全的保障。其实最近我们也观察了一个安全的趋势，就是一些互联网公司由于他们数据库被黑客攻击之后，导致数以百万计人的个人密码泄露，在座所有人可能在政府内网，或者上班，或者购物口令都是一个，这种口令丢失有可能意味着很多政府网站不安全。

大数据时代的政府改革与转型 篇10

编者按：从户籍制度改革，到不动产登记制度改革，再到征信体系建设，近期加速推进的诸多改革，都对数据库建设提出了更高的目标要求，一些改革更是以大数据为基础。大数据已经成为政府改革和转型的技术支撑。

大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理和服务的数据集合。近年来，随着云计算等新型数据处理技术不断成熟，大数据也不断被应用到政府日常管理和为民服务中，并成为推动政府政务公开、完善服务、依法行政的重要力量。

但同时，部门利益割据造成的信息孤岛，也成为大数据进一步发展的掣肘，而由此引发的重复建设，不仅造成大量浪费，也让政府工作效率乃至公信力打了折扣。

大数据时代，如何让科技力量为政府转型所用？半月谈记者深入安徽、湖北、广东等地进行了调查。

大数据，政府转型的科技动力

百姓无需搜遍网络，就能查询衣食住行、科教文卫等各种信息；社区工作人员通过获取数据库信息，便可处理突发事件；政府运用数据分析，也能发现贪污线索……如今，大数据已被很多地方政府部门悄然引入日常管理中。半月谈记者调查发现，大数据因其数据体量大、类型多、价值高、处理快等特征，在增强政府决策的科学性、增强公共服务能力、提升社会管理水平等方面，正在发挥越来越重要的作用。

提高民生服务精准度

“大数据能带来什么、如何运用好，这是我们在做信息化建设时始终在思考的问题。”安徽省芜湖市镜湖区政法委副书记、综治办主任孙艳告诉记者，芜湖市从2007年开始推进社区信息化建设，选择镜湖区作为试点，建立人口数据库，从最基本的摸清人口底数、掌握动态做起，不断更新人口基础信息。然而，真正让芜湖市意识到数据库意义的是一次火灾。

几年前的一天夜里，镜湖区的一个居民小区发生火灾，火势迅速蔓延，近百户居民受到影响。一时间，究竟有多少居民受火灾影响、包含多少老人和孩子，都成为急需了解的情况。镜湖区相关工作人员立刻调出该小区的人口数据库，准确查出了每户的家庭成员信息。根据这些数据，镜湖区在充分调集力量救火的同时，为火灾中被救出、没有受伤的住户安排了宾馆，还根据数据库中的学生信息，联系教育部门备好相应年级的书本，在第二天一早就把整套的新书和书包送到学生手中，安抚了群众情绪。

“这可以说是数据库第一次淋漓尽致地发挥作用，老百姓都特别感动，觉得我们及时准确地解决了他们的问题，满足了他们的需求。而从我们的角度来说，也是更好地发挥了政府职能。”孙艳说。

“对公众而言，大数据带来的最直观变化，就是政府从管理型向服务型、精准服务型转变。”芜湖市政府信息办副主任、总工程师承孝敏表示，以往政府工作人员只是被动等待百姓上门办理业务，现在有了大数据的海量信息支撑后，就可以精准定位各类人群，比如社区矫正人员、流动人口、失独家庭等，并根据不同人群的需求提供更有针对性的服务。

大数据分析还能去伪存真，用在公共服务领域可产生事半功倍的效果。比如上海市民政局建立了居民经济状况核对信息系统，曾经通过信息核对，在17.4万余户次申请保障房的家庭中，检出1.7万不合条件户。

从发展态势来看，以大数据为标志的“信息社会”正在加速到来。“各级政府都在关注大数据，考虑如何利用它改变决策支持系统，提高行政效率，增强服务能力。”国家信息中心网络政府研究中心主任于施洋说。

决策科学化的牵引

在上海交通综合信息平台的监控室内，工作人员现场演示，某地段若发生交通事故，监控平台的大屏幕将在3分钟内自动发出警报，点击进入，就可以得到即时街景，交管部门可以根据事故情况采取相应处理措施。此外哪个地段拥堵、所有运送危险物品车辆的位置、接到哪个小区居民的110报警等关键信息，也能实时反映在大屏幕上。

据介绍，这一平台还集成了道路传感系统、出租车GPS系统、居民手机信号迁移、实时视频采集等多系统信息，海量的数据汇聚而来并得到迅速整合，用以分析交通状况，大大提高了管理的准确性和时效性。不仅如此，根据长时间的数据分析，各个地段拥堵状况和原因也一目了然，对下一步的交通基础设施建设也将提供有力的决策支撑。通过数据整合和运用提高管理能力，是目前世界各国的通用做法。在西班牙首都马德里，数据整合促进了警察、消防、医疗系统联动，使救援时间大幅度缩短；在新加坡，智能交通综合信息管理平台在预测交通流速和流量方面有高达85%的准确率。

信息技术管理专家、《大数据》一书作者涂子沛认为，随着信息存贮量的增多，人类在实践中逐渐认识到，通过数据的开放、整合和分析，能发现新的知识、创造新的价值。

北京一家信息公司曾经基于国家经济户籍库，分析研究相关数据，发现1990年至2011年我国财政收入与企业注册资本之间的关系呈高度线性相关，这就是说，放开企业注册，可以大大增加政府财政收入，这就为宏观经济决策提供了极富价值的参考。

专家表示，大数据带来的不仅是技术变革，更是一场社会变革。很大程度上，大数据就是政府治理现代化的一条技术路径，具有催生管理革命的效果，也必将给政府职能转变和机构改革带来新气象。

政府透明化运行的数据支撑

在芜湖市“一站通”平台上，记者随机点开一名老人的医疗救助申请信息，系统显示镜湖新城公共服务中心一名工作人员受理该申请，在上传附件后该任务进入海南渡社区进行公示，公示完毕后将公示文件上传附件再进入中心（街道）审核。审核加盖电子公章后进入镜湖区民政局审批，由民政局电子盖章后再回传到最初受理的窗口。每个流程和所处的状态清晰可见。

“信息公开对政府良好运行非常重要，因为信息不对称会使权力失去监督，滋生不良作风，甚至腐败行为。”芜湖市弋江区委副书记王永辉表示，当所有信息都能够在一个系统平台内查询到时，就等于将各个环节的权力进行公开，能够有效地规范权力运行。基于大数据的信息公开，让权力在阳光下运行，是政府进一步依法行政的助推剂。

前不久，山东省烟台市审计局首次运用大数据分析平台捕获“某医院医保基金报销拨付人员孙某重复打印医疗发票贪污医保基金”线索。此线索被查实后，孙某因贪污58851.2元医保基金被判处有期徒刑5年。

烟台市审计局自2011年正式启动建设“财政资金跟踪审计数据分析平台”以来，已相继建成财政、地税、社保、公积金等方面的数据分析平台，涵盖财政预决算、社保五险、非税收入、税款征收、住房公积金等10多个方面，构建起数百个审计分析模型，并完成数据采集入库和审计方法体系建立工作，审计人员利用“大数据”平台就可掌握市直预算单位财政资金来龙去脉，准确快速发现违法违规问题。

浙江省政府办公厅电子政务处处长姜楚江认为，政府利用大数据提高自身管理水平，这就意味着更多的信息会向社会公开，更多政府掌握的数据会向社会开放，公众在获得更多信息和知情权的同时，也能更好地监督政府行为。

信息化洪流中的“孤岛”

大数据虽然摊开了一张美好的蓝图，但目前不少政府部门之间仍存在信息不畅问题，形成了一个个信息孤岛，让百姓在各个部门间奔走。信息孤岛的长期存在，让诸如征信体系建设、不动产登记等改革举措受困其中，同时也引发了数据库重复建设等浪费现象，亟待高度重视。

“数据部门割据”下的信息孤岛

买一套房需要填报十几张表格，每张表三分之一以上填的是重复的基础信息，这些都是政府拥有的基础数据，为什么不能根据身份证号码自动生成？

“北漂”小伙为了办护照，返乡6次，补了5张证明，包括无犯罪证明、公司在职证明、公司营业执照、公司外派人员资格证明、本地身份证，跑了3000多公里。且不说这些证明有无必要，即便真的需要，为什么不能通过综合数据联网，让政府部门从内部调取相关材料，而不是让老百姓急断肠、跑断腿？

大数据应用是社会服务管理信息化建设的重要组成部分，这其中各部门数据资源协同共享、业务系统互联互通则是关键和难点。当前一些部门存在的“数据小农意识”，导致产生一个个信息孤岛，不仅让百姓深受其苦，也让政府自身的社会治理水平受到制约。

最近几年，一些大中城市每逢夏天就会饱受内涝之苦。以北京“7·21”特大暴雨灾害为例。北京航空航天大学教授吕卫锋表示，事实上城市的卫星数据、气象资料、通讯信息、摄像头等数据资源已经足够充分，当时如果能充分利用这些资源，有更好的信息沟通、共享机制，就能充分预警并在第一时间协调救灾资源，减少灾害损失。

目前阻碍推行大数据技术的藩篱，主要是部门利益割据。芜湖市政府信息办副主任、总工程师承孝敏指出，芜湖建立“一站通”平台的基础，就是各个部门的信息数据交换和共享。过去各个部门也搞信息化建设，但大都是为信息化而信息化，对实际应用考虑不够多，只是完成一个项目而已。结果是数据库虽然建成了，可大部分工作人员并不了解自己所在单位到底有哪些数据、如何应用。

“单位内部信息共享不畅，不同单位、部门之间更是如此。”承孝敏说，“信息涉密”“经过请示上级领导不允许共享”，是在推进信息化建设中最常听到的答复。“但为什么不允许共享、到底是哪条政策不允许，又往往没有答案。”承孝敏坦言，在技术层面信息交换共享并不是难题，真正难的是部门之间不敢交换、不愿交换。

深圳市经信委相关负责人在接受采访时表示，一些政府部门缺乏“大数据思维”，把自己掌握的丰富信息锁在柜中、束之高阁，或是缺乏迈开步子的勇气，摆脱不了“数据小农意识”，动辄拿保密和隐私说事。

重复建设的浪费之忧

部门对数据资源的分割和垄断，制约了政府的协同管理水平、社会服务效率和应急响应能力。而在大数据风潮下，许多地方和部门开始另起炉灶，建各式各样的数据中心、信息中心，标准不

一、重复建设，势必造成资源浪费，同时也为下一步整合制造了新的难题。

据报道，目前国内共有各级公积金管理机构606个，这些机构本应按照国务院《住房公积金管理条例》，进行统一系统的管理，但目前各地开发出几百套公积金管理系统，每个系统动辄花费数百万元，甚至上千万元，每年还有几十万到上百万元的升级维护费用。

然而，这样巨大的投入，却没能产生把公积金联网管好的效果，反而形成了一个个信息孤岛。有业内人士表示，虽然投入巨大，但每到月底，要想全国汇总一个数据都很难。

没有统一的技术标准、数据标准、接口标准，系统五花八门，导致信息难以共享，这是当前公积金管理系统遭遇的困境，也是大数据发展过程中面临的共性问题。

以浙江为例，近年来在智慧城市建设不断深入的情况下，各地各部门相应生成的信息数据同步激增。仅浙江各级档案馆近5年来就归档备份了交通、卫生等部门的数据库文件247.3TB，相当于近1亿张光盘或6000多万册图书的存储量。

然而由于缺乏部门间的协调和统一规划，目前不同部门产生的电子公文格式虽然趋向统一，但数据库系统并不统一，这就给数据共享互通造成障碍。浙江丽水市档案局执法监督与信息化处处长朱悦华说，一些地方的电子公文只能在特定的阅读器上打开，要将其转换成通用的PDF格式，花费不菲。

打破利益割据

“打破信息孤岛就是打破原有的利益割据。”专家表示，目前国家已出台了相关文件要求全面共享数据，对此，要打通政府各部门间数据交换共享的渠道，将原本分散存储在不同部门、行业的公共数据陆续汇集到统一的公共数据中心，强力推进政府各部门数据共建共享。

芜湖市原本专门办理民政业务的政府工作人员芮圆告诉记者，大型数据库建立之后，她现在只需使用“一站通”平台，就可以在“办事大厅”的栏目中，选择“户政业务”“残联业务”“教育业务”“卫生业务”等不同子事项，根据流程上传附件，系统就会自动分配到卫生、教育等相关部门进行网上受理。

专家指出，大数据时代，信息公开和数据开放分享已是大势所趋，政府部门应该身先士卒。

今年6月，国务院印发《社会信用体系建设规划纲要(2014-2020年)》，要求依法公开在行政管理中掌握的信用信息，提高决策透明度，以政务诚信示范引领全社会诚信建设。这无疑为打破部门藩篱，消除信息孤岛，提供了有力的支持。

目前，一些地区也开始探索打破部门壁垒，建立更高级别的大数据平台。上海建设了国内首个地方数据开放网站，提供9家试点单位的212项数据产品、30项数据应用下载，涵盖地理位置、道路交通、公共服务、经济统计、资格资质、行政管理等6大领域。上海之后，北京市政府数据资源网也有29个部门公布了400余个数据包，点击量最高的是由北京市国土资源局提供的“土地用途分区”数据集。

华中科技大学公共管理学院教授王国华认为，大数据政务不是新篇章，需要对现有资源进行进一步整合和利用，不能一窝蜂地上，从自身特点出发，用好有限的发展资金，寻找最佳建设模式才是正道。

打破瓶颈，推进行政行为现代化

能否利用大数据带来的信息化变革，加速推进政府转型，以信息公开促进依法行政，以数据开放增强市场活力，不仅影响着大数据行业本身的发展，更事关相关改革的成败。

“养成用数据说话的习惯”

专家指出，发展政务大数据的意义，不仅在于打通部门壁垒、提高行政效率，更在于转变思维方式，引领政府转型。

信息技术管理专家、《大数据》作者涂子沛表示，我国应对数据在现代社会的重要性有充分认识，将数据理念、数据知识纳入公务员常规培训体系，力争在全社会形成“用数据说话、用数据管理、用数据决策、用数据创新”的氛围，适应时代发展潮流。

对于未来智慧城市的建设，专家表示，这其实是一个城市的大数据综合治理问题：一是要在以前没有收集数据的地方收集数据，这主要是利用物联网技术；二是要让不同系统的数据有效对接起来，这是系统整合的任务；最后，还要利用数据可视化技术把海量数据中隐藏的知识揭示出来，并直观地展现在城市管理者、决策者和公众面前。也就是说，数据的收集、整合、分析、展现才是智慧城市的核心。未来的城市，必将是数据驱动的城市，大数据就相当于其大脑。

神州数码董事局主席郭为指出，智慧城市的建设，是用信息技术解决社会治理中的难题，提高人民的幸福指数。由此可见大数据的应用价值是无可限量的。

其实，在2011年年底工业和信息化部发布的《物联网“十二五”规划》中，就把信息处理技术作为4项关键技术创新工程之一提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这些都是大数据技术的重要组成部分。而且，另外3项关键技术创新工程——信息感知技术、信息传输技术、信息安全技术，也都与大数据密切相关。

专家表示，信息技术的飞速发展，使得整个世界越来越数据化。在这种形势下，行政行为自然也离不开数据化，只有养成用数据说话的习惯，才能推进行政行为现代化。

“把专业的事交给专业的人去做”

大数据模式下，数据开放落脚于实现公共资源的增值利用，以提供更好的公共服务。如何最大限度挖掘大数据中的潜在价值？政府虽然坐拥海量数据资源，但其创新性和对市场需求捕捉的能力，往往不如社会和市场力量，因此如何充分发挥后者的积极性就成为一个重要课题。

“以前我们需要向其他地图企业购买数据，现在有了大数据平台提供的免费数据，不仅节约了企业成本，数据源也更加权威。”北京九州联宇信息技术有限公司创始人兼总经理王川久说。

王川久的公司正试图借助北京市政府数据资源网开发公交出行应用，提供公交车到站信息查询服务。由于政府数据资源网公开了相关数据，他的公司一年可节省数百万元费用。

“一方面政府掌握着大量核心数据，占数据总量95%以上的非结构化数据被束之高阁；另一方面，一些企业拥有专业数据分析应用技术，却只能望宝山兴叹。”九三学社中央副主席赖明说，若政府部门与市场主体加强合作，必将激活潜藏的巨大市场价值，并提升政府决策管理服务水平。

前不久，北京市政府牵手百度，打造“北京健康云”。在“健康云”的架构下，如果一位有心血管疾病的用户感觉身体不适，就可以立刻用智能心电仪贴在身上监测一下，将他的心电数据实时上传到云端。而在另一侧，云端后台有医生24小时监控，一旦发现数据异常，就会立即通知用户就医。同时，后台还会根据用户定期上传的各项数据，引导其建立科学的生活方式，未雨绸缪，这些必将降低个人和社会的医疗支出。

事实上，除了百度，阿里巴巴和腾讯近期也纷纷布局大数据产业，并依托自身优势，或联合银行促融资，或携手高校搞科研。

两院院士李德仁说，政务大数据是全社会的资源，政府要激活社会参与大数据建设的积极性，把“专业的事交给专业的人去做”，这也符合党的十八届三中全会关于政府职能转变的要求。

李德仁认为，当前应是积极引导鼓励已经拥有或可能拥有超大量数据的企业和机构深度挖掘利用数据，推动企业间开展大数据协同共享和应用整合，形成良好的大数据发展战略氛围。同时，利用好科研机构的人才优势开发大数据思维创新产业。积极培育“数据中间商”这一新的商务模式，加强相关咨询服务和人才市场等第三方机构建设，推广咨询服务产品，以思维创新支撑大数据产业的发展。

“每个人的数据都要安全”

三天两头接到电话问是否买房，新车还没到手就被各大保险公司“精确锁定”，打来电话的骗子不仅能叫出自己姓名，甚至连家庭成员信息都了如指掌……近年来，个人信息安全问题屡屡成为公众关注焦点。因此，公众不免担忧，随着越来越多的数据被开放，个人隐私和公共安全如何保障？

事实上，海量数据带来“红利”的同时，数据保存和防止破坏、丢失也正面临着新的技术难题。“大数据挖掘分析得越精准、应用领域越广阔，个人隐私和数据安全保护就会变得越紧迫。”最高人民法院中国应用法学研究所所长孙佑海说，我国个人信息保护、数据跨境流动等方面的法律法规尚不健全，不仅制约了大数据行业发展，也为信息安全埋下了隐患。

专家指出，从国家层面，数据作为一种重要的战略资源，无论是个人拥有还是国家拥有，都要纳入到主权范围来考虑，政府部门要强化“数据主权”意识。

武汉大学计算机学院院长胡瑞敏指出，我国目前已在660多个城市投入3200亿元建成了五级安防监控网络，摄像头总数超过2000万个。但绝大部分的涉案数据处理工作仍靠人工完成，每天产生的PB量级监控数据90%无法得到利用，同时存在泄露公民个人隐私的风险。

针对大数据带来的安全挑战，受访专家普遍表示，国家在实现大数据政务转型中，要坚持自主创新、安全可控战略。胡瑞敏说，一些地方政府使用的信息分析处理软件多是来自国外厂商，有的高端传感器及仪器仪表过分依赖进口，加上大型云服务商往往在全世界各地都建有数据中心，用户数据将在不同国家间进行传输处理，这种跨域性的服务将造成适用数据管辖权的混乱，这些隐患亟待引起重视。

专家表示，我们应出台相应法律法规，明确每个人产生数据的所有权。要建立健全由数据使用者承担保护公民隐私责任的数据安全管理规则体系，同时防止大数据成为不透明、不可追踪的“暗箱”。