大数据时代的危机公关

大数据时代的危机公关（精选12篇）

大数据时代的危机公关 篇1

政府形象塑造在一定程度上来说是政府制胜的关键。在现代政府治理中,良好的政府形象是争取公众支持、建立稳固的执政基础、化解危机和实现社会可持续发展的基石。由于大数据时代的到来,政府形象传播中起着重要作用的媒体正在发生着颠覆性的变化,使政府在现代治理体系中的形象塑造面临巨大挑战。

一、大数据及其给政府形象塑造带来的挑战

所谓大数据(big data),指的是无法在容许的时间内,用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据规模的标准是持续变化的,当前泛指单一数据的大小在几十TB和数PB之间。大数据研究机构Gartner将“大数据”定义为,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特征:超量(Volume)、高速(Velocity)、变异(Variety)、价值(Value),使得其战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,实现数据的“增值”。

当今,大数据已经成为解决紧迫世界性问题,如制宜地球变暖、消除疾病、提高执政能力和发展经济的一个有力武器。但是大数据时代也向我们提出了诸多挑战,从媒体传播角度来看,其突出表现为:

(一)民间舆论的崛起,媒体的“倒逼”效应日趋明显。

大数据时代,数据多以非结构性和半结构性形态存在呈现出多样性特征,与之对应的信息传播现象呈现出日益显著的去中心化和碎片化趋势。传统媒体语境中信息的传播主体的地位被撼动,社会化媒体信息传播的自主性和去中心化特征令其借助新技术打破了社会精英人群及其所代表的主流媒体的绝对垄断权,普通民众的话语权获得解放,舆论的主体身份分化为普通民众和主流媒体两大类型。为此,依靠主流媒体进行政府舆论引导的传统机制必须改革。

(二)全球传播、海量信息,挑战政府信息公开。

大数据时代,其信息传播的低门槛、低成本使信息不再是由少数人垄断的稀缺资源,而成为社会生活的“必需品”。社会化媒体成为舆情和民意的载体,其全球传播的海量信息、便捷移动的传播载体、匿名互动的交流方式等特性不仅改变了信息的传播格局,也消除了用户之间的身份差异,使普通民众获得了信息传播的权利,信息的传播行为得以从被动接受信息向主动发布信息、设置议题转变。而作为信息的最大拥有者政府,信息发布的及时性、透明性、公开性面临巨大挑战。

(三)传播权力的分化,主流媒体话语地位下降。

大数据时代高度集中的传播权力被社会化媒体分解,政权、资本、科技对传播权力的垄断被解构,传统媒体构筑的信息中枢被瓦解,社会化媒体体现出前所未有的平民化特征,政府公信力面临极大挑战。

二、大数据时代政府形象塑造的途径

(一)树立媒体意识,充分发挥媒体的双重作用。

媒体是政府形象塑造的重要途径,没有媒体的传播,任何一个政府都无法在短时期内单纯通过自身作为建立起良好的政府形象,尤其是大数据时代。媒体对地方政府形象塑造具有双重作用,一是地方政府要依靠媒体传播其思想和施政行为,通过媒体在公众心目中留下良好印象,使媒体成为政府正面形象的“助推器”,帮助政府赢得民众的支持,强化其执政基础;二是媒体具有社会监督责任,既要将社会舆论向积极方向引导,又要将公众的诉求和“抱怨”予以集中并形成对政府的反馈,充当政府行为的“监督者”,正如雷蒙·阿隆所说,“只有通过公共舆论,你才能要求任何权力去促进公益事业;只有在公共舆论面前,所有的权力才会变得沉默,所有的偏见才会消失,所有的特权利益才会被取消。”

(二)培养大数据思维,发挥社会化媒体优势。

大数据时代,社会化媒体的公共话语空间比以往任何时候都更加开放和透明。以美国总统竞选为例,奥巴马竞选团队有数千名志愿者,通过社交网络和微博等手机选民的爱好和关注,同时运行66,000个计算机分析数据并建立选民档案,例如某个选民在Facebook或者Twitter上的大部分帖子都是关于环保和医疗成本,就通过电子邮件发一条源自奥巴马专门谈论环境问题的信息,让该选民有理由支持总统连任。而奥巴马的两次竞选成功都离不开社会化媒体的有效应用。

(三)完善电子政务平台建设,提升政府公信力。

大数据时代,物联网、云计算等新技术为政府社会治理和决策提供科学、有效的支撑,政府借助大数据分析技术精准定位的特点,实现政府组织结构和工作流程的优化重组,超越时间、空间和部门分隔的限制,建成一个精简、高效、廉洁、公平的政府运作模式,以便全方位地向社会提供优质、规范、透明、符合国际水准的管理与服务。基于大数据分析的环境监测系统、决策支持系统、网络舆情研判系统、行政审批及监督系统等电子政务系统的不断完善,是迈向智慧政府,提升政府的决策力、洞察发现力和流程优化能力的平台,也是提升政府公信力的基石。

(四)融合大数据时代的媒体平台,主动公开信息。

信息公开的实效性与政府形象塑造紧密相关,大数据时代强调主流媒体的传播思维要从强调限制走向强调疏通与善用,这就需要政府充分应用不同的媒体平台,以主动公开的姿态使信息发布“在公共信息的流通、互动和联动中实现社会动员、集体选择、公共决策及公共服务的程序化、规范化和稳态化,以规避政府信息发布中的威权色彩、官僚作风、‘不对称失真’可能及社会运动惯性,以及由于公共危机可能诱发的集体焦虑和集体无意识恐慌”。

三、大数据时代的政府危机公关

危机公关是政府形象塑造至关重要的内容。我们处在一个危机四伏的时代,这一定程度上恰恰是由于大数据时代信息传播的发达。突发事件由于其自身的特点,往往在瞬间引发尖锐的社会矛盾,面对媒体炒作、面对社交媒体上的滔滔民意,稍有处理不当,政府形象就会毁之一旦。

(一)充分发挥大数据分析功能,提高风险监测防范能力。

危机的出现重在预警与防范,大数据在监测预警上的作用日益凸显。2009年甲型H1N1流感爆发的时候,谷歌公司运用大数据分析,通过人们网上搜索的关键词及购买行为分析,提前预测出流感的爆发,这与习惯性滞后的官方数据相比,成为了一个更有效、更及时的指示标,使公共卫生机构的官员获得了非常有价值的数据信息。这是当今社会所独有的一种新型能力:以一种前所未有的方式,通过海量数据分析,获得巨大价值的产品和服务,或深刻的洞见。基于这样的技术理念和数据储备,下一代流感袭来的时候,世界将会有一种更好的预测工具,以预防流感的传播。

(二)充分发挥社会化媒体的社会动员能力。

大数据时代,危机发生的时候社会化媒体在社会动员上孕育着巨大能量。2012年北京7·21水灾中,夜晚一条“望京,有没有愿意义务去机场接被困兄弟姐妹”的试探性微博,1个小时内被转发一万零九百五十次,在那个60年不遇的大暴雨的夜晚,三百余辆打着双闪的越野车,带着五百多名从未谋面的陌生人,驶离近8万人滞留的北京国际机场,那深夜闪烁的车灯持久照耀着城市的夜空,形成抚慰人心的力量。“当信息突破了时间和空间的阻隔,它所携带的能量可以凝聚共识焕发情感,形成一种强大的社会动员力量。”大数据时代让这些已经存在着的碎片般散落的点滴美好,瞬间汇聚出灼热的社会能量。

(三)发挥主流媒体引导作用,把握危机传播规律。

“媒体舆论表达空间的扩张既为社会舆论表达提供了表达通道,也为社会声音和情绪释放提供了可能。”传播学鼻祖施拉姆曾经指出:“对于公众危机,首先应该是信息公开。”信息不透明、阻塞,将会引起公众的恐慌心理,甚至会引发盲动、骚乱、暴乱等社会负面行为。大数据时代使得危机事件信息呈现多元化、碎片化及不对称的特点,政府在信息公开中稍有疏忽就会使得谣言成为主流,政府面临信任危机。因此,政府信息发布要遵循3T原则,即:Tell it your own(以我为主提供情况);Tell it fast(尽快提供情况);Tell it all(提供全部情况)。此外,在危机事件处理中要强调官方与民间的沟通,官方应以开放的姿态应对事件,以事实真相说服民众,从而掌握舆论引导的主导权。主流媒体引导还体现在新闻发布制度的完善和发布渠道多元化。

(四)完善突发事件评估问责机制,修复和提升政府形象。

大数据时代,政府要善于用“数据”说话,对突发事件做出科学公正的评估和责任追究。同时,政府要勇于承担责任,从单纯的管控走向建立配套的公共关系管理与问责机制,形成突发事件中政府公信力的修复与提升机制。此外,要对突发事件相关信息和数据进行分析、挖掘,把握社会化媒体信息病毒式裂变传播规律,掌控突发事件舆论走势,识别潜在的意见领袖,分析民众的情绪倾向等目标,有针对性地回应民众利益诉求,使政府形象化“危”为“机”,树立信用政府的良好公众形象。

摘要：在互联网和通信技术飞速发展的20年后,一个属于大数据的时代到来。大数据时代话语权版图正在急剧改变,面对碎片化的信息政府应如何做好政治传播,怎样“用数据说话”化解危机,大数据无论是在常态管理,还是危机管理都给政府带来了全新的机遇与挑战。本文从大数据时代媒介传播的角度,分析了政府形象塑造所面临的挑战,阐述了大数据时代政府形象塑造的途径,并从政府形象塑造出发,提出了突发事件中政府的危机公关策略。

关键词：大数据,政府形象,形象塑造,危机公关

参考文献

[1]维克托·迈尔-舍恩,肯尼思·库克耶.大数据时代[M].杭州:浙江人民出版社,2013

[2]许悦,高波.政府新闻发言:公共传播三论[J].现代传播,2009

[3]何显明.信用政府的逻辑:转型期地方政府信用缺失现象的制度分析[M].上海:学林出版社,2007

[4]黄铧焕,薛丽芳.大数据,大政务,新网络——大数据时代电子政务网络的发展方向[J].电子政务,2013

[5]张涛甫.当下中国舆论表达与媒体表达功能转型[J].现代传播,2011

[6]马林艺,高昆,米青.新媒体时代政府信息公开与突发事件媒体沟通[J].产业与科技论坛,2012

大数据时代的危机公关 篇2

数据库管理形式是大数据管理不断发展的重要成果，也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中，计算机内部的容量得到了很大程度的提高，并且大数据的管理和维护成本也相应的有所下降。同时，在大数据管理形式不断发展的过程中，对其系统管理内存不足等现象，进行了全面的提高，有效的实现了资源共享，也在最大程度上保证了大数据的安全、稳定等性能。另外，在大数据时代的大数据库管理的过程中，不在近几年只是固定在某一个计算技术应用体系，而是面向整个管理体系，以此在最大程度上提高了大数据共享的性能，使大数据与大数据形成一个独立的个体，对其大数据进行了全面、有效的、统一的管理，为我国信息技术的发展提供了重要方向。

大数据公关 篇3

C： 公关行业最早受到数字化的影响是什么时候？

B： 如果说行业的话，我认为随着数字媒体的兴起，网民的阅读习惯开始从传统的媒介转移到数字媒介，从这个转变开始，公关行业就面临着数字化的挑战。

C： 数字化让受众变得更加聪明，对你们工作的挑战是？

B： 公关变得社交化，信息的传播不是过去单方面的传播，而是企业与顾客、公关和受众彼此之间的对话。现在要更多的考虑受众的需求，他们想听到什么，他们喜欢什么，而不再是仅仅关注于企业想要传递什么。整个数字媒体发展非常快，我们不能说等一段时间再发一些信息，而要做出快速的反应。现在每一个人都愿意分享自己的想法，每个人都有自己的声音并希望别人听到自己的声音。因此在互联网上，我们必须确保我们分享的信息是准确的事实，采用更透明开放的方式分享信息。

C： 现在移动互联网给你们带来哪些新的想象力、机遇和挑战？

B： 移动互联网给我们的消费者提供了比以前更便捷更快速的工具，当你想买一件产品的时候，你可以通过手机进行比价、查看产品的信息和查看他人的评价。当然，这一切给企业带来了很多挑战，他们需要更好的了解消费者的需求，更好的设计自己的产品和服务，以及营销渠道，从而更好的满足消费者需求。我们现在要重点关注消费者的购物体验，要考虑到消费者个人的选择，个人的兴趣，让消费者对品牌理念和品牌所倡导的的价值和生活方式产生认同感。

C： 这是不是也意味着你们需要比过去搜集更加多的数据？

B：是的。所以在这个阶段，对数据的收集和整理分析就变得很重要。并且这些数据对于提高产品和服务的质量有着非常关键的指导意义。

C： 现在新闻事件的传播速度非常快，危机公关变得更难了？品牌常犯的错误是什么？

B：是的，的确是这样子。互联网让消息的传播速度变得更快，这个时候当品牌出现危机，就需要比以前更快速的反应，并且更加主动的进行沟通。品牌经常犯的一个错误就是等，因为在最初的时候，大家都不知道到底发生了什么。比如当一个产品被投诉出现了质量问题，企业往往需要经过严密的调查取证，最后等到真相出来，危机已经扩散得人尽皆知，危机处理也就变得更加棘手了。企业要保持信息的通畅和透明，变得更加主动，要一边沟通一边调查。

C： 你觉得在公关或者广告行业新的增长点在哪？

大数据时代的危机公关 篇4

随着物联网应用发展,获取数据量与日俱增,大数据、云存储、云计算等技术应用而生。这些新技术出现和应用,为我们生活提供了极大便利。在“大数据”时代,每个用户都是数据贡献者,用户在贡献数据过程中,不可避免会出现个人信息未经用户授权被大量“挖掘”和利用,从而产生了个人信息安全危机。个人信息数据属于个人隐私,可以体现用户工作、学习、生活等方方面面信息,商家获得个人信息数据,通过专业工具和软件对数据精准分析处理,就能对用户的需求进行准确评估和预测,从而为其提供相关信息和服务。个人信息泄露给用户造成严重的经济损失和精神伤害,个人信息安全问题解决迫在眉睫。

1 个人信息安全面临问题分析

1.1 未经授权个人数据被搜集

现代社会,我们不可避免要打电话、浏览网页、收发邮件、网上交易等,这些活动过程中用户数据可能被搜集,而获得数据的商家没有经过用户授权。据中国互联网协会统计,78.2%的网民个人信息(姓名、身份证号码、家庭住址、工作单位)遭遇不同程度泄露。2016年5月18日,美国职业社交网站Linkde In宣布又有1亿多用户的电子邮件和密码信息被泄露,如今,有黑客销售Linkde In1.17亿用户电子邮件和密码,售价约2200美元,这些用户数据泄露,是来自2012年一场黑客攻击。

1.2 用户数据超范围使用

一些政府部门或企业因为工作和业务需要,获取用户个人信息数据,而信息用途和范围超出特定范围。譬如主管人事的政府部门组织考试需要注册个人真实信息,企业招聘员工填写的个人资料表等,获得“合法”的用户个人信息,但获取的这些信息只能限于本次考试或本次招聘工作,不能用于其他用途。如果一些商家从不同渠道获取这些数据,对数据进行深层次分析和“挖掘”,进而获得新的更有价值的数据,尽管这些新数据来自于早期获取的数据,但是超出了用户允许的特定使用范围,甚至有时候用户根本不知道这些数据的存在和使用。

1.3 数据保存问题

传统的数据存储是存储在本地计算机或移动存储设备上,“大数据”时代,网络技术快速发展,新技术不断涌现,出现的“云”存储为网络用户提供了方便快捷的信息存储。但用户信息存储在互联网企业提供的“云”服务器上,“云”是一种新的技术和服务,因为技术不完善,“云”服务器不可避免会存在安全漏洞,被恶意窃取转卖,造成信息滥用。

2 个人信息安全应对策略

2.1 用户需要加强安全保护意识

2016年1月,《中国互联网络发展状况统计报告》显示,截至2015年12月,中国网民规模达6.88亿。其中,高中(中专)及高中(中专)以下人数占网民总人数46.4%,整体文化程度偏低,受教育程度影响和制约,法律等规则意识薄弱,自我安全保护意识不强。个人信息保护要从根本上解决,最重要的一点就是需要用户加强个人信息安全保护意识,目前最好的办法就是个人用户需要通过不断努力,学习信息安全保护方面知识,提高自身的文化素质和法律意识,尽可能使得个人信息不轻易泄露。

2.2 相关部门应该加强立法和执法

保护信息安全的一个重要方面是行政部门和司法保护。随着信息安全问题日益严峻,国家相关行政部门和司法机关也制定了一些针对互联网领域新形式下的法律规范,但就目前情况来看,存在很多问题和不足。一方面,网络技术快速发展,各种新技术和应用不断涌现,促使新形式的网络犯罪层出不穷,这就要求对原有的法律和规范及时进行修正,以适应新形式发展需求,但这些法律和规范修正总是滞后于新形式犯罪,当新形式犯罪出现后往往无法可依。另一方面,网络技术犯罪不同于传统犯罪,它借助网络可以异地作案,时间短,速度快,具有很大隐蔽性,所以在司法机关调查取证的时候造成很大困难。

加强立法是解决信息安全问题的根本所在。针对目前存在问题,可以以传统法律为基础,结合新形式下互联网犯罪实际情况,及时制订和修改针对性的法律条款,使得网络犯罪有法可依。从事互联网的企业联合制订一些针对性和指导性行业规范及标准,这些行业规范、标准也同样具有一定约束力,执法部门在执法过程中也可以借鉴使用。利用先进的技术和手段,提高网络犯罪的侦察力度和打击力度,为调查取证提供证据。

2.3 互联网企业应做好安全保护

“大数据”时代,为很多企业提供了良好的发展机遇,互联网企业应该从企业制度和技术两个层面出发,做好用户个人信息保护措施。一方面,互联网企业应该从管理制度上入手,制定现代企业管理制度,防范企业内部网络犯罪问题出现;另一方面,不断提高企业技术力量和技术水平,做好信息安全保障工作。

3 结语

随着社会发展,科技进步,人们对网络的依赖程度越来越高,个人信息安全必将成为一个重要研究课题。我们应该从个人、国家和互联网企业三个层面努力:个人应该增强安全防范意识,提高安全操作规范,保护个人信息;国家立法根据社会发展需要,及时制订、修改相关法律,相关行业应该联合制订行业规范;企业从管理和技术不断提高,才能从根本上解决信息安全危机。

摘要：“大数据”时代用户在充分利用网络资源的同时,也存在个人信息泄露的重大隐患。本文从目前个人信息安全面临问题和应对策略两方面做了分析和探索。

关键词：大数据,挖掘,“云”存储

参考文献

[1]周学广.信息安全学[M].北京:机械工业出版社,2003.

[2]曹天杰.计算机系统安全[M].北京:高等教育出版社,2003.

大数据时代的危机公关 篇5

方存

内容摘要：

随着信息技术的飞速发展，税收征管也已经进入大数据时代，由于数据信息化的广泛运用，使海量数据的即时获取和精确分析成为现实，为研究纳税人办理涉税业务特征提供了良好条件，带来了税收服务手段、服务理念、服务载体、服务管理的大跨越……

关键词：大数据

应用

管理

信息化

现今很多人随时都会拿起手机发微信、微博，要购物不是上超市而是上淘宝、京东，外出就餐先看大众点评，有问题不是找老师而是找百度„„在我们的日常生活中，已经离不开这些网络应用。这些网络应用都有共同的特征，就是通过海量的数据，进行云计算后让用户获得到更好的应用体验。这些随时随地抓取数据的网络应用，让我们感受到，大数据的时代已经到来。

随着信息技术的飞速发展，税收征管也已经进入大数据时代，由于数据信息化的广泛运用，使海量数据的即时获取和精确分析成为现实，为研究纳税人办理涉税业务特征提供了良好条件，带来了税收服务手段、服务理念、服务载体、服务管理的大跨越。近年来，广东地税依据纳税人类别、涉税业务类别、办理时段等信息，依托数据信息化逐步形成了服务大厅、网上办税、纳服热线、自助办税、短信服务等多种渠道并存的大服务格局。

一、实现大数据管税的意义

从目前我们系统的数据量来看，还算不上真正意义的大数据。我们的征管系统中大量的数据都是传统的结构化的数据，已经达到了一定的数量，应该更多的是关注如何提高数据质量，如何应用好这些数据。而对于正在生长的海量的非结构化数据，则要关注怎么收集、用什么方式有效管理，从海量数据中发现有用的信息，深入挖掘分析、与征管系统数据综合利用，如何“要让睡着的数据醒过来”，转化为税源，才真正体现涉税数据的价值，才能实现“信息管税”。

在涂子沛的《大数据》中提出，随着技术的发展，数据的存储与处理成本显著降低，人们现在有能力从支离破碎的、看似毫不相干的数据矿渣中抽炼出真知烁见。充分运用大数据的思维和手段，对于大力推进税收治理能力现代化，不断提高税收管理水平，意义重大。

二、当前税收数据应用管理的中存在的问题

近年来，地税部门在税收征管和信息化建设方面积累了大量的理论和实践经验，也取得了丰硕的成果。但受诸多因素的制约，在涉税数据采集、分析、利用等方面还存在一定的问题，影响税收数据的应用效用。

（一）征纳双方信息不对称日益突显

纳税人经营信息存在多样化和复杂化，地税机关获取纳税人信息的复杂性和工作难度明显增加，获得纳税人信息的渠道相对单一，主要是采用纳税人自报与税务机关根据自身工作需要进行采集所得到的信息。虽然省局与市局正在尝试进行政府部门之间的信息共享，但是这些仅仅是起步阶段，还没有完全形成有效、规范的机制。这些因素导致税务机关对纳税人生产经营状况、销售情况、生产成本等信息的掌握不全面，加上税务部门自身也没有一套完善的决策支持体系，严重影响税收数据的收集质量。

（二）税费征收管理系统过多，相互之间存在信息壁垒

目前，地税系统使用软件相对繁多，与税费征管有关的系统包括大集中征管系统、电子办税服务厅、税源管理平台、两业系统、数据综合展现平台、存量房交易计税价格评估系统等十多个操作系统，这其中有省局开发的，也有市局开发的。这些征管系统有部分在数据交换上互不共享，而软件开发公司也不一致，系统维护相对繁琐，给基层税务人员实际操作带来了很大的困扰。

（三）信息数据分析利用的广度深度不够

一是对现有数据的分析利用不足。目前的税收分析主要对税收任务的分析，只是局限于对某些数据的纵向对比分析。虽然这几年在这方面进行了大量的努力，但是没有形成长效的、可持续发展的数据分析模型，与宏观经济、市场变动、企业财务数据等联动分析不足，没有完全发挥数据信息利用应有的作用。二是税收业务与技术没有有效的融合。目前在基层税务机关这是最为薄弱的一个环节，业务与技术基本上还是各自为政，没有形成业务与技术的有效融合，导致对各方信息的横向比对和各时间段信息的纵向分析不足，从分析比对中发现问题的能力较弱，无法形成对信息分析利用的合力，制约了对信息的深度分析利用。

(四)专业信息技术人才缺乏，数据得不到有效利用

目前，以我县的干部职工为例，能够掌握比较系统的、全面的计算机知识的干部很少，另一方面，由于年轻干部交流频繁，精通税收业务的干部也不算多。因此税收信息化建设队伍任务繁重、人员不足、素质不齐等问题比较突出，高素质的专业化人才更是相当缺乏，即懂技术又懂业务的复合性人才更是屈指可数。这就造成即使拥有大量的有用数据，我们的基层税务人员也不懂分析利用，无法及时从中获取有效的数据信息。

三、完善税收数据应用管理的几点思考

（一）运用大数据的思维和手段，树立“信息管税”的新理念 我们都已清楚的看到，大数据时代所带来的思维方式、管理模式、监控手段等方面的变革，对税收征管工作带来了深远而巨大的影响，税收征管已经离不开信息化手段，紧密依托数据信息手段开展税收征管工作，已经成为税收工作的必然要求。结合风险管理和大数据理念，做为新征管改革的突破口，将大数据税收征管模式与先进的管理理念相结合，技术创新与管理创新相结合，通过税源监控、税收分析、纳税评估、税务稽查等质量控制手段，达到堵塞漏洞、纠正偏差、提高税收质量的目的。

（二）制定数据规范化，提高数据质量 要提高数据质量，必须要有数据管理标准和采集操作规范。一是要规范数据采集渠道。建立基层分局、县区局、市局、省局四级数据采集网，有条件的可设置涉税数据采集专业岗位，专门从事纳税人生产信息、交易信息、经营动态信息的采集。二是要加强数据质量的管理。按照统一标准录入有关数据，对采集的数据进行逻辑和真实性检验，把好数据进口关；制定数据审计规则，加强数据质量事中控制和事后比对，将数据质量纳入绩效考核，为数据应用提供准确可靠的信息来源。三是实行信息数据集中处理。建立覆盖采集、交换、分析、应用等主要环节的数据管理体系和运行机制,实现各个管理系统各类征管数据统一存储、加工和管理，实现各类信息资源互通互联共享，实现征管工作各环节在信息化支撑条件下的相互衔接。

（三）充分发挥政府职能作用，实现全社会的涉税信息共享 一方面，大时代数据必将全方位构建数据网络体系，通过政府部门建立大数据仓库，实施统一的信息管理平台，将工商、供电、建设、房产、交通、国土等政府各部门的数据实施统一管理，并对这些数据建立政府数据共享机制。另一方面，积极健全各政府部门间的信息网络，明确各部门通过网络获取信息的相应用户权限，彻底改变信息离散、各自为阵的局面，实现高效的信息共享，为税务部门全面掌握涉税信息提供强有力的外部环境支撑。同时，地税部门的反馈信息也可以帮助社会综合治税的成员单位掌握有关情况，查找各自工作中的不足和监管漏洞，共同提高管理水平。

（四）创新数据挖掘分析方法，打造智能税务

在调查研究的基础上，不断探索，创建科学有效的数据挖掘和分析体系。要建立税收数据仓库，对分散在各个应用系统中的数据进行集成、整合和统一管理，实现数据资源省级集中和共享，为数据挖掘分析提供基础支持。创新税收数据挖掘分析方法，应当注重五个结合：一是宏观与微观相结合。通过宏观分析了解本地区范围内不同行业、不同税种、不同类型企业的税收情况，找到税收管理的薄弱环节，对有疑点的企业、存在问题多的行业从微观上进行纳税评估、税务稽查，采取切实措施强化管理，堵塞漏洞。二是上级与下级相结合。瞄准税收管理现代化方向，省市县层层落实税源专业化管理思路，分级分类加强税收数据挖掘分析工作。三是全面与重点相结合。在全面分析的基础上，各地要结合本地实际突出重点，有的放矢地开展重点数据挖掘分析。四是定量与定性相结合，形成完整的科学的税收分析方法体系。五是动态与静态相结合。进行税收数据挖掘分析时，注意动态数据与静态数据的结合使用，坚持从经济看税源，从纳税人的发展看税源。

（五）培养复合型税务人员，满足大数据税收工作需要

人的因素是搞好一切工作的前提，实行税收现代化管理，必须培养复合型税务人员。复合型人才是“一专多能”、“多专多能”，以博见长，知识面广，易于融会贯通、触类旁通。培养既精通税收业务，又熟练掌握法律、财会、统计分析、计算机等方面知识和技能的复合型人才，是大数据时代税收工作对拥有复合型税务人员的需求。

在大数据时代，我们每个人既是数据的创造者，又是数据的使用者，这就要求每个税务干部，必须要有大数据的思维，运用大数据方法和手段，不断创新税收管理手段和方式，才能实现税收现代化。

参考文献：

（1）涂子沛《大数据》 广西师范大学版社，2012年7月（2）谢永健 《大数据：实现税收现代化的利器》 中国税务报，2014年9月17日

小数据企业的大数据时代 篇6

大数据时代并非“忽如一夜春风来”，其理念在信息时代以前就有成功应用，只不过随着技术手段的不断成熟，现在实现起来更加容易。事实上，美国职业篮球联赛（以下简称NBA）从1980年代起使用的数据管理技术就是大数据的雏形，经过近30年的积累和完善，为我们提供了成熟的大数据管理经验，非常值得借鉴。也许有人会质疑，NBA一共只有30支球队，每支球队每年才打82场常规赛，其蕴含的数据甚至比不上谷歌一分钟的搜索量，NBA真的有大数据吗？归本溯源，还是要从大数据的概念入手。按照畅销书《大数据时代》对大数据的诠释，这个“大”并非必须是太字节（240字节）的数据，“大”取的是相对意义而不是绝对意义。

笔者尝试将此书中对大数据的概念总结为一个前提、三大特点和一个目标：

前提：一切都是数据。

特点一：向抽样说不。

特点二：向完美主义说不。

特点三：向因果关系说不。

目标：替人脑做不擅长的工作。

下面将以NBA的数据管理经验为例，对其进行诠释。

相信没有人会否认，将事件转化为数据是大数据管理的前提。NBA比赛是球员和球的运动，如果不转换成为数据就只是录像资料，靠人工反复回看提取资料效率很低，必须对比赛进行拆解、定义、记录，将其转换为数据才能进行处理分析。

拆解：将运动员的动作进行层层分解，变成尽可能小的单元，如将运动员场上行为先分为进攻、防守，再将进攻分为有球进攻和无球跑动，再将有球进攻分为运球、投篮，再将投篮分为上篮、中投、远投。拆解类似于巴巴拉 · 明托在“金字塔原理”中提出的MECE（即Mutually Exclusive Collectively Exhaustive），中文意思是“互斥，完全穷尽”，“相互独立”意味着问题的细分是在同一维度上并有明确区分、不可重叠，“完全穷尽” 则意味着全面、周密。

定义：每一项拆解后的动作均有相对准确的定义，明确内涵和外延。如篮板球就是投篮不中后抢到并且控制住球的行为，碰到球但是未能控制住或者直接碰出界的球不算有效篮板。定义准确可以确保拆解出来的元素具有明确的含义。

记录：将拆解后且有准确定义的行为编码为数据储存起来。NBA记录了球员在比赛中的上场时间、得分、篮板、抢断、盖帽、失误等一系列基础数据，并且放在公开的数据库里，可供任何人随时查询，这也是NBA进行决策的依据。现在的存储成本几乎已经低到了可以忽略的程度，随便一块硬盘都是以TB为计量单位，更不要说日趋成熟的云技术。编码过程相对复杂，以往NBA使用人工进行记录，每场比赛都会有若干工作人员全神贯注地记录每一个细节，而现在使用了SportVU系统，这个系统将最先进的导弹追踪技术引入NBA，通过在球场架设的多台摄像机全面收集数据，用电脑自动将比赛过程的每个细节转化为数据存储，节约了大量的人力成本。

有了拆解、定义、记录的方法，可以将绝大多数企业中的绝大多数事件和行为转化成为数据，也就有了实施大数据管理的基础。其中，拆解和定义环节只需要熟悉本行业的流程就很容易实现，科学管理的先驱泰罗在20世纪初就将工人搬运等动作成功转化为数据。最大的难题还是出在记录环节，靠人工记录一组搬运的数据不难，但是仅凭人工记录所有搬运数据显然是天方夜谭。我们必须承认，即使是现在的科技也不可能记录编码所有行为，但在技术的帮助下可以做得更好。例如可以完善现有的IT系统，使系统可以记录更多信息。以餐饮行业为例，基本每个餐厅都有点菜系统，通常只具备简单的计算功能，可以进行技术升级以记录更多信息，例如可以增加数据存储字段记录顾客点菜时间和结账时间；可以通过与会员卡绑定记录顾客消费行为和消费习惯；可以分解记录每位服务员的服务业绩；可以记录菜品投诉和退菜情况事实上只要多花些功夫，仅仅投入不大的成本就可以在现有技术条件下收集到更多的数据，对于无法完整转化的事件和动作，可以选择暂时搁置或者等待技术完备时再进行记录（可以预计，动作识别和语音识别的低成本化指日可待）。

特点一：向抽样说不

——但求广度的非抽样整体数据采集技术

所谓抽样就是全体中抽取一部分样本，其基本要求是要保证所抽取的样本对全体具有充分的代表性，即要确保样本有和全体一样的特性。在计量成本很大，技术达不到的情况下，抽样是无奈之举，但如果能够低成本高效率的统计全体数据，抽样就是画蛇添足。而且由于抽样技术本身的制约及随机性因素，抽样很容易出现以偏概全的问题。在迈克尔 · 刘易斯的《点球成金》（Money Ball）中，传统的棒球球探通过观察球员在部分场次比赛是否有诸如本垒打之类精彩发挥来评估球员，以往的NBA选秀（从大学、高中或海外选拔新球员）也依靠球探的主观印象，这就是典型的通过抽样来评估球员的手段。体育运动的特点决定了，个人状态很大程度影响一场或者几场的发挥，如果球探看到的比赛正好是某位球员手感爆发或者手感冰凉，那么就难免会出现偏见。

企业中的管理者评估人员、事件都会不知不觉地用到抽样的方法，其中也存在了大量的偏见。比如近因效应使员工年末表现影响其年度考核，比如某个很小的突发事件影响到全局的决策，这些不自觉的抽样导致了偏见的产生，甚至形成管理上的“迷信行为”。

因此，这就需要在收集数据的层面尽可能完备，追求数据广度，在技术上能实现、成本可控制的前提下，将尽可能多的数据记录下来，至于这些庞杂的数据是否真的“有用”不要由人脑来判断，而要交给计算机来分析，很可能最不起眼的信息反而与结果的相关性最大。

nlc202309022100

例如消费科学教授迈克尔 · 韦德尔研究发现，之前有些人总认为产品上的图片越大越好（一些抽样问卷调查容易形成这样的偏见），但通过眼球跟踪技术，则发现由于人脑对图像处理的能力很强，因此图片尺寸的作用并不大。

大到跨国公司，小到街旁小铺都可以在不抽样的前提下记录整体数据。大企业的例子比比皆是，就不再赘述。以小便利店为例，原来只能通过抽样调查统计客流量，而安装一个摄像头就可以通过软件统计所有客流；原本需要做客户调查才能了解会员偏好，现在只要通过会员卡号中记录的消费记录就能掌握客户信息。管理者应该清查一下自己手中的数据，哪些是抽样获得的不靠谱数据，是时候将这些数据替换为整体数据了。

特点二：向完美主义说不

——兼收并蓄、不求精确的模糊数据管理技术国内一直流行将一些概念无条件的放大，比如所谓“细节决定成败”就荼毒了相当多的管理者，一味追求每个细节都无比精确。殊不知，细节是个双刃剑，盲目追求精确势必造成成本（财务、时间、管理）飙升。

大数据管理要求数据尽可能多，而不太在乎是不是每个数据都精确，甚至乐于从错误的信息中获取价值。

NBA的数据管理从未也不可能做到精确，在高速运动下即使是计算机也很难确保不出错。比如，两个本方球员同时伸手将球碰出界，记录这个失误数据到底算到哪个球员身上，势必存在误差。如果一定要闹个明白，必然耗费大量时间和精力，得不偿失。而且NBA很多数据都依赖于裁判，比如犯规数，裁判依靠眼睛判断如此高强度高对抗的比赛，犯错误的概率非常高，数据必然不准。但在大数据的概念下，这些误差放在某个运动员一年甚至整个职业生涯中反而不会对数据分析结果有任何影响。

企业应用大数据管理，一定要在可以容忍的范围内允许瑕疵的存在，避免因噎废食。举个虚拟的案例，一家银行要记录客户办理业务平均等候时间，通过计算客户拿号时间和办理业务时间得到。这个银行的管理者开始思考，如果有个别客户拿错了号怎么处理；如果有个别客户拿了很多号会不会虚增了办理业务时间；如果叫号机和系统时间不同步怎么办。相信如果这位管理者一直纠结于这些细节问题，总在完善统计过程，那么永远也不会得到数据。只要不是系统问题，个别小的误差，在大数据量的前提下，对于决策的影响是微乎其微的。战胜完美主义的心魔，容忍不那么完美的数据才能够用好大数据。

特点三：向因果关系说不

——忽视因果、重视关联的数据分析技术

从认知的角度讲，人类非常喜欢因果关系，为了解释错综复杂的外界环境，必须建立高效简洁的知识体系。因为看见乌云密布狂风大作，出门就一定要带好雨具，否则就会被雨淋；如果触碰电源就会被电击。人们通过传承掌握因果知识体系，省去尝试而造成的风险和成本。因此，总结因果规律是人类得以传承繁衍的本能。但是，随着科学的发展和社会复杂程度升高，这种因果关系受到了越来越多的挑战，量子物理的“测不准原理”等研究使我们不得不重新认识这个世界；经济领域突然出现的股市崩盘和经济危机几乎很难被预测，只有事后诸葛亮式的说法层出不穷；人们的行为更是难以预测，所谓经济学的“理性人”假设只会出现在学术论文中；企业管理更是如此，只要实施诸如六西格玛之类的管理项目就必然导致绩效提升的因果关系根本不可能实现，只是一些CEO忽悠投资者的法宝和咨询公司欺骗企业的灵丹妙药。

在哲学界和科学界，卡尔波普尔打破了对以往绝对真理（其实就是有因必有果的决定论）的普遍至信，承认随机的重要性，主张试错和证伪。但是，大范围的试错成本太高，无法替代低成本的因果关系带来的便捷，所以在信息科技成熟以前，因果关系始终在决策中起到主导作用。飞速发展的大容量存储和云计算技术终于可以从因果关系的垄断中分得一杯羹了。

在因果关系时代，NBA评估球员的标准是跑得快、跳得高、投得准等等，一般的因果关系假设，这方面出众的球员就能在比赛中表现出色。而通过数据分析，NBA有了很多新的评估手段，打破了这种因果关系。比如有一项数据反映球员在场上时双方得分对比、球员不在场上时双方得分对比。某球员个人能力超强，在场上得分如探囊取物，但上述数据却显示他在场上时对方得分更多；反之，有的球员跑得不快、跳得不高、投得不准，但只要他在场上，全队得分比对方高，这显然不符合因果关系的逻辑，甚至要想分析原因进行倒推都几乎是不可能的，因为原因也许非常复杂：有可能是他和队友私下关系不好，导致士气受损；有可能是他防守能力差，使对位的对方球员得分变得容易；有可能是他和某个队友位置重叠，无法充分发挥甚至可能是不同因素叠加而成。教练在决定球员上场时间时，根本没有时间考虑这么多的因果关系，只需要根据数据分析的结果，让能够使球队得分更高的球员多上场就可以了。

取代一部分因果关系的工具就是不同数据之间的相关关系，数据告诉我们个别球员上场时间和球队得分之间存在关联，也许数据还会告诉我们，球员身高体重比和球员三分命中率相关，球员英俊程度和抢篮板的能力成反比（后面仅是假设）。

通过大数据找到意想不到的关联有三个必要条件。

首先，不要在分析或者收集数据过程中有任何偏见或者假设，避免在收据收集过程中就带有偏见，只收集部分感兴趣的数据。

其次，使用计算机对各组数据进行交互相关性分析，这里涉及统计学和计算机知识，不过可能只要招聘一个计算机专业的研究生就能胜任。也许有人会问，这么多组数据，相互做相关性分析，排列组合的数量也很大，是不是会花很多时间。其实并非如此，现在计算机的处理速度足以完成这些运算，即使数据量大，也可以使用云计算提高效率。

相关性有一个特例就是加入时间轴，分析数据变化趋势。NBA将球员和球队每场比赛的数据记录以后自然形成了一系列数据，通过对一段时期中比赛的数据分析，就很容易看出球员各种表现的发展趋势。分析变化趋势的目的是预测和辅助决策。某个球员如果近期表现大幅提升，球队就会考虑增加其上场时间，让他发挥更大的作用。如果某个球员三分球命中率持续上升，球队就可能专门为这个球员布置三分球战术。而球员单场的灵光一现，往往不会促使球队做出类似的决策。

nlc202309022100

将时间加入到相关性分析中也很容易应用，毕竟时间这个信息是最容易记录的。还以餐饮行业为例，将每天不同菜品的数据进行记录，就形成月度、季度、年度数据，可以判断每个菜品在不同季节的销量；菜品是否存在明显的淡旺季；某些菜品是否已经不再流行等等。从而在原材料、营销策略等方面做出调整。

再次，找到相关性后不刻意解释为什么会出现这样的相关，避免再度陷入因果关系的魔咒中。

目标：替人脑做不擅长的工作

——自然而然地使用相关性预测未来

有了相关性分析的结果，做决策并不是一件太难的事，因为计算机已经做了90%的工作。

以NBA为例，无论是球员转会、教练布置战术、临场指挥甚至商业决策全都依靠这些数据，投资者、球队、教练、球员、媒体、球迷都可以从数据中取得自己需要的内容。假如一个球队主力控球后卫受伤需要一名新的控球后卫，那么用什么指标来选择呢？控球后卫是场上的灵魂，主要负责运球和组织全队进攻，可以理解为给全队输送炮弹的人，评价控球后卫是否能够带动整个球队就非常重要，通过数据分析控球后卫得分、篮板球等指标与成功带动全队进攻相关性不强。而助攻（球传出后队友可以直接得分）/失误比才是真正关键的数据，也就是为队友制造机会的成功率。使用这一指标作为选择控球后卫的KPI就避免了某些后卫盲目传有风险的球，一味提高助攻数量刷数据。2012年美国体坛风云人物林书豪在爆发期间一直被专家诟病的一点就是失误太多，所谓成也萧何，败也萧何。2012-2013赛季截至2月3日，林书豪的助攻失误比仅为2.0，也就是说每送出两个助攻就要伴随一次失误，而顶级后卫保罗的数据，助攻失误比为4.6，超出林书豪一倍，显然更为出色。

在《点球成金》一书中，使用数据作为选人基础的奥克兰运动家队，用最小的投入换取最大的收益，打败了依靠经验选人的很多财大气粗的传统强队。如今，包括NBA的美国职业体育界已经将数据作为决策最重要的依据，球员打完比赛第一件事是看比赛的技术统计，教练依靠数据决定战术和球员上场时间，球队依靠数据交易球员，联盟依靠数据安排比赛日程，比如重大节日往往会上演收视率高的强队对决。

数据是决策的辅助工具，但是绝不可能完全替代人类智慧。纵使NBA的数据管理如此完善，做出最终决策的还是一个个活生生的人而不是冷冰冰的计算机，因为数据不会设计出有创造力的战术配合，不能进行临场指挥，更不会提升球队士气。企业管理也是如此，数据作用再大也只能是管理者的助手。

数据能预测大多数表现，但是人类不能成为数据的奴隶，从哲学角度讲，再大、再完美的数据也只是更加完善的归纳法而已，对于随机出现的黑天鹅事件无能为力。有了大数据，并不代表解放了人类的大脑，大数据是人类走向完美决策路上的一个工具，合理分配人脑和数据在决策中的比例尤为重要，既不能完全依靠所谓以经验和认知为基础的人脑，也不能盲从于循规蹈矩的电脑，让人类的创造力与电脑的存储和计算能力相结合才能做出更加完美的决策。

大数据下的公关效果评估 篇7

大数据时代,谁都能成为侦探,这使得一群聪明的受众对公关行业提出了非常大的挑战,它意味着更创新的方案和更艰难的公关。在互联网时代,沟通的方式会更多元化、复杂化、广泛化,甚至细分到每个触点、每个网友。大数据时代对沟通已经产生了一些颠覆性的影响,中国整个产业的爆发和互联网扩展将是中国公关业最大的机遇。

就整个中国公关行业来讲,目前行业现状飞速发展,良莠不齐。基于整个行业是一个客户资源型的发展模式与路径,这就导致行业里还没有出现几个资源集中型的大企业、大巨头。在中国的现实环境里,由于客户资源变动、人事变动,就不可避免带来这种行业的起伏,这些也就决定了目前国内公关行业参差不齐。在国内做得比较好的公关企业,几乎都是依附在大的产业背景下,比如汽车、电商、房地产。

专业化和规范性对本土公关公司的确是一个挑战。因为中国特殊的人文环境、历史文化既定下来的某些东西,相对于国际上整体化公司运作,国内公关公司的行为模式有些是不规范的。来自欧美、日本等地的外国公司,力求把工作流程、创意方式、沟通方式最后完全商业化、逻辑化,变成一种准确的商业符号和商业行为,这本身对中国公关界也是种挑战。

公关即沟通,而沟通本身是人性化的,带有情感和个体性特征。反过来说,中国式讲究人情、礼节的公关方式也受到商业规则的挑战,最后,无论本土和国际都应该向一个中心来趋同,都要做一些妥协。

一家最优秀的甲方能带出最优秀的乙方,最优秀的乙方却很难带出一个最优秀的甲方。公关也好,广告也好,都是锦上添花,是甲方意志最优化的体现。甲方的格局、战略决定了乙方的格局和战略。从业人员方面更是很突出,甲方对接人员的个人素质是决定乙方服务质量的重要环节。比如,雪润传播这几年的成长与成就,得益于东风日产、一汽大众这些甲方团队的优秀。

互联网优势与大数据结合的全新传播

(1)数字化公关带来挑战。雪润传播做数字营销的公关传播是比较早的。经历了用传统公关手段把传统媒体的东西搬到互联网上来,再到互联网本身的论坛、微博博客、网友活动、社交媒体传播等方式,再到最后借助电商的传播模式。从最早就是为了获得在消费者中印象、感知和体验的一种影响力,逐渐变成如同衡量广告一样,衡量吸引多少人浏览,有多少人互动,再有多少成交率、转化率,从关注到对比,关注有多少人成为真正的用户,最后,甲方还要在传播方式的精准度、最大的转换率等方面进行考核,这些都是数字化公关带来的挑战。

(2)雪润传播的全新汽车电商模式。2012年,雪润曾经为东风日产做了一个“我为淘车狂”的典型创意设计。通过雪润的传播,把更海量的需求相近的消费者集中起来,进入漏斗变成一定量的团购,把厂商促销成本转化为消费者优惠,同时还达成电商平台下订单化生产与销售,最终达成了集传播、留资、团购、订单化为一体的全新汽车电商模式。雪润做的策划就是力求把互联网的优势,与大数据时代的特点结合起来的一种全新传播案例。

网络公关的效果评估

目前网络公关传播显然已经在公关中占据重要的地位,但其效果评估一直困扰着企业和公关公司。公关公司普遍采用“广告当量”代替对互联网公关传播效果本身的衡量,这样的评估方式虽然量化上有一定的指标意义,但是对于影响力以及效果的真实说明上还是存在距离的。

很多企业对网络公关的考评已经不满足“量与质”方面,但是对于销售这样的考评很多乙方又难以接受,是乙方对自己的方案不自信么?一定不是。只是这个销售的考量很难用具体方法衡量,一般也会使用ROI的方式,但是如果一个项目同一阶段有很多传播手段,其界定就显得很模糊,除非是某一产品上市,只用了单一手段传播,考量便容易得多。

预设评估标杆参考评估报告

企业关心的是投入公关最终带来了多少效益,或者减少了多少损失,公关公司关心的是付出的劳动和成本到底应该赚多少钱回来,如果能事先算出效益的数字,那么只要收费低于这个数字,企业老板就应该能接受,公关公司也没话说。公关活动每次都不一样,怎么能事先算出来呢?可以设立一些标杆出来,对过往的一些不同类型公关案例进行全面评估,然后把评估结果作为未来公关项目的取费标准。

大数据时代的数据仓库建设 篇8

按照百度百科的解释, 大数据技术 (Big Data) , 或称巨量资料, 指的是所涉及的资料量规模巨大到无法通过目前主流软件工具, 在合理时间内达到撷取、管理、处理, 并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume (大量) 、Velocity (高速) 、Variety (多样) 、Value (价值) 。显然上述解释仅仅是描述了大数据的一些特征, 对于企业如何开发大数据、利用大数据进行运营管理, 并没有过过多的指导。

本文建议传统企业在建设大数据系统的过程中, 不仅要建设数据分析平台, 更要构建起一个数据分析的生态圈, 让人人都是分析师, 让数据分析渗透到企业运营的每个环节, 真正实现数据运营、科学决策的管理模式。构建数据分析生态圈, 可以概括为“两个市场, 一个平台”, 两个市场是指业务数据市场、分析工具市场, 一个平台是分析观点分享平台。

2 业务数据市场, 让业务数据变得开放透明

业务数据是分析的源泉, 没有数据就谈不上大数据。企业经过多年的信息化建设, 一般都会有多套业务系统在运行, 如办公自动化系统 (OA) 、财务管理系统、ERP系统等不一而足, 但这些业务系统都是孤岛式隔离, 数据缺乏整合, 而且底层数据库都是经过专业设计, 复杂度较高, 非厂家技术人员难以使用, 通常都是利用定制报表的方式进行分析和使用。因此, 在利用数据上存在着数据提取难度高、报表需求响应慢、数据准确性差等问题。

产生上述问题的原因在于, 传统数据结构复杂, 对业务人员不开放, 利用报表的方式提供数据时, 需求人员期望的数据与技术人员提供的报表之间存在着巨大的鸿沟。建设业务数据市场就是将各业务系统的数据进行抽取、清洗、整合之后, 按照业务过程重新进行整合, 封装为统一粒度、统一维度的数据库表。这些数据表的特点就是能被业务人员所理解并解读分析, 这样业务人员可以在较早期就发现数据中间存在的问题。在建设数据市场的过程中, 有几点需要特别注意。

(1) 采用维度建模方法, 以“易懂性、易用性”为原则

业务数据市场的数据是供企业分析人员使用, 他们更多的是不懂技术的业务人员, 数据结构应该符合多数人的直觉, 而非像传统“三范式”那样, 需要借助复杂的ER图才能表述清楚。对于专业的IT人员, 尤其是要抵制将维度模型设计成“雪花模型”以节省数据重复、增加灵活性的诱惑, 从而带来模型复杂性的代价。

(2) 全面梳理业务, 实现数据的互联互通

传统企业的业务系统, 多数是烟囱式的软件系统, 若不在企业层面进行业务梳理, 就不能很好地对数据进行整合, 提取有价值的信息。在整合数据的过程中, 必须要有统一的维度才能有效实现数据整合, 比如统一的客户编码、身份证号等, 所以梳理企业层面的统一维度是实现数据整合的关键步骤。

(3) 分主题、稳步推进

企业运营涉及的业务过程众多, 眉毛胡子一把抓是不可能的。在建设企业数据市场时, 要根据企业的特点, 优先建设对运营最重要的业务, 尽快投入使用, 逐步完善, 比如一个销售类的企业可以先将订单业务整合起来。

如图1所示, 采用维度建模方法构建中间层数据结构, 可以大大降低数据的使用难度。以事实表为中心的中间层模型, 可以让业务人员将主要精力放在理解数据和业务上, 避免过多的技术细节所带来的技术门槛和恐惧心理。

将生产库的交易数据转换为维度模型, 必然带来非常大的数据转换工作量, 因此ETL过程就成了整个项目成败的关键, 选择或打造一个性能优良的ETL框架是系统的核心。笔者建议可以从选择开源的ETL框架开始, 图形化的开发框架会给研发带来极大的便利, 降低学习成本。图2为图形化的ETL开发框架。

3 分析工具市场, 打造适合需要的分析框架

数据是一座金矿, 但还需要依赖好的工具才能将金子提炼出来。直接分析原始数据虽然灵活, 但更加适用于高水平的人员, 对于大多数的一线员工, 应该提供更加易用的分析工具, 如报表、图表、报告等, 将业务指标以形象的方式展现出来。分析工具市场就是企业内部汇集分析工具的地方, 提供给员工根据自身情况使用。

分析工具市场包含两部分功能, 一是制作分析工具的开发平台, 一是运行分析工具的门户平台。在建设分析工具市场的过程中, 有几点需要注意。

(1) 分析工具市场建设

从技术角度来看, 分析工具市场可以找到众多的软件系统满足需求, 企业可以根据实际情况, 或采购、或使用开源, 搭建这么一套软件系统, 既能让企业自己定制报表、分析图表, 也能将制作好的分析报表展现出来。

(2) 分析工具的开发以企业自身为主, 外购为辅

分析工具与业务特点、人员使用习惯等因素紧密关联, 其需求变化频率高, 全部依赖外部厂家开发, 一方面费用较高, 另一方面需求响应也不及时, 可能等开发出来, 分析的需求却没有了。因此企业要培养自己的开发队伍, 可以利用数据市场中的数据开发出各类查询报表、分析图表等。

分析工具是数据分析环节最成熟、也是选择性最多的环节, 有非常多优秀的BI工具可供选择, 商业中的有Cognos、SAP等, 开源的有Pentaho、BIRT等, 但数据可视化仅是数据分析的起点, 要想将数据价值挖掘出来, 还需要数据分析人员对分析工具进行深入分析, 提炼出知识并进行固化和传播, 才能让数据发挥价值, 形成从知识到洞察的转换。图3所示为数据可视化图标类型。

4 分析观点分享平台, 让数据分析社交化

大数据时代, 在数据充裕的同时, 带来了有价值分析结果的匮乏。数据分析, 绝对不是高高在上的阳春白雪, 而是需要人人参与、百家争鸣的氛围, 要在企业内部树立人人都是分析师的理念。

分析观点分享平台的建设, 采用类似于朋友圈、微博等社交媒体的机制, 让每个人都有机会表达对数据的分析观点, 通过转发、评论机制, 让有价值的观点浮上来。在这个过程中, 分享观点的个人可以获得成就感, 转发、评论的人有参与感, 企业从中获取到对运营决策有价值的想法, 基于数据分析过程实现了科学、民主的决策。在建设分享平台的过程中, 有几点需要注意。

(1) 人员关注机制

由于企业运营不同于互联网, 存在着一定的封闭特性, 不建议采用微博关注的开放性, 而应该采用朋友圈类似的“关注-同意”的朋友机制, 避免不适当的关注带来的信息泄露。

(2) 分享范围控制

由于企业数据的特殊性, 员工在分析观点的时候需要控制分享范围, 避免机密信息的泄露。控制分享范围, 既要有人工控制, 也要从平台层面通过权限控制, 如财务数据的分享范围仅限某几个部门或人员等。

(3) 分享观点排序算法

综合多种因素对发表出来的观点进行排序, 以便让展现到每个人眼前的都是最符合期望的内容, 营造一个良好的分享环境, 避免劣质内容驱逐优质观点给生态圈带来的毁灭性打击。

5 实践

根据上述思路, 我们规划了一个数据分析平台的产品, 分为三个阶段进行演进, 即智能报表阶段、企业内部数据整合和大数据分析三个阶段, 遵循“整体规划、分步实施”的路线。在实际推广中, 引导客户优先解决现阶段最迫切的问题, 比如统计报表, 通过经营分析平台的构建, 充分调动每个人的积极性和能动性, 减少定制化工作的数量及频率, 有效利用企业经营中产生的数据。图4是数据分析平台的技术架构图。

如图5所示, 数据分析平台的第一阶段是“智能报表”阶段, 其重点是建设数据中间层、提供灵活的分析工具, 让企业的每个人都能参与到数据分析的过程中。因此, 产品的技术架构也就围绕着这两个目标进行重点建设。

其中, 数据建模和数据集市所用到的方法论就是本文第一节所提到的“维度建模”, 将中间层数据通过上层的数据分析工具开放给用户进行分析, 最终通过报表、仪表盘等形式呈现给各级人员进行决策管理, 实现数据价值的体现。

6 结束语

大数据时代的档案数据整合研究 篇9

随着网络技术和计算机软件技术的快速发展, 越来越多的行业引入了云概念, 将传统的单一独立系统变成可以数据集成共享的统一系统, 在云计算系统中, 云计算成为当前研究的热点, 其通过海量的信息将数据的量变转换为系统的质变, 从而解决日常生产运营的各类问题, 相关文献将其成为“ 大数据”。 随着大数据时代的到来, 商业、 工业以及其他国民经济领域将逐渐依赖于大数据的分析和决策。 大数据时代的档案数据的整合也成为档案管理部门研究的热点和关键点。 档案数据的整合包括数据的存储、 数据的挖掘以及数据的保护。 档案管理将通过档案数据整合实现大数据的处理。 本文将结合实际工作经验, 对大数据时代的档案数据整合进行分析和研究。

二、 大数据时代的档案数据整合

( 一) 相关概念及技术应用

当前大数据渗透到人们生活的各个方面, 而在档案管理方面其甚至突破了原来的简单衔接实现的资源共享和工作协同, 而是将现有的大数据视角下的所有与档案相关的数据信息资源进行整合, 通过大数据、档案信息以及整合进行集成方面的剖析。 在大数据时代的档案数据整合通过对网络技术、 计算机技术以及数学算法运算等技术手段, 借助社会组织单元之间的协同合作, 将分布零散在不同的领域, 不同的行业的大数据资源通过一定的规则进行联接, 实现了一个具有程序化、 一体化和科学合理化的管理整体。 因此, 大数据时代的档案数据整合应用的技术主要包括: 系统集成技术; 计算机网络信息安全技术; 数据分类、 检索和索引技术; 数据存储与数据压缩技术。

( 二) 大数据时代的档案数据整合实务

我国自引入档案大数据整合以来, 各地对档案信息化进行了颇有成果的探索, 构建了一定规模的技术设备和管理系统, 而当前由于体制方面的、 管理方面的不够成熟还存在着各自开发、 各自成系统的情况, 这导致数据接口不一、 数据共享难, 对于大数据时代来说, 单一的共享原则上不算共享。 而如上所述, 由于技术应用环境的不同, 当前多数信息系统处于一个无统一管理、 无全共享的环境。 后台数据库更是由于开发者的独立开发和数据接口设计的不一导致数据库的数据结构等技术方面共享出现难题。 实际工作中, 我们更愿意将其联接成一个可以简单、快捷的数据库群, 实现大数据的自由、 高效的流动与交互, 从而实现系统的有序化和统一化。 从这一点上来讲, 大数据时代的档案数据整合必须实现技术上的信息整合。

与技术整合相对应的是管理方面的整合, 这也是档案数据整合的核心部分。 大数据时代的档案数据整合工程是一个复杂的管理工程, 不仅需要档案资源整合技术的支持也需要科学管理方面的整合, 营造与其相匹配的管理环境。 因此实践中必须有统一的管理协调单位对整个整合工作进行统一调配和管理, 并与此同时实现整个数据整合工程的监督管理体系的监理, 对工程的实施进行监督。 最后树立合理的数据整合观念意识, 实现对数据整合工作的智力支持, 与此同时, 制定相应的规章制度, 促进相关组织单元的互相交流和学习。

最后, 面对当前越来越严峻的网络安全隐患, 档案数据的整合在大数据时代也有其自我的要求。 此处的网络数据安全方面的考虑也可以称为安全整合。 安全整合在于对档案馆 ( 室) 内部所已整合的、 待整合的、 正整合的大数据进行有效的保护, 使其不容易从外部进行非法的篡改、 破坏和泄露, 确保相应数据的完整性、 机密性和真实性。 另一方面必须确保档案信息的完整性, 对身份认证、 信息加密以及访问控制等软件信息完整性进行有效整合, 确保档案数据的资源不被篡改和盗窃。

( 三) 大数据时代的档案数据整合模式

按照当前大数据的具体需要和相关规范标准, 当前大数据时代的档案数据整合必须解决三个主要问题, 分别是数据采集与处理、 数据基础技术问题和数据分析应用问题。 因此, 大数据时代的档案数据整合模式可以通过设计相应的三个层次进行实践设计, 一是数据融合处理; 二是平台融合; 三是服务融合。 数据融合通过统一的数据接口标准对当前存在的档案信息系统及其相关的信息系统进行异构异地数据的存取和开放。 因此, 数据的接口标准及相关开放规范是数据资源融合的基础和关键。 这个过程是一个较为统一的管理过程, 相关管理部门在权衡数据资源利益与开放资源收益方面必须有较好的处理方式, 相关文献指出解决大数据利用带来的价值分配问题需要法律及相关的行业标准和制度依据。 再之, 数据融合归根到底必须构建一个能够统一管理、 具有层次化的数据中心管理平台, 对来自包括档案信息系统在内的各个数据主体和行业数据进行统一管理和价值分配。

其次, 对于平台融合而言, 基础设施是上述大数据管理的基础, 也是数据融合的重要手段。 大数据时代的档案数据融合也是一种信息技术问题, 其必须在实际工作中解决包括数据采集、 数据处理、 数据分析、 数据安全以及数据存储共享等多个现代信息技术关键问题。 因此平台融合讲到底还是技术融合, 如何利用现有的网络技术、 计算机技术、数据库技术、 数据挖掘技术、 机器学习技术、 云技术等多种新技术进行数字资源平台的搭建是平台融合的关键问题, 也是大数据时代档案数据整合的核心所在。

最后, 大数据的利用和开发目的在于为决策者、 管理者以及其他服务享受者提供一站式综合服务, 因此服务融合的主要目标在于如何对现有大数据的分析和利用。 实践中, 服务融合更多指的是以大数据和平台为实现基础, 进行数据采集、 分析和共享等, 为特定的用户提供特定的服务, 实现最终数字资源融合。

三、 结束语

档案数据作为采集具有历史价值和实现现有价值的数据信息, 其为社会经济发展提供了较好的基础数据和生产要素支持。 大数据时代下的信息化建设也是我国当前信息化建设的一个重要组成部分, 因此, 大数据时代下的档案数据整合是具有较强实践意义的一个工程, 既是大数据时代信息化的实质要求也是当前档案信息化建设的重要内容。 因此, 我们必须利用当前的关键技术, 在大数据时代的环境下抓住机遇, 挖掘大数据背景下的数据资源, 对档案信息进行整合, 使档案数据能够安全、 便捷面向大众, 促进自我价值的提升和行业的进步。

参考文献

[1]孙玉玲.大数据时代数字出版产业的发展趋势[J].出版发行研究, 2013.

[2]马建光, 姜巍.大数据的概念, 特征及其应用[J].国防科技, 2013.

大数据时代的商机 篇10

云计算方兴未艾, 大数据又粉墨登场——60秒钟, Flicker上会有3125张照片上传, Facebook上新发布70万条信息, You Tube有200万次观赏——图片、声音、文字以及这背后用户的习惯和轨迹构成了互联网上的数据资源, 大数据时代已经降临。

用户的消费习惯、兴趣爱好、关系网络以及整个互联网的趋势、潮流都将成为互联网从业者关注的热点, 而这一切的获取和分析都离不开大数据。一方面, 社会化媒体基础上的大数据挖掘和分析将会衍生很多应用;另一方面, 基于数据分析的营销咨询服务也正在兴起。

这些专注于数据挖掘和数据服务的公司将成为电子商务乃至互联网第三方服务业中的新兴力量。数据背后潜藏着巨大的商业机会。以前只有Google、微软这样的公司能做大数据的深挖, 现在已经有越来越多的创业公司进入, 不同公司在不同维度的数据分析和服务正创造出新的商业模式。而在这一领域拥有专长的人士, 以后将不断地听到机会来敲门的声音。

《爆发》作者、全球复杂网络研究专家巴拉巴西教授表示, 一项新的学术发现转化到商业模式会涉及很多的因素和很长的时间, 比如社交网络理论的提出到Facebook等社交网络兴起, 经过了数十年的时间。而大数据领域的商业形态发展也会有这样的滞后性, 但资本市场早就开始聚焦于具备数据汇聚以及挖掘分析能力的公司, 并开始投资大数据挖掘的早期项目。

哈佛大学社会学教授加里�金认为, 这是一场革命, 庞大的数据资源使得各个领域开始了量化进程, 无论学术界、商界还是政府, 所有领域都将开始这种进程。”未来, 在商业、经济及其他领域中, 决策行为将日益基于数据和分析而作出, 而并非基于经验和直觉。

数据里面有黄金

“假如我们有了一个数据预报台, 就像为企业装上了一个GPS和雷达, 企业的出海将会更有把握。”马云在2012年网商大会上的演讲中形象地表示了数据的重要性。

如今, 银行业中的实时欺诈监测和风险管理、电信业的客户细分和业务波动分析、医疗业中的疾病诊断和分析、零售业的价格优化和购买分析等已经开始应用大数据分析的结果, 大数据已经开始创造着价值。

根据IDC报告, 2011年全球手机用户数已经达到50亿、Facebook每月共享出来的信息条数达到惊人的300亿、2011年全球数据量已经达到1.2ZB、而目前全球每年的数据还在以40%的速度在增长着。企业可以从这些海量的数据中挖掘出有用的信息, 从而帮助企业用于商业的决策并获得更有前瞻性的洞察。换句话说, 企业决策应当更依靠于数据而不是经验。

谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好, 凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务, 并对产品和服务进行针对性地调整和优化, 这就是大数据的价值。大数据也日益显现出对各个行业的推进力。

在麦肯锡发布《大数据:创新、竞争和生产力的下一个前沿领域》报告之后, 大数据的商业价值迅速受到银行、零售等行业的关注。如今, 银行业中的实时欺诈监测和风险管理、电信业的客户细分和业务波动分析、医疗业中的疾病诊断和分析、零售业的价格优化和购买分析等已经开始应用大数据分析的结果, 大数据已经开始创造着价值。

腾云天下数据挖掘总监张夏天表示, 大数据时代来临首先由数据丰富度决定的。社交网络兴起, 大量的UGC (全称为User Generated Content, 即用户生成内容的意思) 内容、音频、文本信息、视频、图片等非结构化数据出现了。另外, 物联网的数据量更大, 加上移动互联网能更准确、更快地收集用户信息, 比如位置、生活信息等数据。从数据量来说, 目前已进入大数据时代, 但现在的硬件明显已跟不上数据发展的脚步。

以往大数据通常用来形容一个公司创造的大量非结构化和半结构化数据, 而现在提及“大数据”, 通常是指解决问题的一种方法, 即通过收集、整理生活中方方面面的数据, 并对其进行分析挖掘, 进而从中获得有价值信息, 最终衍化出一种新的商业模式。

张夏天指出, 虽然大数据目前在国内还处于初级阶段, 但是商业价值已经显现出来。首先, 手中握有数据的公司如同站在金矿上, 基于数据交易即可产生很好的效益;其次, 基于数据挖掘会有很多商业模式诞生, 定位角度不同, 或侧重数据分析。比如帮企业做内部数据挖掘, 或侧重优化, 帮企业更精准找到用户, 降低营销成本, 提高企业销售率, 增加利润。

百分点的联合创始人苏萌表示, 未来, 数据可能成为最大的交易商品。但数据量大并不能算是大数据, 大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此, 大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来, 未来大数据将会如基础设施一样, 有数据提供方、管理者、监管者, 数据的交叉复用将大数据变成一大产业。

据统计, 目前大数据所形成的市场规模在51亿美元左右, 而到2017年, 此数据预计会上涨到530亿美元。

寻找数据挖掘的方向

目前, 国内网络广告投放正从传统的面向群体的营销转向个性化营销, 从流量购买转向人群购买。

虽然市场大环境不好, 但是具备数据挖掘能力的公司却倍受资本青睐。

国金证券TMT行业分析师赵国栋表示, 大数据是一个很好的视角和工具。从资本角度来看, 什么样的公司有价值, 什么样的公司没有价值, 从其拥有的数据规模、数据的活性和这家公司能运用、解释数据的能力, 就可以看出这家公司的核心竞争力。而这几个能力正是资本关注的点。

移动互联网与社交网络兴起将大数据带入新的征程, 互联网营销将在行为分析的基础上向个性化时代过渡。创业公司应用“大数据”告诉广告商什么是正确的时间, 谁是正确的用户, 什么是应该发表的正确内容等, 这正好切中了广告商的需求。

独到科技创始人张文浩认为, 社交网络产生了海量用户以及实时和完整的数据, 同时社交网络也记录了用户群体的情绪, 通过深入挖掘这些数据来了解用户, 然后将这些分析后的数据信息推给需要的品牌商家或是微博营销公司。

实际上, 将用户群精准细分, 直接找到要找的用户正是社交内容背后数据挖掘所带来的结果。而通过各种算法实现的数据信息交易, 正是张文浩为自己的社交数据挖掘公司设计的盈利模式。目前, 这家仅仅五六个人的小公司拿到了天使投资。张文浩表示, 目前, 国内网络广告投放正从传统的面向群体的营销转向个性化营销, 从流量购买转向人群购买。未来的市场将更多地以人为中心, 主动迎合用户需求, 前提就是要找到这部分人群。

在移动互联网领域, 北京腾云天下科技有限公司从开发者角度找到数据挖掘的方向, 通过提供免费的技术服务, 帮助开发者了解应用状况。“对于腾云天下来说, 服务的同时也聚集了数据, 盈利方向是为开发者提供更有价值的信息服务和增值服务。”张夏天表示。

伴随着各种随身设备、物联网和云计算云存储等技术的发展, 人和物的所有轨迹都可以被记录。在移动互联网的核心网络节点是人, 不再是网页。数据大爆炸下, 怎样挖掘这些数据, 也面临着技术与商业的双重挑战。

在中国软件开发者大会上, 腾讯首席科学家孙国政表示, “现在我们面临的挑战一方面是大数据的存储处理, 更重要的是大数据如何为用户、为广大网民服务的问题。”

首先, 如何将数据信息与产品和人相结合, 达到产品或服务优化是大数据商业模式延展上的挑战之一。张夏天认为, 大数据对算法和计算平台的挑战加大, 计算开销大增。总量上升, 质量下降, 这是大数据带来的重大挑战。

其次, 巧妇难为无米之炊, 大数据的关键还是在于谁先拥有数据。多盟联合创始人兼COO张鹤表示, 智能手机是根据用户营销而不是根据媒体营销。移动互联网提供了新的数据来源, 数据分析能够针对每一位用户的手机信息做精准匹配, 但目前大数据时代还没有真正来临。多盟虽然每天可覆盖1800万用户, 但对用户行为的描述, 还需要更大的数据量。

从市场角度来看, 大数据还面临其他因素的挑战。架势无线CEO叶忻直言, 大数据很有前景, 但是市场中数据噪音太多, 会导致数据价值大大降低。以无线营销为例, 大量的刷量以及水军好评差评等数据已经严重干扰了数据的准确性, 这实际上大大降低了数据的价值。

电商数据挖掘需要“军师”

目前, 百分点所做的就是通过分析用户在网络上的消费行为数据, 帮助电商企业实现“千人千面”精准营销。

大数据时代, 营销将会更多地依赖数据, 从而更精准地找到用户。苏萌表示, 根据来自不同平台的数据进一步挖掘和分析, 找到这些数据相对应的人群, 再将这些群体进行个性化的对比, 并以此展开个性化的营销服务。例如发送EDM, 或者流量对接, 或者跟传统搜索结合。

“大数据的一个重要趋势就是数据服务变革, 针对群体, 把人分成很多群体, 每个都给予不同的服务。”百分点首席科学家周涛表示, 以电子商务为例, 传统电商推荐, 多是使用协同算法, 挖掘不同产品间的关联度。但在百分点, 这样的算法已经从基础服务形式, 下沉到推荐引擎框架底层, 不直接推荐结果。

苏萌称, 在数据爆炸的年代, 人们经常淹没在海量商品和资讯之中, 不知道自己想要什么。而百分点的数据挖掘正是主要侧重于如何找到用户需求, 以及如何将数据转化为对客户的帮助。

通俗来讲, 电商网站通常用的关联规则并不是个性化算法, 比如白酒、花生米两个可能对所有用户都关联度很高, 就会推荐这两个商品。但是个性推荐, 则会通过场景和需求来调动不同算法, 计算对于个体真实的用户需求。

个性化推荐知道用户喜欢什么, 确实地提供商品推荐信息, 于是就发挥了“导购”的作用, 这更能刺激购买。对于电商企业来说, 在精细化运营的趋势下, 无疑会为更精准的营销和用户重复购买。

以走秀网为例, 采用了百分点提供的分析数据后, 消费者可以通过走秀网上的“本月热销” (个性化热销榜) 、“猜您喜欢的” (个性化热览榜) 浏览或购买自己感兴趣的商品。其个性化服务能力大大提高。

苏萌表示, 百分点每天获取的数据主要分为两类, 一类是内容和商品基础数据容量, 每天大约在TB级的规模;另一类是一些关于合作伙伴网络上的行为偏好数据, 例如浏览过什么、收藏过什么、购买过什么等数据, 这部分数据大约达到了GB级的规模。“这两类基本是离消费者最近的数据, 可以说是电子商务最核心的数据。”

和线下零售不同的是, 电子商务网站都有非常丰富的顾客历史数据, 包括登录、点击、浏览以及购买等等。如果你把数据放在地下室让它们堆满灰尘, 这些数据就是一项负资产, 它们需要硬件来存储, 需要人员来管理, 却没有任何使用价值。

苏萌表示, 在百分点有两大数据处理平台, 一个是流处理平台, 另一个是批处理平台。前者会处理一些实时性比较高的数据, 例如消费者购买意图或者点击预估数据。而在批处理平台上面, 更多的是做一些基础任务, 例如全网行为的挖掘分析、BI分析、商务报表等, 会按照时间调度来完成。这两个数据平台, 正是个性化推荐和分析运营工具的支撑。

大数据的产品布局

“在大数据时代, 尽管信息将呈爆发式增长, 但数据价值密度非常低, 找到有价值的数据如同大海捞针, 我们将通过什么样的产品平台和方式提炼数据价值, 值得思考。”在2012年百度世界营销分论坛上, 百度商业产品与技术执行总监郑子斌分享了他对大数据时代的见解和看法, 并介绍了未来百度商业产品的规划蓝图。

随着商业环境的变化发展, 营销方式也发生了巨大的变化。郑子斌回顾, “过去, 消费者的数据价值挖掘较弱, 商业产品的视角也停留在一维阶段。而随着大数据时代的到来, 引发了看待营销的新视角, 营销不再只是企业满足自己想法的事情, 消费者需求越来越占据主导位置。商业蓝图从此由一维变为二维。”

郑子斌解释说, 第一个维度, 是根据不同营销阶段和与之对应的企业需求来划分的;而第二个维度是根据消费者足迹来划分的, 即React——用户感受到, Resonate——用户的互动与共鸣, Reach——触动用户并产生购买行动, 这是一脉相承的轨迹。商业产品通过洞察用户数据, 将消费者的需求和行为轨迹更好的反馈给企业, 从而为其营销决策提供依据。

据了解, 作为全球最大的中文搜索引擎, 百度已经覆盖5亿中国网民, 拥有千亿级用户行为数据, 在分析消费者行为与对接企业营销阶段需求方面, 已经构建起相对完善的商业产品布局和蓝图。

“其中最重要的一块仍然是搜索营销。”郑子斌表示。如今百度每天响应约50亿次搜索请求, 一方面基于海量数据洞察用户行为;另一方面百度还拥有数千个行业, 几十万客户, 上亿关键词, 几十亿级的优化行为等海量数据。每个搜索请求都是个性的, 这就要求必须对用户数据进行整合。百度通过定制化“推荐”营销方案, 对不同用户推荐不同营销信息, 提升了营销效能。除了搜索营销外, 百度还在无线推广、受众引擎和社交化营销这重点三个领域进行了产品完善和布局。

谈到百度联盟的“受众引擎”技术, 郑子斌表示, 它聚集海量数据及多重技术的优势, 全面整合受众的兴趣点、搜索关键词、浏览主题词、到访页、网站及再营销6大定向技术, 进而描绘受众自然属性、长期兴趣爱好与短期特定行为, 最终使受众特征全方位立体的呈现出来。“比如我们知道一个用户每天早晨8点半准时到星巴克报道, 那就可以在特定的时间给他推送一些相关的优惠, 既帮助企业做了推广, 同时让用户得到了实惠。”郑子斌做了解释。

另外, 在社会化营销方面, 全新推出的商业产品——“贴吧推广”将成为百度商业布局中的重要一环。郑子斌介绍说, “如今贴吧月活跃用户高达2亿, 月均发贴量超过18亿。从海量社区数据与用户足迹中, 挖掘商业价值, 这将是贴吧推广的产品使命。”据悉, 百度贴吧以兴趣主题关键词聚合“志同道合”者, 此次推出的“贴吧推广”产品, 正是利用其人以群分的平台特性, 和百度特有的智能选吧技术进行目标人群筛选。而广告主可以在筛选出的相应贴吧中, 策划出与网友兴趣点高度融合的贴子, 将品牌信息软性植入其中, 与网友深度沟通。

“营销从来都是与时俱进的, 大数据时代的到来, 要求整个行业都要以新的视角看待营销。”郑子斌表示, “百度在商业产品创新方面, 将同时兼顾消费者洞察和企业营销阶段对接, 满足用户从需求激发到完成购买的同时, 帮助广告主实现不断提升营销效能。”

在大数据时代, 只有运用富有前瞻性的营销智慧才能真正去洞悉系统环境的变化, 进而找到最佳的进化路径。应势而变、因人而熠, 大数据时代要做好足够的应变准备。

1800万

大数据时代的机遇 篇11

阿里巴巴为首的中国民营企业积极创新，不仅带动了成千上万的创业者和小微企业的迅猛发展，也在充分利用和挖掘大数据资源方面做出了一系列有益的尝试。中国政府面临千载难逢的契机，有可能在今后10年里领导人民持续开创举世瞩目的经济增长奇迹！

我们有阿里巴巴那样的鼓励草根创业平台，我们有广东、浙江和江苏那样的社会服务的创新，我们还有来自国际方面的先进经验和竞争压力，我们没有理由怀疑中国在大数据时代引领世界的能力。将这种能力变成现实需要远见卓识的领导，也需要合作的力量。商界、学界、政府和媒体联合起来，全社会的创新精神得以鼓励和释放，我们可以把事情做成，做得更好。

综合2012年年底在清华大学一次会议上与各界针对大数据的研讨与交流，本文从企业以及城市管理两方面来简要介绍大数据未来的发展潜力。

阿里巴巴数据战略

云计算的建立和数据的公开是阿里巴巴为1000万家小企业，1亿电子商务从业者，10亿消费者打造了一个平台。在这个平台上，阿里巴巴集团打通了旗下阿里巴巴、淘宝网、支付宝等公司的资源，打通了整个电子商务产业链。

万通实业股份有限公司董事长冯仑曾经说过，能够构成前瞻力的一定是站在未来安排今天。阿里巴巴集团主席马云正是这样一个人。

早在六年之前，他就已经意识到数据的重要性，尽管当时不明确具体的用途，但他隐隐感觉到：是时候开始了。而这一预见性想法也在今天逐步让阿里巴巴成为数据时代下的佼佼者。

据阿里巴巴研究中心统计，2012年双十一当天，天猫和淘宝共吸引了2.13亿独立用户访问，相当于有四成网民参与了狂欢节。在2012年11日零时37分39秒，天猫1111购物狂欢节支付宝交易额突破10亿元。

根据当天的实时交易量统计，在2分钟时候，支付宝交易就达到1亿，13个小时就达到100亿，这对于服务器有非常大冲击。对于凌晨就守在电脑前面准备抢购的买家来说，很多反应“订单无法登陆无法打开就是付款之后却显示无货状态”。而阿里巴巴研究中心开发出的平台“聚石塔”，保证订单的交易购买过程中的零丢单、零故障。

阿里巴巴集团研究中心研究部专家张婷介绍，这期间聚石塔内的商家很好地完成了任务，其中有6家商家当天的交易额在5000万以上。

不过，阿里巴巴对自己提出了更长远和清晰的定位。引用张婷会上的一段话作为总结：“阿里巴巴现在还远未达到大数据的状态，我们还有很长的一段路要走。在这个过程中我们也是在被业务驱动着跑，业务量大了之后有很多数据沉淀下来，然后我们需要用数据平台去处理一些问题。数据平台推动起来之后，我们希望能够对数据进行研发，然后用数据去推动商业进步。目前，我们正在积极利用大数据来寻找小而美的卖家，鼓励更多的人来到阿里巴巴平台上创新、创业。”

相信，会有更多更丰富的创新不断涌现出来。

智慧城市

大数据今年3月份成为美国战略，并获得2亿美元的来自美国联邦政府的财政支持，与其当年拿出4个亿来支持互联网旗鼓相当。无疑，信息系统以及数据战略对于支撑一个国家的软实力建设至关重要。

随着社会发展，越来越多的城市人口给城市管理和服务带来巨大的挑战，也带来了能源的压力和环境危机。原来以国家为单位的竞争逐渐转变为城市之间的竞争。美国凯特智能决策有限公司亚太事务主任涂子沛着重强调了大数据对于智慧城市的意义何在。

智慧城市是大数据时代下的主要载体。中国与美国比，无疑在很多地方有差距，但若从城市角度出发，特别是从信息技术角度出发，这个时代为我们提供了一个契机，上海，北京，广州实际上完全可以比纽约波士顿要好，时代的竞争慢慢成为城市的竞争。

涂子沛提到，智慧城市首先是一个开放的城市，能够保证信息自由流动，在其基础上才能产生知识和智慧。这不仅仅是一个技术创新，也是社会创新。

例如，2011年10月，美国国家气象局（NWS）在2000辆客运大巴上装了传感器，沿途收集温度、湿度、露水、光照度。而美国国家邮政局（U.S.PostalService）也规划在邮车上安装传感器，在投递邮件时采集社区的空气质量、污染指数和噪声数据。

现在城市的数据开始多元化，主要有三种表现形式。

原来是只有信息系统数据，也就是精确数据。各类信息系统的数据，每一条都有具体的含义和价值。

后来开始有一些社交媒体的出现，他们形成的单条数据可能没有明确含义、确定价值，是由大众产生的数据。这部分数据称之为模糊数据，也就是其价值是有待确认。

第三部分则是指准增值数据，也就是这些数据与大部分数据结合可以产生价值，这部分数据大部分也是公共数据。

数据的价值在于整合，不整合没有价值。中国仍旧缺乏透明详实的公共基础数据，但缺少这些社会基础数据，很多数据就无法有效整合，例如天气、人口、地理、经济发展指标、社会福利等等。而数据开放之责任在于政府。

大数据时代下信息数据安全的探讨 篇12

根据IDC (互联网数据中心) , 预计在2017年将达到530亿美元, 同时Google趋势反映出大数据的关注度, 表明我们已经进入到大数据时代, 所以各国在大数据方面提出了自己的发展部署。2012年3月, 白宫网站发布《大数据研究和发展计划》, 提出将通过收集庞大并且复杂的数字资料, 获得知识和洞见以提升能力, 并协助加速在科学上发现的步伐, 强化美国国土安全。欧盟启动了“未来投资计划”, 总投资3500亿欧元推动大数据等尖端技术领域创新。2013年9月中央政治局以实施创新驱动发展战略为题举行第九次集体学习, 主题之一就是大数据的发展情况。

1 什么是大数据

1.1 大数据的概念

顾名思义, 可将翻译为大规模数据或海量数据, 因为这些数据结构较为单一, 人们还能用传统的技术和方法进行分析和处理, 所以它并不能完全概括大数据的本质内涵。实际上大数据至今没有一个权威性的定义。麦肯锡称:”数据, 已经渗透到当今每一个行业和业务职能领域, 成为重要的生产因素。人们对于海量数据的挖掘和运用, 预示着新一波生产率增长和消费者盈余浪潮的到来”。亚马逊网络服务有一个简单的定义:“大数据就是任何超过了一台计算机处理能力的庞大数据量”。大数据在维基百科中定义为:”所涉及的数据量规模巨大到无法通过当前主流软件工具, 在合理时间内达到管理、截取、处理、并整理成为帮助企业经营决策更积极目的的信息”。综上意见, “大数据”被IDC定义为:为了更经济更有效地从大容量、高频率、不同类型和结构的数据中获取价值而设计的新一代架构和技术, 用它来描述和定义信息爆炸时代产生的海量数据, 并命名与之相关的技术发展与创新。

1.2 大数据的特点

目前, 较为统一认识的是大数据具有四个基本特点:第一, 数据量大。从TB级别跃升到PB或EB级别。第二, 数据类型多。比如视频、博客、图片、音频信息等。第三, 价值密度低。比如在连续不间断监控视频中, 有价值的可能就是一两秒。第四, 处理速度快。有些数据的实时性非常强, 需要很快的速度来处理。

1.2.1 数据量大 (Volume)

这是大数据的基本属性。根据IDC估计, 到2020年, 全球数据使用量预计将达到35.2ZB。使数据规模增加的原因有很多, 首先是迅速发展和应用的互联网, 比如, 社交网络、搜索引擎等网站、传感器及移动网络等都在不停的产生数据, 促使当前数据增长比以往任何一个时期都要快。其次是随着不同传感器获取数据能力的不断提高, 获取的数据也越接近于事物本身, 描述事物的数据量也会增加。最后是采样的样本不断变大, 以前是用少的数据量描述大事物, 这样得出结论可能不准确, 随着技术的发展, 样本数目逐渐接近原始的总体数据, 高数据量带来高的精确性, 可以从更多的细节来了解事物属性, 同时所需的数据量也会显著增多。

1.2.2 数据类型多样 (Variety)

这是大数据的重要特性。当前的数据存储、处理、查询都是基于数据格式统一、事先定义好的结构化数据。但随着互联网快速发展, 涌现出大量的非结构化数据, 由于非结构化数据没有统一的结构属性, 所以在存储时, 不但要存储数据还要存储结构, 这样增加了数据存储、处理的难度。目前人们上网不但要浏览新闻、网上购物, 还要发送微博、视频聊天及上传下载文件等, 那么这些数据大部分是非结构化数据。综上所述, 即将处于主流地位的非结构化数据量已占到总数据量的75%以上, 且增长速度比结构化数据快, 那么数据的分析和处理将面临挑战。

1.2.3 数据处理速度快 (Velocity)

大数据分析区分于传统数据挖掘的显著特征。随着微信、移动网络等信息传播、获取技术的不断发展, 数据的产生也更快速和方便, 产生数据的量也越大, 即呈新摩尔定律式的快速增长, 不断产生的数据也要求有相应的处理速度来匹配, 才能使得大数据发挥有效的作用, 否则快速增长的数据不能给解决问题带来优势, 反而变成一种负担。同时, 网络中的数据是不断变化的, 通常这种数据的价值会随着时间的变化而降低, 如果数据在规定的时间节点内没有得到有效快速的处理, 那么这些大量的数据就失去了其存在的价值。此外, 在许多环境中要求能够实时处理新增的数据, 比如在京东, 亚马逊、淘宝等电子商务网站中, 就具有很强的时效性, 大数据以数据流的形式产生、消失, 且数据量的产生表现形式不是一条直线形式, 而是呈现为波浪式, 这就要求对大数据的处理要快速、实时、持续。

1.2.4 数据价值密度低 (Value)

这是大数据的重要特性。从统计学角度看, 可以对传统的结构化数据进行采样, 然后进行抽象、分析和归纳等处理, 那么在进行采样时, 样本越大, 所得到的统计结果也就越接近于事物本身。但是对于大数据通常是直接采用全部数据, 由于省去了归纳和采样, 就包含了所有的数据信息, 保障了分析结果的可靠性, 但同时也带来了许多无用的信息, 所以大数据关注的非结构化数据的价值密度偏低。如果能将它们“提纯”并迅速处理为有价值的信息, 就相当于掌握了一把能够开启宝藏大门的钥匙。目前, 如何通过强大的机器算法更迅速地完成数据的价值“提纯”, 是大数据时代亟待解决的难题。

2 国内外开展的相关工作

美国政府由于意识到大数据技术的重要性, 所以将大数据看作“未来的新石油”, 把其作为战略性技术进行大力的推动, 于是, 在2012年3月宣布投资2亿美元资金启动“大数据研究和发展计划”, 大力改善和推动与大数据有关的政策, 组织和分析工具和技术, 以提升美国利用收集的庞大且复杂的数字资料, 提炼真相的能力, 协助工程领域创新步伐、加速科学, 转变教育和学习模式, 强化美国国土安全。

国内对大数据的应用主要集中在能源/制造、公共事业、金融等三大领域。2011年12月工信部发布了物联网“十二五”规划, 把信息处理技术作为4项关键技术创新工程之一被提出来, 其中包括了海量数据存储、数据挖掘、图像视频智能分析, 这都是大数据的重要组成部分。2013年11月国家发改委正式批复同意, 国家超级计算天津中心建设“面向新兴产业的大数据处理技术研发与应用”国家地方联合工程实验室。这也是目前国家发展改革委在大数据领域批准的第一家工程实验室。这些都说明了大数据得到了国家层面的充分重视。

3 大数据技术

大数据的核心思想是对数据采集、处理、加工、挖掘、分析等, 把数据资源转化为有价值的信息, 为政府部门、企事业单位和个人创造经济价值和社会价值。

3.1 大数据采集

随着互联网、云计算和物联网的迅猛发展, 传感器、RFID射频、移动设备及社交网络等方式所产生的各种类型的非结构化、结构化的海量数据, 要获取这些数据, 必须要解决针对大数据源的感知、识别、适配、传输、接入等技术。主要是提供大数据服务平台所需的虚拟服务器, 物联网资源和非结构化、半结构化和结构化数据的数据库等基础支撑环境, 重点要攻克分布式虚拟存储技术, 大数据获取、挖掘、分析等操作的可视化接口技术, 大数据的压缩技术、网络传输与大数据隐私保护技术等。

3.2 大数据存储

从海量数据时代开始, 大量数据的长期存储、数据迁移一直都是研究的主题。目前主要存储方式有:存储局域网络 (SAN) 、网络附加存储 (NAS) 、直接外挂存储 (DAS) 和IP SAN等。这几种存储方式虽然是不同时期的产物, 但是各有特色, 数据中心往往是根据要处理的数据对象和自身的服务器数量进行选择。此外, 最近这云端存储非常流行, 其实就是一种虚拟化的存储。所谓虚拟化, 就是将原有的服务器中的硬盘空间划分为若干个独立的小空间, 这样在一台服务器上就可以提供多种存储服务, 既节约存储成本, 又提高了存储效率, 也是异构数据平台的最好选择。

3.3 大数据挖掘

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中, 提取隐含在其中的、人们事先不知道的、又是潜在有用的信息和知识的过程。海量数据挖掘一直是热点和难点, 也是一种决策支持过程, 它主要基于人工智能、数据库、模式识别、机器学习、统计学、可视化技术等, 高度自动化地分析大量数据, 做出归纳性的推理, 从中挖掘出先前未知的并有潜在价值的信息, 帮助决策者调整市场策略, 减少风险, 做出正确的决策。

当前非结构化的数据是按TB级别增长, 以至于达到PB、EB级别, 因此无法使用常规的工具或技术来处理。由于大数据的规模是不断在扩大的, 所以在数据挖掘过程中要考虑其增长带来的影响, 因此, 大数据的挖掘需要采用云计算技术和分布式挖掘, 目前较流行的且适用于各种类型的大数据挖掘工具是Hadoop, 这个工具具有高效、高扩展、高可靠性和高容错率等特点。

3.4 大数据分析

众所周知, 在全部大数据中, 大约有80%是非结构化和半结构化数据, 而被利用的数据很少, 大部分的非结构化数据尚未得到开发利用, 所以最重要的是对大数据进行分析, 只有通过分析才能获取很多有价值的信息。那么越来越多的应用涉及到大数据, 而这些大数据的属性, 包括速度, 数量, 多样性等都是呈现了大数据不断增长的复杂性, 所以大数据的分析方法在大数据领域就显得尤为重要, 大数据分析普遍采用统计方法来进行。统计与分析主要利用分布式数据库, 或者分布式计算集群来对存储于其内的海量数据进行的分类汇总和分析等, 以满足常见的分析需求。

4 大数据面临的机遇和挑战

由于大数据会给企业和组织带来有价值的信息, 所以会形成以大数据为中心的一个完整的产业链, 在这个链上的每个节点即会产生相应的价值。但由于大数据是个新兴的产业, 所以在技术不成熟, 人才稀少及安全方面都会有一定的挑战。

4.1 机遇

大数据打破了传统信息体系架构, 将数据仓库转化为具有信息共享和连接、流动的数据池。大数据技术使人们可以利用非结构化的数据类型, 分析出有价值的信息, 从而使企业组织更加高效和智能。

(1) 大数据的应用和挖掘成为核心, 将从多个方面创造价值。大数据从采集、传输、存储, 一直到数据的挖掘和应用, 在这一系列的过程中, 会产生出多个方面价值, 这将会影响企业未来的运营模式。

(2) 在大数据使用中, 安全尤为重要, 这为企业带来发展契机。随着移动互联网、物联网等新兴IT技术迅速发展, 有价值的数据无处不在, 这对信息安全提出了更高要求。同时, 基于大数据领域出现的产品与技术将为安全分析提供新的可能性, 信息安全贯穿于大数据产业链的各个环节, 这将推动信息安全产业的大发展。

4.2 挑战

大数据发展在面临重大机遇的同时, 也面临一些挑战。

4.2.1 信息安全问题

目前, 人们生活越来越多地与互联网发生关联, 每天产生大量的数据, 如何防止非法用户对数据被篡改或窃取, 这不是一个防火墙就能满足安全要求的, 而目前中国相关法律法规还存在许多空白, 互联网监管还存在一些漏洞, 所以必须采取专门针对大数据的安全保护措施, 以满足大数据应用带来的新的安全需求。

4.2.2 人才和技术问题

设计和实施大数据解决方案, 需要专业化技术和工具, 包括建模、统计学、自然语言处理和可视化技术。目前, 我国数据产业发展仍然存在一些短板, 如核心技术缺失, 相关工具软件少, 复合型人才匮乏, 政府数据开放程度低等。大数据产业的发展, 不能光靠炒概念, 而是要遵循市场规律, 努力的把短板补上。

4.2.3 数据存储的问题

目前, 所产生的数据量正呈新摩尔定律增长, 但就数据的保存和管理来说, 目前的技术改进并不大, 而数据的易失性风险却在增加。大数据的存储将会是一个非常严重而现实的问题, 但最后还是要依赖于硬件进行处理和计算的, 所以硬件的更新换代将是大数据发展的基础。

5 结束语

随着人们对大数据的认识不断提高, 数据也将被越多的企业当作一种无形的资产, 那么与大数据相关工具的研发也将受到企业的重视, 处在大数据产业链中各个结点也将受益, 也将逐步提高自身的素质及服务水平。

摘要：随着移动互联网、便携设备和云计算技术的发展, 人类社会进入了“大数据”时代。人类产生、获取、处理和存储的数据量正以指数级别增长, 这样改变人类的生活、工作和思维方式。伴随着机遇和挑战的同时, 也有大数据本身安全问题, 如何解决这些问题, 并挖掘出有价值的信息是具有十分重要的意义。

关键词：大数据,数据挖掘,关键技术,信息安全

参考文献

[1]马建光, 姜巍.大数据的概念、特征及其应用[J].国防科技, 2013.

[2]严霄凤, 张德馨.大数据研究[J].计算机技术与发展, 2013.