大数据特征

大数据特征（共12篇）

大数据特征 篇1

1.容量大 (volume) 。大数据时代, 数据存储量往往以TB、PB、甚至ZB来衡量 (1ZB等于1万亿GB) , 传统的信息处理单位已不能满足实际需求。以银行为例, 相对于其他多数行业, 银行系统数据量可谓庞大, 单一系统数据从数百GB到数十TB不等;但以Google为代表的互联网公司所需处理和分析的数据量可以达到数千PB (1PB等于1024TB) 。

2.多样性 (variety) 。数据多样性可分为格式多样性和来源多样性。格式多样性是指数据不限于传统的结构化数据, 还包括音频、视频、微博、邮件等半结构化和非结构化的文本、行为数据;来源多样性是指数据来源的渠道大大拓宽, 可来自电子商务、网络点击、社交网络、卫星定位系统等。

3.速度快 (velocity) 。数据的产生和更新频率很快, 对数据的创新、处理和分析速度持续加快, 实时性特征突显。

4.价值高 (value) 。挖掘大数据的价值犹如沙里淘金, 从海量数据中挖掘稀疏但极具价值的信息, 使人们对事物规律的认识更关注个体特征, 充分满足个性化的定制需求, 有效降低了长尾市场的专注成本, 蕴含巨大商业价值。有机构预测, 大数据应用将使美国零售业净利润增长60%, 可使制造业的产品开发和组装成本降低50%。

大数据特征 篇2

大数据的特征、价值及在政府中的应用

胡 毅

摘 要：海量数据的浪潮正呼啸而来，被推向大数据前线的，远不止是商业为目的的众多企业，同时也有公共服务为目的的政府机构。与前者类似，政府在履行其职责——管理社会的过程中，正面临着越来越大的挑战，但在另一个角度上看，如果合理应对和运用这些数据，也必将为社会管理带来巨大的好处。

关键词：大数据特征 政府 应用

Big Data characteristics, value and application in

government

Hu Yi Abstract：Massive data are roaring waves, big data is pushed to the front line, far more than a business for the purpose of many enterprises, but also a public service for the purpose of government agencies.Similarly with the former, the government in fulfilling its responsibilities-management of social process, is facing increasing challenges, but in another point of view, if a reasonable response and use of these data will also provide management with social to huge benefits.Keyword ：Big Data Characteristics government applications

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数 大数据时代来临[1]据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”

所谓的大数据最直白的理解是海量数据，通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费很多时间和金钱。调研机构IDC认为，某项技术要想成为大数据技术，必须满足IBM所描述的三个“V”条件，即多样性(Variety)、大容量(VoIume)和时效性高(VeIocity)。

我们可以通过一组形象的数据来了解大数据的容量。一项对531名独立OracIe用户进行的调查发现，90%的企业的数据量在迅速上涨，其中 16%的企业的数据量每年增长率达到 50%或更高。不少企业已经感受到失控的数据增长对绩效造成的冲击，其中 87%的受访者将企业的应用程序性能下降归咎于不断增长的数据量。调研机构IDC在2011年6月的报告则显示，全球数据量在2011年已达到 1.8ZB，在过去5年里增加了5倍。

1.8ZB是什么样的概念呢？如果把所有这些数据都刻录存入普通DVD光盘里，光盘的高度将等同于从地球到月球的一个半来回也就是大约72万英里。相当于每位美国人每分钟写3条 Twitter微博，而且还要不停地写2.6976万年，是不是很恐怖？这还不是最恐怖的，IDC还预测全球数据量大约每两年翻一番，2015年全球数据量将达到近8ZB，到2020年，全球将达到35ZB。

2011年全球产生的数据量达 1.8ZB，并且预计将每年翻番。这一数据量相当于2000亿部时长2小时的高清电影，一个人要连续看4700万年才能看完。

通过形象的举例，也许你会感觉到恐怖，感觉到头都快爆炸的感觉，这么大的数据到底该怎么入手？具体到每一条数据，它都有它自身所承载的数据内容，反应的事物或者现象当然也是各式各样。但是我们从宏观上来看，数据并非是杂乱无章的，它也有他们的共同的特点和规律。

一、大数据的特征

大数据是指大量、高速、复杂、变化不定的数据，需要用先进的方法和技术实现信息的收集、存储、分配、管理和分析。

体量大、类型多和速度快是大数据的显著特征。目前，15%的信息是结构化信息，便于存储在关系型数据库中。电子邮件、视频、呼叫中心对话和社交媒体等非结构化信息占85%，这对于运用常规的业务情报工具来提取有意义的信息造成了挑战。传感器、平板电脑和移动电话等产生信息的设备继续成倍增加。随着全世界的联系更加紧密，社交网络也在加速发展。这些共享信息的选择意味着公众、政府和企业间互动方式的根本转变。

从大数据的特征来看，数据源增加、传感器的分辨率提高，使得大数据的体量大。数据源增加、数据通讯的吞吐量提高、数据生成设备的计算能力提高，使得大数据的速度快。移动设备、社交媒体、视频、聊天、基因组学研究和各种传感器使得大数据的类型多以数据为基础的决策要可追溯，要有理有据，这使得大数据还应具备准确性的特征。

大数据的这些特征将决定政府在大数据业务和整个大数据生态系统中收集、分析、管理、存储及分配数据的方式。

二、大数据的大价值

巨量数据正在成为一种资源，一种生产要素，渗透至各个领域，而拥有大数据能力，即善于聚合信息并有效利用数据，将会带来层出不穷的创新，从某种意义上说它代表着一种生产力，麦肯锡认为，“人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”

大数据将带来此起彼伏的IT技术革命。为解决日益增长的海量数据、数据多样性、数据处理时效性等问题，一定会在存储器、数据仓库、系统架构、人工智能、数据挖掘分析以及信息通讯等方面不断涌现突破性技术，当今世界IT巨头、IT敏锐的创新者们正努力耕耘在大数据技术领域，大数据将成为IT的主战场。

大数据将在各行各业引发各类创新模式。随着大数据的发展，行业渐进融合，以前认为不相关的行业通过大数据技术有了相通的渠道，沃尔玛通过数据挖掘将风马牛不相及的“啤酒与尿布”联系在一起，大数据将会产生新的生产模式、商业模式、管理模式，这些新模式对经济社会发展带来深刻影响。

大数据将给人们生活带来翻天覆地的变化。大数据技术进步将极大地惠及人们生活的方方面面，在家有智能管家帮助你美好生活；外出购物，商家会根据你的消费习惯将购物信息通过无线互联网推送给你；外出就餐，车载语音助手会帮你挑选餐厅并告诉你即时的周边情况和停车状况。衣食住行的便利将无处不在。

大数据将提升电子政务和政府社会治理的效率。大数据的包容性将打开政府各部门间、政府与市民间的边界，信息孤岛现象大幅消减，数据共享成为可能，政府各机构协同办公效率和为民办事效率提高，同时大数据将极大地提升政府社会治理能力和公共服务能力。

驾驭大数据，在整个政府和全球经济中创造价值，其影响是广泛而深远的。

政府善政的许多重要原则与大数据有相通之处。从根本上说，大数据能够通过改进政府机构和整个政府的决策，使政府机构更加英明地提高政府工作效率，为利益相关者服务。利用各种渠道的各种数据，快速获得关键、准确的深刻见解，将显著改进政府的各项关键政策和工作。

我们可以从下面的例子看出大数据的价值和大数据的重要性，2012年5月10日，马云卸任CEO，早在卸任前，马云已经为阿里巴巴的未来定下了很清晰的架构，包括将公司拆分成25个事业部，按照平台、数据、金融三大方向调整集团发展方向；而近期阿里巴巴大手笔收购新浪微博、高德地图等举措，也传递出阿里集团正在填补产业和产品空缺，积极布局大数据时代下的新市场。

卸任演讲中，“大数据”同样是焦点。马云说：“这是一个变化的时代——还有人没搞清楚PC(个人电脑)，移动互联网来了；还没搞清楚移动互联网，大数据就来了。”

至于马云的接任者陆兆禧，更是无独有偶——原集团首席数据官。

马云曾经说过，现阶段的电子商务只能是“前传”，仅仅释放了电子商务的部分能量；而电子商务的“后传”将全面渗透到各行各业、各个角落、各个业务流程，全面推动行业、企业、经济的转型，更深度地渗透到各个领域。不论是融合还是整合，“数据”既是基础，也是渠道。

事实上，在阿里巴巴集团的发展中，一直都很重视数据的重要性。例如，集团很早就成立了研究中心，不定期地发布各种基于产业数据的报告。在最新一份报告、即5月9日发布的《增长极：从新兴市场国家到互联网经济体——信息经济前景研究报告》中，就基于数据，首次提出了“电子商务经

济体”的概念，详细分析了以淘宝网为代表的中国电子商务经济体给中国经济带来的巨大 变化，并且判断，到2020年，中国电子商务经济体规模预计达到47.8万亿元，接近2012年中国全年GDP总额。与此同时，阿里旗下的淘宝、支付宝、聚划算等平台，也各有自身的数据分析中心。这些数据分析中心一边在出具类似“最受欢迎的夏季服装是什么”、“‘舌尖上的中国’带动哪些产品”等生活类、趣味类数据分析报告；另边也在捕捉市场变化、判断市场走向，并且将结果作为卖家以及上游生产企业的发展和创新依据。

毫无疑问，大数据时代中的阿里巴巴将进一步利用数据的力量，拓展市场。多年前，B2C(企业对个人)还是电子商务市场最为流行的模式，因为它让很多企业有了直接面对消费者的机会；可在那时，阿里巴巴就预测，在B2C之后，就是C2B(个人决定企业)的市场——而这，既是基于分析数据的基础，也是对数据的重新利用。相信未来，阿里巴巴旗下众多平台上的交易数据，将成为一个个全新的产品。

越来越多的中国人习惯了用智能手机搜索附近的美食、查找交通线路，上网选购物品，不停地登录社交网站记录生活的每一个瞬间。也许，他们并不知道自己已经成为“大数据”时代的忠实“粉丝”。

“在信息技术融合应用的新时代，大数据就是像黄金一样的新型经济资产、像石油一样的重要战略资源。”中国科学院院士邬贺铨在不久前召开的“宽带中国与光纤通信”高峰论坛上说，随着移动带宽技术的迅速提升，更多的传感设备、移动终端随时随地地接入网络，产生了大量的数据，并且仍在以惊人的速度迅猛增长。

“在云计算、物联网等技术的带动下，中国已步入‘大数据’时代。”邬贺铨介绍说，过去短短的18个月，中国移动互联网流量增加了10倍，占到全球互联网流量的10%成为名副其实的“世界数据中心”。

利用智能手机、计算机、平板电脑等各种现代通信工具，现代社会人们不停地在向分布在全球各地的服务器发送数据、获取数据。这些服务全依赖于“大数据”的支撑，其背后所涉及的定位、资料检索、存储、数据交换等一系列复杂的数据处理，正在对每一个领域造成深远的影响。

邬贺铨说，我们正在进行一场全新的革命，庞大的数据带来的量化转变将在各领域迅速蔓延，没有哪个领域能够逃脱它的影响。

据有关机构测算，大数据已成为全球ＩＴ产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元，2015年将超过170亿美元，平均年增长速度超过50%。作为全球大数据产业的重要组成，中国大数据潜在市场规模未来有望达到2万亿人民币。

身处“大数据”时代，中国正多方位布局“大数据”产业，各地政府、通信公司、科研院所、ＩＴ企业等都“摩拳擦掌”，希望能在这个大蛋糕里分到“一杯羹”。

2012年4月，中国移动、中国联通、中国电信三大运营商不约而同地落户西安西咸大数据处理与服务产业园，这是中国首家以大数据业务为中心的高新园区。投资20亿元的中国联通项目已经签订合作备忘录，分三期建设西北大区数据中心、呼叫中心和西咸新区运营中心。

7月，全球知名电子商务品牌阿里巴巴集团在管理层设置了“首席数据官”一职，管理“聚石塔”――一个大型的数据分享平台，它通过共享阿里巴巴旗下的子公司淘宝、天猫、支付宝等的数据

资源来创造价值。同样的平台模式也出现在中国另一家的互联网巨头――腾讯，腾讯正通过建立社区开放平台来实现大量的数据互通，以挖掘更大的商机。

三、大数据的应用现状

（一）大数据已经深耕于经济领域并创造了巨大的经济价值

一是美国的大数据产业已经创造了巨大的价值。医疗。对于医疗服务的提供方和支付方来说，在减少医疗成本的同时不断提高医疗质量和效率仍然是一个难以实现的目标，而这也是改善民生的重大机遇。2010年，全美医疗支出占国内生产总值的17.9%，比2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的医疗资源。对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在广大人群中取得最有效的医疗效果，更多地使用电子健康记录（电子健康档案），并与新的分析工具相结合，将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋势，并依据真实的医疗服务质量开展医疗评估。

交通。通过完善信息和自动驾驶功能，大数据有可能在许多方面彻底改变交通的面貌。开车的人多，交通堵塞就多，其后果是浪费能源，造成全球气候变暖，耗费时间和金钱。手持设备、车辆和道路上的分布式传感器则可以提供实时交通信息。这些信息，再加上更好的自动驾驶功能，可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的新型交通生态系统有可能彻底改变道路使用方式。

教育。大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如，通过深入地跟踪和分析学生的在线学习活动——精细至每个鼠标点击动作，研究人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进行，而不是孤立的小型研究。课程和教学方法，无论是在线的，还是传统的，都可以根据大规模分析所收集到的信息进行修订。

征税。由于迅速发现异常的能力日益增加，政府税务部门可以缩小“税收缺口”，即纳税人应付税款与其自愿缴税额之间的差额，并且对于那些试图进行不当纳税申报的人，会深刻地改变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下，它们接受纳税人的纳税申报单并办理退税，并对一部分纳税申报单进行抽查，以找出有意或无意欠税的情况。大数据则能够提高欺诈检测的水平，在纳税申报之初就揭露违规情况，减少问题退税的发放。资料表明，在医疗领域每年产生3000亿美元的潜在价值；在公共管理部门，每年产生2500亿美元的潜在价值；在个人位置数据领域，每年产生1000亿美元的市场；在零售业能够增加60%的营业额；在制造业部门，能够降低50%的产品开发及装配成本。二是大数据在欧洲公共管理部门得到深入应用。大数据在OECD组织中的欧洲国家公共管理部门创造了1500到3000亿欧元或更高的潜在经济价值，这些经济价值主要通过政府公共管理机构开支的减少、转移支付的下降及税收的增加来实现。三是全球大数据人才需求将上升并且出现供需缺口。Gartner咨询公司预测，到2015年，大数据人才需求达到440万人，人才需求缺口将达到三分之一。

（二）欧美等发达国家把数据资产上升到国家信息战略高度

一是美国已经布局大数据产业。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油与矿产”，将“大数据研究”上升为国家意志，对未来的科技与经

济发展必将带来深远影响。二是欧盟及日韩将会紧随其后。继美国率先开启大数据国家战略先河之后，欧盟、日本及韩国等国家也将跟进，预计不久相应的战略举措也将出台。数据规模及运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间争夺的焦点。

（三）我国大数据产业应用现状

在全球经济、技术一体化的今天，我国IT行业已经开启了大数据的起航之旅，大数据已经在经济领域发挥重要作用。据计世咨讯预测，2012年，政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的应用现状如下。

1、大数据在经济预警方面发挥重要作用

在2008年金融危机中，阿里平台的海量交易记录预测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警，为预防危机做好了准备。

2、大数据分析成为市场营销的重要手段

与传统的市场研究方法不同，大数据的市场研究方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具，帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息，根据百度分析的结论，宝洁适时地调整了营销策略。

3、大数据在临床诊断、远程监控、药品研发等领域发挥重要作用

我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避免过度及副作用较为明显的治疗，此外还可以利用这些数据进行实现计算机远程监护，对慢性病进行管理等。

4、大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台，导入客户社交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析，进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销管理。

当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义。

中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。

四、当下我国大数据建设应在以下四个方面着力

一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。

二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。

三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。

四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

作者简介：

姓 名：胡毅

工作单位：山西省夏县统计局 职 称：助理统计师 身份证号：***010 通讯地址：山西省夏县东风西街14号夏县统计局 邮 编：044400 联系电话：*** 电子邮件地址：huyi63@126.com

个人简历：2005.09——2009.07 运城学院

2009.07——2011.07 运城市公安局

大数据时代消费者需求特征的演变 篇3

【摘 要】从大数据时代背景出发，通过建立网上个人IP的概念模型，在此基础上分析消费者需求特征的具体演变。针对消费者需求特征的新涵义，尝试从政府、企业和消费者三个方面出发，给各方提出相应的建议以正确处理大数据的新时代背景下出现的挑战与机遇。

【关键词】大数据；个人IP；消费者需求特征

大数据的概念最早在《大数据时代》一书中被提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。根据IBM的观点，大数据有5V的特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。Volume（大量）是指产生的数据的量越来越多。据统计，2013年仅我国新增的数据量就超过0.8ZB。

自从大数据的概念被正式提出，关于这方面的研究就出现了井喷现象。然而与消费者相关的大数据研究所占比重不大，与消费者需求特征相关的研究更是屈指可数。消费者作为市场经济中的主体，根据凯恩斯的经济理论：在经济处于萧条时期时，需求决定了供给。虽然凯恩斯的理论有一定的局限性，但在现实生活中，如果每个人由于某种原因都抑制自己的需求，必然会导致厂商的非意愿性存货的增加，从而减少供给。显然，消费者的需求对经济有很大的影响，而消费者需求特征是对所有消费者或者大部分消费者的需求特点的总结，只有厘清消费者需求特征，才能更好地了解消费者，才能更好地为消费者提供服务，同时也能实现企业自身的价值。

随着网络环境的清朗，注册制逐渐成为一大趋势。不论是移动终端，还是各类的网站、APP，填写个人信息已经成为必不可少的一个环节，而且所填的信息越完善，相应地会赋予我们更多的权限。以APP的注册制为例，其中基本信息主要包括姓名、性别、年龄、电话号码、身份证号和银行卡号等，虽然不同的APP要求填写的信息有所不同，但是一方面随着信息在不同APP上的完善，逐步可以确定是同一个人；另一方面，如果两家公司合并或者是用户的资料形成共享，在一家APP填写资料时，其实两家APP公司已经实现了共享机制。沿着这个思路，当消费者在多家APP上的信息都得到一定程度的完善后，某家APP公司就可以利用已掌握的消费者信息进行相似关联查找，发现其在其它APP上的消费或者使用情况。另外，一种可能是，当政府以其强制力要求每个APP公司都提供其用户信息时，政府可以将每个人散落在不同APP上的信息进行汇总，建立个人的数据库，将每一个人在网络上留下的痕迹都记录。2013年9月起，中国将正式实行手机实名登记，此后，以手机号码为中心的一系列信息都进行了捆绑，可以说，只要知道一个人的手机号码，在不考虑个人隐私权的前提下，其所有信息暴露无遗。而在信息进行捆绑后，更是“牵一发而动全身”。当个人与企业或政府就隐私权方面以及信息的使用方向达成一致时，就可以形成“牵一发而动全身”的信息系统。换句话说，消费者在网络上都有属于自己的一个IP地址，其所有的行为形成的数据都可以在这个IP地址中进行汇总。可以建立时间、空间和数据的三维坐标，将数据存储在其中，同时也可以用二维坐标将其分解，更强调时间上的连续性、空间上的同时性，这就是个人网上IP地址的概念模型。

一、传统的需求特征在大数据背景下的新涵义

大数据时代的到来，将带给消费者海量的信息。消费者本身不仅可以从海量的信息中获取信息，以了解所需产品的性能等各方面的参数，还可以不同的渠道来满足其自身需求。从信息收集、信息关注、信息理解到信息保留的整个信息处理机制，都受到了巨大的影响和冲击。进而对将信息转化为需求的满足过程产生影响。

1.差异性。消费者需求的产生主要取决于消费者自身主观状况与消费者环境两方面的因素。在消费者自身主观状况方面，年龄、性别、偏好、心理、个人经历等都是影响因素；在消费者环境方面，支付手段、天气、技术进步、地域分布等都是影响因素。传统的对消费者需求差异性的划分指标通常是其中一个影响因素或者多个影响因素的组合，虽然在一定程度上能体现出消费者的需求特征。但在大数据时代下建立个人IP概念模型后，每个人的每一种需求特征的影响因素可以说都融进了个人账户，在这些信息的基础上绘制的个人需求概念曲线从理论上说是各不相同，主要体现为时间纵向上的不同和空间横向上的不同。可以预见，在技术支撑的前提下，差异化的特征会被强化，朝着定制化、独特性的方向发展。

2.发展性。根据马斯洛的需求层次理论，消费者可能同时存在生理、安全、社交、自尊和自我实现的需求，但对每个层次需求的程度不同，通常先满足层次低的需求，再满足层次高的需求。在初始阶段，在满足低层次需求时，以食品为代表的生活必需品应该是消费者的主要需求，其它的需求相对来说较少。但随着经济的发展，家庭的财富和收入都会增加，这时会激发更高层次的需求，而相应的是消费者通过一系列的产品或者服务来满足这种需求。根据恩格尔的观点，恩格尔系数越小家庭的生活水平越高。信息的掌握者就可以准确判断出目前你的需求层次，从而进行精准化的推荐于服务，从而突破传统营销方法不可避免的盲目性与歧视性。

3.伸缩性。人们对产品的数量和质量的需求会随着一些因素的出现或变化而产生变化，这种变化程度就是伸缩性。大数据时代到来之前，人们获得信息的渠道有限，因而获得的信息数量、质量以及及时性都打了折扣，信息的不对称性很明显。大数据时代的到来，消费者不仅仅是数据的产生者，而是地位逐渐转变为生产者与使用者的结合体。消费者能够快速、准确地获取所需要的信息以及表现整个社会环境变化的信息，他们不再是被动地被满足需求，不再是取决于营销人员的主动性，而是充分发挥自己的主观能动性以积极应对环境的变化、自我心理和偏好的变化。在从外部获取足量信息后，消费者分析并结合自身的因素，最终作出是否有需求、需求有多少、如何满足需求的一系列决定。因而在整个过程中，消费者的需求会更加有弹性，消费者能通过自己对数据的分析随时调整需求。

4.周期性。消费者的需求得到满足后会在一定时期消失，但由于消费者个人主观因素和产品本身的生命周期，消费者的这种需求会在一定时间后再次出现，其中的时间间隔即一个周期时长。消费者需求满足渠道大概是品牌效应、消费者体验、消费者之间的互动这三种。对于一些高端耐用品，周期性会让消费者更注重品牌效应。一方面其使用时间长；另一方面还有可能是奢侈品，前者需要质量作保证，而品牌往往就是质量的一种保证；后者的需求本身就是品牌。而其它的一些生活用品以及一些新产品更注重后两者，虽然更加注重消费者体验和消费者之间的互动，但一些生活用品的使用与消耗是有相对固定的时间的，当某种生活用品消耗完必然出现了新的需求。当一个周期结束时，对于原有品牌来说，可以利用已有的数据更好地满足新需求；同时，对于其它品牌来说，也是其推荐产品德好时机。可以说，在周期性愈加显著的今天，品牌效应的影响逐渐缩小，性价比将会回归其应有的地位。

二、数据时代消费者出现的新需求特征

通信技术的发展，移动终端设备的普及，云存储技术的兴起，消费者的广泛参与创造了大数据时代。消费者在创造大数据的同时，大数据也影响了消费者的行为，影响了消费者需求特征。在大数据时代，消费者需求呈现出新的特征。

1.连续性。网上个人IP的概念模型建立后，个人IP地址成为各种各样的个人信息的集散地，一方面信息可以汇总到n维的对应坐标，也可以拆解为低维有针对性研究的坐标。一方面是对这些信息完成了存储；另一方面当某个阶段无数据录入时，可以将时间轴压缩，以看到长期的变化趋势，也可以保持时间轴不变，将无数据看作周期的一段，以了解短期的具体细节。

2.可预见性。预测是大数据最核心的科学问题。目前学术界主要关心两类预测问题，一是预测趋势；二是缺失信息预测[1]。在已绘制的消费者个人需求曲线上，根据消费者需求的差异性、发展性、伸缩性和周期性，可以预测出下一阶段曲线的基本走势。尤其是发展性和周期性，因为发展性整体会表现出曲线的整体上扬，辅之以周期性，意味着上扬的同时会存在上下波动，可以根据以往波动的峰度等特征进而预测下一次波动的谷底等重要特征。

3.满足的及时性。由于消费者在主观能动性的加强，当消费者出现一项新的需求时，如果没有被满足，消费者会主动寻求所需的产品或服务满足需求，这个时候对于企业来说，其实是丧失了一种主动推销自己的机会。如果企业能够提前或及时了解到消费者需求的出现，然后主动地向其进行相关产品的推荐，这样不仅抓住了主动性，给消费者一种贴心的感觉，也先于其它企业接触到消费者。一旦丧失这样先入为主的机会，要再想获得消费者的青睐，给消费者同样的满足感，往往需要更大的代价。

三、大数据时代对社会各主体的建议

在大数据时代，社会各主体需要采取相应的措施才能适应社会的变化，才能在变化中保持自己的主体地位。

1.政府。首先要充分认识到云计算和大数据将共同引领以数据为材料，计算为能源的又一次生产力的大解放，充分认识到数据将成为未来的“石油”的重要战略意义。其次个人IP的建立需要以政府为主导进行，政府需要搭建一个消费者数据平台，需要将各种信息都汇总到这个平台进行存储，而其中消费者数据的分析则应该将其市场化，由企业依据其需求与此平台进行一系列的交易。此外，对于大数据的使用范围、大数据所涉及的隐私问题等，政府需要出台相关法律规定对一些行为做法进行制度化设计。

2.企业。研究表明，维系一个老客户要比吸引一个新客户所花成本低得多。因此企业首先要做的就是注重老客户的数据积累，利用公司的数据库为其建立IP，这样就可以更好地服务老客户，维系老客户。此外，共享是大数据的特点，各商业企业只有把自己手中掌握的数据贡献出来，才能真正形成大数据并发挥作用，企业之间的相互合作必将是未来的一大趋势，共享必是未来的一大特点。然而企业在共享数据的过程中，要考虑到消费者的个人隐私问题，尤其在目前相关法律规定缺失的灰度时期，更要注重这类敏感问题的处理。只有切实为消费者服务，切实为消费者考虑，企业才能持久地生存与发展。

3.消费者。由于消费者获取信息的渠道在增多，获得的信息量在爆炸，消费者要增强自己辨别信息真伪的能力，要能在众多的信息中得到相对客观的评价。其次，作为数据的创造者和使用者，数据的真实性直接影响到后续数据的使用，进而影响为消费者服务的质量和服务的精确性，因此只有消费者创造真实的数据，才能从根本上提高服务的效率与质量。最后，消费者要主动地满足自身的需求，要把自己的个性化想法融入到消费中，这样才能做真正的自己，真实的自己。

四、结论

大数据时代对消费者的行为方式和需求特征产生了深刻影响，需求特征的演变是消费者需求的预测、出现、满足方式变化的体现。而网上个人IP的概念模型可以记录完整的数据信息，辅之以云计算等非结构数据的计算方法，个人IP模型是应对消费者需求特征的变化，更好地满足其需求的一种途径。然而，本文只是网上个人IP模型的提出，其中的技术性和经济性问题还有待研究，另外大数据应用本身存在的隐私问题也目前也是一个难题，而本文默认数据的真实性和客观性，与实际情况存在一定差距，关于大数据对消费者的影响还需要进一步地研究。

参考文献：

[1]周涛.网络大数据——复杂网络的新挑战：如何从海量数据获取信息？[J]电子科技大学学报，2013（10）.

[2]周涛.大数据1.0版本，2.0版本和3.0版本颠覆性变化下的商业革命[J]人民论坛，2013（15）.

大数据特征 篇4

1 大数据时代特征分析

大数据时代的到来，标志着人类对计算机互联网技术的应用实现了实质性进步，与以往时代所不同的是，大数据时代具有自身特征，其主要表现为：首先，其整体数据量极大，与以往信息时代不同的是，大数据应用的前提就是收集庞大的数据信息，因此，其存储数据的计算量远超过了当前的计量，其基本上使用的都是P/E/Z做计量单位，起码存储在1000T以上，甚至高达10亿T。

其次，其特征主要表现为种类繁多、内容多样。尤其是整个大数据体系中不仅包含了各个行业的信息，同时其收集形式也极为多样，从文字、图片到音频、视频等等，基本上囊括了整个时代的各个信息链条和内涵。正是数据信息的多样化和多元化决定了我们可以通过使用大数据实现对整个数据资源的体系化认知，同时这也从根本上提升了我们对数据的处理和应用能力，使得整个数据分析更有参考价值和意义。

此外，随着当前大数据应用不断成熟，如今数据价值密度相对较低，尤其是在物联网广泛应用影响下，信息感知应用极为广泛。虽然当前大数据时代，整个数据量大，但是有价值的数据较少，其整体价值密度不大，因此如何才能有效完善数据筛选，优化其价值应用，就是当前利用大数据平台过程中所不可忽视的内容。

最后，我们应该认识到大数据时代的重要特征还表现为数据处理深度快，且对数据处理有较高的时效性要求。正是高速的数据处理速度和处理时间要求，决定了当前大数据开发应用不同于传统数据筛选应用。但是我们应该辩证看待大数据平台的优缺点，尤其是当前我们所具备的技术和设施已经无法满足海量信息数据的处理，可以说正是快速发展的时代要求决定了我们必须优化信息数据利用方式，构建完善的数据应用平台和机制。

2 当前大数据分析平台应用内涵及具体状况分析

想要对大数据分析平台应用要求进行体系化认知，就必须清楚大数据分析的定义内涵、应用过程中存在的问题和不足以及其具体的解决对策。只有对其形成体系化了解，才能从根本上服务大数据分析平台建设、应用。

2.1 大数据分析的定义

结合大数据结构复杂，数据更新速度快、价值密度低、整体数据量大等一系列特点，当前我们在应用大数据时，存在较大难度，而全面应用大数据的关键就是实施大数据分析，通过完善大数据分析的具体定义认知，从而构建合理的大数据分析平台。实际上，大数据分析指的是在数据密集的环境下，通过使用科学分析的方法，对数据应用进行重新思考，并完善构建全新数据分析应用模式。大数据分析认为其分析应用过程并非技术上的应用，而是一种具体的使用策略，其核心内涵指的是通过使用一种相对以往更有效分析方式来管理、获取海量数据的方式，并且在这一过程中获取有价值的信息。结合当前大数据应用实际状况，我们可以认为，大数据分析指的是：依据数据生成理论，通过构建大数据分析模型，从而结合集成化大数据分析平台，使用云计算技术完善分析数据资源，并且最终探究出大数据模式背后规律的过程。

2.2 大数据分析方法阐述

目前大数据分析的重要内容是可视化分析，通过集成交互可视化和自动化分析，从而提升大数据分析方法的应用效果。从大数据分析系统架构层面看，整个大数据分析具有9层架构体系，尤其是其中的复杂结构处理技术、平台应用标准规范和虚拟化接入技术以及其知识服务交易模型和大数据知识服务质量评价体系等共同组成了大数据分析服务的关键技术应用机制。在传统数据分析过程中，其更多针对的是原始数据进行抽样、过滤，并结合数据样本分析，从而探究其中存在的具体规律和特点。因此，其中最重要的特点在于通过使用复杂算法能够从体系化的数据中寻找到更多有价值的数据信息。在当前计算水平和存储能力大大提升过程中，大数据分析所面临的对象是整个动态变化的数据群体，而不是客观不变的数据样本，因此其大数据分析的应用重点从高效解决收集到的信息入手，只有提升数据运算的准确性，才能够没满足大数据分析的应用要求。

2.3 大数据分析过程中存在的问题阐述

正是因为当前大数据时代的迅猛发展，整个大数据分析过程中存在着一系列问题和不足，其大大制约了大数据分析的应用效果，其问题集中反映为：首先，想要实现精准的大数据分析，需要解决其大数据存储问题，与以往相比，大数据时代，其整体数据存储远远超过了传统数据时代，而想要实现其数据分析目的，就必须完善数据存储。而目前在大数据时代，整个数据存储并不是静态的，而是动态发展的，因此只有探索完善适应大数据存储的具体机制，才能实现其最终目的。其次，大数据质量不高，分析利用难度大。因此，需要探究增强数据可用性的方法。此外，大数据分析的核心在与数据建模。但是当前由于建模水平较差，暂时很难结合大数据时代特征，完善建模应用。最后，缺乏专业的大数据分析工具。在传统数据分析过程中，经常使用SPSS等软件进行数据分析，但是在大数据时代，缺乏能够完善有效的数据分析工具。因此，结合大数据时代特征，构建大数据分析平台，对于整个大数据时代应用发展来说，极为必要。

3 构建研发大数据分析平台的具体策略

在大数据分析过程中，最需要探究的就是其分析方法。分析方法的好坏直接关系到大数据分析应用的具体结果是否合理有效，同时也关系到其数据分析结果是否切实有用。而不同类型的大数据则需要截然不同的分析方法。而在构建大数据分析平台过程中，需要从以下方面入手：

首先，要结合大数据分析应用的具体要求，完善数据存储技术。当前增速惊人的大数据决定了我们想要实现大数据分析目的，就必须探索完善的数据存储方式。通过应用云存储技术，能够确保其存储容量以及数据整体的可用性和安全性等等，从而解决大数据分析平台的数据存储问题。而通过提升大数据分析存储技术，必然也能够有效提升其具体应用技术。同时优化数据存储，能够有效提升大数据的应用效果，实现大数据分析的良好效果。

其次，大数据分析是大数据应用的核心，而实施大数据分析模式则需要针对当前类型多样、迅速增长的信息数据进行分析，并且通过合理分析，从庞大的数据体系中寻找到有价值的信息内涵，进而为整个决策活动提供相关依据的模式。在大数据分析过程中，数据库、知识库和模拟库是整个数据分析模型构建的主要要素，通过在构建现有知识库和数据库模型基础上，进行数据分析，其得到相应结果，一方面优化模型构造，另一方面也实现对数据的具体应用。通过优化数据模型应用，能够有效提升大数据分析能力和应用实效。

最后，大数据分析系统作为当前数据平台应用的核心，其主要应用功能在于为数据挖掘应用提供完善基础，同时使用分布式存储法和并行计算体系，通过使用多重分布计算，从而实现对各类信息资源进行有效计算和分析，通过提供关联、分类、预算等一系列方法，结合各种数据挖掘分析机制的应用，从而实现整个大数据平台价值效用的体系化发挥。

4 结语

在当前互联网技术对各行各业发展的具体影响推动下，通过使用大数据技术，能够为各行业发展奠定重要基础，尤其是大数据分析的科学性，能够为企业发展提供重要决策依据。而对各企业来说，寻找大数据应用与企业自身经营的结合点，则能够从根本上提升大数据应用效率。而想要构建符合实际经营需要的大数据分析平台，就必须从大数据时代特征分析入手，通过具体了解和体系化融入，从而实现大数据分析平台的具体研发。而构建大数据分析平台将从根本上发挥大数据技术优势。

摘要：随着互联网技术应用日益成熟,如今大数据应用已经成为互联网技术带给整个时代的便利。而想要体系化应用大数据,就必须针对大数据时代的具体特征,完善其应用需求,从根本上探究构建大数据分析平台的具体策略。该文拟从大数据时代特征分析入手,结合当前大数据分析平台应用要求,从而分析构建研发大数据分析平台的具体策略。

关键词：大数据,时代特征,研发大数据,分析平台,具体策略

参考文献

[1]马新莉.面向服务的大数据分析平台解决方案[J].科技创业,2013(10):72-74.

[2]韩晶晶.大数据时代下数据分析理念的辨析[J].管理信息,2014(5):33-35.

[3]程开明.大数据分析研究现状、问题与对策[J].经济理论与管理,2014(13):79-83.

大数据特征 篇5

--读《大数据时代》有感

施佳驰

不知从什么时候开始，“大数据”这个词悄然成为了我们的常用词汇；我们也不知从什么时候开始，迈进了“大数据时代”.那么，大数据时代究竟是一个怎样的时代？英国“大数据时代的预言家”维克托迈尔·舍恩伯格和肯尼思 库克耶的《大数据时代》对此有着详细而深刻的洞见。

一、什么是大数据？

根据《大数据时代》中所说，“大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。大数据是人们获得新的认知、创造新的价值的源泉，大数据还为改变市场、组织机构以及政府与公民关系服务。”、“大数据即一种新型的能力：以一种前所未有的方式，通过对海量 数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。” 大数据有两层含义，第一层含义，大数据是一个总结性的概念，是对海量数据的总称；第二层含义即书本中所指出的，是一种新型的能力与方式。区别于小规模数据时代的抽样分析，大数据时代，分析的样本不再需要经过抽样，直接将全体数据进行更快更准确地分析。

二、大数据的核心是什么？

大数据的核心应当是减少冗余，提高资源配置效率。根据收集到的数据分析、挖掘出庞大数据库独有的价值，以便进行干预或提供相应的资源与服务。自古以来，人类社会的发展便是资源配置不断优化的过程，大数据作为一种新型的生产工具，它能让我们通过分析海量的数据，得知该如何更有效地分配稀缺的资源。

如医院通过对某个病人病史、生活习惯、衣食住行、工作娱乐情况等进行全方位分析，便可以准确了解病人的生活情况与生活环境，精确地指出症结引起原因所在，只要建议病人针对引起病源的因素做出调整或进行医学干预，便可以了，避免了对病人过多的用药与过大范围的盲目干预。

同样的道理，如果银行通过分析某一申请人的家庭情况、消费历史、生活习惯、财务习惯、网页浏览记录等各方面的数据，便可以清晰了解此申请人各方面的情况，甚至可推测其内心的真实想法与将要采取的做法，从而判断申请人的贷款申请资格，决定该不该授信，授信多少等内容，所有的信息在大数据时代，能在系统中搜索一下，几分钟便能全部收集完成。相比以前，()申请人申请后，银行得派出两名客户经理上门进行访问、调查、收集电信、征信等多方面的信息，再进行人工分析、鉴别等过程，耗费的时间多不说，风险也相对更高。

可见，大数据的运用不但提高了工作效率，节省了机构与申请人的时间，更能基于精确的信息，确保风险可控，且保证了授信给该申请人的正确性，将有限的资金用在刀刃上，提高资源配置质量。

三、什么是大数据思维？

书中指出，大数据思维是一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。大数据与三个重大的思维转变有关：首先，要分析与某事物相关的所有数据，而不再依靠分析少量的样本；其次，乐于接受数据的纷繁复杂，而不再追求精确度；最后，我们的思维不再探求难以捉摸的因果关系，转而关注事物的相关关系。

大数据思维应当是一种意识，认识到大数据的无穷威力，并积极拥抱这个繁荣的时代；世界上的一切都是信息，都是可以量化分析的信息。如果将相关的信息进行交互分析，便能获得“上帝的视觉”——窥视知道分析对象的一切，包括所思所想；获得的信息可以通过类比，准确推测分析对象的想法以及未来行为；根据推测出来的内容进行干预或服务，从而获得商业机会；在一切均有记忆、一切均能收集、能更加准确预测未来的时代，我们或许受困于过去的行为；在这个时代，对隐私权、公平与正义的探讨上升至一个新的语境。

四、新的时代，我们该怎么办？

老子说，无为而治。因此，我们还是该吃饭就吃饭，该逛街就逛街，想吃甜点便吃甜点，过自己的生活，努力自己的工作。大数据是一种意识，更是一种工具，所有的工具最终都是为了让我们生活得更加方便、更加如意，而作为最高智慧生物的我们，要做的，便是习学如何通过这新的工具，改造世界，创造生活。

大数据特征 篇6

一个最基本的判断是，会展业仍处在大数据运用的初级阶段。会展业是最重视数据的行业之一，但是在从一般数据向大数据过渡的过程中，会展业仍处在探索的初级阶段。

大数据的主要用途之一在于预测，即基于消费者洞察的分析和推断。因此，理想情况下产品的研发、设计应该基于大数据对消费者偏好的“捕捉”和归纳。具体到展览，在“展览立项”分析上，大数据还很少发挥作用。

在营销方面，会展业对大数据的利用也乏善可陈。无论在营销渠道的拓展和对营销渠道有效性的评估方面，都没有看到典型的案例。此外，大数据时代的一个重要特征是对数据的专业分析。即便从技术手段上可以实现海量数据的收集，没有专业的数据分析人员，对大数据的分析解读也无法完成，实现大数据效应最大化更无从谈起。在这方面，会展业还“任重道远”。

在会展大数据方面值得称道的领域主要体现在会展现场的管理方面。通过观众“跟踪”技术（RFID技术或蓝牙NFC技术），优化门禁系统，特别是跟踪观众在会展场馆的活动轨迹和规律，分析人们对产品及企业的关注度，并调整展览的运营管理。这方面已经有一些很好的实践和探索。利用上述技术，一方面，展商和买家（终端）可以在现场利用相关技术实现对彼此位置的准确感知，尝试更高效率的贸易合作；展后，展商还可以查询哪些客户到过展台、对哪些产品感兴趣，以实现精准营销和产品结构及功能的调整。另一方面，主办方通过大数据了解客户喜好和感兴趣的产品信息，可以更好地对展览项目进行调整，为客户服务。

会展业大数据面临的问题还有很多，主要涉及以下几点：

一、从数据来看，精准的数据库仍是会展项目主办方的主要工具，原因在于数据量。对比其他诸多行业，会展业支配的数据量并不大。大数据之所以比数据多了个“大”字，是因为在数据的数量上、获取数据的速度和方式上、包括对数据的分析处理上的差异。其中，量是大数据的一个维度。从举办单个展览项目来看，目前主办方处理数据的量是有限的，即使是规模达到几万平方米的大型展览项目，通过传统数据库以及传统的数据处理方式也能从容应对。

大数据关于样本=全部、重关联不求因果的理念，更多的是基于海量数据的现实。笔者个人观点：一旦数据数量可控，人们自然会回到因果分析上来。因果分析是人类探索自身和自然的终极理想，过去是将来也是。从这个意义上说，传统数据库通过因果分析实现精准营销和精细化运营仍然是会展业的主要操作方式。

二、大数据需要专业的数据分析能力。笔者曾看过励展对中国部分行业出口目标市场的分析，总体感觉是：在对传统数据的挖掘和分析上，很多展览企业做得很不够，需要提高的地方还有很多。对于大数据，分析技术和能力要求更高。业内目前有一种倾向，过度关注数据采集技术和大数据的意义，对于数据分析能力关注极少。对于大多数企业而言，不要好高骛远，即便是踏踏实实地做好对传统数据的分析，也是个挑战。

三、在展览场馆的数据基础设施建设方面目前还有令人困惑的地方。一方面，主办方对基础设施要求逐渐提高，最基本的带宽要求在很多场馆都没有达到；另一方面，一旦场馆对IT基础设施进行大幅度升级，学习重庆会展中心的做法，又会造成主办方的矛盾心理，对数据安全的担心增加。当然，这是个具有中国特色的问题，中国的场馆经营方对自办展的喜好或者说“情结”，尽人皆知。在中国的诚信环境下，主办方产生疑虑难以避免。

四、投入产出问题。不同的企业对于大数据应该有不同的态度和方式。考虑问题的原则应该是投入产出比。总的说来，由于投入巨大，无论场馆方还是组织方只有比较有实力的企业才可以考虑在大数据方面进行投入。小企业即使有在大数据方面探索的雄心，也只能退而求其次，寻求与第三方服务商的合作。

对会展大数据的研究和应用，目前所做的只是“九牛一毛”，远谈不上穷尽。大数据除了在会展立项、营销、管理和运营等方面将产生积极作用之外，围绕人员流动密集、物流集中的会展活动应该还有其他层面的应用。其中，关键是投入产出比和利润模式问题。在利润模式方面，是有了清晰的利润模式再去收集数据，还是在数据的收集之后再去挖掘数据的其他使用价值和利润模式，是很多行业都会碰到的、令人困惑的问题。

以上是从非技术角度对会展大数据的粗浅看法，仅作引玉之砖。

大数据特征 篇7

大数据时代最突出的特征就是数据产生信息或者成为信息本身, 而信息则作为最终决策的重要依据。通常我们所称的“大数据”中“大”的含义是指在信息处理过程中, 数据来源广、数据数量巨大、存储时需要耗费巨大的储存媒介、处理时需要占据较多的时间, 且在数据的处理上涉及到模型及编程等较为复杂的工作。在大数据时代, 原有的传统的数据管理工具和处理方式都已经无法满足要求, 难以对数据进行有效的处理。我们认为随着大数据时代的不断深入, 数据主要表现出以下三个主要的特征。

1、所获得的数据来源十分广泛, 且往往容量巨大

以具体的指标来衡量的话, 大数据往往指的是容量在10T以上的数据集合。数据来源的广泛性主要是得利于目前人们可以越来越多地在日常生活和工作中接触并使用到现代化仪器, 这些现代化仪器帮助人们可以更加方便地随时随地进行数据记录与采集, 使得人们能够更加完整、及时地感知事物, 获得更加广泛的数据来源渠道。数据的容量巨大是大数据的最主要特征。通信工具的大范围使用, 加上集成电路的成本越来越低, 人们可以随时在日常生活中进行数据的交流与交换, 使得数据量得到成倍的增长, 且由于储存媒介的容量越来越大, 使得最后智能、社交设备上产生并储存的数据十分的巨大, 甚至超过了互联网上的数据流量。可见大数据时代数据的容量必然会越来越巨大, 呈现爆发性的增长。

2、所获得的数据种类繁多, 且价值量巨大

在以前, 数据的来源主要是结构化数据, 随着获得数据渠道的不断多样化, 数据的主要来源已经变更为半结构化数据和非结构化数据。通常所指的结构化数据是那些直接可以在关系数据库中发现并采集的数据, 但是随着目前信息技术领域社交网络快速发展, 再加上智能设备的不断普及, 大大增加了来自云邮件、视频、音频、网页、社交平台等的半结构化数据和非结构化数据量, 且这些数据逐渐开始成为大数据时代主要的数据来源。正是因为来自原网页、社交平台等的数据是半结构化或非结构化的数据, 其往往未经过事先的加工, 也未发生折损, 所以有着更为巨大的价值。如果说结构化数据是将生产经营情况进行了更为详尽的记录, 那么半结构化、非结构化数据则包含了更多决策有用的关键性真实信息, 可以避免数据失真带来的毁灭性的影响。当然数据的庞大, 也对数据处理技术提出了更高的要求。

3、个性化的数据需求越来越普遍

前文提到的大数据时代中占主导地位的半结构化、非结构化数据内含更多的真实、原始的信息, 所以人们也逐渐意识到对于数据进行价值挖掘的重要性。随着数据的容量呈现爆炸式的增长, 人们对于数据的需求也在迅速膨胀。由于现在信息的获取越来越容易, 所以人们重在的是寻找对自己有价值的、能够满足个性化需求的信息。可见在这种趋势之下, 原有的采用统一模板来向不同的群体提供同样数据的形式已经无法无法满足大数据时代信息需求者们对数据的个性化需求。

二、大数据时代对会计数据及会计工作的影响

会计数据作为企业数据的核心, 顺应大数据时代潮流, 会计数据已由原来简单的核算记录工具转变为影响企业经营决策的重要因素, 是企业在日常经营过程中重点关注的战略资源。前文提到的大数据时代的数据具有容量巨大、种类繁多以及个性化需求强的特点, 这些都催生了“大数据”采集、加工、处理、储存、输出等方面的改革。会计数据在大数据时代下, 也在数据的来源、价值、形式等方面呈现出了重要的新特征, 并且会计数据的新特征对企业的会计工作带来了新的要求。

1、大数据时代会计数据的新特征

(1) 会计数据的来源从以“结构化”数据为主导变更为以“非结构化”数据为主导。此前的“结构化数据”主要采集来源是非关系型数据库, 这种数据库相比而言对于数据格式的约束没有那么强, 并且随着互联网在企业的广泛应用, 这些“结构化”的会计数据源源不断渗入到企业的经营管理活动中, 企业管理运行的方方面面都离不开会计数据。会计人员在处理结构化数据时, 但是随着信息技术的不断发展, 前文提到的半结构化、非结构化数据的来源与价值都在变得越来越丰富, 它们对结构化数据的取代不仅从数据数量上体现出来, 更从提供的价值量上体现出来。随着会计云计算得到越来越广泛的运用, 同一套软件要满足大量不同企业的需求, 此时若还采取严格统一结构化存储字段的措施, 必然将大大削弱云计算系统的灵活性, 所以目前大所属会计软件的开发商们更倾向于采集非结构化数据。对于企业会计而言, 要把握新型数据中的巨大价值, 进行深入挖掘, 挖掘的越多就越有竞争优势。

(2) 会计数据的价值从简单的“数据仓库”转变为“深度学习对象”。传统的会计数据, 更多地被企业看成是一种“数据仓库”, 是数据的简单汇总与集合, 通过从数据仓库里提取的数据来编制企业财务报表, 满足监管的需要。但是随着大数据时代中非机构化数据的大量涌入, 原有的从“数据仓库”中简单提取数据已经无法最大限度实现数据的价值, 数据成为使用者深入学习的对象, 其价值得到更好的体现。对数据的深入学习要求使用者必须要对数据进行文本分析、自然语言处理、深入挖掘内容等, 才能够最大限度地获得数据的内在价值。人们通过对获得的会计数据进行详细的解读和定向的分析, 甚至在会计数据的基础上加入对人们行为趋势的预判, 使得会计数据具有预测未来趋势的能力。根据已有数据显示, 通过对会计数据的深入学习, 不仅能够促进企业业务能力的创新、提高其盈利能力, 还能够定量评价企业的市场营销策略和产品定价机制, 在大数据的深入分析上, 知己知彼, 在竞争中获得优势。

(3) 会计数据具有实时更新的新特征, 更多时候体现为一种动态的“流数据”形式。

大数据时代的会计数据具有实时更新的特点, 这就要求企业在处理会计数据时形成“流处理”的思想, 目前比较广泛的运用于实时在线销售、实时售后服务、实时信息反馈等领域。在会计数据的“流处理”中, 要借助于计算模型、人工智能等, 这其实是前文“深入学习”的补充, 只不过“流处理”中体现的是机器自动对会计数据进行“深入学习”。

2、会计数据新特征给会计工作带来的新要求。

前文我们已经分析了大数据时代会计的主要新特征体现在数据来源、数据价值、数据“流”三个方面, 针对这三个特征, 我们认为将从以下几个方面给企业的会计工作带来新的要求。

(1) 企业会计应该注重对多种结构、多种来源的会计数据的搜集和储存。从前文分析中我们已经看到大数据时代中数据的价值不可小觑, 且作为主导的非结构化数据蕴含着更为有价值的信息, 企业之间的竞争已经有很大一部分体现在对有效数据资源的争夺上。可见尽可能地多渠道、多来源地获取多种结构的会计数据, 并运用先进的数据处理系统来进行有效处理和分析, 克服信息不对称, 尽可能地全面反映企业经济业务的现状, 为决策的准确制定提供尽可能详尽的信息依据, 这都将极大地提高企业的竞争能力。

(2) 要注重对获得的会计数据的深入学习, 满足信息使用者个性化需求。随着会计数据从“数据仓库”的简单角色中转变出来, 企业会计工作人员应当意识到其在处理会计数据中已经有被动使用的地位转换为主动挖掘价值的地位。深入学习会计数据意味着企业会计要具备一定的学习能力, 此时加强员工培训是一个不错的方案, 在对员工的数据处理技术能力进行培训的同时加大对重要信息识别的能力, 并且使最后通过深入学习会计数据得到的处理结果能够满足信息使用者的个性化需求。

(3) 完善企业会计制度, 提高数据处理的效率。正是由于大数据时代背景下企业的会计数据“流”特征体现明显, 所以数据采取和分析必须要及时、快速, 时间的拖延可能会使原本极具价值的信息变得一文不值。尤其是在目前企业竞争异常激烈的市场环境中, 任何一个失误都有可能造成不可弥补的损失。企业会计制度的完善可以从根本上来提高会计数据处理的效率, 通过制定详尽的、恰当的制度, 正确引导员工的工作, 避免出现职责不分明, 有些工作重复做, 有些工作没人做的低效工作状态。

参考文献

[1]冯芷艳.大数据背景下商务管理研究若干前沿课题.管理科学学报.2014 (1)

[2]谢国忠.大数据正在改造企业.企业管理.2013 (7)

大数据的概念、特征及其应用探究 篇8

1 概述

目前, 学术界关于大数据的概念仍然存在分歧, 比较通用的大数据概念如下: 具备多种数据类型, 数据总量超过100TB, 且数据流具备高速实时性。 可以将大数据看作一个庞大的数据集合, 这个数据集合的规模远远超出了传统数据库软件可以处理的范畴, 大数据具有3V特征: 规模性 (Volume) 、 多样性 (Variety) 、 高速性 (Velocity) , 近年来, 学术界又在3V特征的基础上扩展出了4V特征: 价值性、 准确性、可变性、 真实性。

1.1 数据量大

互联网技术的发展, 降低了网络使用成本, 使用者的在网络上的任何一个行为都可能产生庞大的数据信息, 为了满足不同层次的使用者的需求, 网络上出现了很多多媒体信息, 包括图片、 视频、 音频等, 很多数据都发展成为以GB进行计算的大型数据。 一方面用户在网络上的活动将产生大量数据, 另一方面各种传感器数据越来越多, 现实世界中的数据被快速导入虚拟网络中。 除此之外, 网络中对于同一事物的描述性数据产生重复, 造成大量的数据重叠现象。

1.2 数据类型多样化

数据类型多样化也是大数据的重要特征, 大数据背景下的信息资源形式越来越多, 已经不再局限于单一的文本信息, 尤其是智能手机与平板电脑的使用, 增加了人们的网络接触几率, 很多信息可能是半结构化或者非结构化。 结构化的数据可以方便用户与计算机管理处理数据, 但随着传感器技术的快速发展, 网络中涌现出大量的非结构化数据, 大大增加了数据存储与处理的难度。

1.3 数据处理速度快

面对庞大的信息量, 传统的数据处理模式已经难以满足用户的使用需求, 很多数据具备较强的时效性, 因此, 针对不同的数据信息, 数据处理模式也会存在较大的差别, 这也是大数据与传统数据模式的主要区别。 数据处理的速度必须跟上数据增长的速度, 这样才能保证数据的时效性, 否则会对网络造成巨大的负担。 另外, 网络中的很多应用信息必须实时处理, 以火车订票为例, 该种类型的数据流具有很强的时效性, 如果用户响应时间超过3 秒钟, 就会造成用户体验下降。

1.4 价值密度低

数据价值密度低也是大数据的重要属性, 传统的结构化数据一般具备特定的用途, 因此每条数据的信息十分完整, 但数据的完整性给数据处理与存储造成巨大的负担。 非结构化数据有效克服了结构化数据的缺陷, 提高了数据价值密度。从大数据整体角度出发, 为了保证数据信息的完整性, 计算机会将数据的关联内容进行存储, 导致很多价值不高的信息被纳入处理范围, 直接降低了数据的整体价值, 造成数据信息的价值密度降低。

2 大数据技术核心问题

大数据技术与传统数据处理技术具有一定相似性, 数据处理流程过程也包括数据挖掘与检索、 数据存储、 数据分析、 数据显示等, 大数据技术需要根据用户的需求获取相关的应用信息, 之后对数据进行聚合处理, 以便于存储数据、 分析数据、 查询数据, 最后通过数据显示将客户需要的信息展现出来, 大数据的核心问题与数据处理流程具有一定关联性。

2.1 数据挖掘

数据挖掘技术的主要目的是从海量网络数据中发掘潜在的高价值数据。 数据挖掘技术是伴随计算机技术发展而来的, 需要通过统计学、 人工智能、 识别模式等多种方式来实现。 互联网上的数据十分驳杂, 数据质量直接影响了数据分析的结果, 数据挖掘技术可以有效控制错误数据的比例, 同时可以尽量排除无关数据。 数据挖掘技术的具体流程如图1所示。

2.2 数据分析

大数据技术的关键就是数据分析, 互联网上的数据资源十分丰富, 但很多信息不具备实际意义, 数据分析可以根据用户要求提取有用信息。 非结构化数据具有较高的使用价值, 其数据价值密度比传统结构化数据的价值密度高, 但现有的数据分析技术还不能快速处理非结构化数据, 一方面是非结构化数据增长、 更新速度快速; 另一方面是现有的分析技术具有局限性, 难以对非结构化语言进行有效处理。

2.3 数据显示

数据显示技术可以将分析处理后的有用数据传输给用户。传统结构化数据可以通过图表显示, 用户可以直接理解数据的含义, 但非结构化数据的类型十分复杂, 且数据之间具有较强的关联性, 用户难以通过图表理解非结构化数据。 针对非结构化数据的显示问题, 可以通过计算机图形学与图像处理技术实现数据可视化, 利用三维模型表示复杂的数据, 让数据更加直观, 便于用户理解。

2.4 实时处理

大数据技术的实时处理能力直接关系到数据的价值, 数据价值会随着时间不断降低。 实时数据处理是一个十分复杂的过程, 需要获取数据之间的关联性, 并找出数据之间的规律。 大数据环境下的信息具有较强的时效性, 很多数据需要在一秒或者更短的时间内得到结果, 传统的 “先存储后处理”模式已经难以满足大数据技术的需求, 数据实时处理能力已经成为大数据技术发展中的难点。

3 大数据技术应用

大数据技术的应用范围十分广泛, 包括科学计算、 社交网络、 网络金融、 互联网、 政府宏观调控、 移动数据等, 大数据技术的典型应用领域与特征如表1 所示。 下面将选取互联网应用、 电信应用、 金融应用以及政府应用等4 个方面进行阐述。

3.1 互联网

互联网信息技术是大数据与大数据技术发展的基础, 同时也是大数据技术应用的主要领域之一, 一方面互联网企业具有丰富的数据资源与强大的技术背景, 可以支撑大数据技术的发展, 另一方面大数据技术也是互联网的主要发展趋势, 可以促进互联网技术的发展。 除此之外, 互联网可以为大数据技术提供应用测试平台, 以淘宝、 百度、 Facebook为例, 这些公司可以为用户提供大数据技术的应用平台, 有效促进了大数据技术的发展。

3.2 电信

数据分析技术一直是电信运营商的核心竞争力, 电信运营商不可能放弃大数据的发展趋势。 目前很多电信运营商已经开始应用大数据技术, 包括客户分析与营销、 业务分级控制等, 这些服务都是基于大数据技术开发出来的。 除此之外, 电信运营商具备广泛的客户基础, 庞大的数据量需要大数据技术作为支撑, 很多电信运营商为了弥补自身的技术缺陷, 已经开始与互联网企业合作, 包括Orange与Facebook的合作等。

3.3 金融

相比于传统行业, 大数据技术在网络金融行业已经得到广泛应用。 很多网络金融企业已经利用大数据技术对客户交易行为进行分析, 目前已经开发出了基于大数据技术的金融分析设备, 包括用户交易行为录制设备等。 大数据技术在网络金融行业中的应用正在逐步扩散, 已经有网络金融公司开始利用大数据技术分析客户关注热点, 从而推测金融发展趋势。

3.4 政府

美国等西方发达国家的政府部门已经具备比较成熟的大数据技术。 美国国防部已经利用大数据技术监测搜集情报, 卫生管理部门利用大数据技术分析流行疾病。 除此之外, 联合国早在2009 年已经开始应用大数据技术监控全球各地的社会经济数据, 以便于对地区危机做出及时反应。 目前, 我国政府正在增加大数据技术的研究投入, 以便利用大数据技术掌控社会发展动态, 调控国家经济, 保证社会繁荣稳定。

4 结语

进入21 世纪以来, 我国的计算机信息技术与互联网通信技术已经取得了较大的成果, 网络的发展催生出大批的新兴网络文化, 网络文化带来了大量的信息数据, 人们在参与网络社会活动时产生的数据是人类文明的重要组成部分。 计算机信息技术与互联网通信技术催生出了新型的数据模式, 这些数据的类型更加多元化, 且数据量异常庞大, 传统的数据处理技术具有较大的局限性, 难以满足大数据处理需求。 目前, 我国大数据技术仍然处于理论阶段, 很多关键技术问题亟待解决, 包括数据挖掘、 数据存储、 数据处理、 数据分析等。 从大数据的概念以及大数据技术的核心问题出发, 详细阐述了大数据技术的应用方案, 并对大数据技术面临的挑战进行了分析。

摘要：随着计算机信息技术与互联网信息技术的快速发展, 计算机网络技术已经渗透进入各行各业, 网络上的信息资源呈现爆发式增长, 互联网信息技术的使用给我们的生活带来了极大的便利, 但互联网上的信息十分庞杂, 给使用者带来了巨大的困扰。大数据时代下的数据类型更加多样, 传统数据处理技术已经难以满足多元化数据的存储与分析, 大数据技术可以有效解决海量信息获取、存储、分析的难题。将深入地研究我国大数据技术的发展现状与面临的挑战, 提出针对性的发展策略, 为我国的大数据技术的发展提供参考。

关键词：大数据,数据类型,现状,挑战,应用

参考文献

[1]张兰廷.大数据的社会价值与战略选择[D].中共中央党校, 2014.

[2]彭宇, 庞景月, 刘大同, 彭喜元.大数据:内涵、技术体系与展望[J].电子测量与仪器学报, 2015, 04:469-482.

[3]陈健, 冀超君.大数据的应用及其发展趋势[J].山西科技, 2014, 02:95-96.

[4]黄永勤.国外大数据研究热点及发展趋势探析[J].情报杂志, 2014, 06:99-104+78.

[5]2015年大数据十大发展趋势预测[J].中国教育网络, 2015, Z1:36-37.

[6]张潼.互联网大数据发展趋势[J].重庆理工大学学报 (自然科学) , 2015, 10:3.

[7]戈悦迎, 陈禹, 谢耘, 金江军, 张荣昌.大数据及其未来发展趋势[J].中国信息界, 2013, 05:42-47.

大数据特征 篇9

一、大数据在经济学领域应用的基本原理

大数据在经济学中应用的基本思路以大样本数据统计与机器学习技术为基础。 其中大样本统计的过程概括如下:用N个代入变量得出对应的N个测量结果与K个潜在的预测因子, 比如:以居民消费价格CPI指数预测为例, 首先通过GOOGLE数据搜索或其他软件, 筛选出同CPI有关的一系列关键词 (比如粮食产量、原油期货价格、气候温度、价格改革政策等) , 然后通过这些关键词在文本数据 (新闻、微博、评论、研究报告、学术论文等) 出现的时间频次, 计算它们之间的相关关系和逻辑路径关系, 从而得到测量结果N和预测因子K。 在许多情形下, 每一个代入变量的信息是足够丰富的, 但不具有结构性, 故可能会产生很多潜在预测因子, 因此, 需要注意的是:若是过度拟合, 即预测因子K的个数可能会远远大于观测变量N的个数时, 虽然模型可完美解释观测到的结果, 但样本外数据的解释力却很差。 在这种状况下, 构造一个最大化样本解释力的模型便成为首要目标, 同时构建的模型还不能出现因过度拟合所导致的样本外无力解释的情形。因模型构建不同, 使用方法也随之改变, 惩罚预测因子的过度使用方式也不同。 如Lasso回归模型, 在满足一系列约束条件下, 依据最小化离差平方和来选择模型系数。通过将样本分为“训练样本”和“测试样本” (“训练样本” 用来估计模型参数, “测试样本”用来评估模型) 进行过度拟合。 而在评估预测效果时, 一般交叉使用样本内预测与过度拟合, 但目前这种交叉验证的方法在当前的实证微观经济学中也鲜少用到。

机器学习的一个非常重要假设就是机器学习的环境是相对稳定的, 也就是样本数据 (训练样本与测试样本情形相同) 独立产生于同一过程。但由于现实环境会随着时间发生改变, 故这一假设并不合理, 因此, 在高频使用新数据的应用中, 往往通过对自身持续“再训练”, 从而使得模型可以随着时间与环境的变化对预测结果进行调整。当然, 对于机器学习, 有些经济学家提出了卢卡斯批判的疑问, 即若根据模型的预测结果进行政策调整, 则政策调整后的现实结果可能与初始模型的预测结果有差异, 因为政策的改变会影响数据间的潜在行为关系, 但这一疑问在其他预测模型, 比如计量经济模型、结构方程模型和联立系统模型中也都存在。

二、大数据对经济学的影响及前景

如今, 随着数据样本容量的急剧增加, 使得大数据的使用方式不尽相同。 作为一个规律性科学, 经济学需要广泛、详细的数据, 并运用统计技术来处理新型数据, 大数据的出现可能会在社会学与计算机科学间构建一架桥梁, 其学科价值可能在于创造新的思维方式, 这将会导致对经济学的新思考和研究方法创新, 甚至会带来分析经济学方法的质变。

一方面, 由于多维度的精细间隔, 大数据可以为经济学研究人员提供更多研究变量和视角, 可以研究以前难以测度的行为理论, 这为经济理论研究提供了一种全新的测量方法。 例如:麻省理工大学助理教授Alberto Cavallo设计的 “百万价格”项目, 该项目旨在通过一个网络程序, 获取网上物品价格, 继而运用这些数据计算得出通胀指数, 该通货膨胀指数就是阿根廷的精确透明通货膨胀指标, 其实时价格数据的捕捉能力和准确度, 使得该指标作为政府测量通胀的替代选择。 又如, 谷歌提供的请求式数据选择也提供了一个探索新机会的理由, 目前一个备受瞩目的例子就是“及时预报”, 在某些方面它可以通过庞大经济社会数据集进行短期精确预测。

另一方面, 大数据已与行为经济学相适应, 成为产业相关经济规律研究的一部分, 并且, 大数据在经济学领域已经显示出众多的优越性。大数据已有潜力去挑战理性概念, 例如对于经济学家在预测问题上的出错概率, 强调样本偏差的方法;或者对于政策刺激的外部效应问题, 强调在社会媒体中情绪化分析出现的混乱问题, 总而言之, 大数据与先进的建模策略相结合, 可以产生更详细、更准确和更有说服力的解释和分析。

从经济学理论的发展历程或者研究思想上看, 总体来说, 目前大数据分析技术在经济学中的应用还刚刚开始, 处于初级阶段和辅助地位, 目前还没有出现跨时代、里程碑式的技术进展。 相比于比较完善的宏微观经济学理论、计量经济学理论和金融学等理论等, 大数据技术的劣势在于没有严谨的、 完整的经济学理论作基础, 其对不同关键词的选择具有主观性, 很难洞悉其背后的因果关系和逻辑关系;其使用的各种数据挖掘技术 (比如自然语言处理算法、分段算法和机器学习算法) , 从技术上讲, 这些技术没有突破传统的理论和思路;而且大数据分析技术的原理主要是分析不同关键词的关联关系及其强弱度, 方法比较单一, 远远不能代替现有的宏微观建模技术和分析方法。

但是, 大数据在经济学中的应用前景旷阔而深远。 随着时间的延续, 数据容量在飞速增长, 数据彼此之间的关系也越来越复杂。 对于经济学家而言, 传统经济领域就已经有较多的数据量:各种金融交易数据, 如优惠卡数据、在线消费数据、详细人口数据等间隔性数据。大数据通过对各种媒体和渠道 (比如搜索引擎、社交网络、通话记录、传感器、网络日志等) 中不同类型的海量的结构数据、非结构数据和半结构数据进行快速计算和分析, 能够解析存在于现实社会、虚拟世界以及虚实混合社会的复杂网络关系, 并适时动态地做出判断和决策, 这不仅仅是一个把基础数据转变为信息、信息转变为知识、知识转变为智慧的由低到高的转变过程, 该过程融合贯通了国家、区域、行业和个人, 颠覆了传统的、线性的、自上而下的目标驱动式的精英决策模式, 形成了动态的、随机的、非线性的、自下而上的发现群体智慧的数据驱动决策模式; 而且这也是一种新技术、新工具, 其依据海量的网络资源, 充分发挥了电脑对海量信息收集能力和批量化处理能力远远高于人脑的优势, 从而有效地弥补人脑功能的不足, 这在当今随着互联网、云计算、物联网、社交网络等技术的兴起和普及导致的信息化数据爆发时代, 优势明显, 应用前景看好。已有研究表明, 对于经济学家而言, 大数据是一座巨大的宝库, 大数据对于社会学研究的魅力已经逐渐显现, 不从事大数据研究的经济学家可能会产生较大的机会成本 (Mayer, 2013) 。

三、大数据在经济学应用中面临的挑战

一方面, 大数据已经在经济学的研究中展示出越来越多的优势和强大能力, 但另一方面也面临一些问题和质疑, 比如大数据集的可获得性, 大数据集的管理和处理, 以及如何有效地提取大数据集中所隐藏的关键信息等, 具体的问题包括以下几点。

1. 因果关系。 仅仅通过大数据分析技术, 有时难以洞悉或找到事情背后的真正因果关系, 比如, 根据某城市的数据, 电视数量越多, 犯罪案件也就越多, 两者是正相关的, 但是它们之间不是因果关系, 真正的因果关系是这个城市的人口在增加, 而导致电视多, 同时犯罪数量也在增加。 虽然在商业应用中, 如果通过大数据分析找出了电视和犯罪数量相关, 就可以直接应用了, 而不在乎里面的原因和结果, 但这种相关没有经济学意义, 因此, 即使对于大数据分析技术得出的计算结果, 在使用前应该反复思考, 思考其背后经济学逻辑, 而不是完全盲目信任。

2. 大数据依然存在数据局限。 虽然大数据具有容量大的特征, 但是这也是相对的, 由于数据收集、硬件设施、数据机密属性等问题, 真正的完全样本很难获得, 即使在美国, 所谓的海量数据也可能存在局部性和片面性, 这些数据的抽样样本也不能完全满足统计学中随机抽样的假设 (即, i.d.假设) 。 正如Linnet Taylor (2014) 所说, 实际上影响社会变革的很多分布都是非对称的, 其实很多不是对称的, 因此做抽样的时候就得非常慎重。甚至是谷歌 (google) 和面书 (facebook) 公司, 它们声称的全数据样本, 但实际上也不是全部数据, 因为, 上facebook仅仅是那些有facebook的人或能够上网的人, 这些人的观点也不能够代表全部居民, 而且这些人的占比和很小, 可能没有代表性;还有, 这些数据的同质性是没有办法保证的, 因为它们是在不同时段用不同方法来收集数据, 然后整合在一起, 这样的处理办法很难保证这些网站的数据具有完整性和随机性。

3. 如何清洗和获得数据。 因为数据越大, 噪音可能就越多, 比如从微博里面提取的数据, 由于这些数据大部分都是无关信息或者是重复信息, 因此, 如何筛选信息以提高信息准确性也是非常重要和比较棘手的问题。 另外, 尽管经济学已经具有处理数据量较大样本的娴熟技能和统计技巧, 但是大数据的资源可获性仍是社会科学研究面临的一个难题。由于数据资源大部分是专有的 (比如, Google的大众可获得数据库 (如insight和trend) 都是被监管的, 且在短时期内不太可能完全公开) , 因此, 经济学领域的许多研究者都会碰到获取合适数据的难题。运用企业数据也面临同样的问题, 因为数据具有私有性, 故研究者只有在与企业签订保密合同的情形下, 才可获得这些数据的使用权, 虽然随着更多的研究者在其研究中应用大数据, 数据也就不再那么难获得, 但是, 数据资源的完全开放在短期内仍是无法实现的美好愿望。

然而, 总而言之, 大数据与经济学的结合为经济学和其他社会科学提出了新的机遇和挑战, 在未来的几十年, 大数据可能会改变经济政策与经济学的研究方法。 大数据在经济学中的使用是分析方法、数据管理和分析策略的改变, 也是一次基础性的转变, 即从基于“正态”均值和标准差的科学研究转变为基于个体观测值的研究, 认识论的改变将给经济学准则基本原理带来质变和量变的双重挑战。由于这些原因, 大数据可能会带来经济学颠覆性的改变, 也有可能成为一门具有独立的学科和方法论。

摘要：在经济学领域, 大数据应用还处于初步探索阶段, 但随着海量经济数据的几何式增长, 以及网络技术与计算方法的不断完善和更新, 将大数据运用于经济学逐渐成为学术界、商界以及社会广泛关心的热点问题之一。文章分析了大数据经济学特征、大数据在经济学领域应用的基本原理、大数据对经济学的影响、应用前景以及面临的挑战等问题。认为大数据与经济学的结合为经济学和其他社会科学提出了新的机遇和挑战, 未来大数据可能会带来经济学颠覆性的改变, 也有可能成为一门独立的学科和方法论。

关键词：大数据,经济学,数据分析

参考文献

[1]Mayer S., Nberger V.and Cukier K, “Big Data:a revolution that will transform how we live, work, and think[M]”.New York:Houghton Mifflin Harcourt, 2013.

[3]于晓龙, 王金照.大数据的经济涵义及价值创造机制[J].中国国情国力, 2014 (02) .

大数据特征 篇10

随着人们的生活水平不断提高, 健康也越来越受到家庭的关注。2009年2月27日, 我国卫生部公布的第四次国家卫生服务调查结果显示, 截止至2008年, 我国居民脑血栓, 糖尿病, 高血压等慢性病病例数达到2. 6亿, 占全国总人数的20% , 其中高血压病人对自身疾病的知晓率只有30% , 同时这些病人中的治疗率只有25%, 控制率仅为6%, 糖尿病病人中, 能坚持做到规范治疗的也只有33%[1]。由此我们可以看出, 建立科学、规范、高质量的慢性病管理策略, 实现对人体慢性病的监护具有重大的意义。通过慢性病的早期诊断和监护, 不仅能提前预防和控制各种疾病, 还能帮助他们合理用药, 减少医药开支。另一方面, 我国公共医疗资源紧缺, 城乡医疗资源的差距比较大, 城市人口平均拥有的医疗资源是农村人口的2. 5倍以上, 比如, 占全国总人口近70%的农村拥有全国医疗资源的30%, 而占全国总人口30% 的城市却占有全国医疗资源的70% , 优质的医疗资源集中分布在城市, 尤其是大城市。因此, 实现城乡之间的医疗资源共享成为丞待解决的重要问题。

同时, 随着国家积极倡导“3521”医疗系统建设, 我国医疗领域信息化程度得到了很大的提高, 预计在全国会出现上百个医疗数据中心, 每个数据中心都将承载近1000万人口的医疗数据, 数量多、更新快且类型繁杂, 使医院数据库的信息容量不断膨胀, 这就产生了医疗大数据。医疗大数据通常具有以下特征[2,3]:

( 1) 数据巨量化: 区域医疗数据通常是来自于拥有上百万人口和上百家医疗机构的区域, 并且数据呈持续增长的趋势。依照医疗行业的相关规定, 患者的数据通常至少需要保留50年。

( 2) 服务实时性: 医疗信息服务中会存在大量在线或实时数据分析处理的需求。例如: 临床中的诊断和用药建议、健康指标预警等。

( 3) 存储形式多样化: 医疗数据的存储形式多种多样, 例如各种结构化数据表、非 ( 半) 结构化文本文档、医疗影像等。

( 4) 高价值性: 医疗数据对国家乃至全球的疾病防控、新药研发和顽疾攻克都有着巨大的作用。

因此, 如何在海量的医疗大数据中提取信息的能力正快速成为战略性发展的方向, 通过大数据分析挖掘出有价值的信息, 将对疾病的管理、控制和医疗研究都有着非常高的价值。

目前, 云计算是已经普及并成为IT行业的主流技术。国内外都已经进入了云计算的研究热潮, 同时云计算技术也逐渐成熟, 大规模区域医疗信息系统和大型数据中心的建立也在同时进行。云计算是大数据成长的驱动力, 与此同时, 由于数据越来越多, 对云计算的需求日益增长, 所以二者是相辅相成的[4,5]。随着医疗数据的急剧增长, 如何充分利用这些数据, 运用云计算技术, 搭建合理先进的数据云服务平台, 为广大患者、医务人员、科研人员提供服务和协助, 必将成为未来信息化工作的重要方向。

本文通过搭建健康云平台, 通过对心电生理信号的提取, 使用多尺度的数学形态学方法进行降噪滤波, 然后通过积分增加QRS复合波的信号, 最后通过选择合适的阈值得到最终的QRS复合波的检测结果。同时, 利用L1 - 逻辑斯蒂模型提取疾病风险因子, 防止重大突发疾病。

2 健康云平台

随着社会的发展以及健康知识的普及, 人们对生活质量的要求越来越高, 对个人和家庭的健康也越来越重视, 不再满足于不生疾病, 更看重于预防疾病和保健。虽然现代人对健康的关注意识比以往任何时候都强烈, 但是在如何健康地饮食, 如何科学地预防疾病, 以及慢性疾病发生时如何长期地监控疾病等方面, 大多数人还是处于一个不了解的状态。健康云平台就是为了满足人们对健康监护和预警需求而产生的。用户使用24小时微型动态心电仪, 手持式三合一 ( 心电、脉搏、血氧) , 血压计、血糖仪等自主研发的生理信号采集设备检测, 通过USB与有线电视机顶盒连接, 支持蓝牙, wifi等无线技术与手机互联, 将生理信号数据上传至慢性病管理健康云平台, 利用大数据挖掘技术挖掘用户的身体健康信息, 并将分析结果以电视、平板电脑、手机等展示方式快速高效的反馈给用户。与此同时, 社康中心或医院的医生可通过互联网查看其管理的慢性病用户的生理指标情况, 根据用户的个人身体健康具体状况, 给出用户的日常饮食、锻炼和用药建议。一旦用户的生理信号检测异常, 健康云平台将自动给出预警信息, 通知用户前往医院就医, 同时将信息通知其家人和监护医生。图1为健康云平台系统概述。

通过消息服务引擎设计不同的消息协议, 健康云平台能够自适应地将大量的异构生理信号进行快速分析处理, 用户使用生理信号采集设备采集的原始生理信号, 通过有线方式或无线方式将数据上传至健康云平台储存, 利用数据挖掘技术分析数据, 评估用户的身体健康状况, 将检测结果和建议及时准确的传递给用户, 向用户传导科学的健康生活方式, 变被动的疾病治疗为主动的监控管理, 从而长期有效地促进个人的健康。

3 健康云平台生理信号挖掘

数据挖掘[6]就是从大量的、有噪声的、模糊的实际应用数据中, 提取潜在有用信息的过程。由于海量数据不断增长, 传统的集中式数据挖掘方式已经不再适应当前多样化、个性化的需求。该平台使用的Hadoop等关键技术以其高扩展性、高性能的并行计算编程模型以及分布式海量数据框架, 使得海量数据存储和分布式计算成为现实。因此, 如何设计一个可选组件模型的灵活性和可扩展性, 以及满足需求是构建一个云平台的关键问题之一。因此我们提出了一个6层部署架构, 来解决这一问题, 如图2。其中每一层的功能描述如下:

( 1) 服务交互指用户可以通过3G移动电话, 数字机顶盒和浏览器等实现交互操作的顶层模块。通常包括从健康云平台收集、上传原始生理数据, 下载分析结果等功能。

( 2) 服务呈列可以理解为存在于众多服务, 如wap, wab, 图像供给等之间的接口。另外, 节点平衡器也在这一层, 它可以提高并发能力。一些运行时的信息也被保存在这一层。

( 3) 一方面, 会话缓存存储用户会话使其在用户访问服务时, 能第一时间维持认证状态。另一方面, 利用高速内存加快对结果数据的访问。实际上, 这种会话的结构是一种庞大的键值对散列表。

( 4) 云引擎是结合基于消息队列的各消息驱动组件的调度器。它是调度任务和云计算运行的核心。

( 5) 医疗数据挖掘是一个算法簇。它的主要功能是融合从前端传回的数据, 生成结果写回数据库, 并且插入一条消息到消息队列中来通知用户, 如果需要其他算法, 也可以轻易的嵌入。

( 6) 云存储提供数据源给健康云平台处理。从人体局域网和大量图表数据中采集来的生理信息主要用来进行数据密集型分布式处理, 同时使用如半结构化Hadoop分布式文件系统 ( HDFS) 的分布式文件存储系统提供更具扩展性和更高效的访问。

其中医疗数据挖掘是整个健康云平台的核心部分, 由具有高性能计算能力的服务器组成, 承担着最为重要的算法分析工作。它是一个算法簇, 配合从前端传输的数据, 并生成结果写回数据库, 同时插入一条消息到消息队列告知用户。它包括数据预处理, 数据分析, 数据挖掘和可视化算法。

云计算中Hadoop提供了让程序员易于开发和运行处理海量数据应用程序的平台, 其分布式文体系统HDFS是一个可建立在通用硬件上可靠存储大数据集的文件系统, 具有高度容错性, 适合部署在廉价的机器上, 能够提供高吞吐量的数据访问, 非常适合大规模数据集上的应用, MapReduce是一种高效的分布式计算模型, 同时是一种用于处理和生成大规模数据集的实现方式, 它给程序员提供了一种高效编写并行程序的编程模式[7,8]。基于此, 我们开发了大规模人体生理信号特征挖掘技术, 大规模数据存储在HDFS上, 且通过MapReduce实现各种并行数据预处理和数据挖掘算法[9,10]。如图3, 对于海量健康数据的处理, 利用开源框架Hadoop, 将数据挖掘模型 ( L1 - 逻辑斯蒂) 整合至MapReduce框架中, 快速挖掘用户的健康信息以及重大疾病高风险因子。

以人体心电信号为例, 计算方法为使用多尺度的数学形态学方法进行降噪滤波, 然后通过积分增加QRS复合波的信号, 最后通过选择合适的阈值得到最终的QRS复合波的检测结果。如图4是健康云平台客户端进行心电数据采集、上传和云计算分析后的部分web服务界面。图4 ( a) 是用户采集的原始心电数据的图形化展现, 图4 ( b) 是健康云平台对此次心电数据进行分析后的图像化展示, 分别从心动过速、二联律、心律不齐等指标给出诊断。同时, 建立L1 - 逻辑斯蒂模型, 提取疾病的高风险因子, 预防重大突发疾病。

4 结束语

本文自主研发了健康云平台, 采用自主研发的生理信号采集设备采集原始生理信号数据, 如心电图, 脉搏波, 血压值, 通过有线或无线的方式将数据上传至健康云平台中。使用多尺度的数学形态学方法对生理信号进行降噪滤波, 然后通过积分增加QRS复合波的信号, 最后通过选择合适的阈值得到最终的QRS复合波的检测结果。通过建立数据挖掘模型, 提取疾病的高风险相关因素。与此同时, 用户使用网络、手机或者电视访问健康云平台, 了解自己的身体情况, 做到疾病的早期预警。健康平台具有广泛的应用前景, 对预防医疗保健有显著的促进和改善, 会对医疗信息的处理起到巨大的推动作用, 并对医疗美好的未来贡献力量。

摘要：通过运用新兴的尖端云计算技术, 设计研发了健康云平台。采用分布式云存储技术存储大规模的异构多模态生理信号数据, 将数据挖掘模型 (L1-逻辑斯蒂) 整合至MapReduce框架中, 快速挖掘用户的健康信息以及重大疾病高风险因子, 让用户能实时地了解自己的身体状况, 同时对用户的异常状况给出预警信息, 并通知其前往医院就医, 实现了对重大突发疾病的早期预警。

关键词：云计算,生理信号,数据挖掘

参考文献

[1]张璐, 孔灵芝.预防慢性病:一项至关重要的投资——世界卫生组织报告[J].中国慢性病预防与控制, 2006, 01:1-4

[2]许德泉, 杨慧清.大数据在医疗个性化服务中的应用[J].中国卫生信息管理杂志, 2013, 04:301-304

[3]蔡佳慧, 张涛, 宗文红.医疗大数据面临的挑战及思考[J].中国卫生信息管理杂志, 2013, 04:292-295

[4]严霄凤, 张德馨.大数据研究[J].计算机技术与发展, 2013, 04:168-172

[5]周迎, 曾凡, 黄昊.浅谈云计算在医疗卫生信息化建设中的应用前景[J].中国医学教育技术, 2010, 04:350-353

[6]周晏, 桑书娟.浅谈基于云计算的数据挖掘技术[J].电脑知识与技术, 2010, 34:9681-9683

[7]高汉松, 肖凌, 许德玮等.基于云计算的医疗大数据挖掘平台[J].医学信息学杂志, 2013, 05:7-12

[8]王小妮, 高学东, 倪晓明.基于云计算的分布式数据挖掘平台架构[J].北京信息科技大学学报 (自然科学版) , 2011, 05:19-24

[9]谢桂兰, 罗省贤.基于HadoopMapReduce模型的应用研究[J].微型机与应用, 2010, 08:4-7

大数据：大变革、大机遇 篇11

大数据时代有什么本质特征？大数据的来源是什么？大数据又将流向哪里？大数据在提升政府治理、改善经济治理、再造公共服务模式、激发商业创新方面有哪些卓越案例？中国需要怎么样的战略反应才能抓住大数据带来的宝贵机遇？一系列问题亟待研究者给出深入解析。

“数据驱动发展”成为时代主题

如今，大数据已经被赋予多重战略含义。从资源的角度，数据被视为“未来的石油”，作为战略性资产进行管理；从国家治理角度，大数据被用来提升治理效率、重构治理模式、破解治理难题，它将掀起一场国家治理革命；从经济增长角度，大数据是全球经济低迷环境下的产业亮点，是战略新兴产业的最活跃部分；从国家安全角度，全球数据空间没有国界边疆，大数据能力成为大国之间博弈和较量的利器。总之，国家竞争焦点将从资本、土地、人口、资源转向数据空间，全球竞争版图将分成新的两大阵营：数据强国与数据弱国。

宏观上看，由于大数据革命的系统性影响和深远意义，主要大国快速做出战略响应，将大数据置于非常核心的位置，推出国家级创新战略计划。美国2012年发布《大数据研究和发展计划》，并成立“大数据高级指导小组”，2013年又推出“数据一知识一行动”计划，2014年进一步发布《大数据：把握机遇，维护价值》政策报告，启动“公开数据行动”，陆续公开50个门类的政府数据，鼓励商业部门进行开发和创新。欧盟正在力推《数据价值链战略计划》，英国发布《英国数据能力发展战略规划》，日本发布《创建最尖端IT国家宣言》，韩国提出“大数据中心战略”。中国多个省市发布了大数据发展战略，国家层面的《关于促进大数据发展的行动纲要》也于2015年8月19日正式通过。

微观上看，大数据重塑了企业的发展战略和转型方向。美国的企业以GE提出的“工业互联网”为代表，提出智能机器、智能生产系统、智能决策系统，将逐渐取代原有的生产体系，构成一个“以数据为核心”的智能化产业生态系统。德国企业以“工业4.O”为代表，要通过信息物理系统（CPS-Cyber Physica] System），把一切机器、物品、人、服务、建筑统统连接起来，形成一个高度整合的生产系统。中国的企业以阿里巴巴董事局主席马云提出的“DT（Data Techn0109Y）時代”为代表，认为未来驱动发展的不再是石油、钢铁，而是数据。这三种新的发展理念可谓异曲同工、如出一辙，共同宣告了“数据驱动发展”成为时代主题。

与此同时，大数据也是促进国家治理变革的基础性力量。正如《大数据时代》作者舍恩伯格在定义中所强调的，“大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的”。在国家治理领域，阳光政府、责任政府、智慧政府建设，大数据为解决以往的“顽疾”和“痛点”提供了强大支撑；精准医疗、个性化教育、社会监管、舆情监测预警，大数据使以往无法实现的环节变得简单、可操作；大数据也使一些新的主题成为国家治理的重点，比如维护数据主权、开放数据资产、保持在数字空间的国家竞争力等。

从哲学意义上来看，大数据不仅仅是一场技术革命，也不仅仅是一场管理革命或者治理革命，它给人类的认知能力带来深刻变化，可谓是认识论的一次升华。具体而言，大数据可以为决策者解决4个问题，提升两种能力。一是解决“坐井观天”的问题，以往人们决策只能基于视野之内极为有限的局部信息，和井底之蛙无异，大数据则可以实现整个苍穹尽收眼底；二是解决“一叶障目”的问题，以往不具备全样本数据分析能力，只能用小样本分析近似推理，犹如从“泰山”中取来“一叶”，而真理可能存在于全样本的海量数据之中，借助大数据则可完全克服；三是解决“瞎子摸象”的问题，7个瞎子根本无法根据各自的认识加总出完整的大象，因为他们的信息是相互离散的，无法有效关联起来，而大数据的基本优点是在深入关联中还原事物的原貌；四是解决“城门失火，殃及池鱼”的问题，人们习惯于因果分析，遇到这种“稀奇古怪”的因果链则很难前瞻和推理，但大数据注重相关关系，可以准确地发掘出规律。提升两种能力，一个是“一叶知秋”的能力，体现大数据敏锐的洞察能力；另一个是“运筹帷幄，决胜千里”的能力，体现大数据对时空约束的突破。这些足以说明，大数据是人类认识世界和改造世界能力的一次升华。

中国成为数据强国的优势、挑战与路径

值得振奋的是，中国具备成为数据强国的优势条件。从2013年至2020年，全球数据规模将增长十倍，每年产生的数据量由当前的4.4万亿GB，增长至44万亿GB，每两年翻一番。从全球占比来看，中国成为数据强国的潜力极为突出，2010年中国数据占全球比例为10%，2013年占比为13%，2020年占比将达到18%，届时，中国的数据规模将超过美国的数据规模，位居世界第一。中国成为数据大国并不奇怪，因为我们是人口大国、制造业大国、互联网大国、物联网大国，这都是最活跃的数据生产主体，未来几年成为数据大国也是逻辑上必然的结果。

尽管存在成为数据强国的潜力，但在目前的政策环境之下，我国推进大数据战略仍存在以下几个清晰的挑战。第一，顶层设计方面，全球大国之间围绕大数据的竞争颇为激烈，中国作为一个后发国家，想要实现弯道超车，后来居上并非易事。如何能够紧扣创新前沿，把准未来趋势，超前战略部署，对政策设计者来说是一个非常现实的挑战。第二，数据开放方面，“数据孤岛”广泛存在，虽然政府掌握着80%的数据，但现实中却相互割裂，自成体系，“部门墙”“行业墙”“地区墙”阻碍了数据的流动共享，数据被视为部门的利益和隐私，这与大数据时代的基本理念准则相悖。第三，大数据相关的法律、法规、标准缺位，导致能够开放的数据没开放，需要保护的隐私没有得到保护，企业由于标准模糊而无法大胆创新。第四，“数据主权”容易受到侵蚀，由于数据空间是国家新的战略维度，尚没有完备的安全保障体系，再加上电脑、手机、芯片、服务器、搜索引擎、操作系统、软件等核心的数据“基础设施”大量依赖进口，数据资产极易流失，数据主权极易受到侵蚀。

大数据特征 篇12

随着信息技术的不断发展和移动互联网的普遍应用, 移动电子商务正逐渐成为转变经济发展方式的重要推动力量和建设创新型国家的战略性产业。CNNIC在第35 次中国互联网发展状况统计报告中指出, 截至2014 年年底, 中国手机网民规模达5.57亿, 与2013 年同期相比增加了5672 万人, 其中这些网民中使用手机上网人数占比由2013 年的81.0%提升至85.8%。随着第4 代移动通信技术 (4G) 业务经营许可权的发放, 标志着我国已经步入了移动互联网时代, 一个以信息消费带动其他消费的新型经济增长模式出现了。据艾瑞咨询统计分析, 预计到2016 年, 我国移动网络用户将会超过10 亿人, 移动互联网的市场规模将达到2000 多亿, 由此可见, 移动电子商务的发展势不可挡。

1 大数据的涵义

自20 世纪80 年代“大数据” (big data) 概念从美国被提出到现在, 已经过了30 多年了, 在这期间, 在高速发展的信息技术的推动下, 大数据得到了迅猛的增长, 它正在深刻影响和改变着我们每一个人的生产、生活和思维方式。全世界各行各业的专家学者也对大数据将产生的变革进行了全方面的研究与实验。

1.1 大数据的定义与特征

目前, 对于大数据的定义仍没有一个统一的解释, 百度百科将大数据定义为无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

布赖恩和鲍里斯指出, 大数据应该具有以下五个特点, 即5V:

(1) Volume (大量、规模) :指数据量增长速度快且数据量庞大。计算机中数据信息存储的最小单位是字节, 英文是Byte, 简称为B, 而数据存储最小单位是比特, 英文为bit, 也称之为位, 二进制只有0 和1 两种基本字符, 所以一个位要么代表0, 要么代表1, 而一个字节等于8 个二进制位, 即1Byte=8bits。但我们的日常数据存储与使用的习惯是十进制表示, 数据传输又是以二进制表示, 但是1KB=1024Bytes, 而不是我们理解的1KB =1000B, 其中的K是千, M是兆。而大数据就是指非常多的二进制数据, 是一个非常大规模的数据集合。

(2) Velocity (快速、高速) :指数据的处理时间短、处理速度非常快, 终端用户是感受不到数据处理的过程以及等待时间的, 用户感受到的只是以最快的速度了解到所需要的信息。

(3) Variety (变化、多样) :指数据类型复杂、种类众多, 有结构化数据、半结构化数据、非结构化数据等多种类型, 其中包括文档、文本、图片、HTML、XML、报表、视频、音频等数据。不过现在网络信息大多以个人自主性信息居多, 具有强烈的个性化特点。

(4) Value (价值) :指数据蕴含巨大社会价值和商业价值, 以2015 年天猫双11 购物狂欢节的购物数据来说, 我们可以从中掌握顾客的购买习惯, 以及不同的消费群体的喜欢, 具有非常大的商业价值。

(5) Veracity (真实性) :指数据来源准确, 代表着真实有意义的信息。

如何将数据提炼成信息, 最终转化为有价值的知识, 从而能够预测和影响到经济政策的制度与完善, 是大数据技术研究的最终目的。

1.2 大数据的处理流程

我们的生活与工作中, 会接触到非常多的数据, 如何将这些海量的数据进行处理, 提炼成有价值的信息, 并落实到应用中去, 就需要有一个对大数据进行处理的流程。通过调查研究发现, 大数据的处理流程主要分为四步进行, 分别为采集、导入和预处理、统计和分析、数据挖掘。

第一步:数据采集。客户端的数据保存在多个数据库中, 用户通过访问客户端调用数据库中的数据进行简单的查询和处理。并发数高是数据库所要面临的最大挑战与问题, 如何让成千上万的用户在同一时间内对数据库进行访问与操作, 比如电商平台淘宝, 并发访问的用户峰值达到上百万人, 以及12306 火车票售票网站, 在节假日购票时期, 同一时间内访问用户峰值达到几百万人, 解决这些问题的办法就是要有大量性能安全、稳定、可靠的数据库作为支撑。

第二步:数据导入与预处理。数据采集到数据库后, 并不是所有的数据都是有价值的, 还需要对这些数据进行清选和预处理, 才能有效地从海量数据中分析出我们所想要的内容。需要将这些来自客户前端的数据导入到一个集中的大型分布式数据库中, 或者分布式存储集群, 然后做一些相应的处理。

第三步:数据统计与分析。庞大的数据需要进行分析和分类汇总, 这一步主要利用分布式数据库或分布式计算集群来进行处理, 才能满足海量数据的需要。

第四步:数据挖掘。数据挖掘需要人工智能、机器语言、数据库和统计分析等很多学科的知识, 海量的数据、计算机技术处理海量数据的能力、计算机的存储与运算能力、各种交叉学科的发展趋势等都是数据挖掘出现的必备条件。

2 大数据时代下移动电子商务的特征

2.1 移动电子商务的特点

移动电子商务是指通过手机、个人数字助理 (PDA) 、掌上电脑等各种无线通信设备与Internet所进行的企业对企业、企业对个人、个人对个人、线上线下的电子商务活动。移动电子商务将互联网技术、移动通信技术、无线网络技术以及其他各种信息处理技术的完美结合, 使手机网民可以在任何时间、任何地点登录任何商务平台从事各种商务活动。

传统电子商务是以B2C、B2B和C2C为典型模式, 通过PC端电脑将消费者、电子商务网站与商家三者相互联系的一种运营模式。

而移动电子商务活动中, 移动电子商务交易参与者不同, 将会产生不同的运营模式, 比如有内容提供商运营模式、移动运营商模式、服务提供商运营模式、移动门户网关运营模式等多种模式。

移动电子商务具有以下特点:

(1) 无时间地域限制

移动通信用户只要确保手机电池量充足, 就可以登录相关平台从事商务活动, 24 小时随时都可以参与到商务活动中, 无论是身边的超市, 或是大洋彼岸的商品, 都可以轻松放入购物车。

(2) 便捷灵活

移动电子商务中的无线通信设备都比较轻巧, 比如手机或者移动电脑终端等, 方便用户随身携带。

(3) 多样性

移动电子商务活动具有变化多样性, 比如可以通过电子商务平台、微信公众号、朋友圈、QQ群等多种渠道开展商务活动, 能够最大限度地将网民的积极性调动起来。

2.2大数据时代下移动电子商务的特征

(1) 具有社会广泛性

大数据时代的发展具有非常明显的社会性和广泛性, 借助于大数据的这种特点, 移动电子商务渗透到了人们日常生活工作中的每个地方, 将整个世界变成了一个零距离交流的大团体, 改变了传统的工业劳动模式为信息化劳动模式, 改变了人们的生活工作方式。

(2) 信息的动态公开

大数据时代带来的信息动态公开性特色, 让人们在获得方便快捷的互联网技术的同时, 也带来了大量信息的公开, 在保护个体隐私的前提下, 大部分的数据信息还是会在一个相对开放的公开环境中产生。

(3) 促进传统企业的信息化运营

大数据意味着巨大数量, 是信息技术飞速发展的产物。在这样的一个大数据时代下, 电子商务企业也紧跟时代发展的需求, 转换运营模式, 借助大数据进行运营。企业内各部门、企业与企业之间的所有环节都进行了信息化处理, 从前期的原材料采购、生产、加工环节, 到中期的产品推广营销, 直到后期的财务结算等都采用信息化管理, 优化了企业运作过程中各个环节的办事效率。比如淘宝通过对消费者需求与消费习惯, 分析出多种策略, 从而满足不同消费者对于各种商品的差异化需求, 有效控制了企业的管理、物流与售后等各种成本。

(4) 加速电商企业的资源整合

大数据时代下的电商企业, 与供应链上下游之间的信息与资源共享变得更加方便快捷, 数据整合能力也不断地加强, 从而令企业与企业之间的界限越来越模糊, 用户关注的焦点也逐渐集中到企业本身的服务能力。

3 结束语

大数据时代的来临, 给我国的移动电子商务事业带来了不同的机遇与挑战, 随着信息化技术的迅猛发展, 两者之间的结合也将会越来越紧密, 并且在未来会进一步促进整个经济的快速增长。

参考文献

[1]许金波.移动电子商务产业应用模式的创新研究[J].中国商贸, 2014, (12) :73-74.

[2]一个常见的大数据术语表 (中英对照简版) [EB/OL].http://www.36dsj.com/archives/22839, 2015-02-14.

[3]大数据的常见处理流程[EB/OL].http://blog.csdn.net/hfit000/article/details/8770054.

[4]李后强.大数据时代的互联网思维[N].企业家日报, 2014-11-11.

[5]于建坤.大数据技术方兴未艾[N].中国教育报, 2014-03-26.

[6]吴朱华.大数据从“小”做起[N].网络世界, 2012-05-14.

[7]张志安, 刘文骁.互联网催生传统新闻业的三个变化[J].新闻战线, 2015, (01) :69.

[8]大数据[EB/OL].http://baike.baidu.com/subvie w/6954399/13647476.htm.

[9]代亮, 陈婷, 许宏科, 等.大数据测试技术研究[J].计算机应用研究, 2014, 31 (06) :1606-1611.

[10]王军, 黄炬, 马有厂, 等.大数据时代的无线电监测[J].中国无线电, 2014, (04) :55-58.

[11]杨正校, 刘静.基于产业集群的中小企业移动电子商务研究——以太仓市为例[J].软件, 2014, (09) :86-90.