大数据中的财政思维

大数据中的财政思维（精选8篇）

大数据中的财政思维 篇1

汪洋书记向广东省财政部门推荐《大数据》一书，并部署财政部门研究如何收集、分析、挖掘、加工财政相关的经济社会数据后，全省财政系统深入开展《大数据》专题学习活动，掀起了一轮学习大数据战略相关知识、议论制订实施财政“大数据战略”的热潮。广大财政干部职工结合工作实际，“带着问题读、带着想法读”，进行了深入思考，对财政部门率先实施大数据战略有许多心得体会和感想。省财政厅党组书记、厅长曾志权率先垂范，经过深入研读和分析、思考，提出了深化对大数据的理解和认识、实施财政大数据战略的一些见解和思考。现将曾志权厅长及部分财政干部读书心得摘要如下，以飨读者。

曾志权(广东省财政厅党组书记、厅长)：

实施大数据战略 搭建战略平台

提高财政服务经济社会发展的能力水平要从经济社会发展的阶段转型和社会变革的趋势深刻理解和认识实施大数据战略的必然性。当前，我们正处于工业时代和信息时代交汇的发展阶段，新的通讯技术和新的能源系统将互联网技术和可再生能源结合起来，将为第三次工业革命创造强大的新基础设施。在这一轮抢占经济制高点的竞争中，广东只有牢牢把握经济发展趋势，顺势而为，才能跟上第三次工业革命的步伐，才能实现经济发展阶段的战略转型。大数据战略正是适应经济发展的阶段转型，实现新技术革命的必由之路。同时，大数据时代带来的不仅是技术领域的变革和经济的发展，对全社会的政治生活、文化生活也将产生重要的影响。首先，从政府职能转变的进程看，进入大数据时代后，政府决策越来越依赖于数据的支撑和信息咨询系统的发展，这一变化也将进一步提高决策的效率，节约决策的成本。其次，信息化时代数据资源的可共享性和透明性，必然推动社会力量广泛参与政府决策、监督政府行为，并进一步改善政府治理。再次，大数据将从根本上改变个人的思想和行为习惯。大数据时代这些推动社会变革的力量使实施大数据战略成为必然的趋势。

实施大数据战略是提高财政工作水平的重要途径。从财政工作的实际看，财政工作与各种经济社会数据息息相关，信息技术极大扩展了我们掌握数据、分析数据的手段和方式，也成为提高财政工作水平的重要工具。首先，数据可以服务财政决策。越来越丰富的涵盖经济社会发展各领域的数据为更准确、高效地做出决策提供有力的帮助。其次，数据可以改进财政管理。通过各种财政业务数据、民意数据，我们能更清晰地发现财政管理中存在的问题和不足，并将为我们加强管理、改进工作提供数据支撑。再次，数据可以推动财政创新。一方面，预算管理信息系统、财务核算信息集中监管系统等财政业务系统的数据库技术创新本身就是财政创新的重要内容。另一方面，通过加强数据分析，挖掘数据背后有利于增加收入、改进支出的因素，可以推进财政体制机制创新。因此，财政部门必须真正重视数据，研究推进实施大数据战略的举措，不断提高财政管理水平，使财政工作更有效率、更加开放、更加透明。

大数据中的财政思维 篇2

现代产业与信息技术的发展使数据资源成为越来越重要的生产要素。爆炸式增长的数据量对多源、异构、高维、分布、非确定性的数据及流数据的采集、存储、处理及知识提取提出了挑战。大数据思维就是此环境中的产物,它并不局限于传统的基于因果关系的逻辑推理研究,甚至更多地通过统计型数据的搜索、分类、比较、聚类、关联等的分析和归纳,关注数据集内隐藏的相关性(支持度、可信度、关注度)。图灵奖得主吉姆·格雷将这种数据密集型的研究范式从理论科学、计算科学、实验科学中分离出来,成为“第四范式”[1]。

2008年《Nature》推出Big Data专刊[2]后不久,文献[3]将大数据计算称为商务、科学和社会领域的革命性突破。2011 年,《Science》的Dealing with Data专刊阐述了大数据对科学研究的重要性[4]。同年,麦肯锡公司发布关于大数据的竞争力、创新力和生产力的调研报告[5],分析了大数据的影响、关键技术及应用领域,进一步燃起学术界和产业界对讨论大数据的热情。美国政府于2013年3月宣布投资2亿美元启动“大数据研究和发展计划”[6],将其上升为国家战略。大数据被认为是继物联网、云计算之后,IT行业又一次颠覆性的技术变革。

云计算是利用互联网实现随时、随地、按需、便捷地访问共享资源池(如计算设施、应用程序、存储设备等)的计算模式[7],关注计算能力,并与关注知识提取的大数据技术相得益彰。

电力是社会发展的重要基础。随着全球能源形势的日益严峻,各国大力开展了智能电网的研究和实践[8,9]。其目标是建设一个覆盖整个电力生产过程,包括发电、输电、变电、配电、用电及调度等环节的实时系统,以支撑电网的安全、自愈、绿色、坚强及可靠运行[10]。而其基础则是电网广域全景实时数据的采集、传输、存储、分析及决策支持。

而愿景中的电网则是网架坚强、广泛互联、高度智能、开放互动的智能电网。文献[11]分析了智能电网大数据的产生与特点,指出已有的数据处理技术在智能电网的数据存储、处理和展示等方面所面临的挑战,已成为智能化发展的制约因素。 文献[12]探索了基于云计算的智能电网信息平台的可靠存储和高效管理。文献[13]研究了用户侧电力消费的大数据,从中挖掘其用电行为,以改进需求响应系统。

以电为核心的大能源体系正在成为全球能源的发展战略[14]:一次能源的清洁替代与终端能源的电能替代都必须依靠电网的输送才能大规模地实现。文献[15]指出,电力可靠性问题的顶层设计应该以大能源观为指导,不能局限于电力系统自身,还要分析其与一次能源、外界环境、管理政策、用户需求与方式变化间的交互,研究广义阻塞对电力系统安全性与充裕度的影响。

电力、能源及广义环境的多源、多态及异构数据的数量呈指数级增长,需要有相应的广域采集、高效存储和快速处理技术予以支撑。而从这些数据中挖掘知识及价值应用则使电力大数据的话题融入大数据的研究热潮。本文及其续文是笔者关于如何将电力大数据的思维应用到电力的广义可靠性、大能源安全及环境安全方面的思考。

1 大数据概念的演绎

1.1 定义

对“大数据”还没有统一的定义,通常指量大、多源、异构、复杂、增长迅速,无法用常规的方法处理的数据集合[16]。许多数据往往只在统计学观点上具有某种相关性,而不一定像传统应用的数据那样具有严谨的因果关系。对这样的统计关系型数据,只有当反映一个真实问题的数据量达到能在一定程度的统计意义上描述其真实面貌时,才能有效地提取知识,支持决策。而对于常规的因果关系型数据来说,数量的大小往往仅影响到计算资源,而与提取知识的方法关系不大。

因此,大数据与小数据之间并无绝对的界限,而是相对于目标问题而言的。大规模的数据量只是大数据概念的特征之一,也不应该用海量的规模作为大数据的必要条件。

大数据技术涵盖了从信息产生、采集、存储、转换、集成、挖掘、分析、计算、展示、应用及维护等数据全生命周期管理过程[17],需要具备从不同类型的多源异构数据中,快速提炼出有价值信息的能力。

1.2 基本特征

数据是以编码形式对自然现象、社会现象、试验仿真结果及经验的记录,包括数字、文字、图像、声音等形式。与传统数据相比,大数据具有四大显著特征4V,即量(Volume)、类(Variety)、速(Velocity)、值(Value)[18]。“量”是指数据容量足够大;“类”是指数据种类呈现多源多态特性;“速”是指实时性要求高;“值”是指数据价值密度相对较低。在数月的监控视频中,可能仅1~2s的画面有用,但通过关联数据的挖掘、分析和提取,却可能获得很高的信息价值。

一般认为,数据规模或复杂程度超出了常用技术按照合理的成本和时限来处理的能力,就可称为大数据。笔者认为如果统计型数据量对于具体目标问题来说,已经具有统计意义,就可以用大数据思维来处理。若为大数据设立数百TB的阈值,必将大数据思维束之高阁,扼杀了其广泛应用的生命力。

除了从因果、统计及博弈等数据关系的视角来对数据类型分类外,还可以按数据结构的视角将其分为三种类型:①结构化数据,即可以用二维表结构来逻辑表达的行数据,关系型数据库是其有效处理工具;②非结构化数据,是一类不能用有限规则完全表征与刻画的异构性数据,如图像、音频和视频等信息,它们之间不存在直接的因果关系,存在不相容性及认知的不一致性;③半结构化数据,介于上述两种结构之间的数据,可以用树、图等模型表达,如Web、办公文档及电子邮件等信息。据统计,随着社交网络、传感物联及移动计算等新技术、新渠道的不断涌现,企业中的半结构化或非结构化数据占比越来越大,有的已达80%。

1.3 思维方式

大数据技术的思维方式是:将采集到的经验与现象实现数据化与规律化,在继承传统的统计学、计算数学、人工智能、数据挖掘等方法的基础上,从单一维度转向多维度统筹融合,开发知识处理的新方法,从更深刻的视角,以更高的时效发掘多源异构数据,从而发现新知识和新规律,并实际应用的方法学。

若可以用简单的表达式直接描述某问题的结果与变量之间的关系,那么即使其数据量很大,也不一定属于大数据思维。当数据之间没有或还不能严格描述其因果关系,而数据集已相对地具备统计意义,就需要并可以采用大数据思维来处理。例如:对于一个市场调查的数据集,如果仅仅求取人群对某种商品的需求分布,那么思维方法并不会因为数据集是否海量,而改变常规的数据处理思维。但如果要从人群对该商品众多技术、经济、全程服务特性等各方面要求中提炼出有助于提高企业竞争能力的决策支持,那就需要有新的思维方法,包括信息挖掘与利用的思维、模式及方法,以帮助人类获得更深刻的洞察力。

关注统计关系的思维方法,同样可以应用于有限数据集上[19],只是其结论的可信度可能受到影响。

1.4 大数据技术的挑战

1.4.1 大数据的采集与集成

利用各种传感器及终端,采集反映物理世界、市场经济与人类行为等现象的静态/动态的异构数据,成为人、机、物三元世界的信息纽带[20]。其挑战主要体现在:①从结构化数据为主,向结构化、半结构化与非结构化的三者融合的变革;②数据来源的多样化,特别是移动终端的广泛应用,使大量数据需要同时带有时间与空间的标志;③有用信息被淹没在大量无关或弱相关的数据中,或需要处理低质量及局部缺损的数据。

1.4.2 大数据的存储

大量多态异构数据的高效、可靠、低成本存储模式是大数据的关键技术之一,对多源多态数据流之间的交互索引与转换效率影响很大。

数据压缩技术可以减少数据传输量及提高存储效率,但也增加了数据处理环节及计算负担[21]。分布式存储要权衡对存储空间及实时性的影响:对实时数据采用实时数据库或内存数据库;对核心业务数据采用传统的并行数据仓库系统;对大量的历史和非结构化数据采用分布式文件系统。

算法在处理复杂结构数据时相对低效,故希望事先为复杂结构的数据建立索引结构来帮助搜索,并合理地将非结构型数据结构化。

1.4.3 大数据的分析

需要关注大数据的形态描述、基本运行规律及其可控性。其中,最复杂的是人类社会行为信息,其决策行为必须与物理系统及信息系统相结合。

目标领域的信息若能与关联领域的信息相结合,则不但知识量得以增加,而且更有可能揭示综合性、交叉学科的未知知识,甚至从统计型数据中发现其(准)因果关系。知识的涌现性反映在模式、行为和智慧上。例如:将提高风机效率的研究与气象信息、电网信息联系,其效果将大大提升。大数据与云计算为之提供了数据资产的保管、搜索的技术,但也不是数据越多越好,而信息的提炼与知识的发现一般很难通过直观方式的分析和解读来获取。

数据驱动的分析方法包括:聚类、判别、回归、识别、隐变量、主因分析、时间序列。需要处理大规模的不定解问题,及必要时信息的补充问题,利用特征的相关性来发展统计学,有效地表达高维随机变量函数的联合概率分布。

用以发现知识的技术有:遗传算法、神经网络、数据挖掘、专家识别、回归分析、聚类分析、关联分析、数据融合、机器学习、自然语言处理、情感分析、空间分析、时间序列分析及其他计量学方法。一个例子是Google采用机器学习和神经网络来分析服务器群的数据,掌握大量变量之间的交互。神经网络在无显式编程下自适应学习,大大提高服务器群的效率,发现普通人注意不到的复杂互动关系。

随着大数据的应用从离线走向在线,甚至实时,所面临的系统复杂性、数据复杂性和计算复杂性挑战更为严峻。目前虽然出现了一些较为有效的方法,如流处理模式、批处理模式,及两者的融合[22],但仍未有一个相对普适的(准)实时的分析处理框架,在合理精确性的前提下实现快速的随机优化。

1.4.4 大数据的易用性

易用性应该贯穿在大数据的集成、存储、计算、分析,乃至展现等整个业务流程[23]。从技术层面看,可视化、人机交互及数据起源技术都可有效提升易用性,但仍存在元数据的高效管理的难点。元数据是关于数据的组织、数据域及其关系的信息,是描述信息资源的重要工具。

1.4.5 大数据的安全性

数据可靠性和通信网络安全性至关重要。必须研究各种广域量测数据和仿真数据的完备性、适时性和价值的评估技术,研究在广域信息不完全条件下的分析、控制技术。

“8·14”大停电前的几个月,北美电力可靠性委员会(NERC)警告说,随着电力业务的复杂化,越来越多的电力公司不遵循2002年发布的非强制性的安全导则,致使一些数据采集与监控(SCADA)网络被蠕虫破坏。大数据安全是一项包括技术层面、管理层面、法律层面的社会系统工程,其保障体系的框架由组织管理、技术保障、基础设施、产业支撑、人才培养、环境建设组成。应该研究数据源和传输的可靠性,研究信息系统故障或受到攻击时的行为,以及信息的阻塞、淹没、丢失和出错对大能源可靠性的影响。

移动互联时代中,人们在不同场合产生各种数据足迹;大数据技术将大量行为信息聚集在一起,就很可能暴露其隐私。由于尽可能地获取信息本来就是应用大数据技术的目的,故与隐私权的保护存在着矛盾。如何协调共享与隐私,需要制度与监管的保证。

现有的数据安全保护技术主要针对静态数据集[24],包括开放与防御的平衡,防止数据被窃取或篡改。但仍需要解决动态信息的安全性问题。

1.4.6 大数据的应用

大数据学科的兴起与人类需求密切相关,其中的信息挖掘及知识提炼环节必须与待求解问题紧密结合,而应用环节则是大数据技术发展的动力与归宿。因此,大数据研究应该遵循问题导向、需求牵引及数据共享的原则。必须结合具体的目标问题,将采集到的低价值的大数据加工成高价值的思想或知识,大数据技术才有生命力。若没有应用企业的深度参与,若不能按照商品的规律运行,大数据技术就难以真正取得收效。此外,若没有各管理部门对数据共享的落实,大数据技术也只能是纸上谈兵。

知识作为资源,需要像物质资源那样分配及流通。为此,需要对知识产品定价,并从数据使用的视角揭示信息流与科学活动的内在规律。

目前对大数据应用的关注,主要集中在商业与服务业这些以统计关系为主的领域[25],较少涉及具有较强因果关系的领域,如电力系统及能源市场等领域。笔者认为,是否能成功地将统计关系、博弈关系与因果关系取长补短,是大数据技术能否扩大应用领域的一个关键。

2 电力大数据

2.1 问题的提出

从能源系统看,它包括电网和非电的能源网两部分;电力系统应该在能源的清洁替代与电能替代中有效地承上(一次能源)启下(终端能源),兼顾左右(与其他二次能源协调)。

从信息系统看,它包括专用通信网与互联网(Internet)两部分。专用网用于对信息安全性或实时性要求高处,但由于非开放式的接入,故不适合与广泛用户的互动;互联网用于开放场合,但信息安全及实时性差。显然,两者对于信息系统来说都不可或缺。

能源革命需要的是能源系统的全部组分与信息系统的全部组分的深度融合[26],即大能源系统与大信息系统组成的信息能源系统,而不是局限于它们的某个子集之间。但是,智能电网的研究范畴基本上局限于能源系统中的电力系统与通信系统中的专用网[27],因此其信息物理融合的概念也就局限于“电力生产信息+电力系统”。作为能源革命重要环节的“一次能源系统及终端能源系统”,以及作为信息革命重要环节的“网络金融及需求侧参与信息”却并没有得到应有的重视。

显然,目前的智能电网框架中的专用通信网的功能需要从电力系统扩展,不但涉及各种非电的能源环节,而且涉及相关的非能源环节,以更好地支持对电力可靠性及经济性的研究,并支撑综合能源安全、能源经济安全及环境安全。另一方面,开放的网络经济及广泛的用户参与都需要互联网的支持,互联网数据的管理与挖掘成为非常重要的任务。

整个能源行业在转型发展中面临的机遇和挑战,来自一次能源的压力、环境安全的紧迫性、电力系统内外复杂性的增加、运行环境及扰动事件的不确定性与风险的增大、经济与技术的发展、市场改革的要求。为了应对上述挑战,必须提高数据的及时性、完整性、一致性及信息安全防御能力,提高对数据的管控能力,消除数据壁垒、存储无序且不一致的现象,完善对外部环境、基础设施及人才队伍的掌控。

从传统的电力数据演变为电力大数据,跨领域的时空扩展将电力系统的界面条件从确定性变为时变性,同时也增加了多时间尺度的动态复杂性[28]。涉及各类数据的采集、集成、存储、管理、知识挖掘、决策支持、可视展现等技术,也反映了电力及综合能源数据的管理、知识的挖掘和应用等一系列推进能源生产、转换、输送、消费方式的创新思维。其中的互联网数据大多为传统数据库不支持的非结构化类型,包括图片、视频、音频、地理位置信息、网络日志、博弈行为、金融动态、政策法规。数据的在线或实时处理,往往呈现出突发及涌现等非线性状态演变现象,难以预测。

为此,信息创新必须与能源革命在更高层次上深度融合,特别是在一次能源中的清洁替代及终端能源中的电能替代上,不但将协调优化的概念提升到综合能源流的范畴,而且推动电能更主动发挥在一次能源与终端能源之间的核心纽带作用,实现能源生产模式与消费模式的革命。

但是,将大数据技术局限于互联网数据也是片面的。通过专用网或仿真网获取的数据,包括智能电网概念中已涉及者,以及有待外拓的非电能源领域与非能源领域中的数据问题,同样存在大量的挑战。既然讨论的是信息物理融合问题,那么其框架就更不应该在信息系统内部或能源系统的内部设立藩篱。

当前的研究都在一定程度上受限于物理系统中的藩篱或信息系统中的孤岛。例如:①稳定性与经济性的研究都针对给定的边界条件,不能真实反映上下游环节的变化对电力系统的影响;②充裕性问题被粗犷处理为固定比率的备用容量,无法适应大规模不确定性的可再生能源及充放电用户的入网;③决策过程基本无法考虑博弈行为的影响;④忽视了信息系统本身可靠性的影响;⑤缺乏对电力系统外部环节的自适应能力。

要突破上述藩篱与孤岛,就必须遵循以电力系统为核心环节的大能源系统在大数据时代下的发展理念,顺应管理体制及技术路线的变革。

2.2 电力大数据的特征

一方面,电力大数据具有大数据的共性,包括目标领域向其他相关领域的扩展,以及数据类型向非结构型及非因果型数据扩展,时间维度向多尺度的流数据扩展。由此形成大量的异构异质数据,包括数字、文本、图形、图像、音频、视频等静态和不同时间尺度的动态数据,以及大量统计关系与博弈关系的数据,都需要快速处理。

另一方面,电力大数据必然继承了能源行业数据的特征,包括大量的因果关系数据、高维的时空数据,广域的监测控制,快速的时间响应及实时控制数据。除了电力系统的状态外,还需要获取并分析相关领域的数据,并处理部分数据缺失时的不确定性。

运行工况或故障场景都会影响系统的稳定性和控制策略。中国的电网现在已普遍实现了在线的量化分析功能,按实测工况和典型故障来指导预防控制,并向自适应的紧急控制与系统保护发展[29]。但若要有效地应对极端自然灾害环境,则还需要采集并处理大量非结构型的视频、语音、图片,并与电力系统分析功能有机结合。大规模间歇性可再生能源(RES)与电动汽车(EV)的入网对电力充裕性与备用调度提出挑战,要求大大提高对风电、太阳能发电及EV充放电的预测精度,这就需要处理大量非结构型的地理及交通动态数据。为了应对相继故障,基于常规因果关系型数据的分析算法也应该解决多米诺效应的演化路径及实时评估的经典难题。

2.3 电力大数据的类型

除了按数据结构等大数据概念来划分电力(能源)系统大数据,还存在其他视角,列举如下。

1)按业务领域,电力大数据可分为:①规划运行类,包括电力规划、电能生产、运行监控、设备检修等数据;② 企业运营类,包括企业发策、运营、电力市场、用户信息等数据;③企业管理类,包括人财物资、资本运作、企业资源计划(ERP)管理、协同办公等数据;④非电的能源类,包括各种一次能源、非电的二次能源、终端能源使用模式等数据;⑤非能源类,包括气象、环境、碳资产、宏观经济政策等数据。

2)按时间维度可分为:①背景及法规数据;②历史数据;③调查及预测数据;④在线实测数据;⑤仿真推演数据。

3)按数据采集来源可分为:①书本及文档;②专用网数据;③互联网数据;④问卷及调查;⑤交互博弈及仿真结果。

2.4 电力系统的数据量

常规SCADA系统按采样间隔3~4s计算,10 000个遥测点每年将产生1.03 TB数据(12B/帧×0.3帧/s×86 400s/d×365d×10 000遥测点);广域相量测量系统的采样率为100次/s,10 000 个遥测点每年将产生495 TB数据。美国PGE公司每个月从900万个智能电表中收集超过3TB的数据。国家电网公司的2.4亿块智能电表,年产生数据量约为200TB,而整个国家电网公司信息系统灾备中心的数据总量,接近15 PB。 以2004年山东系统(97台机、462条母线、702条支路)为例,设在线每5min对220kV以上线路的三相永久故障分析一次暂态稳定性,仿真时长10s,仿真步长0.01s,则一年内将产生1 092TB的数据量。当大规模的间歇性分布式可再生能源入网后,发电侧计及气象数据的实时监控的数据量比传统发电成倍增加。智能配电、智能电表、电动汽车和用电技术的发展也大大增加了需求侧的数据量。电力企业的精细化管理,与一次能源、环境、交通、市政等外部系统的联系日益深化,对数据量的依存度也越来越高。

2.5 电力大数据对电力可靠性的支撑

整合各种广域系统采集的静态和动态数据,包括雷电场、台风风力场、山火场等非结构型数据与常规的电力数据及仿真信息相结合,从所获的现场实测或仿真得到的时间响应曲线中提取深层知识。以支持稳定性与充裕性的量化分析及自适应控制,协调故障前的预防型博弈,故障后瞬时的故障隔离和预测型紧急控制,检测到违约症状后的校正控制,以及系统崩溃后的恢复控制。在此基础上,综合防御框架还应该实现多道防线的时空协调,通过协同各道防线和各种控制手段,最大限度地减少大停电的风险。

信息的可靠性是分析和决策的物质基础;机理分析和量化分析则通过数据挖掘来深刻掌握电网的行为特性[30];正确的决策是为了能以最小的风险代价来最大限度地满足电力需求。互为补充的相量测量单元(PMU)、远方终端设备(RTU)和仿真数据共同满足系统在空间中和时间上的可观性和可控性[31]。需要研究在不完备数据下,如何将信息论和系统论相结合,从数据中挖掘深层信息。

在电力的长期可靠性分析与控制方面,需要考虑社会、经济、科技、能源与政策等发展的不确定性,以及各种博弈行为的影响,将目前依靠主观判断的方式逐步提升为基于混合仿真推演的方式。

3 信息能源系统的大数据平台

3.1 电力(能源)系统运行数据的采集

关系数据库强调完整性及一致性,云计算强调可扩展性,但难以保证实时性。Internet的TCP/IP协议在流量控制和数据纠错时会产生10ms量级的时延,难以满足实时控制,特别是紧急控制的要求。

RTU和SCADA系统可以用低成本采集大量的广域数据,并满足静态可观性,但没有统一时标,采样周期长、时延大,只能抽取慢速动态特征。故障录波和保护信息系统就地记录大量暂态信息,可支持故障的事后分析,但上传的滞后时间长,难以实时应用。

PMU数据不依赖于系统模型和参数,可在统一时标下快速采样,提供系统实际的时间响应曲线,用来校核仿真模型和参数,并提供仿真的初值。但受价格限制较难满足高可观性。

20年来的研究热点之一是将PMU用于实时稳定性分析及开环控制,根据受扰后短期实测数据预估稳定性,并在失稳前选择并执行控制措施,但至今未能用于稳定分析和开环控制。文献[32]明确指出,在非自治因素下单纯依靠轨迹的外推来预测并不可靠,并且即使在没有时间约束的离线环境下,要对有数学模型的仿真曲线进行稳定性量化分析也非易事。若在计算已有轨迹的稳定裕度时没有模型参数可用,其量化分析就更难。更重要的是,只有通过仿真才能在措施实施前确认其效果。不与仿真工具结合,就难以按合理的保守性来确保控制的充分性。其根本原因是:在事前,PMU无法观察到控制措施的效果,也无法在不依靠系统模型及参数的前提下求取实测轨迹(特别是稳定轨迹)的稳定裕度。PMU在应用上的这个瓶颈是本质性的,不可能真正突破。

现场伪量测是对广域数据加工中挖掘出来的数据;仿真伪量测是在仿真中产生的数据。它们的正确性受到模型、参数、初值和算法等的限制。

3.2 电力(能源)系统的大数据平台

随着数据采集环节的质量提高、成本降低,以及各种广域数据采集系统的数据共享,可以通过更多数据来全面掌控电力与能源。为此,需要将各种广域监测系统和数值仿真系统置于统一的平台中,有助于数据挖掘,识别相继故障的先兆特征、临界条件和传播模式,从而提高预警水平,增强防御停电灾难和事后分析的能力。

由硬件资源、基础软件、网络通信、数据集成、计算支撑、应用支撑、安全管控等环节构成的大数据平台支持多源多渠道异构数据的即插即用、融合与管理,支撑各种开发、应用及信息展示功能的即插即用。通过基于数学模型的因果型数据、无因果关系的统计型数据以及参与者博弈行为的融合,管理各类能量的生产、转换、输送及使用,调度与仿真数据的集成与管理。

4 结语

虽然当前关于大数据的应用案例大多发生在互联网企业中,但传统的电力及能源企业也在思考如何从关于大数据的空泛介绍走向实际应用。特别是除了直接依赖互联网的电力金融业务及面向消费的个性化服务以外,在基于传统数据的系统分析与控制领域中,如何融合电力及能源的统计关系数据、因果关系数据及博弈行为数据,发挥大数据的价值。例如:间歇性能源及负荷预测,引导需求响应及节能减排,降低停电风险,反窃电,堵塞经营漏洞,优化资产全寿命周期管理等方面。特别是:如何使企业决策从当前基于常规数据及主观经验的模式,发展为基于数学模型、参与者及多代理模型的混合仿真的沙盘推演模式。其中的多代理模型就需要大数据技术的支撑。这关系到电力大数据技术是否能进入到通常由因果关系数据一统天下的物理系统分析领域。为此,思维方式需要重大变革。

摘要：大能源思维将电力视为能源生产与消费全流程中的枢纽环节,藉此推动上游一次能源的清洁替代与下游终端能源的电能替代,支撑能源的可持续发展。大数据思维将各种数据资源从简单的处理对象转变为生产的基础要素。这两种思维的融合,使电力大数据成为大能源系统广泛互联、开放互动及高度智能的支撑,包括:广域多时间尺度的能源数据及相关领域数据的采集、传输和存储,以及从这些大量多源异构数据中快速提炼出深层知识并发挥其应用价值。作为两篇论文中的开篇,在演绎大数据基本概念、结构类型及本质特征的基础上,归纳电力大数据的特点。针对综合能源,通过基于数学模型的因果型数据、无因果关系的统计型数据以及参与者博弈型数据的融合,构建信息能源系统的知识挖掘平台。其续篇将讨论信息能源系统,并通过若干案例,反映大数据思维对提高大能源经济性与可靠性的贡献。

大数据中的财政思维 篇3

曾志权（广东省财政厅党组书记、厅长）：

实施大数据战略 搭建战略平台

提高财政服务经济社会发展的能力水平要从经济社会发展的阶段转型和社会变革的趋势深刻理解和认识实施大数据战略的必然性。当前，我们正处于工业时代和信息时代交汇的发展阶段，新的通讯技术和新的能源系统将互联网技术和可再生能源结合起来，将为第三次工业革命创造强大的新基础设施。在这一轮抢占经济制高点的竞争中，广东只有牢牢把握经济发展趋势，顺势而为，才能跟上第三次工业革命的步伐，才能实现经济发展阶段的战略转型。大数据战略正是适应经济发展的阶段转型，实现新技术革命的必由之路。同时，大数据时代带来的不仅是技术领域的变革和经济的发展，对全社会的政治生活、文化生活也将产生重要的影响。首先，从政府职能转变的进程看，进入大数据时代后，政府决策越来越依赖于数据的支撑和信息咨询系统的发展，这一变化也将进一步提高决策的效率，节约决策的成本。其次，信息化时代数据资源的可共享性和透明性，必然推动社会力量广泛参与政府决策、监督政府行为，并进一步改善政府治理。再次，大数据将从根本上改变个人的思想和行为习惯。大数据时代这些推动社会变革的力量使实施大数据战略成为必然的趋势。

实施大数据战略是提高财政工作水平的重要途径。从财政工作的实际看，财政工作与各种经济社会数据息息相关，信息技术极大扩展了我们掌握数据、分析数据的手段和方式，也成为提高财政工作水平的重要工具。首先，数据可以服务财政决策。越来越丰富的涵盖经济社会发展各领域的数据为更准确、高效地做出决策提供有力的帮助。其次，数据可以改进财政管理。通过各种财政业务数据、民意数据，我们能更清晰地发现财政管理中存在的问题和不足，并将为我们加强管理、改进工作提供数据支撑。再次，数据可以推动财政创新。一方面，预算管理信息系统、财务核算信息集中监管系统等财政业务系统的数据库技术创新本身就是财政创新的重要内容。另一方面，通过加强数据分析，挖掘数据背后有利于增加收入、改进支出的因素，可以推进财政体制机制创新。因此，财政部门必须真正重视数据，研究推进实施大数据战略的举措，不断提高财政管理水平，使财政工作更有效率、更加开放、更加透明。

实施财政“大数据战略”，切实提升财政部门数据收集和分析使用水平。第一，更加注重数据收集。明确数据收集范围，将管理数据、民意数据和环境数据纳入收集范围。完善信息收集的渠道，其中：对管理数据的收集，重点破解部门封闭化、层级分割化的格局，广泛建立与各业务主管部门数据库的衔接或链接口；对民意数据的收集，结合财政监督、绩效评价、为民办事征询民意等工作，广泛收集财政工作相关的民意数据；对环境数据的收集，重点依靠监测自然界各要素传感器自动收集。第二，更加注重数据分析。强化数据指标统计工作，重点加强对财政支持经济社会发展各领域资金的口径设计和数据统计；创新数据管理方式，加快推进标准一致、格式统一、互通互融的数据中心建设，建立可实现数据分析、决策支持的数据仓库；提升数据分析技术，加强与相关科研机构、高校、企业的合作，利用其先进的数据挖掘和分析技术，为财政管理服务；改进民意调查方法，加强与统计部门及民意调研机构的沟通合作，在加强数据共享的基础上，将计量统计分析工具运用到社会调研中。第三，更加注重数据使用。坚持用数据说话，强化以数据为基础的定量分析，使数据和信息成为财政专项支出、政策设计等决策的重要基础。重点加强财政收入分析、财政支出绩效评价、财政政策评估、财政工作宏观分析，并提出财政调控经济社会发展的政策建议。第四，更加注重数据公开。牢固树立“公开是原则、不公开是例外”的理念，认真落实政务信息公开有关条例制度，坚持积极与稳妥相结合的原则，逐步推进数据公开工作。

实施财政“大数据战略”必须强化技术和人才支撑。大数据带来的挑战，首先是体现在对硬件和技术的要求上。一是建立一套硬件体系。通过对现有硬件的改造升级和配置新的硬件设备，打造一个能够适应未来大数据采集、储存、管理、分析、交换、共享需求，而且简便、智能、可扩容的硬件体系。二是建立一套运行机制。通过顶层设计，满足大数据系统建设有序、动态、可持续发展需要，促进建设过程中各个环节的有序运行。三是建立一套建设标准。建立面向不同类型、涵盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。四是建立一个共享平台。通过数据集成，打破目前数据部门封闭化、层级分割化的有限状态，实现财政与国库、税务、审计及各执行单位、支出单位及各级财政部门各类信息系统的数据交换和共享的最大容量和便利化。另外，财政部门作为和数据打交道的部门，财政干部队伍作为和数据打交道的人，本身具备了良好的基础和条件，需要进一步树立数据管理意识、增强数据收集观念、改进数据利用手段，真正做到坚持用数据说话、用数据改进管理、用数据推动创新，不断提高工作效率和水平。

钟炜（广东省财政厅办公室主任）：

用数据改进财政管理

要更好地应对大数据时代的种种挑战，需要认真思考和解决好以下三个问题：一是我们需要什么样的数据？二是如何高效地收集我们需要的数据？三是如何合理地运用数据提升财政管理水平？收集、分析数据的根本目的是挖掘数据背后有利于提高效率、改进工作的因素，提高财政管理水平，实现“用数据改进管理”。

刘雄威（广东省财政厅数据信息中心主任）：

把握时机 应对大数据的挑战

机遇和挑战并存，要主动适应大数据时代的到来，为财政管理提供数据支持和技术支撑。一是在全省财政系统推广使用统一的标准编码体系，解决财政系统内部各业务应用系统中编码不一致的问题，为做好财政数据收集扫除障碍。二是加快应用支撑平台的建设，通过应用支撑平台将相关业务信息系统中的数据连接，实现对业务数据的收集和整合，建立数据仓库。三是做好财政业务系统一体化项目建设，整合现有业务应用系统和数据，构建统一门户，通过可视化技术，生动、形象地为日常管理和领导决策提供所需的数据和信息。

冯宝璇（广东省财政厅预算处副处长）：

以“大数据”理念提升预算管理水平，一是采集整合数据，建立数据仓库。二是运用数据手段，创新财政管理。要学习、借鉴并运用数据分析手段，在资金项目的申报、使用和分配等环节收集项目情况、用款去向、使用效果等详细数据，规范资金申报管理，监督资金使用绩效，提高资金分配科学性。三是推进数据开放，建设阳光财政。

曾文娟（广东省财政厅办公室科员）：

在大数据时代怎样才能逐鹿数坛，在财政宣传工作上用好数据之剑呢？主要是把握四个方面：一是要注重收集数据，做到手中有数。二是要注重分析数据，做到心中有数。三是要注重运用数据，做到循规有数。四是注重关注发展动态，做到变化有数。

（本文摘自《南方日报》，文字有所删减）

借鉴大数据思维改进干部考核评价 篇4

2014-04-22 09:22 来源： 学习时报 作者： 肖兆权

大数据被认为是一个正在到来的观念革命。干部工作也应当运用大数据的思维，从干部多重身份的角色表现、不同时期的成长轨迹和多元评价主体的考核意见等大量信息中，运用科学的分析工具，提升考核评价工作的科学化水平。当前正处于信息化时代，大数据被认为是一个正在到来的观念革命。干部工作也应当运用大数据的思维，从干部多重身份的角色表现、不同时期的成长轨迹和多元评价主体的考核意见等大量信息中，运用科学的分析工具，提升考核评价工作的科学化水平。考核评价有三重境界。第一境界“源于事”，考察的是所为之事和行为表现；第二境界“识于人”，聚焦的是个性特质和德才素质；第三境界“归于势”，关注的是职业生涯和发展趋势。这三重境界反映了评价干部由低级走向成熟的三个必由阶段。

源于事——“横看成岭侧成峰，远近高低各不同”

第一境界关注的是“事”，面对的是具体的、生动的、复杂的工作和事件，聚集的是干了什么、干成了什么，考察的是在具体事件中的行为方式和工作表现。它更多的是感性认识，是整个评价的基础和源头。面对全方位、多视角、广维度的评价信息，既要甄别各类信息真伪，辨析信息价值大小、关联度和有效期限，又要防止有效信息、关键信息被大量的表象信息、雷同信息所淹没和稀释。考核领导干部要在查阅工作计划、述职报告、纪检监察和巡视组评价意见等资料基础上，运用民主测评、实绩分析和个别谈话等方法，重点考察在突发事件、重点工作、关键时刻等过程中的表现，全面、准确地考察人的行为表现，深入了解其理想信念、政治纪律、坚持原则、敢于担当、行为操守。

第一境界的核心是信息的效度，它的主要分析工具是评价项目梯形权重体系。由于不同评价主体所处地位和关注焦点不同，他们对不同项目所掌握的信息数量和有效性也不一样，因此，相关权重也应有所不同，形成梯形权重体系。评价完成任务和能力水平，最重要的是上级，其次是同级，权重最小的则是下级和社会。这是因为上级站位比较高，布置工作任务、调配相关资源运用的是全局战略和整体思维，同时对下级的能力水平有着不同的比较，因此对该项目的评价上级就比较客观、准确。相反，由于同级干部之间存在竞争和嫉妒的心理，下级对上级存在仰视的角度差，因此，对该项目的判断，同级和下级的全面性和精准度就要低得多。同理，评价工作作风和行为操守，最重要的是下级和社会，其次是同级，再次是上级。这是因为下级和公众对领导干部的工作作风和行为操守有着经常的接触和切身的体会，同时领导干部在他们面前表现得也更为真实。相反，在上级面前人们会不自觉地隐藏傲慢和锋芒，谨慎地选择言辞，因此，对该项目的判断上级的权重显然要低得多。评价领导干部沟通协调和关系处理情况，最重要的则是同级，其次是上级和下级。

识于人——“千淘万漉虽辛苦，吹尽狂沙始到金”

第二境界关注的是“人”，透过形形色色的工作表现、纷繁复杂的评价信息，运用概括综合、判断推理的方法，由表及里地揭开信息的面纱，勾勒出考察对象显著的素质特征和内在的个性特质。这里更多的是理性分析，是第一境界的升华，也是识人的深化。根据素质模型的冰山理论，个体素质被形象地描述为漂浮在洋面上的冰山，第一境界则是观测水上具体的、可见的行为事件，第二境界则是探寻水下潜在的、深层的个性特质。为了深入把握考察对象内在素质，需要在信息综合分析的基础上，去除一般性、表象性的笼统判断，提炼出具有特征性、指向性的素质评价，既要分析其优势，又要分析其劣势，从优势与劣势的相互转化趋势中寻求内在的逻辑性、一致性，从而把握其主流和本质。

第二境界的核心是识人的深度，它的主要分析工具是素质评价公式模型。素质评价公式模型，从定性的概念出发，运用定量的分析方法，最终回到定性的判断，定性与定量的两次结合，为准确、客观、公正地评价领导干部提供了有力支撑。它包括以下几个方面：评价效度，衡量人们有效参与表达意见的程度。在考核评价中经常会收回一定数量的对所有领导干部、所有项目都作同一评价的测评表，如全部表项都填“好”或“较好”。从信息量的价值角度来分析，这类评价表的效度显然非常低。如果这类评价表过多，就会大大降低考核工作的评价效度。总体评价，衡量领导干部履行岗位职责的总体评价情况。争议度，衡量不同评价主体对领导干部评价的差异程度。特征素质，指示评价项目中最显著的要素，包括突出的长处和短处。

归于势——“见微足以知著，见端固以知萌”

第三境界把握的是“势”，根据干部成长规律，在对素质特征进行判断的基础上，分析其发展潜力，演绎其职业生涯发展趋势。识人的根本目的是用人，最高境界是对人的发展趋势的把握。将识人的成果回归到用人的实践中，预测其将来职业发展和工作表现。这既吻合了自然科学中理论预测、实验证明的思维方法，又实现了认识论中由认识再到实践的飞跃过程。对人的考核评价只有回到实践中才能得以检验、补充和发展，才能准确地把握其成长趋势，合理地规划其未来发展。

第三境界的核心是评价的信度，它的主要分析工具是领导干部德才绩效矩阵。该矩阵突破了传统的“德、能、勤、绩、廉”单线条考核方法，将领导干部区分为普通型、潜力型、成熟型、极限型四种类型。普通型，多数干部属于此类，在本职岗位上默默耕耘，既普通，又平凡。潜力型，对应于德才素质较高、工作绩效还未彰显的领导干部。成熟型，对应于德才素质较高、又取得较高绩效的领导干部。极限型，对应于工作绩效远高于德才素质的领导干部。成熟型是培养选拔上一级职位的理想人选，极限型可以作为上一级职位非领导职务人选，潜力型要深入分析，属于德才素质与现职岗位不匹配的，可优化其工作环境。

大数据中的财政思维 篇5

（2016年4月27日）

陈 刚

尊敬的张峰总工程师、邬贺铨院士，各位嘉宾朋友：

今天的大会是大数据产业峰会，我先讲几个与贵州相关的大数据。

700个百万年之前，在贵州爆发了大规模生物群，贵州进入了地球生物快速进化的阶段。这是人类社会至今为止发现的三个大规模页岩型生物群之一。它是1982年贵州大学赵元龙教授在贵州凯里发现的。

700个世纪之前，人类进化开始直立行走，进入智人时代。700年之前，贵州正式建省。明朝建立贵州承宣布政使，华夏文明开始在贵州大地传播。

700个月之前，美国德州仪器公司发明了集成电路。人类社会步入信息化时代。

700天之前，贵州省人民政府在北京宣布贵州省全面进军大数据领域，拉开了大数据发展的序幕。

700个小时之前，贵阳大数据交易所完成一年运行，交易额突破7000万元。

700个大数据公司在贵州发展，这是截止今天早上之前的统计数据。

这7个“700”汇聚在一起，既是巧合，也充分体现了大数据的魅力。

贵州大数据发展一路走来，可以说风雨兼程、筚路蓝缕，感慨很多、体会也很多。借今天这个机会，我想就贵州大数据与政府治理和大家分享三个观点：

第一，大数据的发展，为提升政府治理能力提供了全新契机。

当前，社会整体仍处于体制转轨、经济转型、心态转变的关键期，政府治理面临着新挑战、新情况。大数据思维和手段的运用，将成为政府治理能力加快现代化的最重要、最有力推手。在大数据思维引领下，通过数据化记录、网络化连接、融合化分析、实时化反馈，我们可以建立起一整套基于大数据的科学决策、精细管理、精准服务体系，从而全面推进法治、创新、廉洁、智慧和服务型政府建设，逐步实现治理能力现代化。比如，证监会创造性地开展大数据应用，建立多种数据分析模型，设计“爬虫”软件，深度挖掘网络海量数据，实现了对内幕交易、建“老鼠仓”等违法行为的精准打击。

当然，我们在提升政府治理能力方面还面临艰巨挑战。比如，还存在对大数据本身概念把握不准确，把信息化建设简单地等同于大数据的现象。比如，有的只是简单追求数据在物理空间上的汇集，政府部门之间、政府与社会之间数据彼此封闭，存在“数据孤岛”，等等。但是从总体来看，发展路径上的少许偏差不可避免，以大数据提升政府治理能力已然是大势所趋，一个以大数据倒逼政府治理能力提升的“新世界”呼之欲出。第二，以大数据提升政府治理能力的关键，在于推动以数据为核心的流程再造。这个流程再造，关键就是要盯住“问题在哪里、数据在哪里、办法在哪里”三个问题，构建起一套“用数据说话、用数据决策、用数据管理、用数据创新”的全新机制。

一是以大数据助推权力制约无缝化。对权力运行过程中产生的数据进行全程记录、融合分析、寻找异常，挖掘分析出各类不作为、乱作为及腐败行为发生的概率和蛛丝马迹，从而形成无缝化的数据“铁笼”。

二是以大数据助推政府决策科学化。利用数据关联分析、数据挖掘、数学建模、虚拟仿真乃至人工智能等技术，在基于广泛、大量数据的基础上进行模块化分析和政策模拟，为决策提供更为系统、准确、科学的参考依据。

三是以大数据助推政务管理精准化。通过数据的留痕、关联分析，对诸如市场监管、违法失信、司法审判等各类数据进行交叉融合，精准掌握企业、个人等各类主体的真实状况，较大提升政府监督管理的精准性和针对性。四是以大数据助推公共服务长尾化。通过泛在网络、菜单定制、数据挖掘等，在降低公共服务成本的同时，为长尾化服务开辟广阔空间，使诸如针对医疗、养老、扶贫等需求的公共服务变得更加精准化、人性化。

五是以大数据助推治理模式多元化。加快推进从传统的政府信息公开向数据开放转变，从事后监管向事前、事中防范转变，从政府“一家独大”向“政府搭台、社会唱戏”转变，使共建共治理念更加深入人心，逐步形成网络状、实时化、多维度的政府、社会协同治理结构和格局。

需要强调的是，大数据在为政府治理提供方便的同时，也会给个人隐私、企业机密、政府公信乃至国家安全带来挑战。政府必须强化主导和主力作用，既要想方设法推动数据开放和共享，又要竭尽全力确保数据安全。

第三，以数据为核心的流程再造的主要技术路径，在于实现从信息化到融合化的“四步曲”。具体来讲：

第一步是信息化。就是要把传统的办公方式改造为无纸化、网络化的新方式，实现政务流程信息化，并运用互联网实现政务网上运行。

第二步是数据化。就是要提高数据结构化水平并通过数据留痕记录权力运用的过程，找到数据之间的关联。

第三步是自流程化。就是要实现计算机对数据的自动流程化管理。计算机经过对人的身份、行为、思维等数据进行关联分析，以自动化、可视化的方式展现处理全过程，从而实现自动循环、自动检索、自动预警，进而约束人的行为。自流程化是大数据应用的核心，也是其有别于信息化的根本区别所在。

第四步是融合化。就是要打破“数据孤岛”，实现数据按需、契约、有序、安全式的开放，并形成不断开闭合的跨部门数据共享机制。

特别要向各位介绍的是，作为全国首个大数据综合试验区，近年来贵阳在应用大数据提升政府治理效能方面做了一些探索。比如，监督权力方面，已在市交管局、市住建局等16个部门开展打造“数据铁笼”试点，对权力运行实施全程电子化、处处留痕迹，通过数据化的记录和监督，不断编制规范制约权力的数据笼子，使权力运行透明、可追溯，实现了“人在干、云在算、天在看”。比如，在全球范围内首先提出了痛客的概念，实施痛客计划，以解决痛点为导向，汇聚痛客，连接创客，形成社会资源的立体化整合。该计划实际上是以互联网改变社会规则的切入点，以痛客的形式实现了“提问者”和“改革者”的分离，对破除既得利益群体对改革的束缚、形成以问题为导向的改革具有重要意义。

总之，世界潮流浩浩荡荡，顺之者昌、逆之者亡、领之者强。以大数据提升政府治理能力任重道远，我们要广泛凝聚政府、社会、企业、百姓的共识，形成发展合力，共创大数据提升政府治理能力的美好明天!

大数据在教育行业中的应用 篇6

海量数据已经使我们进入了大数据时代，数据信息的来源、传播速度和传播数量正在影响、改变着人们的思维方式和生活、工作习惯。近年来，基于“大数据”的实验室管理系统的开发以及互联网的实验室管理技术正在兴起。但真正被业内人士承认的教育领域的大数据应用却为数不多，其中被公认的当数东华大学的智能实验室项目。

2009年，东华大学教务处处长吴良提出实验室智能化管理的思路，并将材料学院作为试点单位。实验室智能化管理即用物联网的方式把实验室里所有的仪器设备都管理起来。实验室智能管理过程中记录了学生在实验室内所有的活动情况，包含学生进入实验室的情况，使用的仪器设备情况，使用仪器设备时长等，以及所有仪器的电流、电压都可以监控。如今，东华大学所有学院的实验室都纳入了智能实验室的管理。东华大学通过实验室智能管理系统进行各个方面的数据采集，并对数据进行深度挖掘，形成了各种各样的图表。从图表中可以看出哪些实验室申请的设备根本不必购买，哪些实验室不再需要拨钱。实验室的使用率和第二年的经费完全挂钩，最后实现教育经费使用的集约高效；也可以结合大数据的分析和模拟，建立新型的实验教学课程。

另外，华东大学智能实验室利用云平台（东华云）通过服务器虚拟化和实验教学资源管理系统进行管理，简化了管理流程, 节约了管理成本, 提高了服务器资源申请的灵活性，实现了实验资源管理的信息化和透明化。目前，东华大学智能实验室还实现了24小时开放无人管理、跨学院使用等人工无法实现的管理，数据显示，智能实验室的管理对学生学习自主性的提高有显著影响，学生在实验室的时间甚至超过了在教室的时间。

2.大数据在校园网用户行为分析方面的应用

经过多年的积累，人类的数据量、数据处理技术和能力都得到了质的飞跃，大数据时代给人类社会带来了诸多具有革命性的变化，而校园网的出现则是传统“言传身教”教育的一次革命。中职学生思想尚不成熟，自律力和识别能力不强，对于开放式的网络有些迷茫。校园网学生用户行为分析的研究是通过对校园网络的测量和分析，挖掘和发现网络中呈现出来的各种行为规律，同时识别一些异常网络行为，最后将用户行为分析展示。这样以便学校采取对应的策略及措施引导中职学生健康上网，从而使校园网真正成为学生获取知识的平台，提高学生的整体综合素质。

广东省电子职业技术学校罗萍设计了一个基于大数据的校园网学生用户行为分析系统，该系统从网站浏览信息、网站发帖留言、搜索关键词、网络购物等四个维度来描述基于校园网的学生用户行为。通过对网络内容的分析，可以进一步细化到学生用户在网络中具体网络行为、发表的言论和帖子、对网络资源的兴趣偏好是什么等等，从而有效掌握学生的上网行为动态。

随着计算机技术的迅速发展，大数据时代的网络行为已经成为当前学生校园生活中的一项重要活动内容，正在悄然的改变着学生的学习和生活。因此，深入研究学生网络行为，理性分析学生网络行为特点，动机和需求，以及如何引导学生合理运用网络资源，树立健康的上网理念，构建有益的校园网络环境，已经成为目前学校研究的重要课题。

3.数据挖掘在学习分析及干预中的应用

教育领域已经开发和应用了多款学习分析系统，主要集中在绩效评估、学习过程预测与学习活动干预三个方面。

绩效评估: 如美国 Northern Arizona University 研发的 GPS(Grade Performance Status)系统，可实现全校在校大学生的课堂学习绩效评估。该系统能为教师提供最新的学生出勤情况、学生的反馈意见，为学生提供教师的最新评价以及重大事项的提醒。

学习过程预测: 如澳大利亚 University of Wol-longong 研发的 Snapp(Social Networks Adapting Ped-agogical Practice)系统。该系统可以记载和分析在线学习者的网络活动情况(如学生在线时间、浏览论坛次数、聊天内容等)，使教师能深入了解学习者的行为模式，进而调整教学方式，最大化地为学习者提供适应的教学指导。

学习活动干预: 可分为人工干预和自动干预，现在主要集中在人工干预上，借助绩效评估工具和学习活动预测工具，由教师完成学习干预。自动干预是未来学习分析技术发展的方向，大数据将为这一目标的实现提供强大动力。

在教育管理改革方面，学习分析能为高职院校教育管理系统的方方面面提供指导教学管理活动的相关数据。依靠这些数据，高职院校管理部门可以有针对性地完善不足之处，修订教育管理方案，优化教学资源配置，并最终评估修订方案及资源配置情况。

在教学改革方面，学习分析技术能真正意义上营造信息化的教学环境，保证教师提供的学习服务契合学习者个性化学习、协作学习的需要。传统教学模式中，教师无法保证所提供的学习资源能真正满足学生的学习需求，无法适时调整和分配资源，无法提供个性化地学业指导，无法及时了解学习过程中出现的障碍与疑惑。这些问题都限制了高职院校教育改革的深度，而学习分析技术恰恰可以弥补这些缺陷。通过应用学习分析的相关工具和大数据技术，教师可以及时获取学生的学习行为数据，从而支持一种既能体现教师主导作用，又能兼顾学生主体地位的新型教学方式，以最大化地激发学生的潜能，为新世纪培养创新性人才。

在学习方式改革方面，学习分析技术的作用在于: 自动识别学习情境，能够从大量纷杂的数据中自动分析出学习者的特征信息，根据其需要推送适应的目标资源，并提供学习建议以协助学习者修订自己的学习任务；学习者可以实时调整自己的学习计划，预约辅导以解答学习疑惑；在特定情况下，还可以通过锁定学习者所在地理区域、学习特点等因素划分学习小组，以满足个别学习者的协作学习需求。此外，学习分析能为在校学生提供个性化的学习指导建议，以帮助学生规划在校学习路径，明确其学业成就的期望。

4.大数据在课程建设方面的应用

大数据时代学习者在数字化学习过程中留下很多数字碎片，通过分析这些数字碎片，我们将会发现学习者的各种学习行为模式。梁文鑫指出：大数据对课堂教学带来的主要影响是使教师从依赖以往的教学经验教学转向依赖海量数据教学分析进行教学，使学习者对自我发展的认识从依赖教师有限理性判断转向对个体学习过程的数据分析，从而使传统的集体教育转向对学习者的个性化教育。

目前流行的大规模在线开放课程（Massive Open Online Course，MOOCs）教育，MOOCs 教育被寄予厚望的主要原因是学习分析技术和大数据对它的支持，有了学习分析和大数据技术，优质的教学、课程资源和服务等通过数据真实客观的被呈现出来。比如：对每一门课程资源和支持服务系统的建设和维护都建立在学习者使用过程的数据分析基础上，从而使提供的课程内容更符合学习者的需求、教学指导更具有针对性，进而提高了学习者的学习积极性，促进了学习成功的实现。学习者在 MOOCs平台上学习时，教师和程序可以通过大数据对学习者的学习行为进行理性干预，比如：通过预测认知模型为学习者自动提供适合的学习内容和学习活动方案，通过作业情况、留言板以及讨论区的问题讨论情况可以发现存在学习困难的学习者，以确保可以及时对其学习进行有效干预等。

大数据的应用可以实现大规模在线教育的同时可兼顾学习者的个人需求，大数据对海量数据的高速实时处理技术可以为在线教育平台实时洞察学习者的变化、把握学习者的需求、提高学习效果提供支持，还可以对学习过程中产生的不相关信息进行深度分析，以预测和把握学习者的需求变化。

5.大数据在助学贷款方面的应用

国家助学贷款始于2000年，此后,全国各地普通高等院校陆续开办国家助学贷款业务。但由于政策设计的缺陷、学生个人的诚信缺失、银行的积极性等多方面的问题,贷款业务开展出现较大差异东部好于西部,南部优于北部,部属院校高于地方院校。年国家修正贷款政策,加大贷款工作力度和政策扶持力度,国家助学贷款工作才得以继续进行。但国家对家庭经济困难学生没有给出界定,更缺乏界定标准,因此各高校在确定助学贷款资助对象时,只能依靠学生个人陈述、老师自己的判断、同学之间的投票等方法对困难学生加以界定,以致帮困助学工作困难越来越多。同时,由于信息沟通缺乏有效的渠道,管理缺少统一的工作平台,很大程度制约了贷款工作的开展,影响了学校、银行工作的积极性。缺少信息的沟通,造成信息的不对称,也影响了工作的开展,出现管理的滞后。

2005年，郑爱华作为课题负责人,组织完成校内课题“济南大学帮困助学问题及对策研究”,主持申报了山东省科学技术发展计划软科学科学项目“山东省国家助学贷款中的问题成因及对策研究”,同年获得立项,项目编号：B2005016。

助学贷款决策支持系统是济南大学研究的山东省省级课题“山东省国家助学贷款中的问题成因及对策研究”的子课题之一。目的在于通过该系统,建立家庭经济困难状况指标评价体系,包括评价指标的设立、指标分值的量化、最后计算机进行决策计算,输出决策支持的结果,帮助学校确定贷款资助对象,建立贷款信息数据仓库，并将贷款信息通过计算机进行处理,实现快捷、方便、及时、准确的数据动态管理,克服银行、学校、学生、主管部门之间的信息不对称问题，实现科学决策、信息化管理的目标，有利于山东省助学贷款工作的健康发展,有利于减轻学校贷款工作的管理难度,降低贷款成本,为帮困助学工作开辟有效的途径。

河北省教育厅学贷中心河北省学生贷款管理中心于2007年开始实施助学贷款信息化建设,将先进的计算机技术应用到国家助学贷款管理工作中,建立“河北省国家助学贷款管理信息系统”,使学生对国家助学贷款的申请、学校对助学贷款的管理、银行对学生申请的审批以及其间的各种信息的交互等都实现网络化。6.基于大数据证据的教育教学决策

在美国，教育大数据为美国政府、教育管理部门、学校与教师做出合理的教育教学决策提供了可靠的证据。整体上，美国建立了严格的教育问责制度，包括利用州教育问责系统(State Accountability Systems)对各州教育发展情况进行全方位评价，借助于学区级评价系统(District-level Evaluation Systems)评价各学区、各学校的整体教育质量，并要求学校与学区要对后进生进行基于数据的支持性学习干预(Data-driven Interventions)。美国联邦政府以及各州政府基于对教育大数据的分析结果评价各州或州内学区的教育进展水平，并以此作为教育投入的依据以及教育政策制定的根据。

美国学校一般利用基于大数据的教育评价支持本校在规划学校整体发展、优化学生管理、制定教学质量改进计划等方面的教育教学决策。据统计，97%的美国中小学利用来自整个年级或整个学校的教育大数据确定学校需要提升的关键领域；分析学生的个体数据以便于分班或安排相关学习支持服务，包括了解哪些学生需要特殊支持或更多支持。47%的美国中小学通过专门的评价人员分析不同教师讲授同一教学内容或同一教师以不同教学策略讲授同一教学内容时产生的数据，评价教师的教学质量并提出教学方式变革计划。而83%的学校在利用教育大数据尤其是本校产生的大数据了解本校教师教学发展的现状与需求，并据此决策如何支持本校教师的教学发展。

学校教师可以利用教育大数据改进与优化自己的教学决策。整体上，教师可以利用大数据分析需要在何种时机对哪些学生以何种方式安排何种教学内容。教师利用本班学生产生的大数据，或同时借助与外部大数据的对比分析，可以深度评价本班学生的学习表现与学习效果，可以有效分析学生的学习偏好与个性化需求，分析学生群体的学习需求，同时也可以利用数据分析哪些学生更适合在一起进行小组学习，分析怎样分组才更合理。对于那些有学习困难的学生，通过对大数据的利用，可以分析出学生在什么环节、什么类型内容学习方面存在问题，分析哪些因素可能在影响学生的学习，这样便于给出适当的学习支持与干预。

那么，大数据从何而来？美国在教育评价的实施过程中主要依托覆盖全美的立体化教育数据网络，同时注重数据质量保障，有效地解决了教育评价“大数据从何而来”的问题。

国家级、州级(State-level)、学区级(District-level)以及校级(School-level)在内的各级各类教育数据系统(Educational Data System)均服务于教育问责体系。这些数据系统之间相互关联，数据互通，形成立体化数据网络，为美国教育评价用大数据的获取提供了基本的依托。

在国家层面，美国有由教育部与各州教育管理部门及一些企业协同创建与发展的教育数据机构EDFacts，建设了“教育数据快线(ED Data Express)”，还有美国国家教育统计中心(National Center for Education Statistics)，主要任务在于与教育部内部各机构、各州教育管理部门、各地教育机构合作提供可靠的、全国范围内的中小学生学习绩效与成果数据，分析各州报告的教育数据以整合成为联邦政府的教育数据与事实报告，为国家层面的教育规划、政策制定以及教育项目管理提供了有力的数据支持。

2005年，美国教育部启动了“州级纵向数据系统项目(The Statewide Longitudinal Data Systems(SLDS)Program)”，旨在帮助全美各州“设计、开发与利用州级纵向数据系统以便有效地、准确地管理、分析、分类处理与利用每一位学生的数据”，至今全美有47个州至少获得过一次本项目资助。

州级与学区级数据系统主要为区域性教育评价提供数据支撑，其中主要包括本州/学区学生的成长数据，教育工作人员在工作方面的安排与准备等相关数据，以及其它关于学与教条件的关键数据，比如教师人数、学生入学率、学生与学生家长及学校教职员工对于学校氛围、条件等方面的评价数据等，认为这些数据直接反映学校与学区在让学生做好毕业准备方面取得的进展情况。各州的教育数据系统基本都具有测量学生的成长(Student Growth Measures)、提供高中学习反馈报告(High School Feedback Reports)、实施学业预警(Warning Systems)的功能。学校常常利用四种类型数据系统来收集、整合教学过程数据或评价数据：一是在校学生的实时信息系统(Student Information System)，其中包括学生出勤率、人口学特征、考试成绩、选课日程等数据；二是数据软件坊(Data Warehouses)，其中保存了学校当前或历史上的学生、教职员工、财政方面的信息；三是教学或课程管理系统(Instructional or Curriculum Management Systems)，支持学校教师接入教学设计工具、课程计划模板、交流与协作工具，支持教师创建基准性评价；四是评价系统(Assessment Systems)支持快速地组织与分析基准性评价数据。7.大数据在招生方面的应用

数据挖掘是一项新兴的技术，是商业智能的重要组成部分。近年来，随着高校数据收集量的不断增加以及教育决策对量化分析结果的愈加依赖，数据挖掘在美国高校管理中的应用呈显著上升趋势。许多研究表明这项技术能帮助大学管理人员更好地分析数据，从而获取潜藏的、有用的信息和知识，最终提高决策效率。

加州大学9所分校在校长办公室的统一协调下通过“综合评审”的原则招收本科生。“综合评审”包括两个步骤：第一步是对申请学生的合格性通过多种方法进行确定；第二步是对合格学生的所有背景、特征及技能进行综合评定，并以此为标准做出录取决定。加州大学虽然保证录取所有合格的学生，但由于有的分校或专业竞争激烈，例如伯克利分校、工程专业等，因此不能保证完全按学生的报考志愿录取。在这种情况下，所有合格、但未被报考分校录取的学生，将被推荐到两所加州大学制定的分校，以确保尽可能录取每位合格的学生。另一方面，这两所分校也通过 录取这些“落榜”的学生来增加其入学人数。由于加州大学的录取审核工作是由各分校负责进行，招生的最后决定到四月初才能见分晓。这时许多学生可能同时接到其他大学的录取通知，并需要在短期内选择自己要上的大学。因此，从吸引合格学生入学的角度来说，这时再向学生推荐这两所大学为时已晚。为了提前做好这一工作，校长办公室招办在一月份申请截止日期之后就对申请学生的录取情况进行预测，并将这些合格但极有可能被拒的学生名单提供给这两所分校，供他们提前向学生宣传学校的情况，鼓励学生来这两所学校就读。校长办公室用来完成这项预测分析研究的工具就是SAS Enterprise Miner数据挖掘技术。

通过这项数据挖掘技术，加州大学可以更有效的招收合格的学生。8.大数据在学习成果评估方面的应用

随着大学教学模式由传统的“行为主义”方式向“构建主义”教学过渡，如何更有效地对学生成绩进行评估也成为广大教师和评估工作人员面临的挑战之 一。除了利用传统的考试方法对学生所学知识进行考核外，越来越多的授课教师侧重对学生的学习行为进行评价，譬如合作意识、创新精神、实践能力，等等。这些评价结果更有利于帮助学生提高学习效率，特别是应用知识的能力。但靠传统的评价方法很难有效地完成类似的评估工作，或者说评估结果的可靠性难以得到保证。近几年来，许多学者尝试利用数据挖掘技术提高评估效度。

哈佛大学的研究人员娇蒂·克拉克（Jody Clark）和克里斯·戴迪（Chris Dede）在这方面的尝试非常值得借鉴和参考。他们通过复杂的教育媒体收集丰富的与学生学习行为有关的数据，然后利用数据挖掘技术对其进行分析和研究。

评估结果的价值体现在：1）完成对学生的形成性评估，为教师及时提供信息反馈；2）完成对学生的总结性评估，以真实的实践表现为基础了解学生最终掌握知识的情况；3）根据学生的个性特征，深层了解学生的学习行为以及学习成效；4）合理评判学生合作学习和解决问题的能力；5）通过对学生的学习行为规律和学习成效之间的“路径”关系进行“挖掘”，洞察学生的学习动态。

9.衢州市柯城区依托大数据为学生“私人定制”成绩单

近年来，随着大数据成为互联网信息技术行业的流行词汇，教育逐渐被认为是大数据可以大有作为的一个重要应用领域，有人大胆地预测大数据将给教育带来革命性的变化。大数据技术允许中小学和大学分析从学生的学习行为、考试分数到职业规划等所有重要的信息。衢州市柯城区以大数据为依托，为学生“私人订制”成绩单。

2015年开始，衢州市柯城区启动教学质量诊断系统项目，采用CC教学测评系统对每个学生进行数据分析，为学生出具“学业诊断分析报告单”。“学业诊断分析报告单”基于对学生一个学期以来成绩的大数据分析，通过“单科成绩对比图”、知识点掌握情况分析表、知识点的个人掌握率和班级平均做对比表，将学生考试各科目考察的每一个知识点的掌握程度作出相应的分析，从数据中分析学生对知识点的掌握程度，对个人能力如识记能力、运用能力做出综合评价，为学生的学业作出一份细致全面的“体检诊断报告”。“学业诊断分析报告单”为学生提供了知识、能力掌握上的优势和不足信息，学生可通过分析原因，提高学习的针对性和有效性，减少重复的试题训练，进而有效减轻学习负担。教师可通过分析了解学生在知识、能力掌握方面存在的优势和缺陷信息，实施补教性教学，从而提高教学质量，促进学校教学、学生学习方式的改革和发展。10.大数据在学生扶贫方面的应用案列

西安交通大学学生处立足大学生资助工作实际，按照教育部“教育扶贫，十三五期间实现‘精准资助’”的要求，结合陕西省教育厅关于教育精准扶贫的工作思路，扎实开展了一系列“绿色通道”迎新工作：利用大数据完成学生贫困程度的精准识别，通过实地家访将绿色通道延伸到新生家中，开展“知心工程”让资助教育沁入学生心中，建立七位一体的资助系统让学生没有任何后顾之忧。西安交通大学提供给每个贫困生的，不仅是金钱的资助，更是被尊重及自信积极的人生态度。

资助大数据实现精确认定。在新生来校报到之前，通过“西安交通大学家庭经济困难学生综合认定系统”挖掘学生家庭经济困难指数，认定家庭经济困难学生情况，并以此为依据，主动引导特困新生在家中即可通过网上申请“绿色通道”并顺利入学，消除特困生家庭的后顾之忧，在此基础上与各书院共同主动开展有针对性的帮扶工作。

资助全覆盖实现精准帮扶。学校为每一位通过“绿色通道”入学的学生发放全套床上用品“爱心大礼包”，体现学校的关爱。新生入学后学校将陆续通过“奖、助、贷、补、勤、免、偿”七位一体的资助体系给予学生持续资助，确保每一位学生不会因为经济困难而影响学业。学工系统还通过“知心工程”工作体系，全面跟踪家庭经济困难学生情况，建立建全贫困生信息库。今年学校还将特别为建档立卡户新生每人发放一学期的生活费。11.希维塔斯学习”（Civitas Learning）利用大数据帮助学生提高成绩

在教育特别是在学校教育中，数据成为教学改进最为显著的指标。通常，这些数据主要是指考试成绩。当然，也可以包括入学率、出勤率、辍学率、升学率等。对于具体的课堂教学来说，数据应该是能说明教学效果的，比如学生识字的准确率、作业的正确率、多方面发展的表现率——积极参与课堂科学的举手次数，回答问题的次数、时长与正确率，师生互动的频率与时长。进一步具体来说，例如每个学生回答一个问题所用的时间是多长，不同学生在同一问题上所用时长的区别有多大，整体回答的正确率是多少，这些具体的数据经过专门的收集、分类、整理、统计、分析就成为大数据。

现在，大数据分析已经被应用到美国的公共教育中，成为教学改革的重要力量。为了顺应并推动这一趋势，美国联邦政府教育部2012年参与了一项耗资2亿美元的公共教育中的大数据计划。这一计划旨在通过运用大数据分析来改善教育。联邦教育部从财政预算中支出2500万美元，用于理解学生在个性化层面是怎样学习的。其中，“希维塔斯学习”建立了高等教育领域最大的跨学校数据库。

“希维塔斯学习”是一家专门聚焦于运用预测性分析、机器学习从而提高学生成绩的年轻公司。Civitas Learning提供了一套应用程序，学生和老师可以在其中规划自己的课程和安排。“希维塔斯学习”各种基于云的智能手机第三方应用程序（APP）都是用户友好型的，能够根据高校的需要个性化。这意味着高校能聚焦于各自不同的对象，相互不同地用这家公司的分析工具开展大数据工作。

该公司在高等教育领域建立起最大的跨校学习数据库。通过这些海量数据，能够看到学生的分数、出勤率、辍学率和保留率的主要趋势。通过使用100多万名学生的相关记录和700万个课程记录，这家公司的软件能够让用户探测性地知道导致辍学和学习成绩表现不良的警告性信号。此外，还允许用户发现那些导致无谓消耗的特定课程，并且看出哪些资源和干预是最成功的。

12.电子科大利用大数据寻找校园中最孤独的人

从硅谷到成都，大数据，这个新鲜的话题正在全球同步热传。一场关乎每个人生活、工作和思维的大变革正在悄然发生，大数据时代迎面袭来。

到底什么是大数据？大数据”是“数据化”趋势下的必然产物。数据化的核心理念是：一切都被记录，一切都被数字化。电子科大的周涛解释到，“大数据要求数据能充分发挥其外部性并通过与某些相关数据交叉融合产生远大于简单加和的巨大价值。”比如，国家电网智能电表的数据可以用于估计房屋空置率，淘宝销售数据可以用来判断经济走势，移动通讯基站定位数据可以用于优化城市交通设计，微博上的关注关系和内容信息可以利用于购物推荐和广告推送„„

他们做过一个有意义的课题——寻找校园中最孤独的人。他们从3万名在校生中，采集到了2亿多条行为数据，数据来自学生选课记录、进出图书馆、寝室，以及食堂用餐、超市购物等数据。通过对不同的校园一卡通“一前一后刷卡”的记录进行分析，可以发现一个学生在学校有多少亲密朋友，比如恋人、闺蜜。

大数据的互联网思维 篇7

《大数据的互联网思维》是国内第一本将互联网思维应用到大数据领域的专著, 记录了笔者在大数据时代的一些感想、心得。 本书共分10章, 其中第1章阐述了大数据发展的现状, 以及大数据发展需要互联网思维的原因;第2章提出了借鉴互联网思维, 大数据可以实现一次“凤凰涅槃”般的新生, 从传统IT项目“脱胎换骨”为咨询服务项目;第3章写到大数据将重塑资源格局, 未来会成为国家资产, 同时将促进理性社会的到来;第4章介绍了大数据的客户体验如何提升, 需要明确客户是谁, 客户想要什么, 笔者指出融入娱乐思维的个性化管家式服务是一种可行之道;第5章介绍了大数据的产品思维, 有哪些好的经验可以学习;第6章和第7章分别阐述了如何打造出极致的大数据产品, 以及大数据如何进行快速迭代;第8章介绍了大数据的平台思维, 同时提出传统的互联网平台升级为拥有智慧的大数据平台是大势所趋;第9章介绍了大数据的跨界会带来什么, 提出“大数据×”的概念, 指出“大数据×”是“互联网+”的有机组成部分;最后一章笔者对多年收集的大数据实践案例进行了介绍, 帮助读者深入了解本书前面提到的理论部分。本书中穿插了许多诙谐的小故事和小案例, 能够让读者在轻松、幽默的氛围中快速体会笔者的一些感悟。 与市面上现有的介绍大数据以及互联网思维的书籍不同, 本书是笔者十多年大数据相关从业经验的积累, 是在实践过程中不断总结出来的, 书中许多具体案例都是真实存在并且被广泛使用的。有志于从事大数据事业或者数据分析领域相关工作的管理人员或IT人员都值得拥有本书。

“我”是大数据思维起点 篇8

叶犁欢资深媒体人，飞马旅特约撰稿人

今日资本的徐新女士当年准备投京东的时候，刘强东把后台ERP系统打开给徐新看，虽然销售额只有5000万元，但每个月增长10%，京东商城当时还没钱打广告，可老客户一年会上来3次，这几组数据足以证明，用户喜欢这个网站。这组数据的信息量和推演逻辑，足以覆盖一份花哨的项目故事PPT。

因为数据在说话，更因为用户行为累积成的数据信息足以挖掘出产品的可成长性、电商的趋势、盈利模式是否健康等核心信息。而大数据的来源其实是人，玩转大数据，其实是在挖掘人性需求。

大数据更接地气的解释是统计学（包含但不完全），但大数据应用需要从用户行为中摸出统计及定性和定向的脉络，最终形成有价值的信息，以指导产品设计、平台搭建、营销推广等实用策略。数据本身零散的，需要经过清洗、挖掘、组织、归纳，演变成有价值的信息，由此起到决策、佐证、指导的应用价值。

其实，大数据更深层的挖掘就是用户行为（人性）、用户需求（欲望）、转化（选择），把“我”升级成“我们”，换位思考一下行为和欲望，再进行性别、年龄、地域、收入、教育等等深度的信息挖掘，就能理解在纷繁复杂的人类与人性里，数据于此的息息相关了。说白了，大数据就是若干个“我”的存在，而大数据应用，就是在“我们”里挖掘信息，以洞察“我们”的需求，转化成商业模式，实现盈利。对“我们”的玩转，也是电商盈利模式不断升级的过程。

当微信、微博社交媒体成为用户黏度最高的产品时，基于社交圈的用户原始需求也最有效地形成有价值数据：

1、社交平台的信息分享对于个体用户有着强烈的需求煽动力，电商社交化，立刻成为趋势。

2、用户的兴趣点、社交图谱与购买转化形成的时间规律、价格规律、敏感词规律，通过萃取可梳理出一套电商营销方法论，在恰当的时间、恰当的社交平台、以恰当的卖点投放恰当的产品广告，触达用户，形成精细化营销。

而这一系列大数据的有效信息萃取，都是来自若干个“我”。如果还在神乎其神地脱离“我”谈大数据，可以想见的是，没人气。

大数据是随人走的，但产品设计、平台搭建、营销推广，是随大数据应用走的，对人性洞察越犀利，在人与大数据之间的正向转化也就越乐观。电商数据库可以快速捕获、监控、分析用户行为，进行数字化生产和管理。

海量用户行为数据背后，隐藏的就是消费行为逻辑，什么样的广告用户最买单？不同区域的人购买习惯差异是什么？不同年龄与性别的人在不同时期都在消费什么？PC与移动的用户及用户行为差异是什么？这些复杂碎片化的信息，都能从数据中系统地萃取，形成一套方法论。

其本质，依然是在洞察“我”。每一个“我”都是孤立的碎片信息，但是通数据收集、挖掘、清洗、归纳，进行价值数据输出，“我”就升级成“我们”，“我们”就合力成海量需求，海量需求就成为有价值的数据包。通过精准分析、定位、投放，能够让产品设计、平台搭建、营销变得智能、精准、快捷、高效。尊重每一个“我”的存在，是大数据应用从人性及用户行为出发，挖掘有效信息的根本。