构建大数据企业

构建大数据企业（共12篇）

构建大数据企业 篇1

引言

近年来, 电力行业改革步伐持续加快, 电力企业的业务形式愈来愈多样、基建项目数量与日俱增, 在此情形下, 必须要着力于提升电网企业财务管理体系的先进性, 不断强化诸如企业内部资源整合、投资效益分析、电价政策研究以及业务开拓等基础工作的质量。

1 电网企业财务管理模式的构建原则

1.1 集中资金支付与会计核算

电网企业应当做好会计核算与资金支付工作, 及时建立数据共享服务中心。财务管理部门应当提升自身的责任意识, 不断地提升财务管理水平。

1.2 实现财务管理与财务基础工作的分离

现阶段, 电网企业的财务基础工作主要有资金支付、资金核算等。财务基础工作的重复性与同质化程度较高, 风险掌控、资源配置、数据分析等工作是电网企业财务管理工作的主要内容, 如果未将财务管理从财务基础工作中分离出来, 则难以有效提升财务管理工作的质量与效率。因此, 需要实现财务管理与财务基础工作的分离, 如此能够促使财务人员更加投入地开展数据分析工作, 从而提升财务管理工作的质量。

1.3 提升财务人员的综合素质

某种意义上, 财务管理人员综合素质的高低决定了财务管理工作的质量。为此, 电网企业必须要采取有效措施以强化财务管理人员的综合素质, 可以通过定期举办行业专家讲座与组织业务技能培训活动等形式来扩充财务管理人员的理论知识储备、强化其专业能力。此外, 电网企业网应当为财务管理人员制定合理科学的职业发展规划[1]。

2 大数据时代下新型电网企业财务管理模式的作用

2.1 更加合理地分配业务

大数据时代下的新型电网企业财务管理模式的核心是财务共享服务中心, 财务共享服务中心的建立能够有效提升业务分配工作的合理性。财务共享服务中心工作人员对财务管理业务流程比较熟悉, 如此电网企业财务人员的配置便更加地方便灵活。财务共享服务中心拥有强大的数据处理能力, 所以中心能够集中化处理任务量大的核算业务, 如此便能有效解决电网系统管理中业务分配不均的难题。

2.2 提升财务管理效率

事实表明, 在财务共享服务中心建立后, 电网企业财务管理工作的效率得到了显著的的提升。财务共享服务中心兼具财务结算与核算两大功能, 通过集中处理结算与核算任务来提升财务管理工作的效率。

2.3 提升风险防范能力

财务共享服务中心能够实现对财务管理业务的集中化、标准化管理, 其有效地降低了财务人员的工作量。财务共享服务中心能够促进各项政策的落实, 规避了业务审核标准不统一、不规范等现象, 从而方便了财务部门对基层单位的管理工作, 显著地强化了财务管理部门对风险的防范能力。

3 财务共享服务中心的运行框架

3.1 客户服务管理

随着相关技术的日益成熟, 在不久的将来, 财务共享服务中心将具备提供对外服务的功能。在未来, 财务共享服务中心具备采集并处理客户询问、投诉信息的能力, 系统将上述信息呈现给技术人员, 技术人员将有的放矢地开展财务共享服务中心优化工作。

3.2 内部运营管理

(1) 绩效管理。在财务共享服务中心中, 绩效指标对所有管理层级进行了覆盖, 电网企业可以通过绩效管理流程对各部门的工作状况进行分析、审核, 为绩效目标的调整工作提供客观的参考数据。

(2) 人员管理。财务共享服务中心在人员管理工作中发挥了重要的作用, 财务共享服务中心能够为员工制定合理的职业发展规划, 从而促进员工的发展。除此之外, 财务共享服务中心能够对员工培训体系进行有效的完善, 最大程度地强化员工培训体系的合理性。完善员工培训体系能够提升员工的综合素质, 帮助员工成为更优秀的人才。

财务共享中心的工作人员具备较强的财务会计技能, 熟悉电网企业财务管理工作的各项流程, 因此财务共享中心工作人员具备提替代财务人员的能力, 财务共享中心工作人员可以在电网企业财务管理部门进行决策支持、财务管理、决策等技能的学习[2]。

3.3 服务水平协议

服务水平协议对财务共享中心的运行产生指导作用, 是保障财务共享中心稳定运行的关键因素。在财务共享服务中心成为具备提供对外服务能力的共享中心后, 中心严格依照服务水平协议开展工作。财务共享服务中心服务水平协议的制定以及下发的工作是统一的, 服务变更管理机制、标准的服务范围、服务水平评价以及服务职责分工是服务水平协议的主要构成成分。

4结语

大数据时代中做好电网财务管理模式转型工作具有重要的现实意义, 是满足客户需要、顺应社会发展的重要手段, 为此, 需要不断地优化财务共享服务中心, 加强对财务共享中心工作人员的培训, 最大程度地发挥财务管理工作的作用, 从而促成电网企业战略目标的实现。

参考文献

[1]杨雯.探究油田企业财务管理的意义及强化措施[J].化工管理, 2016 (19) .

[2]王莉.现代高校后勤财务管理模式的探讨[J].企业导报, 2016 (13) .

构建大数据企业 篇2

构建为农服务新体系

2015年以来，围绕“大数据”战略行动，供销社以发展农村电子商务为突破口，深化供销社综合改革，着力打造“供销e家、贵农网”、农村淘宝等综合电商平台，推动供销社与互联网融合发展。通过深化供销合作社综合改革，播州区供销社开创了“三位一体”+“供销云”精准扶贫的供销发展新模式，着力打造播州区本土农特产品，把藏在大山深处的优质农产品和特色工艺品推出乡村，构建为农服务新体系。

一、黔货出山促农民致富

2017年，西坪镇茶元村村民李德志8年前返乡创业，成立遵义绿繁农业开发有限公司，带领茶元村农户种植核桃。如今，培养了七年多的核桃树终于开花结果，但因缺乏劳动力和销售渠道，上好的核桃只能挂在树上，这愁坏了包括李德志在内的多户村民。得知这一情况，从8月初开始，播州区供销云电商公司与贵州电商云迅速组织专业团队前往当地帮助村民们网上卖核桃。经过前期筹备，截止到9月4日凌晨，当地的优质青皮核桃已经正式在网上亮相，上线当天销量突破5000斤。1小时销量便突破5000斤。“真没想到，我连村寨大门都没出，就把核桃卖出去了。”村民说，要不是自己亲身经历，他真不敢相信供销云和电商服务站能有这般的“威

力”。

供销云先后成功举办了山盆脆李节、龙坪提子节，与爱特购联合参与主办了遵义首届电商节，承办了播州区各乡镇O2O农特产品展销会。遵义还有很多像西坪镇青皮核桃这样的优质产品，但大多囿于交通、认知、快递物流等问题而不被消费者所知。我们要做的就是帮助这些只知道低头做好产品的人打通各环节，帮助他们的好产品走出大山，销往全国”。今年，区供销社积极和平正乡、泮水镇对接，联系销售平正红李、泮水木耳等。如今，除了可以帮助农户代卖农特产品外，小到代缴话费、代订火车票，大到代购农资农具、大件家电的各种消费需求，供销社村级电商服务站、综合服务社都能满足。

二、构建为农服务新体系

在播州电商产业园，播州区电商服务运营中心格外显眼，这里建有创客中心、仓储分拣中心等。供销云通过整合本地名优农副土特产资源，运用F2C（厂家直达消费者）+O2O（线上线下）互动运营模式，整体包装销售播州名优农副土特产，总体运用播州区电子公共服务中心的现代流通电子商务平台。在现场，物流车来回不停，每天都有大量的农特产品被运送到这里，进行统一摄影、产品包装、网络上线，然后销售到世界各地。

为推动农村电子商务的快速发展，区供销社积极参与，协助区商务局等单位，做了大量的工作，搭建平台、孵化人才、打通渠道等。下一步，供销云将全力实施“遵义市放心农产品进市区

全产业链项目”，以电子商务精准扶贫工程为抓手，力争在3年时间内培育10个农特产品地方品牌，培训2000名电子商务中高级人才，建成全面覆盖播州城乡的农村电子商务现代流通服务网络，引领全区电子商务发展。

三、向纵深推进综合改革

从闭塞的集市交易到联络五湖四海的电商交易，从挑着担走上数十里山路到在家中坐等买家上门，供销社努力把藏在大山深处的优质农产品和特色工艺品推出乡村、引入市场、带出贵州，为此开创了“三位一体”+“供销云”精准扶贫的供销发展新模式，供销社与农民专业合作社、社员股金服务社三者深度融合，形成统一的综合发展体。其中，农民专业合作社负责组织生产加工，供销社负责农资供应、技术服务和产品销售，社员股金服务社负责调剂和保证生产资金。三者有机结合，将农业从生产到加工到销售的各个产业链串联起来，使资源变股权、资金变股金、农民变股民，实现农业生产的多元化、立体式发展。

遵义市播州区三合镇三社融合发展专业合作社成立于2016年9月，是以原贵州省委书记陈敏尔2016年8月10日到播州区现场调研农村“三变改革”指示精神为指引，以“大产业、大发展、大扶贫、大数据”为引领，以“三变”改革委统揽，以产销对接和资金互助为核心，以带动发展“三农”经济助脱贫攻坚而创办的全省第一家专业合作社示范社。

遵义市播州区三合镇三社融合发展专业合作社农产品加工

基地，蔬菜配送中心是合作社带动社员产业发展，以股份制运营的经济实体，农产品加工基地、蔬菜配送中心占地22余亩，建有符合食品卫生标准的蔬菜分拣、清洗、待送、仓储车间、副食品库房3000多平方米，建设有冷冻、冷藏1188立方米、建有农产品加工车间3188平方米、生产线2组，办公用房588平方米。常年可储存生鲜蔬菜200吨、肉品100吨。农产品加工基地日处理鲜椒可达100吨，蔬菜配送中心建有独立的农残检测设备及系统，确保食品安全，配送车辆10多台，日课配送蔬菜、食材80000斤以上。

遵义市播州区供销社

大数据时代信息系统构建分析 篇3

关键词 大数据 信息系统 构建

中图分类号：TP393 文献标识码：A

互联网时代，设备互连，资源共享，UGC带来大数据。UGC是一种提倡个性化的使用互联网的新方式，它允许用户将自己原创的内容通过互联网平台进行展示或者提供给其他用户，比如人们可以通过YouTube 网站分享一段家里萌宠的可爱视频，可以在博客上发表对于家庭生活，人际关系乃至国家大事的看法，可以在facebook上面发表时时刻刻的心情，与朋友保持互动等等。因此，除了传统的信息系统提供的数据，twitter、facebook、微博等信息社交网络应用的涌现，海量用户原创的内容带来了更大量的数据;移动互联网时代，随着移动智能设备的普遍应用，人们可以随时随地的进行信息传递和共享，用户行为进一步带来了大数据。当前，智能终端（智能手机、PAD、平板电脑、MID等）已经渗透到大众的生活当中，移动设备的普及正逐渐改变了人们的生活方式，激发出更多的移动互联网用户行为。人们更愿意让移动设备参与日常生活，运用手机上的应用和家人保持联系，动动手指就可以上网购物，这些用户行为产生的数据量将成几何性的增长;物联网时代，物理世界融入信息空间，十亿计的设备和物理环境带来的海量数据更是难以估量。物联网技术使得普通物理对象进入了信息网络，从而无限的延伸了互联网。在物联网中，数十亿的设备互通互联，产生数万亿的连接节点，物联网与云化的数据中心无缝整合在一起，产生以指数速度飞速膨胀的数十万亿GB的海量数据。在物联网中，由于更多的、混杂的以及关联度低的信息抽象为各种具有实际应用意义的用户服务，因此对信息系统的服务建模具有重要意义。

本文以物联网领域的信息系统为对象，研究信息系统服务建模与活动认知。为了建立有效的信息系统服务模型，首先分析物联网信息系统提供的服务。精准农业应用中，湿度传感器采集土壤湿度，根据湿度值进行智能的灌溉;智能楼宇应用中，温度传感器感知楼宇中的温度，系统可以根据上报的温度数据智能调整空调温度;智能交通应用中，各种传感器感知路口各个方向的车流量，智能控制相关道路的信号灯，从而有效引导对应区域的车流量。这类服务，都是根据采集到的环境量，进行分析、整合并决策，然后通过调节相应的控制器的操作来反作用于环境，从而提供智能服务，这类服务我们归结为应用服务。环境监测服务，大量环境信息，例如各种空气质量参数、图像以及视频信息上传至数据中心，便于用户随时获取;供应链管理服务，物品的详细信息以及流通中产生的大量数据存储在云服务的数据中心，用户根据每个物品的EPC（Electronic Product Code）码，则可快速查询物品的各种信息。这类服务主要为用户提供各种数据查询功能，我们称之为数据服务。本课题主要针对这两类服务展开研究。

信息系统既是大数据的重要信息来源，又是提供各种数据与应用服务的核心。大数据的数据量大、数据类型多样、价值密度低、处理速度快等特征也给构建更为合理的信息服务系统带来的多种挑战，针对两类服务—应用服务和数据服务，从模型建立、服务相关性检测、行为与活动认知、以及访问控制四个角度对大数据背景下的信息系统服务进行研究，相应的研究成果希望能够通过模型化的形式更加精确的描述信息系统中的服务，并使服务之间的冗余性、冲突性更低;对行为模式的学习与活动认知能够帮助构建更为合理的信息系统服务。各个异构信息系统之间频繁的信息交互、新兴网络的涌现对构建数据中心的访问控制战略提出了更高的要求，这迫切要求我们建立适用于海量数据的安全的动态的数据服务访问机制。由于海量数据带来繁多细粒度的服务。服务内部以及多个服务之间都会存在一定的关联性，比如服务规则的冗余性、冲突性，因此还需要对服务的相关性进行研究。进而对海量感知和操作数据的行为模式与活动进行认知和学习，从而便于生成和提供更加精准和人性化的服务。在数据建模的基础上，对数据服务上下文进行梳理与研究，提取数据和用户的可视性属性，实现更为灵活、安全、高效、扩展性强的数据服务访问。

参考文献

[1] 汪圣利.大数据时代指挥信息系统发展分析[J].现代雷达.2013（05）.

[2] 杨小牛，杨志邦，赖兰剑.下一代信号情报侦察体系架构：大数据概念的应用[J].中国电子科学研究院学报.2013（01）.

[3] 张春磊，杨小牛.大数据分析（BDA）及其在情报领域的应用[J].中国电子科学研究院学报，2013（01）.

构建大数据企业 篇4

一、企业核心竞争力的基本理论

1. 企业核心竞争力的定义

所谓企业核心竞争力, 就是企业为了适应市场, 在拥有长期技能和知识的基础上, 所具备的能够开发新产品、新技术的一种竞争能力。通常情况下, 企业核心竞争力具有历史依存性、独特性、积累性、价值性、延展性、整体性等特点, 而且, 不同的特性展示了企业核心竞争力的不同特点, 例如, 企业核心竞争力的独特性, 是最能展示企业核心竞争力优势的一个特性。众所周知, 在行业竞争中, 企业要想存活下来, 要想在同行领域中有所建树, 就一定要有自己的独特之处, 有打败对手的制胜法宝, 只有拥有了这种能力, 才能在激烈的竞争中独领风骚。所以, 企业核心竞争力更加注重区分企业竞争的差异性, 更加看重企业竞争的独有性, 而不是毫无创意的机械的去模仿。不得不说, 企业核心竞争力的独特性, 不仅让企业具备了独一无二的市场竞争的能力, 还为企业满足消费者需求提供了可靠的保障。又如, 企业核心竞争力的价值性, 一个企业之所以能够在激烈的竞争中存活下来, 必定有存活下来的价值, 而企业核心竞争力恰恰就是主导因素。对于任何一个企业来说, 顾客的满意程度就是主宰企业未来走向的决定性因素, 所以, 企业必须要在产品或技术上有被用户看重的价值, 要将企业的核心竞争力在产品和服务中充分体现出来, 让消费者看到企业的实力和能力, 才能保持和赢得竞争优势。

2. 企业核心竞争力的构成要素

通常情况下, 企业核心竞争力的构成主要包括管理能力、战略决策能力、技术能力、市场应变能力以及整合能力这五个方面。其中, 技术能力强调的是企业开发新技术的能力, 这种能力能够形成企业独有的优势, 确保企业的竞争优势。而市场应变能力强调的是企业应对外部变化环境的能力, 考验的是企业的解决问题的能力。

二、构建企业核心竞争力的重要意义

企业核心竞争力由个人或多个不同单位相互作用产生的, 是企业长时期形成的独享性和垄断性的经济资源, 能够支撑企业可持续性竞争优势。通常情况下, 企业核心竞争力的内容主要包括技术装备能力、产品开发能力、管理能力、制造能力、销售和服务能力、市场开拓能力。可以说, 企业核心竞争力对企业的发展具有十分重要的主导性作用, 不仅能够让企业获得控制竞争的主动权, 使企业拥有进入各种市场的潜力, 衍生出一系列新产品、新业务, 还能够提高企业经济效益, 在提高利润的同时增加顾客价值。不得不承认, 企业核心竞争力是企业常胜不衰的根本动力, 培育企业核心竞争力对促进企业价值增长有深远的意义。而最重要的是, 企业核心竞争力能给消费者带来实实在在的好处, 能引导消费者, 对企业保持和赢得竞争优势具有特殊的贡献。

三、怎样构建企业的核心竞争力

1. 提高对企业核心竞争力的重视程度

要想成功构建企业核心竞争力, 首先要做的就是提高企业领导对企业核心竞争力的重视程度, 只有加大了思想上的重视, 才能顺利开展后面的构建工作。所以, 企业领导人一定要提高核心竞争力意识, 结合企业实际发展情况, 认真研究市场变化趋势, 准确定位市场需求, 为企业制定合适的机制, 以确保各部门之间能够进行畅通的信息交流, 从而为企业核心竞争力的快速提高打下良好的基础。

2. 加大对核心技术的开发和研究力度

技术在企业的发展中充当着十分重要的角色, 前沿技术不仅可以让企业拥有优势的竞争力, 还能够更好的促进企业的发展, 提升企业的核心竞争力。所以, 企业要不断开发新产品, 要加大对核心技术的开发和研究力度, 要清楚地了解自己的核心技术是什么, 要合理的运用企业的核心竞争力, 要以追求产品功能的多样化和产品质量的优质性为导向, 以满足顾客不断变化的需求。当然, 企业要想长久的发展下去, 就必须要随时进行技术创新。要做到这一点, 可以从以下几个方面入手。例如, 研发人员要有意识的培养创新意识, 要注重对创新思维的培养, 要发展一支精干的科研队伍, 以便于生产出更优质的产品。又如, 加大对创新项目的投入力度, 加大对创新项目的经费投入, 然后制定一系列科研管理制度, 在严格的制度管理下进行技术创新, 研发出属于自己企业的技术, 保持自己在技术上、市场上的优势和领先地位, 为企业在竞争中赢得和保持竞争优势提供保障。

3. 实施企业战略管理

企业要想提高核心竞争力, 就必须要树立战略经营理念, 毕竟, 战略管理是培育企业核心竞争力的前提条件。为了做到这一点, 企业首先应该要制定一个最终目标, 为企业的发展指明方向, 并表明企业自己的业务定位、未来的前进方向以及计划发展的能力。然后, 企业要根据实际发展情况, 实施战略管理方针, 将自己的资源集中起来, 对某一领域进行专业化经营, 集中自己的资源从事某一领域的专业化经营。同时, 抛弃粗放式、经验式、家长专断式的随意管理方式, 引入现代企业战略管理制度, 因人、因事、因时、因地制宜地灵活采取相应的管理方式与奖酬方式, 并不断创新企业管理制度, 按照“权责明确、产权清晰、管理科学、政企分开”的现代企业制度要求, 不断对现有企业制度进行改进, 使之更科学、更规范、更合理、更现代化。除此之外, 企业要及时关注市场动态, 通过SWOT分析, 结合市场发展趋势, 确定企业在行业中的优势定位, 把它作为企业保持长期竞争力的根本战略任务, 制定一个富有挑战性的切实可行的经营方案, 精心培育, 让这些资源构成企业核心竞争力的重要要素, 为企业核心竞争力的培育打下坚实的基础。

4. 企业文化和企业价值观的构建

构建企业文化和企业价值观对企业的持续性发展至关重要, 因此, 企业要加大对企业文化和企业价值观的构建力度。所谓企业文化, 就是企业员工所普遍认同并自觉遵循的企业价值观、企业精神、企业信念、行为方式、企业伦理道德、经营观念等的总和, 具有凝聚力、资产专有性、导向性等特点, 不仅是企业的管理模式, 是推动企业前进的源动力和灵魂, 还是企业核心竞争力的重要组成部分, 不得不说, 积极向上的企业文化对企业走向成功具有很好的促进作用。所以, 企业要建立优秀的企业文化, 要注意培育独特的企业精神, 要不断激发员工责任心和创造性, 以增强企业凝聚力, 以形成企业独具特色的价值观、经营理念、精神风貌和道德观, 提高消费者的信赖和忠诚, 进而提升企业的核心竞争力。可以说, 没有企业文化, 就没有核心竞争力, 企业要在企业文化中植入以人为本、诚信为本、以和为贵、以情为本等因素, 实行人格化管理, 协调好组织各部门之间的工作, 借助企业文化丰富的内涵、开放的管理模式、科学的管理思想以及柔性的管理手段为企业的发展开辟新的天地。值得注意的是, 企业在企业文化中, 一定要着重强调团队学习的氛围, 增强企业工作人员的合作意识和学习意识, 鼓励工作人员不断吸收新技能、新知识。

5. 培养创新意识, 维护创新理念

如果只是一味地过分依赖原有的技术和资源, 势必会导致企业的发展步伐变得缓慢, 甚至会停滞不前, 所以, 要想有所突破, 就必须要有所创新。只有时刻保持创新的状态, 才能永远引领行业的发展。要想在创新上有所成就, 一方面, 企业要不断进行技术创新, 通过技术创新, 加大对产品的开发和改造力度, 生产出最优质的产品, 以保持旺盛的创新状态, 增加服务和产品的购买价值, 从而提高企业核心竞争力的能力, 提高企业的经济效益。另一方面, 企业要进行体制创新, 不仅要创新营销机制, 还要创新管理机制。例如, 在创新营销机制的时候, 要做好线上线下营销工作, 拓宽营销渠道, 同时选拔或培育一大批优秀的营销人才, 为营销机制的创新创造有利条件。当然, 企业还要及时关注市场动态, 根据市场变化情况, 及时做好营销部署, 将营销创新第一时间反馈出来。而在进行管理创新的时候, 企业要及时完善内部管理体制, 及时改造现有体制。让制度规范企业人员的行为, 让体制变得更加规范、合理和科学, 并通过体制的创新, 更好的实现企业规范运作, 提高企业的运转效率, 提高企业的整体素质和水平, 不断增强企业的活力, 不断提升企业的核心竞争力。

6. 重视品牌战略的打造

在企业竞争的过程中, 品牌战略也是一个能为企业增加竞争指数的一项指标。企业之所以要构建核心竞争力, 无非就是想借助核心竞争力的构建, 提高企业的市场占有份额, 值得注意的是, 要想提高企业的市场占有率, 知名的品牌是必不可少的制胜法宝。毕竟, 凭借难以替代的个性化、独占性以及良好的延伸性和可继承性, 一个响当当的品牌不仅可以很好的反映企业产品的功能和特性, 还能够提高企业的社会知名度和美誉度, 对企业的发展相当有利。例如, 海尔、联想以及索尼等人们所熟知的品牌, 就是借助品牌战略的力量赢得消费者的亲睐的。因此, 企业要加大对品牌的建设力度, 要看到品牌强大的市场穿透力, 要肯定品牌战略的强大影响力, 积极打造属于公司自己的品牌, 认真制定一个切实可行的品牌战略, 充分发挥品牌的优势, 以更好的稳定企业的核心竞争力。

7. 加快对信息网络建设的步伐

在这个信息化的时代, 企业想要有所发展和提升, 就必须要借助信息网络建设平台, 利用信息的快捷性和便利性, 及时获取企业内外的各种信息, 然后根据信息数据, 及时调整企业生产经营过程, 以更好的发挥企业核心竞争力的作用。

8. 加强对资源的管理

企业要构建核心竞争力, 就必须要建立在原有资源的基础上, 因此, 如何对资源进行管理对与核心竞争力的构造来说就变得相当具有意义。通常, 企业会拥有许多资源, 但是要想提高核心竞争力, 就必须要有所取舍, 要集中精力发展某一特定资源, 然后进行差异化经营与管理, 认真经营, 精心培育, 才能为企业核心竞争力的成功构建提供保障。

9. 加强组织管理体系的建设

在这个信息化的时代, 要想企业的竞争力, 就一定建立起以信息管理为基础的管理体系的组织架构。首先, 企业建立扁平化组织结构, 建立学习型组织, 要求员工不断补充新知识, 注重学习, 勤奋工作, 培养组织学习的学习习惯和学习气氛。当然, 企业也可以聘请知识丰富、技能优秀的内部讲师对工作人员进行专业培训, 以快速增长个人知识, 扩张组织功能。然后, 企业要充分发挥网络技术便捷、及时、多样化的特点, 以技术合作为基本纽带, 快速地取得经营资源, 通过即时通讯工具、网站、移动网络等实现信息的传递, 避免信息不对称和内部化交易的高成本, 以降低经营风险, 提升企业的竞争力。最后, 企业要最大可能地满足了消费者的需求, 同时, 为了最大限度地实现组织管理和技术的功能集成, 企业还要合理利用现代化管理手段和先进的信息技术, 为组织管理体系的建设提供保障。

四、结语

企业核心竞争力是企业经过长期经营所形成的具有独特特性的核心能力, 对于企业的长期发展具有很好的促进作用。此外, 企业核心竞争力能够为企业进入多种产品市场创造条件, 能够让企业在激烈的市场竞争中脱颖而出, 能够提升消费者价值。因此, 企业在经营的过程中, 一定要重视对企业核心竞争力的构建, 做好核心竞争力的构建工作, 做好企业的长期规划, 在不断的创新中体现企业的竞争优势, 以获得更大的利润优势。综上所述, 企业在经营的过程中, 一定要重视对企业核心竞争力的构建, 做好核心竞争力的构建工作, 做好企业的长期规划, 在不断的创新中体现企业的竞争优势, 以获得更大的发展空间。

参考文献

[1]陈景文.主数据管理:打造大数据时代企业核心竞争力[J].福建电脑, 2014 (08) .

[2]云鹏.在大数据时代, 如何找到垂直价值[J].企业观察家, 2012 (11) .

[3]张炎良.大数据时代下企业管理模式的创新[J].经济与社会发展研究, 2015 (03) .

[4]卫俊儒, 王元亮.大数据时代下的企业管理模式的创新探析[J].信息系统工程, 2014 (14) .

构建大数据企业 篇5

大数据指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

其对物流企业发展带来的影响主要表现在一下几个方面：(1)信息对接，掌握企业运作信息

在信息化时代，网购呈现出一种不断增长的趋势，规模已经达到了空前巨大的地步，这给网购之后的物流带来了沉重的负担，对每一个节点的信息需求也越来越多。每一个环节产生的数据都是海量的，过去传统数据收集、分析处理方式已经不能满足物流企业对每一个节点的信息需求，这就需要通过大数据把信息对接起来，将每个节点的数据收集并且整合，通过数据中心分析、处理转化为有价值的信息，从而掌握物流企业的整体运作情况。(2)提供依据，帮助物流企业做出正确的决策

传统的根据市场调研和个人经验来进行决策已经不能适应这个数据化的时代，只有真实的、海量的数据才能真正反映市场的需求变化。通过对市场数据的收集、分析处理，物流企业可以了解到具体的业务运作情况，能够清楚地判断出哪些业务带来的利润率高、增长速度较快等，把主要精力放在真正能够给企业带来高额利润的业务上，避免无端的浪费。同时，通过对数据的实时掌控，物流企业还可以随时对业务进行调整，确保每个业务都可以带来赢利，从而实现高效的运营。

(3)培养客户粘性，避免客户流失 网购人群的急剧膨胀，使得客户越来越重视物流服务的体验，希望物流企业能够提供最好的服务，甚至掌控物流业务运作过程中商品配送的所有信息。这就需要物流企业以数据中心为支撑，通过对数据挖掘和分析，合理地运用这些分析成果，进一步巩固和客户之间的关系，增加客户的信赖，培养客户的粘性，避免客户流失。(4)数据“加工”从而实现数据“增值” 在物流企业运营的每个环节中，只有一小部分结构化数据是可以直接分析利用的，绝大部分非结构化数据必须要转化为结构化数据才能储存分析。这就造成了并不是所有的数据都是准确的、有效的，很大一部分数据都是延迟、无效、甚至是错误的。物流企业的数据中心必须要对这些数据进行“加工”，从而筛选出有价值的信息，实现数据的“增值”。，大数椐在物流企业中的应用主要包括以下几个方面。(1)市场预测

商品进入市场后，并不会一直保持最高的销量，是随着时间的推移，消费者行为和需求的变化而不断变化的。在过去，我们总是习惯于通过采用调查问卷和以往经验来寻找客户的来源。而当调查结果总结出来时，结果往往已经是过时的了，延迟、错误的调查结果只会让管理者对市场需求做出错误的信计。而大数据能够帮助企业完全勾勒出其客户的行为和需求信息，通过真实而有效的数据反映市场的需求变化，从而对产品进入市场后的各个阶段作出预测，进而合理的控制物流企业库存和安排运输方案。(2)物流中心的选址

物流中心选址问题要求物流企业在充分考虑到自身的经营特点、商品特点和交通状况等因素的基础上，使配送成本和匿定成本等之和达到最小。针对这一问题，可以利用大数据中分类树方法来解决。(3)优化配送线路

配送线路的优化是一个典型的非线性规划问题，它一直影响着物流企业的配送效率和配送成

本。物流企业运用大数据来分析商品的特性和规格、客户的不同需求（时间和金钱）等问题，从而用最快的速度对这些影响配送计划的因素做出反映（比如选择哪种运输方案、哪种运输线路等），制定最合理的配送线路。而且企业还可以通过配送过程中实时产生的数据，快速地分析出配送路线的交通状况，对事故多发路段的做出提前预警。精确分析配送整个过程的信息，使物流的配送管理智能化，提高了物流企业的信息化水平和可预见性。(4)仓库储位优化

合理的安排商品储存位置对于仓库利用率和搬运分拣的效率有着极为重要的意义。对于商品数量多、出货频率快的物流中心，储位优化就意味着工作效率和效益。哪些货物放在一起可以提高分拣率，哪些货物储存的时间较短，都可以通过大数据的关联模式法分析出商品数据间的相互关系来合理的安排仓库位置。

上海欧坚及其旗下仓储积极学习大数据，并将其运用到对仓库的日常管理当中。取得一定的成效。

大数据恰恰能对这些数据进行快速高效的处理，得到正确有用的信息，对物流行业发展具有重大意义。

（1）降低物流成本，提高配送效率

大数据涵盖了许多高新技术，主要包括大数据存储、管理和大数据检索使用（包括数据挖掘和智能分析）等技术。这些技术对物流行业发展的各个环节都有着重要的影响。如采集信息端中的识别、定位和感知，传输信息中的移动互联网技术，以及数据应用和开发方面，将会出现越来越多的数据中心。通过在这些环节中对大数据的充分利用，物流企业可以有效的管理公司员工，快速制定出高效合理的物流配送方案，确定物流配送的交通工具、最佳线路，进行实时监控，很大程度上降低物流配送的成本，大大提高物流配送的效率，给客户提供高效便捷是服务，实现与用户之间的双赢。

（2）从价格竞争转向价值竞争

随着近几年电商行业的飞速发展，物流的强大需求确实存在。但这并不意味着物流快递企业们能相安无事地一起分享大蛋糕。相反，目前我国物流快递行业竞争越来越激烈。要想在竞争中占据大的市场，获得更大的利益，各大企业必须要从价格竞争转向价值竞争，提升自己的服务质量。因而物流快递业应该加快引进大数据云计算等技术。

（3）推动“大物流”体系的形成——菜鸟网络

大数据时代的到来，有效推动“大物流”体系的形成，实现物流行业的巨大变革。所谓“大物流”是指企业的自有物流（人员、车队、仓库等）和第三方物流企业的配送信息与资源共享，以实现更大限度的利用各方面的资源，降低物流成本。社会“大物流”形成之后，企业可以和第三方物流公司合作，物流企业直接面对市场，它根据市场的需要来组织调控若干生产企业的大管家，既负责“后”勤，有负责“前”勤。这样物流企业才会充分合理有效地组织利用资源，既保证自己的经济效益，又保证生产企业的经济效益，从而避免各种问题的产生。

以菜鸟网络——阿里巴巴与多家快递公司成立新公司“中国智能骨干网”为例。菜鸟网络专注打造中国智

能物流骨干网将利用先进的物联网技术、云计算等各项互联网技术，建立开放、透明、共享的数据应用平

台，从而为物流公司、电商企业、仓储企业、第三方物流服务商、供应链服务商等各类企业提供优质服

构建大数据企业 篇6

关键词：大数据；高校；档案资源；构建体系

档案资料的信息化建设是大数据时代面临的直接挑战，特别是对海量数据的非结构化转变，更需要从大数据技术对档案信息进行整合，使其更好的服务教学及学校管理需要。随着云计算、云存储技术服务模式的成熟，各高校档案数据信息资源体系建设更要满足高效化、多样化、专深化要求，为此，笔者结合我校档案管理实际，从档案资源体系建设上来提出应对思路和规划目标。

一、大数据时代的管理特点及档案资源体系建设的必要性

信息技术的快速发展对数字化传播方式的变革是突飞猛进的。在行业内，以云计算为技术支撑的大数据时代，其概念还未统一，对其所限定的标准及数据集合主要以规模较大为主。然而，这些数据集合并非简单的堆积或存储，大数据是建立在大规模数据的基础上，并提供数据间的关联性，由此来更好的满足“大服务”需要。从技术视角来看，大数据的显著特点是通过对信息数据的集成来获得价值，特别是对于海量数据对象的动态处理，能够从中挖掘和提取有价值的数据信息。因此，基于大数据的应用是技术、数据对象和应用相统一的，其特点表现在：数据总量巨大；数据类型繁多；数据价值密度较低；数据商业价值较高；数据整合提取效率较快等特点。

维托克·迈尔-舍恩伯格在其《大数据时代》中提出“大数据的核心就是预测”。从大数据中来发现和整合信息价值，发挥大数据的智慧。高校档案管理的对象是各类档案资料，要从大数据视角来观照“大档案”，结合大数据时代特征来改进档案管理工作思路，增强对海量档案信息的资源整合和构建能力。随着高校教学改革工作的深入，面对高校资源合并、机构调整、联合办学、产业化布局的深入等现状，对于各类文件资料的归类划分工作变动更为庞大。信息化技术下的档案资源体系规划工作，能够从多层次、多角度的动态管理上来优化高校档案资源。因此，如何更好的引入云技术来逐步提升档案信息资源的服务能力，如何快速构建档案信息的网络化布局，如何更好的为社会提供档案信息资源服务。这些问题的解决迫切需要从大数据时代特点及需求上来推进档案工作的现代化水平。

二、高校档案资源体系建设工作现状及问题

传统的高校档案资源体系建设是围绕纸质介质文件进行归类管理，而面对大数据时代下的“大档案”要求，对传统档案资源结构的优化问题就更为突出，主要表现在：一是纸质资料管理为主，信息化程度缺乏。在高校档案资源管理现状中，大多停留在纸质资料的实体管理中，而数字化档案资源相对不足，结构比重失衡较大。如馆藏资源多以结构化方式进行存储，光盘资源、纸质文件、数据库资源独立性较强，而与大数据时代所倡导的档案资源宽泛化趋势相比还有较大差距。为此，一方面要从纸质文件的收集、整理及数字化上来进行归类重组，另一方面要从数字档案信息资源体系建设上，加强对电子档案的结构化管理，使之能够便于组合、体系化、单元固化。二是信息资源相对零散，缺乏共享意识。从高校档案信息化建设中，多以部门为主单兵作战。如在标准上缺乏统一，在规划上缺乏统筹，数据库结构异构现象严重，使得信息资源孤立，难以有效共享。大数据时代要求从信息资源的整体利用率上来改变现状，就需要从部门协调、合作共享上减少“信息孤岛”，充分实现统一化、标准化建设，更好的满足互联互通的共享需要。三是重藏轻用，资源信息挖掘深度不够。尽管高校档案管理工作获得了较大提升，但在馆藏资料的挖掘上认识不够，只重视接收而忽视其数字化、应用化，很多资源都处于休眠状态，这与大数据时代的资源信息的深度挖掘相背离。资源的价值在于利用，在构建档案资源体系就要树立“藏用并重”的思路，真正从大数据资源信息管理中发挥其价值，真正融入到现代信息技术中，激活档案资源，创造出更多的有价值信息。

三、构建高校档案资源体系建设的对策研究

档案数据作为重要的信息资源，要从“大档案”视角来科学的规划和应用。高校档案管理者，要立足大数据、大服务要求，从当前档案信息管理中提升发散性思维，积极从校内外数据资源的衔接和构建上增强体系化，着力打造“数据-信息-知识-智慧”架构。运用现代化技术手段，以档案信息资源整合为防范，突破当前档案资源“信息孤岛”的发展瓶颈，着力从减少档案和数据两大资源体系中来适应大数据时代的挑战。因此，在构建高校档案信息资源体系中，应从以下几点来着手。

（一）注重数据总量的拓宽与延伸

大数据时代下的数据是决胜的关键，谁拥有了大数据，谁就占领了制高点。对于高校档案信息资源来说，要树立新的资源观，从扩大和拓宽数据总量积累上来构建档案资源体系。一是做好实体资料资源的建设，要解放思想，打破传统归档结构和时限的限制，从资源的社会需求、收藏价值上来整合资料，增加资源总量；二是做好资源的门类划分，着力丰富馆藏资源，优化资源结构；三是注重数字化建设，结合当前高校档案信息资源的实体化，将数字化资源整合作为当前档案资源体系建设的重点，并从数字化的使用、管理上避免随意性，部门性，要从实体资源的统一规划和管理上，既要发挥实体资源的资源优势，又要兼顾用户需求的分类特征，以满足不同部门、不同需求的广泛应用。如在贯彻数字化战略中，要做好纸质档案的数字化工作，丰富档案资源库；加大对档案信息的收集与整理，拓宽网络渠道，组建多种形式的数字资源整合平台，突显在线档案、档案资源库、现行文件在线开发、数字档案目录管理等。

（二）积极营建开放性的档案数据服务

数据的价值贵在应用，而开放是大数据时代的显著特征。高校档案数据如何进行开放，对于数据增值需要来说，档案数据只有在与其他数据的整合与应用中才能创造新的价值，而整合的前提就是要对数据进行充分開放。当前，“大服务”的提供是数据多元化、开放化、社会化的基础，随着用户需求的个性化发展，对于网络平台下的数据服务，更应该从数字化档案信息的开放服务中来满足。如利用网络平台进行远程查询档案，利用开放数据库进行下载和浏览。可见，开放档案数据库已经成为大数据时代下的基本要求。同时，在推进档案信息开放化进程中，针对用户的知情权、以及涉密信息，要从信息公开上进行动态管理，既方便用户对档案信息的利用，又切实保护了用户的私密性，推进了高校档案资源价值的发挥。

（三）注重资源的整合与共享服务

高校档案资源体系建设的目标在于实现档案资源的有效整合，并从资源的共享中来最大化的实现档案资源效益。大数据时代下的资源整合，需要建立科学的档案资源空间布局和内部结构，并从档案资源的社会化共享中来强化对馆藏实体档案及电子档案的统一规划，做好档案资源与学校各业务系统之间的数据集成。一是加强对数字化标准的统一，从当前数据库异构现状来看，资源整合首先要确立明确的标准，特别是对于高质量档案数字化来说，标准化是减少“信息孤岛”的有效方法，也是避免资源建设盲目性、各自为政的有效保障，并从数据元结构、数据交换格式、电子文件归类方法，以及数字化档案资料的存储规范上进行统一。二是加强对档案数据库的共享，大数据的开发就是要从数据共享中来创造价值。要从以数据的利用微基础，着力提升档案资源的整合，充分应用现代网络技术、规划好档案信息资源库的规范化、集中化，更好的满足大数据时代对高校档案信息资源的获取要求，纾解好社会与高校对档案信息分散性的矛盾。三是注重对结构化和非结构化档案信息的整合。从存储形式的表现来看，不同结构的数据在整合中难以协同，而对于当前存储结构来说，既有结构化、非结构化，也有半结构化，而对于数据库来说，各专业系统之间的差异性，数据共享的门槛较大，如财务系统中的资料与教务系统中的资料缺乏互通，在使用中缺乏有效衔接和利用。因此在大数据体系建设中，要从数据结构化特征上进行归类和整合，特别是对于非结构化资源的结构化，要从云技术上来处理好海量数据的结构化工作，改善档案信息管理的互通性。四是注重对校际档案信息的合作与交流。数据拥有者之间的合作是大数据时代发展的必然要求，对于高校档案信息管理者来说，不同校际间的资源交流是必然的。因此，要从校方管理上加大合作力度，努力从档案信息系统的内部合作和规范上，增强校际资源的整合与互通，利用网络技术来构建协作资源体系，打破孤立、实现档案数据资源共享的价值最大化目标。

（四）注重档案资源管理制度及法规建设

信息化时代下的大数据整合，必须建立在相关法律凭证的规范约束下。如电子档案的海量生产，对于电子档案的法律凭证作用就需要规范，并能够从法律上加以肯定，以增强电子档案管理及资源体系建设的动力及效果。同时，对于电子档案资源的使用，要建立与立档单位的协商基础上，避免随意性，以保障档案资源管理建设的法律责任和义务。对于档案资源的安全保护工作要加以完善，尤其是从管理制度和法律法规上来科学、全面保护档案安全，为大数据时代档案管理工作创造良好的法律环境。

【参考文献】

[1]魏晓明.关于信息化背景下档案信息资源共享问题的探讨[J].黑龙江档案，2011（02）.

[2]姜梅，韩妍妍.整合科研档案资源 给力高校学科发展[J].北京电子科技学院学报，2012（01）.

[3]李長萍.高校档案信息资源体系的协同创新研究[J].兰台世界， 2014（29）.

构建大数据企业 篇7

信息时代, 数据是现代企业最宝贵的核心资产, 是企业进行科学管理、决策分析的基础。目前, 国内大多数企业已经完成了OLTP (联机事务处理) 的业务系统和办公自动化系统, 用计算机记录事务处理的各种相关数据。据统计, 企业的数据每年都在成倍增长, 企业充分利用这些数据会给企业带来巨大的商机。但目前企业通常所关注的数据仅占总数据量的5%左右, 企业没有最大化地利用已经存在的数据资源, 导致浪费了更多的时间和资金, 同时也错过了制定关键商业决策的最佳契机。企业如何通过各种技术手段, 并把数据转换为信息、知识和商机已经成为提高其核心竞争力的主要手段。而数据批处理则是达成上述目标的一个主要技术手段。通过数据批量处理, 可以自动完成数据的加载、抽取、转换、清洗等功能, 进而支撑企业的各种数据分析。数据的批量处理流程如图1所示。

在大数据时代, 批处理框架在金融 (投资理财) 、电信 (精准营销) 、大型制造业 (智能决策) 等行业的应用非常广泛。随着OLAP、大数据等新技术的应用, 批处理的处理模式又成为研究热点, 如在传统银行IT系统中, 每日动辄运行上万个批处理作业;在互联网应用中, 腾讯、阿里每天的批处理作业可达百万量级的水平。

当企业数据量达到百万甚至上亿数量级时, 要求无需人工干预, 由系统根据配置自动完成数据的处理, 且能准确无误地定期执行, 这对IT系统架构的稳定性以及性能的可靠性都提出了较高的要求。因此, 建设企业大数据管理平台成为必然, 这也是使数据库成为数据仓库, 实现事务型数据到分析型数据转变的关键。企业大数据管理平台涉及分析主题、数据历史变化等多维度、不同层次的企业数据, 需要实现数据采集、导入/预处理、统计/分析、数据挖掘等完整的大数据分析处理功能。

1 企业大数据批处理现状及存在的主要问题

在现代企业应用中, 面对复杂的业务以及海量的数据, 除了通过庞杂的人机交互界面进行各种处理外, 还有一类工作, 完全不需要人工干预, 只要定期读入大批量数据, 然后完成相应业务处理并进行归档即可。最常见的应用场景就是2个系统之间的数据交换:系统A将数据导出到各种文件中, 如XML、CSV等文件, 系统B则只需使用一个批处理即可将所有文件自动读取到数据库中。系统之间数据批处理读写如图2所示。

目前, 业界采用的大数据批处理主要基于Hadoop构建, 工作流系统采用Oozie框架, 数据传输系统则主要采用Sqoop工具。具体实现时, 可以把关系数据库全部往Hadoop上导入, 也可以将文档、图片序列化为二进制文件存入关系数据库, 甚至可以把以前的非结构化数据, 如日志、点击流等写入NoSQL数据库中, 但最后往往发现还是无法解决大数据分析的性能瓶颈问题, 当然也无法体现数据的业务价值。此外, 由于大数据处理技术纷繁复杂, Hive的bug较多, Pig等分布式编程模型技术的门槛又较高, 而基于Hadoop的应用都需要开发人员单独部署, 这会导致HDFS文件系统被直接暴露, 而MapReduce和Hive又很难做到多用户数据安全。

为高效构建企业所需的大数据批处理应用, 要求企业大数据批处理平台具有安全、准确、功能完整的一体化大数据处理服务功能, 具体包括选择高内聚、低耦合、轻易扩展且支持工作流的编程模型, 保持数据兼容性和互操作性的存储模型, 保证大数据处理的准确性和一致性, 资源的高效调度以及实现大数据传输与在线和实时分析系统的有机整合。Spring Batch大数据并行处理框架能较好地实现批处理应用的事务粒度的执行、日志监控、资源管理 (尤其存在并发的情况下) , 并能高效解决数据读写与业务处理的解耦, 从而极大提高批处理应用的可复用和可测试, 已成为企业大数据管理平台构建的新热点。

2 Spring Batch技术

2.1 技术框架

Spring Batch是一款优秀的开源大数据并行处理框架。利用Spring Batch框架可以构建轻量级的并行处理应用, 支持事务、并发、流程重构、安全监控、纵向和横向扩展, 并提供统一的接口管理和任务管理。

Spring Batch采用三层架构, 从高到低分别为应用层、核心层和基础服务层。应用层实现用户的批处理业务逻辑, 核心层提供批处理的执行环境和所需核心类, 如JobLauncher、Job和Step的实现, 应用和核心层都依赖于基于底层的公用基础服务层。基础服务层包括通用的Reader、Writer、RetryTemplate等基本服务。Spring Batch框架结构如图3所示[1]。

Spring Batch的批处理过程分为读、处理和写3个部分, 从而将批处理应用进行合理解耦。Spring Batch针对读、写操作提供了多种实现, 如消息、文件、数据库, 对于数据库还提供了持久层框架 (Hibernate、iBatis、JPA) 等常见的对象关系映射 (ORM) 框架的读、写接口支持。此外, Spring Batch还可以集成主流调度框架, 如开源作业调度框架 (Quartz) 、作业调度软件 (TWS) 、跨平台批量作业调度管理软件 (Control-M) 、轻量级 (Java) 调度工具[2] (Cron4j) 等, 实现与外界全面接轨的整体架构。Spring Batch技术体系如图4所示。

传统并发编程模型采用线程和资源锁, 使用较复杂, 无法横向扩展, 且开发者需要创建和管理线程。Spring Batch只需把待处理的数据任务分解为多个Job, 并为每个Job定义相应的属性和基础设施, 再通过reader, processor和writer实现业务逻辑。此外, Spring Batch采用基于POJO的面向过程开发模式, 具有简单、高效的特点。

与当前主流的大数据处理框架Hadoop相比, Spring Batch具有轻量级、复用现有Java库等优势。因此, 企业首选Spring Batch框架构建大数据处理应用。Spring Batch与Hadoop比较如表1所示。

2.2 Spring Batch工作流程

Spring Batch对每个批处理任务分解为多个Job。每个Job就像一个容器, 包含若干步骤 (Step) , 这些步骤负责实际执行Batch中的工作任务, 涉及读取数据、处理数据、存储数据, 例如, ItemReader用于从文件或数据库 (DB) 中读取数据, ItemProcessor用于处理数据, ItemWriter用于写数据, 完成数据的持久化。Spring Batch中的JobLauncher用于启动Job, 而JobRepository能为JobLauncher、Job和Step实例提供数据的增加、读取、更新和删除操作[3]。

外部控制器通过调用Spring Batch中的JobLauncher启动一个Job, Job再调用自己的Step实现对数据的操作, 当Step处理完成后, 再将处理结果一步步返回给上一层, 这就是Batch处理实现的一个简单流程[4], 如图5所示。

从DB或文件中取出数据的时候, read () 操作每次只读取一条记录, 之后将读取的这条数据传递给processor (item) 处理, Spring Batch框架将重复做这2步操作, 直到读取的记录数达到batch配置信息中“commin-interval”的设定值, 最后调用一次write操作。然后再重复上述处理过程, 直到处理完所有的数据。在处理完某个步骤后, 或是跳到其他步骤, 或是结束数据批处理。Step执行过程如图6所示。

3 SpringBatch实现大数据批处理

以典型的大数据批处理项目为例, 文章介绍基于Spring Batch构建批处理应用的技巧和方法, 该大数据批处理能实现从文件中读取100万条记录, 经过处理分析后再写入数据库。项目代码的整体目录结构如图7所示。

3.1 读数据

Spring Batch的读操作需要实现ItemReader接口。Spring Batch可提供多种默认实现, 尤其是基于对象关系映射 (ORM) 框架的读接口, 同时支持基于游标和分页的操作。因此, 多数情况下, 开发人员并不需要手动编写ItemReader类, 只需直接使用相应的实现类即可。

在本项目中, 使用org.springframework.batch.item.file.FlatFileItemReader类从文件中读入数据。由于该类已封装了文件的读操作, 开发人员只需手动设置LineMapper与访问文件路径即可。Spring Batch通过LineMapper可以将文件中的一行映射为一个对象。最后通过FieldSetMapper完成将结果集封装为一个简单的Java对象 (POJO) , 其伪代码如下[5]:

3.2 处理数据

Spring Batch提供了ItemProcessor接口用于完成相应业务处理, 其伪代码如下[5]:

3.3 写数据

Spring Batch的写操作均需要实现ItemWriter接口。该接口只有一个方法void write (List<?extends T>items) , 参数是输出结果的列表。之所以如此定义, 是为了便于进行批量操作, 以提高性能。每次传入的列表由事务提交粒度确定, 即Spring Batch每次将提交的结果集传入写操作接口, 其伪代码如下:

3.4 任务执行

通过上面的几个步骤, 把读数据、处理数据、写数据都构造出来了, 接着通过配置文件 (batch.xml) 串联组装成一个Job。该Job仅包含一个Step。在配置Step的过程中, 还要指定commit-interval和chunk-completion-policy属性, 其中commit-interval="10000", 用于设定每次批量处理数据的条数, 数值越大则处理效率越高;chunk-completion-policy指定了Step的完成策略, 即当什么情况发生时表明该Step已经完成, 可以转入后续处理。由于没有明确指定相应的类, Spring Batch使用默认策略, 即当读入数据为空时就认为该Step结束[6]。

一个任务只能被成功执行一次, 如果任务执行失败应执行重试操作, 并指定restartable="true"。

作业配置的XML结构如下:

当完成所有配置后, 即进入最后一步—个任务执行。Spring Batch提供了JobLauncher接口用于运行Job, 并提供了一个默认实现SimpleJobLauncher, JobLauncher负责batch的启动工作, 启动batch的步骤如下:

(1) 创建应用上下文对象, 即ClassPathXmlApplicationContext类的对象。

(2) 创建作业启动器对象, 即SimpleJobLauncher类的对象。

(3) 从应用上下文中获取作业基础库Bean, 并为作业启动器设置作业基础库。

(4) 为作业启动器设置任务执行器。

(5) 用设定的作业参数运行指定的作业。

4 大数据批处理应用实践

4.1 Spring Batch批处理和JDBC批处理的对比分析

单机测试实验表明:若不考虑网络、硬件等非技术因素的影响, 面对相同数据源, 读取同一文件, 经过分析处理, 再进行数据库的批量写操作, 若采用JDBC的Connection类的setAutoCommit (false) 方法, 和PreparedStatement类的addBatch () 和executeBatch () 方法, 最后再根据设定的参数, 调用commit () , 进行事务整体性批量操作, 总体来说Spring Batch性能优于JDBC的批处理, 处理数据的效率对比如表2所示。

因Hadoop环境配置较为繁琐, 其MapReduce处理效率文章不再做对比。

4.2 企业级应用系统架构设计

1) 异构系统之间数据同步

当前企业信息化建设取得很大进展, 但是仍然还有一些突出问题, 集团内部组织结构复杂, 信息系统相对独立, 无形之中形成了一个个信息孤岛, 严重阻碍了信息的同步流转。信息孤岛的出现, 会导致企业对信息的重复处理。消除信息孤岛需对系统资源进行统筹规划, 加强对数据的有效利用, 以达到资源共享和协同。例如:某大型电商系统, 涉及订单、物品、物流、账单、财务等多个异构系统, 先实现数据前后同步, 再经过提取、转换、加载等过程处理分析, 最后展示到前端应用程序, 快速为管理层的决策服务提供依据, 其系统框图如图8所示。

2) 混合计算云数据分析

随着互联网的普及, 信息资源日益丰富, 挖掘和利用信息资源受到企业高度重视, 企业的数据中心开始承担核心计算和核心业务运营支撑。近年来, 随着云计算、物联网的全面推行, 数据中心已经进入面向服务、集中管理、高可用性的混合云计算阶段, 从而使得数据中心进入自适应、机器人自动化管理维护、支持跨域多台服务器协同的人工智能阶段, 融合计算、存储、网络三大物理资源成为有机整体, 实现业务的自动感知、实时或定时批处理, 数据资源的智能管理分析和服务一体化, 完成传统数据中心向云数据中心的转变, 提升易用性, 简化复杂的IT环境, 提高企业IT敏捷性, 是对企业IT基础架构的一次革命性升级。混合云计算定时和实时批处理系统架构如图9所示。

5 结束语

Spring Batch是为解决企业数据逻辑复杂、重复性高、数据量大的数据处理而设计的, 特别适合完成数据清洗、数据分析后转移以及定时自动触发等任务, 能支持各种大数据量的数据批处理作业。为了更好地发挥Spring Batch的大数据批处理性能, 还需进一步研究诸如多步骤执行顺序Step Flow、Job监控、高并发处理以及流程监控等内容。

参考文献

[1]Cogoluegnes A, Templier T, Gregory G, el at.Spring Batch In Action[M].USA:Manning Publications, 2011.

[2]池建强.基于Spring-Batch的大数据量并行处理[EB/OL].http://wenku.it168.com/d_000687949.shtml.

[3]刘相.Spring Batch批处理框架[M].北京:电子工业出版社, 2015.

[4]潘明阳, 高立佳, 宋平亮, 等.基于MongoDB的船舶数据库构建与数据批量迁移技术[J].大连海事大学学报, 2016, 42 (01) :42-43.

[5]刘光瑞.使用Spring Batch构建企业级批处理应用[EB/OL].http://www.ibm.com/developerworks/cn/java/j-lospringbatch1.

构建大数据企业 篇8

一、文献综述

小微企业融资是全球性难题。国外学者在探索小微企业融资障碍时采用经济计量的方法,针对影响融资的因素进行量化 处理建立 模型。如Malnell & Hodgman( 1961) 认为小微企业信贷是金融机构业务增长的新突破,但由于小微企业自身缺陷导致业务开展困难。Baltensperger在1978年提出信贷配给( credit rationing) 的概念,信贷配给来源于信息不对称,分为逆向选择和道德风险两类。Rindel. L. Padro( 2008) 利用参数估计的方法证明人力资源是制约小微企业融资和发展的主要因素。

国内对小微企业融资研究主要采用定性分析方式。李永峰( 2004) 研究认为缺少政策扶植造成小微企业融资困难。樊纲( 2000) 、林毅夫( 2001) 指出应建立多层次融资资本市场,特别是建立中小金融机构。余剑梅( 2011)研究认为供应链金融模式贯穿企业生产经营的各个环节,采用适当的形式给予金融支持可降低借款风险。

综上所述,国外大部分学者倾向从理论出发建立数据模型来研究影响小微企业融资单一的影响因素,假设偏多,几乎量化所有影响因子。国内学者偏向从社会宏观现象研究小微企业融资,易陷入互为因果的怪圈。本文则是从小微企业自身、商业银行和政府三个方面分析小微企业融资瓶颈,并提出“云银行”对策以破解小微企业融资困境。

二、我国小微企业融资难的原因分析

( 一) 小微企业强烈融资需求扭曲了银行业存贷秩序

对商业银行来说,同业贷款比企业贷款风险小,成本低,且不纳入存贷比的考量,因此商业银行扩展同业业务( 形成影子银行) ,如股权信托计划模式、信托收益权转让模式、买断票据资产模式和小集合信托产品模式等一系列“过桥”融资,使商业银行存款短期化。央行于2014年5月末公布我国银行业不良贷款率为1. 59% ,比上年末高出0. 06% ,为形象解释同业业务对商业银行的影响,本文选择委托贷款总额和商业银行不良贷款总额分别作为自变量和因变量,标准化后依次建立线性、Quadratic( 二次型) 和Cubic模型进行拟合,发现Quadratic模型显著通过F检验,表1和图1为具体拟合结果:

数据来源: 中经网金融月度数据( 2008 年 11 月—2014 年 11月) http: / /db. cei. gov. cn/page/Login. aspx

由图1可知委托贷款额1082. 1亿为转折点,不良贷款随委托贷款总额的攀升先减后增,说明在一定范围内委托贷款风险可控,超过临界值便明显上涨,我国目前委托贷款总额已远超1082. 1亿,有必要控制影子银行的过快增长。

图2采用两步差分平滑法剔除了周期因素,显示2012—2014年委托贷款占比社会总融资的趋势变化:

我国从2013年6月出现“钱荒”至2014年1月左右,委托贷款比例迅速上升,而后半年内保持0. 2的高位,监管部门的“去杠杆”行动导致委贷比例于2014年年初大幅下降,而7月左右又出现明显上升,但同期社会融资量大幅下降,违约案例也在增多,由此看来,监管部门不宜采取强硬手段,否则会使链式金融风险提前到来。

影子银行最大的优势在于借贷灵活,但并不意味融资效率高。下面采用数学模糊综合评价法( L. A ZadehFuzzy Sets,Information and control,8,338 - 353 ) 将影子银行与其余5种主要融资方式横向对比来具体探讨其融资效率。

我国小微企业主要有6种融资方式: 传统商业银行贷款、债券融资、股权融资、上市融资、内部融资和民营( 影子) 银行融资。

1. 首先构建比较对象集:

X = { x1,x2,x3,x4,x5,x6} = { 传统商业银行贷款,债券融资,股权融资,上市融资,内部融资和民营( 影子) 银行融资}

2. 评价 6 种融资方式效率的指标集:

Z = { z1,z2,z3,z4,z5} = { 1 /融资成本,资金利用率,偿还能力,机制规范度,主体自由度} ,取融资成本的倒数,使五类指标正向化,得分越高则融资效率越高。

3. 确定权重集 ( 将主观影响降至最低,权重从左到右等差递减) :

W = { w1,w2,w3,w4,w5} = { 0. 30,0. 25,0. 20,0. 10,0. 50,0. 1}

4. 确定等级集( 从最高至最低共6个等级,评分为1- 6分,依据专家评定法进行分类指标排序,分数越高该项越利于融资) ,等级集可定量化处理变量,精准地比较6种融资方式的效率差异。

P = { p1,p2,p3,p4,p5,p6}

模糊关系矩阵:

5. 最终标准得分S = W* R ( 1)

经计算S =[4,2. 9,3. 7,2. 4,5. 4,2. 6]

6种融资方式效率从高到低排列: 内部融资 > 传统商业银行融资 > 股权融资 > 债券融资 > 影子银行融资 >上市融资。

影子银行在上述融资效率的综合指标体系当中得分并不理想,对于企业来说是一个次级的融资选择,并没有真正利好小微企业。

( 二) 小微企业违信风险不断升级

小微企业总体风险水平较高。2008年世界银行的调查报告显示小企业的风险比大中型企业分别高46% 和90% 。我国投资者比较谨慎,倾向规避风险,使小微企业的融资更加困难。首先,我国大多数小微企业严重缺乏信用,会计信息缺乏基本的完整性和准确性,甚至长期存在多本账目应付检查; 其次,我国大多数小微企业存在道德风险,一些企业在融资后将资金挪用他处,致使信息不对称; 第三,小微企业内部法人结构混乱,让投资者失望;同时其自身也面临巨大的市场压力,由于市场份额小,对外界波动有高度敏感性,极易受挫。

( 三) 小微企业和民间资金的对接缺乏政府引导

2014年9月,天津、上海、浙江、广东首次试点民营银行,可这仍是杯水车薪。增设民营银行只是缓兵之策,其症结是政府与民间金融机构缺乏沟通与合作。大企业创办的民营银行难以发挥“鲶鱼效应”,意在逐利,反而使资金分布更加不均。我国的天使投资刚刚起步,且我国缺乏专业的信息平台,上海银行业小微企业信贷产品信息查询平台正式上线仅一年,规模较小还不能惠及各地,而硅谷的天使投资,资金供给方主要是同领域的公司机构,他们更注重企业生产的产品质量而非短期炒作,并给予技术上的支持。我国在深圳证券市场设立了创业板,但大部分小微企业仍被审核制的高门槛拒之场外,一些已上市的公司却利用监管漏洞在场内虚抬股价,集聚大量泡沫,反而浪费了资本。

三、构建大数据“云银行”金融模式突破小微企业融资瓶颈

“云银行”即云计算结合互联网建立的一个智能开放平台,可用来搜集社会各行各业的信贷信息,只需用PC或移动终端( 手机、平板电脑和笔记本电脑等) 登陆,就可得到该平台提供的金融服务。

( 一) 云银行整体构架

“云银行”分为内部技术平台和外部操作平台。内部技术平台是基于云计算中IAAS、PAAS和SAAS三层核心程序而建立的,其中IAAS为硬件设施部署层次,收集并存储大量融资数据; PAAS由信息管理团队负责,对海量数据进行处理和分析,比如对某一企业做出信用评分;SAAS层由云计算基础平台衍变而来,政府、企业及个人均可通过服务主体访问接口获取公开透明的历史信息,做出投融资决策( 见图3) 。

外部操作平台体现在金融主体结构、融资模式、风险监控三方面。云银行替代传统金融媒介,省去中间费用,降低申请门槛,囊括政府、企业和居民,单独开设国际窗口,并逐步放宽外汇管制。在融资模式上,云银行整合场内外融资市场,在一个网络内按融资工具分类,建立多层次本市场,允许不同层次间交叉交易,统一规定可公开的信息,进行线上交易。在风险监控方面,云银行以完善的云计算功能来追踪账户信息,按历史数据设立不同领域与阶段的金融指标( 特别是先行指标) ,进行信度评级,为决策层提供参考。“云银行”运行初期仍由政府主导调控,避免国际热钱的过度冲击,后期则由三方共同监管,形成互为制约的稳定经济网络。

( 二) 云银行解决小微融资问题的优势

1. 云银行以大数据为基础控制整体风险,清除小微企业监管盲区

该模式下具有大数据处理功能,可将信息从移动通信终端转移到云计算的服务器进行存储和分析,按动态时间序列进行风险定价,计算违约概率,初步淘汰掉低于基准评分的企业。监管部可通过外部接口端了解小微企业的融资状态,及时做出警示或辅助。

2.“云银行”提高小微企业融资时效

小微企业通常要进行几轮的股本融资,才能达到基本的资本金要求,“云银行”可将不同评分等级的小微企业,配合不同阶段的融资需求,打包成新的金融工具,适应并投放到不同层次的资本市场,并根据客户风险偏好和市场变化提供投资方案,实现多层次融资市场的交叉交易,提高融资时效并分散风险。

3.“云银行”可扩展整体资金容量惠及小微企业

云银行的融资平台十分大众化,普通民众也可以和企业家在同一平台自由交易,使大量民间资本介入,从而建立一个庞大的金融基底,增强系统的抗风险性能。我国可将养老保险与社会保险资金引入云银行的融资平台,扩宽融资渠道,提高企业生产率,弥补劳动力老龄化,开发全新的互联网金融。这不仅为小微企业开辟了更广阔的平台,更有望形成一条全新经济链,加固金融系统。

参考文献

[1]樊纲.发展民间金融与金融体制改革[J].上海金融,2000(9):4-6.

[2]刘鹏.云计算[M].北京电子工业出版社,2012.

[3]林毅夫,李永军.中小金融机构发展与中小企业融资[J].经济研究,2001(1):10-18.

[4]吴国培,陈福生.行为金融理论小企业融资现象解释[J].亚太经济,2010(1):13-16.

[5]余剑梅.以供应链金融缓解中小企业融资难问题[J].经济纵横,2011(3):99-102.

[6]张青庚,费洁春.对担保机构担保项下中小企业信贷业务的风险管理[J].金融论坛,2006(2):23-30.

[7]A.N.Berger etal.The Economics of Small Business Finanee.The Roles of Private Equity and Debt Markets in the Finaneial Growth Cycle[J].Journal of Banking and Finance,1998,pp.13-19.

[8]MILOJICIC D.WOLSKI R.Eucalyptus,Delivering a Private Cloud[J].Computer,2012,pp.102-104.

构建大数据企业 篇9

目前, 我国图书馆的数据存储形式较为单一, 几乎都是文献资源的电子化、数字化和视频化。这些数据基本上都是结构化的数据类型, 缺乏个性和价值再发现功能, 特别是那些隐藏着巨大价值的非结构化数据, 长期以来被图书馆所忽略, 几乎处于空白。众所周知, 大数据时代的信息竞争并非靠数据存储量的多寡来决定胜负, 更为重要的是非结构化的数据资源的重新发掘与再利用, 并将这些数据进行科学的分析, 以满足用户的个性化需求和多样化的知识储备。如清华大学图书馆尝试在检索平台“水木搜索”上综合运用多来源数据。将书、刊、文章等元数据汇聚在一起用于检索, 用户可通过开放链接技术定位及获取资源;同时, 清华大学图书馆还将维基百科的词条、清华教工简介、豆瓣书评、清华学生打过的标签等在展示层与检索结果建立关联, 用户可在一个检索结果页面获得不同层次、不同角度的信息内容。

因此, 在大数据的影响下, 未来图书馆的建设要把大数据作为一系统工程来考虑。图书馆的数据建设应该突破传统的将纸质资源数字化的简单层面的转化, 而是应该从数据采集、数据存储、数据处理、数据分析和数据应用等方面加以考虑, 从而构成图书馆数字资源的大数据框架。正如有研究者所说:“存储在各类数据库和文档系统中的科学数据以及以业界标准化关系数据库所产生的元数据体系, 将构成一种新型的、分布式的和整合式的数字图书馆。这种数字图书馆既包括传统数字图书馆的各类处理、管理、检索服务等功能, 又包括数据转换、可视化和数据挖掘服务等新型数据服务功能。”那么, 未来新型的数据图书馆将具备哪些特征和发展模式, 有研究者综合多方面的研究成果, 归纳出新型的数字图书馆会出现如下新的特征:“基于网络和数据场的学术过程记忆;在数据密集型科研环境下, 引文索引和评价将不再起主导作用;数据场中信息的类型、来源渠道和获取方式都是多元的;各种数据的流动、交互操作、融合、引用等都将留下轨迹;……把隐性的数据流动转变为显性的, 甚至可视化;基于网络和数据场的学术过程记忆将在学术跟踪和评价中大显身手。”

2 树立数据驱动的服务理念

传统语境下图书馆的基本服务就是文献资源的开放存取, 网络时代的出现使得图书馆更加重视文献资源的数据化转化。但是, 在大数据时代下, 数据成为图书馆资源的核心构件和图书馆运行的基础, 因此, 能否从传统信息服务理念向数据驱动服务理念的突破, 将是图书馆能否继续生存并保持活力的关键。当前的各级各类图书馆必须加强对大数据的重视, 认识到数据驱动服务理念的重要性, 大力拓展数据的组织和挖掘能力, 提升图书馆的竞争力。尤其是一些专业图书馆, “更应针对海量数据需要长期存储的需求, 为科研人员提供最佳信息和技术服务, 融入科研用户工作流的数据生命周期。数据驱动的服务模式将是现代科学图书馆发展的新的生长点。”图书馆工作人员可以通过数据把握趋势、理解需求。比如通过一段时间南京图书馆的借阅类目排名和读者构成, 我们就可以分析南京图书馆读者最喜爱阅读的图书类别以及这些读者的自然特征, 这样图书馆就可以有针对性地进行文献资源建设, 开办针对读者兴趣的讲座等读者服务活动, 甚至进行相关商业行为, 为图书馆的运行提供一定的经费来源, 而不仅仅是靠政府拨款。

3 强化知识服务功能

传统图书馆服务采用的是一种参考咨询和信息咨询服务模式。当我们进入大数据时代, 以数据为基础的图书馆服务正在发生变化。在大数据时代, 数据分析和数据挖掘将成为未来图书馆服务的一个重要内容。可以预测, 未来图书馆的业务将向数据分析和数据挖掘方向转移。这将在很大程度上改变图书馆的资源配置, 重组图书馆的数据资源, 进而改变图书馆的价值定位, 改变图书馆的评价体系, 改变图书馆工作人员的素养, 重构图书馆的数据结构。可以想象, 随着大数据的深入发展和所起的重要作为, 图书馆的信息咨询和资源借阅功能将走向弱化, 对大数据的分析与处理将成为未来图书馆的主要业务, 同时也将成为图书馆服务水平和发展潜力的重要评估指标。

在此背景下, 大数据时代图书馆的服务将突破传统的结构化数据的服务, 而是要经过大量数据的捕捉、组织、分析和决策所形成的多向度的服务体系。以信息的发掘、分析、处理与服务为趋势的图书馆的服务范围将会得到更大的扩展, 为某一学科、某一专业机构或政府企事业单位进行一站式的数据分析服务、数据挖掘服务。这种以知识服务为表征的服务功能是为了图书馆重要的数据增值功能的集中体现, 这将会成为大数据时代图书馆的常规服务内容。

目前, 国内外图书馆界在知识服务方面都进行了积极探索, 已形成了较为完整的图书馆知识服务体系, 产生了一些具有专业化、个性化的服务模式和服务途径。如清华大学图书馆尝试对其相关数据集合做一些分析工作, 即从元数据仓储中提取关键词等信息, 分析关键词走向, 分析作者与合作者的关系, 建立以人为中心的知识关联网络。美国国会图书馆根据读者数据的分析, 建立了符合读者阅读需求的“美利坚记忆”, 成为美国历史文化特色的馆藏资源。毫无疑问, 图书馆知识服务过程中需要大量的数据。这些数据既报刊已经存在于图书馆之中的书目信息、电子图书、电子期刊、视频资源等结构化数据, 也可能是图书馆的读者阅读行为、习惯和社会身份等非结构化的数据, 同时, 大数据时代图书馆的数据构成还有走出图书馆本身, 与各类商业中心、娱乐中心、社会服务中心等都要建立与他们之间的联系。加强数据资源共享。因此, 图书馆工作人员应认清数据在知识服务特别是知识服务中的重要作用, 进一步提高图书馆各类数据的收集意识, 通过对收集到的数据进行挖掘、分析、加工和重组, 把大量随机分散的、杂乱无序的信息转换为有规律的、集中的、有序的数据, 为图书馆将来的知识服务提供坚实的数据保障。

摘要：当前, 图书馆领域正在迎接大数据时代的到来。在“大数据”时代下, 图书馆应该建立以数据驱动为基础的服务模式, 重建新型数据图书馆、树立数据驱动的服务理念、强化知识服务功能, 实现图书馆有效的数据管理和应对新型数据变革。

关键词：大数据,图书馆,数据驱动,服务模式

参考文献

[1]刘明, 李娜.大数据趋势与专业图书馆.中华医学图书情报杂志, 2013.

构建大数据企业 篇10

电子政务是一个复杂的巨系统,简单说就是政府组织力求通过信息化手段和技术为辖区谋求更高效的管理和服务,电子政务建设发展的核心是数据。电子政务发展的下一个目标是为服务对象提供个性化的、贴身的服务,在服务每个对象的同时,不能损失其他社会成员的利益。电子政务的服务对象不仅包括辖区内的个人,也包括企业组织、事业单位、公众团体等社会有机组成部分,甚至包括政府自身。

但目前政府部门实行的电子政务只是方便了政府与政府、政府与社会之间的信息交流和办公,仍然停留在信息化办公的阶段,并没有实现严格意义上的电子政务。而对服务对象提供个性化的、贴身的服务目标,要求能够为服务对象提供智能预测系统、智能推荐系统甚至智能决策系统。部分信息化发展程度较高的省市建立数据中心,但是这些数据中心仍然属于传统的数据中心,其主要功能是提供统计、查询功能,如图1 所示。

这些数据中心以业务部门为主,一般由省厅或市局来建设,主要存在以下问题。第一,业务部门之间存在竞争关系,通常数据是保密的,这些数据往往是孤立和片面的,而社会上的人或企业个体是综合性的,在这种情况下只能在业务的基础上建设推荐或决策系统,不能实现个性化服务系统。第二,这样建设的数据中的数据来源都是结构化和理性的数据源,这些数据都是确定的,所建设的智能决策系统并非真正如人一样思考问题,而是根据确切数据进行统计分析,这仍然是传统的分析方式,而人往往是一种感情的社会个体,非理性的思考多。第三,传统模式的数据中心需要业务部门重复建设,数据中心的建设往往投资巨大,中心机房、灾备系统、服务器等设备都需要大量投资,同时也将给社会资源造成巨大浪费。

1 大数据背景下数据中心建设要求

大数据时代背景下,数据资源在电子政务中显得更为重要。麦肯锡对大数据的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据不仅具有数据规模大这个特征,同时更多的是具有数据来源广泛、数据结构模糊等特征,但毫无疑问,大数据更符合社会实际情况。

本文提出通过建设基于大数据的数据中心来满足更先进的电子政务服务理念,基于大数据的数据中心建设应该具有数据来源多样化、建设高度集中化的特点。数据来源多样化是指根据电子政务服务对象来采集数据,而不是根据业务来采集相对片面的数据。以居民为例:辖区内居民个人基本信息、个人消费信息、个人工作信息、个人医疗社会保险信息等信息都是结构良好的、容易采集的信息,这些信息可以构成一个个业务系统,通过融合这些业务系统数据可以构成传统的数据中心。但对于个人来讲,其个性信息(通过朋友圈和说说、文章等获取)、个人习惯(通过手机等定位信息)、消费偏好(通过购买和购买过程分析)等信息构成一个感性人的信息。而这些信息往往是模糊的、非结构化、私密性的。基于大数据的数据中心如图2 所示。

建设高度集中的大数据中心要求以地级市或者省级单位为中心进行建设,政府相对业务性部门作为数据补充,地市一级的信息中心应该有充分的权利,最好由市府办功能进行直接转变,单独成立的信息中心难以担任这样的责任。服务对象的基础信息在工商和公安数据库中,这样的机构不是类似于水电煤气等单位是可以调度的,政府部门之间权力大小不同,基于大数据的数据中心就是要破除电子政务中存在的信息孤岛问题。传统的以业务为核心的电子政务系统或数据中心,无论怎么预留接口、怎么加强数据交换,其本质还是一个个数据库构成的孤岛,这样的电子政务越发展,后续问题越大。通过高度集中、高度集权、直接隶属于政府的数据中心建设,从根本上解决电子政务发展的顽疾。

2 关键问题

2.1 权力分配问题

从某种意义上讲,信息是权力的主要载体,有用的数据就是信息。基于此,如果数据仍然分布在业务部门,政府部门效率低下的官僚主义将不可避免地从普通政务阶段转移到电子政务阶段,各个部门将数据视为自己的私有财产,并且可以堂而皇之的以系统为掩护,不进行数据交换。

2.2 隐私问题

很显然,基于大数据的数据中心囊括了公众、企业的隐私性数据,政府本身有没有权力收集这些数据?这些数据在什么样的情况下授权给什么样的人来看?从事IT技术的人会不会因此获取超然的权力?这些统统都是需要进一步研究的问题。

2.3 安全性问题

基于大数据的数据中心一旦建成,会随时掌握政府辖区内每个人的一言一行,这些数据如果为不法分子掌握,有可能对人们造成伤害,由此可见,数据的安全性非常重要。

3 结语

基于大数据的数据中心建设是电子政务未来发展的一个趋势,随着大数据及相关技术的日趋成熟,政府组织会更多地利用信息技术为服务对象提供个性化、贴身的服务,尽管在发展过程中会存在各种各样的问题,但基于大数据的数据中心必将会成为电子政务建设的核心之一,也会给人类社会的进步带来新的助力。

摘要：电子政务的主要内容是政府机构利用信息技术为辖区市民提供优质服务,目前国内电子政务的实施已经具备较为完备的基础,按照业务的数据中心建设逐步进行。在当前大数据技术发展背景下,原有的数据中心能否适应大数据分析业务的要求,成为制约电子政务进一步发展的瓶颈,本文主要探讨下一步更精确化电子政务服务目标的数据中心构建方案。

关键词：大数据,电子政务,数据中心

参考文献

[1]Martin Hilbert,Priscila López.The World's Technological Capacity to Store,Communicate,and Compute Information[J].Science,2011(6025).

[2]Bernhard Warner.“Big Data”Researchers Turn to Google to Beat the Markets[J].Bloomberg Businessweek,2013(9).

构建大数据企业 篇11

关键词：教育改革；学业质量评价；大数据；维度

中图分类号：G521 文献标志码：A 文章编号：1673-8454（2016）03-0019-04

一、研究背景

教育质量评价是教育综合改革的关键环节。推进中小学教育质量综合评价改革，是推动中小学全面贯彻党的教育方针、全面实施素质教育、落实立德树人根本任务的重要举措，是引导社会和家长树立科学的教育质量观、营造良好育人环境的迫切需要，是基本实现教育现代化、加强和改进教育宏观管理的必然要求。

教育部2013年6月下发的《教育部关于推进中小学教育质量综合评价改革的意见》（教基二[2013]2号）中明确指出教育归根结底要以学生为本，以了解每一个学生的特质为前提：

“综合考查学生发展情况，既要关注学业水平，又要关注品德发展和身心健康；既要关注共同基础，又要关注兴趣特长；既要关注学习结果，又要关注学习过程和效益。……把学生的品德发展水平、学业发展水平、身心发展水平、兴趣特长养成、学业负担状况等方面作为评价学校教育质量的主要内容”。

二、大数据与教育质量评价

什么是大数据，在维克托·迈尔-舍恩伯格和肯尼斯·库克耶编写的《大数据时代》中给出的解释是指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。大数据具有以下的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、value（价值）。可见大数据不仅仅是一种技术革新，更重要的是思维方式的转变，当然这种转变是依托于现在信息技术的迅猛发展才得以实现。现在我们可以分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。现在我们可以不再探求事物间难以捉摸的因果关系，转而关注事物的相关关系。

随着信息化时代的到来，大数据技术已逐渐被运用到学校管理与教学的各个领域，学校的管理和资源配置更加合理有效，学生学习与生活的各项数据更加详实准确。学生的每一步学习和成长轨迹都能如实地被存储与调用，使得对每一个学生的德、智、体、美进行全面的、科学的、动态的评价成为可能，我们可以通过大数据的技术和思维构建一个以学生为本的、全面的、绿色的学业质量评价指标体系。让每一个学生都享有教育信息化带来的教育公平，大数据在教育中的应用，其最重大的意义，就是能够“让我们走近每一个学生的真实”。

三、项目意义

1.了解每个学生的特质

利用大数据思维分析学生在校的学习情况，结合学生日常单元测验成绩、期中期末成绩、学习习惯与态度，辅之以科学的问卷调研分析、主题化的模拟课堂实验，从学生个体特质的角度出发，反观传统课堂下的教师教学策略和学生学习效果将会带来不一样的教学分析视角。从教师个人层面来讲，每一个教师个体从中解读自己班级学生的不同特质进行反思，自己应当如何有针对性地进行改变才能更加符合学生学习的要求，逐渐形成从“解读学生需求”出发、进而思考教育教学行为的意识与能力。由此可见，无论是教师还是学生，了解学生特质都对学生的发展有着非凡意义，也是教育研究者研究的当务之急。同时，了解每一个学生的特质，也是实现个性化教育的必经之路。

2.明确学校的定位与发展方向

对于学校来说，学生各方面水平是反映其质量的最重要指标之一。一个完备的、包含各个维度的学生数据库，能够帮助学校更好得定位自己。而通过不同数据指标的监测与比对，学校能够更好得了解到自己的优势与劣势，针对性的进行规划，从而更加发扬学校的长处，以及补足学校较为不足的地方，不断提升学校的综合实力。

3.为教育决策提供依据

学生学业质量评价指标体系参考国内外中小学学生评价标准，结合学习基础素养、身心健康、学业进步、成长体验等多方面的数据信息。因此，学生数据的积累对教育决策者来说提供了准确的科学依据。不同于传统的教学调研，学生学业质量评价指标体系的建立可以让教育决策者随时随地了解学校的教学情况、学生的学习和生活情况。既可以从横向发展上比较研究学生发展状况，也可纵向跟踪学生整体的发展情况，为教育决策提供必要的数据支持。

四、总体框架

依据《教育部关于推进中小学教育质量综合评价改革的意见》，借鉴国际上有关学生学业水平、身体健康等方面的标准化评估工具，参考国内其它地区在学生学业质量评价方面的有益尝试，结合前期的调研工作和我市的具体情况，建议我市学生的学业质量评价指标体系的总体框架如下图所示。指标体系涵盖了学习基础素养、身心健康、学业进步、成长体验四个顶层维度和若干个分层维度，根据重要性和地区情况的不同，将各维度区分为一期进行和后续展开两类。

五、分层维度设计

1.学习基础素养

学习基础素养是反映学生学习能力的重要指标，因此纳入顶层维度。

（1）认知能力

认知能力包含记忆、逻辑与注意，作为学生学习基础素养之一，已在上海受到较为广泛的重视。在前期的调研中，也发现了学生认知能力与学业成就的高相关性。在上海，对于提高认知水平的相关课程在不断被开发中，针对不同认知水平学生的教育策略也有了一定的积累。因此，非常有必要将学生的认知能力纳入评价的指标体系。

（2）语言能力

语言能力包含理解与表达，同样也是学生学习基础素养中非常重要的因素。我市属于多民族地区，由于学生民族差异较大，对于理解与表达的测评方式较为不统一，会影响到数据的一致性，导致数据应用与分析时产生较大偏差，且不能真实代表学生能力。因此暂时不纳入一期建设中，但在后期建设中应考虑纳入到总体框架中。

（3）身体机能

1）精细动作

精细动作更多指代学生小肌肉群的发展程度。精细动作不但与学生良好的手眼协调有关，同时研究还发现，它对于学生的学业成就也有着重要的影响。

2）体能素质

本项指标采用中国体能测试新国标。

2.身心健康

身心健康是监测学生健康状况，影响其可持续性学习的重要指标，因此纳入顶层维度。

（1）身体健康

在身体健康评测中，BMI指数与裸眼视力是较为客观的指标。对于学生BMI指数与裸眼视力的纵向跟踪，能够较好地表现出学生整体身体健康状态的变化趋势，发现这两方面的关键期，更加科学的进行干预与提升。

1）BMI指数

Body Mass Index，身体质量指数，简称体质指数，又称体重指数，它与体内脂肪总量密切相关，主要反映全身性超重和肥胖情况，是目前国际上常用的衡量人体胖瘦程度以及是否健康的一个标准。计算公式为：

BMI=体重/身高的平方（国际单位kg/m2）

之所以采取BMI而不用肥胖指标，因为健康水平不只需要考虑肥胖，营养不良等反向极端也需要纳入考虑。而BMI计算出来的得分可以检查营养不良的状况。

2）裸眼视力

国家卫生局发布关于近视的解释为，眼球在调节静止的状态下，来自5米以外的平等光线经过眼的屈光后，其焦点落在视网膜前，不能准确地在视网膜上形成清晰的像。我国青少年学生近视率逐年增加，据统计小学近视率在40%左右，中学近视率在65%左右，高中近视率在80%左右，其中因为学校学习压力而造成近视的学生不在少数，因此需要把学生的近视率作为考核的指标之一。

3）其他医疗数据

参考美国纽约健康与心理卫生部门联合教育部门设计的《儿童青少年健康检查表》，对于在校学生的身体健康情况，许多有效数据是由提供医疗服务的人员提供的，包含既往病史、生理检查、外科（如：眼耳口鼻、脊柱、语言、行为等）、发展情况（如：认知、社会性、身体机能等）等。这对于深入调查学生的健康状况和疾病隐患大有帮助。

（2）心理健康

1）自尊水平（心理健康）

心理健康，从广义上讲，是指一种高效而满意的、持续的心理状态。从狭义上讲，是指人的基本心理活动的过程内容完整、协调一致，即认识、情感、意志、行为、人格完整和协调，能适应社会，与社会保持同步。

通过前期的调研发现在三个心理维度的测量中，学生的自尊水平具有相对较大的标准差，同时其与学生的社会关系具有较高的相关性。对于学生关键时期自尊水平的监测，能够很好地了解学生心理健康的整体情况，及时发现并干预处于风险区间的学生。

2）道德修养

道德修养是人们为实现一定的道德理想而对自己的品行进行锤炼和陶冶的行为，有时也指经过这种长期努力所形成的道德情操。国际上评价在校学生整体的道德修养水平，可以借鉴美国IES（Institute of Education Sciences）对美国校园学生道德水平评估的研究成果。包括统计校园犯罪率、辍学率、早孕率、堕胎率、霸凌率等相应指标衡量不同学校的整体平均到的水平。

由于国情不同，以上指标尚需进一步讨论与研究，筛选并形成适合我国中小学道德修养评价的具体指标。

3.学业进步

学业进步是追踪学生学习整体状态的重要指标，因此纳入顶层维度。

（1）学业水平

学业水平的提高体现在学习成绩和学生整体学习状态的活跃与否；并且据研究显示，学生在校的人际关系，包括师生关系和同学关系，直接影响到学业发展。因此，该维度不仅考察学业水平和学习状态两部分，还加上了人际关系。另外，可增加一项考核指标，即考试焦虑。该指标在国际中小学校学业水平测试中广泛应用，我国的中小学绿色指标中也作为衡量学生是否喜欢学校的一项重要标准。在学业水平的考核方面，在了解学生在校综合成绩的基础上，还要记录其参与社会机构考核的成绩，如IELTS，TOFEL等。详情如下：

1）各科成绩

根据学段的差别，不同年级的学生可以指定搜集具体科目的期中、期末或随机抽取单元测试的成绩，作为综合成绩考核指标的数据来源。由于国家政策规定无法对于低年级学生进行考试测试，因此，对于一、二年级学生的学业水平数据考察可以加入情境测试，即围绕认知能力、语言表达等方面设计的小测验，根据学生完成的情况记入得分。

2）学生获奖

学生在各类活动与比赛中获得的奖项，同样是其学业成就的一部分。同时，从学生的获奖信息中，可以看出学生的优势与兴趣，帮助更好地了解个体学生的个性与技能。

（2）学习状态

1）学习兴趣

学生对于不同学科的学习兴趣，能够很好的反映出学生在各学科课堂上的状态，同时也能作为对于课堂形式与课堂内容情况的一种反馈。学生的学习兴趣已是全国共同关注并认同的需要大力培养的学习状态，从学生的学习兴趣中不但能够较为准确得判断一位学生的特质与喜好，对于课程也具有监测与警示意义。

2）学业负担

首先需要说明的是，学业负担并不是负担越低就越好。过重的学业负担，不但影响学生的学习效果与效率，也可能影响学生的学习状态、心理状态，甚至创新意识；而过低的学业负担，则可能造成学生学习动力的缺失与责任心的缺失。在全球的PISA考试中，上海学生虽然在学业成绩上领先全球，但其过重的学业负担同样也成为了众人关注的焦点。学业负担更多可以作为供监测的数据，时刻调整来帮助学生保持在最佳状态。

学生过重的学习压力和学业质量之间呈现着某种负相关。学生在学习上可承受的负载是有限的，如果负载过重，会破坏和扭曲学生的发展，而且学习就成了令人生厌而又不得不为之的“负担”。结合学生的实际情况，调查并发现负载过轻或过重的现象，及时调整学习任务与心理辅导，对于学生健康发展很有必要。

3）考试焦虑

在前期的调研中发现考试焦虑是在各学习状态中状态最差的一项，说明考试对于学生来说普遍是一项让他们感到压力与不安的事情。而事实上，日常的考试更多是作为一种对自己学科知识掌握程度的检验。过重的考试焦虑同样也表明了教育对于应试成绩的过度重视，在后续学生的全面评价推广后，考试焦虑也可以作为对全面评价推广效果的一种检验。

（3）人际关系

1）师生关系

良好的师生关系是促进学生学习兴趣，保持学习动力的重要因素，学生对教师的评价与教师对学生的态度是师生关系的两个表现方面，通过师生互评能够看出师生关系和谐程度。

在前期的调研中，发现学生在师生关系与教师认同的评价中有部分指标相对较低。这其实就给老师提供了一个参考，后续在哪些方面是可以调整与加强的。在国际的研究中，师生关系也不是越高越好的，因此对于师生关系数据的采集，也可以作为后续的教育研究来展开。

2）同学关系

同学关系往往是教育中被忽视的一面。恶劣的同学关系直接影响该生在班级的生存环境，进而影响其学习状态，甚至会导致不良校园事故。关注学生成长要从他身边开始。调查了解其同学关系，包括与同学的相处情况、同学对其评价，多角度了解，还原一个立体的学生形象。

4.成长体验

成长体验是记录学生成长过程的重要指标，是必须纳入且非常有价值的一部分。学生的成长体验是多维立体的过程，它发生在家庭、社会、学校各个场域，因此该维度分为家庭、课外经历和实践活动三部分。家庭教育是学生成长过程中不可或缺甚至最重要的部分，它能展示学生在学校以外的成长环境，这是在校期间无法获知的。课外经历是一个相对于课堂内产生的概念。实践活动是学生从学校走向社会的初步练习，它可以反应学生的综合素质，反映在校期间的学习和生活是否丰富多彩，社会资源是否得到有效运用，同时学生在整个活动与实践过程中得到充分的锻炼和自主管理。

（1）家庭情况

1）亲子关系

亲子关系对于学生是有重大及深远影响与意义的，通过亲子关系，能够大致了解到家长的教养方式，察觉学生的家庭状态，从而能够对一些错误的做法进行引导语完善。一般通过科学的问卷调查，了解孩子与父母相处方式、遇到的问题等。

（2）课外经历

1）阅读经历

阅读经历是课外经历维度中着重考察的点。之所以看重学生的阅读经历，是因为课外阅读的书籍种类、内容、数量等数据，都能反映学生从课外获取知识的能力、其知识结构的完整程度。

2）游历经历

随着生活水平的提高，越来越多的学生有机会随父母或自己外出游历，包括旅游、出国游学、夏令营等形式。通过了解学生游历的地点数量、广度、游历感受等，分析眼界开阔是否对学业成绩产生影响等。

3）课外培训

学生参加课外培训是比较普遍的现象。学生参与课外培训的时间、内容等信息能反映学生对课外补习的需求情况，从而对教育工作者产生启发，如课堂教学量是否要提高、作业布置量是否要减少等。

（3）实践活动

包括学生在学校里参加的实践活动，以及在校外参与的各类社会实践活动，权重因素包括：频次系数、参与人系数、质量评定系数等。

六、结束语

按照教育部2013年6月下发的《教育部关于推进中小学教育质量综合评价改革的意见》，应用大数据的技术和思维构建一个以学生为本的、全面的、绿色的学业质量评价指标体系将是一个富有挑战性的目标，本文在指标体系的顶层维度和分层维度设计上做了一些研究和探索，不足之处，希望广大教育信息化的同行给予批评、指正！

参考文献：

[1][英]维克托·迈尔-舍恩伯格，肯尼斯·库克耶.大数据时代[M].浙江：浙江人民出版社，2013.

大数据时代创新生态构建刍论 篇12

一、研究背景

计算机的普及、互联网用户渗透率的提升、移动终端和大数据的出现改变了人们的生存环境。面对社会生活的变革,李克强总理提出“互联网+”行动计划;十八大强调实施创新驱动发展战略2等一系列相关政策,以应对大数据时代创新处理模式的需求。创新是社会进步的动力,更是人才的核心部分。对创新能力的培养在学校里尤其是高校应给与足够的重视,高校学生能够迅速接受新思想、新观念和新事物,他们的创新能力正值生命高峰时期,因此高校应积极鼓励创新行为,并构建创新的生态环境以孕育滋养出创新人才。然而创新生态的构建除了国家和社会的支持,还需教育主体和学习主体这两个要素共同作用。教育主体和学习主体都要认识到创新能力培养的重要性,关注创造力的开发、创造性思维的形成、构建发挥创造力的环境。

二、创新概念与构成要素

1912年美国哈佛大学教授熊彼特在其著作《经济发展概论》中指出:创新是指把一种新的生产要素和生产条件的“新结合”引入生产体系。创新是创造出新的、以前没有的事物,是一种创造性活动,体现着人的主观能动性。思维是人脑对客观现实概括的和间接的反映,它反映的是事物的本质和事物间规律性的联系。创新思维是多角度、多侧面、多方位的看待和处理事物,创造性的、突破性的思考问题、解决问题的方法。创新思维是创新能力的核心因素。创新能力即是产生新思想、发现和创造新事物的能力和心理素质。广义上的创新能力包含两部分,一部分是先天的、非智力的自然因素,另一部分是非自然的,即经过后天的学习和教育开发出的部分。创新能力是可以通过学习和教育进行开发培养的,并在实践中不断得到提高发展的。高校的教育观念、教育体制模式、教学方法影响着创新能力。

教学理念对人的培养起着导向性作用,先是培养什么人,后才是如何培养的问题,就如同出行,先选择方向目的地再选择出行工具,传统教育重教授,规范的、划一的、封闭的教育理念会抑制学生独立思考能力、批判能力、学习能力,而提倡主动学习、灵活运用、实践教育与创新教育相结合的教育理念,重视独立思考能力、应用能力、创新思维能力的培养。因此,要培养创造性人才需改变批量生产的教育理念,树立个性化、互动的、开放的、以创造性学习为主体的教育理念。教育体制模式,过于注重分数和考试成绩而轻视实践能力、创新意识的培养,高分低能。将学生培养与社会需求紧密结合起来,增强创新教育与实践性教育,重视学生综合能力的培养。教学方法,不同于填鸭式的而是启发学生思考、多互动、多讨论、共同探究,才使学生有主动意识、有主动求索的过程,调动积极性、有强烈的求知欲。当创新成为融入自身文化追求,成为内省的自觉时才是“人的灵魂的教育”。

三、创新生态环境构建与策略

高校创新性人才的孕育滋养是与创新型生态环境分不开的,下面从教育主体和学习主体两个维度谈创造性生态环境的构建策略。

1. 互动探讨、教学相长

课堂上不断深入讨论、探究,获得对具体知识理念的深入理解。学习主体注重与教师互动、提出问题,在深入探讨中不仅收获知识而且获得思维方法,教师也应将教授知识的方法转化为启发思维方式。教学应激发学生主动学习探索的积极性,教学的过程不是填鸭式的教什么学什么,而是一个互动的、不断产生思维新质的、不断深化的过程,教师的作用在于引导,让学生主动思考、探索解惑。如教师可以多方位、多角度地设置疑点、讨论点,让学生从横向、类比、逆向、联想等多角度思维出发,对问题进行思考、分析、归纳、探索不同的问题答案。这就要求教师的职能转型,不仅自身要专业精深、视野宽广,而且要深入浅出地让学生领略专业方法、思维特点,这些对教育主体提出了新的挑战。

2. 围绕解决真实问题的学习

在实践中发现问题、解决问题。理论知识运用于实践之中,可以考察知识学习的深入和牢固程度。货真价实的知识是能够被转化为能力的知识。通过实践可以培养思维习惯,从问题入手、探究方法,在解决问题的行动实践中建构知识、提高技能、培养创造能力和倾向,并在应用的经验中,知识的目的、用途、方法才能被掌握,从而增强今后拓展知识、灵活运用知识的倾向,在活学活用中夯实基础并拓展知识,使知识内化,建立校企、学校社区的联系,利用社会上的资源,提升教学水平。

3. 跨学科扩展知识技能

随着社会发展越来越多的工作呈现跨学科的特点,单一的、自蔽的专业知识不能符合社会用人需求。单一学科的课程体系虽然学生容易接受但太具体、限定性太强、思考余地太小,很多院校设有选修或辅修课程,它们在很大程度上扩展了学生的知识技能,开阔了眼界,学生自主选择的形式更符合个人特长和兴趣,有助于知识和技能的拓展,使学生发现自己、坚定志向。

4. 互联网时代的个性化学习

随着互联网的发展,越来越多的院校设置了在线课程,很多平台提供了在线学习的机会,并展现了更广、更深、更前沿的学科内容,打破了院校的壁垒,学校不再是唯一的或重要的学习场所,新的学习方式可以自由定制,可以使用移动媒介在任何时间、任何地点学习,为培养创造性人才提供了极大的支持。

综上所述,创造性人才的培养离不开行之有效的创造教育机制,改变传统的单一、单向、规格化的教育弊端,取消对创造意识的制约、发挥创造力特色、整合知识结构,以多向多维多学科的创造性人才培养为目标,以专业知识为基点的不断扩展的范畴中深化教学实践。

参考文献