大数据中心建设

大数据中心建设（精选12篇）

大数据中心建设 篇1

随着信息技术的不断发展和各种新媒体的不断涌现,人类社会迈入了ZB级数据量的“大数据”时代。大容量的数据及其蕴含的无限价值,不但会改变我们的思维,也实时影响着我们的工作和生活,甚至对国家经济和社会发展产生重要影响。作为科技创新与应用前言的高等学校,应用大数据这一新理念、新技术开展学生管理服务工作,将有效提升新时期学生管理的实效性。

一、高校学生管理大数据的内涵

(一)大数据的内涵

全球最具权威的IT研究与顾问咨询公司高德纳将大数据定义为需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产(2001)。麦肯锡环球研究院在其《大数据:创新、竞争和生产力的下一个前沿》报告中指出,“大数据”是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集(2011)。而《大数据时代》的作者维克托迈尔·舍恩伯格(2012)认为,大数据是人们获得新认知、创造新价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。

(二)高校学生管理大数据的内涵

信息技术的其普及与广泛应用,不仅推动了高等教育信息化的发展,同时也带来了学生学习、交流与生活方面的各种结构化的或碎片数据,大量数据的产生无疑将高校学生教育管理带入了大数据时代。高校学生管理大数据就是要整合校园信息资源,主动收集学生学习、生活和网络使用数据,充分利用大数据及其技术,分析和研究数据中蕴含的价值,进而促进高校学生教育管理工作创新。从这个观点出发,发展高校学生管理大数据,从揭示大学生学习、行为规律和高校学生教育管理规律,对推动高校学生教育管理工作创新与发展、丰富教育大数据理论研究具有重要意义。

二、高校学生管理大数据主要组成

目前,我国教育信息化从基础设施、数字资源、人才培训、关键技术及标准等方面都有了长足的发展。大部分高校在数字化校园建设的基础上,建设完成了完备的应用系统。信息技术的发展及其普及与广泛应用,不仅推动了高等教育信息化的发展,同时也带来了大学生学习、交流与生活方面的各种结构化的或者碎片数据,大量数据的产生无疑将高校学生教育管理带入了大数据时代,为高校学生管理大数据建设打下了坚实基础。

当前,大多数高校通过数字校园建设,形成了诸如学生行为管理系统、教务管理系统、图书借阅系统、校园财务系统、学生自主选学系统、精品课程平台、学生上网认证系统、校园门禁系统、学生校园消费查询系统等应用系统,在高校人才培养和学生健康成长方面发挥了重要作用。经过多年的运行,这些系统产生了大量数据,构成了高校学生教育管理大数据的主体。同时,学生在互联网和微信、微博等新媒体上产生的数据,也是高校学生教育管理大数据不可忽视的组成部分。根据笔者对这些数据的分析和研究,从数据的归属角度,把其初步分为下面几个方面:

(一)基础数据

这些数据主要涉及大量与学生相关的基本情况,诸如学生的基本信息、兴趣爱好、政治面貌、家庭情况、所属院系专业、入校成绩、是否外宿等数据。这些数据,往往反映了学生的学习基础、家庭背景等信息,掌握这些信息,将有利于针对性地开展学生教育管理和帮扶工作。

(二)学习数据

学校教务管理系统、精品课程学习平台等系统包括了学生选课数据、学生自主选学数据、学生课堂考勤数据、考试成绩、教师上课评价数据、学生参与讲座和学术报告的情况等有效信息,是学生学习行为的全面反映。图书借阅系统储存了学生所有借书信息,学生实践平台则记录了学生参与课外实践的数据。这部分学习数据蕴含了学生的学习兴趣和学习状态,可以成为学习推荐服务的重要参考。

(三)行为数据

高校学生管理系统是高校开展学生教育管理的主要信息化平台,其中蕴含了学生奖励信息、学生违纪信息等数据资源,这些结构化数据中蕴含了大量学生行为特征信息,可以作为学生行为分析的重要数据来源。

(四)资助数据

学生资助管理系统能够充分反映学生在校期间受资助的情况,学校财务系统则能够反映学生的缴费情况、勤工助学酬劳等信息,学生校园消费查询系统则能基本反映出学生在一定时期的就餐和其他消费情况,是分析学生家庭经济困难状况的很好参考。

(五)健康数据

校园网认证系统包含了学生经过学校校园网出口访问的所有网页信息,分析学生上网的目标网页内容,不仅能够反映出学生的兴趣爱好,同时也能够发现一些人格方面的缺陷。而学生心理健康管理系统等能够直接反映学生心理健康状况,为制定心理健康服务计划,帮助学生健康成长具有重要价值。

(六)社交数据

随着信息技术的普及,学生对使用网络和新媒体开展社交产生了浓厚兴趣。每天在QQ、微信、微博、传统的BBS等平台产生大量数据,这些数据不仅包含了学生交流的信息,也能够充分反映校园舆情,对掌握学生思想、心理等具有很重要的价值。

三、高校学生管理大数据建设思路

目前,对高校学生管理大数据建设的研究还很少,更多地是就高校大数据集成和典型应用方面的探讨。笔者认为,大数据时代运用大数据支持管理服务决策毋庸置疑。高校学生教育管理工作必须紧跟形势,运用好信息化技术和大数据这个方法论,全面更新理念,进一步树立数据意识,从顶层设计着手,认真组建专业挖掘团队,全面整合校内外数据资源,在健全安全机制的基础上,积极发展学生管理大数据,合理运用大数据的分析结果为工作决策提供数据支持。

从技术的角度讲,高校校园网中各个应用系统往往各自独立运行,加上互联网和微信、微博等数据的碎片化特征,要形成真正的大数据,还需要进一步制定政策,运用技术手段开展数据整合工作,通过全面整合,打通数据之间的壁垒,使沉睡的数据被重新激活,形成更大的价值。目前互联网技术已经非常成熟,加上近年来日益发展的云计算、云存储、NoS ql以及网络爬虫技术的发展,为高校大数据整合提供了技术基础。

从人才的角度,这些技术的应用,必须要有专门的团队支持。目前高校学生教育管理队伍难以满足数据驱动需求。因此要及时成立高校教育管理大数据工作领导小组,组建专门的数据收集团队和分析挖掘团队。运用计算机技术开展数据采集和数据融合,运用数学、统计学的原理开展数据挖掘与建模,形成预测和决策的数据可视化成果。把这些成果应用到高校人才培养中,实现个性化推荐学习资源、为学生量身定制学业计划、及时分析校园舆情影响、实时预测学生思想动态,将会有效提升高校学生教育管理的有效性。

从安全的角度讲,大数据时代如果不能确保数据安全,将会造成“大数据就是大风险”的可怕后果。高校教育大数据不仅整合了高校师生信息,也包括大量学生学习、生活和社交以及校园舆情方面的数据,将这些海量数据集中存储,虽然方便了数据分析和挖掘,但如果由于安全管理不到位造成数据丢失和损坏,则将引发毁灭性的灾难。同时黑客攻击或不当层面的数据公开,将会导致师生信息的泄露,给师生人身安全和校园声誉带来不良影响。因此,高校要在发展教育管理大数据的同时,切实加强制度建设,形成数据规范化管理,要明确数据管理的职能部门,制定严格的工作方案和预案,对什么数据可以公开,什么数据在一定层面公开,什么数据必须保密做出规定。同时也要对可能出现的风险建立防控预案,保障数据安全的同时,维护好师生和高校利益。

四、高校学生管理大数据的应用建议

笔者在总结现有研究的基础上,认为高校学生管理大数据主要在以下方面具有重要应用。一是建立教学资源推荐系统。通过整合学生基础数据和自主选学平台、图书借阅系统等数据,可以深入分析学生兴趣爱好与教学资源的关联关系,主动开展推送服务,不仅可以满足学生的学习需求,同时可以有效提升教学资源的利用率。二是建立学生行为预警系统。通过整合学生管理系统和教务管理系统,可以深入挖掘学生行为和学业之间的关联关系,建立相应的预测模型,对学生学业和行为进行预警,可以在问题发生之前采取相应措施,确保学生健康成长,顺利完成学业。三是建立学生心理健康预警与服务系统。通过整合学生基本数据和健康数据,可以及时筛查问题学生,主动开展心理健康疏导服务,把心理健康教育做到无形。四是构建资助认定与服务系统。通过整合学生基础数据、资助数据、行为数据等方面的信息,通过数据分析支持学生家庭经济困难认定,及时挖掘学生消费等信息,为学生资助服务提供数据支撑。五是建立校园舆情监测系统。通过整合学生社交数据,及时分析校园舆情影响、实时预测学生思想动态,将会有效提升高校学生教育管理的有效性。

参考文献

[1]维克托·迈尔-舍恩伯格.大数据时代[M].浙江人民出版社,2013

[2]邱启照,孙鹏.大数据时代高校思想政治教育的机遇和挑战[J].教育理论与实践,2016(9)

[3]梁家峰,亓振华.适应与创新:大数据时代的高校思想政治教育工作[J].思想教育研究,2013(6)

[4]“信息社会发展研究”课题组,张新红.中国信息社会发展报告2015[J].电子政务,2015(6)

[5]李怀杰,夏虎.大数据时代高校思想政治教育模式创新探究[J].思想教育研究,2015(5)

[6]胡晶君.大数据时代高校学生工作创新探究[J].太原大学教育学院学报,2015(4)

[7]桑庆兵.大数据在高校的应用与思考[J].南通纺织职业技术学院学报,2013(2)

[8]胡树祥,谢玉进.大数据时代的网络思想政治教育[J].思想教育研究,2013(6)

[9]张燕南,胡继岳.关于大数据应用于教育的思考[J].中国电力教育,2013(32)

[10]李彪.大数据视域下社会舆情研究的新境界[J].编辑之友,2013(6)

大数据中心建设 篇2

为深化和落实《贵阳市城市总体规划（2011—2020）》，实现社会、经济、人口、资源、环境的可持续发展，根据住建部《关于加强“十二五”近期建设规划制定工作的通知》（建规[2011]31号），我局委托编制了《贵阳市近期建设规划（2012—2015）》，并已完成相关的审批程序。贵阳市人民政府2014年10月20日下达《近规》批复（筑府函〔2014〕232号），现将成果主要内容公示如下：

一、规划范围

本次规划分为三个层次：

（一）贵阳都市区

根据《黔中经济区核心区空间发展战略规划》中确定，都市区范围包括贵阳市南明区、云岩区、花溪区、乌当区、白云区、观山湖区、修文县、清镇市；安顺市平坝县；黔南州龙里县、惠水县、长顺县，共12个区县，面积11462平方公里。

（二）贵阳市域

市域范围：即贵阳市行政区划范围，含南明区、云岩区、白云区、花溪区、乌当区、观山湖区、清镇市、修文县、开阳县、息烽县；总面积8034平方公里。

（三）贵阳中心城区

中心城区范围：东起小碧乡、永乐乡、东风镇，西至朱昌镇、金华镇、久安乡、石板镇，南起党武乡、孟关乡，北至麦架镇、沙文镇、都拉乡；总面积1230平方公里。

二、规划期限

近期建设规划基准年为2011年，规划期限为2012年至2015年，与国民经济和社会发展“十二五”规划期限保持一致。

三、近期城市建设目标 坚持以科学发展观为指导，依据国务院批准的《贵阳市城市总体规划（2011——2020）与市政府“十二五”规划提出的发展目标，贯彻落实国发2号文和省第十一次党代会精神，牢牢把握“加速发展、加快转型、推动跨越”的主基调和“坚持走科学发展路，加快建生态文明市”的基本路径，以加快建设全国生态文明示范城市，奋力走出一条西部欠发达城市经济发展与生态改善“双赢”的可持续发展之路为目标，守住“生态”和“发展”两条底线，加快产业升级转型，统筹城乡发展，保护生态环境，改善民生，打造贵阳发展升级版。

四、近期发展规模

至2015年，都市区常住人口620万人，城镇化率66%，城镇建设用地540平方公里；市域常住人口490万人，城镇化率75%，城镇建设用地443平方公里；中心城区常住人口320万人，城镇化率95%，城镇建设用地341平方公里。

五、近期城市空间结构

以“疏老城、建新城”为总纲，空间制定“中部优化疏散，西部梯度推进，北部组团联动，东部轴向延伸，南部以点促片”的空间发展策略。适度打破行政区划界限，以产业发展为纽带，带动周边地区发展。重点处理好花溪、观山湖、清镇与贵安新区、龙洞堡与龙里、花溪与惠水、长顺的协作发展工作，打造贵阳都市圈，推进区域一体化发展。

六、近期发展方向与发展重点

疏解老城区人口，降低人口密度；调整用地结构，疏解传统功能；增加绿地开敞空间和基层公共设施，提升人居环境质量；控制建筑总量，降低建筑密度，综合整治保留建筑；构建公交都市，打通道路微循环，缓解老城区交通拥堵；推进产业升级转型，强化经济首位度。

完善城市空间布局，有序拓展城市规模；以中关村贵阳科技园统筹全市产业发展，优化产业结构，均衡产业布局，增强经济辐射能力；优化城市建设，完善公共配套设施，提升综合服务能力；以防治大气污染、建设良好生态环境为重点加强资源保护与集约利用，促进可持续发展；延续历史文化，塑造“贵阳”特色城市风貌。

七、近期建设行动计划

（一）“都市区培育”行动计划

都市区将成为未来贵阳拓展战略空间，面向区域提升服务职能，统筹协调区域发展的重要空间模式。十二五期间，都市区将为疏散中心城区人口，承接中心城区产业转移提供支撑空间，在都市区范围内将形成贵安新区、临空经济区、修文、站街等多个规模不等但功能相对完善的发展区域，成为带动黔中经济区乃至更大范围的快速发展战略高地。

（二）“公共服务”行动计划

全民健身工程：在高新区、花溪区、龙洞堡片区、新天片区规划可以举办大型赛事的体育场馆设施,实现人均体育场地面积1.08平方米的目标。

学有所教工程：到2015年每个大型社区和乡镇至少有一所标准化公办幼儿园，近期共建设幼儿园61所。新建、改扩建义务教育191所。全市高中阶段毛入学率达85%。

病有所医工程：加快基层医疗卫生服务机构标准化建设，每千人口床位数达到6.5床/千人（现状5.0床/千人），每千农业人口乡镇卫生院床位数0.65床。

（三）“和谐住区”行动计划

到2015年，全市城镇人均住房建筑面积达到30平方米/人。每年保障性住房占城市住房总建设规模10－15%，全面完成中心城区44个城中村改造，基本完成现有全市95个国有煤矿区、工矿棚户区改造。

（四）“畅达交通”行动计划

铁路：全面建成市域“一环一射两连线”铁路网。公路：近期市域范围内全面建成以高等级公路、国道干线为骨架，省（县、乡）道为联系的安全、便捷、高效的市域快速公路网体系。

航空：配套完善相关服务设施，启动三期扩建工程；完善磊庄军用机场配套设施建设。

内河航运:大力整治乌江航道，建成开阳港、息烽港，提高进入长江的通航能力；加快码头、道路等航运配套设施建设。

城市道路：近期完成市级市政道路提升整治项目95项，构建一环内微循环道路网络，打通19条道路。

城市轨道交通：近期建设轨道交通1、2号线。

城市公共交通发展：至2015，规划公交线网总长度697公里，公交线路总长度2168公里以上，公交线网密度3.0公里/平方公里，城市公共交通出行比例达到40%以上。

（五）“安全城市”行动计划

至2015年，初步建立起贵阳市的防灾体系，完善城市安全预警和应急机制，确保城市安全。

（六）“产业提升”行动计划

到2015 年，全市GDP 占全省的比重达28%；高新技术产业增加值占GDP 的比重达23%，高新技术企业产值占工业总产值比重提升到50%；全部产业园区实现“九通一平”，园区工业总产值占工业总产值的80% 以上。

（七）“生态城市”行动计划

“三位一体”建设工程：到2015年，森林覆盖率达到45%，新建设中型水库8座，小型水座15座，灌区改造7处,“五小”工程1.2万处，治理病险水库23座。

碧水治理工程：以南明河综合治理为重点，综合治理水源地水土流失800平方公里；对贵阳市的22条河流及其支流流域进行堤防新建、改建、河道清淤等治理，综合治理河长约481.9km 蓝天守护工程：继续以改善城市环境空气质量为中心，全面加强大气污染防治；切实保护和改善我市饮用水源地水质，确保水质达标率稳定在100%；确保城市生活垃圾及粪便无害化处理率达90%以上，重点实施好垃圾无害化处理工程。

绿地保卫工程：到2015年，城市建成区绿地率达43.7%以上，绿化覆盖率达到45％，人均公共绿地面积达12.3平方米。

（八）“文化城市”行动计划

深入挖掘阳明文化，弘扬和彰显文化底蕴，切实做好文化遗产保护工作，对文化载体和历史遗迹进行适度开发，对文化进行深入研究，形成独具特色的贵阳文化。打造贵阳市独特的“协力争先、知行合一”的城市精神，提升城市形象，丰富城市精神，拓展城市品牌价值，把阳明文化打造成具有全国乃至世界品牌的文化，通过品牌战略，逐步壮大发展文化产业。

（九）“设施提升”行动计划

到2015年，城乡自来水普及率达到98%以上、中心城区污水处理率达到100%、县城污水处理率达到90%以上、城乡电网供电能力达到930万千瓦、城乡居民燃气气化率达到95%以上、城乡生活垃圾无害化处理率达到100%

（十）“旧城更新”行动计划

至2015年，完成老城核心区所有城中村、棚户区改造，拆除住宅建筑面积473.7万平方米，非住宅面积93.1万平方米，改造用地161.91公顷。

八、附图

1.都市区行政区划图 2.贵阳市空间发展构想图 3.近期建设用地规划图 4.中心城区空间布局图 5.产业布局结构图 6.重点发展区域引导图 7.都市区分区引导规划图 8.中心城区近期公共服务设施建设规划图 9.中心城区近期城市和谐住区建设规划图 10.中心城区近期综合交通建设规划图 11.中心城区近期城市产业提升建设规划图 12.中心城区近期生态城市建设规划图 13.中心城区近期文化城市建设规划图 14.中心城区近期旧城更新行动建设规划图

贵阳市城乡规划局 2014年12月1日

都市区行政区划图

贵阳市空间发展构想图

近期建设用地规划图

中心城区空间布局图

产业布局结构图

重点发展区域引导图

都市区分区引导规划图

中心城区近期公共服务设施建设规划图

中心城区近期城市和谐住区建设规划图中心城区近期综合交通建设规划图

中心城区近期生态城市建设规划图中心城区近期文化城市建设规划图

大数据中心建设 篇3

2014年3月，“大数据”首次出现在我国《政府工作报告》中。2015年7月，国务院办公厅发布《关于运用大数据加强对市场主体服务和监管的若干意见》。8月，国务院印发《促进大数据发展行动纲要》，明确规划国家将实施政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程、万众创新大数据工程、大数据关键技术及产品研发与产业化工程、大数据产业支撑能力提升工程、网络和大数据安全保障工程等十项大数据工程。10月，党的十八届五中全会提出，实施网络强国战略，实施“互联网+”行动计划，实施国家大数据战略，标志着大数据战略正式上升为国家战略，开启了大数据建设的新篇章。

一、从信息视角认识世界

人类已经进入信息社会、信息时代，信息是我们这个世界赖以运行的血液、食物和生命力。尽管信息的原始形式已经存在了成千上万年，但是真正对信息进行理性认识，却还是上个世纪中叶左右的事。信息是什么？1948年，控制论的创始人维纳（Norbert Wiener）在《控制论——关于在动物和机器中控制和通信的科学》一书中指出：“信息就是信息，既不是物质也不是能量。”从而第一次把信息提到了与物质、能量并驾齐驱的地位，勾画出了一幅“物质—能量—信息”的世界三要素的新图景。哈佛大学信息政策研究中心主任A.欧廷格（Oettinger）说：“没有物质，任何东西都不存在；没有能量，任何事情都不会发生；没有信息，任何东西都没有意义。”

人们一般很少去思考信息与讯息、消息、知识、数据等之间的联系和区别。第一次洞察信息本质、也是第一次赋予“信息”一词精确定义的是克劳德·香农（Shannon）。1949年，香农发表了《通信的数学理论》，经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，这是人类第一次系统、全面、理性地认识信息，从此奠定了一门新的学科——信息论。香农认为，剥除了语义内容，“信息是用来消除随机不确定性的东西”，是出人意料，这一定义被人们看作是经典性定义并加以引用。香农还引入了测量信息的最小单位——比特（bit），如今已经跻身为量纳的一员，成为今天日常生活都离不开的词汇。信息与概率密不可分。1比特，从根本上说，就是代表一次掷硬币猜正反面时的不确定程度。令人颇感兴趣的是，香农当时能够想到的最大信息仓库是美国国会图书馆。

从此以后，信息论犹如一股洪流，在心理学、遗传学、量子力学、经济学、语言学等一个又一个领域掀起了颠覆性的革命，极大地改变了现代科学的面貌。万物源自比特。在这个大数据时代，所有新闻出版行业从业人员在世界观方面，应该具有“信息”视角，让信息成为我们世界观的核心之一，因为我们本身就是信息行业，我们现在所从事的社会活动和工作岗位，归根结底都是信息的获取利用、生产加工和传播消费。

二、树立三种新的数据思维

西方有一句话：“除了上帝，任何人都应该用数据说话。”《促进大数据发展行动纲要》提出建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，这将建立起全社会的数据思维和数据文化。正解大数据要上升到文化的高度，其本质就是理性思维、科学精神、实事求是，因为数据就是事实。大数据专家维克托·迈尔·舍恩伯格在《大数据时代》一书中具有洞见性地提出三种数据思维：整体思维、多样思维和相关思维，已经成为共识。但我认为，新闻出版行业更应该具备如下三种思维：

一是价值思维。我们要明明白白地认识到：数据是一种资产，数据是财富。大数据思维的核心是价值思维。这里所说的数据，不仅包括管理数据、交易数据和社交数据，也包括用户数据。传统新闻出版单位一定要充分认识到：用户也是不可忽视的一笔重要财富。2014年2月20日，Facebook宣布用160亿美元收购WhatsApp，在整个收购的价值组成中，对WhatsApp逾5亿用户的估值约为20亿美元（约合人民币123亿元），相当于每名用户约4美元（约合人民币25元）。

二是应用思维。有人说，谁拥有了大数据，谁就拥有了未来，就占领了制高点、取得了主动权。这种观点值得商榷，因为数据的价值在于应用，而不在于拥有。大数据真正重要的不是数据本身，如何利用数据驱动单位内部的业务流程和产品研发才是重中之重，这意味着要从业务驱动转变为数据驱动，这正是传统产业转型升级的关键所在。数据比流程更重要，这一点对于新闻出版行业尤其关键，因为我们这个行业定量思维、数据决策严重匮乏，选题策划、印数决策等更多地依赖于经验。亚马逊与传统书店对决的胜出，最核心的原因在于，其电子商务架构于大数据平台之上，通过全维度记录、存储与描述数据，深入进行数据关联与数据挖掘，并基于数据进行预测与推荐。而传统发行行业面临的痛点在于，产品与服务无法数据化。

三是共享思维。出版单位内部的数据孤岛现象是普遍存在的，有的出版社不同编辑室之间连作者信息都不能共享。出版传媒集团不同企业之间的孤岛效应更加明显，新闻出版行业层面更是缺乏大数据平台。大数据的发展需要全社会、全行业协同，最终实现数据共享。共享是指“使用而非拥有”，非公非私，既可以公有私用，也可以私有公用。必须要认识到，本部门、本企业、本集团、本行业内部数据如果不流动起来，不与外部数据融合，就会成为死数据。越共享，效率越高。当然共享并不意味着免费，关键在于利益机制设计。

三、大数据在解决新闻出版业痼疾方面大有可为

长期以来，新闻出版行业形成了几大痼疾，严重影响产业健康发展：一是库存暴涨，产能过剩，供需严重不匹配，已经成为产业不能承受之重，风险极大，行业亟需绿色发展。出版业和全国经济一样，面临巨大的去库存问题。2004到2014年10年时间，全国总库存（出版社和新华书店系统）数量增长近25亿册，金额突破1000亿元，达到创纪录的1010亿元，而2014年全国纯销售仅为778亿元，早已形成倒挂之势，剔除中小学教材，实际库销比已经逼近2。二是发行市场诸侯割据，条块分割，缺乏全国性的发行中盘，统一开放竞争有序的全国大市场远远没有形成，导致我国的出版传媒集团难以做大主业。三是出版发行生态链畸形，寄销制导致无条件退货，账期长，回款难，诚信缺失，真正意义上的出版社图书单品种核算难以实现，编辑绩效考核和激励机制难以建立，整个行业仍是粗放式管理。要想从根本上解决上述问题，就必须充分利用大数据技术，建立行业大数据平台和信用信息平台，从产业链上中下游进行精确管理，数据驱动选题策划、印刷决策，分析用户行为，精准营销、个性化推荐，重塑出版生产、销售和管理模式。

nlc202309091501

四、新闻出版行业有哪些大数据

人人都在谈大数据，到底新闻出版行业拥有哪些大数据？仁者见仁，智者见智，分类方法很多。我认为，从业务来分，新闻出版大数据可分为七类：一是机构数据。主要包括新闻出版政府机构、事业单位、行业协会，出版传媒集团、出版社、报社、期刊社、音像电子社、印刷厂、发行集团、书店等企业和机构的名称、地址、法定代表人、网址、规模、业务范围、收入、利润等数据。二是人员数据。主要包括公务员、企业管理人员、编辑、记者、发行、技术、作者、专家等新闻出版行业从业人员的基本数据，如姓名、性别、地区、行业、专长、职务、职称、主要作品、发表文章、教育经历、职业经历等数据。三是产品数据。包括图书数据、报纸数据、期刊数据、音像制品数据和网络出版物数据。既包括作者等元数据，也包括选题数据、发稿数据、印刷数据、版权数据等。四是政务数据。指政府在综合办公、市场监管、公共服务过程产生的数据，包括人事信息、财务数据、政策法规、统计信息、规划计划、标准信息等。五是商务数据。指新闻出版企业主体在市场交易过程中产生的数据，包括合同、供货、采购、发货、退货、结算、版权交易等数据。包括用户人口属性数据、用户关系数据、用户行为数据等。像评论、转发、分享、下载、点赞、收藏数据，粉丝数、认证信息、学习时段、阅读工具、阅读方式、阅读时间段、阅读时长、阅读偏好、阅读能力、阅读目的、阅读范围等用户行为数据正是目前移动互联网出版所必须关注的。七是内容数据，包括信息和知识。一般将知识归纳为四种类型：事实知识、原理知识、技能知识和人力知识。中文百科知识体系把人类科学文化知识和实践活动领域分为24个类别，形成了中文百科分类目录。这是我们新闻出版行业所特有的数据宝藏，也是知识服务的基础。

五、了解一点大数据技术

要想不被IT企业神乎其神的大数据软件和技术所忽悠，有必要对大数据技术略知一二。大数据关键技术一般包括大数据采集技术、大数据存储及管理技术、大数据分析及挖掘技术、大数据展现及应用技术等。

网络爬虫、ETL（Extract-Transform-Load）和数据众包属于大数据采集技术。我们所熟知的高德地图则综合采用情报搜集平台LSE、API轨迹分析、卫星影像自动识别、UGC反馈以及浮动车等多种数据采集技术。大数据存储及管理关键技术则包括Hadoop的三大核心技术，即分布式文件系统（HDFS）、分布式系统架构（MapReduce）和分布式数据库（NoSQL）。大数据分析及挖掘技术包括自然语言处理、语义分析、关联挖掘分析、神经网络、话题检测与追踪、情感倾向分析、序列分析、机器学习、个性化推荐、文本智能处理技术、图像识别、模式识别、语音识别等。个性化推荐又可以分别基于协同过滤、关联规则、社交圈、用户画像、内容来进行推荐。文本智能处理技术包括文本分类、相似性检测、自动摘要、主题词标引、信息抽取、文本聚类、中文分词。大数据展现及应用技术值得一提的是数据可视化技术，传统的数据展示是单调、乏味的，多以饼图、柱图和线图等形式展示，远远满足不了多角度、多层次及交互性的要求，那么大数据数据可视化技术则可以提供标签云、聚类图、流图、热图、散点图等更具表现力、更具交互性的数据可视化实现方案，将数据的各个属性值以多维数据的形式表示，使人们能够以更直观的方式看到数据及其结构关系，发现数据中隐含的信息，从不同的维度观察数据，从而对数据进行更深入的观察和分析。最后，还要提一下云计算与大数据的关系。大数据和云计算是一枚硬币的两面，大数据必须云计算来处理，云计算的本质就是大数据处理技术。云计算和大数据应当成为大型新闻出版传媒集团的标配。

六、亟需建立新闻出版大数据标准体系

标准化是建设新闻出版大数据的基础与关键，也是真正实现新闻出版大数据潜在价值的必要条件。2014年，工信部和国标委成立了“全国信标委大数据标准工作组”，负责制定和完善我国大数据领域标准体系。建设新闻出版大数据过程中，多源采集的数据存在格式混乱、对接困难等问题，必然会降低数据挖掘、分析的效率，影响其价值的实现。因此，必须开展新闻出版大数据标准顶层设计，从基础、技术、产品、安全、管理、应用等多个角度梳理新闻出版大数据标准需求，建立健全新闻出版大数据标准体系，重点突破一批涉及大数据的基础性、方法性、应用性标准的研制，指导新闻出版大数据的采集、共享、交换、加工、应用和服务，为新闻出版大数据发展夯实基础。在研究国家大数据技术标准体系框架的基础上，结合出版数据自身的特点，以及未来出版大数据发展的趋势，新闻出版大数据标准体系框架可以包括基础标准、技术标准、产品和平台标准、安全标准、应用和服务标准等五大类。其中，基础标准包括总则、术语、技术参考模型、元数据等标准。技术标准包括数据治理、数据质量等标准。产品和平台类标准主要包括智能工具、可视化工具、大数据平台、测试规范等标准。数据安全标准主要包括通用要求、隐私保护等标准。应用和服务标准包括开放数据集、数据服务平台、领域应用数据等标准。

七、建立新闻出版行业大数据共享交换机制和平台至关重要

正如英特尔中国研究院院长吴甘沙所说，数据之于数据社会，就如同水之于城市或者血液之于身体一样。要真正盘活新闻出版大数据资源，让散落在各处的新闻出版数据真正流动起来，建立新闻出版政府主管部门、新闻出版企业和社会之间的大数据共享交换机制和平台就显得格外必要。一是政府统筹规划、全面部署。倡导通过市场化、社会化方式汇聚和优化配置社会资源，避免出现新的“信息孤岛”。二是开辟多种数据采集渠道。综合行政收集、自愿提供、有偿购买、协议交换、网络抓取、传感收集等方式建立新闻出版大数据采集机制。尤其要加强对新闻出版企业信息化规划与行业大数据采集需求的融合指导，鼓励新闻出版企业加强对其生产经营活动中数据的采集。三是创造多种数据共享模式。鼓励各级新闻出版主管机构率先推进政务数据资源的集中与开放，与社会联动；鼓励新闻出版企业通过商业行为创新数据共享机制，探索既确保多方数据所有权又实现数据整合应用的商业模式；鼓励民间资本参与新闻出版大数据共享交换体系的建立。四是解决信息安全和隐私保护等。只有对涉及隐私保护和商业秘密的数据进行合理化处理，才能最大化发挥数据共享交换各方的积极性，才能实现新闻出版大数据的有序共享。

nlc202309091501

八、加快建设行业大数据重大工程，构建新闻出版大数据体系

新闻出版大数据体系应该包括基础设施、数据、技术、平台、应用、标准、安全、机构、机制等方面。重大工程对构建大数据体系起着核心作用。“十三五”期间，应该从政府监管、公共服务和产业发展三个层面启动若干重大工程。在政府监管层面，启动新闻出版及扫黄打非大数据监管工程，建设新闻出版信息资源数据库，提升政府决策支撑、风险防范、市场监管、重大事件预警能力。在公共服务层面，启动出版发行信息公共服务平台，建成全国出版可供书目数据库，形成基于国家标准的支撑出版、发行、采购、编目、决策于一体的新型公共服务模式。在产业发展层面，启动新闻出版大数据应用工程，包括国家知识服务大数据应用工程、国家出版发行大数据应用工程、ISLI标准大数据应用工程等。

对于新闻出版人来说，大数据完全不同于云计算、移动互联网、物联网，后者都是技术，而懂技术、关心技术的总是少数，而数据、信息、知识则不同，它们是内容，是我们生存的根本，我们应该具有信息视角、数据思维，我们的重点应该放在数据、信息的采集、处理和应用上，扎扎实实、一点一滴做好数字化转型工作，开创新闻出版业创新、协调、绿色、开放、共享发展之路，因为我们都是马歇尔·麦克卢汉所说的“采集信息为生的人”。

九、数字化转型仍然是大数据的基础

应用大数据首先要拥有大数据。可是，大数据在哪儿呢？目前，出版传媒企业自己拥有大数据平台和大数据采集能力的很少，大多没有用户多方位属性和行为数据，难以对用户行为和个性化需求进行深入分析。而拥有用户大数据的社交网站、电商、互联网公司也不会把大数据给出版企业使用。即使是出版企业内部的小数据，也散落在网站、ERP、协同编辑系统等不同的系统平台，没有统一整合。因此，出版企业大数据建设顶层设计要统筹大数据与小数据、内部数据与外部数据。首先，要全面进行ERP建设，加强对选题、生产、营销、发行、服务、财务、管理等全过程的管理信息化，完整收集过程中的内部数据，这是大数据的基础之基础。临渊羡鱼，不如退而结网。其次，全面推进数字化转型，国家数字复合出版系统工程研发的新闻内容选题与评价系统、图书选题及发行分析系统、出版信息采集与策划服务系统、全文相似性分析系统、内容动态重组系统、发布管理系统、出版机构运营服务与支撑系统、多形态广告发布系统、在线学习平台、数字资源标准管理与解析服务系统、复合出版数据传递系统、全国出版内容交换系统等众多系统和平台，全方位支持新闻出版企业的创意、生产、营销和经营管理活动，让新闻出版企业充分拥抱大数据和互联网，希望能在不久的将来全面应用在所有新闻出版企业，否则大数据就是无源之水，无本之本。

十、不能神化大数据

拨开对大数据纸上谈兵和美好理想的迷雾，对大数据专家所强调的全样本、相关性和混杂性需要保持清醒的认识，不要神化大数据。首先，大数据不能代替小数据，全样本分析依然不能代替抽样调查。原因是大数据技术本身以及现实的条件远远没有达到全体样本的水平，存在一定偏差。大数据与传统数据最主要的不同在于，大数据的采集过程更多是生产经营等各类活动的未经处理的附属产品，数据反映的信息可能只是总体的一部分。何况总体取决于人们关心的问题，总体是会变化的。另外，过度追求全样本可能造成建设模式复杂度升高、成本增加而导致事实上不可能。不能片面追求大数据。不是所有企业都必须考虑大数据战略，大数据分析有其门槛。规模不够大的企业可以考虑购买服务。第二，即使在使用抽样数据时，我们也从未奢望过数据的精确性。我们从来都要在信息混杂的情况下做出大多数的决策。百分百的数据决策、科学决策是做不到的，否则还要创意干什么呢？恐怕在相当长的时间，我们都要数据决策和经验决策并重。第三，强调相关关系而忽视因果关系是让人无法接受的，尤其是以知识传承为使命的新闻出版行业，大数据不能代替理性思考、逻辑演绎。甚至《大数据时代》一书的译者周涛都公开表示：如果放弃了对因果的追求，就是放弃了人凌驾计算机之上的智力优势，是人类自身的放纵和堕落。其实，因果关系也是相关关系的一种。

（作者系新闻出版总署信息中心副主任）

大数据时代的数据仓库建设 篇4

按照百度百科的解释, 大数据技术 (Big Data) , 或称巨量资料, 指的是所涉及的资料量规模巨大到无法通过目前主流软件工具, 在合理时间内达到撷取、管理、处理, 并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume (大量) 、Velocity (高速) 、Variety (多样) 、Value (价值) 。显然上述解释仅仅是描述了大数据的一些特征, 对于企业如何开发大数据、利用大数据进行运营管理, 并没有过过多的指导。

本文建议传统企业在建设大数据系统的过程中, 不仅要建设数据分析平台, 更要构建起一个数据分析的生态圈, 让人人都是分析师, 让数据分析渗透到企业运营的每个环节, 真正实现数据运营、科学决策的管理模式。构建数据分析生态圈, 可以概括为“两个市场, 一个平台”, 两个市场是指业务数据市场、分析工具市场, 一个平台是分析观点分享平台。

2 业务数据市场, 让业务数据变得开放透明

业务数据是分析的源泉, 没有数据就谈不上大数据。企业经过多年的信息化建设, 一般都会有多套业务系统在运行, 如办公自动化系统 (OA) 、财务管理系统、ERP系统等不一而足, 但这些业务系统都是孤岛式隔离, 数据缺乏整合, 而且底层数据库都是经过专业设计, 复杂度较高, 非厂家技术人员难以使用, 通常都是利用定制报表的方式进行分析和使用。因此, 在利用数据上存在着数据提取难度高、报表需求响应慢、数据准确性差等问题。

产生上述问题的原因在于, 传统数据结构复杂, 对业务人员不开放, 利用报表的方式提供数据时, 需求人员期望的数据与技术人员提供的报表之间存在着巨大的鸿沟。建设业务数据市场就是将各业务系统的数据进行抽取、清洗、整合之后, 按照业务过程重新进行整合, 封装为统一粒度、统一维度的数据库表。这些数据表的特点就是能被业务人员所理解并解读分析, 这样业务人员可以在较早期就发现数据中间存在的问题。在建设数据市场的过程中, 有几点需要特别注意。

(1) 采用维度建模方法, 以“易懂性、易用性”为原则

业务数据市场的数据是供企业分析人员使用, 他们更多的是不懂技术的业务人员, 数据结构应该符合多数人的直觉, 而非像传统“三范式”那样, 需要借助复杂的ER图才能表述清楚。对于专业的IT人员, 尤其是要抵制将维度模型设计成“雪花模型”以节省数据重复、增加灵活性的诱惑, 从而带来模型复杂性的代价。

(2) 全面梳理业务, 实现数据的互联互通

传统企业的业务系统, 多数是烟囱式的软件系统, 若不在企业层面进行业务梳理, 就不能很好地对数据进行整合, 提取有价值的信息。在整合数据的过程中, 必须要有统一的维度才能有效实现数据整合, 比如统一的客户编码、身份证号等, 所以梳理企业层面的统一维度是实现数据整合的关键步骤。

(3) 分主题、稳步推进

企业运营涉及的业务过程众多, 眉毛胡子一把抓是不可能的。在建设企业数据市场时, 要根据企业的特点, 优先建设对运营最重要的业务, 尽快投入使用, 逐步完善, 比如一个销售类的企业可以先将订单业务整合起来。

如图1所示, 采用维度建模方法构建中间层数据结构, 可以大大降低数据的使用难度。以事实表为中心的中间层模型, 可以让业务人员将主要精力放在理解数据和业务上, 避免过多的技术细节所带来的技术门槛和恐惧心理。

将生产库的交易数据转换为维度模型, 必然带来非常大的数据转换工作量, 因此ETL过程就成了整个项目成败的关键, 选择或打造一个性能优良的ETL框架是系统的核心。笔者建议可以从选择开源的ETL框架开始, 图形化的开发框架会给研发带来极大的便利, 降低学习成本。图2为图形化的ETL开发框架。

3 分析工具市场, 打造适合需要的分析框架

数据是一座金矿, 但还需要依赖好的工具才能将金子提炼出来。直接分析原始数据虽然灵活, 但更加适用于高水平的人员, 对于大多数的一线员工, 应该提供更加易用的分析工具, 如报表、图表、报告等, 将业务指标以形象的方式展现出来。分析工具市场就是企业内部汇集分析工具的地方, 提供给员工根据自身情况使用。

分析工具市场包含两部分功能, 一是制作分析工具的开发平台, 一是运行分析工具的门户平台。在建设分析工具市场的过程中, 有几点需要注意。

(1) 分析工具市场建设

从技术角度来看, 分析工具市场可以找到众多的软件系统满足需求, 企业可以根据实际情况, 或采购、或使用开源, 搭建这么一套软件系统, 既能让企业自己定制报表、分析图表, 也能将制作好的分析报表展现出来。

(2) 分析工具的开发以企业自身为主, 外购为辅

分析工具与业务特点、人员使用习惯等因素紧密关联, 其需求变化频率高, 全部依赖外部厂家开发, 一方面费用较高, 另一方面需求响应也不及时, 可能等开发出来, 分析的需求却没有了。因此企业要培养自己的开发队伍, 可以利用数据市场中的数据开发出各类查询报表、分析图表等。

分析工具是数据分析环节最成熟、也是选择性最多的环节, 有非常多优秀的BI工具可供选择, 商业中的有Cognos、SAP等, 开源的有Pentaho、BIRT等, 但数据可视化仅是数据分析的起点, 要想将数据价值挖掘出来, 还需要数据分析人员对分析工具进行深入分析, 提炼出知识并进行固化和传播, 才能让数据发挥价值, 形成从知识到洞察的转换。图3所示为数据可视化图标类型。

4 分析观点分享平台, 让数据分析社交化

大数据时代, 在数据充裕的同时, 带来了有价值分析结果的匮乏。数据分析, 绝对不是高高在上的阳春白雪, 而是需要人人参与、百家争鸣的氛围, 要在企业内部树立人人都是分析师的理念。

分析观点分享平台的建设, 采用类似于朋友圈、微博等社交媒体的机制, 让每个人都有机会表达对数据的分析观点, 通过转发、评论机制, 让有价值的观点浮上来。在这个过程中, 分享观点的个人可以获得成就感, 转发、评论的人有参与感, 企业从中获取到对运营决策有价值的想法, 基于数据分析过程实现了科学、民主的决策。在建设分享平台的过程中, 有几点需要注意。

(1) 人员关注机制

由于企业运营不同于互联网, 存在着一定的封闭特性, 不建议采用微博关注的开放性, 而应该采用朋友圈类似的“关注-同意”的朋友机制, 避免不适当的关注带来的信息泄露。

(2) 分享范围控制

由于企业数据的特殊性, 员工在分析观点的时候需要控制分享范围, 避免机密信息的泄露。控制分享范围, 既要有人工控制, 也要从平台层面通过权限控制, 如财务数据的分享范围仅限某几个部门或人员等。

(3) 分享观点排序算法

综合多种因素对发表出来的观点进行排序, 以便让展现到每个人眼前的都是最符合期望的内容, 营造一个良好的分享环境, 避免劣质内容驱逐优质观点给生态圈带来的毁灭性打击。

5 实践

根据上述思路, 我们规划了一个数据分析平台的产品, 分为三个阶段进行演进, 即智能报表阶段、企业内部数据整合和大数据分析三个阶段, 遵循“整体规划、分步实施”的路线。在实际推广中, 引导客户优先解决现阶段最迫切的问题, 比如统计报表, 通过经营分析平台的构建, 充分调动每个人的积极性和能动性, 减少定制化工作的数量及频率, 有效利用企业经营中产生的数据。图4是数据分析平台的技术架构图。

如图5所示, 数据分析平台的第一阶段是“智能报表”阶段, 其重点是建设数据中间层、提供灵活的分析工具, 让企业的每个人都能参与到数据分析的过程中。因此, 产品的技术架构也就围绕着这两个目标进行重点建设。

其中, 数据建模和数据集市所用到的方法论就是本文第一节所提到的“维度建模”, 将中间层数据通过上层的数据分析工具开放给用户进行分析, 最终通过报表、仪表盘等形式呈现给各级人员进行决策管理, 实现数据价值的体现。

6 结束语

大数据中心建设 篇5

道德建设是广东文化大省建设的中心环节

道德建设之所以是广东文化大省建设的中心环节,是因为道德建设集中反映了社会主义文化建设的性质和方向,对处于祖国南大门和改革开放前沿的`广东具有特殊的价值和意义,对其他文化要素也有着特殊的导向作用.要抓好道德建设这一中心环节,必须坚持和巩固马克思主义在道德建设中的指导地位,必须做到道德建设与社会主义市场经济相适应、与社会主义法律规范相协调、与中华民族传统美德相承接,必须建立社会主义思想道德体系,确立全体社会成员共同遵循的价值取向和行为准则.

作 者：吴灿新  作者单位：中共广东省委党校哲学部主任、教授 刊 名：岭南学刊 英文刊名：LINGNAN JOURNAL 年，卷(期)： “”(6) 分类号：B82 关键词：道德建设   广东文化大省   中心环节  

大数据助力社区银行规划建设 篇6

社区银行的发展及所面临的挑战

社区银行概念源于西方发达国家，美国《银行业》认为社区银行是社区的财政生命线，通过其提供的个性化的、私密的、成本低廉的服务，社区的个人和企业用户可以开展与本地经济相关的财务活动，但社区银行在不同国家也具有不同的发展模式和业态（见表1）。

当前，社区银行在国内并没有完全统一标准的定义，从盈利模式来看，银行大都借鉴美国的模式，利用社区的信息对称、交易成本低的优势，降低银行的经营风险，采取“求异型”营销策略提供能满足社区企业和居民金融需求的产品和服务，与传统的银行网点形成区分度较好的品牌形象，有较好的盈利能力。但在发展过程中，国内的社区银行更贴近欧洲模式，成为银行在社区设立的分支机构，等同于开在社区、服务社区的银行。根据业界实践，国内社区银行大致可归纳为四类不同类型（见表2）。

社区银行通过其灵活的经营模式向附近居民和企业提供了针对性的金融服务，便利了人民群众，也促进了当地经济发展。与此同时股份制银行掀起了一股兴建社区银行的热潮，然而社区银行在高速发展中却也面临着严峻的挑战。

社区银行市场竞争加剧，考验其盈利模式。随着金融脱媒和利率市场化进程的加快，商业银行从传统大型企业获得的利差收入将日益缩减，中小企业在银行未来业务结构中将饰演越来越重要的角色，银行也越来越重视小微企业和个人客户的拓展，并相继以网点、服务的“社区化”作为主要调整手段。网络金融发展对社区银行也形成了冲击。网络金融的出现极大地拓展了金融机构服务的地理区域，克服了传统银行服务在距离上的不经济，由此给存款人提供了更多的转换金融服务机构的选择。在此新的环境下，社区银行所面对的潜在竞争压力显著加大。净利差收窄对社区银行的盈利能力造成较大的负面影响。与银行网点相比，社区银行的业务模式相对传统，收入结构单一，对存贷利差收入的依赖度较高，这也意味着，社区银行对净利差的变化更为敏感，在利率市场化大背景下，社区银行亟需新的盈利模式。

社区银行传统模式面临监管束缚。为整顿部分股份制银行大批量开设社区银行的乱象，银监会于2013年12月11日发布《中国银监会办公厅关于中小银行设立社区支行、小微支行的通知》，规定社区银行分“有人”和“无人”两种模式，而不是此前业内普遍流传的“三分类”。其中“有人”网点必须持牌，“无人”则必须自助，不存在中间形态。这意味着 “自助+咨询”的社区银行经营模式被叫停。因此，社区银行的定位要进一步明晰，关键看社区银行在产品、服务、综合化的服务能力和产品的供给上能否改变原有的贷款加理财的经营模式，否则社区银行会面临着很多困难。

大数据助力社区银行布局建设

数据是银行最为重要的资产之一，是银行支持精细化管理、实现差异化服务、加强业务创新、提升风险分析能力的基础。近年来，随着数据挖掘和大數据技术应用的日益深入，数据带来的业务、管理价值也日益显现。

社区银行作为一种新型的银行渠道是未来物理渠道建设的重点和发展方向，定位于客户身边的银行，建设以银行业务为主的金融生态链系统，让银行逐渐嵌入各种数字生态圈中，使得社区银行除了承载各种未来金融业务的大平台之外，更能成为信任中心。通过这个分销渠道，不仅可以带动其他银行业务的发展，也可以带来品牌知名度的迅速提升以及客户粘合度的不断增强。然而随着监管力度逐渐严格、市场变化日益加速、来自电商及其他非传统金融机构的竞争不断增强，社区银行的经营环境不容乐观。在这样的大环境下，社区银行要保持竞争力，维护自身的生存与发展，必须更好地发现数据所能提供的价值，并积极地运用各种技术及管理手段，最大化的实现这些价值。因此，社区银行的规划建设，应深度契合社区银行的需求，同时也匹配社区银行的潮流，立足大数据，从网点的布局与选址、经营模式选择、差异化资源配置及绩效评价四方面循序渐进、不断深入地布局与建设。

网点的布局与选址。传统的银行网点布局与选址往往由于不能及时掌握和处理大量的信息数据以及分析工具不够完善，某种程度上造成了网点分布和建设的盲目性，也造成了网点单产低、业务趋同，不能很好的适应逐步提高的经济发展水平和客户个性化的需求。社区银行旨为中小企业、社区居民提供优质的金融服务，解决“最后一公里”的问题，采取“求异型”的竞争策略，因其自身的特殊定位，银行需要更有针对性的考虑目标客户群的金融需求，数据的缺失以及分析工具的不健全对于社区银行更是亟待解决的问题。基于大数据社区银行网点布局与选址，可借助互联网海量数据以及大数据分析技术，突破传统布局与选址所面临的问题，例如：宏观经济数据、人口数据、同业竞争数据、目标客户行为等数据，支持网点布局与选址的分析战略，提升业务的敏捷性（见图1）。

经营模式的选择。随着利率市场化时代的到来，单纯依靠利差的经营模式已经不可持续，差异化经营才是商业银行的根本出路。相比传统物理网点，社区银行只能采用“求异型”发展策略，摒弃拼规模抢市场、一味求大求全的思维定势，根据社区物理位置、人群代表的金融需求的实际情况和银行自身的比较优势，着重于培育特色业务，进一步打造特色品牌。社区银行在选择适合自身经营模式阶段，可以借助大数据，其中包括社区银行所在区域的客户的人口统计学数据、消费行为数据、投资行为数据、风险偏好等数据，进行目标客户甄选以及目标客户群金融需求分析，围绕核心市场与客户群，真正做到量身定做产品及服务，形成适合自身的经营模式，打造差异化竞争优势（见图2）。

差异化资源配置。社区银行经营模式一经确定，应根据不同经营模式进行差异化的资源配置。首先是员工差异化。员工差异化主要表现在员工数量与网点定位相匹配的差异化及与网点定位相匹配的员工队伍的品质、专业能力、敬业精神、协作精神、责任感和沟通能力等方面差异化。不同的员工在综合素质和专业技能等方面存在很大差异，社区服务型网点为客户提供的服务和小区金融型网点为客户创造的价值也存在“天壤之别”。其次是运营费用差异化。对社区银行起步阶段而言，商业银行必须投入大量的资源才能够创造显著的、对目标客户有吸引力、在行业里有竞争力的差异化，而市场反应对任何竞争方式都存在“时滞”，这对商业银行的成本管理提出了挑战。因此，结合社区银行网点定位给予差异化的运营费用配置，是社区银行建设规划中关键环节，一味的搞“一刀切”，“求异型”竞争战略未能取得预期效果，成本投入就面临不能赢利的风险。

网点绩效评价。绩效评价是经营管理者了解目前状况，判断未来发展方向，并据以做出决策、采取相应措施的重要工具。“一行一策”的差异化绩效评价是“求异型”战略发展的前提，为加强绩效评价的有效性和针对性，应根据社区银行的定位逐类逐级网点进行研究及区别对待，使绩效评价与发展目标相互衔接，确保规划和考核的有效性。例如：社区服务型网点核心功能定位是品牌形象中心，绩效评价应以“客户满意度”等定性类作为关键指标；小区金融型网点核心功能定位是产品销售中心，绩效评价应以盈利性指标为主，但考虑该类网点目标通常是培育二代客户，结合业界实践，应给予两到三年的战略扶持期；商圈金融型网点核心功能定位是产品销售中心，绩效评价应以盈利性指标为主；商业服务型网点核心功能定位是客户服务中心，绩效评价应以运营效率类指标为主。

就中国而言，一方面中小经济主体正处于蓬勃发展时期，另一方面现在市场机制并未健全和完善，所有这些都决定了社区银行在现阶段中国经济社会的长期适用性和形式的多样性，但社区银行的设立和经营目前存在诸多问题和隐患。在大数据发展的今天，我们需借助大数据技术去帮助规划和建设社区银行，社区银行真正成为“差异化”的接触渠道，才能获得广大的客户基础，成为未来银行业重要的新增业务来源之一。

大数据中心建设 篇7

进入大数据时代,人们得以从更全面、更精细的视角来看待世界的复杂性。在教育领域,大数据蕴含的巨大潜力在于推进个性化学习、改善教材和教学,并最终提高学生的成绩,而这些作用也必将在高等院校教育中得以体现。尤其是处于互联网+教育的当下,高等院校开展的各项教学活动,产生和使用了海量数据。在此背景下,抓好教育数据建设,将其转化为对高等院校教育决策和综合信息服务的有力支撑,切实有效推动高素质创新型人才培养,就显得尤为重要。

大数据产生背景及其本质分析

大数据产生的背景

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“我们正在处于一个创新和生产效率快速增长浪潮的潮头,面对着全新的竞争和价值获取模式——所有这一切的推动力就是大数据,消费者、企业和经济部门都在发掘其潜力。”

大数据具有鲜明的时代特征,其产生根源主要是信息技术革命以及信息技术驱动下人们行为方式的改变。过去的50多年里,信息技术不断创新发展并被广泛应用于各行各业,触角遍布社会生活的每个角落,改变着社会的经济结构、生产方式和生活方式,由此产生了海量数据,并呈指数快速增长。究其具体原因,包括以下四个方面:

(1)互联网的广泛应用,吸引和驱动了数以亿计的用户使用互联网进行商品交易、资讯浏览、资料查询、聊天交友、信息共享等,网络应用与用户的操作内容、操作行为共同成为海量数据的重要来源。

(2)移动通信网广泛应用并与互联网结合的越来越紧密,越来越多的人通过以智能手机为典型代表的移动设备进行语音视频通话、短信交流以及访问移动互联网,也带来了数据量的激增。

(3)传感器的广泛使用,产生了大量的实时状态监测数据、影像数据,这些数据持续快速产生,并占据了较大存储空间。

(4)传统文档资料的电子化处理,便捷了查询使用的同时,也产生了大量数字化信息资源。

大数据的本质分析

当前,“大数据”这个术语已被广泛使用,其主要特点可归结为高容量、多样性、快速性和价值低密度四个方面,但对其概念的界定尚未达成共识,不同角度有不同的定义和描述。国际数据公司IDC将其定义为:为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值,而设计的新一代架构和技术。高德纳咨询公司Gartner将其定义为:需要新处理模式进行处理才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的定义与特点既体现了大数据的存在状态,又体现了大数据面临的难题与矛盾,这些必将引发和推动数据存储技术、管理技术和分析技术的革命与创新,最终形成一系列信息技术来为决策服务。因此,大数据的本质集中体现为:

(1)数据本质:是指大数据的数据量远远超过传统理解上的数据量,数据类型和数据来源多样,数据产生速度快及要求的处理速度快,数据的价值密度低。

(2)技术本质:是指需要有以存储技术、管理技术、挖掘分析技术和可视化技术为主要内容的大数据技术体系对海量数据进行处理分析,并为决策服务。

(3)知识本质:是指大数据处理分析的最终目的是从海量数据中发现潜藏的历史规律,或对未来进行预测,以知识的方式辅助做出更好的决策。

高等院校教育数据

在大数据时代背景下,高等院校教育数据建设问题也引起了专业人员的关注。高等院校教育数据主要是指高等院校开展教学活动相关的数据,主要包括教师队伍信息、学生基本信息、课程信息、教材信息、教学活动信息、教学管理与保障信息、科研学术信息、文献资料信息、校园网网络行为数据以及其他通用资源信息等,且在信息技术飞速发展与广泛使用的当下,这些数据也表现出大数据的特征。与此同时,高等院校面临着培养综合型人才、素质型人才、创新型人才的形势任务,如何制定科学有效的培养方案、创新教学培养模式、适时完善教学决策、优化教学资源配置、提供个性化信息服务,都离不开海量教育数据的支撑,也对海量教育数据基础上的数据开发利用提出了更高要求。

大数据时代高等院校教育数据建设的新挑战

大数据的出现对传统思维方式造成了强烈的冲击,其功能和价值的体现建立在海量数据分析的基础上。在这样的时代背景下,高等院校教育数据建设面临诸多新挑战。

数据采集获取量大种类多

先进信息技术使得面向事物的全数据采集成为可能,而足够数量的数据是进行大数据分析的基础和前提,因此数据采集就成为高等院校教育数据分析与应用中的重要一环。高等院校教育数据采集有基于物联网传感器的采集,也有基于网络信息的数据采集,还有基于工作人员的手工采集,需要采集的内容包括与教师和学生相关的基本信息、教学过程中产生的课程信息、教学软件平台使用信息、校园网用户行为信息、文献资料等,其数量之大远在TB级以上。此外,这些数据包括分布在各管理信息系统中的关系型数据、文本数据、访问日志数据、数字化文档资料数据,图片、音频、视频等多媒体数据,类型十分广泛。

此外,当前的高等院校教育数据尚处于自然发展阶段,数据资产意识还不强,需要建立有多部门共同参与的数据收集体系,明确数据采集责任分工、采集内容、采集时机与采集要求等,并考虑建立数据校核机制,确保数据的准确性。

数据资产规范管理难度大

在高等院校信息化水平不断提高、教育数字化程度日益加深的今天,几乎参与教育活动的每个人都卷入到数据及其处理的浪潮中,数据已经成为重要的生产要素和无形资产。但目前的高等院校数据或多或少的面临着数据不完整、数据分散不一致、数据质量低、数据共享集成成本高、数据教学效益不显著等问题,难以对数据进行全面、统一、高效的管理。

以数据分散管理为例,当前很多教学数据分散在不同的信息系统中,数据标准不统一、可用质量差,数据核对、清理、映射工作量大的问题较为突出。尤其是有的学者提出了终身学习、个性化教育的理念,这就需要延伸对于学生相关信息的采集,建立学生终身的学习档案,无形中极大的增加了数据管理的难度,数据的质量也难以得到保证,进而影响了数据的应用。

数据存储处理技术要求高

高等院校教育数据量增长速度快,加上已积累的大量历史数据,对数据存储、处理、分析带来了巨大的挑战,要求其必须具备快速性、准确性和高效性。

在数据存储方面,由于数据的数量、类型、应用对象的不同,要求数据存储必须综合考虑当前需求和长远发展,充分开展传统关系型数据库、数据仓库及面向大数据的No SQL数据库论证,科学设计数据存储架构。其次,需要突破多源异构教育数据融合的技术瓶颈,扩大深入融合处理数据对象的范围,提高融合效果和性能,实现分散异构教育数据快速融合入库。

在数据处理分析方面,需要加强教育数据实时处理,对相关音视频等复杂类型数据开展内容分析,对教学模式、规律、趋势等进行预测分析,对海量教学数据进行并行处理,从而提高教育数据快速高效处理能力。同时,带动数据处理向知识加工、决策支持等方面进行拓展,进一步提升教育数据的附加值。

数据综合服务保障多样化

“数据是稳定的,处理是多变的”。当前面向高等院校教育的各个方面,产生了多样化的应用需求,如教育决策支持、综合信息服务、个性化信息支持、教学科研服务等。这些应用服务,要求针对存储的海量教育数据进行高效的处理分析,并快速、灵活呈现给用户。例如,教育决策支持问题,需要通过教学过程数据、教学资源数据、教师学生相关数据等的实证分析,才能为课程内容设置、资源优化配置、教学模式评估等提供支撑。再如学生个性化信息支持问题,需要全面掌握学生知识能力基础信息、历次学习情况信息、现阶段学习情况信息等,综合分析学生知识结构、学习能力、学习课程等方面存在的短板,优化教学内容,有针对性的为学生提供课程辅导、推送信息资源,甚至拓展至学生就业后的持续信息服务,切实提高学生的能力素质。

高等院校教育数据建设应把握的关键环节

高等院校要想在大数据时代迎头赶上,充分开发利用大数据支持教育决策,就必须把握顶层设计、制度与标准编制、关键技术研究和安全保密建设等关键环节,加强数据工程建设。

突出抓好数据体系顶层设计

高等院校数据建设要主动适应全球信息化发展大势,准确把握高等院校信息化发展的阶段特征,把数据资源建设作为事关高等院校充分发挥作用、可持续发展的重要长期性基础性建设工程和关键性应用工程,提高思想认识,科学开展规划论证与顶层设计。一是开展高等院校数据资源全面摸底,掌握数据资源总体情况,摸清数据资源产生来源和获取渠道,评估数据资源使用现状及存在的主要矛盾问题。二是牢固树立数据体系“一盘棋”思想,将本院校数据体系纳入国家高等院校信息化建设体系中进行统一规划论证,避免出现结构性矛盾,影响高等院校之间甚至国家范围内的数据共建共享。三是综合运用大数据管理、企业架构、信息资源规划等先进理念和技术方法,紧密贴合高等院校教学应用需求,构建科学、合理、可行的高等院校数据体系架构,切实提升数据建设质量,为高等院校教学应用奠定坚实基础。

制定完善数据建设制度与标准

高等院校教育数据建设,需要依据相关数据标准规范,统合各类信息代码,强化主数据管理,确保各信息系统的数据能够综合集成、有效衔接。一是建立数据管理制度。要建立数据采集、处理、维护与使用相关的规章制度,明确高等院校不同职能部门的业务关系,及数据管理的组织机构、职责分工、主要内容与工作流程,确保数据管理工作的规范有序。二是制定数据标准规范。围绕信息分类与编码、数据元素、数据集、数据交换、公共信息模型等内容,开展相关数据标准规范的编制、修订与完善,确保数据的标准化、规范化,以利于高等院校相互间及院校内部的高效集成交换和共享利用。三是建立数据质量管控体系。建立数据质量管理框架,明确数据生命周期所有阶段质量管控的方法、时机与标准,切实提高数据质量,确保教育决策与信息服务的有效性。

突破海量数据开发利用关键技术群

着眼高等院校海量数据效能的发挥,聚焦数据高效采集获取、数据高性能存储、数据深度挖掘分析、数据多样化应用等领域,开展关键技术研究,建立集海量数据“采、存、析、用”于一体的技术解决方案,为现实应用奠定技术基础。一是完成技术体系规划设计,在教学应用分析和数据架构设计的基础上,围绕功能实现,构建技术体系架构,明确需要应用的技术、接口、方法,以及技术过渡、转型的模式等。二是尽快完成高等院校海量数据开发利用技术攻关立项,在获得上级机关认可及经费支持的基础上,加大技术研究的深度和广度,围绕高等院校数据应用的专有问题,切实解决制约海量数据开发利用的瓶颈问题,实现数据从数量规模优势向质量效益优势的跨越。三是评估分析其他行业运用大数据的有关研究成果,采取“拿来主义”,能够直接应用或改造应用的成果,尽快部署应用,节约经费与时间。

配套完善信息安全体系建设

当前,高等院校教育数据运行管理主要依托校园网进行,加强信息安全体系建设、增强信息防御能力,是海量数据效能得以持续稳定发挥的重要保证。一是建立健全高等院校信息安全管理新机制,制定相关规章制度,明确信息安全管理的任务分工、权限要求和方式方法。二是加强信息安全手段建设,依据信息系统建设安全防护等级要求,准确划分信息安全防护等级,加强设施环境、网络环境建设,配套相关安全保密设备,补充完善软件系统功能,提高信息安全防护能力。三是建立数据安全实时动态感知机制,实时监测计算机网络、数据库系统、应用软件系统以及其他附属软硬件的运转情况,准确感知潜在威胁,及时预警并按照规定有效应对,实现数据安全态势的全局性实时掌控。

结束语

大数据时代的到来必将对高等院校教育产生深远影响,正如维克托·迈尔-舍恩伯格在《与大数据同行-学习和教育的未来》中指出的那样:“利用大数据,我们可以使决策者得以在全面而坚实的经验基础上改善其决策的质量,从而使教育决策从意识形态的偏见中脱离出来”。目前,大数据在高等院校教育中仍处于研究探索阶段,需要我们紧跟大数据技术发展趋势,结合高等院校教育应用的现实需求,分步骤、有选择的开展应用研究与实践,真正发挥大数据在高等院校教育中的巨大价值。

大数据驱动智慧城市建设 篇8

大数据浪潮不仅仅是信息技术领域的革命, 更是在全球范围启动透明政府、加速企业创新的利器。基于社会化网络的平台和应用, 让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据。对于帮助政府相关部门准确判断经济形势、有针对性地制定政策、合理调配资源具有非常重要的参考作用。

大数据时代的到来, 正悄然改变我们的生活。互联网搜索引擎是大数据最为典型的应用之一, 得力于计算机对海量数据的存储、分析以及处理, 我们能够并且可以运用大数据实现原来遥不可及的梦想。随着社交网络的逐渐成熟、移动带宽迅速提升, 更多的传感设备、移动终端接入网络, 产生的数据及其增长速度比历史上任何时期都要多, 互联网上的数据流量正在迅猛增长。在云计算、物联网等技术的带动下, 中国的移动互联网已经步入“大数据”时代。继云计算后, 大数据成为信息技术领域最为热门的概念之一。

在IT业界, 有人把大数据产业定义为建立在对互联网、物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业, 又或者是致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力, 包括之前隐藏在非结构化数据中的洞察力。

据了解, 在工信部发布的物联网十二五规划中, 信息处理技术作为四项关键技术创新工程之一, 其中包括海量数据存储、数据挖掘、图像视频智能分析, 这些都是大数据的重要组成部分。大数据的出现, 正在引发全球范围内深刻的技术与商业变革。在技术上, 大数据使从数据当中提取信息的常规方式发生了变化。

事实上, 全球互联网巨头都已意识到了“大数据”的重要性。包括惠普、IBM、微软在内的全球IT巨头, 纷纷通过收购“大数据”相关厂商来实现技术整合。专家预测, 未来5年内, 大数据所创造的价值将会达到530亿美元, 同时产生10万个工作岗位, 还会产生文化、社会、政治等方面的影响, 所谓“三分技术、七分数据”, 得数据者得天下。

而国内一些领先的互联网企业, 包括新浪、腾讯、阿里巴巴等, 也已开始实质性的探索。作为中国最大的电子商务平台, 淘宝有海量的商业数据, 现今淘宝面临数据量大、内容多样、维度丰富、源数据质量不高等问题。对于淘宝面临的挑战, 分布式存储计算、实时计算、实时流处理、基于云计算的数据挖掘、数据可视化和数据产品实践等是应对大数据浪潮的关键技术。尽管国内企业在数据库、数据仓库、商业智能等领域基础薄弱, 但是若找准行业与切入点, 大数据则能够发挥其积极的作用。

信息技术的发展推动人与自然之间的信息沟通方式的发展, 我们生活的环境将越来越具备“智慧”特征, 我们也将能更“智慧”地利用信息, 对世界和他人作出更加“智慧”的判断与回应。而智慧城市的发展是城市信息化发展的新阶段, 只有确立了“智慧来自大数据”的核心共识, 推进智慧城市建设才能“四两拨千斤”。

面向大数据的数字电网建设研究 篇9

关键词：数字电网,电力,大数据

1引言

随着智能电网建设和电网规模的日益扩大, 电力数据呈现出爆炸式增长的势头,电力行业进入了大数据时代。 大数据在公共管理、零售、互联网、电信、金融等众多行业快速推广,市场规模迅速扩大,2012 年国内大数据市场规模已达4.5 亿元。 IDC预测,2016 年中国大数据市场规模将达6.17 亿美元, 而全球规模将达238 亿美元。 大数据已经渗透到当今的每个行业,成为重要的生产因素。 人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。 电力大数据是大数据理念技术和方法在电力行业的实践,是大数据应用的重点领域之一［1］。

电力大数据具有数据体量巨大、 数据类型繁多、 价值密度低、处理速度快的特点［2］,涉及到发电、输电、变电、配电、用电、调度各环节。 电力大数据技术发展,满足电力数据的飞速增长,满足各专业工作的需要, 满足提高电力工业发展和服务经济发展的需要,涉及高性能计算、数据挖掘、统计分析、数据可视化等应用大数据分析、机器学习和预测技术,可整合运行数据、气象数据、电网数据、电力市场数据等,进行负荷预测、发电预测。 充分挖掘客户行为特征,发现电力消费规律,借助于图形化手段清晰有效地传达与沟通信息, 便于相关人员对数据的理解和认识,打通并优化电力生产和电力消费端的运作效率,实现需求和供应的随时动态调整,提高能源需求预测准确性,提升企业运营效率效益。 随着智能发电、用电、储电设备接入网络,借助信息流,形成自我优化的良性循环。 有电网专家分析称,每当数据利用率调高10%,便可使电网提高20%~49%的利润,借助大数据技术, 电力大数据价值的深度挖掘将给电力企业盈利与控制水平带来很好的价值。

电力大数据的价值和重要性已经毋庸置疑, 其对于电力企业盈利与控制水平的提升有很高的价值, 加之电力系统的日益复杂和用户用电质量要求的不断提高,究竟如何应用大数据、云计算技术高效、准确挖掘电力大数据中的“宝藏”,促进了企业管理优化与高效发展,为数字电网建设提供了机遇,但同时也是一种挑战。

2云南电网数字电网建设基础

目前公司在用的信息系统横向覆盖基建、生产、调度、营销、物资等各领域,纵向贯穿省公司、地市供电局、县级供电企业,包含各领域业务管理系统和专业应用系统, 有效规范了各业务领域管理工作,一定程度上促进了管理工作效率提升,但由于各系统定位为服务特定领域管理需求,对跨部门、跨专业、跨平台的应用考虑不足, 虽积累了丰富的数据, 但数据质量水平整体偏低,且不同时期分散建设的系统,由于在运行环境、数据库系统、数据格式、业务流程定义等方面执行不同标准,加之系统遵循标准、开发厂家等的差异,导致系统间信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求, 同时各系统涉及的单位部门众多、业务复杂,系统间数据集成共享协同难度大。 而大数据技术的本质是从关联复杂的数据中挖掘知识, 提升数据价值,单一业务、类型的数据即使体量再大,缺乏共享集成,其价值就会大打折扣。 当前多源、异构数据暂无法提供满足公司电网全景展现和跨业务、多角度、多层次综合分析的应用要求。

3大数据时代的数字电网建设

数字电网是要在电网公司生产信息纵向、 横向普适共享基础上建立科学分析决策和综合应用体系。 数字电网基于电网网架聚合电网准实时运行数据、电网全过程生产管理业务数据,抓住专业工作本质,开展跨领域、多维度综合性业务分析,推动业务工作朝着专业化、精益化方向发展。 本文主要摘取电网规划辅助、仓储可视化、故障快速定位、营销重要指标等几个方面,以表述面向大数据的数字电网建设。

3.1 电网规划辅助

依托电网网架及历史负荷特性, 为电网规划提供电源点信息及参数、现有设备容量、中长期负荷需求等参考依据,辅助电网规划及优化改造。 同时对规划方案实施效果进行评估,如电网

3.2 仓储可视化

基于物资仓储及供应数据, 应用可视化技术实现仓库分布及库存可视化展示,结合各类物资使用情况,为物资储备分析提供数据支撑,辅助库存优化及物资仓库选址规划;开展物资储备监控分析,结合物资在途监控,保障电力物资供应及安全配送。

3.3 故障快速定位

根据用户报障信息, 结合电网拓扑和户表关系开展故障定位分析,辅助故障快速定位。 根据故障定位分析结果,开展故障原因及抢修策略分析、开展抢修物资需求分析,辅助抢修方案制定及抢修物资高效调配, 并通过抢修车辆定位和现场反馈实时监控抢修工作执行情况,达到快速复电的目标,见图2。

3.4 营销重要指标

加强需求侧管理,把握市场发展动态,数字电网开展年累计回收率、陈欠回收率、客户平均停电时间、售电量等指标分析,对电力市场的潜力以及未来市场趋势进行评估预测, 为制定或调整发电、 售电等生产经营目标提供依据, 辅助电力营销策略调整,有效开拓市场。

4建设意义

企业级大数据平台建设分析 篇10

随着移动互联网时代的到来, 运营商流量业务迅速发展。以移动终端为基础的移动互联网记录了用户生活的方方面面信息, 结构化数据、非结构化数据量急剧增长。运营商现有的数据架构已不能满足业务发展需求。可以说大数据的发展对通信行业产生了深刻的变革, 互联网公司的快速发展使运营商面临着前所未有的挑战。同时, 大数据的发展也给运营商带来了发展机遇。

二、大数据

1) 什么是大数据。大数据, 是指无法在可承受的时间范围内用主流软件工具进行捕捉、管理和处理的数据集合。

2) 大数据特征。a.多样性。大数据不仅局限于结构型数据, 也包括非结构型数据, 例如:文字、录音、录像、视频、记录等。b.高速度。大数据是时间敏感的, 必须快速识别和快速响应才能满足业务需求。未来处理数据的效率可以说就是企业的生命。c.大容量。大数据的特点就是巨大。公司充斥着各种数据, 经常是TB级, 甚至是PT级的信息量。d.价值密度低。价值密度的高低与数据总量的大小成反比, 通过有效的算法迅速完成数据的价值挖掘。

3) 建设大数据的意义。大数据时代, 数据是企业核心资产, 将决定企业未来的竞争力, 未来可以说是数据驱动运营。大数据的应用不仅可以改变人们的生活, 而且将成为创造企业网络新的运维模式、企业市场新的产品、新的营销模式等的源泉, 全面提升企业科学运营、精细化管理和经营决策的快速支撑能力。

三、运营商现状及需求

1) 数据现状。运营商IT支撑系统、业务平台等经过多年的建设, 分别汇集了企业内多个线条的数据, 支撑了公司的一些常态化生产经营工作。但是各域数据并未完全整合、信息并未完全共享、分散存放。系统数据信息现状如下图所示:

2) 建设需求。随着互联网地不断发展, 业务需求临时性定制的情况越来越突出, 系统建设不能及时响应需求。同时, 面对互联网的压力, 互联网厂商已基于大数据产生诸多价值应用, 而运营商作为数据的生产者、处理应用者和提供者, 目前更多扮演着数据搬运工的角色, 已经无法支撑企业的运营转型。

四、总体方案

1) 建设思路。对于运营商大数据建设, 建议关注数据接入、数据分析、数据管理三个环节。

a.数据接入。对运营商而言, 系统各域信息融合、集中共享是企业大数据的基石, 改变当前“数据割裂”、“信息孤岛”的情况, 融合企业不同域的数据, 实现跨专业的数据覆盖和融合, 才能够面向全价值链, 从客户、产品、资费、渠道、资源、网络等多个角度, 全方位深入挖掘和综合分析, 打造企业级大数据支撑能力。建议从以下两个角度对各线条数据进行接入:自上而下, 即根据明确的业务需求来接入或迁移需要的数据。自下而上, 即根据企业级大数据平台的处理能力, 并结合外部系统数据接入条件, 提前对某一类数据实现全量接入。

b.数据计算。运营商现网已经建设有传统经分系统等系统, 引入H adoop分布式处理平台和M PP分布式数据库等技术, 但是这些技术引入时仅仅局限原始需求的支撑, 架构和功能上未从大数据的全局考虑, 扩容升级为大数据平台的代价过大, 同时这些系统目前阶段还需要继续支撑着企业的例行生产经营活动, 因此建议企业大数据平台采取先立后破的思路, 新业务应用基于大数据平台建设, 原有业务应用根据大数据平台的支撑能力逐步平滑迁移、原有基础资源利旧补充到新平台。

c.数据管理。大数据为企业的大数据, 不是一个部门或者一个业务域的大数据, 有必要搭建独立的整体规划管理和建设支撑组织, 改变目前各域数据分散支撑和管理的模式。建议成立独立的企业级大数据支撑中心, 负责跟踪引入业界云计算技术, 建设先进基础平台;建立统一的业务规划管理, 基础能力不等于业务能力, 需要从业务层面上梳理大数据典型应用场景, 制定分阶段业务规划, 同时规范各类业务流程, 对业务数据的产生、提供和使用从业务角度进行约定, 避免业务应用的无序支撑。

2) 建设原则。建设原则:a.平台开放;b.系统高性能;c.低成本建设。

3) 建设方案。建设统一数据采集平台, 实现数据统一采集, 避免系统采集能力重复建设, 避免采集数据不一致等。

建设大数据共享平台, 实现数据统一存储, 统一分析处理, 统一对外开放, 为上层应用提供数据共享。

企业级大数据平台架构图如下图所示。

五、结束语

作为移动互联网时代的重要技术之一, 大数据相关技术已得到越来越广泛的关注, 对于大数据的应用已经遍布各行各业, 大数据已经在逐步改变人们的生活, 改变人们对世界的认知。未来发展, 数据资产注定将是企业的命脉, 大数据之于企业不言而喻。

参考文献

[1]赵刚.大数据-技术与应用实践指南[M].电子工业出版社, 2013.

大数据时代就业信息化建设探究 篇11

关键词：大数据;就业;信息化

随着互联网的发展，信息技术被广泛用于生活、工作、学习、服务、交通、生产等各个领域，改变了世界，为人类带来了诸多便利。就业信息化建设对我国经济社会发展稳定具有重大战略意义。在各种信息化平台的帮助下，大学生能够更容易、更便捷地找到就业岗位，在我国高校扩招造成毕业生数量逐年递增的情况下，极大地缓解了社会的就业压力，为我国经济建设提供了各方面的劳动力和人才。因此国家高度重视就业信息化建设，21世纪以来，党中央、国务院、教育部多次下达指令，要求大力开展各项就业信息化建设工作。

一、目前我国就业信息化建设的现状及不足

经过十几年的努力，目前我国就业信息化建设已经基本完善，形成了以各级政府就业指导部门、用人单位、高校、毕业生为核心的就业信息化体系，通过各种信息化平台，把各级政府就业指导部门、用人单位、高校、毕业生连接起来。各级政府就业指导部门网络平台、各高校就业指导中心网站、各种招聘信息、毕业生求职信息等信息化要素的相互作用，实现大学生完成就业。但目前我国就业信息化建设依然存在很多不足，主要有一下几点：

（一）信息整合程度低、信息利用率低下。目前已有的就业信息平台数量很多，各种就业平台发布的信息数量非常巨大，但信息分布松散，整合程度较低。比如，同一岗位的招聘信息，可能会在多个不同的招聘网站上看到，求职者需要到多个求职网站去搜寻。这就增加了求职者获得求职信息的时间成本，导致信息利用率低下。

（二）信息化建设视野狭窄，平台之间联系不够，信息交流不足。政府部门在信息化建设统一规划方面做得不好，没有从高的层面进行部署，建设视野不够宽广。各个信息平台一叶障目，平台之间的联系不够紧密，最终导致了信息交流不足。

（三）信息平台功能不完善，不能更好服务就业工作。目前大部分的信息平台以发布就业信息为主，一些平台具备网络简历投递的功能，但这些对于实现求职者顺利就业是不够的。求职者需要通过信息化平台了解到当前就业形势、各行业就业现状、薪酬水平、地域差异、前景分析等信息，需要得到实时疑问解答，进行广泛交流，这些都是当前的信息平台所缺乏的功能。

（四）网络求职成功率不高。十几年来信息化建设促进了大学生就业工作的开展，越来越多的求职者在网上进行简历投递等求职活动，但不可否认的一个事实是招聘会、宣讲会、人才市场对于就业依然作用突出。调查显示，很多求职者认为网络对于求职的最大帮助是提供便捷、高效、廉价的就业信息，而网络招聘中简历投递成功率太低，所以求职者更愿意到招聘现场去求职，各地招聘现场的火爆状况就是很好的证明。这也说明了目前信息化对求职的帮助仍然处于较低的水平。

二、大数据时代的到来，为就业信息化建设提供了新的发展机遇

随着信息化技术的发展，家用电脑、智能手机、宽带技术、移动互联网、物联网等数据来源及数据承载方式的高速发展，全球的信息数据量出现了跨越式增长，信息大爆炸成了时代的特征，大数据时代已经正式到来[1]。

大数据（big data， mega data），或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产[2]。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的特点可以概括为4V：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。大数据最核心的价值就是在于对于海量数据进行存储和分析。大数据技术可以从各种各样类型的数据中，快速获得有价值的信息。

利用大数据技术可以解决目前就业信息化建设中存在的种种不足，进一步加强就业信息化建设，更好帮助大学毕业生就业。

（一）加强预测分析，更好开展就业指导工作，加强就业针对性。大数据技术通过对国内国际形势、当前经济发展、过往就业信息、地域信息等大量数据进行分析，预测就业形势、各行业就业前景、薪酬水平、地域竞争状况、行业前景等能内容进行分析，给出可靠的预测数据，便于政府就业指导部门更好安排部署就业工作;企业可以合理安排招聘岗位，选择适合的求职者，避免员工频繁跳槽现象，节约招聘成本;高校可以更好地开展大学生就业指导工作，大学毕业生根据自己专业、兴趣、爱好、特长、个人发展规划，有针对性地明确求职目标，进行充分的求职准备。这些能加强各方面开展就业工作的针对性。

（二）高度整合信息，紧密联系信息平台，加强信息交流，提高信息利用效率。通过对大量信息的收集和分析，大数据平台可以完成信息的高度整合，使各个信息平台紧密联系在一起，平台之间的信息可以实现快速交流，大幅度提高信息利用效率。在大数据的帮助下，求职者搜寻求职信息时，重复的信息可以自动合并，同一类信息可以全部展现，信息获取效率得以提高;求职者的简历、求职信等求职信息可以储存在云端，在需要时随时可用于不同的网络招聘，这样求职者可以省去大量重复写简历的时间;通过大数据综合分析，网络上的虚假招聘信息可以迅速被识别剔除，信息审核得以强化，避免求职者上当受骗。

（三）完善信息平台功能，扩展信息平台种类，提高网络求职成功率。大数据技术可以进一步完善各信息平台的功能。信息平台将不仅仅提供求职信息，还会增加就业分析预测、实时交流、就业指导、网络简历投递和筛选、视频面试等功能。

随着大数据技术的发展，信息的传播已经不只是依赖电脑，智能手机、便携平板电脑、智能穿戴设备都成了信息传播媒介，信息平台也不再局限于互联网网站，QQ、微信、微博等实时交流工具和各种APP应用也成了新的信息平台，更加方便、快捷地发挥作用，借助于这些平台，求职者可以随时、随地进行信息浏览、投递简历、疑难询问、交流沟通等，企业HR可以随时发布信息、筛选简历、疑问解答、视频面试等，极大地提高求职的便捷性和成功率。

总而言之，大数据时代的到来，为以后的就业信息化建设提供了新的发展机遇和发展思路，充分利用大数据技术的各种优点和优势，就业信息化建设将更好服务于就业工作。

参考文献：

[1] 张亮. 大数据时代下的大学生就业指导工作研究[J]. 石家庄职业技术学院学报， 2014， 26 （ 6）： 60-62.

大数据中心建设 篇12

一、大数据到底有多大

大数据(Big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助经营决策更积极目的的资讯。[1]通常用来形容大量非结构化和半结构化数据 ,具有4V特征 :一数据量 大(Volume),计量单位 从TB (1024GB=1TB) 级别跃升 到PB (1024TB=1PB)、EB (1024PB=1EB) 乃至ZB (1024EB=1ZB) 级别;二类型繁多 (Variety),包括文档、音频、视频、图片、地理位置信息等;三价值密度低(Value),信息海量,但价值密度较低;四速度快时效高(Velocity),1秒定律,与传统的数据挖掘技术有着本质的不同。

那么大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个;卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……

国际数据公司(IDC)的研究结果表明,2008年全球产生的数 据量为0.49ZB,2009年的数据量 为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。如果将这些数据存储于光盘,这些光盘可以堆成五堆,每一堆都可以伸向月球。预计到2020年,全世界所产生的数据规模将达到35ZB。

这些庞大数字,意味着什么?它意味着,一种全新的价值观、方法论和通往未来的钥匙,它的价值堪比石油和黄金。因为面临的不再是随机样本,而是全体数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。有专家提出,人类93%的行为都是可以预测的。更重要的是,通过找出一个关联物并监控它,就能读懂历史的规律,寻找到通往未来的钥匙。[2]举例来说,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。

二、大数据时代下的大档案观

所谓大数据时代是一个数据更加全面的时代,通过大数据技术的应用,便可更加容易攻克之前由于数据缺乏而无法涉足的领域,比如档案领域。从大数据的思维来看,档案馆是当数据退出现行活动,但仍然对单位和社会有价值时所存放的地方,被赋予了新生命,成为大数据存储的平台。实际上,当档案馆收集各式各样类型的数据且其数据量增长至PB时,档案馆可能是一个单位中第一个含有大数据的数据库。对于档案工作者来说,数据的管理是我们对未来应尽的责任。

2012年3月,美国奥巴马政府宣布“大数据的研究和发展计划”。旨在通过提高从大型复杂的数字数据集中提取知识和观点的能力,承诺帮助加快在科学与工程中的步伐,加强国家安全,并改变教学研究。其中,为十亿电子记录(CI-BER)的网络基础设施是一个联合机构主办的测试平台,这个多机构主办的网络基础设施,对国家档案馆87万多样化的数字记录的文件和信息的收集,可称为计算研究所的文艺复兴。这个试验台将评估技术和方法,超大规模数据收集,以支持可持续的访问。

2013年10月国家档案局杨冬权局长在全国数字档案馆(室)建设推进会上指出“数字档案馆(室)是大数据时代档案馆(室)的发展方向,是现代的新型档案馆(室),是对传统档案馆 (室) 的升级,是第二代或升级版的档案馆 (室)。档案工作是否现代化,我国能否成为档案强国,其显著标志就是看是否建成数字档案馆(室)。可以说建设数字档案馆(室),是实现我国档案工作现代化,把我国建成档案强国的一项迫切任务和重要内容。”

我国档案信息化建设已经持续二十年,从单机版管理到网络版管理,从目录数字化到全文数字化,从存量数字化到增量电子化,逐渐呈现出数据量大、数据类型多、数据需求快的大数据的4V特征,仅依靠数据库的查询检索机制由于运行缓慢已经不能满足现实的需要。大数据时代的来临相比其他信息技术则更加契合档案工作的需要,让处理海量的结构化和非结构化的数据成为可能,未来档案馆的发展方向将不可避免的实现全数字化档案馆。档案工作将呈现三大趋势:一是大档案,所有档案将有自己的数据形态;二是大技术,数字档案的管理迫切需要大数据技术; 三是大服务,将以需求为导向,向着智慧化、网络化迈步。所以作为保管大量数据资源的档案部门,应该跳出档案做档案,打破传统思维的禁锢,适时将档案资源转化为数据资源,尤其是覆盖社会大众的数据资源,建设大档案,应用大技术,实现大服务,充分运用大数据思维和技术推动档案工作创造更大的价值。

三、建设大档案———全面收集保存数据

“相比依赖于小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,帮助我们进一步接近事实真相。”用《大数据时代》作者舍恩伯格的理论分析,在现代科技发达到能够存储海量数据的条件下,我们首先需要尽可能多地收集和保存数据,做到全覆盖,为我们的后代准确地认识历史真实面貌,进行科研生产提供尽可能详实的资料。档案是人类活动的真实记录,具有原始记录性的本质特征,与大数据强调的数据完整性和混杂性是不谋而合的,都注重原始数据的获取。档案工作其实就是一件遗憾的工作,我们永远不知道哪份文件以后要用,不知道哪些东西对明天的人有用,因此理应全面收集和保存好数据。[3]

1 、存量档案的数字化

目前,各级各类档案馆(室)的档案,大多是传统载体而非数字形态的,因此,档案馆(室)的首要任务,就是要把纸质等传统载体的档案进行数字化。这是一场硬仗,是一项工作量巨大的艰难任务,但同时也是一场革命,一次前所未有的突破,对于确保传统载体档案的安全、实现档案自动化管理、高效提供利用、节省日常工作、同社会上其他部门对接等方面具有显著意义。

首先,要下大决心。杨局长认为数字化最难点不在于找到钱来做事,而在于痛下大决心。档案数字化工作的最大困难在于“畏难”,如果心态是畏难的,那么,有了钱也无所为;反之,如果痛下决心,那么,没有钱也可以有所为。有条件的单位可以引进专业公司开展档案数字化,或购入数字化设备如大型快速扫描仪,聘请人员开展;无条件的单位可以用超额按页付酬、超额达到一定数量可以评先等一系列奖励政策,鼓励本单位各部门职工,利用工作和业余时间参与进来。

其次,要有大计划。一个档案馆保存的档案门类众多, 未必都具有一样的使用价值,有的门类利用率高达百分百,也有的无人问津,所以要优先数字化利用率最高、人民群众最需要或可以先开放的那部分档案,然后再处理其他档案,做到“常用先扫,以用定扫”,分门别类、循序渐进。举例来说,高校档案共有十三大类,但是每一类都各有特色, 在数字化进程中需要按计划行事,教学类中的学籍卡、成绩单、录取名册、毕业签领名册;行政党群类中的发文、收文;科研类中的奖状、证书、合同、课题;基建类中的施工、竣工图纸等,由于利用率非常高,应该是高校档案数字化的重心。

再次,要注意安全。第一是档案实体安全,在数字化过程中可以通过严格清点、扫完及时入库、全程录像监控、严禁携带档案出入、轻拿轻放等准则,确保一件不丢、一件不坏、一件不乱。第二是档案数据安全,要制定规章制度,确保档案数字化信息真实完整,不带出场外、不据为己有、不随意传输。尤其是涉密档案的数字化,经鉴定后必须由专人加工处理。对于外包给其他公司的数字化项目,要签订保密协议,封闭所有加工设备的下载端口,任何人都不能下载加工数据,确保任何数据不会外泄。

最后,要注重质量。不但要保证扫描后的数字档案内容完整、画面清晰,与原件一一对应,还要确保其具有法律效力。不能出现漏扫、错扫、扫描不清、扫描不全等情况。通过全程质量控制、全面质量检查等方法来确保数字化质量。

2 、增量档案的电子化

随着无纸化办公的深入,大部分新形成的文件都有电子版,应该按照有关电子文件管理标准及时归档保存,一方面避免新形成的电子文件散失无存,一方面也使新增档案将来不用再进行数字化,节省人力物力财力。因此,必须从源头开始抓,控制前端。

首先要认真梳理电子文件管理的标准和规范。研究确定文书、录音、录像等各门类电子文件归档范围和保管期限,明确电子文件归档和接收要求,保证归档或接收的电子文件收集齐全、整理有序、命名科学、格式规范、元数据合理有效。

其次将档案管理融入到本单位生产运行的各项系统中。举例来说,高校档案管理系统需要和OA办公系统、学籍系统、合同系统、设备系统、科技系统等多个业务系统接口,嵌入档案移交、接收功能,采取逻辑归档和物理归档, 做好档案数据的前端控制。如合同系统,与档案系统、报账系统建立实时接口,合同档案只有归档后,才能报账。在采购系统中嵌入采购档案管理模块,实时了解、控制采购档案的归档。[4]

四、应用大技术———高效管理数据

在传统的手工管理阶段,档案管理主要基于人工整理、编目;在计算机管理时代,档案管理主要借助档案管理系统辅助管理;在大数据时代,档案管理将是云平台上建设云档案系统,采取云计算。

管理大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。一直以来,档案数据管理采用的是关系型数据库,比较有代表性的就是IOE(I指IBM的服务器,O指Oracle的数据库,E指EMC的存储模式)模式,但是大数据时代,IOE模式显然不适合做大数据处理[5]。现在基于大数据技术的数据库,如SQL已经既可以做关系数据,也可以做空间数据、图像、数据流等非结构化数据[6],而且基于对象的存储架构可以在一个系统中管理十亿级别的文件数量,还不会像传统存储一样遭遇元数据管理的困扰[7],大数据技术为高效管理数据提供了解决之道。

五、实现大服务———智能挖掘共享数据

“数据价值的关键看似无限的再利用,即它的潜在价值,收集信息固然至关重要,但还远远不够,因为大部分的数据价值在于它的使用,而不是占有本身。”

《大数据时代》一书突破传统因果关系,提出关注相关关系。随着人类历史的不断延续,留存的信息数据越来越多,而人的时间是有限的,要在有限的时间中快速找到浩瀚资源宝库里所需要的信息,需要采取一定的技术和工具进行分析和挖掘。那么,档案工作者就应该承担起这份责任,利用档案资源进行数据挖掘,提炼所需的资讯,发挥数据应有的价值,这也是档案工作者未来的主要工作之一。

1 、数据挖掘技术

大数据的核心就是数据挖掘,是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,通过分析每个数据,从大量数据中寻找其规律的技术, 主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集;规律寻找是用某种方法将数据集所含的规律找出来;规律表示是尽可能以用户可理解的方式 (如可视化) 将找出的规律表示出来。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。[8]

基于大数据的数据挖掘技术,可以为档案馆实现网络信息服务的智能化、个性化、精品化提供支持工具,可以全方位的实现档案信息智能检索服务、档案信息定制与定题服务、档案信息决策服务、档案信息跟踪与推送服务,构建“数据—信息—知识—智慧”模型,真正实现“智慧档案”。通过大数据技术手段将彻底颠覆传统档案管理工作中的诸多弊端,将档案管理事业推向又一个全新的发展高度。

2 、数据共享平台

如果说数据挖掘技术让海量档案信息的利用更加智能化,那么构建档案共享平台将会提升档案馆的公共服务能力,让服务也更加智能化。

国家档案局今年开始建立全国开放档案信息资源共享平台,就是要打通档案信息社会共享、服务群众的“最后一节路”,让各级档案馆(室)的已开放档案在更大平台上,供更多人共享,发挥更大作用,推动以服务群众为主导的档案信息化体系的实质性建立。各级档案馆(室)对已数字化的档案,尚未放入数据库或局域网提供利用的要尽快放入数据库或局域网提供内部利用;尚未开展开放鉴定的要尽快开展开放鉴定,并把可开放的放入政务网或互联网供社会共享。