管理系统以及大数据

管理系统以及大数据（共12篇）

管理系统以及大数据 篇1

媒体作为人们传递信息和获取信息的一种重要途径, 与人们的日常生活息息相关, 媒体管理是对信息受众进行调查、分析, 对新闻发布效果进行调研, 保证媒体信息及时、有效发布的一种活动, 是媒体行业中的一项重要工作。在大数据背景下, 媒体管理过程中所涉及的数据形式以及数据信息量都变得更加多样化, 传统媒体管理模式已经很难满足新形势的管理需求, 针对这种现象必须对媒体管理模式进行改革、创新, 以顺应时代发展需求。

1 大数据的概况

大数据是指在一定的时间和范围内, 无法使用常规的软件进行采集、处理以及使用的数据集合。大数据是在传统数据的基础上发展而来的, 其形成的基础是网络信息技术的发速发展, 具有大量、高速、多样、价值以及真实性五大特点。因为大数据无法用常规软件进行管理, 这就需要开发新的数据管理模式更好的利用大数据, 当前适用于大数据的技术主要有大规模并行处理数据库、数据挖掘电网、云计算平台、互联网等, 通过多项技术的融合使用, 能够更好的应对大数据时代的到来, 充分发挥出大数据对社会发展的价值和作用。

2 大数据对媒体管理的作用

随着大数据时代的到来, 对传统媒体管理模式发生了翻天覆地的变化, 在传统的媒体管理模式中, 媒体管理者会利用相关软件或者采用抽样调查的方法获取相关数据, 然后结合以往经验, 制定出一套管理方案实现对数据的管理和利用。这种方法所获得的数据是按照软件预先设定好的运行流程, 经过规范化的程序得到的, 数据结构通常都是一个系统化的整体结构, 不同数据之间存在这较为密切的关系, 经过常规软件所得到的数据主要包括企业运行成本、财政支出、供产销情况以及所获得的效益等, 可以为媒体企业运行提供可靠的参考和依据。

大数据与传统数据之间的差别是比较明显的, 传统数据集所包含的数据流彼此之间存在某种特定关系, 当一组数据流发生变化时, 会引起其他数据流的同步变化, 大数据具有非机构化特征, 所包含的数据多种多样, 无法通过常规软件所设定好的运行程序得到, 各个数据流之间是相互独立、互不干扰的关系。因为大数据所包含的数据信息量十分庞大, 并且不同数据流之间联系不紧密, 同时要求在短时间内完成对数据的处理, 基于大数据的这些特点, 传统数据处理方式逐渐暴露出了很多不足之处, 已经不能满足大数据处理需求, 所以开发新的数据处理模式和处理技术、加快新型人才的培养, 实现对大数据更好的管理和利用, 已经引起了人们的广泛关注和重视。

3 媒体管理应对大数据形势的方法

媒体管理内容主要包括信息的采集、发布以及反馈三部分, 分别对应新闻产生、受众分析以及效果调查三方面工作, 在大数据背景下, 要想实现更好的媒体管理效果, 就需要从这三方面工作入, 转变工作模式、创新工作方法。

对于媒体企业来说, 企业运行的基础是生产新闻, 只有生产新闻才能吸引大众, 为企业带来经济效益, 新闻产生的基础是信息的采集, 只有从生活中发现人们感兴趣的事物, 通过媒体形式进行加工, 才能产生相应的新闻。产生新闻的传统方式主要有采访、编辑、评论等, 通过这几种方式对信息进行采集, 工作量是比较大的, 并且很难保证信息传递的时效性和准确性。在大数据背景下, 数据已经成为采集信息的主要方式, 通过对数据进行处理, 能够直接从中提取具有新闻价值的信息进行报道, 信息传递所用时间是非常有限的, 保证了信息传递的时效性, 同时还能够准确将事件发生以及经过准确表述出来, 保证了新闻的真实性。

要想实现理想的新闻发布效果, 就需要了解新闻的受众, 这就需要对接触新闻的群体进行调查。在传统受众调查过程中, 所用的方式通常为抽样调查, 在不同类型的人群中随机选取样本, 然后对整个群体对待新闻的态度和看法进行评估, 这种调查方式所得到的结果不够准确, 无法反映出受众中间的特别情况或者特定阶段的需求。利用大数据可以更加准确的分析受众中的特例情况, 了解这些特例在总人群中所占的比重以及在不同阶段的需求, 以此作为重要依据对新闻内容进行调整, 对特殊受众提供针对性的服务, 满足人们的真实需求, 提供服务质量和客户的满足度, 真正发挥出新闻的作用和价值。

效果调查时媒体管理中的重点内容, 在新闻发布之后, 会对受众的情感、态度以及认知产生影响, 通过效果调查, 能够了解到受众这些方面的变化, 然后对企业走向进行调整。传统媒体管理中的效果调查方式通常为问卷调查, 受众将自己的看法通过问卷表达出来, 但是这种方法所得到的结果准确度不高, 难以保证调查对象类型的全面性。通过对大数据进行处理, 利用计算机技术和网络平台, 能够快速完成对受众的调查, 将新闻发布效果更加准确的反映出来, 覆盖面积较广, 可以对所有类型的群体调查, 保证了效果调查的全面性。

4 结束语

数据是媒体的重要元素, 将大数据处理模式和技术应用于媒体管理中, 改变了传统媒体管理形式, 实现了对数据的综合分析, 媒体管理者可以利用大数据获取与企业发展相关的各类信息, 结合企业的发展现状, 以实现企业发展战略目标为目的, 制定出更加科学、合理的管理方案, 为企业的良好、稳定发展提供有力保障, 对提高企业的管理水平和管理效率具有重要意义。

摘要：网络技术以及信息化技术的迅速发展, 扩大了社会信息量, 社会已经从数据时代转向大数据时代。数据作为新闻报道中必不可少的要素, 其形式的转变对媒体管理方式构成了巨大冲击, 刺激了传统媒体与新媒体的融合, 为媒体行业带来了良好发展契机。文章基于大数据背景对媒体管理所造成的影响, 从大数据概况出发, 指出了大数据对媒体管理的作用, 并对媒体管理应对大数据发展形势的方法进行了讨论分析, 为媒体管理者提出了一种全新的管理模式, 希望能够推动媒体行业更好的发展。

关键词：大数据,媒体管理,作用,应对方法

参考文献

[1]曾凡斌.大数据对媒体经营管理的影响及应对分析[J].出版发行研究, 2013 (2) :21-25.

[2]黄佳.大数据对媒体经营管理的影响及应对[J].环球市场信息导报, 2015 (2) :27.

[3]陆革文.从大事件中寻找“地方元素”——大数据时代地方媒体应对重大事件报道方法探微[J].中国广播, 2014 (9) :80-82.

管理系统以及大数据 篇2

管理暂行办法

第一章 总则

第一条 为规范贵州省大数据发展专项资金的管理和使用，提高资金使用效益。根据《预算法》、《贵州省大数据发展应用促进条例》、《中共贵州省委 贵州省人民政府关于实施大数据战略行动建设国家大数据综合试验区的意见》(黔党发〔2016〕14号)精神，以及财政预算管理的有关规定，制定本办法。

第二条 贵州省大数据发展专项资金(以下简称“专项资金”)，是由省人民政府批准设立，省级财政预算安排用于改善我省大数据产业发展环境，推动大数据战略，促进数字经济成长，重点支持引领性、应用性、支撑性大数据项目发展的资金。

第三条 专项资金的使用和管理遵循公开透明、突出重点、统筹管理、创新方式、市场机制、引入竞争、强化绩效、加强监督的原则，充分发挥财政资金的引导和促进作用。

第四条 专项资金建立部门联动、专家评审、项目公示、追踪问效的全过程协作管理机制，加强绩效评价及结果运用，实现资金分配的激励和约束。第五条 专项资金由贵州省大数据发展管理局(以下简称“省大数据局”)会同贵州省财政厅(以下简称“省财政厅”)按照职责分工共同管理。

省财政厅会同省大数据局负责专项资金的预算管理、资金分配及资金拨付，对资金的使用等情况进行监督检查。

省大数据局负责确定专项资金的年度支持重点，开展项目管理工作，组织项目申报和评审，并对项目实施情况进行跟踪服务、绩效评价及监督检查。

第六条 省大数据局建立“贵州省大数据发展专项资金管理系统”，按照“数据铁笼”要求管理项目，进行分级授权和分类管理。

第二章 资金支持范围及方式

第七条 根据省委、省政府明确的大数据发展目标和任务，专项资金支持范围主要包括：

(一)支持大数据产业发展壮大，改善大数据企业发展环境，支持三次产业与大数据深度融合。

(二)支持信息基础设施建设，提升关键信息基础设施优化及运维保障能力。

(三)支持标准规范制定及应用研究，支持大数据安全体系和保障能力提升建设。(四)推进政府数据共享开放及应用创新。

(五)支持大数据基金设立，探索支持大数据企业发展的新型融资方式，引导社会资本投资大数据发展应用。

(六)支持和培育各类数字经济试点示范建设。(七)支持申请到的国家级大数据重大项目。

(八)支持大数据领域有关重大活动、相关课题研究、人才引进和培育及专项业务经费等。

(九)经省政府批准的其他事项。

第八条 专项资金采取事中事后的以奖代补、贷款贴息、产业基金、融资风险补偿、购买服务等方式安排。原则上一个项目只能申报一种支持方式。

(一)以奖代补。运用无偿资助方式支持大数据的应用创新项目;对大数据企业按发展目标完成情况给予奖励;根据大数据服务平台提供的服务质量和实际完成量，对社会效益明显的平台建设项目给予补助。

(二)贷款贴息。对已获得银行贷款的项目采取贴息支持方式。贷款贴息额度根据项目贷款利息总额并参照银行同期贷款基准利率确定。(三)产业基金。支持设立大数据产业基金，引导社会资本进入大数据投资领域，采取阶段参股、投资保障等方式，扶持初创期、成长期大数据中小企业发展。视具体情况采用股权投资、股权后激励等方式实施。

(四)融资风险补偿。建立大数据中小企业融资风险补偿机制，对积极支持大数据企业发展的金融机构发生的风险损失进行一定比例的补偿;对担保机构承担大数据中小企业贷款担保业务产生的代偿损失按一定比例给予补偿。

(五)购买服务。省大数据局按照《国务院办公厅关于政府向社会力量购买服务的指导意见》(国办发〔2013〕96号)、财政部《政府购买服务管理办法(暂行)》(财综〔2014〕96号)等规定，购买相关公益性、公共性服务。

(六)其它。涉及大数据产业发展与应用的其它事项及投入，按照省政府的批准执行。

第三章 申报条件和申报资料

第九条 项目单位须具备下列资格条件：(一)具有独立的法人资格;

(二)项目单位注册地在我省辖区内;(三)财务管理制度健全，会计信息完整;(四)纳税信用和银行信用良好，遵法守信，无违法失信记录;(五)生产经营情况良好，财务状况或发展前景良好;

(六)申报项目符合国家产业政策，符合大数据发展规划，符合专项资金使用范围;

(七)以前年度获得专项资金支持过的项目单位，其所获支持项目到期的应按期通过验收，并取得良好效益。

第十条 项目单位应提供下列申报资料：

(一)各市(州)、贵安新区大数据管理部门会商财政部门的申报文件，或中央在黔企业和省属企业项目主管部门的申报文件，或省级部门申报文件;

(二)项目单位资金申请报告;

(三)专项资金项目申报指南要求提供的材料。第四章 项目组织和审核

第十一条 省大数据局商省财政厅在每年1月底前下发资金申报指南，明确专项资金支持重点、支持方式、申报条件、所需材料等事项。各市(州)大数据管理部门会商财政部门负责地方项目的组织申报、初审，提出审查意见后报省大数据局。省属企事业单位项目由主管部门提出初审意见后报省大数据局。省级政府部门、直属机构、事业单位和中央在黔企业可直接向省大数据局申报。

第十二条 项目单位应通过“贵州省大数据发展专项资金管理系统”提交相关申报材料。省大数据局建立专家评审制度，组织专家对申请项目进行线上和线下评审论证。

第十三条 省大数据局建立健全专家库管理，确保入库专家与评审专家在数量上保持合理比例。“贵州省大数据发展专项资金管理系统”实行专家随机抽取制度和回避制度，加强对入库专家能力、职业道德等素质的前置审核工作。在评审过程中建立专家交叉评审、集中评审等相互监督机制，研究建立评审专家责任追究机制。

第十四条 根据专家评审意见，按程序确定支持项目由省大数据局向社会公示，公示期不少于7个工作日。

第十五条 对项目公示期内提出异议的项目，省大数据局及时组织调查核实。公示期结束后，在公示期内没有异议的项目和经调查核实没有问题的项目列为拟支持的项目。

第十六条 项目主管部门负责对项目申报资料真实性予以审核，督促项目实施，并对项目责任事故依法承担责任。

第五章 资金管理和拨付 第十七条 原则上6月底专项资金预算执行率应达到年初预算指标的50%，9月底达到调整预算指标的90%。确定支持的立项项目，由省财政厅会同省大数据局按照预算管理、国库管理的规定联合下达项目资金计划。

第十八条 各级财政部门、大数据管理部门及项目主管部门要密切配合，及时下达和拨付项目资金，任何部门不得截留、滞留、挪用。

第十九条 项目承担单位收到的专项资金，应根据《企业财务通则》、《企业会计准则》等财务会计制度的有关规定进行账务处理，并按项目单独核算、单独管理。按规定需要进行招投标的，严格执行《中华人民共和国招标投标法》、《贵州省招标投标条例》等相关法律法规的规定。项目承担单位应在“贵州省大数据发展专项资金管理系统”中及时反馈专项资金使用情况。

第六章 绩效评价

第二十条 建立专项资金绩效评价制度，明确评价原则、组织实施、评价依据、评价内容、指标体系、分值权重、评分标准等内容。省大数据局会同省财政厅通过自评、第三方评价等方式，对专项资金分配使用、项目实施及效果等实施评价。评价结果作为以后年度安排专项资金支持的重要依据。

第二十一条 省大数据局根据绩效评价结果，及时完善资金使用、项目组织等管理制度，不断改进专项资金管理机制。第七章 监督管理

第二十二条 各市(州)、贵安新区大数据管理部门应于每年年底前向省大数据局报告本地区项目实施情况。项目完工后，项目承担单位应提交项目验收申请，中央在黔企业、省属企业项目以及各地重大项目由省大数据局、项目主管部门会同省财政厅组织验收;其它项目可由省大数据局委托各市(州)、贵安新区大数据管理部门会同同级财政部门组织验收，验收结果报省大数据局备案。

第二十三条 省大数据局对专项资金使用情况进行监督检查，必要时可委托社会中介机构进行审计或评估。各级大数据管理部门对项目实施情况进行监督检查。

第二十四条 专项资金应当用于规定的支持方向和重点。对使用不当、或者达不到申报规定的项目单位，省大数据局、省财政厅根据具体情况有权作出整改、收回等分类处理措施。对违反规定使用、骗取资金的行为，该项目单位三年内不得申请专项资金扶持。根据项目单位失信情况，省大数据局按有关规定向省公共信用信息服务平台提供不良信用记录。

第二十五条 各级有关部门及财政部门工作人员在资金分配、审批、复核工作中存在违规分配资金的，以及其他滥用职权、玩忽职守、徇私舞弊等违法违纪行为的，按照《预算法》、《公务员法》、《行政监察法》、《财政违法行为处罚处分条例》等国家有关规定追究相应责任;涉嫌犯罪的，移送司法机关处理。

第八章 附则

大数据改变国家管理方式 篇3

今年初，美国总统奥巴马宣布以2 亿美元投资大数据领域，美国政府将数据定义为“未来的新石油”。

从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。掌握这一技术已经成为一种新的竞争优势，一类新的经济资产。之于商业，它就如企业巨轮远航的一片蓝海，而它又不只是企业的“专利”；之于政府，应用好大数据，是构建高效服务型政府的关键。

“统计学在最近几年发展非常快，今后也将更多地应用于社会的各个领域，大数据时代即将来临。”胡善庆告诉《支点》记者。目前在美国乔治华盛顿大学担任客座教授的胡善庆，曾于2004 年到2012 年间担任美国统计局和商务部的高级顾问。

小时候跟随父母移民美国的胡善庆，对于统计学有着天生爱好。在乔治华盛顿大学取得数理统计学博士学位后，他便进入美国政府部门工作。2000年，他被任命为能源部首任国家申诉专员，此前还曾担任联邦农业部民权司副司长，负责管理信息科技以及申诉等事务。如今，身为著名统计学家的胡善庆，同时也是美国“百人会”调研委员会主席。

作为一个快速成长的经济大国，中国的统计数字也日益受到重视，并对世界具有重大影响力。“我是希望能有机会到中国多走走，增长见识。兴趣所在是利用学历经验，为社团学术界提供扶助创新机会。”胡善庆说，中国有非常广阔的大数据应用市场。

以下，是《支点》记者与胡善庆博士的对话。

传统数据统计模式的终结

《支点》：如今在数据大爆炸时代，传统的统计方法存在哪些局限性？

胡善庆：上个世纪，各国人口和经济的测量与推论主要采用的是传统的普查以及随机抽样调查的方式，这两种数据统计方法对各国政策制定和信息传递都是非常重要的。

但就普查而言，虽然过去许多世纪都证明了它的重要性，不过它确实存在一些众所周知的实际弱点。因为，人类活动是连续和动态的，但普查只能为一个指定的普查日子或短暂时期提供一个比较全面的速映，更多的时间被花费在数据处理、分析及报告结果上。通常普查结果在被宣布时，它们已经过时了。

在中国进行人口调查，其复杂程度难以想象。抽样数据的获得需要同31 个省市区、4800 个村庄、4420 个镇区和2133 个城区中的150 万人面谈才行。

同时，大部分国家，甚至发达国家，都面对严格的财政预算限制。现在的高费用、低回收的普查和调查办法否定了它们新引进或扩张一贯做法的可能性。全球普查和调查反应率下降亦把问题搞得复杂。比如，在美国，尽管多方计划和努力，其2010年的普查参与率仅仅达到2000 年的74%。到了个人面谈的地步，普查平均费用升到每户56 美元，超过最初的邮寄费用的100 倍。

在数据大爆炸时代，国家统计局面对的真实挑战是令人畏惧的，20 世纪的统计系统不能满足21世纪的需求。应用政府统计的网民正在快速地在数字和广度方面增加。他们需要更广泛、更动态、更及时的数据，并能容易地存取和了解，但现有方法必需的资源和时间都不可得或不能负担。

《支点》：与之前相比，21 世纪的统计系统发生了怎样的变化？“大数据”对政府工作和企业生产带来了哪些改变？

胡善庆：根据南加州大学的一项研究，世界电子储藏数量在2002 年第一次超越了非电子储藏数量。在2007 年，地球上至少94% 的所有资讯都以电子形式储藏。于是，数据可以没有抽取样品的需要或考虑，可将其完整地电子化直接输入机器处理和计算。

电子储藏的快速发展也带来了21 世纪统计系统和方法的改变，纵向数据的研究成为可能。所谓纵向数据，是对同一单位（ 例如一个工人、一位学生、一个家庭、一门生意、一所学校或一座医院） 在时间上重复观察所得的数据。它能在个体水平提供独特的底线和变化计量。

大数据是一个有关非常大量电子数据的新用词，它很可能不是根据传统统计系统的结构和概率原则而进行收集的。行政记录、社会媒体、条码和电波扫描仪、运输感应器、能源和环境监视器、在线交易、流影像和人造卫星图像，这些都是大数据来源和爆发生长的因素。

私营企业在生产大数据已领先起步，组合政府的统计，发展数据挖掘技术和方法来识别潜在的消费者、扩张市场、测试新产品、并抽取新讯息以作其他市场及客户研究。有些情况下，他们甚至可向传统的政府功能挑战。例如，一些社会媒体搜索的言词被用来做感冒的指标，它的表现不比公共卫生机关的指标差，在及时方面也更胜一筹。

尽管政府统计在大数据汪洋中的分量逐渐减少，但它仍然拥有其支持全球化的经济体制及解决不断扩张的社会需求的独特重要。然而，当我们活在可以数秒钟内上网搜索展示百万计的结果和国际股票市场日夜即时报道成交数据的时代，要等多月甚至多年才可收集、处理、发放在地理、企业与人口都有限制的静态结果将失去它的意义。

大数据改变国家管理方式

《支点》：在大数据应用方面，国外有哪些成功的先例？

胡善庆：一些国家已开始建造有关就业、教育和公共卫生的公众纵向数据计划。这些计划虽在不同的发展阶段，但提供了在大数据时代建造和维持广泛、详细动态统计系统是可行的令人鼓舞消息，虽然它们仍然有许多挑战存在。

在美国，联邦政府已经和所有54 个州、直辖市和地区政府签订协议，保障每州每季不断提供工人和雇主的失业保险记录。这个数据系统是设计来跟踪和每三个月更新超过1.4 亿工人的就业状态与薪资，和超过1000 万雇主（ 包括自我雇用的） 的状态，同时仍然继续严格地利用法律、政策、隔离、技术各种方法保护每一个工人和雇主的隐私。

这个纵向数据系统已经成功地鼓励建造创新、实际的在线应用来推进新数据的使用， 例如时间序列指标用前所未有的人口和地理细节来描述美国劳动人口的动态变化。

在比利时，2011 年发起了一项“比利时纵向健康资讯系统计划”，把有关健康数据定义为“所有个人资料有关过去、现在及未来的身体及精神健康情况”。研究重心集中在健康的纵观并参考其他国际计划包括加拿大、丹麦和英国。

《支点》：国外在大数据的应用方面存在哪些问题，对我们有哪些启示？

胡善庆：举例来说，美国人口普查局和劳工统计局维持二个分隔的商务登记系统。每个登记系统应该包括所有美国企业，因为它们都是框架用来替普查和调查抽取样本，构成包括国家经济指标的重要信息。然而，由于他们的独立来源和自然的动态，这二个登记系统在公司数字和他们的薪资账册和就业人口有可观的出入。虽然过去十年有进步，但一个来源的商务登记系统还没有在美国浮现。

白宫在2012 年3 月宣布“大数据研究和发展计划”开始，提供2 亿美元新的研究和发展投资，改进从庞大、复杂的电子数据中提取知识和洞察力的能力。因此联邦政府继续努力把大数据引导集中到美国各个统计局内。世界各国包括中国亦需要同样的高层政府资金、承诺和领导，特别是有关数据透明与公开的政策。

同时，大数据时代的隐私也变得异常敏感和重要。组集和维持广泛、动态的统计系统需要大量的敏感个人的和商务数据。然而，以统计摘要的形式分析结果，又必须消除任何暴露个人和企业身份的可能性。个人和企业理所当然地应该关心和了解他们的隐私是如何受到保护，并绝对防止无意误用或恶意滥用他们的数据。数据安全亦要有最严格的保护，防止任何对系统数据及发布统计的干预和变更。

中国有非常广阔的大数据应用市场

支点：对于近期中国关于大数据议题的爆发性热议，您怎么看？

胡善庆：其实中国关于大数据的应用也早有先例。中国自2009 年开始进行公共卫生健康改革，它的基本体系包括建造一个含13 亿民众的纵向电子健康记录系统。据报道，它的主要政策已经成立，基本记录内容正准备起步。

值得注意的一个案例，是阿里巴巴集团付出的研究努力，它每天有数以百万计的公司使用它的网站和数以十亿元计的电子商务交易，这些海量数据能够帮助阿里巴巴对商业市场进行多维度的分析和预测。

中国对顶端质量统计的需要少不了大数据的参与。中国第十二个五年计划的许多主要目标都是以数量定义。当中国正在从一个出口国家转型到一个消费型国家，每个目标的状态和进展都要被可信、可靠和及时的统计量和指标测量评估。

当中国经济成长最近降温，了解最新趋势和帮助中途更正或改航都需要深入的数据。中国崛起成为经济大国，它的统计量和指标对全球经济有巨大影响。谚语有说，中国打喷嚏，其他国家都感冒了。

《支点》：如何看待大数据未来的应用前景？

胡善庆：大数据不只是反映现代科技进步对改善统计计算的需求，它是向传统统计专业的一场挑战，并要鼓舞创新思维和发展的一场大革命，这相似于随机抽样方法在1895 年被介绍时那样。

使用大数据革命性和创新性地建造21 世纪的统计系统需要跨学科的专业知识，包括统计学、计算机科学、地理学和经济、教育、能源、环境、医疗和运输等专业。学术界具有培育未来的“数据科学家”、并发展理论支持的重任。

管理系统以及大数据 篇4

1 大数据时代的电子商务

21世纪,大数据已逐渐成为全球性语言。大数据是物联网、云计算之后的互联网产业又一次颠覆性的技术变革。图灵奖的获得者吉姆·格雷(Jim Gray)和IDC公司曾预测,全球数据量将每18个月翻一番。大数据时代的到来,改变了人们对数据原有的认识和态度。在这个时代,数据可以说话,没有数据就没有话语权,没有数据的支撑,一切的设想都将成为空谈。尤其对于电子商务企业来说,数据的拥有量直接决定了企业的市场占有率。据统计,淘宝网每日新增的交易数据达10TB;e Bay分析平台日处理数据量高达100PB,超过了美国纳斯达克交易所全天的数据处理量;亚马逊每秒钟处理72.9笔订单[2]。电子商务作为互联网时代的新兴产业,每天都会有庞大的访问量以及交易数据的产生,这些数据能够全面的获取客户的行为信息以及挖掘出客户的未来需求,这对于电子商务企业了解市场需求,及时调整企业战略有重要作用。电商可以利用整合出来的数据对每个客户进行个性化的推荐,逐渐提高企业在消费者心中的地位,实现企业增值[3]。与此同时电子商务平台汇聚了大量客户资料及购买信息,如果此类信息泄露,或者是被不法分子窃取,将会对客户造成很大的损失。而大数据技术能够在复杂多变的各类事务的行为中发现异常点,通过对异常点的捕捉,进行对比分析从而主动防御。以此来降低交易风险,形成较为安全的电子商务交易体系。

2 大数据时代下电子商务存在的安全问题

数据往往是电商企业的核心资源,代表着企业的核心竞争力。然而由于数据量的庞大以及数据形式的多样化导致企业的数据难以有效管理,数据安全也无法得到保证。而且互联网作为电子商务活动的重要支撑,也是信息传递的第一道防线,影响着电子商务中的信息流通,其安全性也直接影响着信息传递的质量。在大数据时代电子商务存在的安全问题主要分为以下几点来进行说明:

2.1 计算机网络安全威胁

2.1.1 黑客攻击。

这在计算机网络中是比较常见的现象,其在电子商务平台中,也对支付安全提出了巨大的挑战。黑客利用网上支付系统的漏洞篡改网页、非法侵入服务器或主机、植入木马、窃取用户的个人信息,或是对支付系统进行恶意的修改来影响支付系统的正常运行,这将对个人及社会造成很大的危害。

2.1.2 拒绝服务攻击(Dos)。

这是一种破坏性的攻击,通过合法请求和软件漏洞占用大量的网络资源,增加服务器系统的负荷,造成服务器没有剩余资源为其他应用提供服务的攻击。并且拒绝服务对破坏者的技术要求相对较低,因此这种攻击实施起来较为简单。但是由于其攻击目标是服务器,在大数据时代,服务器瘫痪所造成的后果是相当严重的,其拒绝所有用户的正常访问,极有可能造成整个系统的瘫痪。

2.2 用户隐私安全问题

数据的开放性是大数据的重要特征之一,而这些数据都承载着客户的大量的隐私信息。正如美国著名的计算机专家迪博德所言,在信息时代,计算机内的每一个数据、每一个字节,都是构成一个隐私的血肉。大数据时代的这些数据也是实现个性化服务和精准推送服务的重要因素,但是开放性就必然涉及用户数据的安全性和隐私性的问题。

2.3 电子商务交易信用安全问题

交易双方的信用等级是决定双方是否交易的基本指标。与欧美国家相比,中国目前还缺乏成熟的信用机制来支撑电子商务的发展。在电子商务时代,交易双方都具有虚拟性,交易双方的身份以及信用等级不易确认,假冒身份骗取用户钱财以及交易抵赖的事件近些年来也是屡见不鲜。在这种情形下,我们急需利用大数据技术建立线上每个用户的信用等级以及身份确认机制,使中国的电子商务环境逐渐改善。

3 大数据对电子商务发展的影响

电子商务的出现顺应了时代的发展潮流,其发展必将持续快速地进行下去。而在这个过程中将会带来更大的数据总量以及更加复杂的数据形式,数据的安全机制也会逐渐完善。马云在台湾大学的演讲中提到,未来的时代将不是IT时代,而是DT(Data Technology数据科技)的时代。由此可看出阿里巴巴对大数据的重视。可以说大数据是电子商务企业的生命线,没有了数据的电子商务企业也将不复存在。大数据对电子商务发展的影响有如以下几个方面:

3.1 进行数据挖掘,对市场准确定位

随着数据量的增多,机器学习中训练集也将变得更具有代表性,当然这其中会有噪声,我们需要选择合适的算法去噪。通过对大数据的挖掘,可以为企业提供准确的数据分析,从中可以获得帮助进行企业决策的关键性数据。电子商务作为未来主要的商业模式,以巨大的访问量和交易数据为基础,利用数据挖掘技术,可以将企业的数据资源转化为有效的信息来帮助企业决策,创新营销模式,提供实时的数据反馈,从而使企业在市场竞争中获得优势地位。

3.2 提升用户体验

大数据正在逐渐地改变着人们的生活方式,扩展着人们的生活范围。通过对大数据的挖掘可以做到比客户更了解客户。针对客户的消费习惯以及消费需求,生产更加多样的产品为客户提供个性化、人性化的服务,不断健全和完善企业的服务体系,使服务更加优化,产品更加优良,客户更加满意。不断提升用户体验,获得用户的好评和消费心理的依赖,得到用户的信任使其成为自己的忠诚客户,最终使其成为企业的核心竞争力。

3.3 提高弹性处理能力

电子商务信息处理系统的工作性质要求能够在有限的时间内做出反应,去应对突然出现各种问题。聚美优品在其三周年店庆活动时,由于流量激增,网站频繁宕机,使用户体验极差,也给企业自身带来了很大的经济损失。随着大数据时代的到来这些问题的出现都是由于用户的并发访问与商家营销活动造成的大量订单数据导致的,这就需要电子商务平台在面临突然增长的业务量时要具有弹性的扩容能力。大数据时代的到来给企业的弹性处理能力提出了更高的要求。

4 结语

大数据时代的电子商务是一场新的技术和商务的革命,企业应该抓住机遇,更新思维,合理的利用和开采资源,重视电子商务的数据安全,利用大数据技术和创新思维逐渐改善现有的产品和服务,推进企业与客户的进一步融合,提升客户的忠诚度,实现企业增值,提高企业的市场占有率。

参考文献

[1]中国互联网信息中心2015年中国网络购物市场研究报告[R].http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/dzswbg.

大数据与信息管理论文 篇5

关键词:信息化;招标代理;企业管理

一、高校档案管理工作面临的现状

第一，重视程度不够。由于高校对档案管理重视程度不够，在档案管理工作中，沿用传统的工作模式，对档案进行人工检索、整理、立卷和归档。即使大部分高校引进了先进的计算机设备，但是仍然只是发挥基本的输入、输出功能。由于缺乏现代化的管理系统，使得高校的档案管理工作繁琐，效率低下，限制了档案管理的价值。教师及学生的`档案采集不全，档案卷内目录填写不完整，档案序号、文件编号、责任者、卷内文件的起始时间等信息有遗漏，档案文件保密级别不限定。第二，从事档案管理的人员素质不够。部分高校没有严格按照规定，完成档案管理工作，甚至缺乏专门的档案管理，只是简单的将档案堆在墙角里，使得档案丢失，这给档案查找工作带来非常大的困难。而且从事档案管理的人员，大部分是为了解决高校代课老师或教授配偶的工作，临时安排的，他们大部分人员缺乏计算机操作技能，不能利用计算机技术对档案信息进行开发和研究，并且缺乏工作积极性。第三，档案管理平台不健全。近些年来，高校电子文档、表格、音频、视频等各种数据信息，种类繁杂，这些庞大的数据信息难以有效的管理及存储。高校档案数据资源不断扩张，若不引入虚拟云存储技术，就有可能引发资源存储容量不够，导致数据库膨胀危险。

二、大数据技术在高校档案管理中的应用

大数据的意义不是数据信息庞大，而是对数据信息进行高质量的处理。面对大数据时代的到来，高校如何在招生、教学、管理、就业方面进行大数据整合和管理，为高校的发展提供技术支持，是学校发展的重点工作。目前，很多学校已经建立了信息门户、统一用户管理与身份认证、综合信息服务门户，已经在信息管理中取得了进步，但是目前高校档案管理仍存在很多挑战。第一，组织维度。高校内各个部门应该优势互补，实现不同类型的大数据资源的优质整合。例如在高校内各部门建立数据管理机构、将数据整合和管理常态化，该机构由各个部门分管领导直接负责，协调部门内部事务，并将数据整合工作纳入年终评价体系，保障数据整合工作的效果。为加强高校档案管理，建议高校成立活动领导小组和工作小组。如下：其一，领导小组。组长;副组长;成员;职责;其二，工作小组。组长;副组长;成员;职责：统筹安排档案管理，研究制定管理措施;负责对档案信息进行协调、监督、考核。工作小组办公室设在公司后勤，负责日常工作联系及相关组织工作。第二，数据维度。高校档案来源丰富，包括教师和学生的人事档案、学籍档案、医疗保健档案、试题库、学校的基建档案、学校的资产档案、财务原始报销凭证、公文、电子邮件等。在档案大数据应用时，要将档案资源进行数据模型的转换，将二维的信息转换为多维的模型。第三，技术维度。在高校大数据时代，信息应用服务引领高校档案由常规分析向广度、深度分析转变。师生用户可以共享档案信息，并从海量档案信息中，挖掘出自己可用的信息，并从这些信息资源中进行价值判断和趋势分析，找出用户和档案之间的逻辑关系。4G移动通信终端、云技术与云存储服务、校园APP等媒介渠道的引入，可以解决档案资源存储的问题。

三、大数据技术在高校档案管理中应用的有效措施

第一，增强服务意识，提高服务水平，争取领导重视。大数据时代的来临，档案管理工作会面临许多新情况、新特点、新问题。实现现代化的管理，需要提高领导干部的档案意识，配备先进的设备，实现档案管理的现代化，网络化。第二，加强档案管理教育培训，提高管理人员的综合素质。大数据的管理不在是传统的简单数据和信息的归集，在信息化管理工作中，提高管理人员的素质是有必要的。加强人才培养，实现竞争上岗，培训上岗，加强业务宣贯，为档案管理创造一个新台阶。第三，提高档案管理信息化利用水平。引进现代化档案管理设备，用于快速档案查阅、检索、分析，提高工作效率，实现档案管理的现代化办公。一是加大资金投入，不断完善档案信息数据库，不断摸索档案应用软件和实际工作的结合，建立可行的档案信息系统，提高档案数据的实用性，使得档案查阅更快捷、更方便、更可靠。二是建立规范的制度保障体系，提高信息化管理的技术水平。

四、结束语

今年两会，大数据第一次出现在政府的工作报告中，这表明，大数据已经上升到国家层面。为了适应大数据时期，档案管理工作对管理人员的要求越来越高，学习现代计算机技术、网络技术、多媒体技术，跟上当代时代的节拍，对高校的发展有着重要的意义。

作者:张贤恩 高秀英 单位:枣庄市团校

参考文献：

[1]杨似海，闫其春.大数据背景下的高校图书馆档案管理策略研究[J].四川图书馆学报，，4(35):81.

[2]傅笑然.大数据背景下高校教学档案管理探析[J].财会通讯，，19(128):80-82.

大数据“绝缘”人力资源管理？ 篇6

可是，虽然很多专业HR擅长利用数据，也有不少HR认为自己已经把大数据工作方式引入企业，但事实绝非如此。

何谓人力资源管理的大数据化

大数据有4V特点，即Volume（大量）、Velocity（高速产生）、Variety（多样性）、Veracity（真实性）。由于它是自动提取，保证数据源充分，随时刷新等特点，在大多数领域都能够精准地指导资源分配。

人力资源管理是关于分配人和相关资源（培养、激励资源）的工作，如果借助大数据，将人和其他资源数据化，再用算法进行匹配，显然有无限的想象空间。那具体该怎么操作？

首先，应该把人数据化，清楚地知道“人是怎样的”。这包括，他的能力如何？行为特征如何？绩效表现如何？

第二，将岗位数据化，明确每个岗位需要什么样的人，进而使组织机构、业务流程、岗位系统不再成为员工释放能力的边界，员工还能跨岗位担纲其他角色，以网络化的方式无边界协作，进一步将人用到极致，将人工成本投产比放到最大。

第三，将培训资源（培训内容、形式等）数据化，便可组织、推送员工最需要的培训支持，每个人获得的培训都是高度定制化的、自己最需要的，且学来能用，用来能好，从学习到实践产出的过程几乎没有损耗。

第四，将激励资源数据化，每个人获得的激励都是高度定制化的、自己最需要的，同样的成本支出，每个人对于全面薪酬的感知可以放大到极限。

HR误会了大数据

事实上，专业HR都玩数据，他们测试员工的胜任力、评估岗位、考核绩效，利用数据进行决策。用数据分析来为自己的岗位建立“技术刚性”，难道这就是大数据吗？

大数据是指一般软件工具难以捕捉、管理和分析的大容量数据，数据量大到以“TB”为单位。而一个万人的企业，即使你把胜任力、绩效、岗位、SOP等传统数据完全纳入，顶多只能用“GB”为单位，体量相差甚远。HR们以为数据量已经足够庞大，难以处理。可实际上，这种数据量通过本地软件的计算能力（甚至直接用excel表）就可解决，根本无须运用到互联网上的云计算，这显然不是大数据。

为何达不到大数据的体量？关键还在于HR对于数据的理解。HR采集数据的传统思路是“先有思考框架，再收集相应数据”。数据大多来自数据生成之后，才用报表要求基层有选择地逐级上报，这大大损耗了数据量。例如，考核某个员工的绩效，HR会在其工作完成之后才要求直线经理根据考核指标进行数据收集，而后计算汇总，最后上报人力资源部。

这种思路使得传统数据具有典型的“非大数据特征”，这大大制约了数据所能发挥的威力。

其一，这些传统数据是“冷备份”而非“热备份”。冷备份即生成之后再调用，成本极高，收集数据的过程已经让HR苦不堪言，他们需要不断催告业务部门，还要一遍一遍地付出教育成本，确保统计口径统一。热备份则是数据随着工作流无意识产生，只要员工开展工作，自然有数据往“云平台”上跑，而且这些数据也能被平台的计算功能即时处理。

其二，这些数据是“报表数据”而非“源数据”。报表数据是经过处理后的数据，例如某餐饮企业里，员工某天接待顾客的数量。而源数据则是指未经过处理的数据，是对于工作流全面的呈现。而员工在某个具体时点接待了某个年龄层的顾客，很大程度上意味着服务难度（如接待时长多少，提供服务次数）。员工A某天服务顾客数可能是员工B的两倍，如果我们仅仅关注这个报表数据，可能得出A绩效优于B的结论。但若关注源数据就可能发现，B服务每个顾客的接待时长是A的三倍，为每个顾客提供的服务次数是A的两倍……这些都是有价值的信息！NBA球队休斯顿火箭队的总经理莫雷正是基于这些源数据的分析，从低顺位（选秀时靠后的选秀机会）中选出了那些被报表数据淹没的高潜质球员。

其三，这些数据是“样本”而非“全貌”。由于是在某个时点上针对某些领域提取数据，数据仅仅是样本，而非全貌。只要是样本，就可能出现偏差。例如，有的咨询公司在为企业进行敬业度调查时，采用了采样方式，即使样本特别庞大，这也不是大数据。这种情况下，可能有抽样偏差，员工可能被问卷带着走，被访谈的气氛诱导，尽管我们可以通过各类技术减少这些干扰。但如果他们在论坛、微博、微信等社交工具上对所有员工的发言进行关键词的抓取和分析，甚至对于员工的行为进行各种分析（如出勤时间、加班时间、协作次数、申请培训数量等），那才是大数据。这种情况下，几乎不可能出现偏差。

HR跨不过的三道坎

那么，HR能不能推动大数据走入人力资源管理呢？

我认为，很难！这绝不是因为硬件的制约，不少企业已经具备了吸纳数据的可能。但这些数据为何进入不了人力资源管理信息系统？原因有三：

第一是部门博弈问题。业务部门将生产数据导入人力资源管理信息系统，对于部门来说，意味着权力空间被挤占。以前部门争取机构、编制、人员都可以保留一定的裕度，可以和HR们谈判。我调研的一个企业，HR意图建立大数据云平台，这意味着几个生产信息系统要与人力资源管理信息系统整合，业务部门几乎变成透明的了，以致部门领导以安全性为由拒绝了该要求。

第二是HR的恐惧。让打篮球的人去踢足球，他们不会愿意。面对庞大的数据，HR们对于数据的处理能力决定了他们的地位。尽管前景广阔到可以让他们成为企业内的“上帝”，但这种角色的转换也让他们不安，倒不如固守在自己的“安全区域”。

第三是领导思路问题。当前，重视数据的老板不多，是源自内心对传统玩法的依赖。即使在最前沿的互联网行业，也有凡客这样因为不玩数据而使供应链失控的企业。这也难怪，他们过去的成功本来就不是靠数据。所以，这些企业中，一线的业务尚且不玩数据，更何况二线的人力资源管理？但部门博弈和HR的恐惧，偏偏需要一个强势的老板来做顶层设计，如同亚马逊偏执狂一般的贝佐斯。

所以，那些主动拥抱大数据的500强的HR们，不愧是业界先锋，也许，只有当他们用大数据把人力资源管理的大未来实现时，人力资源管理才将真正迎来下一站的“云时代”！

管理系统以及大数据 篇7

经过数年的辛勤工作,ARP系统开发和运维团队针对多个数据查询分析工具进行了自主创新性的开发和研究工作,并且形成了稳定的工具维护和升级机理,基本满足了终端用户的数据查询需求。无论是Discoverer、Report Plat还是润乾报表等工具都具有特定的终端用户群,为数据利用发挥着积极作用,同时中国科学院系统中涌现出了许多能对这些工具进行熟练掌握的优秀终端用户,极大提高了科研管理水平。

本文将通过对目前使用的ARP数据查询分析工具的优缺点的讨论,建议为研究所层级的终端用户建立数据查询公用平台。

首先明确研究所终端用户的分类及需求,大致可以把研究所层级的终端用户分为三类。

(1)所级领导:需要以图形图表的直观方式向此类用户展现研究所人、财、物,总体状况和发展趋势,需要特定数据模型为他们制定研究所总体战略规划提供依据。展示基本状况的数据模型需要涵盖研究所运行的各个方面,并且能够通过网页方式快速生成。这些数据模型一部分根据研究所领导自己提出的统计需求而设计,更多部分是由研究所各科研管理部门的业务人员结合实际工作情况为所领导需求考虑设计。因此,所领导只关心数据结果,不寻求产生这些结果的方式和过程。

(2)研究单元负责人:ARP系统除了日常公共事务涉及到研究所全体员工之外,可以把数据应用只定义到研究单元负责人这一层级,如同所领导需要了解研究所运行的全面信息一样,研究单元负责人也需要了解本研究单元的全面信息,他们需要掌握的数据更为繁琐和细致。这类用户可能既关心整个研究单元的总体经费余额,又关心小到每一个课题单笔支出的情况。,研究单元负责人只有全面了解自己部门的人、财、仪器状况后,才能合理调配本研究单元的科研资源。因此,他们不但需求数据结果,同时还需求自己能够对这些数据进行加工组合。他们不关心产生数据结果的工具,但是可能需要设定各类参数,并希望数据以动态网页的方式根据自己设定的参数展现结果。

(3)科研管理业务人员:此类用户是ARP应用的中坚力量。他们既是ARP数据的生产者又是ARP数据的使用者,既要为研究单元负责人提供项目运行服务又要为研究所领导提供决策支持服务,此类用户使用ARP系统的水平要求也是最高的。作为数据的生产者,他们需要保证录入数据的质量;作为数据使用者,他们需要依靠业务经验从数据中提取有用信息。此类用户既要懂得数据产生过程,又要会使用各类数据查询工具,并且利用这些工具进行数据加工。其它两类用户需求的大部分数据模型都是由科研管理业务人员设计完成的,他们是以上两类用户的业务和技术保障者。但是,鉴于科研业务管理人员不具备IT开发能力,因此ARP系统开发人员需要为他们创造一个良好的公用平台,转化他们设计的数据模型,准确表达他们的管理思想。

目前,ARP系统对三类用户分别设置了不同的信息查询方式,具有针对性强的优点。从ARP系统上线之初对数据的简单处理到目前以多种形式进行有效分析,从中国科学院信息办、ARP中心到研究所的广大基层人员一直努力使ARP系统在科研管理上发挥更大作用。

然而,多工具多形式查询也出现一些问题。例如,使用Discoverer工具,需要对业务数据有深刻理解并具有一定的统计知识和数学函数知识才能做出具有实质内容的表格。至于使用润乾软件制作报表,就更要求具有数据库知识,这也是当前对润乾报表软件缺少技术支持的情况下,它没有发挥应有作用的原因。

而且,即便是具有相同操作水平的人员,使用同一种查询工具,由于责任的不同造成系统工具提取数据的数据源和机理不同,产生的数据结果也具有差异。以一个常见的任务来说明此种差异:让一名财务人员和一名科研项目管理人员都用Discoverer做某一特定课题当前会计期间可用资金余额。科研项目管理人员只能用Discoverer中‘PA_课题收支总表’文件夹下的选项做出课题余额,步骤和结果如图1和2所示。

当然,科研项目管理人员乃至研究单元负责人也可以从信息资源管理与服务平台中财务查询功能里查找到此课题当前期间的经费余额,如图3所示。

财务人员只能用Discoverer中的‘FI_子课题收支结余’或‘FI_子课题可用资金(实时)’这两个文件夹中的数据项查询结果。两个人员查询的分歧就此产生,财务人员与科研项目管理人员虽然设定了同样的约束条件和同样的查询方法,但是查询的速度和结果却存在差异。从图4看出财务人员利用Discoverer查询时间较慢,系统提示查询需要两至三分钟才能完成,而科研项目管理人员在不到一秒的时间内即可得到查询结果,但是两个人员查询到的数值竟然也是不一致的。因此财务人员使用另外一个查询工具Report Plat来完成此任务,用以验证查询结果,方法如图5所示。

采用Report Plat可以在不到一秒的时间内完成查询,查询方式可以选择包含未过账查询和不包含未过账查询,得到的结果分别与财务人员Discoverer查询数据和科研项目管理人员Discoverer查询数据相互一致。通过对这几种查询工具完成同一任务的比较可以看出:数据查询结果和查询时间与查询机理以及查询的数据源密切相关。以下分别对这几种数据查询工具的查询机理和数据源做出说明:

1.财务人员使用Discoverer查询课题可用余额是反映当前时点全部课题资金状况的一种查询方法,它的数据源是查询了课题发生财务账目以来至查询时点为止所有财务凭证,它是实时查询,但却存在查询时间非常缓慢的弊端。

2.科研项目管理人员用Discoverer查询课题可用余额的数据源是通过涵盖了已全部关闭的会计期间内所发生的过账后的会计凭证生成的可用资金实体化试图。直白的讲,它并非是实时可用资金,然而,生成可用资金实体化试图这种方式,数据查询速度非常快,又因为实体化试图中的课题号图4‘FI_子课题收支结余’查询时间信息能直接关联科研项目模块其它课题信息,科研项目管理人员可以利用它制作出多维度课题信息资金报表。

3.财务人员使用的Report Plat工具查询课题可用余额的数据源是每财年过后,年结凭证结转完成的课题余额加上年初至查询时点的所有发生的凭证的金额,它查询速度快并且是实时资金查询。但是,在每年末至下年初财务部门进行年结和财务年度新开帐期间,由于账目中增加了年结凭证,这时采用Report Plat查询课题余额就是不准确的,但是这个时段就恰恰是科研管理部门和研究单元最需要查询资金余额的时段。

4.研究单元负责人所用的信息资源管理与服务平台中的课题余额查询,数据源是ERP总账会计模块中截止到查询时点,包含了已关闭会计期间和正在打开的会计期间中全部已过账凭证的数据,不包含未过账数据,因此产生的数据结果又有可能和以上那些查询方法产生差异。

通过这些分析,做出如下说明:第一、各种数据查询方式针对同一任务产生的数据结果存在差异,但是每个结果都不能被认为是错误的。第二、查询机理和数据源对查询响应时间产生较大影响。即便每种查询结果都没有错误,但是在终端用户之间却产生了较大歧义。举研究所实际发生的案例:其一、财务人员也需求带有课题信息的课题经费数据,由于ERP根据责任权限对数据查询权限进行划分,财务人员反而往往需要从科研项目管理人员那里得到带有课题信息的课题收支表或是研究单元经费总体状况等。但是,财务人员对经费信息要求极为精确,查询差异会导致财务人员对系统的质疑,虽然已经解释了差异原因,但是财务人员总是质疑是否得到了准确的经费信息。其二、研究单元负责人通过信息服务平台查询到的课题经费余额与网上报销系统中计算课题经费余额的方法不同,差异直接影响到了课题组报销借款。研究单元负责人查到的经费余额只统计了包含过账后的经费余额,而网上报销计算课题经费余额是包含过账、未过账、借款未冲销的经费,因此当课题组人员查询某课题还有经费余额时,他们进行网上借款,系统却提示经费已经出现赤字,于是科研人员对ARP系统产生质疑,甚至认为财务核算有错误。所以,如果能对各类终端用户统一查询平台,汲取各种查询工具的优点,避免它们各自缺点,那么ARP的数据应用就能发挥更大效益。

目前的多种查询工具,哪一种经过深入开发更适合作为公共查询平台?

Discoverer由于是Oracle直接产品,与ERP系统关联性强,开发人员容易更新业务区种子,数据查询灵活性高,用户制作查询表格的方式非常方便,可扩展性和易用度也很强,经过培训,容易上手使用。但是Discoverer是客户端软件,无法实现网页集成。只有科研管理人员才能使用,研究单元负责人和所领导既无法也没必要使用Discoverer。而且它的用户权限划分也很严格,查询数据的范围是直接和ERP系统中的责任相关联的,通过它关联各模块共用数据项比较麻烦,因此不适合作为公用数据查询平台。

Report Plat是一种固定数据查询模式,用户无需查询技巧,查询速度比较快,但它也是客户端工具,使用用户范围更为狭窄,不能集成于网页上,也不适合作为公用数据查询平台。

润乾报表工具能够被集成于网页中,表现形式是开发人员发布的带有用户可选择参数的动态网页,能向所有用户开放查询权限。但是,当前各研究所使用版本的润乾报表,对用户业务水平和技术水平要求都比较高,因此它的推广使用程度也是最低的。然而,通过对润乾报表查询机理和数据源分析,润乾报表是有可能成为公用数据查询公用平台的。

润乾报表最大的优势就是不再受ERP系统责任的制约,可以给用户重新分配数据查询权限。业务人员只需设计业务模型,可以向开发人员提出需要哪些ERP中不属于本模块范围的数据项,而不用关心如何得到这些数据项。数据管理员利用后台的开发工具重新建立数据集来满足业务人员需求的数据项。当前版本润乾报表的查询机理如图7示例。

润乾报表可以建立各个模块业务人员的共用数据集,例如:人员基本信息数据集(这里包含了人员所属组织,人员职称、职级变动信息等),课题基本信息数据集(包括了课题所属组织,课题负责人,课题类型,经费来源等),研究所收入支出类型与科目对应数据集,固定资产大型科研仪器数据集等等。当这些共用数据在ERP系统之外进行重新组合,业务人员就可以设计出以前希望得到却又无法实现的创新性数据统计模型。例如:1.人事部门可以调用个人和研究单元的课题信息、经费信息,再结合自有的人事信息,做出研究人员成长评估,展现出研究人员是否随着职称的变动,科研成果也在持续增长,而且还可以把个人关联入研究团队,对整个研究团队做出绩效评估。2.课题管理部门在管理先导项目中,及时获得参与先导项目的人员信息、科研装置信息、支出类型经费信息等,更加主动的管理先导项目,使之按照科学工程规范推进。

建立公用数据查询平台以后,本文之前提出的经费查询问题也能得到有效解决,由于润乾报表在ERP系统外重新组合了数据集,终端用户可以根据自己需要的查询时点和经费要求选择相同的数据源,因此做到了查询数据的一致性。

建立公用数据查询平台后,对于终端用户的技术性要求降低了,中国科学院业务人员可以把注意力集中于如何创造业务数据模型,而从模型到查询的实现再到网页显示可以完全交由开发人员完成。业务人员只需要利用诸如excel等方式列出查询任务需要的数据项和阐明任务目的,开发人员就可以通过技术手段直接在网页上实现。针对所级领导这类终端用户,润乾报表在网页上生成的图形图表,可以直观展现他们需要了解的信息。对于研究单元负责人这类终端用户,润乾报表具有较强的参数设置功能,而且参数都可以通过动态网页形式实时设置,以满足他们的查询需求。

建立公用数据查询平台后,全院业务人员的培训也会更加具有层次化了,今后针对业务人员的培训涉及客户端工具使用的技术问题会更少,而专注于系统本身的业务功能的培训会更深入。但是在研究所层次也需要培养既懂业务又懂技术的高端人才,对这一部分人员需要加强培训,使之成为研究所业务人员和ARP中心开发人员之间的沟通桥梁,以便更好完成对业务需求的开发。

结语:数据应用是ARP核心价值的体现,伴随着ARP系统的不断成长,无论是对现有的工具升级改造建立公用数据查询平台,还是根据需求发展新的工具,ARP数据应用必将呈现蓬勃发展的态势。

摘要：本文通过对ARP系统现有数据查询工具中数据源和查询机理的分析,总结了各种查询工具的优缺点。在此基础上,建议利用其中的一种查询工具——润乾报表,建立一套ARP系统公用数据查询平台。

管理系统以及大数据 篇8

目前的铁路信号系统主要包括两个子系统:交通控制部分和信号控制部分。自律分散技术和保护电路已经广泛用于改善交通控制体系的可靠性和灵敏度。对于信号控制部分而言, 同样需要保证中央处理器和现场设备之间信号传输的正确度与快速性。目前, 国内外部分学者已经提出了将自律分散技术应用于信号控制系统中。

本文提出了将互联网传输、自律分散技术以及数据共享库结合的新型综合铁路信号系统。与目前存在的系统相比, 本文提出的系统有以下三个方面的改进创新: (1) 优化了通过光纤电缆传递的数字信号来控制现场设备的信号系统网络, 使得自律分散系统的各个装置之间能够实现独立通信。同时利用保护措施实现了现场信号设备的在线维修; (2) 引入了数据集合和共享中心, 使得各个信号设备的信息传输更加快速; (3) 逻辑控制器和对应的信号设备都独立集成一台具有高性能且安全可靠的微型处理器。

目前铁路信号控制系统存在的一些问题

铁路信号系统的典型配置由逻辑控制中心和现场设备控制部分组成, 在运行效率方面各自都存在一定的缺陷。

现场设备控制部分的问题

目前的现场设备控制器是安装在室内的, 与每一个现场信号箱的通信是通过大量的金属电缆完成的。为了准确控制信号箱, 需要复杂的逻辑电路产生控制条件信号并经线路传输到现场的设备。因此, 为了达到对现场设备的控制目的, 需要大量的传输线路以及不定期的人工线路巡检, 基于这样的信号传输方式, 极易造成由于人为布线错误引起的交通控制信号混乱。另一方面, 目前的系统缺乏健全的外围保护电路, 不能及时消除线路短路故障引起的系统性能紊乱。因此, 需要对现场设备的控制系统进行优化, 实现综合化控制。

逻辑控制中心的缺陷

逻辑控制中心电路由不同的电子器件组成, 主要完成闭锁、自动停车等功能。尽管集成电路板处于不断的发展中, 但是目前的系统仅仅是从继电器逻辑电路转换到依靠软件编程来实现某一项功能, 因此市场上出现了很多版本的集成电路板。此外, 控制器之间的连接是通过不同类型的接口实现的, 如串行接口、继电器以及以太网等。基于这样的系统配置, 如图1所示, 当增加部分电路模块时, 对现场信号箱、自动停车指示的功能改变较小, 因此逻辑控制器的灵敏度较差。

基于自律分散技术的新型信号运营系统

为了提高信号系统的灵明度和解决1.1、1.2提出的问题, 本文提出的设计方案中引入了自律分散技术。该系统中, 控制所有信号设备逻辑功能的中央处理器和连接现场信号箱的控制器是通过光纤网络连接, 如图2所示, 两者都有独立的CPU去自主的运行。

用于铁路机车运营的网络传输系统

本文将自律分散技术应用于铁路站台的网络信号系统, 具体的系统配置由逻辑控制中心、现场控制设备、网络传输以及实时监测部分组成。逻辑控制中心向现场的控制器发出总的控制信号, 用于完成整个铁路网的信号闭锁、自动停车以及间接控制现场信号箱等关键性功能。同时具有实现机车运行、机车停止以及机车维护的模式转换功能。每一个功能都由通过独立的控制器实现, 部分控制器不再是传统的集成电路。现场信号箱的功能是通过继电器动作实现的, 首先将这些功能绘制成软件流程图, 配合相应的硬件电路集成到一台可靠的微机控制器来实现。

通信网络协议用于实现人机交互功能的信号传递。例如, 系统维护中需要进行机车工作模式转换, 借助通信协议, 工作人员向目标设备发出相关信号, 目标设备向上位机反馈相应的检验加密码。工作人员依照通信规约将安全码转换成可识别信息, 并且将该识别信息发送给现场设备控制器, 用以再次确认命令的正确性。

通信消息主要包括命令信息和安全校验信息两部分。命令信息包括接收地址、被控制设备的动作指令例如:开关转换方向、模式转变 (正常、检修) 等。安全检验信息包括序列号、时间溢出标志位、反位码以及循环冗余校验码, 这一部分用于检查计时和信息发送/接受出现的错误, 一当发现有错误, 系统的信号设备转换为安全模式。其中的时间标志位用于判断信号是否保持同步通信。

目前的信号设备与断路器、隔离开关相连, 在开关驱动电路中, 用于控制设备的信号和传输介质是一体的。因此当现场的控制设备需要更换时, 需要进行逻辑测试, 由于电力驱动器件不等同时具有多个模式, 因此在线维护存在很大的限制。在依靠数据流驱动的系统中, 传递的信息与介质是独立分开的, 因此当更换装置的时候不需要测试逻辑可行性。现场控制设备的运营模式同样包含在控制数据流中, 因而诸如机车运营和在线维修这样的多种模式能够并存, 具有很高的安全性能。

自律分散技术在逻辑控制中的应用

为了解决1.2节存在的缺陷, 本文提出了基于自律分散技术的重组逻辑控制单元。系统局部变换对整体性能的影响是可估计的, 同时改善了系统结构的灵活性。目前应用的系统结构中, 每一个信号设备的控制逻辑电源是集中化的, 信息的交换直接通过可设置优先级别的网络接口。因此当逻辑关系变化或者功能变化时产生的影响难以估测。另一方面, 在自律分散结构中, 所有的信息交换都是通过数据中心完成的, 因此容易估测逻辑关系功能变化产生的影响。

信号控制逻辑单元主要包括闭锁和信号跟踪控制装置。闭锁装置是为了铁路站进行机车运营控制时的安全性设置的, 完成多个机车并发运行的调度功能。信号跟踪控制器能够根据现场的控制设备、停车指示以及分叉口监测反馈的信息来自动跟踪列车的运行轨迹。自律子系统是一个抽象的信号设备, 和现场的一个和多个信号设备相对应。例如, R和现场的信号指示灯以及变轨指示对应, T和运行跟踪电路对应。每一个子系统都配置有独立的软件程序模块, 完成对现场设备的逻辑指令以及各种保护功能。同时, 每一个子系统将各自的状态信息上传到数据中心, 同时从数据中心读取其他子系统的状态信息。因此, 实现各个子系统的独立运行功能。数据中心由多条分航线构成, 主要包括互锁和列车跟踪信息。其中分航线是列车检测和开关指示区域定义的抽象数据。每一条分航线具有不同的ID, 和子系统以及子航线对应的内容代码。自律子系统自带3个接口用于和外部系统进行通信:操作员、信号设备以及机车车辆。

逻辑控制中心将现场信号设备的部分功能分配给现场控制装置的软件程序, 现场控制装置分析被控制信号设备的逻辑控制关系并将分析结果与相邻的控制设备交换, 从而实现整个系统信号设备的正常运作。当现场控制处理器带有上述软件功能时, 现场的信号设备相当于一台独立运行的微小系统。各个“小系统”之间通过以太网传输协议交换各自的运行状态信息。

在系统调试的过程中, 需要实时监测各个信号设备之间的合作程度, 不断优化硬件电路以及传输路径和方法, 实现机车运作的有效控制。信号系统数据中心会收集到各个信号设备的运行状态以及相互的配合度, 从而实现了各个设备的自律分散运行。

结束语

管理系统以及大数据 篇9

由于传统存储设备容量、传输带宽有限,而且设备节点扩展难、使用难、数据管理难,不足以应付不断增长数据的存储要求,对于需要面向不同地域分布的用户进行服务更是无力应对。随着信息化基础设施的不断完善、大数据技术突飞猛进的发展,使得构建一种支持大数据架构存储的集群式数据管理系统成为可能。

1 关键技术点

1.1 集群技术

集群是将一组独立的计算机系统通过网络有机连接,主要解决高可用性、高性能计算、扩展性等问题。

集群的模式主要包括两种模式,负载均衡和冗余模式模式。

对于负载均衡,目前比较常用的负载均衡技术主要有基于DNS的负载均衡[2]、反向代理负载均衡和基于NAT(Net Address Translation)的负载均衡。

基于DNS负载均衡是通过DNS服务中的域名解析来实现负载均衡,在DNS服务器中,可以为多个不同的地址配置同一个名字,而最终查询这个名字的客户机将在解析这个名字时得到其中一个地址。因此,对于同一个名字,不同的客户机会得到不同的地址,他们也就访问不同地址上的WEB服务器,从而达到负载均衡的目的。

反向代理负载均衡使用代理服务器可以按照某种算法将会话连接均匀地转发给多台内部服务器,从而达到负载均衡的目的。

基于NAT的负载均衡技术使用内部地址和外部地址之间进行转换,以便具备内部地址的计算机能访问外部网络,而当外部网络中的计算机访问地址网关拥有的某一外部地址时,地址转换网关能将其转发到一个映射的内部地址上。这样,地址转换网关能将每个链接均匀转换为不同的内部服务器地址,从而达到负载分担的目的。

对于冗余模式,主要分为全冗余备份、互为冗余备份、中央备份服务器三种模式。

全冗余模式:集群中的每台服务器都会备份其它服务器的Session,当一台服务器发生故障,可以失败转移到其它任意一台服务器上。

互为冗余备份:A会有B的数据,B会有C的数据,C会有A的数据,如果A出错,就会由C接替A的工作。

中央备份服务器:N+1模式,一个中央Server存放所有Session,如果一台Server宕机,接管的Server就从中央服务器恢复相关Session数据。

1.2 分布式存储计算平台

Hadoop是Apache软件基金会所研发的开放源码项目,它是一个分布式存储计算平台,可以在其上开发和运行处理海量数据。让用户通过跨集群的计算机完成大型数据集的分布式处理任务。用户可以利用该框架在大量廉价计算机上构建一个具有高可靠和良好扩展性的分布式处理系统[3]。

它的两大核心内容为[4]:分布式文件系统(Hadoop distributed file system,HDFS),是分布式计算中数据存储管理的基础,具有高吞吐量数据访问能力、高容错性、高可靠性和高扩展性等提点,可用于存储海量级别的数据(Tbyte甚至Pbyte);Map Reduce(Google Map Reduce的开源实现)算法模型,是一种编程规范,2004年Google研究员通过对网页存储和并行分析处理研究后,在文献[5]提出该模型,并在ACM等多个期刊上转载[6,7],Map Reduce用于处理大规模数据集的计算模型,它可以将一个应用程序分解为多个并行计算指令,依靠大量的计算节点完成数据集的分布式计算,用户通过编写Map和Reduce两个函数来完成对应的逻辑功能,实现分布式处理的模型和算法,原理如图1所示[8]。

HDFS文件系统使用副本存储策略来实现高可靠性。系统的冗余因子一般为3,分别位于3个Data Node上,其中一个位于不同集群上,当一个Data Node出现故障后,其保存的数据仍然可以通过其他Data Node上保存的数据进行读取网络断开会造成一组Data Node和Data Node失去联系,Name Node根据缺失的心跳信息判断故障情况。当一个在Data Node出现故障,这时Name Node就再复制该Data Node的副本并存储到其他Data Node上,以此来保证系统的高可靠性。当用户需要访问文件系统中的文件时,都需要向Name Node提交请求,获得相应的权限后,再对Data Node进行读或写[2]。系统原理如图2所示[10]。

2 系统方案

2.1 需求分析

现有的数据文件管理系统大都基于FTP客户端和本地磁盘阵列完成的简单数据管理系统,不具备分布式扩展能力,而且客户端使用不方便、与客户业务结合不紧密,不支持多客户并行使用及海量数据文件的管理。

本方案建立一套在大数据集群架构层面的利用WEB技术进行管理的数据管理系统,提供统一的门户网站,支持接口一致的数据获取和下载访问,支持对数据权限的细粒度分配,包括组织架构设置、任务设置、审批流程的设置等。

基于大数据集群架构的数据文件管理系统应具备以下特点。

(1)统一的门户:提供用户管理、文件管理、任务管理、组织架构设置、审批流程控制等全面的控制能力。

(2)随时接入与访问数据:能够在任何终端、平台登录系统,接入和访问数据。

(3)高扩展性:能够通过堆叠硬件,零配置增加存储能力且用户访问能力不降低的系统性能。

(4)高可靠:系统具有冗余能力,在单点损坏的情况下能够报警并自动启用冗余节点。

(5)高安全性:系统具有统一认证的权限控制能力,防止非法用户访问未授权数据。

2.2 系统架构

大数据集群架构的数据管理系统是以数据管理和存储为核心的计算平台,它的内涵主要是在分布式存储平台基础上,通过集群应用、网络技术和分布式文件系统等技术,将网路中大量不同类型的存储设备集合起来协同工作,共同对外提供数据存储和业务访问功能,并能够保证数据的安全性并节约存储空间。实现了存储介质的互联和数据的统一管理、共享、冲突解决、透明存储、容错容灾、一致性及数据迁移等功能,传统存储设备主要是指简单的硬件,例如:阵列、光纤存储等,而大数据集群架构的组成则是存储设备、网络设备、应用软件、服务器、访问接口等多部分的高效组合。基于大数据集群架构的数据管理系统主要由3层组成,它是一种典型的层次结构。

存储层的设备主要是指最底层设备,包括:Nas、FC、i SCSI等,统一由上一层的虚拟化管理设备进行集中管理,对底层设备进行状态监视和审计维护等。考虑到就近服务的要求,以提高当地用户的体验,并增加抗毁性,可以把存储集群分布在不同的区域,各个区域间的集群通过网络互联形成逻辑上对用户透明的存储设备。

基础管理层是核心层,通过利用集群技术、分布式文件系统技术、数据压缩、加密技术实现不同区域间多个存储设备的协同工作,一体化对外提供服务。为了保证数据安全性,采用了数据加密技术,同时为了提高数据可靠性,采用数据容灾备份技术。

应用层主要提供了基本的用户权限认证、权限管理、部门组织架构、审批流程控制、数据驾驶舱管理、任务管理等业务层面的控制和应用,为用户提供业务层面的统一界面。

本系统前端采用WEB架构进行部署,后端采用Hadoop的HDFS分布式存储系统,前端软件利用负载均衡模式进行集群化部署,后端Hadoop系统自身具备了冗余模式的集群管理方式。

应用服务器集群采用Tomcat组成集群,使用分组集群架构,利用Tomcat自身的全冗余session备份模式,集群中的每台服务器都会备份其它服务器的Session,当一台服务器发生故障,可以失败转移到其它任意一台服务器上。

2.3 软件架构

大数据集群架构的数据文件管理系统前端采用HTML5进行人机交互设计,后端架构采用B/S架构设计,基于Spring MVC框架,实现模型、视图、控制器的分离,利于系统功能模块升级;权限管理采用Apache Shiro、界面显示框架采用Bootstrap、JQuery等Web应用主流框架/组件,降低开发风险和成本,缩短开发周期,提高整个系统安全性、稳定性、可扩展性。数据底层采用Hadoop HDFS文件系统结合My SQL数据库完成管理数据和数据文件的管理。

软件架构层次划分为分布式文件层、数据层、业务层和应用层四层。软件架构如图4所示。

分布式数据文件层有Hadoop的hdfs文件系统进行服务,直接对外提供数据文件的分布式访问。

数据层安装在独立的Mysql数据库内,保存数据文件的属性信息、用户信息、权限信息、组织架构信息以及任务信息等应用系统的基础信息。

业务层包含了用户、权限、工作流、任务控制、组织架构等信息的添加、删除、变更等基础管理服务,以及数据缓存机制,文件操作服务包括新建目录、删除目录、复制、合并、重命名基本文件操作。其中数据合并功能,可以将My Sql数据文件合并备份到分布式数据文件层,保证管理信息的可靠性,也提高了整个系统的可靠性。

应用层提供了相关业务层的人机交互界面,为用户提供统一的视图信息。

软件底层的核心主要是对Hadoop hdfs文件系统的操作。Hadoop有一个抽象的文件系统,HDFS只是其中一个实现,Java抽象类org.apache.hadoop.fs.File System定义了Hadoop的文件系统接口。Hadoop是通过Java编写的,通过org.apache.hadoop.fs.File System的具体实现类Distributed File System,可以调用所有的Hadoop hdfs文件系统交互操作。

综合利用Distributed File System和Hadoop提供的IOutils类完成数据文件的读写、查询等操作,实现业务层的文件操作功能。

分布式文件数据API操作的主要步骤是[9]:

(1)调用get函数得到文件系统实例,其中需要输入服务器的配置信息;

(2)调用open函数获取文件的输入流;

(3)调用create函数,制定Path对象,返回输出流;

(4)该过程可以使用Progressable重载方法跟踪执行进行;

(5)调用IOutils.copy Bytes方法完成数据的操作。

3 部署方式

3.1 原则

(1)可扩展性:服务器需具有横向扩展能力,因为随着应用和企业的不断壮大,用户增多,服务器应具备一定的可扩展空间;

(2)高可用性:为了保障服务的连续性,通常要求服务器不间断地工作,持续为用户提供连续服务,对于关键应用需要任何时间都可用,并且能保证响应速度。因此就要求服务器集群具有强大的处理能力,不能有单点故障,保证系统的高可用。

3.2 方案

通过对关键技术的对比分析,部署方案采用基于DNS负载均衡、反向代理均衡以及Tomcat全冗余session冗余备份的解决方案,DNS负载均衡作为全局负载器,通过分析客户在网络上地址,以及反向代理服务器的负载情况,将反向代理均衡服务器发布向客户,反向代理均衡器通过审视内部应用服务器的负载情况,将任务提交到空闲的服务器执行,并统一对外提供服务,而Tomcat自身的session全冗余备份模式,保证了服务的不间断和连续一致性。部署方案如图DNS全局负载均衡采用具有负载均衡功能的4层交换设备,反向代理服务器采用安装了ngix软件服务器,内部应用服务器利用tomcat部署小型集群。

通过以上部署,可以实现在广域网上不同地域服务器间的流量调配,保证终端使用最佳的服务,确保服务质量。

4 优势分析

(1)以WEB架构组建的数据管理应用,让用户有独享的数据管理界面,可以随时、随地接入,对数据进行管理、获取和分享。

(2)采用分布式集群架构,增强了多用户服务能力,只需通过简单的增加应用服务器,就可以从容的应对来自不同地域用户的激增。

(3)存储采用HDFS大数据分布式文件系统,较传统存储阵列带来了以下优点:

高性能,阵列主控一般链接速率6Gbps、10Gbps,总是有上限的服务能力,很难满足用户激增或数据吞吐量激增的情况,而随着用户、用户数据不断的增多,传统阵列架构将很难满足,而本系统数据分布在不同的Data Node节点上,每个Data Node节点都可以10Gbps为应用服务器提供数据,多台Data Node节点组合在一起,理想的吞吐率将达到10Gbps×N,远远超过传统阵列。

易扩充,该架构只需要通过简单扩展Data Node节点,就可以自动增加存储容量,传统阵列需要经过备份数据、重做阵列来扩充数据容量。

高可靠,一般默认配置下,该架构有3份的冗余存储,并可以通过策略来改变冗余的存储地域,保证了在不同地域、不同存储机柜都有备份。

经济性,可以利用廉价商用设备作为扩充节点,减少投入。

5 结束语

本文介绍了一种基于大数据集群架构的据管理系统方案,可以应用于需要在不同地域进行数据管理的场景,实现透明化数据管理与共享。通过利用HDFS分布式文件系统作为底层存储,上层利用Ngix反向代理的方式管理集群负载,解决了数据管理系统要求的高效性、高可用性和高可扩展性,以该架构搭建的系统能够解决在用户不断增多的情况下,较容易的通过增加硬件就完成系统的扩容,并具备异地就近服务、异地互备的能力。另外,前端搭建了WEB架构的数据管理应用系统,用户可以随时、随地的接入网路对数据进行管理和分享。

该架构为大数据架构的最基础平台,后期通过部署分布式计算框架或利用Map Reduce模型,将现有数据节点变为计算节点,可以方便的为用户提供并行计算服务。

摘要：由于传统存储设备容量、传输带宽有限,而且设备节点扩展难、使用难、数据管理难,不足以应付不断增长的用户及数据存储要求。针对这种情况,通过对现有大数据底层支撑技术的梳理,搭建了一种基于大数据集群架构的数据管理系统,该系统为满足支持不同地域海量数据服务的需求,考虑了高性能、易用性、易扩展和可靠性等方面的因素,解决了在用户激增的情况下,较容易的通过增加硬件就完成系统的扩容,并具备异地就近服务、异地互备的能力。

关键词：数据管理,大数据,集群,Hadoop Hdfs

参考文献

[1]沈志荣,易乐天,舒继武.大规模数据中心的数据存储可靠性[J].中国计算机学会通讯,2012,8(10):8-16.

[2]崔晶.基于DNS的Web服务集群负载平衡算法[J].中国科技信息,2007(5):118-120.

[3]陆嘉恒,文继荣,毛新生,等.分布式系统及云计算概论[M].北京:清华大学出版社,2011.

[4]蔡斌,陈湘萍.Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理[M].北京:机械工业出版社,2013.

[5]Dean J,Ghemawat S.Map Reduce:Simplified Data Processing on Large Clusters[C].//Proc of 6th OSDI.San Francisco:USENIX Association,2004:137-150.

[6]Dean J,Ghemawat S.Experiences with Map Reduce:an abstraction for large scale compultation[C].//Proc 15th Inter-Conf on PACT.Washington DC,2006:1-2.

[7]Dean J,Ghemawat S Map Reduce:a flexible data processing tool[J].Communications of the ACM,2010,53:72-77.

[8]Apache Haoop[EB/OL].(2014-06-30)..http://hadoop.apache.org.

[9]李振举,李学军,杨晟.HDFS可视化管理系统设计与实现[J].微型机与应用,2015,34(8):80-82.

大数据与应急管理 篇10

大数据的内涵及应用架构

首先, 按照麦肯锡全球研究所 (Mc Kinsey Global Institute) 对大数据的内涵定义, 大数据指的是超出常规数据库软件工具所能捕获、存储、管理和分析的超大规模数据集。从数据集的特点入手, 可以界定大数据的4个主要特点, 即规模性 (Volume) 、多样性 (Variety) 、高速性 (Velocity) , 以及低密度价值 (Value) 。大数据是人们获得新认知和创造新价值的源泉, 并已成为改变市场、组织机构, 以及政府与公民关系的新方法。

其次, 大数据在不同领域内有不同的含义, 可从现实和技术两方面加以阐释:第一层意义上的大数据指的是数据的巨量化和多样化。从现实层面来讲, 指的是海量数据;而从技术层面来讲, 指的是海量数据存储。第二层意义上的大数据指的是大数据技术。从现实层面来讲, 指的是对已有或新获取的大量数据进行分析和利用;而从技术层面来讲, 是指云存储和云计算。第三层意义上的大数据指的是大数据思维或者大数据方法。从现实层面来讲, 指的是把目标全体作为样本的研究方式、模糊化的思维方式, 以及侧重相关性的思考方式等理念;而从技术层面来讲, 是指利用海量数据进行分析、处理, 并用以辅助决策, 或者直接进行机器决策、半机器决策的全过程大数据方法。这种对大数据的认知方式涉及到“大数据项目”或“大数据技术应用”认知, 并由此可以延伸出大数据视角下的应急管理方式。而大数据在应急管理中的应用主要有大数据技术和大数据思维两种方式。在应急管理的事前准备、事中响应和事后救援与恢复的每一阶段都可以引入大数据的应用, 每个阶段对大数据的应用程度会因需要的不同, 其应对内容也会有所差别。大数据在应急管理中的应用, 有助于提高应急管理效率, 以及节省成本和减少损失。

最后, 大数据在应急管理中的应用方式分为两部分:大数据管理技术和大数据分析与思维。大数据管理技术既包括诸如数据仓库、数据集市和数据可视化等, 也涵盖了云存储、云计算和云安全等;大数据分析与思维则是从海量数据中发现问题, 用全样本的思维来思考问题, 形成了模糊化、相关性和整体化的分析研究和思维方式。大数据的管理技术与分析思维相互融合和作用, 共同形成了大数据的应用, 其应用通常包含4个特征:快速的收集、分析、决策, 以及迅速准确的反应。这些特征在应急处理中具有实用意义, 在事件或人的行为预测方面, 具有更及时的预见性和更高的准确度。

不同阶段的大数据应用

按照突发事件发生的时间顺序, 其应急管理大致可分为事前、事中和事后3个阶段, 具体包括预防准备、监测预警、应急处置、善后恢复等多个环节。当前, 大数据在应急管理中按照事前、事中和事后应用的基本框架加以设计。但由于应急管理针对的事件类型不同, 并非所有的应急管理都会涉及3阶段应用, 可能有时候只涉及其中1个或2个阶段, 而关键就是其管理模式和思维的变化。所以, 大数据在应急管理中的应用, 一定不能单纯技术导向。

事前准备阶段需要为大数据的应用进行相应的管理和设施准备。管理准备指的是与大数据管理、大数据方法相匹配的人事准备和管理提升。设施准备指的是大数据应用所需要的硬件和软件设施。硬件设施主要涉及新技术背景下的数据采集, 软件设施不但涉及到新数据的采集, 也可针对旧的数据进行分析和挖掘。其中, 特别容易忽视的是人员的教育培训, 包括:一是对中上层管理人员的培训和管理;二是对基层管理人员的培训和管理。目前尤其需要强调的是各级人员的大数据意识和数据累积叠加效应, 以及对大数据的分析方法与分析结果的识别培训。

事中响应阶段大数据的应用能为政府、第三方组织或个人开展应急响应提供很大便利。对于政府而言, 大数据化的应急管理意味着技术支撑基础上的融合与协作, 其不但为协作带来很大便利, 也平衡了日常业务的连续性和应急处置的及时性;对第三方组织或个人来说, 大数据可为应急管理提供更加便捷灵活的手段。例如, 应用大数据可以在宏观和微观等多个层面实现多元应急合作。在宏观层面, 整个应急响应可以分为决策指挥、现场应对和外界援助等, 这之间以海量数据信息、高效计算能力和数据传输能力为基础, 实现信息的有效沟通和机器预测预判, 以帮助指挥部门协调各方进行现场处置和救援, 并与外界通过信息沟通寻求援助, 实现多元化协作的应急处置;在微观层面, 应对部门需要在应急处置和业务连续性之间保持平衡, 而以大数据为基础的决策支持系统将成为强大的信息管理系统, 能够做到实时报告且操作简易, 并能同时集合多项关键指标的高效指挥决策辅助系统。通过集成不同部门提供的信息, 将其统一纳入到大数据支撑的决策支持系统, 在其支撑下, 有助于推进各部门的及时沟通, 为突发事件的处置提供有效的应急处置和充足的物力资源, 以及及时的导航信息和必要的建筑图纸等, 以有效调配可用资源, 提高响应速度。

另外, 大数据的应用能更好地发挥出第三方组织或个人的作用。例如, 在美国的南加利福尼亚州森林大火中, 民众就是以网民绘制的火情地图为指导进行逃生和避险的, 这种应对方式常常比政府的信息方便快捷, 其成本远比政府漏报的成本低。在整个事中响应阶段, 大数据的应用核心环节之一是实时高效的数据信息收集, 以及信息数据的迅速传递。实践证明, 根据应急管理主导者的不同, 数据收集有两种发展趋势:政府主导的专业应急管理团队信息收集逐渐专业化和高效化;以大众和媒体为依托的第三方应急管理力量, 则将信息收集方式发展为简单化和大众化。

事后的救援与恢复重建大数据在应急管理事后的应用主要是救援与恢复重建。目前, 在应急管理的应用上已开始探索社交网络平台和移动互联网, 以及使用“分众”方式加以实现。“分众”是由大众通过网络分散完成工作任务, 并通过整合后在网络上提供服务的一种方式。使用“分众”方法是依托社交网络平台和众多参与者, 利用互联网特别是移动互联网, 汇聚大众力量进行事后恢复与救援, 实现了及时捕获信息, 大众甄别信息, 以及机器分析和迅速响应。经过社交平台众多参与者的共同努力和云服务平台高强度计算分析能力所获的信息, 并根据计算机给出的建议, 协助应急处置人员设计救援路线及配置救援装备, 以最快速度抵达救援地点。比如, 在2010年海地地震救援中, 以“目击者”为代表的非营利网站, 就利用“分众”方法起到了重要作用。

大数据的应用创新

当前, 要高度重视大数据应用的基础设施和基础环境的准备工作, 其包含整个应急管理的价值链和产业链。例如, 要高度重视传感器的研发、生产、应用和部署, 随着技术的不断更新, “传感器”将成为大数据应用中的重要一环。20世纪60年代以来, 美国为预防风暴和海浪袭击建立了海浪检测系统。2005年, 国家数据浮标中心在其原有设备的基础上架设了大量新型海洋地理传感器, 包括海浪流向传感器等, 传感器会实时产生大量数据, 用以实时监测海浪情况。该项目在全部联网完成后, 已产生极大社会价值。当然, 更重要的是要做好大数据的应用准备及所需要的软件支撑, 包括分析方法和数据处理方法的改进, 以及多源数据的融合分析和可视化技术等, 这些技术是充分挖掘原有数据并使之产生价值的关键所在。

此外, 欧美一些国家已开始把大数据运用到应急管理中, 并取得一定成效。我国虽然开始关注大数据的应用, 但相关研究还比较缺乏, 亟待进一步研究大数据在应急管理中的应用方式和基本框架, 以及借鉴国外在此方面的实践案例。近年来, 大数据在我国应急管理领域也得以积极应用, 其中之一就是在旅游领域。为了应对旅游中意外事件发生, 一些地区和单位正在探索结合云计算、大数据和移动通信基础能力, 开发动态人员流量大数据分析平台应用服务。尝试利用该平台介入旅游景点, 为景区旅游管理单位提供游客流量统计、游客客源分析、景区热点排名等数据分析服务, 协助旅游管理单位进行精准的宣传推广和景点导览规划。例如, 在2014年浙江省乌镇举行的首届世界互联网大会上, 动态人员流量大数据分析平台登台亮相, 实时分析会场区域的人员及行为数据, 发布参会的客源国籍、终端类型、热点应用、内容关注度等数据, 并分析发布了会场嘉宾年龄、性别比例, 以及流量使用偏好和消费能力等信息, 这些都展示了移动大数据的综合分析能力, 为其应急处理提供决策保障和信息支撑。

尽管大数据技术已在我国的社会应急管理体系中初步得到应用, 但与发达国家相比, 还需要进一步加快推进应急管理体系的科技创新, 主要有以下3点:

一是要充分利用大数据技术来提升应急管理的辅助决策能力, 包括加大对大数据技术研发的投入, 鼓励和扶持企业对大数据应急管理的应用, 加大高科技应急管理人才梯队培养, 以及加强对前沿技术的应用能力, 把围绕大数据技术的应用和管理模式创新, 作为我国应急管理体制下一步改革的新方向。

二是加强应急协作和数据共享, 提升社会应急管理成效。通过“物联化”来收集数据, 建立“数据共享机制”和“有偿共享服务”机制, 加大数据开放, 使广大公民和企业可以便捷地享受优质的公共服务;进一步提升国家应急支撑平台的信息化协作能力, 以借助大数据工具的深化分析, 优化应急管理流程和应急预案, 使各种突发事件可以被迅速有效地应对、解决, 保证城市各个系统高效顺畅地运转, 以及可持续发展。

大数据时代的管理会计 篇11

关键词：管理会计；数据采集；企业价值最大化；大数据

大数据时代，对于不了解的人来讲神秘又陌生，其实简而言之，所谓的大数据就是指通过各种途径，这些途径包括云计算、物联网以及移动互联网，在相互交流的过程中形成的资源总和，人们将这些资源进行收集统计后得到的一个庞大数据源。这些数据如果可以被及时收集、建模、分析并加以利用，才能发挥其存在的真正意义，所以也可以说，大数据就是为了更好地满足管理所需应运而生的。

管理会计，又称“内部报告会计”，是为了提高企业经营中的综合经济效益，通过专业的财务指导规则，利用财务人员在企业经营中收集到的各类资料进行整理，分析，以报告的形式提供给企业各级管理人员，满足企业管理者对日常发生的各项经济活动的准确把握，从而为企业运营进行合理控制与规划，并帮助企业的决策者做出各种正确决策的一个会计分支。因为管理会计所扮演的关键角色，也直接决定了其在企业管理中的作用越来越重要。本文所说的管理会计主要是针对盈利性组织（企业）为主体而展开的。

任何事物都有两个相对的方面，即作用与反作用，大数据也并不例外。从一方面来说，大数据理论可以为管理会计实际的工作提供更加有效地数据信息，而从另一方面来说，大数据也被传统管理会计所要求，需要大数据进行精确筛选后提供有效信息才可真正被管理会计所用。因此二者要互为依托，相辅相成，才能为企业的高效管理提供有效的信息。

一、大数据对管理会计发展的促进作用

为了适应国际及国内经济的增长，国内企业为了更好地把握经济动向，进行全面转型既是形势所趋，也是企业生存的根本。在这个社会大背景之下，如何把传统管理会计理论与大数据时代有效结合，实际有效地应用到企业的管理会计中？一是需用对大数据进行充分分析，进而管理会计提供更精准的依据，帮助其发挥应有的职能，同时还有助于拓宽其可以服务的工作范畴；二是大数据的分析结果可以为企业的预测工作提供准确的可靠数据，而传统管理会计因其无法取得此数据，也就无法研究出对企业的未来经济预测工作更有效的运用模型，现在大数据的出现，企业管理会计采集到的数据信息量变得更大、更准确和更可靠；三是大数据时代对数据的高效运用，满足了管理会计为企业实现价值最大化提供正确决策的切实依据。

二、大数据时代管理会计为传统管理会计工作带来的变化

企业成本按照形态可以分为，固定成本、变动成本和混合成本，而其中混合成本是这三种成本类型的最常态成本。但是由于获取数据信息的限制，传统管理会计工作分析混合成本时不能做到准确的分类，对于决策支持就起不到良好的作用，导致企业的成本分类工作浮于表面，严重时还会误导决策。

混合成本的特点决定了以上不良的效果，因为企业的管理会计相关工作人员很难定量分析出混合成本和企业产量变动的函数关系，而大数据的分析和挖掘可以应对这种对企业传统管理会计中的半变动成本分解工作提出的挑战，有效地弥补了传统管理会计的缺憾。例如，一家企业可以利用大数据的分析结果对其混合成本中的阶梯式成本进行准确分解。

如果某家企业为了更好地满足消费者的产品需要，对产品的质量有苛刻的要求。采集了企业以往的关于企业不同水平的质量检测员对产品检测的大量数据，并通过大数据软件分析，假设一名检测员平均一天可以检测100个产品，企业如果一天增加100个产量，就需要增加一名检测员，假设每个检验员的月计件工资为1600元。企业管理会计可以根据企业的生产量计算出需要增加的检验员数量，并结合实际产量的变动，计算出产量变动的是在100个以内时的，其中人工工资是固定成本。而产量达到300个以上时，人工工资就成了变动成本。所以，由于企业的检测员不同的检测水平，企业如果没有利用大数据的分析技术，很难做出正确的成本分析。

在传统的管理会计中，影响企业盈亏的关键临界点因素包括单价、销售量、固定成本和变动成本。而进行盈亏临界点核算时，需要计算销售总额、销售比重、销售额，最后得出产品的销售量。很多企业在没有应用大数据分析技术之前，在预估产品销量的时候，做数据预测没有科学精确到依据，只能参考历史销量数据，人工主观地对消费者的个性爱好、对竞品的变化进行分析，并结合国家出台的经济政策及宏观调控可能对自己产品销量带来的影响。而大数据分析技术的出现，可以通过对销售费者日常使用的互联网工具，精准的捕捉到消费者的消费需求及购买意向，从而弥补了人工分析主观判断会带来数据偏差的缺憾，为企业收集客观精确的数据，提供了强有力的支撑。进而为企业决策者做出正确的决策判断提供真正有价值的信息资源。

大数据不同于物理资源，将成为人类取之不尽、用之不竭的新资源，在这片资源之上，再通过软件和分析，我们将迎接一个全新的数据化世界的到来。数据，正在成为这个世界最重要的土壤。管理会计也将在这片土壤中生根壮大。

参考文献：

[1]周智刚.《浅析国际承包工程的财务管理》[J].国际商务财会.2009（12）.

[2]苏建红.《对外承包工程的财务管理》[J].行政事业资产与财务，2012.

大数据管理技术研究 篇12

关键词：大数据,管理技术,数据库

随着互联网技术的发展, 网络数据不断增加, 需要处理的数据也是越来越多, 面对庞杂的数据, 我们需要更大的存储管理空间。大数据管理技术的及时出现, 纠正了对于庞杂数据的混乱状态。但大数据技术无法可以将大量的数据存储于一台或者几台计算机之中, 更无法借助计算机去管理大数据。大数据技术的应用还有待提高。

1国内外对于大数据的研究现状

1.1国外情况

美国政府特别重视大数据技术, 他们将大数据技术看作是增强美国综合竞争力的关键要素之一, 把大数据的研究及生产计划放在了国家战略的层面。政府为了激励大家研发大数据技术拨发2亿多美元来协助研究。据了解, 美国的国防部开始利用大数据技术搜集情报, 提高技术的反应速度及处理能力, 充分实现决策自动化。美国的中央情报局利用这种技术可以大大缩减获取获取情报的时间, 加快了信息传递的速度。

继美国对大数据技术研究利用之后, 许多发达国家也纷纷开始研究利用大数据。欧盟委员会仿照美国政府也推出了一个崭新的平台, 以展示政府的信息的公开度以及民主度。欧盟推出的ODP不仅是为了推广数据, 还为了传播统一的语言用法规则, 确保数据的有效性及应用性, 方便大众的数据需求。

1.2国内情况

2012年8月, 我国政府构建了大数据技术研究平台, 整合社会中的创新资源, 积极推进创新技术的运用, 在大数据技术中融入创新。为了贯彻落实大数据技术研究策略, 广东省率先启动了大数据研究战略, 积极推动政府转型;接着北京市也开启探索大数据技术研究应用之路, 上海也积极发起大数据技术研发的“三年计划”。

2014年2月27日, 国家成立了中央网络安全与信息管理小组, 组长习近平指出:“没有网络安全就没有国家安全, 没有信息化就没有现代化。”想要建设网络强国, 就必须要拥有过硬的技术。现今, 国家将大数据作为国家发展战略之一, 在具体实施的过程中, 督促企业将大数据技术提升到企业战略层面。

2大数据管理技术的发展前景

当前对大数据管理技术的应用主要分为操作型应用、分析型应用, 分析型应用指的是对大数据的聚集、分类、汇总, 最后得出数据大小的分析结果;操作型应用则指增加、修改、删除数据, 对数据进行简单的汇总操作, 操作的数据量较小, 经用的时间较短。目前的大数据库主要有no SQL数据库和关系型数据库两种类别, 但是由于数据类型的不同及数据技术应用的要求, 所以目前的大数据管理技术主要有以下四种方式。

2.1侧重操作的关系数据技术

首先, 传统数据技术是存储基础上建立的关系数据, 如Oracle、DB2、SQL Server等, 具有精准性、高度一致性、可恢复性, 能够达到快速处理数据的目的。其次, 针对计算的内存数据技术, 如Timesten、Hana、Altibase等其主要功能是控制、恢复、查询数据, 通过那三种方式来实现控制操作内存, 具有极高的性能, 在很多特定领域中得到应用, 例如证券、电信、网管等。

2.2侧重分析的关系数据技术

首先, Tera Data是数据技术中的先行者, Teradata是按照Shared Nothing的整体架构体系来进行自我组织, 其组织目标就是建立大型的数据存储系统, 具有极高的扩展性。其次, 面向分析型的列存储数据技术应用, 其主要特征是具有高效的压缩功能, 在分析型数据技术的应用领域中属于存储数据技术最为发达的。2.3侧重操作的no SQL数据技术

一些操作型的数据技术虽然不受ACID的约束, 但对大数据中需要处理的数据量的需求极高, 对处理速度的性能要求也极高, 这样就对大规模数据的并行处理能力的要求极高。在这个时候, 就可以利用操作型no SQL技术来实现大数据的处理。例如, Hbase有着一天超过两百亿的读写操作, 达到对大数据的完美处理。最重要的是, no SQL技术支持数据的多样性、其数据的模型较为灵活, 可以对图数据进行建模、分析和存储, 其性能、扩展性是其他关系数据库所无法相比较的。

2.4侧重分析的no SQL数据技术。

面向分析的no SQL数据技术主要依赖于Hadoop技术, Hadoop是以Map Reduce和HDFS为基础的分布型计算平台, 为用户提供详细的透明的分析。Hadoop公式计算平台的实践技巧引起了许多数据厂商的研究兴趣, 例如Oracle, Microsoft, IBM, SAS等, Microsoft为了研究Map Reduce技术, 就关闭了自己原有的研究方向Dryad;Oracle在2011年的下半年发布了大计划的战略, 全力研究大数据管理技术, 但是IBM是最早研发数据管理的, 其“沃森 (Watson) ”计算机就是在Hadoop技术上研发出来的产物, 其又开启了Big Insights计划, 这个计划是在Netezza, Hadoop和SPSS等技术的基础上建立一种大数据管理技术的框架。

3结语

在这个信息技术快速发展的社会中, 我们需要大数据管理技术来实现数据长久有效的管理。大数据管理技术还在不断完善, 不断发展, 它的研究价值需要我们进一步去开发。随着人们不断增长的数据管理技术需求, 大数据管理技术会逐步满足人们的需求, 实现其使用价值, 达到高效、快速的数据管理效果。

参考文献

[1]李国杰, 程学旗.大数据研究:未来科技及经济社会发展的重大战略领域—大数据的研究现状与科学思考[J].中国科学院院刊, 2012 (06) .

[2]孟小峰, 慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展, 2013 (01) .

[3]王振东.强化计算机数据库管理技术的有益分析[J].软件开发利用, 2014 (35) .