大数据挑战CMO

大数据挑战CMO（精选9篇）

大数据挑战CMO 篇1

大数据时代的来临, 带给我们众多的冲击, 每个人都应当与时俱进、不断提升, 放弃残缺的守旧思想, 大胆接受新的挑战。牛津大学维克多教授曾说过, 新时代的到来, 将引爆一场“哥白尼式的革命”, 对大数据技术的成功运用, 将会改变我们的日常生活、企业决策, 乃至政治治理的形态、结构, 带来惊人的政治、经济、社会和文化效益。

“大数据时代”的降临对社会造成的影响是全方位的, 具体可分为三种变化:第一, 人们处理的数据从样本数据变成全部数据;第二, 由于是全样本数据, 人们不得不接受数据的混杂性, 而放弃对精确性的追求;第三, 人类通过对大数据的处理, 放弃对因果关系的渴求, 转而关注相互联系。这一切都代表着人类告别了总是试图了解世界运转方式背后深层原因的态度, 从而走向了仅需要弄清现象之间的联系, 以及利用这些信息来解决问题的阶段。

那么, 大数据时代的巨大变革, 又将会为我们带来哪些全新的挑战?

第一, 大数据将成为各类机构和组织, 乃至国家层面重要的战略资源。在未来一段时间内, 大数据将成为提升机构和公司竞争力的有力武器。从某一层面来讲, 企业与企业的竞争已经演变为数据的竞争, 工业时代引以自豪的厂房与流水线, 变成信息时代的服务器。重视数据资源的搜集、挖掘、分享与利用, 成为当务之急。

第二, 大数据的公开与分享成为大势所趋, 政府部门必须身先士卒。正如李克强总理所强调的, 社会信用体系建设包括政务诚信、商务诚信、社会诚信的建设, 而政务诚信是“三大诚信”体系建设的核心, 政府言而有信, 才能为企业经营作出良好示范。作为市场监督和管理者, 政府应首当其冲推进政务公开, 建设诚信政府。

第三, 机构组织的变革与全球治理成为必然的选择。在工业时代, 以高度的专业分工形成的韦伯式官僚制组织形态, 确实具有较高的效率。然而, 这种专业化分工一旦走向极致, 就容易出现分工过细、庞大臃肿、条块分割等弊端, 无法有效应对新的挑战。而大数据技术则提供了一种解困之道:在管理的流程中, 管理对象和事务产生的数据流只遵循数据本身性质和管理的要求, 而不考虑专业分工上的区隔, 顺应了全球治理的需要。

目前, 以互联网为主的技术服务能力对大数据的处理和挖掘尚处于起步阶段;未来, 随着技术的成熟, 会有更多有价值的数据从海量的大数据里发掘出来, 进而创造出更大的价值。

大数据挑战CMO 篇2

大数据时代下，人们比以往多了许多对于数据信息的热情，全球有四十六亿的移动电话用户，有二十亿都在用移动电话上互联网。大数据时代的来临必然会对信息产生影响。本文分为四大部分，第一、二部分是对大数据和大数据时代的简要分析;第三部分是大数据时代下，信息安全面临的机遇和挑战;第四部分是应对策略的分析。

大数据本身并不是一种产品，也不是一种新的技术，而是科学技术发展到今天在信息领域所出现的一种必然的现象。大数据热潮的到来主要归功于互联网、云技术、物联网等科学技术网络的迅猛发展。大数据(big data)中的“大”只是一个相对的概念，它不单单指信息量的巨大，还包括在数量、质量、传播速度、涉及的领域、种类等方面的特点。

下面，笔者将从大数据以及大数据时代的简介出发，进而分析大数据以及大数据时代的特点，由此挖掘出大数据对信息安全的机遇和挑战，并提出一些建设性的建议和意见。

1 大数据及其特点

1.1 大数据的定义

麦肯锡(全球知名的咨询公司)将大数据的概念确定为：无法用传统的数据处理软件对其内容进行抓取、处理、发送等的数据信息。

1.2 大数据的特点

1.2.1 数据量(volumes)大

大数据的数据量巨大，从传统的TB级别，跃升至PB级别。

1.2.2 数据种类(variety)繁多

数据的来源通道多，互联网、云技术、物联网、平板电脑、手机、PC以及遍布世界每一个角落的客户端和传感器都是大数据的来源。数据的格式和种类已经突破了以往传统的结构化的数据格式，呈现了半结构化的数据格式和非结构化的数据格式，。例如：网络日志、通讯中的聊天记录、图片、视频、地理位置、军事侦察、医疗记录、摄影视频档案、天文学等信息。

1.2.3 数据价值量(value)低

由于大数据数据量的巨大，所以有价值的信息就相对较少。以视频这种信息格式为例，不间断的视频播放，可能具有价值的信息就仅仅两秒钟而已。

1.2.4 数据处理速度(velocity)快

大数据中包含有大量的在线和实时的数据信息分析处理。

2 大数据时代的来临

最早提出大数据时代已经到来的机构也是全球最大的咨询公司麦肯锡。麦肯锡在相关的研究报告中表示，数据已经渗透到我们生活的各个领域、各个行业，它已经与我们的生活息息相关了，并且已经成为了一种生产要素。人们对海量数据的生产与需求，必然会带来新的一轮生产率增长和消费盈余的浪潮。大数据也已成为互联网领域的热词，也已经被金融领域高度重视。

随着科技、网络的不断进步和发展，数据成为一种资产已经是不争的事实。如果说云技术为数据的保管、传播、访问等提供渠道，那么如何运用数据这份资产，并且让它成为国家治理、企业运营、个人生活服务，就是大数据的核心和灵魂，也是云技术的发展方向和核心所在。

大数据与科技新挑战 篇3

在基于计算机应用的信息技术的蓬勃发展的推动下, 人类社会迅速地进入了大数据时代。根据最近的记录显示, 全球的大数据总量大约是2.7泽塔字节, 并且仍在以指数级增长[1]。大数据时代的到来, 已经成为我们现实生活中无法逃避的挑战。每当我们要做出决策的时候, 大数据就无处不在。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时, 大数据也向参与的各方提出了巨大的挑战。大数据的出现迫使全球的企业迅速改变传统的指导商业决策的方法, 以便在国际市场竞争中占据优势。

我们注意到, 人类才是创造大数据的根源。中国作为世界上人口最多的国家, 其创造大数据的速度正在逐步赶上发达国家。截止2012年底, 中国有5.64亿的互联网用户和4.2亿的手机用户[2]。这些用户的活动通过信息和通讯网络被转化成大数据的一部分。在当今的大数据时代, 中国企业也需要转变其商业决策结构以应对新的挑战。对全球的企业来说, 大数据不仅仅是一个现象、环境或者热门词汇, 它更预示着一个机遇。

本文着重探讨一些大数据时代的挑战问题。其组织结构包括:回顾大数据的基本概念, 探讨大数据的三个重要技术问题, 描述一种互联网上常见的大数据——数据流的主要特征, 大数据流挖掘将影响金融行业和电子商务, 描述一个数据驱动决策管理的模式。

二、大数据的基本概念

到目前为止, 关于大数据定义, 各方还没有达成一个统一的意见。根据美国国家科学基金会的定义[2], 大数据“指的是大型、多样、复杂的、纵向的, 和/或基于仪器、传感器、互联网交易、电子邮件、视频和点击流等产生的分布式数据集, 和/或所有现在和未来可用的其他数字源”。在2013年5月的第462香山会议中, 我们也对大数据概念给出了自己的定义:大数据是来源多样、类型多样、大而复杂、具有潜在价值, 但难以在期望时间内处理和分析的数据集。同时为了使得政府更好地理解大数据概念, 我们还给出了大数据的通俗定义:大数据是数字化生存时代的新型战略资源, 是驱动创新的重要因素, 正在改变人类的生产和生活方式。

总体而言, 大数据能被特征描述成四个“V”, 即大容量、多种类、快速度和高价值[3]。前三个“V”为数据的采集和预处理带来了很大的困难。每个企业都面临着如何将非结构化和半结构化的数据 (比如音频和视频, 图片和文本等等) , 转化为多维数据表, 以便电脑可以有效地进行处理和计算。到目前为止, 仍然没有一个标准化的处理大数据前三个“V”的方法。第四个“V”价值意味着大数据是巨大的, 低密度的, 但具有内在的无形的高价值。为了寻求大数据巨大的商业价值, 数据挖掘和商务智能是必要的手段[4,5,6,7]。

三、数据异构性和决策异构性

随着大数据刺激了大量研究问题, 作者在2013年8月24日讲述了自己对大数据时代三个具有挑战性技术问题的认识[8]。这里回顾其基本想法, 以便引起科技界关注。

大数据中, 结构化数据大致占15%左右, 其余的85%都是非结构化的数据, 它们大量存在于社交网络、互联网和电子商务等领域。另一方面, 也许有90%的数据来自开源数据, 其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。

问题1:如何用信息技术手段处理非结构化和半结构化数据

目前, 人们对非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰, 这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。但是, 人们可用Hadoop等开源信息技术平台收集非结构化和半结构化数据。尽管如此, 怎样将非结构化和半结构化数据转化为能够使用数据挖掘工具的数据形式, 比如多维数据表是一大难题。某些企业, 可结合企业的领域知识去完成这个转变。但是如何找到某一领域的普适性方法又是另一难题。给定一种半结构化或非结构化数据, 比如图像, 如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?

假如非结构化和半结构化数据被转化为“多维数据表”, 如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程, 那么将粗糙知识与被量化后主观知识, 包括具体的经验、常识、本能、情境知识和用户偏好, 相结合而产生“智能知识”过程叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃[10]。

由于大数据所具有的半结构化和非结构化特点, 基于大数据的数据挖掘所产生的结构化的“粗糙知识” (潜在模式) 也伴有一些新的特征。这些结构化的粗糙知识可以被决策者的主观知识过滤处理并转化, 生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。

问题2:如何探索大数据复杂性、不确定性特征描述及大数据的系统建模

值得注意的是, 大数据的每一种表现形式都仅呈现数据本身的某一侧面, 并非全貌。这一问题是大数据建模的新挑战。突破它是实现大数据知识发现的前提和关键。从长远角度来看, 解决大数据的个体复杂性和随机性所带来的挑战将促使了解大数据的数学结构, 从而导致大数据统一理论的完备。从短期而言, 如果学术界能发展一般性的结构化数据和半结构化、非结构化数据之间的转化原则, 它将会带来企业大数据交叉应用的迅猛发展。管理科学, 尤其是基于最优化的理论会在寻求大数据知识发现的一般性方法和规律性中发挥重要的作用。

大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被用来研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

问题3:数据异构性和决策异构性

在大数据环境下, 管理决策面临着两个“异构性”关系问题:“数据异构性”和“决策异构性”。传统的管理决策模式取决于对业务知识的学习和日益积累的实践经验, 而管理决策又是以数据分析为基础的。

根据决策者的特征, 管理决策可以分为结构化的决策、半结构化决策和非结构化决策[9]。在企业管理中, 有三个层次的决策, 分别是运营管理层、中级管理层和高级管理层。不同层次的管理人员在对信息 (定量) 和知识 (非定量) 的需求上也大不相同。结构化的决策与运营管理层相联系;半结构化的决策和中级管理层有关, 非结构化的决策则与高级管理层紧密相联系。

人们注意到, 大数据使决策层次发生可能是颠覆性的改变, 即基于大数据挖掘决策将结构化决策 (操作员) , 半结构化决策 (经理) 和非结构化决策 (主管) 融为一体。比如, 一个营销人员可以根据客户评分 (大数据挖掘的结果) , 迅速决定对客户的交易量, 他充当了营销决策者, 其身份既为结构化决策者又为非结构化决策者。

直观来说, 在知识管理的背景下, 日常运营管理的结构化决策将是基于数据挖掘的隐藏模式 (粗糙知识) , 它可以是“结构化知识”或者“显性知识”。这样一个结构化知识结合了不同层次决策者的主观知识, 并且逐步转化成半结构化和非结构化知识。那些半结构化和结构化的知识可以表达为“智能知识”[10]。然而, 当运营数据由半结构化和非结构化数据组成时, 就可能没有结构化的决策产生, 而是直接涉及到半结构化和非结构化决策的运营管理层。同样, 较高的管理层次将面临更为复杂的半结构化和非结构化决策。因此, 大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响成为一个挑战性的科研问题。除此之外, 决策结构的变化要求我们去探讨如何为支持更高层次的决策而去做二次挖掘。无论大数据带来了哪种数据异构性, “粗糙知识”可被看作“一次挖掘”的范畴。对我们来说, 通过寻找“二次挖掘”产生的“智能知识”, 将其视为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的, 相当于研究如何处理数据异构性、大数据挖掘与决策者主观知识参与决策过程的关系。

四、典型的大数据流与大数据流挖掘

许多实际应用, 比如监测网络、股票市场或传感器网络, 需要连续收集和分析动态的大数据流。这就导致大数据流挖掘的必要性。数据流是指一个由随时间不断发展的数据组成的无限的过程。如果把存储在数据库中的数据称作静态数据, 那么数据流则反映了大数据的动态特征。大数据环境下的数据流挖掘是一个同时结合了数据收集和挖掘的过程。要从连续接收到的数据中挖掘有趣的模式需要高速的方法。

数据流挖掘的特征如下:流数据连续不断产生并需要实时处理;内存中的数据是交替并行处理的。对每个数据只需要扫描一次。数据流是高维度的。除了上述特质之外, 与历史数据的概念完全不同, 新数据的概念会随着时间的推移而发生改变。这被称作“概念漂移”。已知数据流挖掘技术有聚类、分类、离群点检测、频繁模式发现等任务。用最优化基本思想, 大数据流研究领域已经提出了积极学习方法, 通过调整每个学习单元的权重来确保得到最小的分类误差[11,12]。这些方法把“概念漂移”转化为“松弛漂移”和“严格漂移”, 设计权重调整的结构以确保达到最优的分类准确率。上述基于最优化的方法可以被用来处理半结构化和非结构化数据的大数据流。它将在需要大数据流挖掘典型行业, 如金融与电子商务应用中迅速产生巨大的商业价值。

五、数据驱动的企业决策管理

在大数据环境下, 量化管理将主导管理决策。管理决策已经迅速地从传统的“模型驱动”的假设检验和因果分析转向可以结合决策者主观知识的“数据驱动”的关联分析。这个过程中获得的知识也从“因果知识”转变为“关联知识”, 从而协助做出快速、准确、科学的管理决策[13]。

根据众所周知的管理决策理论, 企业是在一定的条件下做出决策的。一般企业的决策过程包括六个步骤:确定决策目标、信息收集、生成备选解决方案、确定最佳解决方案、实现解决方案以及反馈和控制。在这六个步骤中, “信息收集”与大数据密切相关。然而, 管理科学的学者们对如何建立有效的企业决策有自己不同的解释。例如, 弗兰克·耶茨 (Frank Yates) [14]认为一个成功的企业决策包含10个关键步骤:需求、模式、投入、选项、可能性、判断、价值、权衡、可接受性和实施。和耶茨的企业决策的概念和过程相比, 我们可以把“需求”归类到“确定决策目标”的范畴, 而“投入”则与企业的特定状况相关, 比如原料资源水平、现金流状况和人力水平。此外, “可能性”、“可接受性”和“价值”与“反馈和控制”及企业特定状况有关, 比如投资者和市场反应。“权衡”和“判断”与“确定最佳解决方案”相关, “实施”则和“实现解决方案”相一致。以上的分析表明, Yates的模型忽略了现代企业最重要的根基——大数据, 它将导致21世纪企业决策管理的根本性变革。

如何在大数据环境下发展新的企业决策管理模式呢?笔者建议将已有的企业决策管理模型转变成一个“数据驱动的企业决策管理”。为了建立这种新的企业决策管理方法, 需要对大数据有一定的理解。

事实上, 过去十年数据挖掘方法和技术的发展可应用于企业决策管理的这种新模式中。一种最重要的方法是欧盟在1999年起草的数据挖掘跨行业标准化过程 (CRISP-DM) [15]。这种标准化方法已被许多数据分析软件公司所采用。其中, SPSS和NCR已经将CRISP-DM应用到发展先进的数据挖掘工具中。人们可将CRISP-DM的六个步骤 (见图1) 应用到企业决策管理的前六个步骤中去, 从而提出一个数据驱动的企业决策管理模型, 如图2所示。

数据驱动的企业决策管理的主要思想就是将“数据挖掘跨行业标准化过程”和“企业决策管理过程”相结合, 以建立大数据时代下基于大数据商业决策的管理模式。在这个新的时代, 每个企业的决策目标来源于大数据中所反映的顾客需求。因此, “商业理解”本身就是数据的商业表现。“信息收集”就是从大数据中提取与目标相关的数据集。数据是干净的, 并且经过了转换 (从非结构化、半结构化到结构化数据) , 然后, 使用数据挖掘的算法或软件来从备选的解集中搜寻最优解 (比如分类器、集群或规则) 。需要注意的一点是, 从“最优解”中得到的数据挖掘结果不一定是决策制定者需要的“最佳解决方案”。如果二者不一致, 就要求通过用“反馈和控制”结合决策制定者的主观知识和数据挖掘的结果, 最终产生“智能知识”, 为企业提供决策支持[10]。在解决特点约束下问题的过程中, 从数据挖掘的隐藏模式 (可被看作“粗糙知识”) 和决策制定者的主观知识 (包括本能知识、经验知识、规范知识、常识知识和情境知识) 中产生智能知识, 并使用一个“二阶”分析程序去解决特定的目标。

简单说来, 数据驱动的企业决策管理就是将数据挖掘方法合并到企业决策管理的过程中去。这种新的模式有助于制定基于大数据分析和预测的决策过程, 并可以避免任何由直觉决策所带来的决策失误。大数据时代的企业决策是数据驱动的决策!大数据意味着企业决策管理的巨大挑战。然而, 这个挑战同时带来了巨大的机遇。在大数据时代, 那些及时运用“数据驱动的企业决策管理”的企业将成为全球化竞争的赢家。

图1跨行业数据挖掘过程标准的六个阶段

六、结论

大数据已经成为不可忽视的现实。当我们需要做出决策的时候, 大数据就是我们所处的环境。大数据这个词的广泛传播让人们意识到了它的重要性。对学术界、工业界和政府来说, 大数据是一个巨大的机遇。同时, 大数据也对各方提出了巨大的挑战。当工业界正试图弄清楚如何将自身获得的独特大数据转化成可以被可用的分析工具分析的形式, 从而获得大利润的时候, 政府则需要通过公开的平台 (比如, data.gov.cn) 形式逐步向民众开放其拥有的数据, 将大数据的使用权交还给民众。

大数据是一种具有隐藏法则的人造自然。寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究。尽管这样的探索十分困难, 但是如果我们找到了将非结构化、半结构化数据转化成结构化或拟结构化数据的方法, 已知的数据挖掘方法[16,17,18]将成为有力的大数据挖掘工具。本文对大数据的挑战性技术、大数据流和数据驱动的决策管理等基本特征进行了概要性的阐述, 它仅仅是作者对大数据的一些浅薄认识。除此之外, 大数据还给数据科学带来许多开放性的研究问题, 包括是否存在数据获取和从数据中发现知识的公理体系, 基于数据库的知识发现规则与基于开放数据源的知识发现规则的异同关系, 以及大数据挖掘的整体和 (或) 局部解的存在性问题等等。在不久的将来, 这些问题都需要被仔细研究, 任何突破性成果都将有助于推动大数据时代的变革。

摘要：本文简述了对大数据引发科技新挑战的一些粗浅认识, 这些认识会随着大数据时代的变迁而改变。作者首先描述了大数据时代需要解决的三个技术问题, 即将非结构化与半结构化数据转化为可分析的数据形式;大数据复杂性描述与建模;数据异构性与决策异构性。本文还进一步讨论了特定的大数据流以及数据驱动的决策管理等基本的大数据问题。在结论中, 本文提出了一些数据科学的公开性研究问题, 这些问题日益发展, 最终将超越大数据的范畴。

大数据挑战CMO 篇4

在信息迅猛发展的今天，现代社会已经进入了大数据和互联网+的时代，社会的各个方面均面临着巨大的变革。而国家审计作为国家治理不可缺乏的重要组成部分，强化审计信息化的建设和数据应用必然是今后一个时期的发展趋势。

一、大数据概述

（一）大数据时代背景

何为大数据呢？所谓大数据（Big Data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力以适应海量、高增长率和多样化的信息资产。而大数据的概念的提出主要来源于信息技术的发展。1966年摩尔定律的提出，为大数据现象的提出奠定了基础。2011 年 5 月，全球信息存储资讯领导者——易安信（EMC）正式提出了大数据的概念。

（二）大数据在国家审计中的重要地位

2012 年，国务院提出，我们应当全面提高电子政务服务能力，引导政府相关业务运用逐渐向云计算模式进行转变。为切实落实这一意见，预防电子政务体系建设过程中有可能出现的风险，审计署于同年发布《关于进一步推进审计信息化建设的指导意见》，引导审计部门研究并建立一系列审计评价指标体系，来对电子政务相关政策的落实情况进行评价。2015年9月，经李克强总理签批，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。《纲要》部署三方面主要任务。

一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。

此外，在信息技术的推动下，我国在经济、文化、医疗、政治等方面有了较快的发展，相关记录统计数据也同样快速增长，政府审计与国家的发展息息相关。而审计必须依托数据来进行。如果审计人员对信息技术一窍不通，那么审计工作将进入“进不了门，看不了帐”的尴尬境地。

在信息化时代和大数据背景下，政府的高度重视和信息技术的推动下，促使国家机关审计必须顺应时代的要求，重视审计的信息化建设。

二、大数据时代下审计信息化的机遇

（一）国家审计的目标与特点对信息化的要求

国家审计的目标就是推动国家经济的健康发展，实现国家“良治”，这是政府审计作为国家治理的“免疫系统”决定的。国家审计的法定性、独立性、强制性、权威性和综合性等特点，要求审计信息数据资料的选取更为广泛。

随着大数据时代的到来，国内掀起了一阵新的研究狂潮，大数据时代对会计、审计领域带来怎样的挑战，各方应当如何应对已成为新的议题。国内学术界针对大数据的研究很多，针对政府审计的研究也很多，但是关于大数据时代对政府审计带来怎样的挑战以及机遇对却并没有相关成熟的研究。

同时大数据时代的到来，也对电子政务的发展也相应地提出了更高更多的要求，审计对象内容全覆盖的新要求让国家审计也面临着来自审计主体、审计手段、审计风险等方面的挑战。

（二）大数据对审计信息化的机遇

1.推动了审计技术的变革

大数据中的“大”不仅仅表现为其数据量的庞大，同时其数据的搜集、存储、维护和共享等任务都极具挑战性。而审计数据的来源较为广泛，多线域，数据格式不一，存储方式不同。传统的数据管理技术已无法满足信息化庞大的数据，审计人员面对如此庞大的数据，急需解决大数据存储、分析以及运用的技术。因此大数据推动了国家审计的技术的变革，促进了政府审计的信息化建设进程。

2.丰富了政府审计的管理方式

云计算是一种新业务，主要负责将集群计算能力由互联网向内部、外部使用者提供服务，是传统信息领域和通信领域技术的进步，商业模式的转变共同带来的结果。大数据时代，云计算已应用于国民经济生活的各个领域。云计算完全颠覆了传统的构建模式，政府部门和各企业之间构建了各自的数据中心

云计算脱离了传统模式，只要按照彼此的管理要求，提出满足需求的数据信息，然后使用高速高效的互联网进行传输，就能够获取便捷高效的云服务，从而推动政府各部门与企业都能够将注意力集中在如何提高自身的核心竞争力上。那么，云计算的实现原理不是通过由传统的本地计算机来对需求进行计算然后完成，而是通过互联网来完成数据需求的计算，提供数据服务。因此，国家审计技术也必须要不断地进行更新，以保证审计的时代性。

三、大数据时代政府审计工作面临的挑战

大数据对政府审计工作的挑战主要分为三个方面：审计技术、审计平台以及审计人员等。

（一）大数据对政府审计技术的挑战

首先，在大数据时代，物联网的发展使得数据之间的共享日益频繁。而政府审计数据又具有一定的保密性，但是大数据的数据较为冗杂，存在着很大的安全隐患。因此政府审计对大数据的监管技术的要求较高。具体包括：首先，数据储存，为了完成在成本和能耗相对较低的情况下达到可靠性较高的目标，一般要依靠重新配置冗余并加之云计算技术的帮助，在储存的时候要将数据分类，删除同类重复数据，减少数据的存储量，然后添加标签便于日后对数据进行抽查或检验；其次，数据处理，数据处理非常复杂，这种复杂性不仅是指数据样本自身，同时更是包含多重空间、多重结构以及多重实体间的一种交互的动态情况，这些情况很难通过传统的方法对其进行描述或分析，处理难度大大增加，也更加复杂，因而需要利用相互之间的关联来对语义进行分析得出易于理解的内容；最后，结果可视，使用这些工具得出的结果属于计算机语言，对于非计算机专业的审计人员来说，其结果是晦涩难懂的。然而要使结果更直观，更容易理解和分析，就需要通过审计软件和审计技术将审计结果可视化，而以目前的审计技术还不能够达到所需要求。

因此，对审计大数据的安全监管存在着巨大的问题，对审计技术的安全防护提出了更高的要求。同时，随着大数据的日渐庞大，审计技术需要及时更新审计技术，加强对审计大数据的安全管理；修补技术漏洞，不断完善审计技术。

（二）大数据对政府审计平台的挑战

1.政务管理模式的新发展

电子政务，是政府政务管理部门运用现代化信息搜集、传播技术、互联网通讯技术将政府对政务的管理与服务进行一定程度上的归集，通过互联网对政府组织结构和工作流程进行重新的组合和分配，优化资源，全面有效地为公众提供高效、透明和优质的服务。通过电子政务可以实现能够为公众提供更多的高效透明的信息和实质性的服务。

电子政务体系的健康高效有秩序的发展同样给国家审计带来了一系列的问题。其对于政府审计来说是一个全新的平台，电子政务建设可能脱离政府的管理体制，因而审计人员在进行审计的时候也许无法发现电子政务发挥的作用，也有可能不适应传统的管理体制，产生“电子浪费”影响审计资源的分配，新的信息孤岛也可能因此而产生。

2.云审计的新要求

随着信息技术的发展，审计技术不断更新，但是在方法和技术方面，其实质仍是现代审计，即仅提高了当时审计工作的效率。而大数据的出现，当前的审计已不能够满足审计工作的要求。同时，云计算的管理模式逐渐应用到了审计大数据中，云审计逐渐走进审计人员的视线。云审计是一种运用云计算技术并通过互联网完成的模式，审计人员通过运用储存在“云”端的各种数据与资源，更科学更有效地进行审计的过程，即云审计即为将大数据、云计算技术和互联网技术应用到国家审计的一种新模式。在大数据时代，云审计的优势明显，更能够适应时代发展的需要，最终将在审计管理、审计方式等方面实现根本性的变革。

（三）大数据对政府审计人员的挑战

随着信息技术的不断更新换代，伴随大数据、互联网+的时代来临，审计数据日益庞大，在进行审计工作时，审计人员自身的审计信息技术能力有更高的要求。主要涉及三个方面：

在云计算方面，由于时代的发展，云审计终将成为开展国家审计的趋势，而云计算技术又是云审计不可或缺的重要技术之一。云计算技术的发展要求审计人员不仅要具备较高的传统审计理论基础，同时也要掌握现代化信息技术的理论基础。因此，大数据时代的审计人员要求具备非常过硬的专业能力。大数据时代的审计人员不仅要掌握与审计相关的专业知识，而且还要在信息技术方面具有较强的认知。就目前的现状看来，审计人员虽具备较为完善的审计专业知识和较强的专业能力，但是对大数据、云计算技术等知识的认识和掌握较为欠缺，兼顾审计专业知识和大数据、云计算技术的专业人员更是少之又少，无法满足高速发展的社会对大数据时代审计的需求，现有的审计队伍中信息化审计人才急缺。

在大数据的收集方面，大数据时代的数据突破了传统审计的结构方式。传统的审计中的数据主要是以结构化数据为主，使用数据库来储存结构化的数据，根据分析的需要对数据建设数据仓库，从而进行多维度多内涵的操作，并运用数据挖掘技术对收集到的数据进行分析，从而深度地获取信息。而在大数据时代，数据主要是以半结构化和非结构化数据为主，审计人员对这种类型的数据不太了解，传统的存储无法满足需要，如何对大数据进行搜集将是审计人员面临的一个新问题。同时大数据的收集也要遵守一定的法律法规，大数据的安全防护需要有相关的法治机制为依据和相关的技术作为保障。

大数据时代对人才的要求较高，急需复合型人才。同时，对在职的审计人员也提出了较高的要求，在平时的工作学习中，除了加强自身专业知识的学习之外，还需提高自身的数据处理能力、云计算技术能力等。

大数据——媒体的机遇与挑战 篇5

也许给出这样的论断为时尚早, 但大数据将在新闻领域引起的震荡是不容忽视的, 因此我们有必要对大数据有所了解。

一、认识大数据

大数据是在计算机及存储技术高度发达、互联网的普及和广泛应用的前提下产生的概念, 它既是资源, 也是工具。作为资源, 大数据有着普遍认同的四个特征:数据量巨大 (Volume) 、数据类型繁多 (Variety) 、价值密度低 (Value) 和处理速度快 (Velocity) 。美国加州大学圣地亚哥分校提供的数据显示:2008年全球数据总量为9.57z, 更加令人震憾的是当今世界所有信息中只有不到2%是非数字化的, 而数字数据量每三年就可以翻一番。

作为工具, 人们利用大数据进行数据分析, 趋势判断。正是由于数据量大、数据品种繁多的特点, 大数据的价值体现比率较低。要从浩如烟海的庞杂数据中获得富有价值的信息, 就要借助于相应技术, 对数据归类整理和聚类分析。

奥运会称得上是目前世界上规模最大的活动。奥运会期间产生的数据是任何一个单项活动所不能比拟的。因此, 我们不妨通过奥运会这个窗口对大数据及媒体发展趋势做进一步的观察。

二、奥运会的大数据

2012年伦敦奥运会的总体数据量可以透过英国电信网的统计得到, 包括奥运会“体制内数据”和部分“体制外数据”。据估算, 伦敦奥运会期间每秒钟有60GB的数据量流经英国电信局网络, 伦敦奥运会的现场直播节目超过2000小时。奥运期间, 世界上有85亿台个人电脑、智能手机与互联网相连。

社交媒体方面, 奥运会期间, 仅推特用户平均每秒推出13000条信息;8亿人每天通过facebook了解奥运会新闻, 而facebook每天承载的数据量达到15T (15兆兆字节) 。在奥运会上, 当博尔特完成了100米冲刺后, 推特用户以每分钟8万条信息的数据量推送与此相关的信息。如果这个数字还不够震撼的话, 奥运会开幕式时966万推特用户同时发出的信息, 相当于2008年北京奥运会期间推特用户推送信息的总和。

与奥运会相关的信息数据中有一部分是在奥运会场馆中产生的, 包括主新闻中心、技术中心等管理服务类场馆和各比赛场馆, 我们将这些数据称为“奥运会数据服务”ODF (即前面提到的“体制内数据”) 。ODF服务是国际奥委会为包括21600名注册媒体在内的奥林匹克大家庭成员提供的专项数据信息服务, 内容庞大、繁杂且详细, 其中既包含实时数据、历史数据, 也有运行数据;包括人员、比赛、天气、媒体、交通等等各项奥运会相关信息。伦敦奥运会期间, 近4, 000名专业技术人员每天24小时保证着900台服务器、1, 000套网络和安全设备, 以及超过1万部PC设备的运行。这些设备产生和管理的数据随时通过奥运会信息系统汇集、存储, 同时提供给以文字摄影媒体和转播商为主的奥运会注册用户。

三、奥运会媒体对大数据的开发利用

大约20年前, 在国际奥委会新闻委员的协调下, 世界上一些著名通讯社和报纸联合建立起一个名为WNPA的组织 (世界新闻通讯社组织) , 它的主要功能就是研究并实现将奥运会产生的各种数据 (ODF的雏形) , 并将其转换成媒体能够接收和解析的格式, 供媒体使用。无论过去还是现在, 奥运会期间产生的ODF数据都算得上是海量信息。它包含的数据量巨大, 各种数据混合在一起传输, 因此媒体要从中获取对自己有用的信息, 就要从技术上解决制定数据标准、过滤和筛选等问题。

美联社的下属公司STATS, 有100多年从事体育数据统计和分析的历史, 它的数据统计范围覆盖目前世界上300多项体育赛事, 详细到重要赛事的每个场地、每场比赛、每个人的数据。以奥运会篮球项目的技术统计为例:

STATS通过奥运会数据专线连接到ODF数据服务, 通过专门设计的应用程序对数据进行过滤、解析、整理、分类, 得出有关篮球的数据, 按照事先确定的不同用途, 经过设计人员的加工和包装, 以不同形式呈现给用户。经过处理的篮球项目的相关技术统计以及运动员和教练的背景信息、比赛感想等内容, 为体育记者撰写新闻提供了丰富的素材。同时, STATS公司还将这些数据资源向公众付费开放, 这样就使凡有兴趣了解体育赛事详细信息的受众很方便地得到相关数据。借助于此项服务, 网络媒体等非传统专业新闻媒体不用通过专门的采访, 就可以写出有深度的稿子;体育研究部门拿到这些数据, 就可以有针对性地进行研究, 提出运动趋势的预测, 为运动员和运动队提供训练建议等。

四、传统媒体面临的挑战和机遇

随着各种数据的增多, 各个行业的数据, 必然会越来越多地向公众开放。通过大数据工具, 就能解决筛选有用信息的问题, 使新闻素材的获取变得更加容易。它将进一步缩小新兴媒体和传统专业媒体之间获取深度新闻数据能力上的差距, 因此会给传统媒体带来更大的竞争压力。

随着大数据技术的普遍应用, 一些过去由人工完成的新闻采写工作开始由计算机代替。例如, 奥运会奖牌榜的制作和更新:

奥运会数据服务ODF实时提供奥运会每个比赛项目获奖运动员及所属国家的信息数据及其背景信息, 通过大数据手段将有关数据筛选出来, 按照所属国家和金银铜牌分类, 即可形成一个奥运会多媒体奖牌榜产品的雏形, 经过适当编排, 就可以在平面媒体上发布。再经过声光电多媒体手段的设计包装, 就可以在网络和电视等媒体上向观众呈现。如果需要, 可以增加和变换分类, 使奖牌榜内容更加丰富多彩。奥运奖牌榜的模板设计好以后, 剩下的工作就是将实时更新的数据按照分类填入具体区域, 全部工作均由计算机自动完成。上述整个过程基本概括了计算机进行体育新闻采写的原理。

目前, 计算机采写新闻还局限在体育和金融领域。但随着新闻模板的积累及丰富, 计算机采写新闻的领域将不断扩大, 由此也将给新闻行业带来新的挑战和思考。

浅谈“大数据”的发展与挑战 篇6

一、大数据产生原因

1) 数据本身。大数据是一直就存在的, 只是原先不为人们所存储与利用。我们每天都有数以万计的数据产生, 波音的喷气发动机每30分钟就会产生10TB的运行数据, 如果安装了4台发动机, 每次飞越大西洋就会产生640TB的数据。但有一个区别是, 现在数据还大量产生于互联网社交等媒体上。

2) 硬件发展。硬件设施的发展使计算机的性价比得到巨大提升, 集成半导体芯片的发展使CPU处理性能飞速发展, 同时磁盘价格的明显下降, 变得轻巧。这为大数据打下了基础。

3) 软件发展。Hadoop是一种可以在通用服务器上运行的开源分布式处理技术, 它的诞生成为了目前大数据浪潮的第一推动力。没有大规模数据分布式处理技术Hadoop, 可能就没有大数据时代。

4) 云计算技术。云计算与大数据的关系是静与动的关系;云计算强调的是计算, 数据则是计算的对象, 前者强调计算能力, 后者看重存储。可见云计算与大数据关系紧密。

二、大数据带来的发展

1) 大数据产业。“大数据”产业链条包含了从数据生成、数据存储、数据处理和数据展示等多个环节, 完整的生态系统还应当包括数据处理结果的应用, 催生了数据科学家。2010年以来全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合, 可见对大数据战略布局的重视。初步预算, 未来中国大数据产品的潜在市场规模有望接近2万亿元。

2) 传媒。通过大数据分析, 让传媒广而告之的能力提升, 推销商品更具个性化和针对性。比如淘宝上会根据客户一直以来的商品浏览和购买记录, 针对性推荐产品。

3) 商业。商家可以根据顾客的购买记录来分析顾客的购买行为, 从而达到最优化方案。例如沃尔玛在对消费者购物行为分析时发现, 男性顾客在购买婴儿尿片时, 会顺便搭配几瓶啤酒, 于是推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量大增。

4) 教育。大数据时代给人带来了学习方式的转变, 足不出户就享受应有尽有的学习资源。现在的MOOC大型开放式网络课程实现了一种高端的知识交换。可适用于专家培训, 学科间的交流学习以及特别教育的学习模式-任何学习类型的信息都可以通过网络传播, 让每个人都能免费获取来自名牌大学的资源, 在任何地方、用任何设备进行学习。

5) 医疗。通过大数据的分析可以提前预料并进行精准治疗, 其带来的数字医疗也可以为人们做实时的身体健康跟踪。

6) 政府行政。政府通过大数据分析民众的行为与意愿, 体查民情、为民服务、获得民心, 行政更科学、民主、高效。

7) 军事安全。斯洛登事件大家还记忆犹新, 他爆出的美国政府的大数据战略使全世界对美国恐慌与及自身安全的担忧, 大数据战略可以使一个国家实时分析掌握他国的决策导向和各方面动向, 带来了越演越烈的信息战。

8) 科技。在科技领域, 从收集的以往的数据进行大数据分析可以对后期进行科学的预测, 比如地震、天气预报, 行星运动轨迹等。2011年日本大地震发生后, NOAA通过分析海量的数据, 仅9分钟后, 就发布了详细的海啸预警, 其每年的IT预算花费巨大, 但乐此不疲, 因为这些信息关乎生命, 可以拯救生命, 改变世界。

三、大数据带来的挑战

1) 行业挑战。大数据带来了社会的深刻变革, 很多行业面临转型与洗礼。如体育赛事、股票市场、市场物价、用户行为、疾病疫情、灾害灾难、交通行为、能源消耗等领域, 大数据的预测让人类具备可量化有说服力可验证的洞察未来的能力, 大数据预测的魅力正在释放出来。

2) 个人隐私。通过收集人们日常的信息进行分析从而进行预测与跟踪, 这让人们对自身隐私感到担忧。我们时常可以看到网民被人肉, 他的所以信息都被暴露出来。现实生活中很多人感到个人信息被泄露贩卖, 隐私权面临挑战。

3) 社会道德。大数据一方面给人们带来了广泛的社交信息交流, 另一方面给人们利用大数据进行破坏活动的机会。据统计现在离婚率高达38%, 社交的广泛性起了很大的作用, 男女道德风化, 及有人利用他人信息进行诈骗活动, 社会道德面临挑战。

4) 法律漏洞。现在我国信息方面法律不健全, 很多是空白, 法律的漏洞可能让人们肆意的利用大数据技术做损害别人利益的事情, 打法律擦边球。大数据给法律带来了挑战。

5) 国家安全。信息是国家的一条命脉, 当信息流失, 被他国掌握及利用, 就会有严重安全风险。现在电子设备利用非常广泛, 信息交流非常频繁。前段时间爆出苹果手机内给美国情报部门留有后门, 如果这巨大的信息被他国掌握, 不单个人隐私侵害, 更是对国家安全的践踏。

四、大数据的应对

1) 建立个人信息安全保障体系。在当今大数据深刻发展的时代, 人们的隐私越来越容易受到伤害, 保护个人信息安全的呼声越来越高, 所以应该加快法律方面的研究, 向发达国家学习经验, 尽快建立健全个人信息安全保障体系, 克服大数据带来的负面影响。

2) 建立国家信息安全战略。当今世界各国深刻变革, 纷纷打响信息战, 国家安全问题越来越紧迫。我们应该建立国家层面的信息安全战略, 全面制定、统筹国家的信息安全。

3) 制定总体的发展战略。面对新的浪潮, 我们不能被迫等待, 应该主动行动, 把握机遇, 制定总体的发展战略, 全面科学的进行引导、推动大数据的浪潮, 使其成为我们快速崛起的推力。

4) 前瞻性的发展大数据技术。我们应该前瞻的开发相应的技术, 利处充分利用, 弊处尽量在技术层面加以阻止。前瞻性的发展大数据技术, 可以让我们在大数据潮流中夺得先机, 科学的、有益的规范和利用大数据。

5) 建立大数据人才队伍。现在的竞争是人才的竞争, 印度通过普及IT教育使其成为了世界办公室。目前, 数据产业链的不断壮大, 相应的人才缺口越来越大, 如数据科学家, 仅仅在几年前, 还不是一个正式的职业, 然而一眨眼就已被誉为“今后10年IT行业最重要的人才”, 据统计现在的数据科学家已经缺口几十万。建立人才发展策略, 一定会更好的立足壮大。

6) 推进各行业的变革和转型。各行业要进行适应性的变革和转型, 停滞不前的旧模式会被淘汰。推动各行业的变革已势在必行, 各个企业要制定各自的IT战略, 结合自身进行大数据的开发利用, 有时需要进行战略协作。

五、总结

交通大数据发展的挑战及建议 篇7

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合, 正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析, 从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。

《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。2011 年以来, 各国纷纷将“大数据”的开发利用作为夺取新一轮竞争制高点的重要抓手。国务院于2015 年8月发文《国务院关于印发促进大数据发展行动纲要的通知》 (国发〔2015〕50 号) , 标志着大数据发展已上升为国家意志。

交通行业是天然的大数据行业。交通的规划、管理、决策等各方面都要以大量交通数据的分析和预测为支撑。而今, 随着全国智能城市、感知公路等信息化建设的推进, 以物联网为方向的信息采集技术逐渐普及, 3G/4G网络传输技术迅猛发展, 交通海量数据正在通过不同的途径成级数增长。这为交通大数据的发展提供了条件。

2 交通大数据的构成

如今, 随着信息采集、信息传输技术的发展普及, 交通数据的类型、数量正在飞速增长。但这些数据往往各成系统, 各自孤立, 还未能得到有效的整合和充分利用。对这些数据进行梳理, 按照数据所有者类型进行分类, 主要分布在以下方面:

2.1 铁路系统

铁路售票系统数据。

2.2 公路系统

道路收费系统、道路流量检测系统、电子监控系统、车牌识别系统、路上称重系统、信息服务平台数据等。

2.3 城市交通管理系统

道路监控数据、出租车调度系统、公交运营系统、地铁售票检票系统、停车管理系统、公共自行车运营系统、公交一卡通统计数据、长途客运售票系统数据。

2.4 规划部门

城市居民出行调查数据 (抽样调查数据) 、历年城市交通年报等。

2.5 公安交警系统

天网工程治安卡口数据、交警电子眼数据、交通事故统计数据等。

2.6 移动运营商

手机指令数据。

2.7 互联网数据

网购物流数据、大众点评网等网络数据。

2.8 企业

专车运营数据、滴滴打车数据、车辆导航信息、邮政包裹数据、快递包裹数据、港口码头集疏运数据等。

3 交通大数据的应用情况

目前, 交通大数据的发展氛围已经形成, 无论是政府部门, 还是企业单位, 都认识到了其发展必然性和巨大价值潜力。但从全国来看, 交通大数据的应用尚处于探索、小范围尝试阶段, 研究应用所采用的数据较为单一。例如, 交警部门利用系统内部数据对事故易发点进行分析和治理;交通研究机构采用利用手机指令数据提供的个体活动链特征, 将其与居民出行调查数据库等传统数据相结合, 建立模型, 从而提高模型的校验、预测精度及动态特征;土地评估咨询单位基于大众点评网等网络数据, 对火车站周边商圈货物的OD进行分析, 从而对火车站周边度用地进行评估等等。可见, 规模化的大数据应用态势尚未形成, 交通大数据发展发展潜力巨大 (图1) 。

4 大数据发展面临的挑战

交通大数据时代来临, 对传统的交通数据管理方式提出了巨大挑战, 体现在数据存储、数据的开工共享、数据分析挖掘以及大数据的应用转化等多个方面。

4.1 数据的储存

现代交通大数据的储存面临难题, 主要在于两个方面:一是, 数据规模庞大, 且以分秒的速度成级数增长;二是, 数据类型多, 不仅包含非结构化的数据, 还包含语音、视频等数据类型。另外, 由于历史数据极具价值, 通常需要长时间保存, 大规模、多类型数据的长期储存给交通大数据的发展提出了前所未有的挑战。

4.2 数据的共享

交通大数据的基础数据分散在多个政府部门、咨询单位, 不面向公众公开, 且彼此孤立, 难以实现共享, 给交通大数据的发展造成了很大阻力。且不提交通部门、交警部门、规划部门等跨部门的数据共享, 单单从交通部门内部来看, 数据的共享利用也困难重重。以江苏省为例, 高速公路收费数据、流量观测数据多年来由省交通厅委直接托苏交科进行保存、分析和统计;全省普通国省干线的流量观测数据由省厅公路局委托江苏纬信公司进行分析统计;各地市地方公路流量观测数据多由公路处下属养护部门进行搜集;全省公路OD调查数据由省厅公路局分别于2003 年、2007 年委托江苏纬信公司进行调查和统计分析;近几年不少地市也单独进行过本地区范围内的OD调查……这些数据没有得到公开共享, 其他咨询单位要进行交通分析和需求预测, 搜集基础数据时困难重重。

4.3 数据的分析、挖掘

数据的分挖掘面临的挑战, 主要在于两个方面:一是, 对有效数据的筛选。面对如此庞大的基础数据, 如何根据实际需要, 筛选有效数据是进行数据分析的第一步。例如, 分析机动车对外出行OD, 可选用“RFID+治安卡口+高速公路收费站数据+往年公路OD调查数据”;分析城市居民的活动分布, 可选用“手机移动信令数据+公交IC卡+地铁AFC数据+车辆GPS数据”;分析城市路网拥堵状况, 可选用“出租车GPS数据+公安320 治安卡口数据”等等。二是, 对数据分析模型的建立。在数据筛选的基础上, 根据不同需要, 创建不同的模型, 实现对有效数据的深入分析, 挖掘数据价值。例如, 建立更完善的交通需求预测模型、路网容量分析模型、路网运行时空特征分析模型等。有些模型的建立不仅需要交通方面的人才, 还需要计算机编程、模型算法研究、GIS等多专业的人才共同努力才能实现。三是, 对有效数据的快速处理实时分析。海量的实时数据使得大数据与传统数据相比具有突出的实时性优势。大数据“4V”特征之Velocity, 就是指大数据处理速度快, 要求实时处理而非传统的处理方式。如何对海量实时数据进行实时动态的计算、分析, 也是未来面临的挑战之一。

4.4 数据的应用

大数据的应用需面向不同群体, 涵盖交通管理部门、交通规划部门、数据中心、咨询研究机构、普通出行者等等多种使用主体。如何实现针对不同用户主体, 开发个性化的应用系统, 也是未来发展需要关注的问题。

5 发展建议

5.1 顶层设计

交通大数据分散于多个部分、咨询研究单位、企业, 数据相互孤立, 难以发挥大数据整体优势。因此, 需要国家层面、省级层面、市级层面分别进行顶层设计, 统筹规划、合理安排, 并制定详细的行动计划, 从而避免重复建设、各行其是、互不兼容, 推动交通大数据抱团发展。

5.2 数据的开放共享

数据的开放共享需要政府的推动, 逐步实施。建议先尝试在各系统内部实现数据共享, 例如, 在城市交通系统内部, 从城市运输系统、城市道路系统、城市交通管理系统三个维度, 实现交警、交委、建委、规划的相关数据共享, 共享者之间, 以协议的形式明确数据格式、数据安全、数据使用等细节。在此上, 在逐步实现跨部门共享, 最终实现面向全社会的共享。

5.3 新技术的引进

交通大数据时代来临, 对于大数据的采集、储存、分析挖掘和应用等各方面都提出了新的要求, 需要积极探索引进新技术、新方法, 例如, 云数据平台的建立、实时算法的改进、交通数据可视化技术的研究等等, 并要加强从基础研究到实际应用的转化研究, 充分挖掘交通大数据的应用价值, 从而推动大数据健康快速发展。

5.4 人才结构的完善

交通大数据作为一个综合性强、涉及面广、技术要求高的新领域, 需要更完整、更专业的人才结构。不仅需要交通规划及模型研究方面的人才, 还需要信息体系构建、数据分析、通信技术研究等专业的人才。

6 结语

交通大数据发展的必然性和蕴藏的巨大价值已经得到业内的共识, 但是其规模化发展仍然面临诸多挑战。本文对交通大数据涉及的范围进行了详细梳理, 对大数据发展面临的挑战进行深入分析, 并针对这些挑战提出了切实可行的建议。

参考文献

[1]叶亮.“大数据”背景下我国交通数据管理应用的转型与发展[J].交通与运输, 2013.12:65-67.

[2]马英杰.交通大数据的发展现状及思路[J].道路交通与安全, 2014.8, 第14卷第4期:55-59.

[3]钱喆.广州交通大数据实践与思考[R/D].2015.10, 会议论文.

[4]杨涛, 程晓明, 等.交通大数据的辩证法——交通大数据发展的制度建设和未来方向[R/D].2015.10, 会议论文.

电力大数据面临的机遇与挑战 篇8

互联网、移动计算、物联网等技术的快速发展和广泛应用,促使每天产生大量的数据[1]。这些数据记录、反映人们日常的生活行为、经济社会发展状态,数据已经渗透到经济社会的各个方面和每个环节,已经成为一项重要资源[2]。

大数据率先在互联网、电信、金融等行业出现,随着大数据价值的深入发掘,其作用和价值得到企业和社会的认可,各国政府也陆续启动了国家层面的大数据研究工作。

2012年3月,美国政府启动“大数据研究与发展计划”,标志着美国将大数据研究上升到国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分,对数据的占有和控制也将成为国家间和企业间新的争夺焦点[3]。

“十二五”期间,我国的能源需要支撑经济平稳较快增长,支撑城镇化建设,满足全面建设小康社会的需要。电力作为主要的二次能源,其高效利用、优化配置和便捷服务,对节能减排、资源节约型和环境友好型社会建设意义重大。电力大数据与电力流动相生相伴,为电力资源优化配置、能源效率水平提升、优质服务和辅助社会管理提供坚实的数据基础和提升空间,电力流与大数据流协调互动,将呈现出崭新的电力工业生态模式。

1 电力大数据的特征

电力大数据在电力生产和使用过程中产生,数据来源涉及电力生产和电能使用的发电、输电、变电、配电、用电和调度各个环节。

电力大数据具有大数据普遍的特征[4],概括为5个V(Volume,Variety,Velocity,Veracity,Value)。(1)数量大。智能电网和企业信息化系统建设,物联网在电网、电厂中的大量应用,电力行业在设备状态、生产调度、资源利用、客户服务等领域将产生海量的数据,这些数据量很快从PB增长到EB(1 EB=1 000 PB),增长速度越来越快、数据量极大;(2)数据类型多。传统的电力生产主要以结构化数据为主,涉及各类电量的测量、流程的记录和资产的管理等,近几年视频、音频、文本等非结构化数据迅速增长,其数量很快超过结构化数据,逐渐成为电力大数据的主要组成部分,研究非结构化数据的处理与分析、提取有价值的信息十分迫切;(3)处理速度快。电力生产需要发电和用电及时平衡,需要对电力调度、设备检修等生产数据实时处理。随着行业管理水平不断提升,客户服务、人财物资源管理、建设运行、企业营销等方面都需要对数据快速处理,满足企业日常经营需要;(4)数据准确性高。电力行业以电力安全生产和满足社会需要为目标,在企业层面,电力数据的准确性涉及到电力生产、计量计费、电力营销必须准确无误,在国家经济方面,电力的发展要与经济发展相适宜,其设备规模、运行方式、厂站分布等数据都要求准确反映社会发展需要和趋势;(5)价值高。电力大数据不仅反映行业内部规律特征,指导电力生产和企业经营管理,还反映经济社会发展状况,其内涵的深入挖掘对于宏观经济分析、辅助社会管理、社会节能减排、商业活动评估和家庭节能等都有积极的意义。

电力大数据蕴藏着巨大的商业价值和社会价值,挖掘电力大数据的价值面临巨大机遇。智能电网基于数据和能源的同步传输,促进能源与信息技术的深度融合,逐渐形成以能源、数据为运行体系支撑下的坚强可靠、清洁环保、友好互动的能源管理网络。电力大数据在经济、能源、民生等方面展现出巨大的综合价值,从生活、生产及运行等各领域全面支撑智慧城市建设。从能源管理角度讲,数据就是能源。通过延伸到家庭、楼宇、企业的广泛覆盖的数据采集网络和深度的电力大数据挖掘,实现智能用电管理,使用户实时掌握用电性能、在线互动能耗数据、实时响应电价,实现能源梯次循环及高效利用,大幅提升能效管理水平,为节能改造提供依据,为政府政策制定、节能减排管理、宏观经济运行等提供智能决策,为城市经济的绿色发展提供坚实保障。

电力大数据应用前景广阔,也面临巨大挑战。

1)数据质量的挑战。高质量的数据是电力大数据应用的基础。数据准确性、完整性不高,将影响决策分析的质量,甚至产生错误的决策建议。

2)多数据融合的挑战。多数据融合是电力大数据应用的关键。长期以专业信息系统为主的信息化建设,导致电力生产各专业数据彼此独立,形成信息孤岛。为破除信息孤岛的数据壁垒,需要融合发电、输电、变电、配电、用电、调度等多专业数据,挖掘电力大数据服务于发电企业、电力用户和经济社会发展的价值。

3)数据可视化信息传递的挑战。电力大数据可视化是数据价值传递的有效方式,电力大数据中蕴藏着电力生产和服务经济社会发展的规律和特征,一般较抽象,难以发现。大数据可视分析将易于大数据规律的发现,展示海量数据中的特征和规律,便于数据价值的传递与知识的分享。

4)大数据存储与处理的挑战。电力大数据对数据存储与计算能力需求巨大。电力大数据对多个数据源的结构化和非结构化数据进行分析处理,需要存储海量的数据,并提供快速的计算能力。分布式数据存储和计算是解决电力大数据存储和计算的有效途径。

2 电力大数据关键技术

2.1 多数据融合

数据融合是一个多级、多层面的数据处理过程,主要完成对来自多个信息源的数据进行自动检测、关联、相关、估计及组合等处理。

电力大数据在行业内部主要涉及电力生产和电力服务各环节数据的融合,实现跨单位、跨部门、跨业务数据分析与共享。数据融合要处理各类数据源数据的抽取、关联,如涉及多个专业的电力资产全寿命周期管理、营销和配电协调管理等都需要不同来源数据的融合,从而逐渐形成以数据为中心的企业信息化管理系统,转变传统的以业务系统为中心的信息化建设思路,促进数据资源共享,发挥数据大的价值。

2.2 数据分析挖掘

电力大数据分析挖掘主要面向结构化数据和非结构化数据,解决复杂数据结构、多种类型、海量数据的有效处理问题。结构化数据的统计分析、特征提取和挖掘比较成熟,视频、音频和文本等非结构化数据是研究的热点。

视频和图像方面主要开展人脸识别、人体识别、物体识别、指纹识别、虹膜识别,以及基于内容的多媒体检索等研究;音频方面主要开展自然语言处理、声音识别、感情计算等;文本方面主要开展自然语言理解、主题思想提取、自动摘要等。非结构化数据的处理方法主要以模式识别、机器学习、统计分析等为主。

在结构化和非结构化数据处理过程中都会用到统计分析、数据挖掘、关联分析、机器学习、建模仿真等算法。大数据时代使得训练和统计样本数量迅速增加,为算法模型改进提供了很大空间,甚至引起新算法的产生。

2.3 数据可视化

数据可视化借助图形描述数据中的复杂信息。良好的数据可视化设计既要有艺术设计,也要能优雅地展示数据的细节,并能够展现对数据的洞察和新的理解[5]。

电力大数据可视化满足电力生产与企业经营、对外交流合作2个方面的需要。电力生产与企业经营方面,数据可视化能够全面、及时地反映电力生产、企业经营的各类数据的状态,满足运行管理工作需要,当特殊状态或设备报警等情况发生时,能够及时、醒目地通知运行和管理人员。对外交流合作方面,电力数据的可视化主要反映电力发展的全局情况,反映社会用电情况和经济活动规律,体现电力发展支撑经济社会的作用和价值。

2.4 大数据存储与处理技术

大数据存储与处理技术主要解决电力大数据实时处理和批量处理。内存计算技术和Hadoop技术的融合是解决电力大数据存储和处理的一个有效办法。

内存计算技术将全部数据放入内存进行计算,是提高单机计算速度的有效办法,是对传统数据处理方式的一种加速。随着内存价格的不断下降,内存计算已经具备物质基础,在一定程度上解决了海量数据的实时处理问题。如将电力企业近10年所有的财务、营销、市场等各方面的数据一次性地保存在内存里,并在此基础上进行数据分析。从应用的角度看,内存计算技术是把现在交易型的数据库和分析型的数据库合并为一个内存数据库,同时应对这2种应用。内存计算可以提高传统信息系统的处理速度,在文献[6]中,对SAPH HANA内存计算进行了测试,可以提高计算速度几十到上百倍。

内存计算主要解决大数据的实时处理问题,而分布式计算则主要解决更大规模数据的分布式存储与处理问题。分布式计算典型的例子是Google文件系统(Google File System,GFS),该系统基于大量Linux操作系统的PC服务器构成的集群系统。文献[7]介绍了Google的GFS系统,随后Yahoo开发了该系统的开源版本Hadoop,Hadoop集群系统具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户修改代码等特点,同时能支持海量数据存储和计算任务。Hive是一个基于Hadoop的数据仓库平台,转化为相应的Map Reduce程序在Hadoop上执行。通过Hive,开发人员可以方便地进行数据抽象、转换、加载(Extract-Transform-Load,ETL)开发。

目前,Facebook、e Bay、Last.fm、百度、腾讯、淘宝、阿里巴巴等公司都采用Hadoop作为大数据处理技术平台,其中Facebook有2个主要集群存储日志、源数据,并用于机器学习和分析,其规模达到了1 100台和300台机器,存储空间达到12 PB和3 PB。内存计算和分布式计算的有机结合是兼顾电力大数据海量处理和实时处理的理想选择。

3 电力大数据的应用

电力大数据的价值在于挖掘数据之间的关系和规律,满足企业电力生产、经营管理和电力服务在提高质量、效益、效率方面的需要,促进电力资源的优化配置和高效服务。

在企业内部,电力生产的各环节数据融合、发掘,有利于发现电力生产的薄弱环节和寻找改进措施。开展电网发展规划、电厂运行管理、企业运营监测分析,通过大数据的分析指导企业的日常管理和经营决策。例如:在电力生产领域开展电力实时线损计算,利用智能电表采集的海量能量数据,实时计算分区、分压、分线、分台区等不同范围的线路损耗,为电网调度、交易和检修提供支撑,便于经济、可靠地安排电网运行方式,提高电力资源配置能力。在用电服务领域,开展用电互动服务,实时反馈购电、用电信息,对用电能效进行综合评价和提出节能建议,对剩余电量进行友情提示,促进一些电力消费转移到价格便宜的峰谷时段,减少高峰用电,延迟新建电力设施的需求,这将全面变革电力消费和使用模式,促进能源节约与优化利用。

在电力企业外部,电力大数据更多地反映电力发展支撑经济发展需要以及服务经济社会情况。作为一种时效性、准确性较高的数据,电力数据被广泛应用于分析经济发展水平、经济走势、产业分布状况及政策实施效果等科学问题,为政策制定和宏观经济决策调整提供有力支持[8]。文献[9]通过分析用电量与第一、第二、第三产业之间的关系,研究经济增长与产业结构的变化特点,并对未来几年的电力需求情况进行了预测。

电力大数据与互联网数据、天气数据、经济数据、交通数据、电动汽车数据等社会数据融合,一方面促进智慧城市的建设,为用户提供便捷的电力服务;另一方面为政策制定、公共事业管理以及商业经营提供有益帮助。

4 结语

电力大数据作为一种新兴的技术和理念,虽处在发展的初级阶段,但展示出了数据中蕴藏的巨大能量。以数据为中心的信息化理念将变革传统的信息化工作思路,促进信息化与工业化深度融合,给电力行业带来全新的工作方式和商业模式,在智能电网建设、智慧城市建设中发挥更大的作用。大数据技术的广泛应用必将促进电力行业转型升级,促进能源节约和高效利用,对服务经济社会发展、示范“电力先行”有积极意义。

参考文献

[1]McKinsey Global Institute.Big data:the next frontier for innovation,competition,and productivity[R].2011.

[2]World Economic Forum.Big data,big impact:new possibilities for international development[R].2012.

[3]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012(9):8–15.LI Guo-jie.Scientific value of big data research[J].Communica-tions of CCF,2012(9):8–15.

[4]王继业.大数据与电力企业[J].电力信息化,2012,10(8):7.WANG Ji-ye.Big data and electric power enterprise[J].Electric Power Information Technology,2012,10(8):7.

[5]JULIE S,NOAH I.数据可视化之美[M].祝洪凯,李妹芳,译.北京:机械工业出版社,2011.

[6]潘明惠.内存计算技术验证项目与应用研究[J].电力信息化,2012,10(10):29–34.PAN Ming-hui.Research on memory computing technology and its applications[J].Electric Power Information Technology,2012,10(10):29–34.

[7]SANJAY G,HOWARD G,SHUN-TAK L.The google file system[C]//In SOSP’03:Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles,2003.

[8]魏礼舜,潘若愚,丁帅.区域用电量分析和预测决策支持系统[J].合肥工业大学学报(自然科学版),2011(12):1836–1840.WEI Li-shun,PAN Ruo-yu,DING Shuai.A novel decision support system for analyzing and forcasting regional power consumption[J].Journal of Hefei University of Technology(Natural Science),2011(12):1836–1840.

大数据挑战CMO 篇9

“大数据概念”最早源于80年代。近几年, 一些国际顶级学术刊物相继对“大数据”进行研究探讨。2013年, 美国政府“拨款2亿美元推出‘大数据的研究和发展计划’”[1]37更是将大数据提升到全球性的战略高度。可以看出“大数据”俨然成为世界关注的焦点, 由此, 引发了信息科技领域和学术界的投身热潮, 力求在新一轮的竞争中抢占战略先机和技术制高点。

首先, 大数据时代, 伴随着数据规模的扩大, 处理难度也不断增大。这无疑给旧有的档案管理及相关的业务工作带来极大挑战。长期以来, 档案部门习惯于被动接收所移交的档案信息而忽视对零散、复杂信息的收集和整合, 从而导致一些重要的信息被瞬时淹没。并且缺乏对动态数据流的前端控制和全程管理的能力, 无法从根本上实现所收集的档案信息完整性与全面性。

其次, 大数据时代力求让数据“发声”, 然而, 对于以保密惯称的档案部门, 无疑将要打破旧有的思维模式和管理理念。随着公共“云”、公共数据库的不断涌现“, 数据暴政”“、数据垄断”将不再可能。而以数据为依托的“开放数据运动”, 则有助于公民获取信息权利的实现, 从而跨越数据鸿沟, 缓解由于信息不对称所引发社会危机, 增强互信与理解。

再者“, 大数据的出现必将颠覆传统的数据管理方式, 在数据来源、数据处理方式和数据思维等方面都会对其带来革命性的变化”[2]147, 立足于大数据时代背景, 档案部门应就如何更好的开发大数据这座“富矿”进行深入的思考, 以提高档案信息的再利用水平和便捷获取程度, 从而实现档案服务模式跨越式发展。

二、基于大数据的特征加深对大数据时代档案工作的认知

最初, IT界借“4V”对大数据的特征加以描述, 即主要呈现出容量大、种类多、价值密度低、处理速度快的特点。然而, 随着对大数据现象的深入解读“, 大数据”实质上不仅局限于数据自身的变化, 而将给整个社会带来前所未有的大机遇和大挑战。

1. 大数据意味着大容量、大内容。

基于目前大量产生的移动终端数据、社交媒体数据以及物理传感数据等, PB级的数据量只能算是大数据的起点。“但是仅仅数量上的庞大显示无法看出大数据这一概念和以往的‘海量数据’‘、超大规模数据’等概念之间有何区别”[2]148, “大数据”还具有类型多、复杂性的特点。除结构化、半结构化数据外, 而更多的指向图像、视频等非结构化数据。因此, 在大数据时代界定档案“Variety”的范围时, 既要关注大数据时代下的新型档案, 还要基于数据管理的生命周期, 从档案信息的源头入手, 对数据进行实时收集、处理。从而, 确保档案信息的完整性、可靠性。“大数据时代”真正可以算得上是当之不愧的大容量、大内容的数据集合时代。

2. 大数据引发大分析, 带来大价值。

曾经人们困于手中数据量的不足, 对数据的研究往往力求“由薄变厚”, 把“小”数据不断地放“大”, 从而实现数据价值的最大化。而今面对数据的急剧膨胀, 其价值方面却存在稀疏性等先天缺陷。不少档案部门已采取措施尽可能将所收集的数据“由厚变薄”, 去冗存精, 以扭转大数据时代“数据丰富, 信息匮乏”的趋势。正如有学者认为“, 大数据之大, 不仅仅在于其容量之大, 更大的意义在于, 通过这些数据的交换、整合和分析, 人类可以发现新的知识, 创造新的价值。”[3]2随着对大数据价值认识的深入, 其将成为档案部门的核心资产, 即“数据不再仅仅是‘捕捞’的对象, 而应当转变成为一种基础资源”[4]16, 借助新技术手段使“盲数据”重获新生, 这才是大数据时代大分析、大价值的应有之义。

3. 大数据呼唤大安全, 唤起大责任。

“这是个最好的时代, 也是个最坏的时代”, 用以描述“大数据”所带来的影响再恰当不过。“一切皆可量化”将成为可能, 通过对零散数据的整合分析, 便可轻松地实现个人“数据化”。但当利益的天平发生倾斜, 公众的权利与自由都将遭到威胁, 对隐私权保护的呼吁便不再是空穴来风。面对大数据风险所引起的多方指责, 档案工作者必须认识到, 仅仅依靠保密手段已无法应对“大数据”对公众隐私权保护的挑战。当法律规范的演进落后于科技发展的步伐时, 就要求政府及档案部门等承担起更大的责任, 构建起一种新的保护模式。“大数据”呼唤“大安全”, 作为大数据时代的弄潮儿更应该明确, 力量越大就意味着责任越大。迎接大数据时代的到来, 必须共同构建一张公共安全网。

三、大数据时代助推档案工作大建设

1. 不断加强档案数据资源建设是大数据时代档案工作建设的着力点。

档案信息资源由少到多、从单一到多样, 从零散到系统的过程, 是档案工作应对大数据时代挑战的前提。基于现有的网络条件和基础设施, 档案部门首先应该把档案资源积累作为工作的着力点, 夯实其信息资源的基础。因此, 一方面应制定档案数字化标准, 继续推进库存档案的数字化, 尽可能短时、高质、高效地完成馆藏档案数字化的任务;另一方面, 要树立“大”档案的理念, 将一切具有保存价值的文件、图像、视频等视为档案, 强化对非结构化的新型档案信息数据的实时收集、存储与管理。这就意味着档案部门不仅仅在档案“量”的积累上做足功课, 更要及时增加档案的种类, 保证档案工作研究、分析对象的“完整性”, 为档案工作的“质”变打下更为坚实的基础。实际上, 这也极大地丰富了档案工作的内容, 注入新鲜的血液, 为未来档案工作的发展拓宽道路。

2. 积极推进档案数据信息安全建设是大数据时代档案工作建设的关键点。

大数据时代, 档案部门在对数据资源进行实时的收集、处理和利用时, 要增强对数据安全控制的能力。当下, 人们在互联网中不经意的举动就可以留下有迹可循的“电子指纹”, 一旦数据收集的时间足够长, 数量足够多, 那么个人的行为便可以轻松的被量化和预测, 其所暗含的安全隐患也就不难理解。大数据技术使档案工作在信息的采集、挖掘及分享等方面的能力有了显著的提高, 但同时也给肆意盗取档案信息提供捷径, 给数据操纵、恶意篡改提供温床, 这必然引发公众对隐私权保护的担忧。面对大量的非法入侵个人信息系统, 侵害用户的合法权益的案例, 我们不得不承认, 在大数据时代, 重新唤起对隐私权的保护已不是未雨绸缪, 而是迫在眉睫。因此, 档案部门要在法律框架内, 更新技术手段确保档案信息存储和保密安全, 建立标准的信息安全规范、执行严格的档案保密制度。并按照国家的相关标准, 同步规划档案信息安全防护体系, 实现对系统用户的管理和行为监督, 构建计算机网络授权分级系统, 为合理合法搜集、处理档案信息提供最为安全的保障, 协力营造出一个大数据时代档案信息安全使用的良好的社会氛围与网络新环境。

3. 认真抓好档案人才队伍建设是大数据时代档案工作建设的支撑点。

大数据时代档案工作建设涉及到多学科、多领域、多技术, 肩负的任务艰巨而繁重。因此, 建设高素质、综合性的档案人才队伍成为档案工作谋求深度发展的时代之所需。

4. 提供方便快捷的档案利用服务是大数据时代档案工作建设的落脚点。

首先, 大数据时代, 档案利用工作将朝着“大服务”的方向进军, 即从根本上扭转传统的“被动式”的服务理念, 想用户之所想, 急用户之所急, 构建起以用户的个性化需求为导向的档案“云”服务, 从而提供定制性、时效性、智慧型的档案利用服务。目前, 广泛存在的是以“硬件+软件+数据”的平台性为特征, 提供基础服务, 而随着社会需求的提升及相关技术的改进, 基于海量的用户信息, 提供精准营销和个性化推荐才是档案服务利用工作发展的必然趋势。在这个发展的过程中有助于消除公众对档案服务的固有印象和片面认识, 不断推进档案服务的社会化进程。

其次, 大数据时代, 档案服务要由“外”向“内”进行转变。“随着信息数据的无限增值, 信息数据的价值密度反而趋小”[4]18, 信息过量、质量鱼龙混杂、真伪难辨等已成为严重影响档案的服务利用。因而, 档案工作者将基于云平台建设档案“云”, 对档案信息资源进行聚类、分类、相关性分析, 构建档案智慧分析库, 最终将有价值的档案信息快速、精准地展现在用户面前, 从而缩短档案部门与用户之间的距离。

最后, 大数据时代, 档案服务由“封闭”向“开放”转变。档案服务由封闭走向开放, 不单单体现在时间和空间上, 更重要的是服务理念的开放性, 这正是大数据环境的包容性和创新性在档案工作领域的体现。由此, 档案服务利用工作将顺应潮流, 抓住机遇, 找准信息技术与档案工作的最佳结合点, 借助社会大环境, 最大程度的发挥档案资源的先天优势, 为档案事业的发展迎来一个新的历史高潮。

总而言之, 大数据时代赋予档案工作新的内容和要求。档案部门要具有前瞻性, 探寻、学习和应用大数据技术和方法, 制定科学的发展模式和策略, 部署新的规划和措施, 打造优质、高效的档案社会服务形象, 相互融合、互相配合, 引领档案工作的新航程。

摘要：步入大数据时代, 社会的各个领域都将发生潜移默化的转变。本文将对大数据时代的档案工作所面临的机遇与挑战加以阐述和分析, 并提出一定应对策略, 以期档案工作能及时做出调整, 从而获得更好的发展。

关键词：大数据时代,档案工作,大机遇,大挑战

参考文献

[1]韩翠峰.大数据给图书馆的影响与挑战[J].图书与情报, 2012 (5) .

[2]孟小峰慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展, 2013 (1) .

[3]周枫.大数据时代的档案馆:基于SWOT的分析[J].档案建设, 2013 (2) .