气象信息大数据

气象信息大数据（精选9篇）

气象信息大数据 篇1

一、如何看待大数据

2015年9月5日, 《国务院关于印发促进大数据发展行动纲要的通知》正式发布, 在全社会引起广泛影响。在此前后, 社会上的大数据浪潮汹涌澎湃, 推动和裹挟着每一个行业、部门和企业。一些单位和部门急于“抢占大数据制高点”, 纷纷出台了一系列政策、措施、机构和项目;气象部门也未能例外, 以气象大数据为名上项目、搞工程的苗头已经出现。如何认识大数据, 大数据是否适用于气象部门, 以及适用于哪些领域, 是气象部门决策机构需要思考、分析和综合归纳的问题, 因为这些问题的厘清有助于尽可能避免工作中的盲目性并减少失误。

(一) 大数据时代的背景

所谓“大数据时代”的到来, 是水到渠成的必然结果, 归纳起来有以下几个方面:

1. 数据源泛在化

移动智能设备、可穿戴设备、互联网应用等设备和系统应用的普及, 使得数据的采集不再停留在专业部门的业务系统范畴:手机、身份证、交通卡、银行卡、门禁卡、网上查询、网上聊天、网购、网游、G P S定位、视频监控、E T C等一切智能设备都是数据设备, 只要人迹所至, 就有数据产生。较之上世纪, 数据源已极大地泛在化了。

2. 网络广泛连接

在数据源极大泛在化的同时, 互联网、移动互联网及物联网将所有数据源连接在一起, 人类历史上首次实现了人与人、人与物、物与物之间广泛的连接和自由交换数据。从而将单台设备的数据能力升级到全球网的层次上, 极大地提升了系统的智能潜力。梅特卡夫定律指出:“网络的价值与参与者的平方成正比”, 网络的广泛连接极大增加了互联网的应用价值, 其中包括全社会数据利用能力的增加, 以及提高生产力机会的增加。

3. 软件的普及和智能化

软件是人类知识和智慧的外在形态和应用载体, 软件将硬件设备、网络资源、传感器、控制器与数据组织成为能够实现目标的智能系统, 软件是智能系统的灵魂, 也是大数据应用的核心。数据只有在被处理和应用之时, 方才成其为资源, 否则只能是垃圾;所拥有数据是废是宝, 最终由软件的能力决定。

4. 生态环境的形成

“四个无处不在”以及数据源的泛在化, 体现了包括传感器、智能终端、高速网络、移动互联网、云平台、大数据处理技术、地理系统技术等多种信息技术共生的新生态环境, 所有这一切构成了大数据生长的肥沃土壤。这些基础技术的出现和普及应用为新技术、新应用的集成创新提供了良好的机会。大数据时代是数据大爆发的时代, 也是智能系统大爆发的时代。

5. 互联网巨头的推动

互联网将所有数据源连接在一起, 网上业务量的激增导致互联网企业的业务数据呈指数倍激增, 使得那些成功的互联网企业在迅速成为互联网巨头 (如:谷歌、亚马逊、百度、阿里、腾讯等) 的同时, 其原有的数据存储系统也被一一撑爆, 以至于这些互联网巨头们始终在马不停蹄地疯狂扩充自身的存储和处理能力。面对这些每天都在剜心割肉地消耗着不菲的维护资金的庞大业务数据, 如何将其进一步变现, 以变废为宝、变闲为宝, 发掘这些业务数据在业务应用之外的新的价值, 便成为这些互联网巨头们迫切需要解决的新课题——此即为何大数据概念的出现以及大数据技术的发展均来自互联网巨头及业务的推动的主要原因。抛开商业目的, 互联网巨头们对大数据技术及应用的推动, 客观上改变了人们从数据中获取信息的理念, 促成了大数据应用理念的革命。

(二) 观察大数据的视角

大数据时代是信息技术发展的必然结果, 它的到来不可抗拒。现象的出现和应用的需要, 必然导致理论的产生。而大数据理论的主要基础, 是考察该事物的视角。

1. 提取和应用信息的视角 (关注于数据处理理念和方法的改变)

从数据本身的角度出发考察大数据, 是大数据浪潮发端时最初的公认视角。其最具代表性的理念更新当属《大数据时代》一书的作者迈尔.舍恩伯格, 该作者将大数据理念的精髓概括为三点:不是随机样本, 而是全体数据;不是精确性, 而是混杂性;不是因果关系, 而是相关关系。作者在书中雄辩滔滔地论述此三味真火的背后, 有其内心深处对世界本质的认识做支撑。但无论如何, 作者对大数据应用归纳的新理念, 对于利用大数据资源获取信息的应用提供了一种新思路, 其新颖的大数据思维也为科技探索提供了一种新的模式。

《大数据时代》作者在书中关注的是如何从大数据中挖掘出更加准确和丰富的信息, 以便指导和改进人们的工作、提高决策水平等等, 其视角是大数据的信息提取和应用。气象部门的大数据应用既属此范围, 即:从数据中提取信息供决策使用。

2. 信息和内容价值的视角 (关注连接范围的是否全面)

大数据产生信息的价值并不取决于其所产自的数据集的规模大小, 而在于该数据集内容的丰富与否。用一架高分辨率摄像机对准一面空白墙面连续拍摄数周, 也能产生PB级的数据, 但其应用价值却极低, 原因很简单:虽然其体量甚大, 但其中所含信息内容却极度贫乏。无人驾驶汽车的研制之所以难度甚高, 除需要处理的周边环境的信息量巨大外, 还在于无法全部获取周围其它行驶车辆驾驶人员当前及将要采取措施的信息。

此外, 大数据的应用价值除了其内容的是否丰富以外, 还取决于对本应用是否适用。阿里电商大数据可以用来分析宏观经济形势, 却无法用来分析火星地表是否存在液态水, 因为这些大数据内容虽然丰富, 但却不包含任何有关火星方面的信息内容。

因此, 一个应用广泛的大数据, 一定是一个内容十分丰富——换句话说, 就是连接面十分广泛、全面——的数据集, 与体量没有必然关系。就价值而言, 连接比规模更重要。

3. 行政决策和国家治理的视角 (关注社会治理能力的提升)

国家宏观经济形势、百姓的消费热点、民众对某一重大事件的反应、流行疾病的爆发预警乃至反恐维稳的目标锁定等等, 这些涉及政府行政决策的信息, 以及这些信息的全面、准确和及时, 都是政府在国家治理层面迫切需要的。虽然这些信息大多也有一定的正规获取渠道 (甚至设有专业部门负责) , 但种种原因导致了这些渠道所采集和汇集的信息往往或不精细、或不准确、或不完整、或不及时, 使得国家行政决策因之而难以达到预期效果。改造完善这些渠道需要耗费大量成本和时间, 于是在现有的、沉睡在各部门和企业系统中的业务数据中提取相关信息, 以弥补现有信息渠道的各种不足, 便成为信息获取的新途径和新思路。从目前业界所热传的所有大数据应用成功案例看, 绝大部分属于人文社会领域, 从一个侧面印证了大数据对于改善国家宏观治理的重要意义。有效开发互联网大数据应用, 可以显著提升政府的国家治理能力和决策的科学性, 这是许多国家政府和智库的共识。因此, 不少发达国家纷纷制订本国的国家大数据战略, 我国也不例外。

4. 简单的事实:所有大数据应用成果都是业务数据的副产品

分析目前已有的大数据应用成功案例, 可以发现一个事实:所有大数据应用的数据源, 都来自于非专属于本应用目标的业务数据。换言之, 所有大数据应用的数据来源, 都不是专为本应用而特设的:啤酒和婴儿尿布的关联关系产自于对沃尔玛超市结算柜台的货品销售日志分析;阿里巴巴对2008年全球宏观经济形势的准确预测来源于对淘宝网采购单数量、规模和内容的变化、以及变化的地理分布特征分析;美国国家安全部门对恐怖分子的锁定, 相当部分来自于对互联网巨头所掌握的电邮的内容分析, 等等。原因很简单, 由于成本或难度太高, 人们不可能为了某项大数据应用而专门去采集原始数据。大数据应用大多只能使用那些已经存在的、非为本应用所特设的业务系统所积累的数据资源, 且收集和维护这些数据的成本是由这些业务系统所属单位承担的。因此, 大数据应用是业务数据的副产品。

盖缘于此, 大数据应用的数据源 (即:合适的业务数据) 的寻找, 本身就是一个难题。

(三) 大数据的辨识

1. 从应用的视角观察大数据

数据是服务于应用的, 大数据也不例外。

当一个新的应用出现, 现有业务数据无法满足其数据需求时, 必须寻找新的数据源。在寻找过程中, 如果自行采集数据能够满足需求, 且成本能够接受, 则采取该方式是最好的选择, 因为采集的过程和方法受需求者控制, 所采集的数据最接近需求 (如:十一五、十二五气象部门建设的全国天气雷达站网及遍布全国所有乡镇的地面自动气象站等) 。而当自行采集的成本过于昂贵、以致无法承受时, 选用替代数据便是将工作继续进行下去的唯一选择了。以往信息相对贫乏的年代, 可供选择的合适的替代数据不多, 许多工作因之而无法开展。互联网时代信息量暴增, 替代数据的选择范围有了很大改善, 使得许多过去无法开展的工作, 现在有可能开展起来了。然而, 由于这些替代数据自身不是因本需求而产生的, 故不可避免地存在诸如:体量虽大但针对本需求所需的信息稀薄, 信息质量不高、故难以得到确切结论, 许多现象和结论难以解释等痼疾。于是, “是全体数据而不是样本数据、是模糊结论而不是精确结论、是相关关系而不是因果关系”的大数据的理念和方法由此产生。

从应用的角度评价大数据, 可以得出以下结论:

虽然就数据血统而言, 大数据在实际应用中往往不属于专为本应用采集的血统纯正的数据, 但它的存在和被使用却是使得众多创新应用得以实现。因此大数据是资源。

当今新的时代已经进入信息经济和知识经济的新时代, 这是一个以信息和知识为基础的经济, 是一个在更大程度上依赖于在生产、分配和使用等各个环节中知识和信息所作贡献的新的经济。因此大数据是新的生产力要素。

2. 大数据的可能与不能

大数据可能提供有价值的参考信息, 包括:

大数据可能为政府的科学决策提供有价值的参考信息。

大数据可能对企业的业务改进提供数据支持和信息支持。

大数据可能为一些社会科学领域的学科研究提供有价值的信息。

大数据甚至有可能对自然科学研究中的一些新的科学机理的发现提供参考信息。

与此同时, 不能指望单靠大数据就能全面提高政府决策水平。因为决策依赖于多方面信息的综合, 大数据只是提供信息的途径之一, 仅靠它是无法解决政府决策的诸多问题的。高层决策主要面对的是诸多不确定性环境, 需要广阔的视野与丰富的经验。深厚的历史背景、细微的地缘差异、复杂的宗教派系之争以及民族间的矛盾等等, 这些因素交织在一起, 关系复杂而头绪繁多, 远非数据统计分析那样简单。大数据能够为行政决策提供一项或多项较为准确的参考信息, 改善影响决策的信息的质量, 但信息的综合和最终的决策必须依靠人。

其次, 大数据不可能直接解决科学机理问题。从大数据“模糊而非精确”、“只求相关而非探究因果”的理念可以看出, 大数据只关注于现象之间的关联性, 但不探究这些关联背后的因果关系, 但求知其然, 而不愿 (甚至不屑) 探究其所以然。之所以如此, 是与大数据的理论构建者所固有的对世界的认知:“混乱构成了世界的本质, 也构成了人脑的本质”的哲学观所决定的。本文无意探讨哲学问题, 但由此可以推断:就认识论而言, 大数据属于经验主义范畴, 它无法直接解决科学问题, 尤其是以科学机理 (即所谓因果关系) 为核心的气象预报科学问题。在气象理论研究领域, 大数据可能的贡献在于提供参考信息 (如:具有一定关联度的气象要素组合等) , 以供气象科学家们分析研究。

二、气象大数据辨析

(一) 气象大数据的内涵

就数据本身而言, 气象大数据是指所有与气象工作相关的数据总和;从来源渠道划分, 气象大数据可分为“行业大数据”和“互联网大数据”两类。其中:

“气象行业大数据”由与气象部门各项工作相关、且产生自气象部门内部的所有数据组成, 包括:由气象部门建设的、具有国内最高专业水准的气象探测体系所产生的气象专业探测数据, 其它部门自行采集、通过数据共享/交换等方式汇聚到气象部门、且经过气象部门严格质量控制的气象要素探测数据, 由气象业务部门和业务系统产生的各类气象服务产品数据、派生数据及中间产品数据, 职能部门各管理系统 (如:财务系统、人力资源系统、项目管理系统等) 所产生和管理的数据, 各业务和管理系统的状态数据和日志数据, 等等。

“气象互联网大数据”由互联网上与气象相关的所有数据所组成, 包括:移动终端搭载的气象要素传感设备的探测数据, 网友随手拍并上传的天气状态照片, 搜索引擎对气象相关敏感词的统计分析数据, 其它所有可供气象部门业务和服务应用的互联网数据等等。

“气象行业大数据”与“气象互联网大数据”间存在很大差异, 限于篇幅, 难以在此做详细分析。简言之, “气象行业大数据”属于气象业务数据, 其生成的直接目标是服务于气象业务和工作的, 故其气象信息浓度高、各种技术指标亦最为符合气象业务和工作的各项要求。“气象互联网大数据”则不然, 它不是专为气象工作而生成的, 它产自于其它非气象部门的行业、企业, 是为满足这些行业和企业自身业务目标而生成的。这些数据之所以被纳入“气象互联网大数据”的范围, 是因为这些数据包含有与特定气象应用相关的信息内容, 而这些内容是气象行业大数据所缺乏的;亦即, 这些数据是为弥补气象行业大数据在内容和时空密度等方面的不足而从互联网上收集来的;故其气象信息的浓度、数据质量等参差不齐, 各项技术指标也往往差强人意。即便就气象要素而言, 两者之间存在的差异也是很明显的, 见表1:

从内容上划分, 气象行业大数据大致有:气象观测原始数据、气象观测产品数据、气象业务产品数据、气象服务产品数据、业务日志数据、设备及系统状态数据、气象管理数据等等。需要说明的是, 目前对气象数据范畴的界定, 只包含前四项, 即:气象观测原始数据、气象观测产品数据、气象业务产品数据、气象服务产品数据。其后的业务日志数据、设备及系统状态数据、气象管理数据等尚未正式纳入气象数据的定义范围。

从性质上考察, 气象行业大数据属于“气象业务数据”范畴, 即:每类数据都有其特定的使用目的、使用对象及数据形态, 且所有数据的初始目的都是围绕满足气象部门自身运转所特有的数据需求的。

从体量上衡量, “气象行业大数据”虽可勉强跻身大数据行列 (PB级) , 但较之互联网公司而言, 仍有至少2~4个数量级之间的差距。以目前业界现有处理技术, 完全可以满足“气象行业大数据”在分析处理方面的时效要求 (数值预报除外) 。因此对于“气象行业大数据”而言, 单纯的管理和处理技术不是问题所在。

(二) 气象大数据与预报准确率

将大数据理念和方法全面应用到气象部门, 在部门内开展气象大数据工作, 能否有效提高预报准确率, 这是本文首先必须正面回答的问题。

1. 大数据理念和方法探究

《大数据时代》一书的作者将大数据理念的精髓概括为三点:“不是随机样本, 而是全体数据;不是精确性, 而是混杂性;不是因果关系, 而是相关关系”。深究下去, 不免使人产生质疑:首先, 如果通过分析少量的样本数据就可以得到事物的准确本质 (如:适用于数学归纳法的数据集) , 是否还有必要花费巨大成本去收集和处理全体数据?其次, 如果能够得到准确数据或结论 (如:台风路径和登陆地点、暴雨的落区) , 是否还有必要刻意去追求混杂不准确的数据或结论;第三, 如果能够了解并掌握因果关系 (如:人类活动与气候变暖之间的关系) , 是否还要放弃对因果关系的探寻, 而只去分析相关关系?

答案显然都是否定的。

所以, 不能生搬硬套大数据的理念和方法, 否则可能会出现有违基本常识的举措和结果。对于大数据理念和方法, 其合理的解释应该是:如果通过分析少量的样本数据无法得到事物的本质, 则人们将不得不花费更多成本去搜集和处理全体数据, 以求得到事物的真实本质。如果得不到准确的数据或结论, 则人们将不得不接受那些差强人意的不十分准确的数据或结论。如果无法了解到事物之间的因果关系, 则人们将退而求其次, 通过分析相关关系来了解事物。

因此, 由《大数据时代》作者所定义的大数据方法, 不应该是刻意为之的, 而应该是不得已而为之的:当现有的观测数据无法满足业务需求、且布设新的探测设备代价太高或无法布设时, 只能寻找其它代用数据, 以弥补现有观测数据的某些不足。当无法做出准确预报时, 概率预报是退而求其次的预报方法。当气候变化规律目前无法完全掌握时, 气候统计预测方法便是填补气候预测方法空白的可接受的选择之一了, 如此等等。

2. 观测数据和科学研究是气象学科的主要支撑

上世纪二、三十年代, 无线电通信技术引入到气象地面和高空观测信息通信, 人们能够获得大范围的大气立体观测资料, 在此背景下, 科学家们通过对观测资料的深入分析, 并根据流体力学、动力学/热力学定律等物理学原理, 构建起了气象学科的基本框架, 并在日后的岁月里不断丰富完善。因此, 气象学科是建立在观测资料基础之上, 并由气象学家们通过深入的科学分析研究, 发现其中的内在机理, 进而形成相应的理论体系而最终构建的。随着资料的不断丰富, 科学家们不断发现着新的天气/气候变化内在科学机理, 气象学科因此得以成长发展。如果没有气象科学家天才卓越的分析研究成果, 气象观测资料便仅仅是一堆天气现象的记录数据。因此对于气象学科而言, 观测数据/产品和科学分析研究, 二者缺一不可。而在人工智能达到能够具有科学家们深厚的知识背景、敏锐的捕捉现象的本能、严谨的推演技巧和天才的综合分析判断能力之前, 这些科学分析研究工作就只能由科学家们承担并完成。

气象业务的现代化水平最终体现在气象预报的准确率, 所追求的恰恰就是精确和及时。如果不掌握天气变化的内在规律 (即所谓因果关系) , 单凭现象要素之间相关性的强弱, 是很难达到及时精确预报的要求的。地震前许多动物的行为举止往往异常, 但动物举止异常却不见得预示着地震的即将发生。止步于天气现象与气象要素之间相关性的统计分析, 不对其做进一步的机理分析研究, 对气象学科而言, 不是科学的态度。

3. 统计分析是气象部门常用的方法

探究科学机理是十分艰难的。在尚未掌握科学机理的情况下, 统计分析是常用的预报方法, 如气候领域里的气候统计预测。这种通过对长时间序列气象观测资料进行统计分析, 以历史上相似天气现象所发生的天气 (或气候) 变化的概率为依据, 进行气候预测的方法, 自气候学科发端之日起, 便一直在采用, 已达数十年之久。因此“大数据”所推崇的统计分析方法, 气象部门早在数十年前便已悉数使用, 并不陌生。

但这并不意味着气象部门在该领域的科学研究止步于此。事实上, 目前基于动力框架的气候数值预报模式 (尤其是集合预报模式等) 等方法一直在积极地试验和尝试使用之中, 目的就在于探索能够有效发现气候变化规律 (即所谓因果关系) 的路径和方法——虽然气候统计预测方法仍在使用之中。目前数值天气预报和数值气候预测中所大量采用的集合预报方法, 就是“因果”与“相关”、机理与统计之间有机结合的一种尝试。

4. 气象观测数据是所有数据中最重要的贡献者

从上文“气象大数据的内涵”中的分析可得知, 与一般大数据所使用的数据源不同, 气象行业大数据中的气象观测数据及产品是专门为气象预报业务工作而采集的, 其时空分布、数据质量及其它各种技术指标最符合气象业务的各项要求, 气象业务所需信息的浓度也最高。比较而言, 气象互联网大数据的气象信息密度不高, 数据质量也难以保证, 其它技术指标更是难以保证满足气象应用的需求。因此, 从气象行业大数据中的气象观测数据和产品产生出来的统计分析结论以及学科科学机理的发现是具有权威性的。就预报准确率而言, 气象观测数据/产品是所有数据中最重要的贡献者, 气象互联网大数据是它的补充而绝非替代者。

5. 大数据并非提高预报准确率的终南捷径

综上所述, 气象预报对准确率永远的追求决定了, 气象学科必须以探究并最终掌握大气运动的内在机理为工作目标。而大数据方法是在特定的、理想状态无法满足情况下的退而求其次的方法, 即:在尚未完全掌握大气运动规律、无法通过理论推演和方程计算准确预报天气或气候的情况下, 统计分析方法也许是一种补充完善的途径。在无法断定抽样分析所得结论的正确性时, 分析全体数据也许是一种最终解决方案。在无法提供准确预报时, 概率预报也是一种不错的选择。但是, 如果通过努力有可能达到理想状态, 人们便不应该盲目的生搬硬套大数据方法;因为对气象预报而言, 因果关系的掌握远比相关关系的发现更为重要, 后者是为前者提供线索而非取代前者的。同样, 精确的分析和预报结论永远比模糊的分析和预报结论更加满足预报需求, 收集和处理样本数据永远比收集和处理全体数据更为高效和节省资源。

所以, 大数据理念和方法并非提高预报准确率的终南捷径。

当然, 笔者并不否认大数据方法在客观预报产品解释应用方面对预报效果的改善有所帮助等正面作用, 但这终究是辅助性、修饰性的, 不是提高预报准确率的根本途径, 且效果难以具体量化。

尤其需要强调的是, 以在预报准确率方面赶上世界先进水平为目标的气象工作者, 绝不能因拥有了大数据这种退而求其次的方法而放弃对掌握气象规律这一理想事业的追求。而且, 这一追求的最终实现, 只能靠观测数据和产品在时空密度和质量上的不断提高, 以及科学家们辛勤的分析研究。由于就数据而言, 对提高预报准确率贡献价值最高的仍然是气象观测数据及产品, 因此研制出高质量、高时空密度的气象观测产品数据, 便仍将是提高预报准确率以及气象科学研究最重要的基础性工作。至于科学研究工作, 没有捷径可走, 在这里“工匠精神”永远不会过时。

(三) 气象大数据的价值分析

上文“气象大数据与预报准确率”的分析并非意味着大数据在气象部门无所作为, 而只是想说明, 大数据并非包治百病的灵丹妙药, 而是一个宏观上可在全社会产生巨大正面效益、但也存在一些效益不甚显著区域的、实实在在的思维理念和工作方法。说到底, 气象部门之所以引进大数据理念和方法, 并非为了大数据而大数据, 而是为了解决实际工作中存在的问题。因此, 气象大数据必须以业务和工作需求为引领。当业务或工作中出现的问题没有合适的数据信息, 或者虽有数据但常规处理方法无助于问题的解决时, 气象大数据也许是一种可以尝试的解决途径。通过“气象行业大数据”中的各类数据, 在履行其各自的直接业务目标之外, 使各类数据间彼此有机融合并协同分析, 是能够发掘出新的数据价值、信息价值和知识价值, 从而推动业务的发展和管理的进步, 不断提高气象部门的工作品质的。气象部门内层级堆叠、工作效率不高的问题长期以来有目共睹, “智慧气象”中“精细的科学管理”, 即可从打通部门藩篱、消除管理信息孤岛开始。通过管理信息的整合, 优化管理流程, 增强职能部门间的工作协同, 提高管理效率。通过充分挖掘和发挥出管理信息应用的价值来提高管理工作效率, 进而提高气象部门整体的工作效率, 通过大幅提高工作效率来创造价值, 等等。

“气象行业大数据”产生自气象部门, 是气象部门赖以运转的最主要资源, 同时也是气象部门各项工作的记录载体, 在所有数据资源中, 它所含有的气象信息最浓;故其应用领域首先应在于气象部门业务工作的有效运转, 其次才是社会服务。“气象行业大数据”潜在价值的挖掘和发挥, 也应当以提高气象部门工作能力为首要目标。用好“气象行业大数据”, 是开展气象大数据工作的重要内容和检验指标。

与此同时, “气象行业大数据”与“气象互联网大数据”之间的有效融合, 有可能大幅提高气象观探测的时空密度。物联网技术的有效应用, 可以使“气象行业大数据”中专业气象探测的时空分辨率变得富有弹性, 以更加有效地应对各种业务需求和社会服务需求。此外, 高时空分辨率的探测数据也可为气象科学家发现新的大气运动机理和客观规律提供前所未有的数据资源。

就应用对象及范围而言, “气象互联网大数据”中气象要素数据的产生是与搭载传感仪器的拥有者——人——密切相关的, 其所沉积下来的信息中包含有珍贵的人类活动痕迹。凡人迹所至且移动通信可覆盖之地, 均有可能成为“气象互联网大数据”的数据源。虽然其传感器搭载体的形式各异, 探测环境也很不规范, 但也正因为其搭载体拥有者是人, 可放置或出入于各种人类活动场所, 从餐厅到旷野、从巷道到影院、从居所到河畔, 皆可随时对各种场所进行气象基本要素探测, 这为气象服务的精细化、专业化和个性化提供了“气象行业大数据”所难以甚至无法提供的现场气象要素数据。此外, 利用已广泛布设的非气象监测设备所采集的信息, 通过分析得出所需要的气象要素, 以弥补专业气象探测设备无法获得的探测信息, 是一条值得深入探索的途径, GPS/MET的发掘和广泛应用就是一个典型的成功事例。可以预期, “气象互联网大数据”与“气象行业大数据”以及其它行业大数据之间的有效融合, 可在气象社会服务领域开辟出空前繁荣的气象服务新局面。

总之, 数据是为应用服务的, 气象大数据必须将业务和工作做为最主要的引领。气象大数据战略的首要内容, 不是数据的收集、数据源的拓展以及海量数据的管理技术, 而是气象工作的持续创新。在技术创新、原理创新、概念创新和思想创新的氛围中, 不断涌现出新的应用, 根据新应用在信息和数据需求方面的特点, 充分发掘现有数据资源的价值, 同时有针对性地寻找并拓展新的数据资源, 合理运用大数据有关技术, 处理并提炼出新的有价值的信息, 以推进创新的不断实现。与此同时, 由于创新本身是不同概念之间的有机连接和融合, 多角度的观察会增加概念连接的机会, 大数据所固有的关联分析以及由此产生的相关事物的现象信息, 对开拓概念连接的范围会有所帮助, 对气象部门在新形势下的创新当有所裨益。于是, 初始创新启动大数据应用, 大数据应用促进新的创新——这应该是气象大数据战略的基本轮廓。

三、开展气象大数据工作的前提条件

(一) 现有气象数据的梳理

长期以来, 人们普遍将气象观测数据及产品、以及少量的气象服务产品做为气象数据的全部, 以现代信息化理论和实践来考量, 这无疑是片面的。气象部门是一个整体, 其有效运转除需要观测数据外, 财务、人事、绩效、资产甚至设备状态信息等数据, 都是不可或缺的重要信息资源, 应当无一遗漏地纳入气象数据的范畴。事实上, 由于长期以来对气象数据内涵理解的局限性, 使得部门内对气象数据的关注点长期聚焦在气象观测数据, 相应的规范标准亦多以观测数据为对象, 其它类别的数据则所涉甚少, 甚至没有涉及。这种不平衡导致了这些其它类别数据在管理上的各自为政、规格上的无章可循、信息间的彼此隔离、质量上的参差不齐、以及使用上的困难无序和低效。即便是长期受到关注的气象观测数据, 存在问题亦不可忽视, 以数据质量为例, 众所周知, 在周边环境未发生非气象因素改变的情况下, 探测数据的质量直接取决于传感设备自身状态的正常与否。然而到目前为止, 除气象卫星和天气雷达等高端探测仪器外, 其它如地面自动气象站等, 没有探测设备自身状态信息的获取途径, 探测设备状态的判定需要依靠其所采集的气象要素是否合理、是否超出理论极限范畴等被动式手段来完成, 于是出现两个问题:其一, 对于真实的极端天气事件 (如局地特大暴雨) 数据, 有可能因其数值超出气候极值而导致数据正确性的误判;其二, 故障设备从开始发生故障到被检测出来的这段时间难以确定, 从而导致这段时间内观测数据的质量无法保证。由此亦可推论, 探测设备状态信息是相当重要的业务数据, 但遗憾的是, 该类数据至今既无相关标准, 也未正式纳入气象数据的管理范畴。

需要指出的是, 不少技术人士将所有气象数据纳入统一管理平台 (如:Cimiss) 视为气象数据治理的完成, 这无疑也是片面的。事实上, 如果上述诸如数据定义、数据分类/分级、数据分布、数据操作等诸多问题没有解决, 气象数据没有经过科学的梳理和配置, 所有气象数据在形式上的汇聚便起不到高效管理、有效应用和长期支持业务发展 (包括业务变更) 的作用。

(二) 气象数据的规划和治理

要搞好气象大数据, 首先要管理好做为气象部门核心资源的“气象行业大数据” (亦即所谓“气象数据”) 。在此, 一个极为重要的基础性工作——对气象数据的全面规划和治理——是无法跨越的。

气象部门的所有各项工作中, 无时无刻不充满着信息的产生、流动和使用。要使每个单位内部、单位之间、单位与外部门单位的频繁、复杂的信息流畅通, 充分发挥信息资源的作用, 不进行统一的、全面的规划是不可能的。气象数据规划, 实质上就是气象部门的信息资源规划, 是对气象部门日常运转所需要的各种信息, 从采集、处理、传输到使用等生命周期各个环节的全面规划。其目的, 是通过有效管理气象数据, 实现气象部门内外数据流的畅通以及数据资源的有效利用, 进而达到工作的流畅、业务的融合和整体的协同, 从而提高气象部门的工作效率和效益。通过气象数据规划, 可以梳理业务流程和管理流程, 厘清信息需求、建立部门行业的信息标准和信息系统模型, 并据此来继承、整合、优化、改进乃至再造业务流程及业务系统, 从而积极稳步地推进气象大数据战略。该项工作的长时期缺位, 已经给气象部门各项工作造成了十分被动的局面。

在这里, 气象数据规划是整体梳理、谋划和设计, 气象数据治理则是具体实施执行。

所谓数据治理, 就是使气象数据自产生的那一刻开始, 经历的采集、传输、处理、存储、操作以及质量和安全保障等生命周期诸多环节中的每一个环节, 都处在一个统一、自洽、协同的规则之中, 以使得气象数据这一部门和全社会宝贵资产始终处于正确有效的管理之下。换句话说, 气象数据的治理就是治理气象数据的政策、方法、措施和具体落实。

贯彻气象数据治理, 除先进的理念外, 还需要有配套的组织架构、原则、过程和规则, 以确保数据管理的各项职能得到正确的履行。

气象大数据的工作形态就是数据资源的开发利用, 做为良好的数据资源开发利用的基础, 数据规划是纲领, 而数据治理则是贯彻数据规划的具体进程。

(三) 数据意识的逐步培育

提高全部门的数据意识, 是开展气象大数据的基础。

数据是精准文化的核心, 精准靠数据来表述。对创新而言, 所有的成功都是小概率事件, 唯有每一步都追求精确方才可能达到。同时, 科学和精准使得思维逻辑得以严谨, 以严谨逻辑表述的思维成果, 确保了推理的可靠性, 使后人可在前人思想成果的基础上进一步思考和拓展;严谨的思维成果成为可组织、可利用的资源, 科学成果因之而得以积累, 并最终发展成长。技术的精准和步骤的严谨使得成熟技术的品质更高, 也使得这些技术得以方便地利用和重组, 而成熟技术的再重组是科技创新的重要形态之一。此外, 思维的严谨性还决定了人们科学研究的深度。在信息时代, 鲜见有采用粗放、笼统、马虎和粗枝大叶方式能够持久成功的事例。没有数据意识就没有现代科技, 在全气象部门培养数据与精准意识已是当务之急, 科学与精确应当成为气象部门的工作信条和文化素养, 是实现气象现代化最根本的基础条件。

(四) 必要的人才基础条件

所有的工作, 都是以人的思维成果而指导的。大数据技术只是众多工具中的一类, 工具没有自行主动解决问题的能力, 工具不可能解决连人都没有想清楚的问题, 解决问题的办法必须靠人的思维;人想清楚了, 则相应的处理流程可由信息系统重复运作, 以提高工作效率。如果一项工作, 连人自己都还没有想清楚, 则此时的大数据非但不能帮忙, 反而可能会把事情搞得一团糟。因此, 气象大数据应用的开展, 人才条件是决定其成败的要素之一。

具体地说, 实施气象大数据应用, 除上述几项基础工作外, 在人才队伍方面还需具备以下2个基础条件:

1. 建立起对应于大数据管理运营的数据管理中心的组织架构。没有一个相对完整和专业的数据管理团队, 是难以发挥出大数据分析的功效的。

2. 建立起一支精干的数据分析团队, 并拥有一个灵活适用的数据分析技术平台。

此外, 开展气象大数据工作, 可能会遇到许多意想不到的困难, 如:算法和数据来源问题。如前所述, 所有大数据应用的数据来源都是来自于互联网的替代数据, 而由于数据源非针对该应用所采集, 该应用所需要的内容可能同时存在于不同的数据源之中, 且存在的形态和格式各异:同样是分析舆情, 腾讯微信大数据和百度大数据的分析方法可能完全不同。面对不同的数据源, 需要不同的信息提取算法。因此, 合适的数据源和合适的分析算法, 是开展气象大数据应用首先需要解决的问题。而气象部门在这方面, 目前尚缺乏相应的专业人才和团队。因此, 对于气象部门而言, 利用他人的数据开展大数据应用, 对可能面临的困难, 需要做好一定的心理准备。

四、气象大数据中心建设问题

(一) 应当是气象行业大数据中心

开展气象大数据工作, 基础设施环境 (即:气象大数据中心) 的建设问题, 是本文必须正面回答的另一个问题, 因为海量数据的处理需要相当规模的存储和计算资源予以支持。

上文已述, 气象大数据由“行业”和“互联网”两部分来源构成。笔者认为, 气象大数据中心应当是以存储管理行业大数据为主要目标, 即:气象大数据中心应当是气象行业大数据中心。理由如下:

气象行业大数据中的各类数据, 都是由气象部门业务或管理系统产生, 以服务于气象业务或工作为首要目标的。根据属地化管理原则, 规范管理这些数据, 并负责这些数据的社会化共享服务, 是气象部门的职责。因此气象大数据中心所管辖的数据中, 必须包含气象行业大数据。同理, 由于气象互联网大数据中的所有数据皆非产自气象部门, 同样根据属地化管理原则, 气象部门没有职责和义务存储管理这些非气象部门产生的数据。

在目前数据量急剧爆发的背景下, 轻率地将体量硕大的互联网大数据整体搬移到自己的属地后再进行处理, 不是明智的举动。按照业界“算法找数据”的原则, 应尽可能采用诸如与数据源拥有方建立协作联盟、租用对方一定规模基础资源等方法, 达到在数据源近旁完成处理工作的目的, 以减少海量数据整体搬迁所造成的高昂代价, 并提高工作时效。即:对于互联网大数据的应用而言, 应尽可能采取“就近处理”的方法;在无法就近完成所有处理的情况下, 也应尽量设法采用“提取”的方法, 将有用的信息从数据源中提取回自己的属地分析处理, 切不可轻易采用“数据找算法”的陈规陋习, 将数据源整体复制到自己的属地, 除非万不得已。这方面的工作需要慎重筹划, 以免被昂贵的数据搬迁和数据更新成本所压垮。

总之, 由于气象互联网大数据与气象行业大数据相比, 无论在规模上, 还是在管理时段上都难以较为准确地预估, 将其纳入气象大数据中心的管理内容之一, 会对大数据中心的设计和管理带来一系列极其复杂的不确定因素。因此, 气象大数据中心在建设和使用初期, 应以气象行业大数据为主要管理对象, 并在气象互联网大数据的应用中尽可能避免海量数据的搬迁。与此同时, 大数据中心在设计和实际操作过程中可以预留一定规模的基础资源, 为在极端情况下互联网大数据的载入和处理预留一定的管理空间和能力。

综上所述, 第一, 管理气象行业大数据是气象大数据中心的职责。第二, 对于互联网大数据而言, 大数据中心既没有义务、也应尽可能避免对其进行长时间管理。所以, 气象大数据中心应当是气象行业大数据中心。

(二) 气象大数据中心的形态和分布

1. 气象行业大数据中心同时应当是气象云中心

就应用效果而言, 在资源充沛且数据处于规范管理的前提下, 数据的集约化程度越高, 应用的效果越理想。因此, 气象大数据中心应当是气象数据汇聚、规范化管理且资源十分充沛的数据中心。云计算中心是大数据中心最好的物理形态, 大数据中心应以云计算中心为基础平台, 这在业界已形成共识, 气象大数据中心也不例外。所以, 气象大数据中心应当是一个组织机构概念, 逻辑上相对独立, 而其实际的物理基础设施应当是气象云中心, 是气象云中心上的一个具体业务应用。

需要进一步说明的是, 对气象大数据中心的规模而言, 其中的行业数据的增长规模处在气象部门掌控之中, 基本上可以预估。但如果将互联网大数据的应用场景也考虑在内, 预留可充分应对极端情况下互联网数据源大举载入时的支撑资源, 由于数据源对象的未知性, 其相应的规模是难以预先测算的, 偏大则可能导致资源的长时间闲置, 偏小则可能届时无法发挥支撑作用。较为可行的解决方案之一是采用专有云形式, 即:选择资源规模大、公共安全措施完备、专业水平高、服务信誉好且价格相对合理的云计算中心, 在其上长期租赁相应规模的基础设施资源作为气象云的基础设施, 其中气象大数据中心的资源需求规模可基本参照气象行业大数据的存储管理规模来进行预估。与此同时, 与该云计算中心签订相应的服务合同, 承诺在气象大数据中心遇到特殊情况 (如极端情况下海量互联网数据的大批载入) 时, 该云中心可及时扩充气象大数据中心的基础资源租赁规模, 并在应用结束后收回这些临时租赁的基础资源。

2. 大数据中心的分布

笔者于前文已讨论过, 未来的气象云中心最终将以1+2或1+3等数量有限、地理分布相对合理的形式长期存在。且专有云较之私有云而言, 是更为合理的气象云形态。限于篇幅, 其理由不再重复阐述。

(三) 尽早开展应用研究工作

应及早开展针对互联网大数据在气象部门各领域创新应用的研究工作。目前这项工作在气象部门除个别先行单位 (如公共气象服务中心) 外, 基本处于空白状态, 是一片未开垦的处女地。尽早进行大数据基础知识和技能的储备, 对工作的顺利开展有益无损。同时, 应积极筹备组建相关的专业化团队, 以期尽早具备如下能力:

数据资源发现能力:熟悉互联网上各种数据资源以及数据交易市场的业务动态, 熟悉数据资产的价值评估, 可在部门用户提出数据资源需求时, 及时提供互联网数据资源的咨询服务, 推荐合适的数据资源, 以及资源的基本情况。

数据获取能力:具备在正常情况下, 通过正规途径, 以技术手段及时获取指定数据源中所有数据的能力。

数据分析能力:具备在收集互联网数据的基础上, 针对应用目标以及数据源的特点, 提出相应的分析模型, 指导并最终完成对互联网数据的整理和分析, 以完成应用目标中各项研究、评估和预测的能力。

数据算法实现:根据分析模型及数据源特点, 形成数据分析处理软件, 并完成数据处理。

分析平台:拥有分析模型建立、处理软件生成以及分析结果可视化展现的技术平台。

应适时成立相应机构 (如:气象互联网大数据应用研究中心等) , 专门从事这方面的研究和应用工作。

五、稳步推进气象大数据战略

(一) 全面认识气象大数据

在积极探索创新应用的同时, 应冷静分析气象大数据的特点和可能的适用范围, 基本明了其能力边界, 做到心中有数。既不被外界过度宣传所裹挟, 也不被内部守旧力量所羁绊。积极而稳妥, 慎重而不裹足不前。应当明白, 目前国家所倡导的大数据战略, 与其说是为了推行充分挖掘数据资源价值的工作方法, 不如说是一种工作思维和工作方式的改进和补充, 是一场全社会文化素养的改良和变革。通过对大数据不断深入的应用, 持续改进全社会的生产质量、产品质量、服务质量和生活质量。

因此, 不必过度介意气象大数据在某些特定领域内 (如提高预报准确率等) 作用的有限。大数据不是万能的, 正如信息化不是万能的一样, 不可能指望单凭推行大数据就能解决所有问题。充分利用一切可以利用的数据资源, 不断创新、不断改进气象部门各项工作, 倡导和发扬工匠精神, 使各项工作更加科学化和精细化, 就已达到了气象大数据战略的基本目标。

此外, 气象大数据应当以应用为主导, 以业务为主导, 以改善各项工作为主导, 更应该以技术、业务、服务和管理创新为主导。应当使全部门明了:开展气象大数据工作不等于在各地开展数据中心基础建设, 更不等于在各地开展数据库建设。此外, 开展气象大数据工作, 应力求基础工作先行、专业团队建设先行和应用研究先行。

(二) 保持清醒、力戒浮躁

我国政府多年前便已开始倡导科学发展的理念, 但目前全社会急于求成的心理依然非常普遍, 似是而非且激动人心的宣传口号此起彼伏, 反映出一些人的浮躁心态。气象大数据工作的开展, 不宜采用运动的方式, 而应该在充分营造创新氛围的前提下, 由创新引导气象大数据的具体应用, 循序渐进, 待深入到一定程度后, 再由大数据应用逐步推动创新, 从而形成创新引导大数据应用, 大数据应用进一步推动创新的彼此互动的良性循环局面。从过程上看, 气象大数据的开展应当水到渠成, 过度的宣传、强力的行政推动和盲目鲁莽的基础建设无异于揠苗助长, 对大数据的应用发展有损无益。切勿被“抢占制高点”等宣传口号所蛊惑, 在被某些善良单纯的记者以及别有用心的企业家鼓动得显然有些过热的大数据风潮中, 保持头脑的冷静, 力戒内心的浮躁, 显得尤为可贵。

六、结语

“互联网+”时代的气象大数据建设, 其基本的要求是:在顶层设计上, 以应用理念来引领技术应用;在业务架构上, 以数据运营来促进各应用系统融合;在建设方式上, 充分激活部门内外以及社会力量的参与。大数据之所以能够激发万众创新的大好局面, 并非其自身具有多少神奇的魔力, 而是因为互联网时代数据资源极大地丰富、信息极大地丰富, 许多以往不可能获得的信息现在有可能得到了, 过去由于信息的匮乏、不准确、不全面和不及时所不可能开展的许多工作, 现在有可能开展并最终完成了。所以政府在推行大数据国家战略的同时, 始终强调数据的开放和共享, 强调全社会的共同参与。大数据的关键在于应用, 气象大数据建设应不断吸收“互联网+”时代充分的精神价值, 遵循开放的心态, 将互联网时代精髓纳入到数据管理和应用的全部过程, 实施“互联网+”时代的服务特征。同时应充分认识到:气象大数据应用的关键不是技术问题, 更不是基础建设问题, 而是理念问题、创新问题、管理问题和组织问题。因此, 气象大数据工作的开展应当着力避免以“铺摊子、上项目、单打独斗、互不联通”为主要特征的“粗放发展方式”。

总之, 在万众瞩目、万众竞议、万众跃跃欲试的大数据浪潮中, 以应用为导向, 冷静地辨析大数据, 对日后的工作, 是有百益而无一害的。

大数据时代的气象服务应用分析 篇2

【关键词】大数据；气象服务；气象技术

随着现代社会的发展和天气气象的愈渐复杂，气象中心的工作量开始增大，越来越多的数据和信息处理成为气象工作人员面临的首要问题，一般的数据库根本无法有效的完成数据分析，为气象人员提供精准的决策服务。随着气象应用技术的不断发展，如何更好的把握气象应用服务的特点，突破技术瓶颈，成为气象中心首先要探究的问题。

一、大数据以及大数据思维变革

（一）大數据的含义。大数据是IT行业的专业术语，大数据又被成为巨量资料，也可以理解为海量的信息内容，“大数据”是指不用随机分析法，即抽样调查的方式，而是采取所有数据综合的分析处理，然后得出一定的结论。大数据不仅对于气象应用有着重要的意义，而且对于其它行业不同领域的信息技术也有着重大意义。可以说，大数据的信息化程度已经成为当前社会经济发展程度，尤其是科学技术，信息化程度的重要标志。

（二）大数据思维变革

大数据与我们的生活息息相关，沃尔玛是世界上最大的零售公司，它每小时处理的电子交易记录多达100万笔。2011年，美国国家安全局通过监控数据信息记录发现了世界头号恐怖分子本拉登的踪迹。随着大数据的发展，越来越多的人对于大数据的数据信息处理技术也提出了更高的要求。信息处理速度更快、信息程度更高、数据处理更科学精准成为了很多人的普遍追求。其实大数据的概念在IT之外的军事。物理、生理、环境生态、以及金融通讯方面存在已久，但是近年来随着互联网信息技术和信息行业的不断发展，使得相关的数据信息技术也开始应用到天气领域，如今的气象工作人员已经开始尝试应用海量的数据，进一步的提升气象天气的预警能力，并在自然灾害中发挥越来越重要的预警作用。例如，在我国交通安全管理局通过信息记录分析发现夏季是一年中交通事故的高发期，不仅如此，交警部门甚至还能预测到绝大部分交通事故发生在夏天正常天气以及光线较好的白天，并不是人们传统思维上的恶劣天气。如今，大数据已经广泛的应用到各个行业，因此，这就要求相关行业必须更好的掌握信息处理技术，更好的为人们所服务。

二、气候服务中数据技术的应用

（一）气候服务中数据挖掘技术特点及应用。数据挖掘技术是气候服务中的重要数据技术，它的优势在于可以快速的在海量的信息库中找到目标信息，它能够处理不完全信息、噪声信息、模糊数据信息、预警信息转换为特殊标识，方便气候人员分析得出结论。在原有的数据信息库中，挖掘技术对于信息的处理及时更为敏感，尤其是对于不断变化的气候信息，其半结构化信息的处理技术利于对于复杂天气的预测。从应用层面来讲，数据挖掘技术的气候信息技术更为新颖、科学、准确。挖掘数据将数据浓缩成一个数据集合，利用处理软件的功能，把具象数据抽离出来，形成具有说明功能的数据群，其次每一个数据都有对应的映射目标，这便于工作人员更能全面清晰的了解数据的个体信息，便于气候天气的精准预测。总的来说，数据挖掘技术具有共享、研究的特点。所以在这个过程中，功能强大的数据信息处理技术可以提供格式统一的数据信息资料，便于气候工作人员分析出阶段性的天气变化趋势。大数据的核心是预测，大数据之所以能够预测未来是对于相关关系的精准把握，在这个过程中，数据部门要根据相关的状况或现象总结出规律。传统的统计雪方法对样本数据的正态性假设、变量的独立性、变量个数、建设检验都有着较高的要求，而大数据则是对传统统计学方法的拓展和延伸。大数据分析侧重于高维建模、复杂网络建模、非参数模型等技术从种类繁多、数量庞大的数据中快速获取相关价值信息。气象部门每天的数据增长量有非常大的数据级，其中包括每天2000多个地面站、120个高空探测站、6颗轨道卫星、444多个雷达站、300个雷达站、90多个酸雨监测站等等，这些数据全天各个时段每分钟都在扫描着中国的各种天气数据，这些数据的体量巨大，且增长速度快，数据类型多样，因此气候大数据在气候天气预报以及应对自然灾害中有着极其重要的意义。

（二）气候云端及应用。气候云端是建立在大数据之上的，其大数据云计算是气候云端建立的必然条件。气象云端除了传统的程序、系统、模型控制气候信息意外，还有云端申请的技术服务。所谓云端申请就是指可以同时间满足多种气候服务需求，并可迅速通过组织计算，测定气候资源的服务特性，得出结论。此外，云计算还有这数据存放在终端数据中，其后续数据管理，气候资源不会干扰其他云端计算模型。气候云端主要应用于灾害性天气气候信息的预警，在这个过程中，气候云端可以在第一时间发出预警信号，并利用卫星进行灾害定位，从而为有过部门提供相应的建议和应对方案。

（三）当前大数据下背景下的气象服务发展。现阶段，大数据已经成为一种时代趋势，在如今的现代社会中，各领域对于气象信息的依赖性越来越强，可以说气象信息的精准处理和预测对于各领域有着及其重要的意义，它不仅直接给企业提供精准的天气气候预测信息，而且还能为企业的发展和决策提供一定的条件，不止如此，大数据还直接关系到不同行业人的生命健康。在气候领域，我国已经建立了非常强大的数据采集手段，以其高精密、高速气象检测仪为气候服务提供了丰富精准的气候信息。在实际发展过程中，气候预测，信息技术数据处理尽管还有不少问题需要解决，但其在气象服务中的应用与发展是势不可挡的。除了气候领域以外，大数据在防灾减灾以及能源、农业、建筑行业的应用也相当广泛。在能源行业，大数据可以观测到电力负荷历史，然后加上一定的气候条件进行用电量估算，除此之外，大数据在交通、航班延误预测以及公共卫生领域都有着极深的应用。

结束语

大数据是社会经济发展到一定阶段的必然产物，如今大数据已经广泛的，深入的运用到各个领域中，在气候领域，数据处理技术的创新，气候云的发展成为气候领域数据信息的发展趋向。

参考文献

[l]韩晶.大数据服务若干关键技术研[J].北京邮电大学学报（社会科学版），2013，13（22）：190-192.

大数据时代对气象服务的推动 篇3

一、大数据时代的概念

2011年5月 , 麦肯锡公司下属的全球研究所 (McKinsey Global Institute) 发布了一份专门的研究报告, 报告对美国政府目前拥有的数据量进行了估算, 美国政府共拥有848拍字节的数据总量 (谷歌每小时处理的数据为1拍) ;一分钟内, 微博、推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万;沃尔玛是世界上最大的零售王国, 它每小时要处理100多万笔电子交易记录……

这些庞大的数字意味着什么? 美国国家安全局通过收集电话监控数据记录发现本·拉登的蛛丝马迹;沃尔玛通过数据分析发现跟尿布一起搭配购买最多的商品居然是啤酒; 卫生局通过药店联网销售数据可以提前预知流感的爆发期; 交通安全管理局通过交通事故记录分析发现夏季是一年中交通事故的高发期, 恶劣天气和光线条件并不是发生事故的必然原因, 绝大部分事故都发生在正常天气及光线较好的白天……

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡, 其称:“数据已经渗透到当今每一个行业和业务职能领域, 成为重要的生产因素。人们对于海量数据的挖掘和运用, 预示着新一波生产率增长和消费者盈余浪潮的到来。”越来越多的政府、企业等机构开始意识到数据正成为组织最重要的资产, 数据分析能力正成为组织的核心竞争力。

联合国在2012年发布了大数据政务白皮书, 指出了大数据对联合国和各国政府来说是一个历史性的机遇, 人们如今可以使用极为丰富的数据资源, 对社会经济进行前所未有的实时分析, 帮助政府更好地响应社会和经济运行。2013年3月, 奥巴马政府宣布投资2亿美元拉动大数据相关产业的发展, 将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”, 并表示一个国家拥有数据的规模、活性及解释运用的能力, 将成为综合国力的重要组成部分, 未来对数据的占有和控制, 甚至将成为陆权、海权、空权之外的另一种国家核心资产。

二、对大数据时代的理解

《大数据时代》的作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”, 他在书中前瞻性地指出, 大数据带来的信息风暴正在变革我们的生活、工作和思维, 大数据开启了一次重大的时代转型。他明确地指出:大数据时代最大的转变就是放弃对因果关系的渴求, 取而代之关注相关关系。也就是说, 只要知道“是什么”, 而不需要知道“为什么”。这颠覆了千百年来人类的思维惯性, 对人类的认知和与世界交流方式提出了全新的挑战。

如天气预报的基础是通过地基气象观测、空基气象观测、天基气象观测取得的数据, 天气预报的工具是形式多样的数值预报模型, 天气预报的结论最终由预报员进行主观分析取得。在现有模式下, 由于预报工具和数据的局限性, “定时、定点、定量”一直是预报的难点。如果运用大数据理念, 通过对海量数据的分析对比、数据挖掘、现场实况温度、湿度、风向、风速等气象要素的综合分析, 也能进行天气预报, 在“定时、定点、定量”上可能会有更大突破, 当然这是建立在海量数据的基础上的。

2011年10月 , 美国联邦政府商务部下属的国家气象局 (NWS) 宣布, 该局已经在全国2000辆客运大巴上安装了传感器, 随着巴士的移动, 这些传感器可以沿途收集所有地点的温度、湿度、露水、光照度等数据, 并即刻传回国家气象局的数据中心。数据每10秒采集一次, 每天传感器要采集10万次以上的数据。这些数据是实时的、高精度的, 意味着天气预报不仅仅是“预”报, 更将逐渐走向“实”报、“精”报。

三、大数据气象服务模式的思考

随着大数据时代的来临, 气象部门可以做更多的工作, 如传统数据收集系统的更新, 建立大型气象数据库, 探索气象数据挖掘技术, 通过与国土、民政、水利、农业等部门的数据共享, 发现更多的关联要素, 通过数据的加工和公开, 进一步提升服务能效等。

1.传感器的开发和使用, 即传统数据收集系统 (气象观测装备) 的更新。美国施乐公司的一名计算机科学家提出:“最高深的技术是那些令人无法察觉的技术, 这些技术不停地把它们编织进日常生活, 直到你无从发现为止。”他开创性地提出了“普适计算”理论, 而实现普适计算的根本是人类生活的物理环境当中广泛部署的微小的计算设备———传感器。

传感器最早应用于民用领域源于由美国陆军工程部和美国国家海洋与大气管理局 (NCAA) 联手开展的“海浪监测计划”, 主要是在全美岸线和五大湖区建立一个定点的、连续的、实时的传感器网络, 对海浪大小进行监控。系统经过不断升级, 现在已经能够建成一个覆盖全美海岸线、从浅水到深水、精确的海浪监测网络。这些传感器不仅能监测海浪的能量和方向, 还能计算它的传播速度、偏度和峰度, 对海浪的监测不仅能提高沿海地区对海啸、风暴等自然灾害的应急能力, 还能极大地改善海上的交通安全, 同时也能为利用大海能量进行发电提供关键的分析型数据。

完善的气象监测网络和观测数据是气象服务的基础, 虽然我国气象部门的自动气象站已经遍布全国各地, 但受周边环境、地理位置、区域发展、维护不及时、经费不到位等因素的制约, 取得的观测数据在完整性、标准性、区域性等方面还存在各种问题, 因此创新监测模式和监测设备, 开发和使用体积小、功能全的传感器是提升气象监测能力和水平的重要途径。

2.气象数据的开放共享。在经济社会生活中, 不少行业, 如农业、交通业、建筑业、保险业、旅游业等与天气变化息息相关。美国商务部曾经做过一个专项分析, 最后得出的结论是, 全国三分之一的GDP产值都和天气情况紧密相连。

对于天气数据的公开, 各国做法均不相同, 基本上有三种模式, 一种是利润最大化模式, 一种是平均成本模式, 还有一种是边际成本①或免费模式。我国目前仅做到气象服务的公开, 而且三种模式均沾, 也就是我们平常所说的专业服务、决策服务和公共服务。公共服务基本采取免费模式, 专业服务采取利润最大化模式, 决策服务通过争取地方财政资金和项目投入, 可以看成平均成本模式。由于部门间信息数据共享不到位、专业人员缺乏、科研成果转化率不高、气象观测数据的研究和应用不够等原因, 专业气象服务能力不强, 气象服务的发展处在两难的境地之中。表面上看气象部门利用发布的信息收取费用, 弥补行政经费的不足, 而从长远看, 由于信息的封闭和垄断, 其对整个社会的经济发展是弊大于利的。

美国政府采取免费发布模式, 其开放性促进了全国的经济增长, 效果非常明显。最经典的例子就是美国海洋和大气管理局免费发布天气数据。2008年, 据首席经济学家韦伊尔估算, 仅全国的发电厂因为得益于该局发布的免费数据, 从而可以预测下一天、下一周的发电量、优化资源配置, 每年节省的经费达1.66亿美元。2001年, 普华永道对经济收益与免费的数据发布模式之间的关系专门做过调查, 它的研究结果是提供免费的数据发布, 2000年美国天气风险②管理行业的产值是整个欧洲的近60倍、整个亚洲的146倍。差距如此之大, 进一步说明了数据开放共享的根本优势。

就我国气象部门来讲, 数据的开放共享还有一定的难度, 一方面从安全角度讲, 需要就数据的开放共享制定一系列规章制度, 另一方面, 气象部门的体制机制制约了气象数据的开放共享, 气象部门属于双重管理体制。就体制来讲, 只有真正做到政事企分开, 让专业的人员和公司提供专业服务, 才能取得最大的经济效益。就经费投入来讲, 气象现代化建设、业务运行和人员经费有很大一部分是通过专业和专项服务获得的经济效益进行开展与维持的。只有政府承担所有事业经费, 解决这方面的后顾之忧, 彻底理顺关系和职能, 才能做到气象数据的开放共享, 真正为提升全国经济效益作出贡献。

3.服务理念的更新。气象部门的职责是围绕人们不断增长的社会生活需求, 提供更周到、细致、专业的气象服务, 这同时也定义了气象部门的发展方向, 就是提供人们和社会生产需要的精细化预报, 通过与农业、水利、交通、国土等部门间的数据共享、专业合作等手段, 提高公众服务产品的质量;通过建立完善的观测体系, 读取各种气象数据, 建立气象大数据库;通过开发数据挖掘技术, 发现与人们生活方方面面紧密相关的要素值; 通过政府打造统一的预警平台、规范的应急流程, 第一时间将预警信息发送至人们手中, 指导人们防灾减灾, 将天气灾害带来的风险降至最低, 真正发挥政府部门的参谋助手作用, 体现服务型政府的真正意义所在。

气象部门发展至今, 一直走在科技发展的前沿, 面对人类社会的发展, 以及传感器和微处理器的发展与普及, 我们正迈入大数据时代, 紧跟时代发展步伐, 积极调整发展思路, 充分发挥气象数据的优势开展气象服务, 才是气象部门不断提升自己的根本。

注释

1边际成本:指在一个特定的产量水平上, 增加一个单位产量所需要增加的成本。如对电脑制造商而言, 多制造一台电脑需要投入的人工和原材料。

大数据的关键在于信息量大 篇4

来年Garry Kasparov再向深蓝挑战，IBM因为深蓝的广告任务圆满达成回绝了他。于是，历史记录了“1997年电脑打败最厉害的人脑国际象棋高手”，人类没有讨回公道的机会了。

其实，IBM胜之不武，深蓝后台挂着一个100年来世界上国际象棋高手对奕的棋谱记录和收集得到的各种残局样本，深蓝每秒钟可以处理2亿步棋。Garry Kasparov赢过深蓝一回，自恃甚高，还允许IBM的工程师在棋赛进行中修改程序。更不公平的是电脑不会累，这场棋赛按照标准赛制双方都有时间限制，前面几局卡斯珀罗斯因为时间不够，常常得赶鸭子上架而导致平局。

电脑不断电就不累，而大师下一盘棋可能就会心力交瘁，二者无法相提并论。Garry Kasparov每下一步棋，深蓝可以迅速地从数据库中找到曾经发生过完全相同的棋局，再分析出下一步在所有棋局中成功率最高的方法，或是从未失败的对策。不论如何，对每秒钟有能力处理上亿步棋的深蓝来说一点也不吃力，加上IBM工程师的人工智能技术，根本不需要每次都去搜索整个数据库。

IBM的深蓝小组在棋赛后就解散了，但延伸的技术可能就是今天的大数据。

今天，许多媒体进行民意调查，可能取样数只有一两千人，就能显示出社会大众对特定事物的看法。如果有机会取样上亿个，差不多就可以预测所有特定事物的发展趋势。以前，请人在街头或是电话访问，不可能取很多样。但是今天网路把大家连在一起，一家购物网站一天都能完成上亿笔生意，何况想方设法从网络上拦截到大家的邮件、微博、微信、短消息和查询内容，一小时取样几亿笔数据根本不算难事。

谷歌每天就有30亿笔民众搜索关键字的数据。2009年谷歌在《自然》（Natrue）科学杂志上发表了一篇论文，精确预测出美国哪几个州即将在接下来的冬天爆发流感。文中解释了他们利用民众搜寻关键字的大数据，整理出来的结果和美国疾病管制局2007和2008年各地发生流感的数据完全符合。

几个星期后，一种结合禽流感和猪流感菌株的新病毒H1N1跳上了所有美国媒体的新闻头条，大数据让大家见识到了非常厉害的预测能力。

由于取样数据达到了足够大的量，就不用去管背后的原因，只要知道那样很准就行了。例如，亚马逊网络书店开幕之初，聘请了许多编辑为他们卖的书写书评，书评写得越精彩，自然那本书就卖得越好，这也是亚马逊所以能在当初许多竞争对手中，笑到最后的原因之一。后来卖的书多了，数以亿计，利用软件技术从大数据中整理出在购买甲书的客户中，超过特定比例的客户都买了乙书，下一次只要有客户订购了甲书，亚马逊就把乙书推荐给他，乙书卖掉的机会也就很高。

亚马逊电脑主管的目标是持续改善推荐书的大数据系统，要让买书的客户至少再多买一本书。

古时候传下来的命相秘籍，多以神秘来装饰，而不是以实用让人信服，因为古时候收集数据不容易，取样不够就会以偏概全，大师如果只是打坐冥想，恐怕不容易理清人的复杂性。

大数据的应用软件技术很重要，但数据量大更重要。例如，大数据中整理出有几百万名孕妇购买的食物里某一基本元素（钠、铁、钾等）的含量超出常人，就可以反过来从购买的食物中找出怀孕的客户，这肯定比算命师用八字去猜一个人什么时候怀孕更准确吧！而John Wanamaker说不知道广告哪一半浪费了，是因为那个时代没有大数据。

谷歌帮亿万人搜寻需要的信息，用广告去拦截搜寻的答案而大赚广告费，亚马逊觉得自己是“亿货公司”（比百货多很多），客户到亚马逊买东西还要让谷歌提成（用广告费方式）不合理，于是自己建立了广告机制，广告费自己赚。这些“IT大款”都有大数据，可以准确地作出选择。

媒体靠广告收入生存，以前50%的广告泡了汤没关系，因为没人知道那50%跑去哪里了。今天广告主已经知道了找得到目标客户的广告方式，媒体是不是觉得如履薄冰、战战兢兢？

看来，媒体未来的竞争对手不仅是同类媒体。

大数据在气象服务中的应用与分析 篇5

随着现代社会的发展和天气气象的愈渐复杂, 气象中心的工作量开始增大, 越来越多的数据和信息处理成为发展现代化气象业务所面临的重要问题, 一般的数据库已经无法有效的完成大型综合性数据分析的需要, 无法有力的为气象决策服务提供数据支撑。随着大数据应用技术的不断发展。如何更好的把握应用气象服务的特点, 突破技术瓶颈, 已经成为气象科研工作要探究的重要课题。

2 气象大数据服务概述

2.1 气象大数据特征分析

为了提供气象大数据服务, 需要判断气象数据的大数据特征。大数据通常具有体量大 (Volume) 、数据种类繁多 (Varity) 、数据需求处理速度快 (Velocity) 、数据价值高 (Value) 的基本特征。

当前气象行业累积海量的数据, 数据体量已经达到了PB级, 具有大数据的Volume特征;气象数据种类繁多, 包括各类结构化和非结构化的数据, 能够满足大数据的Varity特征。气象数据的采集过程通常是逐天逐小时甚至到逐分钟发生的, 气象行业数据增长速度飞快, 因此, 处理速度需求也与日俱增, 满足大数据的Velocity特征;而且气象数据的处理、分析与深入挖掘, 有助于气象行业内部的服务, 如预报、预警等, 因此气象数据满足大数据的Value特征。

气象数据满足大数据的4V特征, 因此如何高效地存储、处理气象大数据已成为急需解决的问题。云计算技术可以为解决上述问题提供技术支撑, 有助于开发和实现高效的气象大数据服务, 进而更好地提升气象业务服务水平。

2.2 气象大数据服务框架

我国气象行业中, 气象区域中心分布着大量的硬件设施, 包括高性能计算机以及常规存储服务器、网络通信设施等。将这些基础设施通过云计算技术进行整合, 进而构成气象行业专有云, 其部署示意见图1。气象行业大数据服务框架可以基于该气象行业专有云进行部署。

3 大数据在气候分析中的应用

3.1 气候分析中数据挖掘技术特点及应用

数据挖掘技术是气候分析中的重要数据技术, 其应用优势在于可以快速的在海量的信息库中找到目标信息, 它能够处理不完全信息、噪声信息、模糊数据信息、预警信息转换为特殊标识, 方便技术人员分析得出结论。在原有的数据信息库中, 挖掘技术对于信息的处理及时更为敏感, 尤其是对于不断变化的天气信息, 其半结构化信息的处理技术利于对于复杂天气的预测。从应用层面来讲, 数据挖掘技术的气候信息技术更为新颖、科学、准确。挖掘数据将数据浓缩成一个数据集合, 利用处理软件的功能, 把具象数据抽离出来, 形成具有说明功能的数据群。其次, 每一个数据都有对应的映射目标, 这便于工作人员更能全面清晰的了解数据的个体信息, 便于气候变化的精准预测。总的来说, 数据挖掘技术具有共享、研究的特点。因此, 在这个过程中, 功能强大的数据信息处理技术可以提供格式统一的数据信息资料, 便于气候工作人员分析出阶段性的天气变化趋势。大数据的核心是预测, 大数据之所以能够预测未来是对于相关关系的精准把握, 在这个过程中, 数据部门要根据相关的状况或现象总结出规律。传统的统计方法对样本数据的正态性假设、变量的独立性、变量个数、建设检验都有着较高的要求, 而大数据则是对传统统计学方法的拓展和延伸。大数据分析侧重于高维建模、复杂网络建模、非参数模型等技术从种类繁多、数量庞大的数据中快速获取相关价值信息。气象部门每天的数据增长量有非常大的数据级, 其中包括每天2000多个地面站、120个高空探测站、6颗轨道卫星、444多个雷达站、300个雷达站、90多个酸雨监测站等等, 这些数据全天各个时段每分钟都在扫描着中国的各种天气数据, 这些数据的体量巨大, 且增长速度大, 数据类型多样, 因此气候大数据在气候预测以及气象防灾减灾中有着极其重要的意义。

3.2 气候云端及应用

气候云端是建立在大数据之上的, 其大数据云计算是气候云端建立的必然条件。气象云端除了传统的程序、系统、模型控制气候信息意外, 还有云端申请的技术服务。所谓云端申请就是指可以同时间满足多种气候服务需求, 并可迅速通过组织计算, 测定气候资源的服务特性, 得出结论。此外, 云计算还有这数据存放在终端数据中, 其后续数据管理, 气候资源不会干扰其他云端计算模型。气候云端主要应用于灾害性天气气候信息的预警, 在这个过程中, 气候云端可以在第一时间发出预警信号, 并利用卫星进行灾害定位, 从而为有过部门提供相应的建议和应对方案。

4 气象数据应用案例

气象条件与农业生产具有很大的关联, 在农业种植生产过程中, 温度、降水、日照、风力、蒸发量等气象因子都会对农作物的产量和品质产生十分重要的影响。而事实上, 农业相关产业链的其他环节也都依赖合适的天气条件、如农产品的物流运输和终端销售都不同程度的受到天气条件的影响。2015年, 某单位建立起“气象+农业”的大数据应用分析的合作协议, 并且根据3个月的实践研究, 最终确定“气象+农业”的应用场景, 包括以下3个方面:

4.1 农业生产方面

通过应用气象数据, 能够指导农户合理安排农业生产工作, 尽量降低由于气象因素所造成的农业生产损失。以某地西瓜种植为例, 由于西瓜喜热, 该地2015年开春后出现倒春寒天气, 导致大量西瓜苗受到冻害影响。另外, 在西瓜上市期, 某地连续降雨十几天, 对西瓜政策销售造成了严重影响, 农管家的交易平台上西瓜周均价一直处于下行。对此, 可以通过气象数据分析, 将未来天气预警信息推送给农业用户, 有效地指导农户安排生产销售计划, 尽量减少农户因天气原因带来的经济损失, 促进农户增收。

4.2 物流运输方面

在物流运输方面, 将气象数据推送给物流公司, 可以帮助物流公司确定最优运输路线, 确保交货时间, 提升运输效率、降低运输成本。比如, 某单位采用“第四方物流”形式, 即不建仓库不建车队, 完全依靠社会运力来解决, 该单位的作用即“信息平台”, 向能提供物流服务的社会运力开放, 无论个人或者公司, 都能够在该单位平台上发布使用车辆或者提供车辆服务的信息。比如, 2015年, 该地发生强降雨天气, 导致鸡蛋积压严重, 在很大程度上影响了鸡蛋的品质和效率。对此, 该“信息平台”可以将天气趋势和预警信息推送给物流公司, 负责物流调度相关人员提前安排产品运输, 这样就能够有效保障交货时间。

4.3 销售终端方面

通过合理运用气象数据还能够帮助消费者预估市场供需价格变化, 合理采购, 通过这一应用方式, 不仅能够提供精准营销的参考, 而且还能够增加销量。互联网终端消费者不仅有公众, 而且还有大部分用户是公司, 即与公众日常生活紧密相关的采购方, 包括各种类型和层次的批发商、饭店、超市、深加工企业和出口贸易企业等用户。该单位为了缩短中间流通环节, 通过强大的线上线下服务能力, 有效解决了由于信息不对称而导致的农产品流通效率低下以及损耗严重的问题, 便于采购。在此过程中, 通过向消费端推送天气信息, 能够为采购方评估采购原料, 制定采购计划, 进而合理安排采购进度。

5 结束语

综上所述, 现如今, 大数据已经渗透入社会经济发展的各个方面, 随着数据处理技术的不断创新, 气候云已经成为气候数据信息处理的重要发展方向。本文以“气象+行业”大数据分析为研究对象, 根据实践研究, 将气象大数据应用于农业商业发展中, 有利于促进市场经济发展。

参考文献

[1]张巍.大数据在气象服务中的研究与应用[J].计算机光盘软件与应用, 2014 (18) :27~28.

[2]赵蓓.大数据时代对气象服务的推动[J].考试周刊, 2014 (33) :195~196.

[3]李社宏.大数据时代气象数据分析应用的新趋势[J].陕西气象, 2014 (2) :41~44.

气象信息大数据 篇6

伴随着近年来经济和科技的快速发展, 我国气象预报工作也有相当程度的发展。但是, 在气象预报的过程中, 我们仍需面对很多问题, 气象预报工作亟需更进一步的完善。为了进一步促进我国地面气象测报的发展, 并逐步优化“观云测天”的传统测报模式, 进而将其转化为全新的探测机制, 即以高效探测与信息化数据处理为主要方向的新模式, 在国内开展了内容丰富的地面气象测报的各种技能竞赛, 覆盖了气象测报的诸多方面, 包括有云观测、地面气象观测、计算机数据综合处理和地面报告编制等。笔者在本文中就地面信息化处理技术进行了研究和简析。

1 A文件计算机审核疑误信息处理

1.1 台站参数疑误信息的处理

在进行格式审核过程中, A文件的台站参数疑误信息需要进行一定处理。其错误信息通常表现为文件首部参数与台站参数表不相符, 要正确处理这种信息, 首先要检查文件首部的参数标识, 其结果是全月数据缺测;而冻土观测项目的数据在台站参数当中已经设置完毕, 所以, 两者的数据之间存在矛盾。通过对其进行分析后我们发现, 其主要原因在于:次月初进行了例行的冻土观测, 最后月的B文件转为A文件, 倘若次月的冻土观测项目并未在台站参数中设置, 两者的数据就会出现矛盾。所以台站在任务变动时, 要做出相应提示, 在进行文件转化时, 尤其要重视观测任务的变化, 保证本站基本参数设置的正确性。

1.2 文件正点记录缺测处理

据规定:“若能有效获取非正点分钟数据, 则正点左右10min以内的记录为首选是作为有效替代的首选”。若所得非正点分钟数据在正点前10min以内, 并且该数据缺测, 那么, 我们选择正点之后10min以内与正点接近的数据作为替代。而在不能有效测取分钟数据要素, 或有分钟数据却出现缺测的状况下, 可以将平行观测值或者补测值作为分钟数据的有效替代。

1.3 降水量和降水现象不一致的情况处理

例如在文件当中出现了存在7~8h有降水量, 却无降水现象与其相对应的疑误信息, 这主要是因为传感器翻斗出现了滞后性。解决这个问题所采取的方法是:在有效判定了降水量滞后这个前提下, 且滞后时间<2h, 我们可以将该数值累加, 其目标为降水终止的时间段;若滞后时间>2h, 则将该降水量删除。

1.4 上跨日期与上月文件有差的处理

测报软件能够对跨月连续降水的开始日期进行挑取, 对上跨连续降水量也是如此。鉴于所选数值会出现错误, 所以, 预审人员要树立严谨的工作态度, 将文件数据进行比对核实, 保证无误。

2 J文件计算机审核疑误信息处理

2.1 对分钟数据的缺测处理

在对J文件的机审过程中, A文件所显示的正点值与系统所给出的提示信息不一致。这主要是因为采集器受到自然因素影响导致工作状态失常、对传感器进行标校和更换导致缺测等。此时在单位时间 (h) 内, 其正点数据和正点分钟数据有差, 且正点分钟数据被确认有误, 则可取正点值以替代。

2.2 对分钟数据异常跳动变化数值的处理

在对J文件进行机审时显示, 分钟之间的数据出现异常, 通常表现为20.52时的气压值和其前后1min都存在误差, 这个数值达到了20h Pa, 这个记录值是异常的。据规定, 通过其前后分钟数据内差可得, 这一分钟值为840.3h Pa。

3 文件人工审核疑误信息处理

3.1 对云、能见度和天气现象记录进行审核时的要点

3.1.1 在对云观测的记录里, 首先要充分了解云的定义、成因

和特征以及常伴随出现的天气现象, 以此为基础, 对云状记录的排序和云状衍变予以充分关注。

3.1.2 能见度的记录应与天气现象相结合。

当能见度小于10km时, 也要对轻雾、霾等天气现象进行记录。在能见度小于1km的状况下, 则要有相应的雾、雪暴和沙尘暴等天气现象的记录内容。

3.1.3 天气现象的记录要与其定义特征的规范保持大体一致。

若存在降水记录, 则尤其要重视降水的时间起止。另外, 进行霾、浮尘、轻雾等视野障碍现象的记录时, 要充分考虑风、降水、相对湿度等现象。

3.2 人工审核的其他要点

目前, 自动气象观测系统尚不完善, 还有某方面的功能缺陷, 它能对数据文件的合法性进行有效检测, 对于不定量的信息化资料却力不从心。因而, 人工审核是不可缺少的。

3.3 对质量控制码疑误信息的处理

我国气象文件中有非常明确的规定:在控制段中, 质量控制码是使用三位整数来表示的, 从个位、十位到百位分别对应了国家级、省级以及台站级。在日常的工作中, 记录错误会严重影响数据格式的秩序。所以, 在出现台站观测数据有修改或缺测的情况时, 要对质量控制码和更正数据段的格式予以检查, 以确定其正确性。

4 对信息化文件作出正确的备注

要想正确地对信息化文件做出备注, 首先要注意备注信息的内容, 即对测报工作中的重要事由或对有影响情况的记录的阐明。它通常包括了站址的迁移、站名变更、业务升级和设备的变动等。其次要有条理地进行记录, 并作精炼简要的描述, 要注意对同类型的备注进行归并, 且按照相关规定执行。

5 结语

以上是笔者对气象预报地面信息化处理技术的研究和浅析。在实际的信息化资料的审核处理过程中, 发现并处理疑误信息的情况更为复杂, 工作人员要对A、J文件的数据格式有清晰认识, 严格操作流程, 对疑误信息展开综合的分析和判断, 确保信息化资料处理的准确和完整性。

摘要：笔者主要对气象预报地面信息化处理技术展开了研究与分析, 就地面测报业务软件相关技术作了简述, 充分考虑了人工审核的经验, 并对云、能见度和天气现象等人工观测项目之间的配合进行了重点分析, 着重指出了地面信息化数据文件中的错误。

关键词：地面气象预报,信息化,数据处理

参考文献

气象信息大数据 篇7

关键词：地面气象测报,数据记录,信息化数据处理

1 计算机审核文件的疑误信息处理

1.1 A文件信息处理方式

(1) 台站参数疑误信息处理。格式检查审核时, 数据A文件台站参数会显示“文件首部参数与台站参数表不符”等错误信息, 应对疑误信息进行有效处理, 首先检查文件首部参数标识, 发现当月数据缺测、参数与参数间的对应值无法衔接等。针对这种台站参数错误问题, 需要台站及时做出任务变动的相应提示信息, 观测人员应认真观察所有参数变化, 做好观测任务变化后的文件转化, 并记录每月观测任务变化, 确保台站参数正确, 减少月与月间气象数据疑误信息发生。

(2) 降水量与降水实况不一致。如果A文件中出现降水量与降水现象不符的疑误信息, 即“数据中出现7~8 h降水量记录, 但实际天气并未发生降水现象”, 通常雨量传感器翻斗滞后可导致这类现象出现。观测员若能对时间段内降水量做出正确判定, 且保证滞后时间在2 h内, 就可将该降水量数据进行累加处理, 降水量数据可累加在降水终止时间段;当降水量滞后时间远超出2 h, 应删除该降水量数据。

(3) 文件正点记录缺失。据相关地面观测文件规范规定, 在能够有效获取非正点分钟数据的前提下应优先选择正点前后10 min内的记录作有效替代。如果获取的正点前10 min内的非正点分钟数据, 该数据缺测, 则可选择正点后10 min内且最接近正点的数据替代[1]。如果未有效获取到分钟数据要素, 或是出现的分钟数据存在缺测现象, 应利用平行观测值或补测值进行替代, 如果有的气象观测站不具备平行观测或补测条件, 就必须按照相关规定将该观测站气温、气压、相对湿度、地温等要素结合起来进行科学内插处理。

1.2 J文件信息处理方式

(1) 分钟数据缺测。对J文件进行审核时, 可能会出现系统中提示信息某一日正点时间的气温对应A文件中所显示的正点值不一致错误, 造成这种错误的原因有以下几种:一是采集器受到雷击等外界因素影响, 致使数据记录错误。二是进行传感器标校或更换传感器导致数据记录缺测[2]。针对这类疑误信息, 应根据地面观测相关文件规定的“当自动气象站每小时正点数据与该正点分钟数据不一致时, 只要确认正点分钟数据错误, 即可采用正点值作替代”进行处理。

(2) 分钟数据异常跳变。计算机审核J文件时还会出现分钟间数据存在一定的异常现象, 如某一日20:53的气压值记录数据与该时间点前后1 min之间的差值高达20 h Pa, 这种较大误差说明该气压值为不正常记录。依照相关规范规定, 该时间点气压值可利用前后分钟数据内插求得。

2 人工审核A文件疑误信息处理

2.1 能见度、云、天气现象审核要点及疑误信息处理

(1) 能见度的记录应与天气现象有机结合, 当能见度<10 km时, 应同时记录伴随的轻雾、霾等天气现象, 若能见度<1 km, 那么能见度记录中必须包含雾、沙尘暴、雪暴等记录内容。进行能见度数据审查时, 要本着及时、准确、传达到位的原则, 能见度<10 km时, 要查看记录中是否有雾、沙尘、烟雾等现象出现, 这些均是造成能见度偏低的主要原因, 但在能见度较高时, 可不予考虑这些影响因素。

(2) 观测员首先要在充分了解云的定义、特征、成因及伴随出现的天气现象等基础上, 做好云状记录, 并加强云状排序、演变等现象的关注记录。

(3) 地面观测规范规定, 天气现象的记录须保证与规范中定义特征保持一定的一致性, 存在降水的天气现象记录中应特别关注降水的起止时间, 而轻雾、浮尘、霾等造成视程障碍的天气现象, 记录要结合相对湿度、降水、风等气象要素。

2.2 质量控制码疑误信息处理

据地面气象观测相关文件规范规定, 控制段中质量控制码通常表示为3位整数, 从大到小, 百、十、个位分别代表台站级、省级和国家级, 任何一位数据出现异常, 都会造成数据格式的秩序性错误。因此, 当台站观测数据出现修改、订正或缺测时, 应对质量控制码及更正数据段格式进行有效检查, 直至正确无误。

3 结语

为保证气象观测数据的准确性、及时性和有效性, 气象工作人员须提高观测能力, 熟练掌握地面气象测报信息化数据处理技术, 保障及时、有效获取气象数据资料的完整、准确, 并进一步加快信息化数据处理技术的完善、成熟和发展, 提升气象测报水平, 为开展现代化气象服务做好保障[3,4]。

参考文献

[1]王莉.地面气象测报信息化数据处理技术研究[J].北京农业, 2014 (36) :201-202.

[2]王昕然.气象测报地面信息化数据处理技术方法分析[J].科技风, 2013 (3) :50.

[3]唐刚, 徐正芬, 郑东齐.气象测报地面信息化数据处理技术[J].农业与技术, 2013 (4) :198-199.

气象信息大数据 篇8

1 Web Service数据接口

Web service是一个平台独立的, 低耦合的, 自包含的、基于可编程的Web的应用程序, 可使用开放的XML标准来描述、发布、发现、协调和配置这些应用程序, 用于开发分布式的互操作的应用程序。Web Service作为一项新的技术出现在我们面前, 它的出世是用于解决在不同的平台下的应用的协同的。Web Service技术, 能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件, 就可相互交换数据或集成。依据Web Service规范实施的应用之间, 无论它们所使用的语言、平台或内部协议是什么, 都可以相互交换数据。Web Service减少了应用接口的花费, 为整个企业甚至多个组织之间的业务流程的集成提供了一个通用机制。

Web service的一个最基本的目的就是提供在各个不同平台的不同应用系统的协同工作能力。Web service接口方式主要适用于前台交互应用系统, 如县级综合业务平台、气象业务内网、数据共享应用平台等, 检索数据量不宜过大, 除以数组形式返回要素数据外, 也支持与REST服务相同的返回格式和功能。采用Web service接口方式既能保证气象信息服务平台的数据安全, 又能达到其它业务单位从气象信息服务平台中获取数据的目的。

2 气象信息服务平台中Web Service数据接口实现

Web service定义了应用程序如何在Web上实现互操作性。要实现互操作性, Web Service平台必须提供一套标准的类型系统, 用于沟通不同平台、编程语言和组件模型中的不同类型系统。SOAP (Simple Object Access Protocol) 是实现在各个Web Service组件之间传递消息的传输层, 是Web Service之间的基本通信协议。WSDL (Web service Description Language) 定义了Web Service做什么, 怎么做和查询的信息。WSDL是实现协同能力的关键, 它提供了一份契约用于与新老的应用之间交互。这项技术使得各个组织可以将标准的制定集中在Service的外部接口, 而不用考虑各组织的具体实现。简而言之, 它实现了Web service的接口与实现的分离。从而使得标准的制定, 更加容易。

气象信息服务平台Web Service数据接口实现采用的是Axis+eclipse开发Web service的方式, Axis是apache下一个开源的Web service开发组件, 首先在气象信息服务平台服务器上安装eclipse的Java EE、axis2、eclipse的axis2插件等, 然后在eclipse新建Web工程并创建Java类及方法, 根据数据资料的类别定义不同的方法, 使用eclipse的create Webservice功能, 选择axis2生成发布Web service, Web service就会部署到应用中, 生成可以调用的WSDL文件。

在Web客户端, 取得服务端的服务描述文件WSDL, 解析该文件的内容, 了解服务端的服务信息, 以及调用方式。根据需要, 生成恰当的SOAP请求消息 (指定调用的方法, 已经调用的参数, 如时间、气象要素等) , 发往服务端。等待服务端返回的SOAP回应消息, 解析得到返回值。在服务器端, 生成服务描述文件, 以供客户端获取。接收客户端发来的SOAP请求消息, 解析其中的方法调用和参数格式。根据WSDL的描述, 调用相应的对象来完成指定功能, 并把返回值 (如查询结果、统计数据等) 放入SOAP回应消息返回给用户。

3 气象信息服务平台中Web Service数据接口应用

在气象信息服务平台中, 用户可以根据自己的需要选择合适的语言和开发工具调用Web service, 根据WSDL描述文档, 会生成一个SOAP请求消息。Web service都是放在Web服务器后面的, 用户生成的SOAP请求会被嵌入在一个HTTP POST请求中, 发送到Web服务器来。Web服务器再把这些请求转发给Web service请求处理器。

气象信息服务平台的WSDL描述语言中包括Web Service使用的数据结构、参数及方法等。是以XML文件形式来描述Web service的说明书, 有了说明书, 用户才可以知道如何使用或是调用这个服务。以PHP语言为例, 以下是部分调用实例代码:

4 Web Service数据接口应用安全

随着Web Service技术的发展, Web Service的安全问题也逐渐被重视, 利用现有的SSL和HTTPS协议, 可以很容易的获得连接过程中的安全。然而这种安全实现方法有两个弱点。一是它只能保证数据传输的安全, 而不是数据本身的安全, 数据一旦到达某地, 那么就可以被任何人所查看。而在Web Service中, 一份数据可能到达多个地方, 而这份数据却不该被所有的接受者所查看。二是它提供的是要么全有要么全无的保护, 你不能选择哪部分数据要被保护, 而这种可选择性也是在Web Service中所常要用到的。目前Web Service数据接口已有使用XML安全扩展标准、实现数字签名、XML文件的加密技术、某些中间件的保护等保护方式。Web Service技术仍在持续发展中。

参考文献

[1]柴晓路等.Web Services技术、架构和应用[M].北京:电子工业出版社, 2003.

[2]青岛东合信息技术有限公司编.Web Services应用开发[M].北京:电子工业出版社, 2011.

[3]王瑄等.应用Web Services构建多层架构的高效.NET应用[M].北京:科学出版社, 2005.

[4]中国气象局.地面气象观测数据文件和记录簿表格式[M].北京:气象出版社, 2005.

大数据“领跑”信息高速路 篇9

大数据时代不期而至，但是人类 对于大数据时代的到来还没有做好充分准备。大数据时代的到来对每个人的重要性绝不亚于人类初期火的发明和使用。大数据时代将使人类对一切事物的认知回归本源；大数据时代通过影响政治生活、经济生活、公共服务、社会管理，以及文化、教育、科研、医疗等等，与每个人密切相关。比如，对从事城市公共服务管理的部门来说，近几年来，有关建设“数字城市”“和“智慧城市”的争论一直没有停止过。而大数据时代的到来使这一争论戛然而止。这是因为，在大数据面前，“数字城市”和“智慧城市”的建设都将汇入大数据的时代浪潮。大数据掌握城市的整体运行状况，可以治理交通拥堵，可以让人类更加健康地生活，提高生活质量；大数据还能够掌握人类的生活习惯、工作习惯、运动偏好等等。可以说，大数据无处不在。

一、大数据上升到国家战略层面

2015年9月5日，国务院正式印发《促进大数据发展行动纲要》，标志着大数据发展正式成为国家战略。《纲要》提出了三大主要任务：一是加快政府数据开放共享，推动资源整合，提升治理能力；二是推动产业创新发展，培育新兴业态，助力经济转型；三是强化安全保障，提高管理水平，促进健康发展。解析三大主要任务，就是一要推动政府信息系统和公共数据互联共享，消除信息孤岛，加快整合各部门的信息平台，避免重复建设；在城市建设、社会救助、质量安全、社区服务等方面开展大数据应用示范工作，提高社会治理水平。二是要顺应时代潮流，引导、支持大数据产业发展；以企业为主体、以市场为导向，加大政策支持力度，着力营造宽松公平的外部环境，建立市场化应用机制，深化大数据在各个领域的不断创新和应用，催生新业态新模式，形成与需求紧密结合的大数据产品体系，使开放的大数据成为促进创业创新的新动力。三是要强化信息安全保障，完善产业标准体系，依法依规打击数据滥用、侵犯隐私等行为，让各类主体公平分享大数据带来的技术、制度和创新红利。可以说，《纲要》的发布是我国发展大数据时代顶层设计的宏伟蓝图，各行各业将在《纲要》的指引下加速大数据时代的发展进程。

数据就是数值，是人们通过观察、实验或计算得出的结果。数据既可以是数字，也可以是文字、图像、声音等等，是帮助人们认知世界的一种基本方法。随着大数据时代的到来，越来越多的信息化技术已经逐渐进入公共服务管理领域；互联网、物联网、云计算在影响公共服务管理各个方面的同时，也给公共服务管理带来了一场全新的机遇和挑战。因此，学习、了解、掌握、应用大数据是全社会发展的需要，是政府公共服务部门打造智慧社会、智慧城市，制定精准化社会服务、城市服务保障最有利的工具，堪称是一把“金钥匙”。

二、大数据引领时代潮流

2015年3月5日，李克强总理在十二届全国人大三次会议《政府工作报告》中指出，制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。李克强总理的重要讲话表明：我国正在创建全新的大数据发展模式，从而使我国的创新道路走得更加科学合理和更加稳健，使创新创业成为新时代的生产生活方式。

人类文明的进程是伴随着重大生产力革命展开的。理论上常讲的三次浪潮是指农业革命、工业革命、信息革命。而现在，人类文明正在经历着第四次革命——数据革命。作为世界上第一家信息技术研究和分析公司——Gartner（咨询公司）给出的定义，大数据需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，而信息资产就是其价值。对公共服务管理领域而言，有效运用大数据，通过对大数据的搜集、比对、应对，从而有效解决大城市在公共服务管理方面的诸多问题，其所带来的效能是显而易见的。

最早提出“大数据时代”的是全球知名的咨询公司麦肯锡。麦肯锡称：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产要素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”可以说，人类所处的社会中，大数据正在迅速膨胀。特别是随着云计算时代的到来，大数据将吸引越来越多的领域的关注；庞大的数据资源将使各个传统领域开始量化进程，基于数据的分析和决策，决定了其作出准确的预测和判断（图1）。

互联网高端技术的创新与发展，给人类社会带来了巨大变化，其所衍生的大数据时代，把传统领域带入了“互联网+”发展的新时代，将传统领域的IT（信息化）带到了DT（数据化）新阶段。今后，全世界都将步入大数据时代，“互联网+”即“互联网+各个传统行业”将利用信息通信技术和互联网平台，推动互联网与传统产业的深度融合，创新2.0（1.0指工业时代的创新形态，2.0指信息时代、知识社会的创新形态）下的互联发展新形态，打造新形态新业态。

三、大数据的特征和优势

什么是大数据？认知大数据要从三个层面来认识。

（一）与大数据相关的理论

1.特征定义

理论是人们认知的必经途径，也是被广泛认同和传播的基线。大数据的特征可以归纳为4个“V”（海量的Volume、多样的Variety、价值的Value、快速的Velocity），也可以说有四个层面的特点：第一，数据体量巨大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）；第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等；第三，价值密度低，利用价值高；第四，处理速度快，这一点也是和传统的数据挖掘技术有着本质的不同（图2）。

nlc202309020313

2.价值探讨

从大数据的价值链条来分析，存在三种模式：第一，手握大数据，但是没有利用好，比较典型的是金融机构、电信行业、公共服务管理部门等；第二，没有数据，但是知道如何帮助掌握数据的人利用它，比较典型的是IT咨询和服务企业，比如埃森哲、IBM、Oracle等；第三，既有数据，又有大数据思维，比较典型的是Google、百度、新浪等。未来，在大数据领域最具有价值的一是拥有大数据思维的组织和个人，这种组织和个人可以将大数据的潜在价值转化为实际效益；二是尚未触及大数据的领域，这些是有待挖掘的“掘金点”。各行各业探求数据价值取决于把握数据的组织和个人，关键是他们的数据思维，与其说是大数据创造了效能，不如说是大数据思维触发了新的效能增长。

3.大数据隐私

说到隐私被侵犯，斯诺登事件很闻名。这一事件引发了公众对政府使用大数据对公民隐私侵犯的担心。而当很多互联网企业意识到了隐私对于用户的重要性时，为了继续取得用户的信任，他们采取了很多办法。比如，google承诺仅保留用户的搜索记录9个月；浏览器厂商提供无痕冲浪模式；社交网站拒绝公共搜索引擎的爬虫进入，并将提供的数据全部采取匿名方式处理等。

4.现在和未来

这里，简要分析一下大数据在公共服务管理领域的应用：在城市规划方面，通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文、社会信息的挖掘，为城市规划提供决策，强化城市管理服务的科学性和前瞻性；在交通管理方面，通过对道路交通数据的分析，打造智慧交通，为有效缓解交通拥堵，提供科学的决策依据；在舆情监控方面，通过网络关键词搜索及语义智能分析，提高舆情分析的及时性、全面性；在安防和防灾领域，通过对大数据的深度挖掘，及时发现人为或自然灾害，提高应急处理能力和安全防范能力。此外，大数据还可以协助医疗机构为患者建立疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物等等。其实，这些还远远不够。未来，大数据的身影将无处不在。就算我们无法准确预测大数据会将人类社会带到哪种最终形态，但是我们相信，只要人类社会的发展不停步，因大数据而产生的变革浪潮将会遍及全球的每个角落。

（二）与大数据相关的技术

技术是大数据价值体现的手段和前进的基石。大数据时代的到来是与云计算分不开的，因为实时的大数据集分析需要分布式处理框架，向数十、数百甚至数万台电脑“分配”工作。可以说，大数据就像鱼，云计算就是水（图3）。

1.云计算技术

云计算技术包括虚拟化技术、分布式处理技术、海量数据的存储和管理技术、NoSQL、实时流数据处理、智能分析技术（类似模式识别以及自然语言理解）等。

云计算与大数据最明显的区别是：一是在概念上有所不同。云计算改变了IT，而大数据则改变了业务。大数据必须有云计算作为基础架构，才能得以顺畅运营；二是大数据和云计算的目标受众不同。云计算是CIO（Chief Information Officer首席信息官）关注的技术层，是一个进阶的IT解决方案，大数据是CEO（Chief Executive Officer首席执行官）关注的，是业务层的产品。大数据的决策者是业务层。

2.分布式处理技术

分布式处理系统可以将不同地点或具有不同功能、或拥有不同数据的多台计算机，通过通信网络连接，在控制系统的统一管理控制下，协调完成信息处理任务。这就是分布式处理系统的定义。

3.存储技术

大数据可以抽象地分为大数据存储和大数据分析，二者的关系是：大数据存储的目的是支撑大数据分析，到目前为止还是两种截然不同的计算机技术领域。大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台，大数据分析关注在最短时间内处理大量不同类型的数据集。

4.感知技术

大数据的采集和感知技术的发展是紧密联系的，是以传感器技术、指纹识别技术、RFID技术、坐标定位技术等为基础的感知能力。全世界的工业设备、汽车产业，包括小到家庭用的电表，均装有无数个数码传感器，通过传感器可以随时测量、传递位置、运动、震动、温度、湿度，乃至空气中化学物质的变化，由此产生海量的数据信息。

（三）大数据实践

1.互联网上的大数据

实践是大数据的最终价值体现。互联网上的数据每年增长50%左右，每两年便将翻一番。而世界上目前90%以上的数据是最近几年才产生的。

2.公共服务管理部门的大数据

公共服务管理部门掌握构成社会基础的大量原始数据。比如，气象数据、金融数据、信用数据、电力数据、煤气数据、自来水数据、道路交通数据、客运数据、安全数据、住房数据、海关数据、出入境数据、旅游数据、医疗数据、教育数据、环保数据等等。

3.企业的大数据

企业的CXO（企业高管）最关注的是报表曲线背后的数据，通过数据传递和支撑作出正确决策。在大数据时代，大数据是巨大的杠杆，可以提升企业的竞争力，带来竞争差异、降低生产成本、增加利润，以及挖掘潜在的客户，开拓用户群并不断开拓新的市场。

4.个人的大数据

个人的大数据就是与个人相关联的各种有价值的数据被有效采集后，可以由本人授权提供第三方进行处理和使用，并获得第三方提供的数据服务，如注册邮箱、注册登录网站等。大数据时代带给人们的将是全新的数据信息世界，促使人们逐步树立起大数据的理念，在大量的数据信息中获取自己感兴趣的信息，扩展所关注的大数据视野。

四、大数据呼唤公共服务创新

（一）公共服务管理要跟上大数据时代步伐

以上提到，公共服务管理部门掌握着大量构成社会基础的原始数据，这些数据在公共服务管理部门是单一、静态的，如果把这些数据进行有效关联分析和统一管理，其价值则是无法估量的（图4）。

nlc202309020313

具体来讲，打造智慧城市、智慧环保、智慧交通、智慧医疗、智能电网等等，这些都需要依托于大数据。可以说，大数据是“智慧”、“决策”的核心能源。比如，上海市政府办公厅联手上海市经济信息化委，由上海市公安局、市工商局、市交通委等9家试点单位参与，建立了国内首个政府数据服务网，启动了政府数据资源向社会开放试点工程。该网站不发布新闻，只提供数据信息，市民通过数据服务网站可下载212项数据产品和30项数据应用。在试点的基础上，上海市政府要求所有的政府部门，都要向公众提供数据产品浏览、查询和下载等服务。上海市把全市政府资源数据集中存储和统一管理并向社会公开看似简单实则复杂，需要极大的智慧和足够的勇气，是将公共服务对接大数据时代的有益探索，公众的生活也将因大数据发生着改变，推动政府主导的公共服务领域迈向新阶段。广东、辽宁、四川等地的部分地方政府也成立了大数据管理部门，由政府牵头，统筹公共数据开放，打通数据来源壁垒，推动产业发展，必将带动全新的商业模式，实现“大众创业、万众创新”，掀起创新创业的热潮。

（二）拓展公共服务管理视野，实现大数据服务双赢

大数据不仅是一种海量的数据状态、相应的数据处理技术，更是一种思维方式，一项重要的基础设施，一场由技术变革推动的社会变革，这种社会变革将伴随并呼唤着公共服务创新（图5）。

2014年，为倡导和延伸公共交通服务的范围和绿色出行方式，北京市西城区启动了“公共自行车+公共交通+公共自行车”的建设工程。管理部门通过电子政务网络平台，实时查询租赁站点信息化管理系统（该系统存储了租赁站点公共自行车的满载点数、空载点数、锁位总数等信息要素）的运行情况，实现了实时监控、实时调度、实时管理。通过西城区城市信息化管理平台对大数据的分析，西城区城市管理监督指挥中心还得出了自推出公共自行车服务以来，辖区内黑车拉客现象明显减少了的数据。公共自行车租赁服务模式成为了接驳轨道交通的辅助性工具，最大限度地促进了各种交通资源的合理有效利用，满足了市民多层次、多种距离、多目的出行的交通需求，收到了便捷、合理、高效集散客流，有效提高城市交通整体运行效率的良好效果。目前，全区已投资建成150多个租赁站点，总共配置了4000多辆公共自行车，高峰时段日均租还达到2.5万人次。自2014年7月管理部门推出租赁卡服务以来，全区居民十分踊跃，月均办卡达到2000余人次。

西城区通过“公共自行车+公共交通+公共自行车”的建设工程，有效解决了公交出行“最后一公里”难题，满足了市民短途出行的需求，成为城市交通的重要组成部分，提高了道路资源的利用率，缓解了交通拥堵。通过对西城区公共自行车租赁服务的分析可以看到，公共服务管理部门的信息资源更加完整、丰富和详实。

把握时代脉搏，紧跟大数据时代，可以不断推动公共服务创新。公共服务管理部门通过广泛搜集数据，进行综合分析处理，可以实现公共服务技术创新、管理创新和模式创新，这是大数据时代的必然选择。因此，公共服务管理部门要改变传统的思维模式，冲破“信息孤岛”，树立大数据思维意识，激活沉睡的数据，打破部门之间的数据分割状态，打造数据资源聚合平台，做到尽可能多、尽可能快地通过互联网、手机APP等方式，向公众开放更多的数据资源。

公共服务管理部门联手互联网企业，紧跟大数据时代潮流，最终的结果将是双赢。这是因为，第一，公共服务管理部门的资源通过互联网整合传播，将会不段得到完善和优化，提高服务水平；第二，互联网企业的介入将优化公共服务的结构和布局，促使公共服务的内容有效延伸到更多领域，占领更多的公共空间，实现更多资源的整合利用，实现公共服务管理效能的最大优化。

（责任编辑：李静敏）