气象基础数据（共12篇）
气象基础数据 篇1
现在社会经济飞速发展,对气象要素、各种气象极值及气象服务产品的质量要求越来越高。气象是为当地政府及农业生产服务的,目前提供预报服务产品还是靠传统的手工抄录资料、手工计算等。制作起来不仅慢,还存在不准确、繁琐、气象产品供给性不及时等现象。气象信息的传递与经济飞速发展及农业生产实际需求存在差距。缺少多样性和针对性,这与越来越精细化的农业生产管理要求极不相适应。因此,再按老套路的办法手工抄录资料、手工计算等制作服务产品,势必跟不上形势发展的需要,这就要求气象工作者改变现状,制作出一套既快又便捷的制作服务产品的系统,依靠科技进步改善气象信息的准确性。
临夏州气象灾害占到自然灾害的86%以上,主要是干旱、晚霜冻、冰雹、雷阵雨、大风、大(暴)雨等,其发生的频率高,危害的范围广,特别是对农业生产、农业设施、水资源、生态系统造成巨大的影响,因此随着气象灾害风险评估的需求日益增长,建立一个详细的历史资料数据库(资料来源是各县市A文件数据),将A文件数据进行统一,实现各类天气情况的历史查询、统计、导出,为以后气候分析、气象灾害风险评估提供基础数据支撑具有重大的意义[1,2]。
1 开发环境与开发语言
应用Visual Studio、C#语言的开发环境。利用SQL Server2008将结构化、半结构化和非结构化文档的数据直接存储到数据库中。对数据进行查询、搜索、同步、分析和导出操作。
2 数据整理和软件设计
2.1 A文件结构分析
A文件是气象部门以文本格式存储每月气象数据的文件,1个A文件存储1个站点1个月的气象数据,是气象上最早存储气象资料的方式之一,这种方式直到目前还在使用。它从手工制作到自动化形成大体分3个阶段:第一阶段是1951—1980年,这个阶段主要是以手工制作为主,主要存储的是每天3次观测(8:00、14:00、20:00)的数据及一些日数据;第二阶段是1980—2005年,是手工制作向自动化推进的发展阶段,主要存储的是每天4次观测(2:00、8:00、14:00、20:00)的数据及一些日数据、最值;第三阶段为2006年到现在,这个阶段其格式正式规范化、精细化,制作进入纯自动化,主要存储的是每个小时观测的数据以及一些日数据、最值及其出现时间。A文件经过了以上3个阶段改革在格式上有着很大的不同,如果要将这些宝贵的数据存储到统一的数据库中,对分析历年A文件存储格式至关重要[3]。
从表1可以看出,A文件格式上虽有着很大不同,但是它却有着很强的规律性,总体来看它的数据存储可以分成2类,第一类是小时数据存储,存储的是特定某个小时的数据,它的变化规律是从定时化向着每小时化变化,总的趋势是从8:00、14:00、20:00到2:00、8:00、14:00、20:00再向00:00—23:00变化的;第二类是日数据,即1 d只有1个观测数据,如每天的最大值、最小值、蒸发、日照等要素数据。下面归类了这2类数据的成员组成:小时数据包括气压、气温、降水、相对湿度、水汽压、露点温度、风、地温、深层地温、云、日照、能见度等。日数据包括蒸发、日照、雪、冻土、天气现象、最值出现时间、夜晚降水、白天降水、日降水等。
结合上述,如何把3次(8:00、14:00、20:00)、4次(2:00、8:00、14:00、20:00)及24 h观测的数据进行统一,就要把A文件格式变化分成2个阶段:一个是3次观测;另一个是4次和24 h观测。由此格式转换上就有了很清晰的思路,首先可以通过年代判断是3次观测阶段还是4次或24 h观测阶段;然后确定好A文件中所包含的信息量,设定好时间;最后通过符号所代表的气象要素及其格式读取相应的数据,对照表1和2类数据的各要素组成把数据放入到相应的数据存储空间。
注:P4、R2、T9、FH、D7、K0、U2、V7/V9、E9、I7、N0、C0代表1951—1980年阶段,P3、R0、T0、FE、D0、K0、U0、V0/V8、E0、I2、N0、C0代表1980—2005年阶段,PC、R6、T8、FN、DB、KB、U0、UB、EA、IB、N9、C9代表2006年到现在;表中内容仅为大体范围概括,在不同站点有着微小的差异。
2.2 数据库设计
SQL Server 2008在Microsoft的数据平台上发布,可以组织管理任何数据[4]。可以将结构化、半结构化和非结构化文档的数据直接存储到数据库中。可以对数据进行查询、搜索、同步、报告和分析之类的操作。数据可以存储在各种设备上,从数据中心最大的服务器一直到桌面计算机和移动设备,它都可以控制数据而不用管数据存储在哪里。在这里通过A文件的结构分析结果建立相应的数据库。分析A文件格式,A文件中存在2种类型数据,一类是小时数据,一类是日数据,并且这2类数据由不同气象要素组合,根据不同数据类型设计合理的数据存储空间结构。
2.2.1 小时数据。
小时数据项组成:站点编号、日期、气压、气温、降水、相对湿度、水汽压、露点、温度、2 min风向、2 min风速、10 min风向、10 min风速、0 cm地温、5 cm地温、10 cm地温、15 cm地温、20 cm地温、40 cm地温、80 cm地温、160cm地温、320 cm地温、云状、总云量、低云量、日照、能见度等。数据表ID:dbo.Per_day_data。数据来源:A文件。数据入库方式:应用软件转换入库。简述:4次观测,每天4组数据;每小时观测,每天24组数据。
2.2.2 日数据。
日数据项组成:站点编号、日期、蒸发、日照、雪深、雪压、第一冻土层上限、第一冻土层下限、第二冻土层上限、第二冻土层下限、天气现象、最大气压、最大气压出现时间、最小气压、最小气压出现时间、最高气温、最高气温出现时间、最低气温、最低气温出现时间、最小相对湿度、最小相对湿度出现时间、10 min最大风风向、10 min最大风风速、10 min最大风出现时间、10 min极大风风向、10 min极大风风速、10 min极大风出现时间、0 cm地温最高、0 cm地温最高出现时间、0 cm地温最低、0 cm地温最低出现时间、夜晚降水、白天降水、降水日合计等。数据表ID:dbo.Per_day_data。数据来源:A文件。数据入库方式:应用软件转换入库。简述:一天一组数据,以天为周期[5,6]。
2.3 软件功能制作
随着气象观测的自动化,数据文件的规范化、详细化,作为存储观测数据的A文件已经不方便进行数据查询统计了;除此之外,规范前的A文件数据格式和规范后的A文件数据格式有着很大的差异,以前的一些查询统计软件已经不能够实现一些关键性的功能,因此开发一个新的应用平台来实现数据的整理(建立一个的专门的数据库来存储A文件的数据)、查询、统计、导出等功能是很有必要的。
2.3.1 A文件转换与入库。
1950—2004年的A文件,格式上有着或多或少的变化,2005年以后随着A文件的规范化和数据的详细化,文件格式又有大的变化,因此把A文件数据格式进行转换入库是本平台的基本功能,也是核心功能之一(图1)。
A文件数据转换入库功能模块:一是实现A文件数据的读取,统一数据格式并把统一后的数据在表格中显示;二是把统一后的数据导入到建立好的数据库中;三是制作管理员的权限,即当用户只能在登录上管理员后才能应用这个功能。模块界面如图2~4所示。
2.3.2 查询、统计、显示、导出。
查询:通过SQL语言,根据设定的站点、时间从数据库中查询符合条件的数据并存入表格。统计:第1种方式是直接通过查询出来的数据,做合计、筛选、归类、降序、升序处理得出所需要的结果;第2种方式是在数据库中直接检索结果数据。显示:数据以表格的格式显示,以柱状图、折线图、曲线图、玫瑰图直观显示数据发展趋势。导出:存在表格中的数据可以导出到Excel中,便于以后处理。表2详细叙述了平台实现的功能。
3 结语
建立了易于存取、查询、检索的数据库,实现对数据的统一管理。把A文件数据无差错的转换导入到了建立好的数据库中,更好地保存了这些数据。为了能够方便运用这些数据,制作了相应的应用软件实现各类气象数据的查询、统计、显示、导出等功能,为以后气候分析、气象灾害风险评估等工作提供了很好的数据支撑和方便。
摘要：数据存储技术经历了从手工管理到文件管理、再到数据库管理系统3个阶段,数据库技术中关系数据库占据了主要地位。针对气象行业A文件所存储的历史数据的管理和共享问题,应用Visual Studio、C#语言的开发环境,利用SQL Server 2008数据库技术实现信息共享,建立详细的历史资料数据库,将A文件数据进行统一入库,实现各类天气情况的历史查询、统计、显示、导出,为以后气候分析、气象灾害风险评估等提供基础数据支撑。
关键词：气象基础数据,支撑系统,数据库,软件设计,甘肃临夏
参考文献
[1]宋昆,李严.SQL Server数据库开发实例解析[M].北京:机械工业出版社,2006.
[2]李俊民,高春燕.Access数据库开发实例解析[M].北京:机械工业出版,2006.
[3]王石.精通Visual C#2005:语言基础、数据库系统开发、Web开发[M].北京:人民邮电出版社,2007.
[4]张威.C#语言基础教程[M].北京:人民邮电出版社,2001.
[5]王若,黄向东,张博,等.海量气象数据实时解析与存储系统的设计与实现[J].计算机工程与科学,2015(11):2045-2054.
[6]黄锐,任伟颖,蓝天飞.人工读取区域自动气象站存储数据的方法与技巧[J].气象水文海洋仪器,2015(2):87-90.
气象基础数据 篇2
关键词：高等数学；教学方法；教学质量
高等数学是高等学校理工类、经济类和管理类等专业的公共基础课、必修课，它既是重要的工具课，又是重要的基础课。该课程给学生传授知识的同时，还担负着培养学生思维能力、抽象概括能力、逻辑推理能力、空间想象能力、运算能力等任务，其教学质量在学校人才培养工作中占有相当突出的位置。高等数学课程不仅对学生后继课程的学习起着举足轻重的作用，而且对学生的逻辑思维能力、创新能力的培养也起着重要的作用。另外，高等数学的基础性地位也决定了它在自然科学、社会科学、工程技术领域及其他学科中发挥着越来越重要的作用，在很多情况下起着决定性的影响。现在，高等数学日益成为各学科和工程实践中解决实际问题的有力工具。高等数学课程的教学强调以创新精神和实践能力的培养为重点，倡导以“主动、探究、合作”为特征的学习方式。高校高等数学教师在该课程的教学中起到主要的引导作用，教师教学方法的正确与否直接影响到高校高等数学课程的教学质量。
一、目前高校高等数学课程教学中存在的问题
1.起主导作用的教师与起主体作用的学生的积极性不高，影响了高等数学教学质量，从而影响学校人才培养质量。2.教学方法与手段单一，难以满足学校专业人才培养的要求。目前，高等数学的教学，基本以讲台为中心、以教师为中心，教与学的关系是指导与被指导、命令与服从的关系，而不是教师与学生的平等关系。在教学方式上，现在的高等数学教学主要采用从概念讲述到定理证明再到例题讲解这种“注入式”或“填鸭式”的教学方式，现代化的教学方式和手段采用较少，影响学生数学素质和创新思维的培养。3.考试方式与手段单一。现在高等数学主要是采用“期末一张纸”终结性考核方式，这种考核方式过于单一，不能很好地体现学生的学习质量。4.教师负担偏重。目前，各高等院校的高等数学课程基本都是采用大班授课，学生水平参差不齐，教师整天忙于备课、讲课、批阅作业等，工作压力很大。另外，各高校虽然经常强调高等数学课程重要，但许多高校都是重科研、轻教学，教学的专任教师的待遇远远比不上科研教师的待遇，这样使得许多教师根本不想花费太多的时间去对学生进行教学总结、课外辅导和教育，严重影响了教学质量和效果。
二、高等数学课程教学改革的几点建议
1.正确定位高等数学任课教师角色。首先，高校应该真正重视各任课教师的地位，提高他们的工资待遇，不能只停留在理论上。其次，任课教师也须转变教学观念，凸显高等数学课程在大学专业人才培养中所占的地位和作用，在教学中全面贯彻知识传授、能力培养、素质养成等目标，不断提高课程教学质量。另外，高等数学课程教师在向学生传递基本的数学知识和数学技能的同时，还要不断培养学生高尚的审美情趣，把学生培养成社会需要的专业人才。2.发挥数学竞赛和数学建模竞赛在数学教学改革中的引领作用。探讨数学竞赛、数学建模竞赛和数学教学有机结合的切入点，发挥数学竞赛和数学建模竞赛在数学教学改革中的引领作用，充分调动师生参与数学教学改革的积极性。3.根据专业需要进行高等数学的教学。目前，各高校基本都已经根据自身的办学情况，制定了各校的培养目标。高等数学课程作为一门重要的基础课程，应根据培养目标制定教学目标，确定相应的教学内容和教学重点。另外，高等数学课程应根据各专业的不同需求，及各专业学生的不同的数学基础和学习能力，把学生分成若干层次，高等数学教师依据各层次的学生的学习要求制定各层的教学目标，设置不同的教学过程，采取相应的教学方法与教学手段，以顺利完成高等数学课程的培养目标。4.创新课堂教学方法，提高课堂教学质量。课堂是教学的主要场所，课堂管理的好坏直接影响到课程的教学质量。在课堂教学中，课堂气氛的调节又是课堂管理的一个重要方面。积极活跃的课堂气氛有利于提高学生学习效率。高等数学课程本身具有连续性强、理论性强的特点，在学习的过程中，学生很容易产生疲倦甚至厌倦的心理，为了防止学生在上课时产生疲倦，在高等数学教学过程中，我们要使用一些有效的教学方法，调节课堂的沉闷气氛，从而调动学生的学习积极性，例如，在教学过程中，教师可以多采用启发式教学，多从简单易懂的问题入手进行教学，使学生对教学内容产生兴趣，并自觉自主地进行学习，从而在轻松愉快的环境下取得较好的学习效果。5.进行教学反思，添加课外辅导和教育。由于高等数学课程理论性强，学生对该课程的学习目标不是很明确，所以学习动能不足。要提高高等数学课程的教学质量，高等数学教师要不断改进教学方法，通过各种渠道进行教学反思。另外，高等数学教师还要特别重视学生的建议和意见，要安排好课外作业、辅导答疑。例如，学校可以编写统一的练习册供学生练习，编写的练习册要根据学生的实际情况，难易适中、题量适中，且最好能增加一些创造性思维的作业，让学生通过练习，既能有效地掌握所学知识，又能增进学生的创造性思维能力和独立思考能力。为了提高高等数学课程的教学效果，高校教师要鼓励学生多问，并为学生提问提供尽可能的方便，适当地安排辅导答疑就是一种行之有效的办法。笔者所在学院就在每学期开学之初都安排学院所有上高等数学课程的老师进行本学期的辅导答疑，另外，现在网络方便，任课老师也可以通过电话、电子邮件、QQ、微信等方式与学生交流，鼓励学生随时提问，不遗留问题。6.教师要有饱满的热情，充分准备好每一堂课。教师对待教育事业积极的态度和认真负责的精神，也是影响学生的重要人格品质。高校教师在管理好课堂教学外，课后也要经常与学生接触交流，多关心学生的学习和生活，与学生建立良好的师生关系，这样既拉近与学生之间距离，也有利于学生进行该门课程的学习。另外，除了课堂上的教学之外，教师还要多了解学生的学习能力和学习需要，对学困生要进行适当的鼓励，加强必要的辅导，需要时可以给部分同学进行额外的辅导课，用自己的耐心和认真负责的态度打动学生，从而激励这些学困生的学习动机，提高他们的学习热情，进一步消除两极分化；对学习热情高且成绩好的同学，可以加强引导，按照专业要求和兴趣方向，鼓励他们通过自学等形式，拓宽学习内容，不断提高学习能力。同时，鼓励他们参加各类形式的数学竞赛，进一步激励他们的学习热情。高校教师可以通过成立互帮小组或讨论小组的形式，组织学生利用课外时间互相帮助，讨论数学在本专业的应用情况，共同提高大家的学习成绩和增强大家的学习兴趣。7.推进考试改革。改变以往高等数学“期末一张纸”终结性考核方式为形成性（过程）评价与终结性（目标）评价相结合方式，建立按平时成绩、期中考试成绩、期末考试成绩等综合评定课程成绩的新模式，推广网络化考试系统。8.加强高等数学教学与专业知识的联系。教学过程中，教师要根据学生的专业特点，适当地增加一点高等数学知识与专业相关的应用问题，在这个教学过程中，一方面可以让学生了解学习高等数学的作用，另一方面又与专业知识联系起来，这样能有效提高学生的学习兴趣与学习积极性，从而提高教学质量，学有所成。
三、小结
本文依据笔者多年在高等数学教学中的经验，详细分析了目前高校高等数学教学中存在的问题，并对高等数学课堂教学改革提出了自己的一些见解，希望能对高校高等数学教学的任课教师提供一些指导作用。
参考文献：
基于大数据环境下的气象数据分析 篇3
关键词：大数据 气象数据 分析
中图分类号：TP311.52 文献标识码：A 文章编号：1674-098X（2016）04（c）-0079-02
在社会的发展过程中，天气对社会中的很多行业都有一定的影响。在当前阶段，天气预报作为我国主要对天气进行预测的手段就对数据进行了一定的应用，但是随着大数据时代的到来，不仅是数据的数量，还是数据所隐藏的信息都有了很大的增加，在这种情况下，只是天气预报一种使用数据的手段就不能满足社会发展的需求，在这种条件下，加强对气象数据的研究，使其在气象工作中发挥出更大的作用，为人们的生活、工作提供良好的帮助。
1 大数据
1.1 大数据的内容
在当今社会的发展中，网络技术得到了大力的发展，在这种情况下，在网络中就会出现大量的数据，这些数据就构成了大数据，这些数据具有一定的实时性，其本质不在“大”上面，而是要对这些数据进行有效分析，将数据中所包含的内容全部挖掘出来，使用挖掘出来的信息来进行工作。因此，大数据就不只是对数据数量的一种诠释，更是对数据进行处理的一种手段。这就表示其与以往的数据有很大的不同，首先就可以发现两者之间规模具有很大的区别，其次是在对数据使用时，使用的方式也完全不同，在使用传统的数据时，只是使用单一的或者几种方式就可以了，而在使用大数据时，往往需要很多的方式才能完成[1]。
1.2 大数据的特征
随着社会科技的不断发展，大数据的应用越来越广泛，其特征也随之在增加。在大数据刚刚出现时，只是具有数据量大、处理传输的速度较高、数据的种类较多3个特征，而随着大数据的发展，在大数据的特征中又加入了数据真实性的特征，而到了现在，随着商业活动的不断增加，使数据又有了商业价值大的特征。根据这些特征可以发现，这些大数据中都含有一定的信息，为了将数据中的信息进行使用，就需要一定的手段将其从这些数据中寻找出来，这也是当前阶段中一个重要的工作内容。
2 气象数据
2.1 气象数据的内容
在气象部门工作的过程中，会出现很多的数据，其包括了气候数据与天气数据，这些数据统称为气象数据。气候数据就是使用一定的检测仪器对环境进行测量，将测量到的结果进行分析与整理所得到的数据。而随着社会的发展，世界各国对气候的研究有了更深层次的理解，使气候数据的内容有了进一步增长。天气数据就是为了推测天气变化而产生的数据，这些数据大部分是来自于卫星传输的。两者之间的区别主要在于前者往往反映的是一个地区长时间的环境变化，而后者只是表现了一个地区在一定的时间内的环境变化。但是两者之间还有一定的联系，对很长时间的天气数据进行分析与整理，就可以确定出某个地区的气候数据[2]。由于很多因素的存在，导致在我国当前阶段中对气象数据研究的对象为天气数据。
2.2 气象数据的特征
气象数据作为大数据中的一种，因此，其具有的特征就是大数据存在的一些特征。对其具体分析后可以发现，首先就可以发现其具有数据量大的特点：在气象部门发展的过程中，国家安装了很多雷达设备以及地面接受装置，同时，随着科技的发展，卫星技术的不断成熟，我国也向太空发射了一些气象卫星，在这些设备的使用过程中，产生了大量的数据，使其数量大的特点很好地体现出来。但是，对气象的观察并不是一直在进行的，这就使其产生的数据不是无限增长的[3]。同时其还具有一定的商业价值：在气象数据产生的过程中，来源比较单一，内容比较重复，这就不能使其自身带来经济价值，但是，其不能受到人为的干扰，在交通、旅游等行业中，就可以被很好地使用，将其商业价值很好地体现出来。
3 大数据对气象数据的影响
3.1 数据采集的影响
在对当前气象数据的采集过程中，已经将“大”的特点体现出来，但是这些只是对字面上的体现，而没有真正体现出来其真正的含义。在当前对气象数据的研究中，只是针对专门的气象数据进行研究，而与气象数据有关的其他数据研究得比较少，其中存在的利用价值很难被人们使用。因此，在对气象数据进行采集的过程中，不仅要将纯气象数据寻找出来，还要对其他气象中有关的数据进行采集。例如人们远距离出行要坐飞机，这时就可以对航班的信息进行了解，使人们出行更加便捷[4]。
3.2 数据存取的影响
由于大数据存在数量大的特点，这就为其存取造成了一定的影响。首先就是储存容量的问题，在我国当前阶段中，由气象产生的数据达到了5 PB（5×10245 B），需要的储存空间相当大。其次是存取速度的问题，由于数据量较大，在寻找有用数据的过程中需要花费一定的时间，可能达不到“1秒钟输出结果”的定律。在这两个问题当中，既有一定的联系，又存在着一定的矛盾，因此，在对气象数据存取时，就要进行统筹管理。对数据储存环境的扩建不是根本的解决办法，而是要加强对大数据的管理。在存储过程中，使用有效的方式对其进行分类，将其按照每种分类进行管理，使数据系统的性能更加强大[5]。
3.3 数据分析的影响
在气象部门的工作过程中，很早就将对气象数据的分析作为了主要的任务，但是在大数据环境下的分析还处在起步的阶段，其他行业大数据的分析过程中为气象行业的数据分析提供了良好的保证。在气象部门进行数据分析的过程中，将相对关系进行有效把握，对其进行良好分析，就可以对未来做出预测。而在大数据环境下，气象数据的数量得到了一定的增加，对未来预测的过程中就有更多的数据来进行分析，可以保证预测的结果更加准确。
4 结语
在对当前阶段中的气象数据进行分析可以发现，大数据对气象工作产生的影响有很多，上述几点只是其中影响最广泛的几点。从国家的发展角度来说，在大数据环境中，气象数据面向社会各界是必然的趋势，加快了社会各行业的发展；从公共服务角度来说，要对大数据进行有效分析，将数据中人们的需求信息寻找出来，根据这些信息加强对服务的改善，使其能满足人们的需求。在当今社会中，大数据对社会的影响还会继续的增加，在这种情况下，有效地利用好大数据就可以使其更好地发展。
参考文献
[1]刘立明，王彬.气象网格环境下大数据的端到端传输机制研究[J].计算技术与自动化，2014，8（1）：122.
[2]刘培宁，韩笑，杨福兴.基于R语言的NetCDF文件分析和可视化应用[J].气象科技，2014，4（4）：629.
[3]米卫红，巢惟忐，支星，等.移动互联网环境下的上海市气象信息数据发布：需求、现状与探索[J].电子政务，2014，10（11）：23.
[4]聂俊岚，刘益萌，陈贺敏.非线性映射的气象数据可视化及其应用[J].燕山大学学报，2015（3）：276.
数据挖掘技术在气象数据中的应用 篇4
1 气象网站数据分析中数据挖掘技术的应用
1.1 缺失值处理
对于气象站的数据而言, 其变化通常为一个能量动态变化过程。针对于此, 对于气象数据缺失值的处理可运用Mean of nearby points方式, 采用邻近3h数据平均值来代替缺失值。
1.2 气象资料标准化
在气象网站数据资料中, 处于不同维度的数据其量纲之间存在差异。在气象数据的定量量测、聚类分析中, 由于量纲的差异将会对分析结果产生一定程度上的影响。通常状况之下, 气象数据中的风向值范围为0~360。如果气象污染因子以毫克代表, 那么其范围则会控制于0~1。在应用聚类时, 如果采用距离评价, 那么其主要依据可能更为倾向于风向维护。如果可做到对局部重点维度采用数据挖掘技术实行标准化预处理, 那么则可帮助尽量消除不同维度所造成的不利影响。在气象数据的标准化处理中, 所采用的方式较为多样, 其中应用较多的是Z标准化, 也就是指均值为0, 方差为1。
1.3 气象资料维归约
气象数据各维度间通常具有极强的依赖性及关联性, 因此在数据挖掘处理中, 可能会由于数据量大而造成不必要的计算。所以, 对于一些需做消除冗余的数据进行处理时, 则可采用主成分分析法帮助雄楚冗余属性维度。
2 省气象服务中心软件开发中数据挖掘技术的应用
2.1 数据分析
在数据挖掘技术应用中, 对于气象数据的分析需注意及时找寻到对于预测输出具有极大影响的数据字段, 并明确是否需对导出的数据字段做定义处理。另外, 在数据分析中, 还需科学选取与气象预测相关的数据进行建模。在数据分析中, 其主要的工作内容包括:数据清洗及预处理, 均为建模前的准备工作, 主要内容为:数据抽样、转换及缺损类数据的处理, 以此确保建模数据的准确科学性。其中数据抽样即指:在实现对明确的数据做抽样处理, 而非整体处理, 以此帮助进一步减少系统处理量。数据转换处理主要是为了更好的确保气象数据的质量及实用性。如有些数据挖掘模型需对数据信息做归一化、离散化的处理。
2.2 模型建立及评估检验
模型建立:在运用各类数据挖掘技术对数据进行分析处理时, 可在多种数据模型中选取出最佳的模型, 并查找出其规律。模型评估检验:在将数据模型建立完成后, 需在测试达标后再开始进行下一步。主要是由于某些模型自身应用并不具备什么应用意义及价值。较为常用的模型检验方式为:在模型中输入历史气象数据, 运用模型对其予以评定, 对数据挖掘的结果及与历史结果之间存在差别做对比处理。用户对于气象服务的判定常见两种错误, 一种是弃真类, 另一种则是存伪类。其中弃真类主要是指:历史用户产品内容发生了较大的变化, 但是数据模型无法完全反映出用户需求。而存伪类则是指原有少部分用户较为依赖的产品, 但是数据模型并不具有需求价值。
在对省气象服务中心的气象数据做分析处理时, 挖掘技术的应用可帮助提升数据分析的科学性, 为气象预报工作的顺利高效开展提供助力, 为气象服务软件开发提供帮助。
3 专业气象服务中数据挖掘技术的应用
在专业气象服务中, 数据挖掘技术的应用主要是指探究夏季日用电量与气温之间的关系。模型建立, 将2010~2013年湖北夏季日用电量与以往的平均气温资料作为主要的数据。将当日用电量作为因变量, 以往日用电量E-1和T1、T2、T3、T4、T5为自变量, 建立好了电量预测模型。在模型建立完毕后, 便可开始检验工作。2010—2013年夏季的湖北电网日用电量与对应的气象实况代入后, 7月均方根误差达到了378.25万kw·h, 在7月日均用电量中的所占比例为2.8%。8月均方根误差达到了1638.57万kw·h, 在8月日均用电量中所占比例为4.0%。另外, 还在2014年7月1-21日进行了应用检验, 结果表明, 出现较大误差有4天, 4天均为天气变化转折期。由此表明, 气象因素是影响用电的一大关键性因素。在对数据挖掘数值做科学调整后, 其电量预测误差均控制在0.1%~4.6%范围内, 准确性较高。采用数据挖掘技术, 对夏季日用电量与气温之间的关系进行探究, 对于电量预测具有一定的准确性, 可为电力部门预测用电量, 做好准确提供参考帮助。在研究中发现, 夏季的日用电量与日平均气温具有显著的正相关性, 其相关性极高。而且夏季日用电量与当日平均气温以及当日与前几日的滑动平均气温之间存在着极强的对应关系。
4 结语
现今气象信息数据领域及容量正在进一步的拓展及增加, 对其进行科学处理已成为了气象领域相关研究人员的重点关注问题。在气象数据处理中, 数据挖掘技术的应用, 可帮助进一步提升数据处理质量, 为专业气象服务、网站建设及相关软件开发提供助力。当今社会经济及科技的迅速发展会促使数据挖掘技术得以完善, 在天气预报中的作用发挥可实现最大化, 为现代经济的良好发展及人们生活品质的提升提供助力。
参考文献
[1]卢秀芸.数据挖掘技术在气象数据中的应用[J].电脑知识与技术, 2015, (9) :239-240.
[2]王远敏.空间数据挖掘技术的应用研究[J].计算机光盘软件与应用, 2014, (21) :310-312.
气象基础数据 篇5
4.1与历史数据进行对比分析
高空气象探测数据会受到地物、地形、人类活动、城市热岛效应等的影响，随着探空高度的升高，影响就越小，气象要素的变化越稳定。在短期内仅随天气系统影响而变化，但从长期来看，受季节变化和气候变化影响大，不同的季节各等压面的高度和温度都有不同程度的变化，可以将探测到的数据与历史上相应月份的数据进行比较分析，当超出历史极值时进行标注。
4.2比照气象要素测量极值
由电子探空仪的温度、气压和湿度等传感器感应到的电流、电压、电阻等模拟信号转换成数字信号，通过发射装置发射回地面的雷达。如探空仪设备故障或工作不稳定、受无线电干扰等，地面接收的数据可能是错误的数据。不同的传感器，测量范围不同，因此，从传感器性能来看，气象要素有一个测量的极值。如果接收到的数据超过这个极值，则该数据明显为错误数据，直接剔除处理。
4.3检查气象要素数据的一致性
高空气象探测各个要素之间存在关联性，而关联性最高的数据探空高度与测风高度，两者存在高度的一致性。对两者的高度取差值，寻找该差值的变化规律。当探测数据两者差异超出预设值时，进行预警提示，检查分析原因。
4.4检查是否符合
空间变化规律内置温度、气压和湿度感应器的探空仪在升空的过程中，实时将气象要素每1.2s一组发回地面的接收设备。气象要素具有连续性变化的规律。每个等压面的风向和风速通过采集到的仰角、方位角和斜距计算出来，而氢气球升空过程由于受高空风的作用，并非垂直上升。通过测量探空仪每分钟的仰角、方位角和斜距，可以确定探空仪每分钟位置的变化情况，而通过每分钟位置变化又可以测算出每个高度的风速和风向。仰角、方位角和斜距每秒的变化是在一定的幅度内连续变化的，在近地面高仰角时，仰角和方位数据变化较大，在高空低仰角时，仰角与方位的数据变化较小。如果探测得到的数据不符合变化规律，则需要进行预警提示。
4.5设定较宽的时间检验范围
在高空气象探测中，无法做到各高度上连续获取探测数据，但是按中国气象局高空气象探测规范要求，探空站每天需进行两次探测，分别是07时15分和19时15分，间隔12h。因受各种因素影响，在近地面，每次间隔12小时的探测数据变化较大，可从时间的连续性上，设定较宽的检验范围进行比较分析，对不同等压面上的数据进行正确性判断。
4.6对特殊记录的处理方法
对探空站特殊记录分析发现，对记录影响最多的.问题是由于干扰造成的记录不完整，以及探测终止。干扰出现，探空信号飞点增多，测风观测示波器四条亮线变差，出现上下闪动，而且测风秒数据连线左右摆动。严重时计算出的风向风速数据异常，甚至无法使用，造成数据缺测或者测风观测终止。干扰可能来自外来无线电信号、探空仪、雷达等，处置方法：飞点少，较容易判断;飞点较多，仔细的判断，通过上下正常记录点之间连线，检查中间飞点是否在连线之上，来进行取舍。测风记录的影响往往在记录的后期，可根据实际情况并结合前后时次的记录，比较分析后进行取舍。探测过程出现雷达故障时，对探测接收到数据进行严格检查，判断数据是否正确。情况严重时，启用L波段备份接收机来进行数据接收，使用光学经纬仪进行测风数据的观测[5]。探空气球遇到强下沉气流时，会出现一定程度的下降，在记录时要将下沉阶段的记录进行删除处理。删除时根据气压的变化情况，做好上下气压点之间的衔接。因下沉记录删除后将无法恢复，需要仔细进行判断。探空观测中因探空仪故障或电池等原因，探空仪的无线电信号突然消失。在这种情况下记录终止。
5结语
高空气象探测数据在天气预报、气候分析、气象服务、气象科研等工作中起重要作用，资料的真实性、及时性和可用性及其关键。高空气象观测必须对采集到的数据进行非常严格的质量检查和处理，才能通过数据的分析，揭示出真实的大气特征与规律。高空气象探测数据多，分析量大，相似性高，需要排除特异点，设计一套质量控制软件，用自动化质量控制来代替人工质量控制，很有必要。实现自动质量控制可以避免人为原因带来的数据差异，便于对高空气象探测数据进行质量可靠性标注，并尽可能地保留原始数据，为其他工作和研究提供可靠的数据。
参考文献：
[1]高山.高空气象探测数据分析与质量控制系统设计与实现[D].成都：电子科技大学，2014.
[2]赵建军.高空气象探测数据质量的影响因素及控制对策[J].现代农业科技，2017(3).
[3]中国气象局.常规高空气象观测业务规范[M].北京：气象出版社，2010.
[4]刘振伟.高空气象探测数据质量的提高措施[J].现代农业科技，2015(23).
遥测气象数据的逐时自动备份 篇6
【摘 要】根据自动气象站对数据安全的要求，设计并成功实现遥测气象数据的逐时自动备份。本文介绍其关键程序——时间控制程序和资料备份程序的目的任务和应用方案。
【关键词】自动气象站；遥测数据；安全备份
1.备份项目
自2004年12月31日20时开始，全国气象部门统一将地面气象测报软件切换为OSSMO_2004版，该软件与自动气象站监控软件（SAWSS）和通讯组网接口软件（CNIS）相结合，构成地面气象测报业务系统软件。数据备份的对象即是由SAWSS软件从自动站采集器读取的实时遥测数据，具体包括以下数据文件：AWSSource文件夹。
ZIIiiiMM.YYY自动站正点地面常规要素数据文件（简称为Z文件）
PIIiiiMM.YYY月逐分钟本站气压文件
TIIiiiMM.YYY月逐分钟气温文件
UIIiiiMM.YYY月逐分钟相对湿度文件
WIIiiiMM.YYY月逐分钟1分钟平均风文件
RIIiiiMM.YYY月逐分钟雨量文件
ZZ.TXT自动站每分钟实时地面常规要素数据文件（简称为ZZ文件）
FJ.TXT大风数据文件（简称为FJ文件）
HIIiiiMM.YYY自动站正点辐射数据文件（简称为H文件）
HH. TXT自动站每分钟实时辐射数据文件（简称为HH文件）
BaseData文件夹
BIIiiiMM.YYY——月基本数据库文件。包括自动站和人工观测的数据（简称为B文件）
ReportFile文件夹
AIIiii-YYYYMM.TXT——月地面气象资料文件（简称为A文件）
JIIiii-YYYYMM.TXT——月分钟观测数据文件（简称为J文件）
RIIiii-YYYYMM.TXT——月气象辐射观测数据文件（简称为R文件）YIIiii-YYYY.TXT——年地面气象资料文件（简称为Y文件）
SysConfig文件夹
本文件夹存放OSSMO_2004所需要的用户参数库，包括台站参数、旬月气候要素、仪器鉴定证数据、通信组网参数等重要信息。
2.技术方案
利用网络技术，通过时间控制程序和资料备份程序，将自动气象站遥测到的各正点资料在其他计算机上实时备份，由计算机自动执行。具体步骤如下：
（1）将运行监控软件SAWSS的计算机（简称ZDZ）与另一24小时开机的计算机（例如9210接收机，简称JSJ）连成局域网，通过对网卡极其所绑定的通信协议参数的正确配置，确保网络畅通。
（2）在备份机如：9210接收机的D盘建立D：＼ZDZ＼AWSSource、D：＼ZDZ＼BaseDat、D：＼ZDZ＼ReportFile、D：＼ZDZ＼SysConfig四个文件夹，并将其的D盘设为完全型共享。
（3）在ZDZ的D盘建立D：＼SJBF文件夹，其下安装时间控制程序SJBF.EXE、时间参数配置文件TIME.DAT和资料备份批处理程序ZDZSJBF.BAT。
（4）在ZDZ中，通过“网上邻居”访问JSJ的D盘，用鼠标右键选择“映射网络驱动器”命令，将JSJ的D盘映射为G盘。
（5）将时间控制程序SJBF.EXE加入到ZDZ系统的“启动”组中，运行此程序，或重新启动计算机，则资料备份批处理程序将在每小时正点3分钟后自动执行（具体执行时间可通过配置TIME.DAT文件按用户需求灵活确定），可以把最新的遥测数据和系统参数备份到JSJ中。
（6）当ZDZ因硬盘故障无法读取自动站数据时，则可利用在JSJ所做的备份避免资料丢失。
（7）依照上述方法，可方便地在多台计算机上进行资料备份，只需对程序的有关配置稍加修改即成，从而使自动站资料安全实现了万无一失。
3.小结
气象基础数据 篇7
1 异常数据的处理
新型站出现异常记录 (如自动气压、气温、湿度、能见度、降水、蒸发、风、地温、草温等异常) 区分白天和夜间, 结合备份站、人工观测数据按有关技术规定及时处理传输;如新型站要素全部缺测 (如采集器与电脑的通信光纤被老鼠咬破, 造成数据不能及时传送到电脑, 但数据仍保存在采集器) , 则临时启用备份站及传输系统上传;新型站恢复正常后尽量把新型站正常数据下载并生成报文上传, 以保证数据完整、统一。
2 各要素的质量控制和查MDOS反馈
在设置合理的地面审核规则库下, 利用MDOS质量控制方法对自动气压、气温、湿度、降水、蒸发、风、地温、草温等自动数据进行人机相互审核;发现错误应及时主动发更正报反馈;MDOS被动反馈:根据反馈提示, 与备份站数据进行对比, 或根据要素变化规律进行判断, 另对人工观测要素审核其是否正确, 从而判断反馈类型。
3 人工项目的校对和审核
检查校对气簿-1每日人工数据如云量/低云量、云高、日天气现象、小型蒸发 (冬季) 、雪深/雪压、电线积冰、冬季人工风向风速、冻土、日照等记录是否符合规定, 与台站地面综合观测业务软件_业务中“常规要素”、正点观测编报、日照数据、常规日数据是否一致;必要时与MDOS系统中数据校对是否一致;不一致或错误时, 及时发更正报, 如果MDOS未更正时, 应在MDOS/数据查询与质疑中更正提交。
3.1 天气现象和能见度的预审
审查逐日天气现象的记录方法是否符合规范规定, 例如:对夜间的天气现象应按自动、人工天气现象顺序记录 (同时出现, 先后次序自定) 把人工观测天气现象符号插入到业务软件_业务/天气现象中, 对白天的天气现象遵照白天的记录输入规定;雨、雪同降时要注意记为雨夹雪符号或阵性雨夹雪符号, 勿分开记载。
分钟雨量≥0.1mm, 或冰冻停用风传感器时, 雾、轻雾、霾等统统综合判别为“无视程障碍现象”, 需在天气报编报前进入SMO→数据查询→详细要素查询→天气现象综合判别每日逐分钟数据表→查看水平能见度<750m及<7500m的数据和相对湿度, 来人工判别是否为雾、轻雾、霾等视程障碍现象, 修正雾等天气现象时间, 即打开“天气现象”, 输入或修正水平能见度<750m雾现象之起-止时间 (起止时间之间输入“-”) 。但因冰冻或雷击使能见度出现65535异常数据时, 能见度及视程障碍现象恢复人工观测。能见度缺测时, 仅在定时观测时次进行人工观测, 其余时次作缺测处理, 并备注。审核人工能见度记录及输入是否符合规定。
3.2 降水量的预审
翻斗雨量传感器按规范规定进行维护, 另外安置防风圈进行调整, 例如取下雨量筒的承水器, 拧下漏斗, 把承水器围住计量、计数翻斗, 量取10.0mm水量缓慢地倒入上漏斗, 可减小风对计量、计数的影响, 这样可以提高降水测量精度。
审核夜间降水类天气现象应与降水量保持一致, 白天降水类天气现象时间应包含分钟雨量时间。审核降水量异常记录处理是否符合有关技术规定。
3.3 蒸发量的预审
小型蒸发量:因冰冻时间长, 停用大型蒸发传感器, 或大型蒸发传感器故障, 启用小型蒸发器后, 逐日复算蒸发量的计算有无错误;日蒸发量前后有突变时, 应结合温度、湿度、风速、降水、日照等天气情况分析是否可能。
自动蒸发量:非冰冻期, 小时蒸发量连续长时间为0或个别时次>0.4时, 结合温度、湿度、风速、日照等分析是否合理, 如果发现异常, 应判断属水位设置不当还是采集系统故障等, 并按有关技术规定对异常蒸发量进行处理和发更正报。对于蒸发传感器, 实际蒸发水位如果明显超出合理设置范围时, 自动计算小时蒸发量可能连续为0, 需要从台站地面综合观测业务采集软件→数据查询→综合查询→当前分钟蒸发水位, 选取开始时间、结束时间→查询→根据某时正点水位与上一正点水位之差重新计算出小时蒸发量, 并编发更正报。
3.4 积雪和雪压的预审
审查有雪深记录, 是否有积雪现象;雪深的记录 (取cm整数) 与编报输入 (扩大10) 是否正确;雪深的补测, 是否符合规范规定, 是否在备注栏注明;根据温度、天气现象、降雪量、湿度、日照等分析逐日雪深是否合理;雪压的观测或补测是否符合规范规定, 审理计算有无错误。
3.5 电线积冰的预审
风传感器有加热融冰功能, 测最大电线积冰之风向风速时, 如果自动风正常, 则台站地面综合观测业务软件_采集→数据查询→综合查询→要素选“气温 (百叶箱) ”、“2min平均风向”、“2min平均风速”, 记录某分钟气温、风向风速 (风向记数值, 风速取一位小数, 如5.6) 。
校对每次电线积冰过程最大值的挑取是否正确:一日有几次积冰过程, 只挑重量值 (或直径mm+厚度mm总值) 最大的一次积冰过程南北、东西2个方向的最大值输入业务软件—业务/常规日数据中。一次积冰过程可能测量多次, 跨日, 当某一方向测量的极值 (优先挑重量) 比上次极值大时, 又要在20:00后输入日数据文件上传, 再删除之前某日常规日数据电线积冰数据并重上传 (比上次小时, 不输入电脑) 。这样, 常规要素和月报表中某日极值, 即按每一次过程及方向在某日几次测量中或各次测量中挑重量值 (或直径+厚度总值) 最大者;某次积冰过程跨月的最大值挑取原则参见《观测规范》。常规日数据电线积冰重量不能输入千位、万位数时, 先输999保存, 传输后第2天再在MDOS/数据查询与质疑中对日数据更正提交, 再在数据维护/常规要素中输入保存。
3.6 风的预审
因冰冻或水雾滴风传感器冻住, 除规定时次定时风速用轻便风向风速表测定外, 其余定时风向风速、所有10min风向风速作“-/-”, 并备注, 分析日最大、极大风向风速缺测也应备注。因雷击导致某一范围的风向以另外范围的风向被记录, 或因大风吹落风向标使风向反向, 或因其它原因如融冰风加热器非冰冻季节加热升温造成风向固定为0, 其风向应用备份站代。
3.7 日照的预审
校对日照纸安装是否正确, 复算逐日逐时有无漏算、错算日照迹线, 非迹线有无误算, 在“日照数据”中是否输错格、是否上、下午颠倒等;如某日日照迹线的开始或终止时间恰为12:00, 要分析洞口是否被堵, 确实未堵住, 应在备注栏交代。
4 发各种更正报
发更正报时间未超过规定时限 (长Z文件12h, 日数据文件和日照数据文件为1d) 时, 可直接编发更正报, 报文名自动加CCA之类更正码。发更正报时间超过规定时限时, 对于小时更正文件, 把中新编Z*AWS_FTM.txt文件剪切到待发文件夹, 把Z*AWS_FTM.txt文件名改为Z*AWS_FTM-CCA.txt或Z*AWS_FTM-CCB.txt等, 其文件内容第一行最后000相应改为CCA或CCB等 (日数据Z*AWS_DAY.txt、日照数据Z*SS_DAY.txt仅更改文件名) , 再把此更正报文复制到D:ISOSMOIAws Net中, 自动上传后, MDOS相应时次或日数据、日照数据会自动更正。
5 元数据的填写和上传
观测员平时注意气薄、业务软件/数据维护/常规要素中纪要 (如人工增雨、冰雹、灾情等) 、备注的填写, 同类型的备注可以综合到一块, 填写时要条理清楚, 简明扼要, 如果每年某个月有固定的备注, 则把“常规要素”中上一年同月该项备注复制到当月保存;预审员注意校对和补充气簿和“常规要素”纪要栏、备注、台站基本信息、站网信息、其他变动等台站变动和气候概况的填写, 并按规定复制这些元数据到MDOS系统/元数据信息处理, 进行上传。
6 A、J文件的制作
每月初利用常规要素制作A文件、J文件, A、J文件初审。月初从MDOS制作下载A、J文件进行审核, 如果审核软件提示A文件某数据错误应发更正报, 或在MOI/常规要素及MDOS/数据查询与质疑中修改并提交, 审核J文件提示分钟数据有误, 需在MDOS/数据查询与质疑中修正, 再提交;省信息中心确认后, 再从MDOS制作下载A、J文件进行审核、校对, 如此反复一直至无误。
7 结语
气象观测员、预审员应严格执行地面气象观测规范和各项技术规定, 熟悉自动仪器的基本检修方法, 熟练掌握使用微机操作技能和维护方法, 熟练业务流程、MDOS系统、应急预案等, 利用MDOS系统对疑误数据及时正确处理;预审员应对数据质量控制和数据上传作总把关。
摘要：目前县级气象站以新型自动气象站为主, 观测和上传资料, 备份站为辅, 气象资料上传后在气象资料业务系统 (MDOS) 下完成资料上传的质量控制等。本文就MDOS系统结合新型自动气象站, 对如何做好气象资料质量控制及资料预审进行阐释, 以便准确完整地上传资料。
关键词：新型自动气象站,MDOS系统,质量控制,资料预审
参考文献
[1]宗曼晔, 王晓辉, 刘小宁, 等.地面气象观测规范[M].北京:气象出版社, 2003.
[2]台站地面综合观测业务软件 (ISOS) 用户操作手册[M].北京:气象出版社, 2014.
[3]地面气象观测业务技术规定实用手册[M].北京:气象出版社, 2016.
再析气象大数据及其应用 篇8
2015年9月5日, 《国务院关于印发促进大数据发展行动纲要的通知》正式发布, 在全社会引起广泛影响。在此前后, 社会上的大数据浪潮汹涌澎湃, 推动和裹挟着每一个行业、部门和企业。一些单位和部门急于“抢占大数据制高点”, 纷纷出台了一系列政策、措施、机构和项目;气象部门也未能例外, 以气象大数据为名上项目、搞工程的苗头已经出现。如何认识大数据, 大数据是否适用于气象部门, 以及适用于哪些领域, 是气象部门决策机构需要思考、分析和综合归纳的问题, 因为这些问题的厘清有助于尽可能避免工作中的盲目性并减少失误。
(一) 大数据时代的背景
所谓“大数据时代”的到来, 是水到渠成的必然结果, 归纳起来有以下几个方面:
1. 数据源泛在化
移动智能设备、可穿戴设备、互联网应用等设备和系统应用的普及, 使得数据的采集不再停留在专业部门的业务系统范畴:手机、身份证、交通卡、银行卡、门禁卡、网上查询、网上聊天、网购、网游、G P S定位、视频监控、E T C等一切智能设备都是数据设备, 只要人迹所至, 就有数据产生。较之上世纪, 数据源已极大地泛在化了。
2. 网络广泛连接
在数据源极大泛在化的同时, 互联网、移动互联网及物联网将所有数据源连接在一起, 人类历史上首次实现了人与人、人与物、物与物之间广泛的连接和自由交换数据。从而将单台设备的数据能力升级到全球网的层次上, 极大地提升了系统的智能潜力。梅特卡夫定律指出:“网络的价值与参与者的平方成正比”, 网络的广泛连接极大增加了互联网的应用价值, 其中包括全社会数据利用能力的增加, 以及提高生产力机会的增加。
3. 软件的普及和智能化
软件是人类知识和智慧的外在形态和应用载体, 软件将硬件设备、网络资源、传感器、控制器与数据组织成为能够实现目标的智能系统, 软件是智能系统的灵魂, 也是大数据应用的核心。数据只有在被处理和应用之时, 方才成其为资源, 否则只能是垃圾;所拥有数据是废是宝, 最终由软件的能力决定。
4. 生态环境的形成
“四个无处不在”以及数据源的泛在化, 体现了包括传感器、智能终端、高速网络、移动互联网、云平台、大数据处理技术、地理系统技术等多种信息技术共生的新生态环境, 所有这一切构成了大数据生长的肥沃土壤。这些基础技术的出现和普及应用为新技术、新应用的集成创新提供了良好的机会。大数据时代是数据大爆发的时代, 也是智能系统大爆发的时代。
5. 互联网巨头的推动
互联网将所有数据源连接在一起, 网上业务量的激增导致互联网企业的业务数据呈指数倍激增, 使得那些成功的互联网企业在迅速成为互联网巨头 (如:谷歌、亚马逊、百度、阿里、腾讯等) 的同时, 其原有的数据存储系统也被一一撑爆, 以至于这些互联网巨头们始终在马不停蹄地疯狂扩充自身的存储和处理能力。面对这些每天都在剜心割肉地消耗着不菲的维护资金的庞大业务数据, 如何将其进一步变现, 以变废为宝、变闲为宝, 发掘这些业务数据在业务应用之外的新的价值, 便成为这些互联网巨头们迫切需要解决的新课题——此即为何大数据概念的出现以及大数据技术的发展均来自互联网巨头及业务的推动的主要原因。抛开商业目的, 互联网巨头们对大数据技术及应用的推动, 客观上改变了人们从数据中获取信息的理念, 促成了大数据应用理念的革命。
(二) 观察大数据的视角
大数据时代是信息技术发展的必然结果, 它的到来不可抗拒。现象的出现和应用的需要, 必然导致理论的产生。而大数据理论的主要基础, 是考察该事物的视角。
1. 提取和应用信息的视角 (关注于数据处理理念和方法的改变)
从数据本身的角度出发考察大数据, 是大数据浪潮发端时最初的公认视角。其最具代表性的理念更新当属《大数据时代》一书的作者迈尔.舍恩伯格, 该作者将大数据理念的精髓概括为三点:不是随机样本, 而是全体数据;不是精确性, 而是混杂性;不是因果关系, 而是相关关系。作者在书中雄辩滔滔地论述此三味真火的背后, 有其内心深处对世界本质的认识做支撑。但无论如何, 作者对大数据应用归纳的新理念, 对于利用大数据资源获取信息的应用提供了一种新思路, 其新颖的大数据思维也为科技探索提供了一种新的模式。
《大数据时代》作者在书中关注的是如何从大数据中挖掘出更加准确和丰富的信息, 以便指导和改进人们的工作、提高决策水平等等, 其视角是大数据的信息提取和应用。气象部门的大数据应用既属此范围, 即:从数据中提取信息供决策使用。
2. 信息和内容价值的视角 (关注连接范围的是否全面)
大数据产生信息的价值并不取决于其所产自的数据集的规模大小, 而在于该数据集内容的丰富与否。用一架高分辨率摄像机对准一面空白墙面连续拍摄数周, 也能产生PB级的数据, 但其应用价值却极低, 原因很简单:虽然其体量甚大, 但其中所含信息内容却极度贫乏。无人驾驶汽车的研制之所以难度甚高, 除需要处理的周边环境的信息量巨大外, 还在于无法全部获取周围其它行驶车辆驾驶人员当前及将要采取措施的信息。
此外, 大数据的应用价值除了其内容的是否丰富以外, 还取决于对本应用是否适用。阿里电商大数据可以用来分析宏观经济形势, 却无法用来分析火星地表是否存在液态水, 因为这些大数据内容虽然丰富, 但却不包含任何有关火星方面的信息内容。
因此, 一个应用广泛的大数据, 一定是一个内容十分丰富——换句话说, 就是连接面十分广泛、全面——的数据集, 与体量没有必然关系。就价值而言, 连接比规模更重要。
3. 行政决策和国家治理的视角 (关注社会治理能力的提升)
国家宏观经济形势、百姓的消费热点、民众对某一重大事件的反应、流行疾病的爆发预警乃至反恐维稳的目标锁定等等, 这些涉及政府行政决策的信息, 以及这些信息的全面、准确和及时, 都是政府在国家治理层面迫切需要的。虽然这些信息大多也有一定的正规获取渠道 (甚至设有专业部门负责) , 但种种原因导致了这些渠道所采集和汇集的信息往往或不精细、或不准确、或不完整、或不及时, 使得国家行政决策因之而难以达到预期效果。改造完善这些渠道需要耗费大量成本和时间, 于是在现有的、沉睡在各部门和企业系统中的业务数据中提取相关信息, 以弥补现有信息渠道的各种不足, 便成为信息获取的新途径和新思路。从目前业界所热传的所有大数据应用成功案例看, 绝大部分属于人文社会领域, 从一个侧面印证了大数据对于改善国家宏观治理的重要意义。有效开发互联网大数据应用, 可以显著提升政府的国家治理能力和决策的科学性, 这是许多国家政府和智库的共识。因此, 不少发达国家纷纷制订本国的国家大数据战略, 我国也不例外。
4. 简单的事实:所有大数据应用成果都是业务数据的副产品
分析目前已有的大数据应用成功案例, 可以发现一个事实:所有大数据应用的数据源, 都来自于非专属于本应用目标的业务数据。换言之, 所有大数据应用的数据来源, 都不是专为本应用而特设的:啤酒和婴儿尿布的关联关系产自于对沃尔玛超市结算柜台的货品销售日志分析;阿里巴巴对2008年全球宏观经济形势的准确预测来源于对淘宝网采购单数量、规模和内容的变化、以及变化的地理分布特征分析;美国国家安全部门对恐怖分子的锁定, 相当部分来自于对互联网巨头所掌握的电邮的内容分析, 等等。原因很简单, 由于成本或难度太高, 人们不可能为了某项大数据应用而专门去采集原始数据。大数据应用大多只能使用那些已经存在的、非为本应用所特设的业务系统所积累的数据资源, 且收集和维护这些数据的成本是由这些业务系统所属单位承担的。因此, 大数据应用是业务数据的副产品。
盖缘于此, 大数据应用的数据源 (即:合适的业务数据) 的寻找, 本身就是一个难题。
(三) 大数据的辨识
1. 从应用的视角观察大数据
数据是服务于应用的, 大数据也不例外。
当一个新的应用出现, 现有业务数据无法满足其数据需求时, 必须寻找新的数据源。在寻找过程中, 如果自行采集数据能够满足需求, 且成本能够接受, 则采取该方式是最好的选择, 因为采集的过程和方法受需求者控制, 所采集的数据最接近需求 (如:十一五、十二五气象部门建设的全国天气雷达站网及遍布全国所有乡镇的地面自动气象站等) 。而当自行采集的成本过于昂贵、以致无法承受时, 选用替代数据便是将工作继续进行下去的唯一选择了。以往信息相对贫乏的年代, 可供选择的合适的替代数据不多, 许多工作因之而无法开展。互联网时代信息量暴增, 替代数据的选择范围有了很大改善, 使得许多过去无法开展的工作, 现在有可能开展起来了。然而, 由于这些替代数据自身不是因本需求而产生的, 故不可避免地存在诸如:体量虽大但针对本需求所需的信息稀薄, 信息质量不高、故难以得到确切结论, 许多现象和结论难以解释等痼疾。于是, “是全体数据而不是样本数据、是模糊结论而不是精确结论、是相关关系而不是因果关系”的大数据的理念和方法由此产生。
从应用的角度评价大数据, 可以得出以下结论:
虽然就数据血统而言, 大数据在实际应用中往往不属于专为本应用采集的血统纯正的数据, 但它的存在和被使用却是使得众多创新应用得以实现。因此大数据是资源。
当今新的时代已经进入信息经济和知识经济的新时代, 这是一个以信息和知识为基础的经济, 是一个在更大程度上依赖于在生产、分配和使用等各个环节中知识和信息所作贡献的新的经济。因此大数据是新的生产力要素。
2. 大数据的可能与不能
大数据可能提供有价值的参考信息, 包括:
大数据可能为政府的科学决策提供有价值的参考信息。
大数据可能对企业的业务改进提供数据支持和信息支持。
大数据可能为一些社会科学领域的学科研究提供有价值的信息。
大数据甚至有可能对自然科学研究中的一些新的科学机理的发现提供参考信息。
与此同时, 不能指望单靠大数据就能全面提高政府决策水平。因为决策依赖于多方面信息的综合, 大数据只是提供信息的途径之一, 仅靠它是无法解决政府决策的诸多问题的。高层决策主要面对的是诸多不确定性环境, 需要广阔的视野与丰富的经验。深厚的历史背景、细微的地缘差异、复杂的宗教派系之争以及民族间的矛盾等等, 这些因素交织在一起, 关系复杂而头绪繁多, 远非数据统计分析那样简单。大数据能够为行政决策提供一项或多项较为准确的参考信息, 改善影响决策的信息的质量, 但信息的综合和最终的决策必须依靠人。
其次, 大数据不可能直接解决科学机理问题。从大数据“模糊而非精确”、“只求相关而非探究因果”的理念可以看出, 大数据只关注于现象之间的关联性, 但不探究这些关联背后的因果关系, 但求知其然, 而不愿 (甚至不屑) 探究其所以然。之所以如此, 是与大数据的理论构建者所固有的对世界的认知:“混乱构成了世界的本质, 也构成了人脑的本质”的哲学观所决定的。本文无意探讨哲学问题, 但由此可以推断:就认识论而言, 大数据属于经验主义范畴, 它无法直接解决科学问题, 尤其是以科学机理 (即所谓因果关系) 为核心的气象预报科学问题。在气象理论研究领域, 大数据可能的贡献在于提供参考信息 (如:具有一定关联度的气象要素组合等) , 以供气象科学家们分析研究。
二、气象大数据辨析
(一) 气象大数据的内涵
就数据本身而言, 气象大数据是指所有与气象工作相关的数据总和;从来源渠道划分, 气象大数据可分为“行业大数据”和“互联网大数据”两类。其中:
“气象行业大数据”由与气象部门各项工作相关、且产生自气象部门内部的所有数据组成, 包括:由气象部门建设的、具有国内最高专业水准的气象探测体系所产生的气象专业探测数据, 其它部门自行采集、通过数据共享/交换等方式汇聚到气象部门、且经过气象部门严格质量控制的气象要素探测数据, 由气象业务部门和业务系统产生的各类气象服务产品数据、派生数据及中间产品数据, 职能部门各管理系统 (如:财务系统、人力资源系统、项目管理系统等) 所产生和管理的数据, 各业务和管理系统的状态数据和日志数据, 等等。
“气象互联网大数据”由互联网上与气象相关的所有数据所组成, 包括:移动终端搭载的气象要素传感设备的探测数据, 网友随手拍并上传的天气状态照片, 搜索引擎对气象相关敏感词的统计分析数据, 其它所有可供气象部门业务和服务应用的互联网数据等等。
“气象行业大数据”与“气象互联网大数据”间存在很大差异, 限于篇幅, 难以在此做详细分析。简言之, “气象行业大数据”属于气象业务数据, 其生成的直接目标是服务于气象业务和工作的, 故其气象信息浓度高、各种技术指标亦最为符合气象业务和工作的各项要求。“气象互联网大数据”则不然, 它不是专为气象工作而生成的, 它产自于其它非气象部门的行业、企业, 是为满足这些行业和企业自身业务目标而生成的。这些数据之所以被纳入“气象互联网大数据”的范围, 是因为这些数据包含有与特定气象应用相关的信息内容, 而这些内容是气象行业大数据所缺乏的;亦即, 这些数据是为弥补气象行业大数据在内容和时空密度等方面的不足而从互联网上收集来的;故其气象信息的浓度、数据质量等参差不齐, 各项技术指标也往往差强人意。即便就气象要素而言, 两者之间存在的差异也是很明显的, 见表1:
从内容上划分, 气象行业大数据大致有:气象观测原始数据、气象观测产品数据、气象业务产品数据、气象服务产品数据、业务日志数据、设备及系统状态数据、气象管理数据等等。需要说明的是, 目前对气象数据范畴的界定, 只包含前四项, 即:气象观测原始数据、气象观测产品数据、气象业务产品数据、气象服务产品数据。其后的业务日志数据、设备及系统状态数据、气象管理数据等尚未正式纳入气象数据的定义范围。
从性质上考察, 气象行业大数据属于“气象业务数据”范畴, 即:每类数据都有其特定的使用目的、使用对象及数据形态, 且所有数据的初始目的都是围绕满足气象部门自身运转所特有的数据需求的。
从体量上衡量, “气象行业大数据”虽可勉强跻身大数据行列 (PB级) , 但较之互联网公司而言, 仍有至少2~4个数量级之间的差距。以目前业界现有处理技术, 完全可以满足“气象行业大数据”在分析处理方面的时效要求 (数值预报除外) 。因此对于“气象行业大数据”而言, 单纯的管理和处理技术不是问题所在。
(二) 气象大数据与预报准确率
将大数据理念和方法全面应用到气象部门, 在部门内开展气象大数据工作, 能否有效提高预报准确率, 这是本文首先必须正面回答的问题。
1. 大数据理念和方法探究
《大数据时代》一书的作者将大数据理念的精髓概括为三点:“不是随机样本, 而是全体数据;不是精确性, 而是混杂性;不是因果关系, 而是相关关系”。深究下去, 不免使人产生质疑:首先, 如果通过分析少量的样本数据就可以得到事物的准确本质 (如:适用于数学归纳法的数据集) , 是否还有必要花费巨大成本去收集和处理全体数据?其次, 如果能够得到准确数据或结论 (如:台风路径和登陆地点、暴雨的落区) , 是否还有必要刻意去追求混杂不准确的数据或结论;第三, 如果能够了解并掌握因果关系 (如:人类活动与气候变暖之间的关系) , 是否还要放弃对因果关系的探寻, 而只去分析相关关系?
答案显然都是否定的。
所以, 不能生搬硬套大数据的理念和方法, 否则可能会出现有违基本常识的举措和结果。对于大数据理念和方法, 其合理的解释应该是:如果通过分析少量的样本数据无法得到事物的本质, 则人们将不得不花费更多成本去搜集和处理全体数据, 以求得到事物的真实本质。如果得不到准确的数据或结论, 则人们将不得不接受那些差强人意的不十分准确的数据或结论。如果无法了解到事物之间的因果关系, 则人们将退而求其次, 通过分析相关关系来了解事物。
因此, 由《大数据时代》作者所定义的大数据方法, 不应该是刻意为之的, 而应该是不得已而为之的:当现有的观测数据无法满足业务需求、且布设新的探测设备代价太高或无法布设时, 只能寻找其它代用数据, 以弥补现有观测数据的某些不足。当无法做出准确预报时, 概率预报是退而求其次的预报方法。当气候变化规律目前无法完全掌握时, 气候统计预测方法便是填补气候预测方法空白的可接受的选择之一了, 如此等等。
2. 观测数据和科学研究是气象学科的主要支撑
上世纪二、三十年代, 无线电通信技术引入到气象地面和高空观测信息通信, 人们能够获得大范围的大气立体观测资料, 在此背景下, 科学家们通过对观测资料的深入分析, 并根据流体力学、动力学/热力学定律等物理学原理, 构建起了气象学科的基本框架, 并在日后的岁月里不断丰富完善。因此, 气象学科是建立在观测资料基础之上, 并由气象学家们通过深入的科学分析研究, 发现其中的内在机理, 进而形成相应的理论体系而最终构建的。随着资料的不断丰富, 科学家们不断发现着新的天气/气候变化内在科学机理, 气象学科因此得以成长发展。如果没有气象科学家天才卓越的分析研究成果, 气象观测资料便仅仅是一堆天气现象的记录数据。因此对于气象学科而言, 观测数据/产品和科学分析研究, 二者缺一不可。而在人工智能达到能够具有科学家们深厚的知识背景、敏锐的捕捉现象的本能、严谨的推演技巧和天才的综合分析判断能力之前, 这些科学分析研究工作就只能由科学家们承担并完成。
气象业务的现代化水平最终体现在气象预报的准确率, 所追求的恰恰就是精确和及时。如果不掌握天气变化的内在规律 (即所谓因果关系) , 单凭现象要素之间相关性的强弱, 是很难达到及时精确预报的要求的。地震前许多动物的行为举止往往异常, 但动物举止异常却不见得预示着地震的即将发生。止步于天气现象与气象要素之间相关性的统计分析, 不对其做进一步的机理分析研究, 对气象学科而言, 不是科学的态度。
3. 统计分析是气象部门常用的方法
探究科学机理是十分艰难的。在尚未掌握科学机理的情况下, 统计分析是常用的预报方法, 如气候领域里的气候统计预测。这种通过对长时间序列气象观测资料进行统计分析, 以历史上相似天气现象所发生的天气 (或气候) 变化的概率为依据, 进行气候预测的方法, 自气候学科发端之日起, 便一直在采用, 已达数十年之久。因此“大数据”所推崇的统计分析方法, 气象部门早在数十年前便已悉数使用, 并不陌生。
但这并不意味着气象部门在该领域的科学研究止步于此。事实上, 目前基于动力框架的气候数值预报模式 (尤其是集合预报模式等) 等方法一直在积极地试验和尝试使用之中, 目的就在于探索能够有效发现气候变化规律 (即所谓因果关系) 的路径和方法——虽然气候统计预测方法仍在使用之中。目前数值天气预报和数值气候预测中所大量采用的集合预报方法, 就是“因果”与“相关”、机理与统计之间有机结合的一种尝试。
4. 气象观测数据是所有数据中最重要的贡献者
从上文“气象大数据的内涵”中的分析可得知, 与一般大数据所使用的数据源不同, 气象行业大数据中的气象观测数据及产品是专门为气象预报业务工作而采集的, 其时空分布、数据质量及其它各种技术指标最符合气象业务的各项要求, 气象业务所需信息的浓度也最高。比较而言, 气象互联网大数据的气象信息密度不高, 数据质量也难以保证, 其它技术指标更是难以保证满足气象应用的需求。因此, 从气象行业大数据中的气象观测数据和产品产生出来的统计分析结论以及学科科学机理的发现是具有权威性的。就预报准确率而言, 气象观测数据/产品是所有数据中最重要的贡献者, 气象互联网大数据是它的补充而绝非替代者。
5. 大数据并非提高预报准确率的终南捷径
综上所述, 气象预报对准确率永远的追求决定了, 气象学科必须以探究并最终掌握大气运动的内在机理为工作目标。而大数据方法是在特定的、理想状态无法满足情况下的退而求其次的方法, 即:在尚未完全掌握大气运动规律、无法通过理论推演和方程计算准确预报天气或气候的情况下, 统计分析方法也许是一种补充完善的途径。在无法断定抽样分析所得结论的正确性时, 分析全体数据也许是一种最终解决方案。在无法提供准确预报时, 概率预报也是一种不错的选择。但是, 如果通过努力有可能达到理想状态, 人们便不应该盲目的生搬硬套大数据方法;因为对气象预报而言, 因果关系的掌握远比相关关系的发现更为重要, 后者是为前者提供线索而非取代前者的。同样, 精确的分析和预报结论永远比模糊的分析和预报结论更加满足预报需求, 收集和处理样本数据永远比收集和处理全体数据更为高效和节省资源。
所以, 大数据理念和方法并非提高预报准确率的终南捷径。
当然, 笔者并不否认大数据方法在客观预报产品解释应用方面对预报效果的改善有所帮助等正面作用, 但这终究是辅助性、修饰性的, 不是提高预报准确率的根本途径, 且效果难以具体量化。
尤其需要强调的是, 以在预报准确率方面赶上世界先进水平为目标的气象工作者, 绝不能因拥有了大数据这种退而求其次的方法而放弃对掌握气象规律这一理想事业的追求。而且, 这一追求的最终实现, 只能靠观测数据和产品在时空密度和质量上的不断提高, 以及科学家们辛勤的分析研究。由于就数据而言, 对提高预报准确率贡献价值最高的仍然是气象观测数据及产品, 因此研制出高质量、高时空密度的气象观测产品数据, 便仍将是提高预报准确率以及气象科学研究最重要的基础性工作。至于科学研究工作, 没有捷径可走, 在这里“工匠精神”永远不会过时。
(三) 气象大数据的价值分析
上文“气象大数据与预报准确率”的分析并非意味着大数据在气象部门无所作为, 而只是想说明, 大数据并非包治百病的灵丹妙药, 而是一个宏观上可在全社会产生巨大正面效益、但也存在一些效益不甚显著区域的、实实在在的思维理念和工作方法。说到底, 气象部门之所以引进大数据理念和方法, 并非为了大数据而大数据, 而是为了解决实际工作中存在的问题。因此, 气象大数据必须以业务和工作需求为引领。当业务或工作中出现的问题没有合适的数据信息, 或者虽有数据但常规处理方法无助于问题的解决时, 气象大数据也许是一种可以尝试的解决途径。通过“气象行业大数据”中的各类数据, 在履行其各自的直接业务目标之外, 使各类数据间彼此有机融合并协同分析, 是能够发掘出新的数据价值、信息价值和知识价值, 从而推动业务的发展和管理的进步, 不断提高气象部门的工作品质的。气象部门内层级堆叠、工作效率不高的问题长期以来有目共睹, “智慧气象”中“精细的科学管理”, 即可从打通部门藩篱、消除管理信息孤岛开始。通过管理信息的整合, 优化管理流程, 增强职能部门间的工作协同, 提高管理效率。通过充分挖掘和发挥出管理信息应用的价值来提高管理工作效率, 进而提高气象部门整体的工作效率, 通过大幅提高工作效率来创造价值, 等等。
“气象行业大数据”产生自气象部门, 是气象部门赖以运转的最主要资源, 同时也是气象部门各项工作的记录载体, 在所有数据资源中, 它所含有的气象信息最浓;故其应用领域首先应在于气象部门业务工作的有效运转, 其次才是社会服务。“气象行业大数据”潜在价值的挖掘和发挥, 也应当以提高气象部门工作能力为首要目标。用好“气象行业大数据”, 是开展气象大数据工作的重要内容和检验指标。
与此同时, “气象行业大数据”与“气象互联网大数据”之间的有效融合, 有可能大幅提高气象观探测的时空密度。物联网技术的有效应用, 可以使“气象行业大数据”中专业气象探测的时空分辨率变得富有弹性, 以更加有效地应对各种业务需求和社会服务需求。此外, 高时空分辨率的探测数据也可为气象科学家发现新的大气运动机理和客观规律提供前所未有的数据资源。
就应用对象及范围而言, “气象互联网大数据”中气象要素数据的产生是与搭载传感仪器的拥有者——人——密切相关的, 其所沉积下来的信息中包含有珍贵的人类活动痕迹。凡人迹所至且移动通信可覆盖之地, 均有可能成为“气象互联网大数据”的数据源。虽然其传感器搭载体的形式各异, 探测环境也很不规范, 但也正因为其搭载体拥有者是人, 可放置或出入于各种人类活动场所, 从餐厅到旷野、从巷道到影院、从居所到河畔, 皆可随时对各种场所进行气象基本要素探测, 这为气象服务的精细化、专业化和个性化提供了“气象行业大数据”所难以甚至无法提供的现场气象要素数据。此外, 利用已广泛布设的非气象监测设备所采集的信息, 通过分析得出所需要的气象要素, 以弥补专业气象探测设备无法获得的探测信息, 是一条值得深入探索的途径, GPS/MET的发掘和广泛应用就是一个典型的成功事例。可以预期, “气象互联网大数据”与“气象行业大数据”以及其它行业大数据之间的有效融合, 可在气象社会服务领域开辟出空前繁荣的气象服务新局面。
总之, 数据是为应用服务的, 气象大数据必须将业务和工作做为最主要的引领。气象大数据战略的首要内容, 不是数据的收集、数据源的拓展以及海量数据的管理技术, 而是气象工作的持续创新。在技术创新、原理创新、概念创新和思想创新的氛围中, 不断涌现出新的应用, 根据新应用在信息和数据需求方面的特点, 充分发掘现有数据资源的价值, 同时有针对性地寻找并拓展新的数据资源, 合理运用大数据有关技术, 处理并提炼出新的有价值的信息, 以推进创新的不断实现。与此同时, 由于创新本身是不同概念之间的有机连接和融合, 多角度的观察会增加概念连接的机会, 大数据所固有的关联分析以及由此产生的相关事物的现象信息, 对开拓概念连接的范围会有所帮助, 对气象部门在新形势下的创新当有所裨益。于是, 初始创新启动大数据应用, 大数据应用促进新的创新——这应该是气象大数据战略的基本轮廓。
三、开展气象大数据工作的前提条件
(一) 现有气象数据的梳理
长期以来, 人们普遍将气象观测数据及产品、以及少量的气象服务产品做为气象数据的全部, 以现代信息化理论和实践来考量, 这无疑是片面的。气象部门是一个整体, 其有效运转除需要观测数据外, 财务、人事、绩效、资产甚至设备状态信息等数据, 都是不可或缺的重要信息资源, 应当无一遗漏地纳入气象数据的范畴。事实上, 由于长期以来对气象数据内涵理解的局限性, 使得部门内对气象数据的关注点长期聚焦在气象观测数据, 相应的规范标准亦多以观测数据为对象, 其它类别的数据则所涉甚少, 甚至没有涉及。这种不平衡导致了这些其它类别数据在管理上的各自为政、规格上的无章可循、信息间的彼此隔离、质量上的参差不齐、以及使用上的困难无序和低效。即便是长期受到关注的气象观测数据, 存在问题亦不可忽视, 以数据质量为例, 众所周知, 在周边环境未发生非气象因素改变的情况下, 探测数据的质量直接取决于传感设备自身状态的正常与否。然而到目前为止, 除气象卫星和天气雷达等高端探测仪器外, 其它如地面自动气象站等, 没有探测设备自身状态信息的获取途径, 探测设备状态的判定需要依靠其所采集的气象要素是否合理、是否超出理论极限范畴等被动式手段来完成, 于是出现两个问题:其一, 对于真实的极端天气事件 (如局地特大暴雨) 数据, 有可能因其数值超出气候极值而导致数据正确性的误判;其二, 故障设备从开始发生故障到被检测出来的这段时间难以确定, 从而导致这段时间内观测数据的质量无法保证。由此亦可推论, 探测设备状态信息是相当重要的业务数据, 但遗憾的是, 该类数据至今既无相关标准, 也未正式纳入气象数据的管理范畴。
需要指出的是, 不少技术人士将所有气象数据纳入统一管理平台 (如:Cimiss) 视为气象数据治理的完成, 这无疑也是片面的。事实上, 如果上述诸如数据定义、数据分类/分级、数据分布、数据操作等诸多问题没有解决, 气象数据没有经过科学的梳理和配置, 所有气象数据在形式上的汇聚便起不到高效管理、有效应用和长期支持业务发展 (包括业务变更) 的作用。
(二) 气象数据的规划和治理
要搞好气象大数据, 首先要管理好做为气象部门核心资源的“气象行业大数据” (亦即所谓“气象数据”) 。在此, 一个极为重要的基础性工作——对气象数据的全面规划和治理——是无法跨越的。
气象部门的所有各项工作中, 无时无刻不充满着信息的产生、流动和使用。要使每个单位内部、单位之间、单位与外部门单位的频繁、复杂的信息流畅通, 充分发挥信息资源的作用, 不进行统一的、全面的规划是不可能的。气象数据规划, 实质上就是气象部门的信息资源规划, 是对气象部门日常运转所需要的各种信息, 从采集、处理、传输到使用等生命周期各个环节的全面规划。其目的, 是通过有效管理气象数据, 实现气象部门内外数据流的畅通以及数据资源的有效利用, 进而达到工作的流畅、业务的融合和整体的协同, 从而提高气象部门的工作效率和效益。通过气象数据规划, 可以梳理业务流程和管理流程, 厘清信息需求、建立部门行业的信息标准和信息系统模型, 并据此来继承、整合、优化、改进乃至再造业务流程及业务系统, 从而积极稳步地推进气象大数据战略。该项工作的长时期缺位, 已经给气象部门各项工作造成了十分被动的局面。
在这里, 气象数据规划是整体梳理、谋划和设计, 气象数据治理则是具体实施执行。
所谓数据治理, 就是使气象数据自产生的那一刻开始, 经历的采集、传输、处理、存储、操作以及质量和安全保障等生命周期诸多环节中的每一个环节, 都处在一个统一、自洽、协同的规则之中, 以使得气象数据这一部门和全社会宝贵资产始终处于正确有效的管理之下。换句话说, 气象数据的治理就是治理气象数据的政策、方法、措施和具体落实。
贯彻气象数据治理, 除先进的理念外, 还需要有配套的组织架构、原则、过程和规则, 以确保数据管理的各项职能得到正确的履行。
气象大数据的工作形态就是数据资源的开发利用, 做为良好的数据资源开发利用的基础, 数据规划是纲领, 而数据治理则是贯彻数据规划的具体进程。
(三) 数据意识的逐步培育
提高全部门的数据意识, 是开展气象大数据的基础。
数据是精准文化的核心, 精准靠数据来表述。对创新而言, 所有的成功都是小概率事件, 唯有每一步都追求精确方才可能达到。同时, 科学和精准使得思维逻辑得以严谨, 以严谨逻辑表述的思维成果, 确保了推理的可靠性, 使后人可在前人思想成果的基础上进一步思考和拓展;严谨的思维成果成为可组织、可利用的资源, 科学成果因之而得以积累, 并最终发展成长。技术的精准和步骤的严谨使得成熟技术的品质更高, 也使得这些技术得以方便地利用和重组, 而成熟技术的再重组是科技创新的重要形态之一。此外, 思维的严谨性还决定了人们科学研究的深度。在信息时代, 鲜见有采用粗放、笼统、马虎和粗枝大叶方式能够持久成功的事例。没有数据意识就没有现代科技, 在全气象部门培养数据与精准意识已是当务之急, 科学与精确应当成为气象部门的工作信条和文化素养, 是实现气象现代化最根本的基础条件。
(四) 必要的人才基础条件
所有的工作, 都是以人的思维成果而指导的。大数据技术只是众多工具中的一类, 工具没有自行主动解决问题的能力, 工具不可能解决连人都没有想清楚的问题, 解决问题的办法必须靠人的思维;人想清楚了, 则相应的处理流程可由信息系统重复运作, 以提高工作效率。如果一项工作, 连人自己都还没有想清楚, 则此时的大数据非但不能帮忙, 反而可能会把事情搞得一团糟。因此, 气象大数据应用的开展, 人才条件是决定其成败的要素之一。
具体地说, 实施气象大数据应用, 除上述几项基础工作外, 在人才队伍方面还需具备以下2个基础条件:
1. 建立起对应于大数据管理运营的数据管理中心的组织架构。没有一个相对完整和专业的数据管理团队, 是难以发挥出大数据分析的功效的。
2. 建立起一支精干的数据分析团队, 并拥有一个灵活适用的数据分析技术平台。
此外, 开展气象大数据工作, 可能会遇到许多意想不到的困难, 如:算法和数据来源问题。如前所述, 所有大数据应用的数据来源都是来自于互联网的替代数据, 而由于数据源非针对该应用所采集, 该应用所需要的内容可能同时存在于不同的数据源之中, 且存在的形态和格式各异:同样是分析舆情, 腾讯微信大数据和百度大数据的分析方法可能完全不同。面对不同的数据源, 需要不同的信息提取算法。因此, 合适的数据源和合适的分析算法, 是开展气象大数据应用首先需要解决的问题。而气象部门在这方面, 目前尚缺乏相应的专业人才和团队。因此, 对于气象部门而言, 利用他人的数据开展大数据应用, 对可能面临的困难, 需要做好一定的心理准备。
四、气象大数据中心建设问题
(一) 应当是气象行业大数据中心
开展气象大数据工作, 基础设施环境 (即:气象大数据中心) 的建设问题, 是本文必须正面回答的另一个问题, 因为海量数据的处理需要相当规模的存储和计算资源予以支持。
上文已述, 气象大数据由“行业”和“互联网”两部分来源构成。笔者认为, 气象大数据中心应当是以存储管理行业大数据为主要目标, 即:气象大数据中心应当是气象行业大数据中心。理由如下:
气象行业大数据中的各类数据, 都是由气象部门业务或管理系统产生, 以服务于气象业务或工作为首要目标的。根据属地化管理原则, 规范管理这些数据, 并负责这些数据的社会化共享服务, 是气象部门的职责。因此气象大数据中心所管辖的数据中, 必须包含气象行业大数据。同理, 由于气象互联网大数据中的所有数据皆非产自气象部门, 同样根据属地化管理原则, 气象部门没有职责和义务存储管理这些非气象部门产生的数据。
在目前数据量急剧爆发的背景下, 轻率地将体量硕大的互联网大数据整体搬移到自己的属地后再进行处理, 不是明智的举动。按照业界“算法找数据”的原则, 应尽可能采用诸如与数据源拥有方建立协作联盟、租用对方一定规模基础资源等方法, 达到在数据源近旁完成处理工作的目的, 以减少海量数据整体搬迁所造成的高昂代价, 并提高工作时效。即:对于互联网大数据的应用而言, 应尽可能采取“就近处理”的方法;在无法就近完成所有处理的情况下, 也应尽量设法采用“提取”的方法, 将有用的信息从数据源中提取回自己的属地分析处理, 切不可轻易采用“数据找算法”的陈规陋习, 将数据源整体复制到自己的属地, 除非万不得已。这方面的工作需要慎重筹划, 以免被昂贵的数据搬迁和数据更新成本所压垮。
总之, 由于气象互联网大数据与气象行业大数据相比, 无论在规模上, 还是在管理时段上都难以较为准确地预估, 将其纳入气象大数据中心的管理内容之一, 会对大数据中心的设计和管理带来一系列极其复杂的不确定因素。因此, 气象大数据中心在建设和使用初期, 应以气象行业大数据为主要管理对象, 并在气象互联网大数据的应用中尽可能避免海量数据的搬迁。与此同时, 大数据中心在设计和实际操作过程中可以预留一定规模的基础资源, 为在极端情况下互联网大数据的载入和处理预留一定的管理空间和能力。
综上所述, 第一, 管理气象行业大数据是气象大数据中心的职责。第二, 对于互联网大数据而言, 大数据中心既没有义务、也应尽可能避免对其进行长时间管理。所以, 气象大数据中心应当是气象行业大数据中心。
(二) 气象大数据中心的形态和分布
1. 气象行业大数据中心同时应当是气象云中心
就应用效果而言, 在资源充沛且数据处于规范管理的前提下, 数据的集约化程度越高, 应用的效果越理想。因此, 气象大数据中心应当是气象数据汇聚、规范化管理且资源十分充沛的数据中心。云计算中心是大数据中心最好的物理形态, 大数据中心应以云计算中心为基础平台, 这在业界已形成共识, 气象大数据中心也不例外。所以, 气象大数据中心应当是一个组织机构概念, 逻辑上相对独立, 而其实际的物理基础设施应当是气象云中心, 是气象云中心上的一个具体业务应用。
需要进一步说明的是, 对气象大数据中心的规模而言, 其中的行业数据的增长规模处在气象部门掌控之中, 基本上可以预估。但如果将互联网大数据的应用场景也考虑在内, 预留可充分应对极端情况下互联网数据源大举载入时的支撑资源, 由于数据源对象的未知性, 其相应的规模是难以预先测算的, 偏大则可能导致资源的长时间闲置, 偏小则可能届时无法发挥支撑作用。较为可行的解决方案之一是采用专有云形式, 即:选择资源规模大、公共安全措施完备、专业水平高、服务信誉好且价格相对合理的云计算中心, 在其上长期租赁相应规模的基础设施资源作为气象云的基础设施, 其中气象大数据中心的资源需求规模可基本参照气象行业大数据的存储管理规模来进行预估。与此同时, 与该云计算中心签订相应的服务合同, 承诺在气象大数据中心遇到特殊情况 (如极端情况下海量互联网数据的大批载入) 时, 该云中心可及时扩充气象大数据中心的基础资源租赁规模, 并在应用结束后收回这些临时租赁的基础资源。
2. 大数据中心的分布
笔者于前文已讨论过, 未来的气象云中心最终将以1+2或1+3等数量有限、地理分布相对合理的形式长期存在。且专有云较之私有云而言, 是更为合理的气象云形态。限于篇幅, 其理由不再重复阐述。
(三) 尽早开展应用研究工作
应及早开展针对互联网大数据在气象部门各领域创新应用的研究工作。目前这项工作在气象部门除个别先行单位 (如公共气象服务中心) 外, 基本处于空白状态, 是一片未开垦的处女地。尽早进行大数据基础知识和技能的储备, 对工作的顺利开展有益无损。同时, 应积极筹备组建相关的专业化团队, 以期尽早具备如下能力:
数据资源发现能力:熟悉互联网上各种数据资源以及数据交易市场的业务动态, 熟悉数据资产的价值评估, 可在部门用户提出数据资源需求时, 及时提供互联网数据资源的咨询服务, 推荐合适的数据资源, 以及资源的基本情况。
数据获取能力:具备在正常情况下, 通过正规途径, 以技术手段及时获取指定数据源中所有数据的能力。
数据分析能力:具备在收集互联网数据的基础上, 针对应用目标以及数据源的特点, 提出相应的分析模型, 指导并最终完成对互联网数据的整理和分析, 以完成应用目标中各项研究、评估和预测的能力。
数据算法实现:根据分析模型及数据源特点, 形成数据分析处理软件, 并完成数据处理。
分析平台:拥有分析模型建立、处理软件生成以及分析结果可视化展现的技术平台。
应适时成立相应机构 (如:气象互联网大数据应用研究中心等) , 专门从事这方面的研究和应用工作。
五、稳步推进气象大数据战略
(一) 全面认识气象大数据
在积极探索创新应用的同时, 应冷静分析气象大数据的特点和可能的适用范围, 基本明了其能力边界, 做到心中有数。既不被外界过度宣传所裹挟, 也不被内部守旧力量所羁绊。积极而稳妥, 慎重而不裹足不前。应当明白, 目前国家所倡导的大数据战略, 与其说是为了推行充分挖掘数据资源价值的工作方法, 不如说是一种工作思维和工作方式的改进和补充, 是一场全社会文化素养的改良和变革。通过对大数据不断深入的应用, 持续改进全社会的生产质量、产品质量、服务质量和生活质量。
因此, 不必过度介意气象大数据在某些特定领域内 (如提高预报准确率等) 作用的有限。大数据不是万能的, 正如信息化不是万能的一样, 不可能指望单凭推行大数据就能解决所有问题。充分利用一切可以利用的数据资源, 不断创新、不断改进气象部门各项工作, 倡导和发扬工匠精神, 使各项工作更加科学化和精细化, 就已达到了气象大数据战略的基本目标。
此外, 气象大数据应当以应用为主导, 以业务为主导, 以改善各项工作为主导, 更应该以技术、业务、服务和管理创新为主导。应当使全部门明了:开展气象大数据工作不等于在各地开展数据中心基础建设, 更不等于在各地开展数据库建设。此外, 开展气象大数据工作, 应力求基础工作先行、专业团队建设先行和应用研究先行。
(二) 保持清醒、力戒浮躁
我国政府多年前便已开始倡导科学发展的理念, 但目前全社会急于求成的心理依然非常普遍, 似是而非且激动人心的宣传口号此起彼伏, 反映出一些人的浮躁心态。气象大数据工作的开展, 不宜采用运动的方式, 而应该在充分营造创新氛围的前提下, 由创新引导气象大数据的具体应用, 循序渐进, 待深入到一定程度后, 再由大数据应用逐步推动创新, 从而形成创新引导大数据应用, 大数据应用进一步推动创新的彼此互动的良性循环局面。从过程上看, 气象大数据的开展应当水到渠成, 过度的宣传、强力的行政推动和盲目鲁莽的基础建设无异于揠苗助长, 对大数据的应用发展有损无益。切勿被“抢占制高点”等宣传口号所蛊惑, 在被某些善良单纯的记者以及别有用心的企业家鼓动得显然有些过热的大数据风潮中, 保持头脑的冷静, 力戒内心的浮躁, 显得尤为可贵。
六、结语
“互联网+”时代的气象大数据建设, 其基本的要求是:在顶层设计上, 以应用理念来引领技术应用;在业务架构上, 以数据运营来促进各应用系统融合;在建设方式上, 充分激活部门内外以及社会力量的参与。大数据之所以能够激发万众创新的大好局面, 并非其自身具有多少神奇的魔力, 而是因为互联网时代数据资源极大地丰富、信息极大地丰富, 许多以往不可能获得的信息现在有可能得到了, 过去由于信息的匮乏、不准确、不全面和不及时所不可能开展的许多工作, 现在有可能开展并最终完成了。所以政府在推行大数据国家战略的同时, 始终强调数据的开放和共享, 强调全社会的共同参与。大数据的关键在于应用, 气象大数据建设应不断吸收“互联网+”时代充分的精神价值, 遵循开放的心态, 将互联网时代精髓纳入到数据管理和应用的全部过程, 实施“互联网+”时代的服务特征。同时应充分认识到:气象大数据应用的关键不是技术问题, 更不是基础建设问题, 而是理念问题、创新问题、管理问题和组织问题。因此, 气象大数据工作的开展应当着力避免以“铺摊子、上项目、单打独斗、互不联通”为主要特征的“粗放发展方式”。
气象基础数据 篇9
关键词：地面气象观测,记录处理,数据文件,质量控制
气象观测所得到的数据是制作天气预报和气候预测的基础资料,其正确与否直接影响着天气预报和气候预测的质量[1,2],然而资料质量受到观测仪器、观测技术、测站位置、观测时间等的影响,近年来随着综合观测系统的推进和气象服务的高标准要求,特别是区域站网的建设和应用,尤其是中国气象局对数据文件质量控制严格要求。如何进行气象观测资料的质量控制,确保资料的代表性、准确性、比较性,是新形势下气象资料工作者迫切需要解决的科学问题[1]。目前,国家级自动站实现自动观测气象要素有温度、湿度、气压、降水、地温、风向、风速;人工观测气象要素包括云、能、天。该文从人工及计算机方面分析了地面气象观测数据A文件、J文件质量控制方法。
1 A文件
缺测记录处理一般原则:首先是用整点前10 min记录代替,其次再用整点后10 min记录代替,再就是用人工观测值代替,最后才是内插,否则作缺测处理。
1.1 封面
先与前一个月封面比校,重点检查有无迁站等变化项目否;地理环境必有,且2个以上要用“;”分开,注意风按照规范要求距地高度10~12 m,距平台高度应为6~8 m,总高度不少于10 m;在A文件中注意看首行参数有无错误,质量控制指示码及气压、风高度等各要素项目标识有无错误,如有人工和自动,则应为1。
1.2 降水上、下跨问题
这是新入手的质量控制员最易忽视的,尤其体现在下跨降水为0 mm,这也是软件审核不出需要人工注意地方,在各类比赛中未给出下跨量但要注意当月最后一天雨持续到20:00要提出该疑问;上跨降水日期,降水量与上月报表仔细校对。
1.3 天气现象栏
先看25个摘要栏,重要、罕见天气现象一目了然,然后重点是加强对其预审。在A文件中天气现象“…”应为3个空格,其他连接符为1个空格,不能出现“-”连接符号。雷暴要看是否漏记方位,且方位只能是八方位,不能出现SSW、ESE、WSW、WNW等;中间方位是否漏记;转入次日方向与前日方向是否符合要求,在这里人工重点审核是转入次日后的终止方向,不允许和前日开始方向相同,即不允许出现回头雷。因闪电在《规范》中定义“只见闪电而不闻雷声”,故要审核闪电是否为不应记录现象。冰雹记录是否写入纪要栏,且最大直径与最大平均重量是否符合规范要求。视程障碍现象雾之前应有轻雾,若是转入第2天的,则为雾之后应有轻雾;浮尘有无漏记时间或只出现几分钟,转入第2天时也需人工审核;按规定需记最小能见度的天气现象是否遗漏最小能见度。固态降水之雪、霰、米雪、冰粒、结冰、霜等应在较低温度时才出现,看有无在温度较高时误记;且固态降水(除雨夹雪外)不能形成雨淞;另积雪容易忽视的是8:00后形成的遗漏备注,以上均需人工仔细审核。降水现象、特殊天气现象与云状配合是否符合规定,如雨、毛毛雨、雷暴出现时降水云层为规范规定的云类,且还可以结合气簿-1注意连续性降水其对应的云状。天气现象中大风的出现时间要早于等于极大风速时间。不记起止时间的天气现象要看是否应出现,以及其转入次日顺序,如雨终止时间为7:44,若能见度低于10.0 km则后面要接视程障碍现象,这个是容易遗漏且机审难以判断出的问题。
1.4 备注栏及其他
(1)台站变动、新增观测要素、障碍物、所属机构、观测时制、迁站对比观测是否应在相应位置,如某站由一般站改为基本站,则变动后之日应在“台站级别”即03项中作相应修改。
(2)启用、停用某项观测要素是否表述完整。如从某日停用雨量传感器,要修改A文件相应项目标识和质量控制码段,如停用雨量传感器,其项目标识应为“0”,质量控制码段也相应修改。
(3)迁站对比根据当月及上月报表可以判断其在原址的方向,是否误记。
定时观测4次站,其观测时间为“10/04/02;08;14;20”和“10/24/24小时连续观测”;观测时次项应为“11/守班=”,若为基准站24次观测,在A文件中应体现为“10/24/逐时观测”。
1.5 天气气候概况栏与纪要
气候概况栏其各项数据统计是否正确,是否符合要求,各项目位置正确与否,如长期连阴雨写到正确应写到此为止03项,误记到04项等。天气现象栏记有冰雹而纪要栏却无记录,尤其是未达称重标准却有重量记录,这也是不符合规范要求。纪要栏其他各项标识与其文字说明正确与否。高山积雪备注按要求应写本月内日期,不必跨月备注。
1.6 降水
定时与自记降水每天比较,并非完全一致而是有差别,因目前自记是采用自动观测,而定时则是为人工观测,且差别判定方法是10.0 mm及以内差值为0.4 mm,超过10.0 mm降水则差值控制在4%以内,若差别过大,则要仔细查找原因,根据不同情况分别对记录进行处理,如确系自动站仪器故障,则自动观测降水可用人工虹吸雨量计替代。分钟降水与小时降水不一致处理情况分以下几种,并且要与备注相结合,首先若为人工虹吸雨量计代,则允许出现小时降水有记录而分钟降水缺测情况;若为人工定时代,则小时、分钟降水缺测都允许;在无任何备注情况下出现该记录则为疑误记录。
1.7 风
在风的记录中,注意查看极大风速达到或超过17.0 m/s而天气现象栏却漏记大风现象。2 min与10 min风用人工代时处理,用EL型电接风记录器代替时小数位只能是0、3、7;缺测时日平均4次与24次互代也要备注问题,或1 d内有6次及以上作缺测处理且极值应从实有记录中挑取。极大、最大风向风速若出现在整点,与整点风向是否一致,否则应为错误记录。在风的统计中,如某风向全月没有,则要仔细分析如对照人工站报表,分析是否为仪器损坏导致某一方位风向长时间缺测,或风速长时间为静风则要判断是否风已冻结。
1.8 电线积冰
一次电线积冰过程是否有2次记录,如天气现象栏雨淞从4日持续到6日,则只应有1次记录。电线积冰直径必须大于等于厚度,且雨淞、雾淞达到规定直径有无称重记录。电线积冰的温度不能低于当日气温最低。雨淞、雾淞在簿表格式中只能是5648、0048、5600,在各类业务比赛中直接录入4800,则以报表显示的方式判断不了该错误,一定要用记事本打开看。
1.9 雪深(雪压)和蒸发
应测雪压时却遗漏,且雪深大于等于5 cm,在A文件中雪压栏应为“///”。《地面气象规范》规范,“台站四周有积雪,但观测站附近因故无”,故有积雪不一定有量,积雪是随有随记,而雪深只在8:00、14:00、20:00测定,因此有量当日必有积雪。结合上月及本月报表文件备注看大、小型蒸发位置写错没有,则相应的质量控制码也要作应修改。针对蒸发结冰问题,小型蒸发不能记结冰“B”,规范规定必须要秤称重,而大型蒸发可以记“B”符号,但注意不能跨月,溶冰后测得其值是结冰后这段时间的累计值,比平常有差别,若无结冰期而值有显著变化者,则要结合前后几天蒸发及选类似天气作比较,判定数据正常否然后按照疑误记录处理方法进行处理。蒸发记结冰时,天气现象栏一般应有结冰符号,相应温度也较低。
1.10 日照
在A文件中日出至日落时间无日照应为“00”,日落至日出应为“NN”,这里需要注意某站某月每天的NN和00并不一致,因每天日出时间并不一致,可能跨整点,如1日日出0547,17日日出0601,那前者5:00~6:00应为“00”,后者5:00~6:00应为“NN”。且在日出日落期间每天横看检查日照数据整点无云无记录者,或迹线前面几小时一直为1.0 h而后突然中断,或错位向前或向后移了几小时。以小时为单位竖看检查日照计有无安装问题,如全月11:00—12:00均为0.9 h,则很可能仪器安装不符合规定要求。日照缺测时应注意在备注栏备注其百分率统计方法。
1.11 地温及冻土
地温记录每天进行查看,缺测内插均要作相应备注,且应备注4次与24次平均统计方法,两者其一缺测时可以互代。地温、气温、草温极端值,一般天气条件下地面最低低于气温最低,若为显著反常,则要仔细分析原因,例在降温天气下则可能出现气温低于地温。当地温有缺测时,则应从实有记录和人工记录中挑,若全天自动观测地温缺测时,相应地面温度、草面温度(雪面)极值作缺测处理。有冻土时,一般应注意地面温度应小于0℃,除非地面解冻冻土深度为0 cm时。
1.12 气压、温度、湿度
全月海平面气压是否有遗漏,或者海平面气压有却某时次缺测的应仔细判定。若用人工观测气压表代替要备注:自动站气压用经高度差订正后的本站气压代替。温、湿度注意不正常记录处理要按照技术解答1号文件执行,尤其注意冬季湿球溶冰不当情况下记录的处理。
2 J文件
首先也是必须先看首行参数,可以对照A文件首行参数检查。在J文件中跳变或缺测1 min目前按照各类文件精神还不能内插,且A文件内插处理后的值,不能代替J文件中整点00分的值注意某一段值是否异常,检查稍长一段时间的数据以判定该段记录正常否。按照中国气象局“气测函[2005]227号”文件精神,J文件降水判定为滞后降水在2 h以内且量在0.1、0.2、0.3 mm,可以加至那分钟那小时,否则,不为滞后降水的要删除且都要备注。自动观测降水启用当,还要在J文件中“降水”项目打上对勾,即首行参数中降水标识应为“1”,再检查A文件中相对应J文件滞后降水处理没有,必须人工处理J文件。风不正常情况下也要分析J文件,且不正常该时段其风向风速要作缺测。
3 结语
在地面观测工作中,只要观测员严格遵守各项规范及技术规定,严格执行记录处理方法进行质量控制,一般的错误是可以避免的。在实际工作中,要求质量控制员熟练掌握《地面气象观测规范》月观测记录质量检查方法和内容,再结合当地天气气候正确设置本台站OSSMO软件的审核规则库,设置时注意:尺度过宽容易出现疑误记录漏审,过窄正确记录也被列入疑问。然后再按照规范中疑误记录处理方法,结合记录处理一般原则,不断总结和积累经验,保持资料序列完整及统计结果更符合要求[3,4,5]。
参考文献
[1]熊安元.北欧气象观测资料的质量控制[J].气象科技,2003,31(5):314-320.
[2]中国气象局.地面气象观测规范[M].北京:气象出版社,2003.
[3]中国气象局.地面气象观测数据文件和记录簿表格式[M].北京:气象出版社,2005.
[4]杜红,杨英姿.怎样做好台站地面观测报表预审工作[J].沙漠与绿洲气象,2009(S1):99-100.
一种气象数据监测系统的设计 篇10
关键词：气象参数,GPRS通信模块,客户端,服务器,IP
灌区气象数据的及时、准确获取是实施精确灌溉的必要条件,因此灌区的信息化十分重要。气象数据监测系统利用实时采集的气象资料,对未来一段时间内的气象情况作出较为精确的预测和预报,对于农业生产具有一定的指导意义[1]。随着通信和网络的发展,GPRS在农业、工业上的应用越来越广泛,它能充分利用网络资源,具有传输速率快、组网灵活、永远在线和按流量计费等优点。然而,由于专网APN和固定IP的价格对于小型灌区的长期使用过于昂贵,因此目前采用动态IP接入Internet仍然是大部分用户的选择[2]。
本文提出一种低功耗、设计相对简单的监测系统。主要功能是监测农田的温度、湿度、光照等气象参数。采用MSP430单片机与QUECTEL M20无线通信模块,设计基于GPRS的动态IP的农田气象数据监测系统。研究内容包括硬件设计和软件编制,硬件设计包括搭建系统下位机平台,完成采集、处理、通信电路设计;软件编制包括下位机采集、处理、通信程序设计以及上位机数据中心软件编制。
1 系统模块设计
1.1 下位机监测模块设计
下位机监测部分包括各种气象传感器、单片机微控制器、GPRS无线通信模块。气象数据传感器负责实时采集农田中的温度、湿度和光照信息,并由MSP430单片机通过RS232串口实时地将气象数据发送给GPRS M20模块。下位机模块采用SD卡将时间和气象信息以文本的方式进行存储,方便用户以后查阅[3]。下位机硬件结构图如图1所示。
1.2 系统的低功耗设计
系统围绕低功耗进行设计,包括MSP430的低功耗模式和M20的休眠模式。低功耗模式与正常工作模式切换的具体实现如下:用手机发送休眠命令(M)给GPRS无线通信模块,GPRS M20收到该命令就会将信息通过标准RS232串口传送给MSP430控制器,接着MSP430就会将DTR0线置为高以使M20进入休眠模式,一旦M20进入休眠模式,MSP430也将进入低功耗模式。在M20处于休眠模式下,仍然可以正常接收短信,这时向M20发送一条短信,就会将M20从休眠模式唤醒(DTR0变成低电平)。一旦M20进入工作模式,MSP430也将被唤醒,从而系统又返回正常工作模式。通过这种设计,大大降低了系统的功耗。MSP430与GPRS M20之间的具体连接实现如图2所示。
1.3 GPRS数据通信与动态IP问题的实现
本系统采用ADSL拨号上网,每次拨号上线后,得到的IP地址是变化的。采用花生壳6.5工程版,通过使用花生壳动态域名的端口映射功能,在没有固定公网IP的情况下,借助花生壳服务将动态公网IP和域名进行实时绑定,通过已激活花生壳服务的域名从外网访问内网服务。而且6.5工程版新增花生壳映射功能,可以直接利用它来取代路由器端口映射的操作,只要输入内网的IP和端口号,就能实现在外网轻松访问内网下路由器的功能。
GPRS无线通信模块与MSP430微控制器间的通信采用的是AT指令集。在GPRS无线通信模块上网之前,需要对DTU的参数进行设置。主要的工作有:通过AT+IPR=9600命令设置通信波特率,波特率设为9 600 b/s;通过AT+CGDCONT=1,"IP","CMNET"命令,设置GPRS接入网关为移动梦网;使用AT+CGACT=1,1命令开通GPRS功能;通过AT+QIOPEN="TCP","benbensandai.eicp.net",5566命令设置接收服务器的协议类型、域名和端口号,如果返回的结果为CONNECT OK就实现了模块与上位机的正常连接;通过AT+QICLOSE命令,模块注销GPRS网[4]。
为了方便程序设计,增强程序可读性,将建立连接所需的AT命令以字符串形式存放于AT命令缓存区,所需多条AT指令长度不一且发送顺序不可改变。为了有效控制每条AT指令,提高CPU利用率,需将AT指令缓存区设置为指针数组形式,在建立连接时通过循环调用字符串发送函数将这些AT命令发送,相邻AT命令间要有2~3 s的延时,所以每发送完一条AT命令都要调用一个3 s的延时子程序,然后通过串口中断接收函数接收AT命令返回值来判断连接是否成功[5]。GPRS终端与上位机通信的软件实现如图3所示。
1.4 微控制器MSP430单片机
本文主控制器采用美国德州仪器的MSP430单片机,其处理能力强,运算速度快,片内资源丰富,方便高效的开发环境。而它最大的特点就是超低功耗,由于系统运行时开启的功能模块不同,即采用不同的工作模式,芯片的功耗有着显著的不同。在系统中共有1种活动模式(AM)和5种低功耗模式(LPM0~LPM4)。在实时时钟模式下,可达2.5μA;在RAM保持模式下,最低仅为0.1μA。基于这个特点,将其作为监控系统的主控芯片非常合适。
1.5 SD卡存储电路
由传感器获取的气象参数需要定时地存储到SD卡中,这样即使监控中心出现突然断电的情况,依然可以获取到当天的气象参数,从而便于数据的整理和参数的计算。
本系统采用16 GB大容量的SDHC卡,以FAT32文件系统作为存储形式,将所采集的气象数据存储在TXT文件中,该文件以当前时间命名以便于查阅。SDHC卡中存储的气象数据可以通过USB2.0接口进行高速的读取。对SDHC卡的读取和控制采用占用I/O口最少的SPI模式,SPI模式利用SDHC卡的CS(片选引脚)、MOSI(数据输入引脚)、MISO(数据输出引脚)、CLK(时钟引脚)实现与外部的数据传输[6]。SDHC卡控制电路如图4所示。
2 上位机数据中心软件的实现
上位机数据中心软件由VB6.0和Windows自带的Access数据库联合开发完成,气象数据中心主要由4个功能模块组成,分别为用户登录界面、数据通信模块、通信设置模块和信息处理模块。其中用户登录界面中的用户信息管理部分可以实现用户的增加、修改和删除的功能,并且可以允许用户以管理员和普通用户两种不同权限的身份进入系统;数据通信模块主要完成气象数据的接收、显示和处理的功能,还能将所连接客户端的IP地址和端口号展示出来,状态栏中可直观、形像地显示当前TCP连接的状态;通信设置模块主要包括系统连接Internet的协议设置和端口号的设定,这是实现TCP/UDP连接的第一步;信息处理模块主要将接收到的数据进行整理和存储,并可以以Excel报表的形式导出,方便用户的后续处理[7]。
在该监控软件的编写过程中,采用Winsock控件编写网络通信程序,从而实现对通信的控制。具体方法是用Senddata方法发送命令,然后用Getdata方法将接收到的数据读取出来。Access数据库用来保存系统相关参数和各个观测点的气象数据。
最终的编写成功的上位机软件可以实现GPRS DTU终端的状态显示(分别为Closed、Open、Listening、Connecting、Connected、Closing、Error),下位机客户端的数据采集,历史气象数据的查询、修改和删除,具体工作时间的设置,相关工作模式的选择等操作[8]。用户登录界面和通信设置模块如图5和图6所示。
3 结果和分析
实时的气象数据监测服务器需要一个安装有数据控制软件的PC。该实时的监测数据中心软件可以控制系统,并且实现数据的完整接收、分析和存储。当不需要采集气象信息时,手机通过命令(M)向客户端发送休眠命令,使系统处于低功耗模式;当系统需要采集数据时,手机发送唤醒短信,使系统处于工作状态,这样的工作模式极大地降低了系统的功耗。实验结果表明,服务器端监测中心可以稳定显示,该系统运行结果良好。运行结果图和系统电路图如图7所示。
本监控系统依托中国移动的GPRS网络,大大减少了重建网络的高花费。针对工程具体情况编写相应的上位机软件,有利于数据的处理和保存,使系统更加经济和实用。
基于MSP430和GPRS的气象数据采集和监控系统不仅花费低、可靠性强,而且容易扩展和更新。考虑到移植的需要,在设计过程中应该将相应的驱动程序模块化,以便于将其应用到环境监测、电力监测、交通监控等领域[9]。
气象基础数据 篇11
关键词：气象数据；Linux ARM；串行通信
中图分类号：TP368.2 文献标识码：A文章编号：1007-9599 (2011) 15-0000-02
Multi-Channel Weather Data Serial Communication Design Based on ARM System
Huang Jiansong,Wu Yue,Hu Hanfeng
(Institute of Atmospheric Physics,Nanjing University of Information&Technology,Nanjing210044,China)
Abstract:In this paper,multi-field weather observation data transfer and storage requirements,a core processor with ARM9 S3C2440 development platform,focusing on the serial communication interface is designed.Paper describes meteorological data multiple serial communication research background and significance of structures based on the ARM S3C2440 processor hardware platform and Linux-based development environment,and established under Linux cross-compiler for ARM board environment,prepared serial communication applications and its structure was analyzed.
Keywords:Meteorological data;Linux ARM;Serial communication
一、引言
隨着大气探测科学研究的深入和传感器技术的进步，各类气象传感器和大气探测设备在科学试验和日常业务中正在发挥日益重要的作用。如今在进行外场试验时，通常会使用较多类型的探测设备观测各种气象要素和环境参数。这些探测设备一般具有串行通信接口，以便向上位机传输数据。如果使用普通计算机接收各类观测数据，通常需要多台PC机，并且数据的收集和存储将会变得非常麻烦。而以ARM核为处理器的嵌入式数据采集系统具有功耗低、体积小、接口多、程序编写调试方便等特点。因此，鉴于国内外气象数据采集系统的发展趋势，结合串行通信技术和ARM系统的特点，本文在一款以ARM9 S3C2440为核心处理器的开发平台上，重点对串口进行设计，以实现多路气象数据串行通信数据的传输和存储。
二、嵌入式系统硬件部分设计
作为嵌入式系统的核心，选择一款合适型号的ARM芯片非常重要。经过多方调研，本文的硬件部分采用以三星公司生产的S3C2440芯片为处理器的ARM9开发板。该开发板提供3个独立UART接口，可外接多路串行通信智能传感器，实现传感器与开发板间的数据传输与控制。
利用RS232串口线以及USB数据线连接好宿主机和目标，通过执行BIOS功能指令和运行dnw.exe软件，即可实现数据的烧写和下载。在windowsXP系统中，通过建立一个超级终端，设置好串口参数，进入BIOS模式界面。之后安装好ARM板的USB驱动，配合使用dnw.exe软件，就可以实现ARM板和电脑之间的Linux系统和应用程序文件的移植和烧写。
三、嵌入式系统软件开发平台的搭建
建立嵌入式系统开发平台，首先要在宿主机和目标机上安装指定的操作系统。根据本文设计要求选择Linux系统。对于一般的PC机，通常都带有windows系统，因此，宿主机的操作系统选择虚拟系统Red Hat Linux5.0，使用虚拟机（Vmware-workstation）的方式建立开发环境。
安装好Vmware，即可在宿主机上安装Red Hat 5.0 Linux系统。首先根据宿主机的配置来确定虚拟机的内存和硬盘配置。虚拟机硬盘大小根据目标需求分配，默认为8G。本文选择利用虚拟光驱来安装系统。系统安装完毕后即可设置ARM板的交叉编译环境，在Linux系统下安装arm-linux-gcc编译器。
构建嵌入式系统的软件开发平台，需要在ARM板上安装Linux系统。利用之前安装好的USB驱动和dnw.exe软件，通过操作BIOS模式的指令完成Linux系统的安装。Linux系统的安装过程主要包括以下几个步骤[1]：对Nand Flash进行分区、安装BootLoader、安装Linux内核文件、安装根文件系统。
四、数据采集功能程序设计
本文的设计目的是利用RS-232串口实现气象仪器与嵌入式系统之间的数据传输和存储。因此，设计的嵌入式系统的工作流程[2，3]是：首先系统上电进行初始化操作系统和外设模块操作，然后就可以运行特定的应用程序，流程图如图1所示。
图1：嵌入式系统串口通信应用程序流程图
其中初始化部分由设备驱动程序来完成。RS-232串口驱动程序主要包括串口初始化，字符发送程序，字符接受程序等。应用程序部分包括打开串口和文件，重新设置串口参数，读取数据，将数据存储到SD卡中，关闭串口和文件。由于驱动程序代码无需自行编译，因此，以下只对应用程序关键部分进行分析。
（一）打开串口和文件：通过使用标准的文件打开函数open（参数1，参数2）来实现的[4]。设备的打开方式本文选择可读可写方式。程序中三个串口的打开方式都一样，只是路径不同，所以在程序的开始，将设备和文件的路径定义为字符串常量，将其分别放在两个数组中，从而简化应用程序。
（二）设置串口信息：Linux系统中定义了一个查询和操纵各种终端的标准接口，称为termios。它包含了各终端特性的完整描述，相关联的函数可以查询和修改这些特性。在本设计中，串口参数分别设置为：波特率115200、8位数据位、无校验方式、无数据流控制、1位停止位。
（三）串口数据的读写：串口数据的读写类似于文件数据的读写。向串口发送数据，使用write（）函数；而读取串口数据，使用read（）函数。读写函数的返回值分别为函数读到或写入的数据的字节数。若返回值为-1，则表示出错。对于read函数，若返回值为0，则表示已经到达文件尾[5，6，7]。在打开串口和文件并设置好串口信息之后，每隔一段时间依次读取三路串口的数据，同时将读取数据存在SD卡中，存储格式为二进制。
应用程序编写完成后，在arm-Linux-gcc交叉编译环境中编译。利用交叉调试器进行分析和调试，使得该应用程序能够在开发板上运行，从而实现气象传感器与嵌入式系统之间的通信。
五、结论与展望
本论文利用嵌入式技术，搭建了基于ARM芯片S3C2440的硬件平台和基于嵌入式Linux系统的软件平台，并在Linux系统下建立了针对ARM板的交叉编译环境。根据实际需要，编写了嵌入式Linux系统下的串口通信应用程序，初步实现了多路RS-232串口的数据传输和储存。其应用程序还有待于进一步开发，例如实现应用程序的界面化、实时分析显示数据等功能。
参考文献：
[1]张景璐,杜辉,吴友兰.ARM9嵌入式系统设计与应用案例[M].中国电力出版社,2008,16
[2]李筠,邬登风.基于linux的RS-232C串口通信的研究[J].仪表技术,2010,7:43-47
[3]云霞,曾连荪.基于VC++6.0的RS-422串口通信设计[J].信息技术,2010,9:73-75
[4]刘盛辉.嵌入式多路数据采集平台的开发与研究[D].长安大学硕士学位论文,2006,47-55
[5]刘小成,朱佳华,林峰.Linux下串口通信在工业控制方面的应用技术[J].机械制造与自动化,2010,12,39(6):96-98
[6]马洪连.嵌入式系统设计实验教程[M].大连理工大学出版社,2007,6:65-79
气象基础数据 篇12
1系统的基本组成
该系统的输入数据来自加密气象自动站, 能够实现对于气象数据的实时统计和查询, 有利于数据共享和数据分析, 操作十分方便。系统的基本结构为数据显示、数据查询、数据输出、数据共享、状态监控几个主要部分构成。如图1所示。
2系统的技术分析
此系统的后台数据库采用的是Server2003, 这个数据库的优点在于数据管理比较完善。此系统的服务器是由内蒙古市气象中心的服务器和各个县市的数据库服务器组成。数据的采集是通过无线通信进行传输, 数据到达气象中心数据库服务器之后, 气象中心数据库服务器将数据发送到各个县市的数据库服务器上。之后这个系统对于各个县市的数据库开展数据访问。
2.1系统的数据库结构
在地面加密气象自动站进行数据采集之后将数据存储在气象中心的数据库当中, 包括各个参数和数据表。系统能够进行统计的数据包括降电源状态、水量、温度、GPRS网络状态4种信息数据。表1~表4是这4种数据的数据库表的结构。
2.2在系统的运行过程当中的数据流向
该数据库整理软件是要将300个加密地面气象自动站收集到的数据进行处理, 这个软件的优点不仅仅是操作方便、速度较快, 而且数据查询十分快捷, 准确性较高。软件的界面十分整洁干净, 一目了然, 具有很强的实用性, 数据查询十分准确, 对于实时温度和降水量的状态都能够进行很好地监控。系统录入的地图是内蒙古行政区划图的经纬度坐标点和站点的经纬度, 进行图形绘制。所以, 对于数据流向的清晰控制就显得十分关键。从图当中我们能够一目了然地把握各种数据的流向。
3结语
随着我国社会经济的发展, 各个省的公共服务质量也在逐渐上升, 尤其是对于公众的气象服务, 在内蒙古市气象局的所有工作人员将近3a的努力之后, 地面加密气象自动站的数据统计软件逐渐变得完善, 信息的反馈和收集等都变得十分高效、准确, 当前加密气象自动站的数据查询统计和气象监控系统逐渐成长为最实用的气象软件。这个软件能够实现文件输出、数据查询、自动绘制雨量等值线图、统计计算、监控报警等多种功能。这样不仅能够将通用软件的缺点避开, 使得问题变得简单, 系统更加实用, 而且不利用通用的软件还能够节省开发成本, 提高经济效益, 减短开发周期, 使得内蒙古市气象部门的运作更加顺利。但是这样做也存在一些缺点, 那就是得到的地图的精确度不高, 还需要进行逐步的完善。本文对于地面加密气象自动站的数据查询和共享功能实现的技术进行研究, 对于我国的气象事业的发展具有积极的意义。
摘要：随着我国社会经济的快速发展, 我国的公共服务水平也在逐渐提高, 气象服务逐渐变得越来越准确, 而内蒙古自2009年开始筹建第一个能够进行温度以及降雨量的测量的加密地面气象自动站, 并且在半年之后投入使用。为能够更好地利用地面气象自动站采集数据, 将加密地面气象自动站的优势展现出来, 本文对于地面气象自动站的数据共享和数据查询功能进行研究, 主要对于地面加密气象自动站的数据共享和数据查询系统的技术进行讨论。该系统具有数据收集、统计计算、数据共享、数据查询、系统绘制雨量折线图、警报监控等功能, 十分自动化, 产生的数据具有客观性, 投入应用的效果很好。
关键词：地面气象自动站,数据共享,查询
参考文献
[1]王艳, 方晓, 高杰, 等.小波阈值法在地面气象自动站资料审核中的应用[J].气象与环境学报, 2007, 23 (2) .
[2]高杰, 杨青.小波阈值法在地面气象自动站资料审核中的应用[C].中国气象学会2006年年会论文集.2006.