自动数据采集

自动数据采集（共12篇）

自动数据采集 篇1

海洋对全球气候和环境起着主导作用,与人类的生产和生活密切相关,其丰富的资源是人类社会未来发展的重要物资基础。要开发利用海洋资源,就必须先了解海洋,对海洋进行全方位的监测[1]。海洋环境监测的基本任务是获取气温、气压、潮位、水温、波浪、海流等水文、气象及浪流要素信息。基于计算机和自动化技术的数据采集系统可以连续、快速、准确地获取现场测量数据,是实现海洋环境参数智能实时监测的有力工具。经过几十年的发展,目前我国已经初步构建了遍布全国的海洋环境监测体系,很多海洋台站都配备了自动化的监测系统;但是这些监测系统在通讯方式、数据存储、测点管理和系统工作状态监控等方面存在诸多不足,无法满足当前海洋监测业务发展的实际需要[2,3]。针对这一现状,本文设计了一套适用于多类监测站点的海洋信息自动监测数据采集系统,可实施大范围、多测点实时监测,实现海洋数据信息的集中存储管理及系统工作状态的监控。

1总体设计

系统以海洋局专网为通讯网络,采用先进的数据采集及处理技术和稳定可靠的数据传输方式,建立了集监测、监控、数据存储与管理等功能为一体的现代化海洋信息自动监测数据采集系统。

1.1系统结构

自动监测数据采集系统由海洋台站上位机和现场采集设备两大部分组成,通过有线或无线通讯网络实现数据通信,从而构成一个完整的系统,系统结构如图1所示。现场采集设备安装在各个监测站点,包括采集器、要素传感器及其它附属设备。采集器读取传感器输出信号,经过处理得到测量值,完成单个站点的数据采集。根据监测站点的类型(海岸站点、岛屿站点、平台站点、船舶站点等)和监测现场的具体设施条件,采集器有选择地通过有线或无线通讯方式接入专网与上位机进行通讯:① 对于已经实现光纤通讯的监测站点,采集器通过网线接入专网;② 对于尚未实现光纤通讯的监测站点,采集器通过CDMA无线通讯模块接入专网。安装于监测现场的各类传感器用于检测各种水文、气象、浪流要素信息,是监测系统的数据源头,系统选用海洋监测部门长期使用检验合格、准确性和可靠性满足现场要求的成熟产品。上位机通过软件程序读取各测点采集器中的测量数据信息,同时对系统的工作状态进行监控。系统所有监测数据信息集中存储在上位机的数据库系统之中。

1.2通讯协议

系统采用主/从通讯方式,上位机为TCP服务端,定时向各个采集器发出校时命令或采集命令,校时命令用于校准采集器时钟、采集命令用于读取数据;采集器为TCP客户端,接收上位机命令并根据命令校准时钟或上传数据。

1.2.1 校时命令格式

格式为[采集器类型码]+[功能码]+[上位机当前时间]+[校验码]:① 采集器类型码用于区分三种不同类型的采集器,水文为1,气象为2,浪流为3;② 功能码用于区分命令类型,校时命令为1,采集命令为2;③ 上位机当前时间是一个准确的时间值,接收到校时命令后,采集器将自身时钟修改为该时间;④ 校验码用于检查命令在传输过程中是否发生错误,如果校验不正确则视为无效命令。

1.2.2 采集命令格式

格式为[采集器类型码]+[功能码]+[已采集时间]+[校验码]:① 采集器类型码、功能码和校验码的定义与校时命令相同;② 已采集时间是待上传数据的时间起始点,在该时间之后的数据需要上传。

1.2.3 数据上传格式

格式为[采集器类型码]+[功能码]+[数据]+[电压]+[采集器当前时间]+[校验码]:① 采集器类型码、功能码和校验码的定义与采集命令相同;② 电压是采集器供电电源电压,用于监测电源是否正常;③ 采集器当前时间即为采集器时钟,上位机软件提取该时间与计算机系统时间进行比较并判断是否需要发出校时命令;④ 数据部分包括采集器一次上传的一条或多条数据,每条数据都包含其采集时间,各参数数值采用字符形式上传。上位机软件每接收一条数据就修改已采集时间,对应采集命令中的已采集时间就得到更新,该时间作为一个重要信息实时保存在采集器的配置信息表里;如果某次数据传输不成功,则已采集时间不会被更新,上位机软件会继续按照原来的已采集时间向采集器发出采集命令,直至采集器内最新数据上传成功。这种处理方法可以确保不会因通讯中断或上位机重启而导致数据丢失。

2通用采集器设计

采集器是数据采集系统的关键设备,负责从传感器读取数据、处理数据、存储数据及上传数据。系统所设计开发的采集器具有通用性,提供有线和无线两种通讯接口供用户选择,能够用于水文、气象及浪流等多类要素信息的采集,适用于海岸、岛屿、平台、船舶等多类站点的监测,从而可以降低系统的设计开发和研制成本、简化系统的后期维护和管理工作。

2.1采集器硬件系统设计

采集器采用模块化设计,选用成熟的元件模块进行集成,以保证可靠性。采集器主要由控制模块、接口模块、测量模块和通讯模块等几部分组成,硬件结构如图2所示。ETR100E嵌入式PC模块包括CPU、时钟和存储器,是整个采集器的核心部件;工作母板提供各种串口用于连接测量模块、通讯模块及数字式传感器;EDA9083测量模块用于检测非数字式传感器的输出信号;通讯模块可选用Nport网络通信模块(通过RJ45标准网络接口连接到海洋局专网)或CDMA无线通信模块(通过中国移动的无线通信网络连接到海洋局专网)。采集器采用12VDC电源供电,12VDC电源从外部接口连接到通讯模块、测量模块及传感器接口;DC/DC变换器提供5VDC电源,为ETR100E嵌入式PC模块及母板供电。

2.2采集器软件程序设计

采集器PC模块内的软件程序采用C语言进行设计和开发,主要功能包括从传感器读取数据、处理数据、存储数据、接收上位机命令、上传数据等,软件程序的工作流程如图3所示。

3上位机软件开发

上位机软件以分布式网络数据库Oracle 10 g为平台、以Delphi7.0为软件开发工具,实现所辖监测站点数据的采集、处理、存储、查询、显示等一系列系统功能。

3.1数据库存储方案设计

系统所需数据表的表名称及对应功能说明如表1所示,系统监测数据及配置信息存储在相应的数据表中,供系统软件读写和用户使用[4]。

3.2上位机软件功能开发

为了优化软件性能、提高可维护性,系统上位机软件采用模块化设计思想,各种功能由对应的函数模块来实现,通过模块之间的相互调用完成系统软件整体功能。系统上位机软件包括系统管理、命令发送、数据接收、数据实时处理、系统监控、实时数据显示、数据非实时处理、历史数据查询等八个主要功能模块,其结构如图4所示。

3.2.1 系统管理

即对系统所辖各监测站点的设备进行管理和维护,分为站点、前端(采集器)、参数(传感器)三个层次进行管理:① 站点管理包括增加站点、撤除站点和站点信息(包括站点名、站点号等)修改等操作;② 前端管理包括为站点增加或撤除前端采集器、修改前端配置信息(采集器名称、类型、IP等)等操作;③ 参数管理包括为前端增加或减少测量参数、修改参数量程等操作。

3.2.2 命令发送

上位机软件定时向所辖各监测站点的采集器发出采集命令。

3.2.3 数据接收

借助有线或无线通讯网络,上位机软件实时接收来自监测现场采集器的数据包,并将数据包保存在对应的变量中。

3.2.4 数据实时处理

包括数据解析、量程转换、数据审核、数据存储和实时报文输出等子功能:① 数据解析是指从数据包中解析出采集器当前时间、电源电压及一组或多组数据(每组数据包括采集时间及各参数的测量值);② 量程转换是指将参数测量值转换成最终结果值(即海洋要素的物理值);③ 数据审核是指检查数据是否发生异常并做标识[5];④ 数据存储是指将转换后的结果数据及异常标识保存在系统数据库中;⑤ 实时报文输出是指按照行业规范约定的格式生成实时数据报文或文件,用于向上级部门实时上传数据信息。

3.2.5 系统监控

即对系统或系统设备的工作状态进行实时监测,具体包括采集器通讯状态、采集器电源电压和数据异常情况三个方面的监测:① 通讯状态的监测借助网络通讯接口,实时记录每个前端采集器的上线(online)或下线(offline)状况,如果长时间处于offline,则视为通讯中断;② 在进行数据实时处理时提取采集器的电源电压,通过与设定的电压下限进行比较来判断电源是否正常;③ 数据异常情况根据异常标识来判断。

3.2.6 实时数据显示

即将量程转换之后的结果值以自动刷新的实时数据界面或实时曲线趋势形式显示出来,供用户查看和使用。

3.2.7 数据非实时处理

包括整点数据存储、特征值提取和非实时报文输出等子功能。系统软件按照海滨观测规范要求提取各参数特征值,与整点时刻数据一起存入系统整点数据表中。非实时报文包括整点报文、日报文及月报文等。

3.2.8 历史数据查询

为用户提供查询各站点、各参数的历史数据或历史曲线的操作界面。

4结论

针对海洋环境监测工作的实际需要和现有通讯设施条件设计了一套适用于多类监测站点的海洋信息自动监测数据采集系统。系统采用主/从通讯方式,通过专网进行数据传输,保证了数据传输的可靠性和实时性;前端采集器采用模块化设计,接口功能强大,能用于水文、气象和浪流等多类要素信息的监测,简化了系统安装和现场后期的维护管理工作;采用Oracle数据库平台和Delphi开发工具编制了上位机软件,实现了海洋台站监测数据的集中存储和有效管理。系统已经在国家海洋局闽东海洋环境监测中心站和温州海洋环境监测中心站的多个监测站点业务化运行一年有余,运行稳定可靠、综合效益明显。现场应用表明,该系统较好地完成了预期任务,具有较大的推广价值和应用前景。

参考文献

[1]刘岩,王昭正.海洋环境监测技术综述.山东科学,2001;14(3):30—35

[2]许丽娜,王孝强.我国海洋环境监测工作现状及发展对策.海洋环境科学,2003;22(1):63—68

[3]姜华荣,刘玉新,王珠丽.国内海洋环境监测网现状与发展.海洋技术,2003;22(2):72—83

[4]俞永庆.自动海洋气象监测数据库及Web开发应用.海洋预报,2006;23(1):81—84

[5]王超球,黄理,程爱珍,等.无人值守自动气象站实时数据质量控制技术的探讨.气象研究与应用,2007;28(3):103—104

自动数据采集 篇2

一、遥感大数据的概述以及特征

在现代社会当中，遥感大数据已经成为了大数据的重要代表，成为了科学研究方面的重点研究方面，但是在现阶段当中还需要对其科学理论和方式进行不断的深入研究。遥感大数据具有大数据的特征，并且也具有自身独特的特征。在外部特征方面，首先具有海量的特征。遥感大数据的数据具有海量的特点，并且对着遥感技术的不断发展，在现阶段当中的高分辨率和高动态的新型卫星传感器在单位时间之内可以捕获到更多的数据量；其次还具有数据异构的特点，也就是说在数据生产过程当中所依赖到的业务系统之间会呈现出的不同状态，都需要由不同的数据中心来进行提供的，并且在逻辑结构或者组织方式上也呈现出了不同的特点；另外，还具有数据多源的特点，集中体现在数据的来源和捕获信息的手段方面，是可以拥有多种获取形式的，包括全球的观察网络点接收到的实时信息，以及民众手中的用户端的个性化信息。在内部特征方面，首先具有高维度性的特点，遥感大数据的数据类型呈现出了多样化的特点，因此数据当中的维度也变得越来越高，集中体现在了空间维度、时间维度以及光谱维度等。其次还具有多尺度性的特点，成为了遥感大数据的重要特点，也就是说在进行数据的获取过程当中，可以根据不同的遥感技术和相对应的技术水平，来进行有效的划分，在空间和时间上呈现出多尺度的特点。另外，还具有非平稳性的特点，由于遥感大数据广泛的获取方式和物理意义，在信息理论的角度上来说，就属于典型的非平稳信号，呈现出分布参数或者规律随时发生变化的特点。

二、遥感大数据的自动分析和数据挖掘

2.1自动分析。首先，需要对遥感大数据的表达进行了解，在这个过程当中需要抽取多元化的特征来进行表示，从而建立起遥感大数据的目标一体化，在研究过程当中主要包括对遥感大数据的多元离散特征的有效提取，形成在不同的传感器当中的提取方式和方法。还要对若干大数据的多元特征进行归一化的表达，从而提升对大数据的处理能力和处理效率。其次就需要对遥感大数据进行相关的检索，在检索过程当中，需要利用网络化和集成化的方式进行检索，制定出基础设施的计划，提升对其数据的访问和检索效率。并且针对海量的遥感大数据来会说，需要检索出符合用户需求和感兴趣的内容和数据，就需要对数据内容进行比对，从而判断出用户所需要的内容，从大量的数据当中进行快速的检索到目标。在检索的过程当中，发展知识驱动的遥感大数据的检索方式是最有效的方式之一，可以分为场景检索服务、多源海量复杂场景数据的智能检索以及信息数据的检索等。另外，就是对遥感大数据的理解的，通过遥感大数据的科学，可以实现数据向知识的有效转变，在这个过程当中就需要根据遥感大数据本身的特征和数据检索的方式来对数据内容实现有效的提取。最后就是遥感大数据云的技术，可以将各种方式的遥感信息资源进行有效的整合，建立起遥感云服务的相关新型业务应用和服务模式，可以将在天空当中的传感器所捕捉到的信息通过软件的计算和整合来实现数据资源的有效存储和处理，从而使得用户可以在很快的时间之内获取到有效的服务。

2.2数据挖掘。首先需要对遥感大数据的数据挖掘过程进行了解，包括数据的获取、存储以及处理和整合等，在整个过程当中都具有大数据的特点。在进行捕获数据的过程当中可以从各种不同的传感器当中进行获取，然后对数据进行采样和过滤，之后就可以对采集到的数据进行处理和分析，最后将其数据用可视化的模式进行显示，方便了客户的使用和利用。其次，就是遥感大数据和广义的遥感大数据的综合挖掘的过程，利用此种方式，一方面可以与其他的数据方式形成良好的互补关系，另外一方面也可以对其数据当中的变化规律以及其他信息进行更好的挖掘和采集。在广义的遥感时空大数据当中，存储的费用是相当昂贵的，并且在数据的分析能力方面也存在严重不足的现象，因此在现代社会的智慧城市的建设过程当中发挥不了其巨大的作用，因此需要利用其他自动化的数据智能处理和挖掘的方式来对其空间地理分布的数据进行全新的挖掘和过滤。在时空分布的视频数据挖掘过程当中，在对智能数据进行处理和信息提取的同时，还要通过时空当中所分布的视频数据进行自动化的区分，来有效的区分正常和非正常的状态。在对时空数据的挖掘过程当中，主要可以从时空数据当中进行提取出隐藏的有用的信息知识，利用各种综合性的方式和方法，比如统计法、聚类法、归纳法以及云理论等。在遥感大数据的挖掘应用方面，可以适用于地球各种尺度和方位的变化，还可以在很大程度上对未知的信息进行良好的筛选和挖掘，推动国家的科学技术的发展，实现社会的可持续化发展。

综上所述，在不断的发展过程当中，我国的遥感数据的种类和数量将呈现出飞速增长的模式，在很多方面以及领域当中已经开展了遥感大数据的研究工作。值得注意的是，现阶段当中需要将遥感大数据的理论知识进行实践化的转变，从而实现遥感大数据的自动分析和数据挖掘功能，推动科学信息的不断进步。

参考文献

自动数据采集 篇3

关键词自动气象站;月报表;异常数据;预审;处理

中图分类号P4文献标识码A文章编号1673-9671-(2010)081-0124-01

随着自动气象站和地面测报业务系统软件的使用,地面气象数据文件审核方法发生了重大变化。南乐县气象局从2005年1日1日自动气象站投入业务运行以来,对全局测报质量的提高起到了一定的作用,我根据近几年在地面资料审核工作中积累的经验,对本台站出现的、疑误数据处理问题进行了归纳总结,并提出了相应的处理方法。

1异常数据与处理

1.1降水量上下连接值的输入

《地面气象观测数据文件和记录薄表格式》规定,降水量上下连接值由3段组成:即下月1日20—8时降水量和跨月连续降水(或无降水)开始日期和上跨连续降水量。有些站往往没有将下跨的降水量输入或是输错。如有微量降水0.0应输为“,,,,”,误为“0000”。月末最后一日,应该人工录入、校对降水量上下连接值,确保B文件数据正确。

1.2分钟降水量与天气现象矛盾的处理

由于OSSMO 2004软件没有把J文件降水量及降水起止时间与A文件天气现象的降水起止时间对比,所以J文件经常出现降水量与天气现象矛盾的现象,值班员和预审人员必须人工校对分钟降水量与降水的起止时间是否一致。

操作说明:J文件分钟降水量取自B文件,因此要求每日20时值班员要按照《地面测报业务软件操作手册》和系统“帮助”文件,对“小时、分钟降水量”进行校对,方能确保小时降水量合计值和分钟降水量累积值相一致,分钟降水量记录和降水起止时间相一致。

1.3日照时数全天缺测

应该在日出到日落的各小时都应该录入“—”,不能自己认为从有日照的小时开始输“—”。日出、日落时的日照时数如果大于日出、日落时计算的最大值,OSSM0 2004审核提示为错误,应该利用软件提供的计算功能,算出本站该年每日日出日落时间,并查找引起矛盾的原因,确保观测未记录的准确性。

1.4对自动气象站大风记录的开始与结束时间应该认真校对

1)大风数据文件为FJ.TXT,由于FJ文件中的数据是自动气象站采集监控软件(SAWSS)从每分钟采集的数据中判断写入的,若SAWSS因故关闭或采集不正常,都会造成FJ.txt记录不正常,所以FJ.txt文件不能作为大风天气现象的唯一依据。

2)若自动站日极大风速≥17.0m/s,FJ.txt中无大风记录,可从Z文件中的时极大风速尽可能的判断记录,或通过随OSSMO 2004一并下发的自动气象站数据质量控制软件中的“大风现象查询”功能获取。

3)部分厂家的自动站,有时会出现从采集器读取的每分钟数据中的出现时间与实际时间有偏差,若写入FJ.txt文件中的时间与正点写入Z文件中的出现时间有时相差1分钟,则以Z文件的极大风速时间为大风的开始时间。

2对机审疑误信息要认真判断分析

分别使用地面气象测报业务软件和自动气象站数据质量控制软件对A文件、J文件和Z文件进行审核。对软件提示的疑误信息要逐条进行排查处理。提示为“错误”的信息必须维护正确,提示为“可疑”的信息要根据气象要素进行人工确认。如海平面气压、水汽压、露点温度与反查计算值相差>0.3℃,有错误,就应该利用地面气象测报业务软件的工具菜单进行查算;连续变化的要素,相邻时次变化异常。如地温、草温传感器安装不当,就会造成变化异常。一般认为,深层地温(80、160、320cm)相邻时次变化超过0.3℃属于异常。值班人员要按照有关业务文件的要求,加强自动站数据监控和人工与自动对比观测,及时发现问题,解决问题。

3自动站定时记录缺测的处理方法

按照《地面观测规范》和技术问题综合解答(第一号)的规定,自动站记录缺测的处理方法具体有:

1)自动气象站定时观测记录缺测。要优先使用正点前后接近正点的10分钟记录代替。监控软件从3.0.8版本增加了全要素分钟数据文件即RTD文件的备份。可以使用“质量控制软件”查找正点前后接近正点的分钟数据,并用来代替自动站缺测的正点值。

2)人工观测和自动观测记录的同类观测记录可相互代替。

3)在没有任何数据可代替的情况下,采取内插法或缺测处理。内插法是级别最低的。内插法不适用于风向风速、降水量缺测记录的处理。

4)缺测和不完整记录的处理方法要进行备注。

5)分钟数据缺测寻找方法。为了最大限度地减少缺测记录,用自动气象站数据质量控制软件的“数据导入”功能,从RTD文件中恢复。具体方法是:利用质量控制软件中的文件菜单—打开—文件类型—逐分钟地面数据文件—找到相应时间的数据。

4文件的审核

4.1J文件的审核

J文件处理方法。根据有关技术文件,J文件的分钟记录缺测或异常,不再按内插处理。J文件的分钟数据必须是自动站原始采集数据,因此,60分记录用A文件记录代替时,不能用A文件中内插或人工站代替的正点记录代替。需注意:J文件风速是一分钟风速,不能用A文件定时风速代替。

4.2Y文件的审核

制作年报表的A文件月份选择。制作年报表必须在Y文件维护中同时加载当年1-12月的A、J文件和上年度7-12月的A文件,这样才能制作正确的Y文件。

5结束语

自动站报表数据文件内容多、数据量大,要求审核员必须熟练掌握《地面气象观测规范》中各项技术规定及数据文件格式规定,对机审提出的疑误信息进行判断和推敲,不断总结经验,提高自动站报表数据文件的审核质量。台站的报表预审宜采取初审-复审-终审的流程。通过上述流程的上报报表可最大限度地减少错情;要尽量为每个班次排主班、副班并明确责任。当主班在观测、操作、发报时副班应负责校对和配合,发现不正常记录要及时处理,

参考文献

[1]中国气象局监测网络司,地面气象测报业务系统软件操作手册[M].北京:气象出版社,2005,1(37).

[2]地面气象观测规范[M].北京:气象出版社,2003,11(107).

作者简介

互联网数据自动采集系统设计 篇4

关键词：决策支持,互联网,数据采集

一、前言

随着我国加入世界贸易组织, 我国金融业正在走向市场, 业务经营逐步规范化、市场化、国际化, 大量以表外业务为特征的金融创新业务不断涌现, 使得金融机构的经营方式更为灵活。在这种背景下, 金融运行环境越来越复杂, 形势变化越来越快, 金融机构经营中的潜在风险也不断增加且更难以把握和控制。从金融行业的管理来说, 建立一个有效的决策支持系统 (俗称DSS, DecisionSupportSystem) 显得十分必要。

建立决策支持系统的基础是对数据的分析。在当前的形势下, 而有效并全面的收集和处理互联网数据是数据分析的重要方面。在当前情况下, 由于不同网站、不同指标数据的更新频度不同, 采集数据行为不得不采用人工行为或使用简单工具辅助, 同时采集工作被动地反复进行。采集到本地的金融指标数据没有统一的清洗和归整机制, 无法统一高效地利用, 无法为更深层次的数据分析提供条件。因此, 建设互联网数据自动采集系统, 数据数据采集, 数据处理, 数据入库和查询, 可以更好为决策支持服务。

二、数据自动采集系统方案

互联网数据采集系统主要包含以下内容: (一) 数据采集, 指允许用户根据需要, 管理目标源文件的所有信息, 实现定向、定时、自动化采集; (二) 数据归整, 从采集到本地的各种异构的源文件中, 准确抽取指标数据, 并保存到指标数据库中。 (三) 数据查询, 为用户提供查询功能。

(一) 系统逻辑方案

如下图, 系统使用BS架构对浏览器设置无特殊要求;并采用模块化的体系结构, 标准化接口, 设计开放, 全面支持二次开发与系统集成;提供友好的管理员界面, 简化操作。

在本方案中, 先将采集到的目标源文件在服务器硬盘上集中存放, 再通过ETL工具设计模板, 对目标源文件进行抽取、清洗、转换, 并装载到指标数据库, 形成符合要求的指标数据, 为查询、导出提供数据基础。

(二) 系统模块设计

1. 任务定制管理。

用户可新建采集任务并自定义采集任务相关细节:访问资源协议、资源地址、资源类型、资源有效性验证方式等属性配置。

2. 数据采集。

根据定义好的某个任务, 到互联网上采集数据, 通过HTTP、FTP等网络协议, 根据任务指定位置采集相关数据资源 (html、excel、word、PDF等) 、并将这些资源存储到本地系统中指定的零时目录或缓冲区中。本模块需要高效利用网络资源, 需要有相关网络连接调度池管理及功能, 并提供相关日志信息。最后执行数据有效性检查, 若资源无效则抛出相关异常, 由调用者负责处理。

3. 数据预处理。

将任务执行采集单元采集到的相关数据文件做首次整理归档, 主要是为了方便数据移植和其他子系统的导入。在数据采集后需要将临时目录下的数据与文件资源进行归档, 并根据全文检索要求, 查找文档内容里的关键字, 创建索引。同时根据文档内容生成符合全文检索要求的相关数据。最后将整理归档好的数据移动到归档区, 方便数据转移。

4. 任务调度管理器 (任务池) 。

该模块处本系统核心, 所有采集作业 (任务) 都是有此模块调度、出发。同时还支持以下功能:查看正在进行中的任务、终止某个正在进行中的任务、按时间表启动某个任务、通知数据预处理单元工作。本模块还包含了数据核对确认功能, 未通过核对的数据不能进行数据预处理工作, 这部分数据将继续保留在临时工作目录下。

5. 手工补录。

补录采集数据提供的方式有在线填报指标数据和文件上传。在线填报指标数据形式在页面按指标填入需要补录的数据, 在线提交。文件上传方式可上传一个EXCEL报表, 系统将报表内数据解析装载。作为一个上报数据的一个其他解决方案, 用户还可以制定固定的模版, 用相同的模版来上报不同数据时间的数据。

6. 日志管理。

本模块提供系统的安全审计功能, 相关的管理操作都会形成日志记录在数据库中。

三、安全管理

(一) 应用系统安全

实现方法是通过部署防火墙和审计系统的方式来实现。防火墙保证网络边界安全, 实现了网络三/四层的访问控制, 避免由于涉密数据被非法窃听或者嗅探后所导致的泄密情况发生, 在数据链路传输层面保证了数据传输的安全。

(二) 数据安全

本系统数据部分具有敏感性, 对于业务数据的查询, 保存与转移要有高度的安全保障体系作为支撑。为了防止对系统数据的侦听、窃密、非法修改、冒名顶替、恶意破坏等, 需要采取必要的技术措施, 保证交换数据的机密性、完整性、可靠性、不可否认性。金融运行分析系统在数据安全保障体系中有如下方案:

(三) 校验数据载体的正确性

系统在处理数据载体是首先会校验这些载体的正确性, 包括文件名称, 文件格式, 数据时间等。在验证数据载体没有错误以后, 系统会校验数据的精度等。只有所有验证都通过, 数据才会进行入库操作。

(四) 数据备份

数据库定时备份防止数据因为意外情况而丢失。由于金融数据的重要性, 定时的数据库备份可以防止数据因意外情况丢失所带来的隐患。数据库备份分为脱机备份和联机备份两种。

四、小结

自动数据采集 篇5

利用VB程序设计对空气自动监测采样后的数据进行分析处理、查询统计和报表生成,使原来繁琐复杂的过程变得更加自动化、方便快捷,具有推广应用价值.

作 者：黄炳洲 李宏扬 HUANG Bing-zhou LI Hong-yang 作者单位：黄炳洲,HUANG Bing-zhou(厦门市环境监测中心站,厦门,361004)

李宏扬,LI Hong-yang(集美轻工业学校,厦门,361004)

自动数据采集 篇6

林丽华

有时我们需要在Excel中输入大量数据而不允许重复，例如身份证、电话号码等。能否让Excel对重复数据自动发出警告信息，及时提醒呢？

首先打开Excel 2003工作表，单击左上角的全选按钮，就是A1左上角的那个格式。

第1步 从“数据”菜单下选择“有效性”，从“允许”下拉列表框中选择“自定义”，然后在“公式”下面的文本框中手工输入“=COUNTIF($1:$65535,A1)=1”，这里的“$1:$65535”表示对全工作表范围进行重复检查。

如果你需要检查的只是某一特定的单元格范围，可以根据实际情况重新进行调整，但必须使用绝对方式。

第2步 切换到“出错警告”选项卡，这里已经自动勾选了“输入无效数据时显示出错警告”的复选框，接下来选择“样式”为“停止”，然后在右侧的“标题”和“错误信息”两个文本框中重新输入有关的内容，如图1所示，具体的警告信息可以自行设置。

(1)

好了，今后重复输入相关数据时，Excel 2003会自动弹出图对话框，可以选择“重试”或“取消”，前者是对现有数据进行检查校核，后者干脆重新输入，不用再担心出错了！

在Outlook 2007中快速指定约会时间

使用Outlook计划某一项任务和约会，有时需要延续时间为某一周期，你是否在心里进行繁琐的计算，然后再手工从“结束时间”的选项栏中，逐月逐日地定位结束时间（见图2）？既然电脑是智能的，我们就把运算交给Outlook吧。在“开始时间”和“结束时间”文本框中直接输入简明的字词就OK了。这里以Outlook 2007为例进行说明。

(2)

单击“新建”下拉菜单中的“约会”，如果需要设置延续时间为4周，可以在结束日期的选择栏上直接输入“4w”，这里的“w”表示“week（星期）”，回车，Outlook 2007将会自动计算出结束日期。如果延续时间是4天或4年，那么可以分别输入“4d”和“4y”。如果你觉得“4w”、“4d”这样的简明代码不太好记，可直接输入“4周”、“4天”。甚至还可以在起始时间分别输入“元旦”、“劳动节”、“国庆节”、“圣诞节”等，只要保证结束时间在开始时间后就可以了，准确、轻松又快捷，赶紧试试吧！

取消打印任务 瞬间搞定

江苏/引火虫

不知道朋友们是否有这样的体会，按下工具栏上的“打印”按钮，或在“打印”对话框中单击“确定”按钮，第一页纸张从打印机中流出之时，才猛然发现打印了一份不该打印的文档，而它竟然还是超长的……

此时此刻，你可能会立即取消打印任务，一阵手忙脚乱之后，往往还需等待一些时间，惠普LaserJet 6L等打印机甚至需要重新启动系统才能完成取消打印任务的工作。如果第二天开机再次执行打印任务，打印出来的却是前一天尚未取消的打印文档，想必一天的好心情也没有了。

(3)

自动数据采集 篇7

数据采集就是利用Lab VIEW驱动程序对数据采集卡的参数和工作方式进行正确设置并使其按设置工作。数据采集卡进行数据采集并将实际采集的数据先用Lab VIEW自带的数组或者波形函数来代替。数据处理软件设计包括滤波、数据存储与读取、波形显示与处理( 如傅立叶变换及谱密度计算等) 。确定数据采集卡后,将采集卡的驱动光盘放入计算机并按其指示进行安装,正确设置驱动所要用的VI输入/输出参数,编写程序即可[3,4]实现数据采集。

1 NI-RIO 配置1

为设计采集及读取等程序,首先需要对NIRIO进行配置,实现上位机与设备的通信; 然后通过设计上位机项目实现数据的采集及读取等功能。将采集、读取程序载入设备FPGA中,实现程序的自启动。将NI可编程控制器的第一个网络端口接到上位机,插入插入式采集卡,上电初始化设备,打开NI-MAX设备配置( 图1) 。

由于已连接设备,上位机已安装设备驱动,因此点击NI-MAX远程系统即可扫描出已连接设备,即NI机箱与控制器,在此远程系统界面上可以看到设备的基本信息与基本参数。对其网络进行设置,设置其IP地址,使采集器地址与上位机网络地址在同一个网段。系统原为英文版,笔者设计的程序为中文版,这样会造成程序运行错误,因此需要对软件进行汉化。同时由于设备出厂时间和当前时间不符,在存储时,采集到的数据时间默认为控制器时间,因此需要进行时间配置,但要注意,在时间设置一栏修改时间并不能保证修改正确,因此进行时间设置时需要在系统信息处查看。当时间没有修改正确时,在时间设置一栏修改的时间为上位机时间,但是在系统信息里却是机器时间,出现时间不对应的情况,因此需要再次修改。

2 系统整体框架

一个完整的Lab VIEW程序主要包括前面板、程序框图和图标与连接器窗格。前面板是一种交互式图形化用户界面,用于设置数据输入和观察数据输出; 程序框图是定义VI功能的图形化源代码,根据所需功能利用图形语言对前面板的控制量和指示量进行控制; 图标和连接器窗格用于把程序定义成一个子程序,当需要调用子程序时只需用事件结构或者真假结构就能实现在其他程序中的调用。

信号采集与分析系统框图如图2所示,系统包括信号采集、信号处理分析及保存数据等部分。采用硬盘存储实现数据的热备份,防止数据的丢失[5,6]。

3 软件设计

在机箱里需要配置两个基本程序: 一是设计FPGA工作模式的采集程序target( 图3 ) ,该程序保证了采集系统的高速性和数据的高精度; 二是在RT端设计读取程序host,将数据从采集程序中取出。不同的采集卡设置采样率的方式不同,本设计中采用了4块两种不同的采集卡,两种采集卡分别根据Data Rate端口和计数器端口Count设置所需采样率( 低速2kbit,高速25kbit)[7,8]。

由于设计中采用了两种采集卡,因此需要两种设置方式配合进行变速处理,变速回传程序如图4所示。但是系统在条件结构下无法将变速设定值直接传入变速函数中,并且由于变速函数默认只有一个变速端口名( 由target中的速率设定名而定) ,因此本系统采用局部变量,变速局部变量如图5所示。创建速率显示控件,然后将显示的速率采用局部变量分别上传到变速函数中,间接地控制底层target程序中的速率输入函数调整速率。索引数组索引采集卡的第16端口,当采集到的数据大于10时,输出为真; 系统出现故障或者突发情况时,速率进行变换,采用25kbit速率。假结构与此同理,当需要其他速率时只需要修改内部速率值,通过显示控件的局部变量回传到速率输入函数中,即可改变采集速率[9]。

硬盘剩余空间显示如图6所示。16路数据量较大,采用720Gbit硬盘; 存储时间较长,磁盘满时为一个月左右。硬盘在使用中无法判断其存储空间是否已满,由于更换硬盘不便,为防止数据丢失,因此通过获取卷信息函数来获取硬盘的剩余空间。通过全局变量上传到监控上位机剩余空间显示控件,当超过限定值时,即更换硬盘,防止数据丢失。

4 存储系统

硬盘存储系统( 图7) 分为两部分: 一部分数据存储在上位监控系统的SQL Server数据库中,通过数据库ADO写入控件将采集到的16路数据写入数据库; 另一部分为硬盘热备,为了防止上位机出现故障而丢失数据。系统为二进制TDMS设计,将一路时间16路数据写入文件。在host端程序采用队列将数据传递到存储系统中,采样速率不同,存储的方式也不同: 以2kbit速率采集时,存储1kbit数据;25kbit速率采集时,每路存储25kbit数据。

5 方案验证

软件在采集到第16路数据时超过设定值,系统进行自动变速采集和变速存储。硬盘数据如图8所示,为变速存储的TDMS文件,打开为Excel文本,其中107ms时存储25kbit数据,在152ms时为2kbit数据。由于速率转换过程和软件运行期间都存在固定的系统时间,因此会出现时间偏差,但45ms的偏差在可接受范围之内,并且通过观察硬盘数据,在速率稳定运行期间数据都可靠地存储到硬盘中,实现了变速率存储的要求,数据准确且精度较高。使用获取卷信息函数与全局变量的方法解决了硬盘剩余空间观察不便的问题,使软件使用更加方便,保证了硬盘的可靠存储。

6 结束语

自动变速率数据采集系统根据采集到的数据判断采用何种采集速率,采用局部变量传递采集速率实现了自动变速率采集,速率转换过程和软件运行期间存在固定的系统时间,因此会出现时间偏差,时间偏差相对整个系统运行时间来说在可接受范围之内。硬盘存储空间较大,无法判断长时间运行情况下硬盘空间是否已满,采用获取卷信息函数的方法来获取硬盘剩余空间,以便及时更换硬盘,实现了数据的可靠存储。

摘要：针对不同情况下采集系统对数据采集有自动变速的要求,设计了一种基于Lab VIEW的自动变速采集系统,实现了数据的变速采集和变速硬盘存储。经验证,该方案工作稳定,满足工程需要。

自动气象站数据采集器的设计 篇8

关键词：自动气象站,数据采集器,CPU,数据处理

尽管我国自动气象站数目已达到3万多个, 但在很多无人区仍很少有气象站。随着气象业务需求的提高, 气象站的密度也要不断提高, 特别是对于偏远地区和恶劣环境下, 气象站的长时间工作就是一个亟需解决的问题[1]。

自动气象站的核心是数据采集器, 数据采集器包括数据采集、数据运算、数据质量控制以及数据传输。国内在低功耗方面的研究工作主要集中在数据传输和低功耗芯片的选择上[2]。本文从业务需要角度出发, 设计出一款低功耗的自动气象站数据采集器。该采集器中将数据处理和数据采集任务分离, 由两个CPU分别完成数据采集和数据处理任务。利用MSP430F5438作为气象要素采集芯片 (分采集器) , AT91RM9200作为数据处理芯片 (主采集器) 。在进行基本气象要素采集时, 主采集器进入低功耗睡眠模式, 根据气象要素采集规范, 在每分钟内, 分采集器将采集到的数据保存在存储器中, 此时, 主采集器退出低功耗睡眠模式, 读取分采集存储器中的气象数据。在系统的每分钟内, 绝大部分时间主采集器处于深度休眠状态, 从而达到降低装置平均功耗的目的。

该款低功耗自动气象站的数据采集器可应用于偏远地区自动气象站, 具有较好的市场前景。

1 系统总体设计

自动气象站数据采集器主要由AT91RM9200主采集器模块、基本气象要素的数据采集模块以及软件部分组成, 实现数据采集、处理、存储和传输的功能[3]。数据的采集主要通过MSP430F5438 (分采集器) 来完成, 分采集器主要按照国家气象局标准的采样频率对各个气象要素进行采集和存储, 在每分钟采集完之后, 分采集器将1 min内采集的数据通过SPI接口发送给以AT91RM9200为核心的主采集器, 主采集器模块按气象数据处理规范对接收的数据进行处理后存储在Flash中, 以便数据的实时传输和显示。软件部分以Linux嵌入式操作系统为软件平台, 与终端微机或远程数据中心进行交互以协同完成自动气象站数据采集的功能。采集器的系统组成如图1所示。

2 硬件设计

2.1 主采集器

主采集器是整个自动气象站的心脏, 由嵌入式硬件和软件组成。

主采集器采用Atmel公司的AT91RM9200作为系统的CPU, AT91RM9200内含MMU虚拟内存管理单元、16 KB SRAM和128 KB ROM、1个主/从SPI (串行设备接口) 等[4,5]。AT91RM9200负责整个系统内部各模块之间的协调工作, 整个主采集器结构框图如图2所示。

在整个自动气象站数据采集器系统中, 主采集器主要完成两大功能: (1) 读取基本气象要素分采集器采集的数据, 对分采集器读取的数据进行控制运算、数据计算处理、数据质量控制、数据记录存储, 实现数据通信和传输, 并与终端微机或远程数据中心进行交互; (2) 担当管理者角色, 对构成自动气象站的所有分采集器进行管理, 包括网络管理、运行管理、配置管理、时钟管理等以协同完成自动气象站的功能[3]。

2.2 分采集器设计

分采集器系统包括MSP430F5438芯片、组成该最小系统的外围电路、基本气象要素传感器以及信号调理电路。基本气象要素数据分采集器采用SPI总线通信方式与主采集器进行数据连接。

2.2.1 MSP430芯片选型

TI公司54系列最新的型号MSP430F5438有很好的低功耗处理能力。它是一款16位RSIC结构的MCU, 其最高主频为25 MHz, 内含256 KB的Flash、16 KB的RAM、87个I/O、4个串口通信接口、12 bit A/D转换器、SPI通信接口等资源。相比传统的STC、AVR、PIC、MSP430单片机, 它的资源更加丰富, 在超低功耗工作模式下, 其使用时间能达到几年以上[6,7]。正是由于上述资源的优越性, 本自动气象站分采集器中的MCU主要采用MSP430-F5438单片机。

2.2.2 基本气象要素采集模块

自动气象站的基本气象数据采集包括温度、湿度、风速、风向、雨量和气压。温湿度测量采用Visala公司的HMP155D传感器, 其输出的模拟量经过四线制差分放大电路之后由模/数转换器转换为单片机可处理数字信号。风速和雨量传感器分别是EL15-1C型和FDY-02翻斗型, 对应输出的是脉冲信号, 风速的频率与风速成正比, 通过单位时间内计数器的值即可完成风速测量;翻斗雨量传感器翻转频率与雨量成正比, 通过单位时间内 (雨量计翻转的次数) 计数器的值来完成雨量的测量。EL15-2C杯式风向传感器输出为7 bit格雷码, 通过程序计算得到相应的风向。DYC1数字式气压传感器的输出是通过RS232传输, 因此在气压传感器与单片机之间需要有RS232接口电路。采用SPI来实现与AT91RM9200之间的通信。基本气象要素数据采集的结构图如图3所示。

2.2.3 SPI接口电路

本系统为主采集器与分采集器之间的通信预留了很多接口, 在基本气象要素的分采集器中采用了两个SPI接口与主采集器之间进行数据通信, 其中一个外接A/D转换器, 另一个直接与数字量传感器相连。

SPI (串行外设接口) 共由3~4条信号线组成, 包括串行时钟 (SCLK) 、串行数据输出 (SDO) 、串行数据输入 (SDI) 。SPI通信的信号格式无需起始和停止信号同步。分采集器直接将要传送的数据写入到主机的数据寄存器中。在写入主机的过程中自动启动主机发送, 在同步信号SCLK的作用下把串行数据输出中的内容一位一位地移到引脚数据接收端 (SDI) 。可以看出, 用户编程只需在发送数据时写数据到SPI发送数据寄存器;在接收数据时读SPI接收数据寄存器。其余工作都由SPI内部自带的模块完成[8]。本系统中MSP430F5438采用四线制的两路SPI与AT91RM9200的SPI接口进行分时复用通信, 其相应的接口电路设计图如图4所示。

2.3 自动气象站的功耗分析

当前, 制约着自动气象站广泛发展的不是速度和工艺, 而是设备的功耗。在设计自动气象站数据采集器时, 应尽量降低自动气象站的整体功耗。

自动气象站数据采集器的功耗主要包括主采集器功耗、分采集器功耗以及智能传感器的功耗。而在这些功耗中, 主分采集器的功耗起着主导作用。分析主分采集器的功耗问题, 对降低系统的整体功耗非常重要。主分采集器的功耗又包括系统的软硬件功耗。虽然功耗最终是由硬件系统产生的, 但是影响功耗的因素并不只是硬件。硬件依赖于运行于其上的软件来实现其处理信息的功能, 软件本身不会产生功耗, 但是软件的数据存取和指令执行都会使硬件产生功耗。因此要降低功耗, 必须从嵌入式硬件和软件两方面着手考虑如何进行功耗优化。

从硬件来考虑, 硬件的功耗主要分为动态功耗和静态功耗。动态功耗是由硬件的负载电容充放电造成的, 静态功耗则是由漏电流造成的[9]。可以用式 (1) 表示:

其中:C为系统负载所代表的电容, N为电路每拍的信号翻转次数, V为系统的输入电压, f为时钟频率, Ileak为漏电流。由式 (1) 可知, 通过降低电压和频率可以降低系统的功耗。

3 实验与结果

自动气象站把数据采集和数据处理分开, 使用超低功耗的MSP430F5438进行采集, ARM9每隔1 min会进行一次系统唤醒。在休眠期间, 分采集器采集的数据将被存储于主采集器的存储器中, 之后主采集器进行数据处理。系统每分钟内只有6 s处于工作状态, 其余时间均在休眠状态。实际系统的功耗单位是以电流为标准, 通过量取系统总的平均电流来比较自动气象站的功耗大小。设计完成后, 系统通过多次测量静态功耗 (传感器未工作) 和动态功耗 (传感器正常工作) 并取平均值, 然后把所得结果与市场上主流的ZQZ_CⅡ型、CAWS600型和DYYZ-Ⅱ自动气象站作比较, 最终可以得到系统的测试结果, 如表1所示。

本文主要研究了自动气象站的数据采集和功耗问题, 设计了新一代自动气象站数据采集系统。经过初步测试, 将系统的基本6项气象要素传感器全部打开工作, 系统功耗较传统的自动气象站得到了极大的改善, 使得自动气象站不再受市电供电的束缚, 即使在偏远地区也能保证15天以上连续运行, 具有良好的市场应用前景。另外, 本数据采集器的静态功耗偏高, 对于睡眠模式的软件编程还需进一步优化, 使之能够更好地满足系统长时间工作的要求。

参考文献

[1]孟昭回, 李庆军.自动气象站综述[J].气象水文海洋仪器, 2009 (4) :54-59.

[2]叶小岭, 杨大红, 周金兰.基于CAN总线的自动气象观测系统设计[J].自动化与仪表, 2009, 24 (9) :19-21.

[3]中国气象局.地面气象观测规范[M].北京:气象出版社, 2003.

[4]刘洋, 王海滨, 赵红, 等.基于ARM9和CPLD的四导心音采集显示系统的设计[J].电子技术应用, 2013, 39 (12) :18-24.

[5]郑诚, 余珊南, 祝永华, 等.一种基于ARM的便携式心率检测仪的设计[J].微型机与应用, 2014, 33 (5) :27-29.

[6]杨乐, 高超.基于彩信的远程控制宠物茏系统的研制[J].信息技术, 2012 (10) :40-42.

[7]齐怀琴, 张松, 王晗.基于MSP430F5438的超低功耗森林火灾预警系统设计[J].测控技术, 2013, 32 (1) :28-32.

[8]张玮, 刘宇, 薛志远, 等.基于SPI总线的DSP与音频编解码芯片的接口设计[J].电子技术应用, 2013, 39 (6) :31-33.

自动数据采集 篇9

1 实时数据介绍及软件解决问题

目前，台站主要使用的业务软件包括：自动气象站监控软件(SAWSS)、地面测报业务软件(OSSMO)、组网通讯软件(CNIS)。SAWSS实现自动站原始数据的采集;OSSMO实现对定时数据进行再加工，形成各类报文等;CNIS实现自动站数据文件的上传。本文处理的实时数据文件是由SAWSS生成的实时地面气象要素数据文件ZZ.TXT，简称ZZ文件。ZZ文件为随机文件，存入54个气象要素的每分钟瞬时值，以ASCII字符存入在单个文件中[2]。

在实际工作当中，由于硬件或软件等方面还不够成熟，有时会出现数据缺失或异常的情况，需要人工频繁的对数据进行监控，这样往往不能第一时间发现问题，从而延误了人工处理的时间，影响了资料的完整性。鉴于此原因，研究开发了自动气象站实时数据自动监控报警软件，它能自动监控实时地面气象要素数据文件，在出现数据质量问题后它能发出报警，第一时间提醒工作人员注意排查原因，以确保数据完整性。该软件从2011年9月份试用以来，在我局应用效果较好，主界面见图1。

2 设计方法及原理

软件采用Delphi7.0语言编程，自动执行数据实时监控、报警和记录日志。软件每间隔一定的时间自动扫描AwsNet文件夹，复制实时地面气象要素数据文件到指定的文件夹下，并在软件的数据显示界面上自动显示详细的实时数据(图2)，使工作人员一目了然。

当发现实时地面气象要素数据文件有缺测项目时，数据显示界面上对应的数据框会变成红色，同时软件也会自动音频报警提示。

3 主要功能

3.1 实时数据显示

通过主界面“数据显示”菜单，软件按照设定的扫描间隔显示每分钟实时地面气象要素数据，如果数据有缺失，对应数据显示框会变成红色(图2)。

3.2 报警功能

如图3中的“报警设置”，对报警音乐进行选择，软件可实现在实时地面气象要素数据缺失或者整个实时文件不更新等多种故障时自动播放音频文件进行报警。

3.3 日志功能

程序启动、关闭，软件开始、暂停扫描，软件发现数据异常等详细信息，软件都会保存成日志文件(图4)，并通过主界面“日志”菜单显示。

3.4 方便快捷对参数进行设置

通过主界面下“系统设置”菜单，可以对参数文件进行设置，通过设置参数文件对扫描时间路径等对应项目的更改，非常方便的实现各项功能的后台管理(图3)。

3.5 具有推广使用的价值

通过对参数文件进行台站号等相应项目的修改，还可以方便的实现对其他各局的自动气象站实时数据进行自动监控报警，有一定的推广价值[3]。

4 结束语

本软件操作简单，自本单位试用以来，运行情况良好，很好的解决了目前业务中及时发现自动站数据缺失的问题。另外，本软件移植性性高，可通过参数修改实现对其他各局的自动气象站实时数据进行自动监控报警，有一定的推广价值。

参考文献

[1]杜向波,龙振熙,张良勇,等.实时气象数据自动监控传输程序设计[J].农业网络信息,2011(6):37-38.

[2]中国气象局.地面气象观测数据文件和记录表薄格式[M].北京:气象出版社,2005.

自动数据采集 篇10

关键词：电网调度自动化系统,数据采集,安全监控

电网系统调度控制的基本任务在于保证系统的安全运行, 以质量合格的电能满足用户用电的需要, 并使发电成本为最低。传统的电网系统调度控制中心需要采集和处理的数据数量多, 实时性差, 已无法满足要求。特别是在事故情况下, 丧失时机可能就会造成极大的危害。科学技术的发展为调度自动化提供了有力的支持, 使用电子计算机对电网系统进行监视和控制实现电网调度自动化系统, 调度自动化系统收集、处理电网运行实时信息, 通过人机联系系统把电网运行状况集中而有选择的显示出来进行监控。运行人员可借此统观全局, 集中全力指挥全网安全、经济和优质运行。

1 电网调度自动化系统设计

电网调度自动化系统目标在于提高电网安全运行水平, 提高故障恢复能力、切实减少损失。调度自动化系统应使其具有数据采集和监视、控制 (SCADA) 的功能, 但在具体实施过程中应根据调度职责范围、调度自动化现状、基础设备自动化条件, 按照由低至高的、由易到难的原则恰当确定总体功能。

系统实现基于用户的要求构造满意的人机界面, 常用的构造人机界面的美工工具都具有动画属性, 包括“颜色、大小、位置、文本、角度、闪烁、隐藏”等属性, 这些属性可以简单地与以监控变量或内存变量为参数的表达式连接, 系统提供高效的画面刷新机制, 保证图形元素属性随变量表达式属性的变化而变化;系统提供独立功能的控件用于显示系统的报警信息, 曲线棒图等, 这些控件也可以以某种单位与监控点变量或表达式及其历史数据库连接, 完成有关的查询和显示功能。系统的基本图形元素、控件等还可形成满意的人机界面, 达到对RTU、智能仪表、板卡以及程序流程等的控制, 可以达到采用通用语言编程的效果和满意程度。

2 电能质量数据集成与分析系统体系结构

电能质量数据集成与分析系统由电能质量数据监测、电能质量数据采集转换、电能质量数据分析3个部分组成, 采用分层方式实现对电网电能质量的分析和管理。监测设备一般安装在现场, 实现变电网系统电能质量的实时数据采集和数据存储;电能质量数据采集和转换模块负责数据读取转换工作, 将采集的PQDIF格式数据解析后存储到SQL Server数据库中;电能质量数据分析模块由电能质量数据分析与计算部件、电能质量分析数据库、应用服务器以及Web服务器组成, 负责电能质量综合指标的分析计算工作。

从监测设备上读取的数据以PQDIF文件格式保存, 为了后续的分析和计算, 需要解析PQDIF文件, 将数据保存到数据库中。PQDIF (Power Quality Data Interchange Format) 是一种标准的电能质量数据交换格式, 它的出现解决了不同的电能质量文件格式之间数据应该如何存储交换的问题。PQDIF文件分两层:物理层和逻辑层。物理层描述文件的物理结构, 与实际存储的内容无关, 通过唯一性标识符来区分文件的特定元素;逻辑层使用物理层定义好的结构, 利用特定标记在文件中建立元素, 分层分级描述所要记录的事件。

PQDIF的物理结构PQDIF文件由一系列具有链接关系的记录组成, 每个记录都包含记录头和记录体两部分。记录的链接关系存储在记录头中。可以通过修改记录链接方便地改变记录结构, 如插入新记录或删除旧记录, 而不必重写整个文件。具体的数据是存放到记录体中的每个记录头都用一个全球唯一的标记符 (GUID) 来标识, 它是全局变量。记录头还包括用标签 (Tag) 来标识的记录类型 (容器记录、监测设置记录、数据源记录等) 、记录头的大小、记录体的大小以及指向下一个记录的链接。通过电能质量数据集成与分析系统, 可对区域电网从不同侧面了解和预知电压和电流质量以及系统整体运行的质量状况, 可对电能质量可能造成的危害、影响程度和影响范围做出判断, 从而为电网公司对电能质量的治理提供科学的决策依据, 并为解决相关的电能质量纠纷提供重要依据。

3 电网调度自动化系统安全监控功能分析

电网系统综合自动化技术以计算机技术为基础, 以数据通信为手段, 以信息共享为目标。它可以实现如下功能:电度采集、保护和重合闸、四遥、五防、故障录波, 同时可以实现专家系统。现在应用较广泛的是分层分布式综合自动化系统。它是以新型的面向间隔的设计代替传统的面向功能的设计, 其对电网调度的安全控制体现在如下几点:a.建立实时数据库:以MSEXCEL为界面和VB为内核, 实现操作票计算机数据生成和数据存储功能。调度员可利用该库提供的权限和存档操作票调用功能, 在已有操作票基础上进行修改和组合, 进而生成所需操作票, 并利用计算机打印, 避免了手工写票的诸多不便和人为错误而威胁电网调度安全运行。b.数据共享:将数据采集装置 (IED) 安装在开关设备上或离开关设备较近的地方, 再通过专用的通讯网相连, 实现数据共享。并将数据传输至监控机和工程师站, 在整个变电网系统的层次上实现数据共享。这样大大减少了控制信号屏及二次系统的设置, 系统的实时性、可靠性高, 灵活性好, 可以在很大程度上提高自动化水平和管理水平, 实现实时安全控制。

调度人员一旦发生误下令、误调整等误操作, 后果往往更为严重, 会造成电网系统大面积停电和不良社会影响。因此, 在控制电网调度安全运行工作中, 除进一步加强和完善现场, 防止误操作的措施和制度外, 更应重视预防调度员的责任感。主要从以下几个方面采取控制措施:a.运行值班的质量:合理安排值班力量, 明确值内分工, 及时沟通, 加强监护。同时在值班时做好历史数据的收集与归档, 建立详实、完整的设备台帐。同时要对电网运行方式、电网主设备的运行状况和当值检修工作, 做到心中有数, 并针对当时天气和运行方式, 提前做好事故预案。b.严格执行调度规程, 杜绝习惯性违章:调度员在受理工作票时, 必须严格把关, 对工作票所列任务、安全措施及要求逐项审核, 不合格的工作票必须重新办理;认真填写和审查调度指令票。仔细核对设备编号、停电范围以及相关措施的落实情况, 严格执行工作票“三审”制度, 由操作人填写操作票, 进行初审并签名, 再由监护人审核并签名, 最后并经调度值长复审后并签名方可执行。同时, 可加大考核力度, 建立相应制度, 真正提高工作票、调度指令票的合格率。c.下达倒闸操作命令时, 必须使用调度术语:调度员发布命令时, 必须互报单位、姓名, 使用统一规范的调度用语, 严格执行发令、复诵、录音记录和汇报等制度, 下令时, 思想集中, 声音清晰, 确保由调度下达的指令正确无误。

4 结论

对电网调度自动化系统性能、可靠性的提升, 提出了相关针对性措施, 有助于切实提高电网安全运行水平, 提高处理事故能力, 减少停电损失, 具有较强的实际应用参考价值。

参考文献

[1]魏新晨, 聂清潭.电网调度自动化系统方案设计研究[J].科技成果纵横.2005, (12) .

[2]刘建国.电网市场发展中的电网调度自动化系统[J].科技创新导报, 2008, (12) .

[3]司徒友.电网系统调度运行存在的问题与解决方法探讨[J].广东科技, 2009, (22) .

[4]邢大鹏.电网调度安全性评价管理系统的设计和研究[D].成都:西华大学, 2008.

自动数据采集 篇11

最近我的电脑不知道为什么总是时不时的在右下方的任务栏里弹出一个“Windows帮助和支持”窗口，提示数据执行保护（DEP）检测到有害的程序可能试图攻击Windows（如图）。但是我换了几个杀毒软件都没在系统中发现任何问题，请问该怎么让这个提示窗口不再显示？

数据执行保护（DEP）是一种系统自带的防病毒服务，不过当某些第三方程序试图将自己写入到系统关键进程时（如支付宝、网银等安全输入组件），会造成它的误报。用户可以同时按下“开始键+R”快捷键，并在弹出的“运行”窗口中输入“bcdedit.exe/set {current} nx AlwaysOff”关闭这一功能。

插上U盘后提示文件夹不存在

不久前我给自己的U盘安装了一个PE系统，但从此以后这台电脑插任何USB设备总是会弹出一个“文件夹M：不存在”的错误窗口，虽然不影响正常使用，但总弹出这个窗口太讨厌了，请问怎么让它消失？

这可能是你的系统开启了USB设备的自动播放功能引起的，在“运行”窗口中输入“gpedit.msc”进入本地安全策略组，并依次选择“计算机配置/管理模板/系统”，再从右侧窗口中找到“关闭自动播放”项后，选择“启用”即可。

用户库内文件夹变成英文

我使用了一款Windows 7资料转移的小工具移动了用户“库”里的文件夹后，发现“库”里面原本如“我的文档”、“下载”等中文目录变成了“Documents”、“Download”这样的英语文件夹，请问该怎么让它变回中文呢？

Windows 7“库”内的文件夹显示名同它实际路径中的文件名并不是一致的，用户只需在“库”中右击相应的文件夹，并选择“属性”，即可在弹出窗口的“常规”项中自行修改显示名了。

使用IE下载文件名后出现[1]字符

我使用IE浏览器在下载文件时一直有一个奇怪的问题，某些文件在下载完成后文件名的后面会自动多出一个[1]字符，开始以为我下载了2次同样的文件，但仔细检查后并没有这类问题，这是怎么回事？

当用户IE下载一个存在多个“.”的文件名时（如setup.exe.zip），在解析URL的过程中会自动在这个圆点前添加一个[1]，变成setup[1].exe.zip，用户如果不想让这个[1]字符出现，只需在下载提示时将文件名中的“.”删掉即可。

运行计算机管理提示IE版本过低

我在“我的电脑”中右键选择“管理”时，会得到一个“MMC无法在比Internet Explorer 5.5以前的Internet Explorer 版本上运行”，接着就自动关闭了，但我已经是IE8的浏览器了，请问这是什么原因？

这可能是由于储存在注册表中的IE版本信息出错导致的，在运行中输入“REGEDIT”进入注册表界面，并依次打开“HKEY_LOCAL_MACHINESOFTWAREMicrosoftInternet Explorer”键值，接下来双击右侧“Version”字符串，并将其数值改为“8.0.6001.18702”即可。

使用无线USB网卡提示“RPC服务不可用”

最近我买了一个无线的USB网卡，已经按说明安好驱动，并且准备将它变成WiFi热点了，但是我用手机连接这个WiFi时总是在“获取IP地址”处自动断开，而且桥接本地连接时出现“RPC服务器不可用”，这是怎么回事？

网站新闻自动采集系统设计 篇12

厦门广电集团网站作为地方性综合网站,建立了站内新闻频道,除每天及时通过内部稿件系统收集整理、再编辑、发布电视新闻栏目中播出过的地方新闻外,还每天在线发布“国际”、“国内”、“体育”、“娱乐”、“财经”、“科技”和“台湾”等七大类约100条左右的其它新闻文字稿,新闻来源主要是通过上网收集其它国内权威新闻网站的内容,如新华网、中国新闻网等。这类网站的新闻真实性有保证,具有一定的权威性,同时舆论导向相对规范[1]。建站初期,每天安排两名编辑通过上网浏览的方式,选择合适的新闻,通过拷贝、粘贴到“厦视”网站的后台发布平台进行发布。根据测算,通过手工方式每天发布100条左右的新闻,大约需要2-3个小时左右,实践证明,这种手工方式太费时费力,决定设计一套简便易行的网站新闻自动采集系统[2]。

通过对国内一些大型新闻网站的观察,发觉这类新闻网站大多会根据新闻类别和发布日期建立各类新闻的新闻目录页面,例如从http://www.chinanews.com.cn/china.shtml页面可以获取“中国新闻网”当天发布的最新60条国内新闻的目录及其链接网址,从http://www.chinanews.com.cn/scroll-news/gn/2009/1013/news.shtml页面可以获取“中新网”2009年10月13日发布的全部国内新闻目录及其链接网址,从http://www.chinanews.com.cn/scroll-news/ty/2009/1013/news.shtml这个页面可以获得“新浪网――体育频道”2009年10月13日发布的全部体育新闻目录及其链接网址。不同类型的网站可以根据需要寻找不同的网站新闻源作为自己网站新闻的采集源[3]。

厦门广电集团网站采用ASP编程[4],ASP本身不具备远程采集功能,但ASP各种功能组件繁多,其中一款名为ASPHTTP[5]的组件能够使你能够使用http协议GET/POST/HEAD文档,可以通过其远程读取其它网站页面的能力[6],在该组件基础上进行再次开发,实现网站新闻的远程批量采集。ASPHTTP组件可在:http://www.serverobjects.com/comp/asphttp3.zip下载[7]。以下简要说明设计思路。

首先,观察获得的中国新闻网七类新闻的目录页地址,并将这些页面采集到本地计算机中[8]。

第二步,对采集到的目录页进行代码分析,将新闻列表中包含的新闻标题和它们的具体链接地址整理出来,生成供编辑选择的新闻列表表单,由网站编辑根据需要挑选新闻。对挑选出来的新闻条目,程序自动逐条采集网页文本到服务器,再次通过代码分析出采集下来的每条新闻的标题、来源、正文等文字内容,并自动记录到数据库形成一条条的新闻记录[9]。

该文具体实现代码包括三段ASP代码,三段代码的作用分别是:

代码1的作用是提交需要采集的新闻目录页地址。

代码2的作用有两个,一是远程读取新闻目录页面,并采集到本地计算机;二是对采集下来的页面进行分析,得到新闻列表中的新闻标题及其每条新闻的远程网址,等待编辑人员的选择。

代码3的作用是在获得多条新闻的网址后,逐一将这些新闻页面采集到本地计算机,再一一分析,得出每条新闻的标题、正文等字段,最后记录到服务器数据库中。

具体代码请见(http://www.xmg.com.cn/code.rar)。

2 结束语

通过采用这种思路和方式编写的网站新闻采集系统,在实际应用中,厦门广电集团网站每天外采新闻的发布工作,可以减少到由一名编辑在15分钟内完成,大大提供了工作效率。以上方法和代码中可能还有许多缺陷,还请读者指正。期待有更多更好的设计思路可以用来解决网站新闻自动采集的问题,仅以该文抛砖引玉。

参考文献

[1]吴定明,赵东岩.一种互联网新闻网页的采集分析方法[J].计算机工程与应用,2007(36):169-172.

[2]马志强,赵汐,贾鹏.基于网页的站内信息采集技术的研究与实现[J].内蒙古大学学报:自然科学版,2009(2):203-207.

[3]王煜.面向主题的网页采集系统的设计与研究[J].计算机与数字工程,2008(4):78-80,93.

[4]Baidu百科.ASP百度百科[EB/OL].[2009-10-13].http://baike.baidu.com/view/117978.htm.

[5]netidea.AspHTTP的组件的获取使用[EB/OL].[2006-11-08].http://hi.baidu.com/netidea/blog/item/4f7cc2c82b1782177e3e6f2c.html.

[6]张秀虎.浅析新闻采集程序的技术核心[J].中国教育信息化,2007(4):55-58.

[7]郭少友.元搜索引擎的原理与设计[J].情报科学,2005(2):245-248.

[8]杨海霞,张永奎.网络新闻数据可视化采集系统的设计及应用[J].山西科技,2006(5):34-35.