数据采集控制器（精选12篇）
数据采集控制器 篇1
1引言
工业控制系统中的实时数据库对流程工业生产现场信息的采集、装置监控以及历史数据管理等功能,己成为控制系统中的重要组成部分。由于控制系统需要长期运行,其保存的历史数据量非常大,实时数据库对于历史数据的存储容量成为实时数据库性能的一个重要指标。然而,由于常见的商业数据库,如Oracle、SQL Server和DB2等,这些数据库并非专为实时数据而设计的,其并发性、吞吐性满足不了现场的实时性要求,不适用处理不断更新快速变化的数据及具有时间限制的事务,经测试关系型数据库通常每秒存储约千余条记录,这严重影响了数据的实时性。基于此,采用了基于COM中间件技术,利用面向对象语言C++开发了数据控制器,利用数据控制器提供的数据缓冲池,不仅可以将瞬态实时数据实时地显示,而且提供的应用程序接口,如API(Application Programming Interface)显示历史数据(如趋势图),可以很好实现对实时数据有效地管理,满足实时系统的要求。
2实时数据库存储数据的两种方法
目前,主流实时数据库就存储方式而言,通常分为两种,一是采用独立的文件I/O管理,如OSI公司的PI;另一种是采用嵌入式关系型数据库,如Wonderware公司的IndustrialSQL(InSQL)。由于大多数的连续生产型企业中已成熟地的部署了关系型数据库,同时,这些数据库提供完善的管理工具,编程人员可以很方便的定义实时数据以及能利用SQL语言进行访问和存储,很容易实现对实时数据的修改和查询,因此,在满足企业生产现场要求的前提下,宜充分发挥、利用现有的资源。
3数据控制器的设计
3.1中间件的定义
中间件是介于应用系统和系统软件之间的一类软件。它使用系统软件所提供的基础服务,衔接网络上应用系统和各个部分或不同的应用,能够达到资源共享和功能共享的目的。中间件抽象了典型的应用模式,应用软件制造者可以基于标准的形式进行开发,利用现有的软件构件装配适用于不同领域、功能各异的应用软件。在具体实现上,中间件是一个用应用程序接口定义的分布式软件管理框架,具有强大的通信能力和良好的可扩展性。
3.2中间件分类
中间件具有易集成、易移植、易演进、高可靠和易使用的优点。目前主流的中间件技术主要有微软公司的COM/COM+/DCOM,对象管理组织(Object Management Group,OMG)的CORBA,和Sun公司的J2EE技术。
按照IDC的分类方法,中间件可分为6类。分别是:终端仿真/屏幕转换;数据访问中间件;远程过程调用中间件;消息中间件;交易中间件;对象中间件等。
本文是基于数据访问中间件和交易中间件的思想,采用COM技术实现数据控制器。
3.3数据控制器的设计
数据控制器依据现场的具体情况可采用灵活的数据存储管理方式,如文件方式,基于数据库方式,本文将着重讨论数据库方式。
商品化的实时数据库通常以时间做为实时数据(历史数据)的主要识别标志,即时标,然而在大多数情况下,实时数据源,如电厂的DCS系统,在提供实时数据时,通常采用UDP广播方式,即将多个实时数据以特定的格式组织起来,形成一个(或多个)大的数据包,用户通过拆分数据包以得到目标数据,由于UDP协议包(帧)大小的限制(通常小于1K字节),经现场实测,发送5000点的实时数据需要2-3秒(同时受网络环境制约),因此DCS发送数据的时间与最终实时数据库的记录时标必然不符,显然,时标在这种情况下意义已经不是很大。
数据控制器根据这种情况,在组织实时数据时,采用二次拼接的方法,即将目标数据拆分后,再全部重新组织起来,形成新的数据包统一进行存储管理,因此,数据控制器的时标是针对某一时间的全部实时数据,而不是独立的单个实时数据,因而在某种程度上讲,它比较真实的反映了时间与实时数据之间的同步。
数据控制器需安装于WinNT操作系统下,它只提供异种操作系统的数据访问功能。
数据控制器的工作原理如图1所示。
(1)数据采集端。
在一个数据采集周期内,数据采集端将首次获取到数据包的时间做为时标,余下的数据包在采集时将忽略接收时间,直到该数据采集周期结束,在此周期中,数据采集端需同步完成全部实时数据的二次拼接,即数据采集周期结束后,数据采集端需按约定的格式同时生成一个包含全部实时数据的数据池。
依据应用要求的不同,必要时,数据采集端可以对数据池进行实时无损压缩或实时编码,这两种方式相比较而言,尽管采用实时编码后的数据池将会增大,但用户可通过数据库系统的SQL语句对实时数据进行各种操作。
在形成最终的数据池后,数据采集端需依照数据链路协议的约定将数据池中的数据进行组织并将其发送到数据控制器。
(2)数据链路。
数据链路可依据实际情况采用不同的网络传输协议,如TCP/IP,NETBIOS等,由于数据量较大且采集频率较高,因此,数据链路不宜采用实时连接的方式,即在传送数据时实时建立网络接连,传输完毕后再断开连接,尽管这样做可以减少网络带宽消耗,但由于需要频繁建立连接,因此效率反而不高。
(3)数据链路接口。
数据链路接口负责建立数据链路,同时维护管理多个数据采集端发送的实时数据。
(4)数据缓冲池。
由于在实际应用中,瞬态实时数据(如组态图)的访问量要远远大于历史数据(如趋势图)的访问量,因此,设立数据缓冲池可大幅提高实时数据的访问效率,其工作原理如下: 实时数据进入中间件后,首先在数据缓冲池中生成一个唯一的样本,同时对这个样本进行还原,如解压或解码。 当需要访问瞬态实时数据时,中间件将直接从数据缓冲池(内存)中读取目标值并将其返送到数据申请方,由于避免了磁盘I/O及管理维护这些数据的额外消耗,因此效率很高,且提供了100%的访问命中率。 数据缓冲池中的样本是唯一的,它只保留接收到的最新的瞬态实时数据。
(5)事务及负载平衡处理。
实际应用中历史数据(趋势)的访问是整个中间件的性能瓶颈,数据控制器提供了事务及负载平衡处理。 同关系数据库不同,由于目的单一,因此中间件的事务及负载平衡处理相对简单的多,它主要通过大容量的缓存来提高历史数据的访问命中率,同时尽量避免磁盘I/O处理。
(6)数据库接口。
数据控制器支持全部主流的关系型数据库,如ORACLE,SQL Server,DB2等。 数据控制器通过数据库接口实现历史数据的存储与读取。
(7)应用接口。
数据控制器提供了二种显式外部接口(Window操作系统),可覆盖绝大多数应用系统的要求。
①常规应用接口,即API方式;②WEB应用接口,即Active Server Page对象。 中间件同时提供了标准TCP/IP协议接口,当上面两种接口不能满足应用的需求时,可通过TCP/IP协议进行编程访问。
(8)B/S应用。
通过ASP对象接口,用户可在支持ASP对象的浏览器中访问实时数据。
(9)C/S应用。
用户可通过编程导入接口API函数实现实时数据的访问。
(10)数据库。
即用于存储管理实时数据的关系型数据库,视现场情形而定。
(11)异种平台应用。
通过TCP/IP协议访问实时数据。一般而言,只要支持IEEE浮点数格式的应用无需改动即可直接访问实时数据。
4数据控制器接口示例
int DC_Init ; //初始化
5性能分析
经在发电厂现场运行测试,数据控制器的主要技术参数见表1。
6结束语
基于中间件技术的数据控制器与数据库技术相结合方法,不仅能满足实时系统对实时数据管理的要求,而且与国内外的实时数据库系统相比,具有投资小、效率高、实时性强等特点。该系统在我区某发电厂运行以来,运行状态良好。
参考文献
[1]宋清昆等.组态软件实时数据库系统的设计.计算机应用,2008,27(1):55～57
[2]陆桂明,郑忠洋.组态软件实时数据库研究.微计算机信息,2007,23(11):157～159
[3]宋利康等.权限管理中间件的研究与实现.南京航空航天大学学报,2007,39(4):481～484
[4]蔡瑞强,程浩忠.基于中间件技术的电力市场辅助服务实时数据库设计.继电器,2007,35(12):15～17
[5]吴德州,武君胜.面向电力系统的分布式实时数据库设计.科学技术与工程,2008,8(4):929～934
[6]王晓东等.基于中间件的开发研究.计算机应用研究,2001,8:54～57
数据采集控制器 篇2
航空物探数据库建设中数据质量控制方法
通过对航空物探数据特点的研究,在航空物探数据库系统建设中设计了数据检查规则和检查流程控制方法,通过这种方式来控制数据质量,做到数据不缺失、不冗余,保证数据的正确性、唯一性和完整性.
作 者：何辉 王林飞 闫红雨 董金明 HE Hui WANG Lin-fei YAN Hong-yu DONG Jin-ming 作者单位：中国国土资源航空物探遥感中心,北京,100083刊 名：物探与化探 ISTIC PKU英文刊名：GEOPHYSICAL AND GEOCHEMICAL EXPLORATION年，卷(期)：31(6)分类号：P631关键词：航空物探 数据库 数据质量
数据采集控制器 篇3
关键词：OPC技术；.Net；西门子S7-300；数据采集
中图分类号：TP274.2 文献标识码：A文章编号：1007-9599 (2011)05-0000-01
OPC Technology in Industrial Control Platform for the Realization of Data Acquisition
Chen Ying,Ye Jinling
(Jiangxi Vocational and Technical College,Nanchang330013,China)
Abstract:This article uses. NET Framework technology and SIMATIC NET OPC server technology to Siemens S7-300 data on industrial control platform for real-time acquisition, data acquisition platform for the industry to provide a theoretical basis.
Keywords:OPC technology;.Net; Siemens S7-300;Data acquisition
OPC是一个工业标准，它基于微软的Active X、部件对象模型和分布式部件对象模型技术。OPC最大的使用领域就是Windows操作系统的过程控制系统的开发和应用。以前的工业平台，如果要提取一个现场参数，基本上都要重新设计编写一个专门的接口函数，每一个应用软件的接口也是单独开发的。每家应用软件都要为自己软件的接口开发不同的接口，每次产品的升级也要重新编写不同的程序接口，给用户和软件工作人员带来了非常大的工作量。在这种情况下，OPC标准应运而生。通过西门子公司的Semitic Net软件建立OPC服务器和OPC客户端软件配合使用，是集中读取现场以以太网为传输介质的生产现场设备参数和相关数据的有效方法之一。
一、软硬件平台的配置
OPC服务器的搭建使用西门子公司提供的SIMATIC NET 2006网络通信软件和STEP 7 5.4组态软件。OPC客户端的开发使用微软公司的Visual Studio.Net 2005集成开发平台。软件的配置皆在Windows XP Professional SP3 下完成。
OPC客户端开发需要一台装有Windows XP和Visual Studio.Net 2005的计算机。由于是实时采集数据，因此OPC服务器的搭建需要一台性能较好的服务器。生产现场的S7-300平台均采用CP343-1以太网通讯模块连接到工业网中。
二、OPC服务器的搭建
（一）PC站的硬件机架的配置。双击桌面Station Configuration Editor快捷图标，打开 Station Configuration Editor 配置窗口。在Station Configuration Editor 配置窗口中点击Network Properties，进行网卡参数配置。选择本地连接属性菜单设置网卡参数，本文设置IP地址为126.81.0.115，子网掩码为255.255.255.0，基他参数不需要设置。点击“Station Name”按钮，填写 PC 站的名称，文本命名为“justtyOpcServer”，再点击“OK”按钮进行确认，这样就完成了PC 站的硬件机架的配置。
（二）控制台的配置。从开始菜单中选择Simatic>Simatic net>Configuration console(控制台配置)，打开对话框，修改以太网卡的模式，将PG mode修改成Configuration mode，插槽号指向3。然后选择树型结构中的Access Points选项，重新设S7 ONLINE 指向PC internal(local)，这样就完成了控制台的配置了。
（三）STEP 7 中的PC Station组态。双击SIMATIC Manager创建一个新项目，命名为“justtyOpcServer”。点击命令 Insert>Station>Simatic Pc Station 建立一个PC站。将 PC Station 默认名称“SIMATIC PC Station(1)”修改为Station Configuration Editor 中一样的名字 “justtyOpcServer”。在硬件组态中，从硬件目录窗口选择与在 Station Configuration Editor 配置相对应硬件插入到硬件机架的插槽中。双击IE General对话框，然后点击“Properties”按钮将以太网参数设置对话框打开，设置好以太网的IP地址和相应的子网掩码等信息。同时还使“New”按钮建立一个 Ethernet 网络，并完成网卡的属性设置。这样就完成了PC站组件的设置了，接下来就通过点击“Configure Network”按钮，进行 NetPro 的相关配置。先在、用鼠标选择 OPC Server 后，在连接表第一行鼠标右键插入一个新的连接或通过“Insert>New Connection”也可插入一个新连接。在弹出的连接属性对话框中，将所要连接 PLC 以太网通讯处理器CP343-1的IP 地址填入到Partner、Address对应空白框中，机架和插槽号分别设置为 0、2，确认所有配置后，已建好的S7连接就会显示在连接列表中。点击编译存盘按钮，如得到No error的编译结果，则正确组态完成。如果有警告信息（Warning）显示在编译结果对话框中，说明组态不正确，不能下载到PC Station中的。
（四）组态下载。完成PC站组态后，即可在NetPro窗口中点击下载按钮将组态下载到 PC站中。下载完成后，可以打开Station Configuration Editor窗口检查组件状态。
三、通过.NET平台编程实现OPC客户端
利用Visual Studio 2005开发OPC应用程序时，实现OPC自动化接口必须要得到OPC Automation 2.0 DLL动态链接库文件。这个动态链接库一般是由OPC服务器的供应商提供，或者可以通过OPC基金会www.opcfoundation.org网站下载获得。
从Visual Studio 2005平台中选择[文件]->[新建]->[项目]，新建一个Windows应用程序，并添加对OPCAutomation.dll的引用。具体的方法为：在解决方案管理器的项目名称上点击鼠标右键，选择[添加引用]，找到OPCAutomation.dll文件并将此文件添加到项目中。
四、结论
本文所述的数据采集方法实现了PC站与工业网上存在的西门子S7-300工业控制平台数据的实时采集，简单方便，传输稳定，实时性好。适用于采用以太网进行数据通迅的西门子控制系统中，解决了分散子系统间的数据共享和统一协调数据的问题，能满足工业控制过程中绝大多数数据交互的要求，并可以为架构统一的实时监控系统的开发和改造项目提供一定的参考。
参考文献：
[1]徐丸天,苏宏业.基于OPC标准的实时数据库接口技术与应用研究[J].计算机应用研究,2006,23(5):23-25
[2]路小俊,冬大龙,宋斌,唐成虹.基于OPC技术的风电厂数据采集与监控系统方案[J].电力系统自动化,2008,32(23):90-94
数据采集控制器 篇4
随着网络流量的日益庞大,链路带宽的不断提升,在高速数据采集系统中,对双倍速率同步动态随机存储器(Double Data Rate Synchronously Dynamic RAM,DDR SDRAM)[1]所提供的大容量缓冲技术也提出了挑战。
现有技术中,DDR控制器对数据的封装处理和读写控制方法难以很好地兼顾数据访问的可靠性和有效性,且容错纠错能力较低、内存管理复杂。本文研究并设计了一种改进型高性能DDR控制器,保证了数据存储取的正确性、高效性和连续性,有效提高DDR存储器的管理效率和内存利用率。适用于多光口/电口的千兆线速数据采集系统,提供高速大容量的缓冲能力,在网络流量峰值时,能够实现动态均衡,平滑处理,可显著提高数据采集密度与速率。
1 DDR控制器工作原理
基于FPGA实现的DDR控制器通常主要包括前端主控模块和后端用户模块。以目前主流的Virtex-5 FPGA器件参考设计结构为例,如图1所示。
前端主控模块由PHY控制器、主控制器和前端FIFO组成。PHY控制器完成DDR存储器初始化状态和读数据采集时序校准逻辑功能,主控制器实现DDR控制器状态机和用于地址/命令/数据的FIFO逻辑,前端FIFO作为一种用户接口,提供地址/命令、写数据和读数据3个FIFO。前2个FIFO由不同的用户后端逻辑加载,而读数据FIFO则由PHY控制器访问,以将采集的数据存储在每个读周期上。通过用户接口,可以发出命令,向DDR存储器提供写数据或者读数据操作[1,2,3]。因此,在前端主控模块的设计结构相对固定的情况下,后端用户模块以及与前端模块对接方式的良好设计,对提升DDR控制器的整体性能具有重要作用。
2 DDR控制器模块设计
2.1 基于FPGA的模块化设计
针对现有的DDR控制器对外部DDR存储器数据读写访问所存在的不足,提出一种基于FPGA实现的模块化设计,采用多数据包重组和转义思想,以及读写控制方法,其模块设计框图如图2所示。DDR控制器主要包括:多净荷包组装模块、写转义模块、读反向转义模块、多净荷包解封装模块、读写控制逻辑以及存储器接口逻辑。
其中,多净荷包组装模块将把从前一级处理模块送入的多个净荷数据包拼接为一个较大的数据包;写转义模块完成对预写入DDR存储器数据的转义处理;读反向转义模块则实现对从DDR存储器读出的数据流进行反向转义,解析出正确的原始组装净荷包;多净荷包解封装模块将提取出原始单个净荷包;读写控制逻辑模块负责对DDR存储器的读写访问进行控制;存储器接口逻辑模块主要实现图1中的前端主控功能,完成对外部DDR存储器的读写访问,并为应用提供命令、读、写接口。
2.2 基本工作流程
DDR控制器存储和读取数据的基本流程如图3所示。首先,对多个净荷包进行组装并进行写转义处理;然后,在处于写操作时钟周期时,将写转义处理后的数据写入到DDR存储器中。当到达读操作时钟周期时,从DDR存储器中读取数据,并对读出的数据流进行读反向转义和解封装,恢复出原始单个净荷包。
3 数据预处理与解析
3.1 多净荷包的组装
向DDR存储器写入数据前,对数据进行两级预处理。多净荷包组装是第一级数据预处理,该方法旨在有效减少短包对CPU的中断次数,降低资源开销,提高DDR控制器的处理效率。多净荷包组装模块封装的数据包格式如图4所示。
多净荷包组装过程:首先,将一个或一个以上原始数据净荷包分别增加一个标识有该包长度信息的数据包包头后级联在一起,并在第一个数据包包头前标识级联在一起的数据包的个数;然后,将级联在一起的数据包组装为一个复合数据包;在组装的同时,在复合数据包的头部加上64 bit特定的数据包起始标识符(Start of Frame, SOF),在数据包的尾部加上64 bit特定的数据包结束标识符(End of Frame, EOF)。其中,SOF和EOF可以在解析读出的数据流时,定位有效数据的起始位置与结束位置。
3.2 写转义的逻辑设计
写转义是第二级数据预处理,可避免在组装后的原始数据包中出现与SOF、EOF以及转义标识符相同的有效数据,从而影响数据的正确解析。写转义变换的规则是对相应的64 bit原始数据的最高位进行反码转换,并在其起始位置加上64 bit特定的转义标识符。写转义变换的实现流程如图5所示,其对应的写转义各状态含义见表1(TM是Transferred Meaning的英文缩写,表示转义)。
3.3 读反向转义的逻辑设计
读反向转义是写转义的逆过程,解析从DDR缓存所读取的数据流。读反向转义变换的规则是:从有SOF、EOF和转义标识符的数据流中读出并过滤掉SOF、EOF和转义标识符,同时将转义标识符后的64 bit数据的最高位进行反码转换,以恢复出原始数据。读反向转义的实现流程如图6所示,其对应的转义各状态含义见表2(RTM是Reverse Transferred Meaning的英文缩写)。
4 读写控制逻辑设计
本方案中对DDR的读写控制主要有两个关键点,一个是64 bit和256 bit数据转换,另一个是读写均衡控制。前者的目的在于更有效地利用接口宽度和转义数据的读写粒度,存储、读取和解析数据。后者则以平均、轮流占用时间片的方式实现读、写操作所占用时间的均匀分配。
4.1 存储管理寄存器
在读写控制逻辑模块定义3个256 bit位宽的存储管理寄存器,分别用于写地址计数、读地址计数和存储数量计数。3个寄存器的协同工作运转过程如图7所示。
写地址寄存器存放写入数据的地址。在写入1个256 bit的数据后,寄存器值加1,当达到1 Gbit容量的DDR存储器上限值时,寄存器值回到0。
读地址寄存器存放读取数据的地址。读地址寄存器在读出1个256 bit的数据后加1,当达到1 Gbit容量的DDR存储器上限值时,寄存器值回到0。
存储数量寄存器存放DDR存储器中当前存储的数据个数。在写入1个256 bit数据后加1,在读出1个256 bit数据后减1。当存储数量寄存器等于DDR存储器的容量大小时,表示存储器已满;当存储数量寄存器等于0时,表示DDR存储器为空。
4.2 64 bit和256 bit的转换
为了将写转义和读反向转义时,数据按64 bit粒度进行变换和解析,为达到存储器提供的256 bit读写接口的数据总线要求,在写转义后,对输出数据进行64 bit—256 bit的转换。而在读反向转义前,首先通过256 bit—64 bit FIFO将输入256 bit宽度的数据转换为64 bit位宽,为下一步反向转义做好数据准备。
4.3 读写均衡控制
为实现对DDR总线的分时复用[4,5],在读写控制模块中定义一个读写计数器,完成读写均衡控制中的计数功能。在连续写入固定量数据后,切换到读状态;在连续读出固定量数据后,又切换回写入状态,如此反复,可使读写吞吐量基本一致且足够大。
经仿真测试和计算单位时间内读写的数据个数,如果每次读写数据为4 kbyte,读、写操作的总速率可达到18 Gbit/s,每个单向具有9 Gbit/s的速率。写入数据时,如果连续写入数量未达到4 kbyte,却出现没有数据输入或DDR存储器已满时,将主动切换到读数据状态。在读数据时,在连续读出数量未达到4 kbyte,却出现DDR存储器已空时,将切换到写数据状态。
5 仿真测试
为了验证方案中转义处理的可靠性和有效性,图8给出了写转义和读反向转义的FPGA仿真图。 图8a中B_TM是写转义前的数据,A_TM是写转义后的数据,设置SOF标识为64 bit特定数据0x7e1234567e123456,EOF标识为64 bit特定数据0x7e12345d7e12345d,转义标识符为64 bit特定数据0x7e12345f7e12345f。从图中,可以看出写转义前的数据为0x7e1234567e123456,0x7e12345f7e12345f,0x300000004,……,其中,SOF标识后的第1个64 bit有效数据与转义标识符相同,于是对其进行转义变换为0x7e12345f7e12345f,0xfe12345f7e12345f,如图8b所示,B_ITM是从DDR存储器读出数据后,读反向转义前的数据。图8c中的A_ITM是读反转义后的数据,与原始数据一致。采用转义的方法后,读数据时的时延问题(发送读命令后,期望的数据要在几十个时钟周期后出现在读数据总线上)可以得到有效解决。
6 结束语
本文提出一种基于FPGA实现的DDR控制器设计方案,采用了多净荷包组装,转义与反向转义方法以及读写控制的流量均衡算法设计,改进了数据封装与解析方式以及读写控制方法。该DDR控制器统筹兼顾了数据读写的可靠性和有效性,有效提高了DDR存储器的管理效率和内存利用率。经实际应用测试,该DDR控制器在千兆线速数据采集卡中已得到有效运用,保证了高速大容量的数据缓冲功能,具有广泛适用性和较高的应用价值。
参考文献
[1]DOUBLE DATA RATE(DDR)SDRAM Specification[EB/OL].[2012-06-10].http://download.csdn.net/detail/macrojiali/3069228.
[2]使用Virtex-5FPGA器件实现DDR SDRAM控制器[EB/OL].[2012-06-10].http://www.docin.com/p-9751883.html.
[3]门亮,王立欣.基于FPGA的DDR SDRAM控制器在高速数据采集系统中的应用[J].电子产品世界,2007(C00):99-103.
[4]姚玮,赵海庆,陈金树.基于Stratix器件的高速DDR缓存系统优化设计[J].电视技术,2005,29(S1):69-72.
浅谈统计数据质量控制. 篇5
论文关键词:统计统计数据统计资料统计人员质量控制
前言;随着市场经济的不断发展,统计失实的现象日渐严重,统计工作者应当本着对本职工作高度负责的精神,进行全过程的、全员参加的、以预防为主的统计数据质量控制。要尽可能采用计算机处理统计资料,最大限度的减少人工参与,加强对统计人员的职业道德和专业水平的培训以及加大统计执法力度等,以保证源头数据的准确性,使我们的统计工作更好的为企业服务。
正文:随着经济快速发展,企业快速成长、扩长信息获取、识别、处理、转换、传递的准确性、效率与速度。在企业经营管理中的重要作用也将愈来愈显著。企业要能在市场竞争中求得生存与此同时发展,一个重要的条件就是——必须要有一个健全的高效的信息系统,一支能提供准确数据的素质过硬的统计队伍,以满足企业经营管理决策所需的各种信息。因此,作为提供信息的企业统计必将在其中扮演重要的角色,发挥重要作用。
从总体上看,现有的统计数据基本上还是能够反映客观实际的。但是,随着市场经济的不断发展,经济结构复杂化,利益主体多元化,再加上体制转化过程中经济秩序混乱,人为干扰增多,因而搞准统计数据的难度也就日益增大,统计失实的潜在危险性也就日渐严重,并将逐步暴露。对此,我们必须需要清醒的认识,要始终不渝地把提高统计数据质量问题,摆到统计工作的首要位置,并才却综合治理措施,切实抓紧抓好,下面就统计数据质量问题谈谈自己一些粗浅的看法。统计数据质量控制的意义
企业统计的目的是为企业经营决策管理提供统计信息。在市场经济条件下,企业经营决策极具风险性,风险产生于不确定性并由不确定性程度决定风险的大小,而不确定性又与信息的准确和及时程度直接相关,信息愈准确及时,不确定性愈低;反之,信息不准确及时,不确定性愈高。所以,准确可靠的统计数据,便于决策和管理者正确地把握形势,客观地剖析问题,从而作出科学的决策。反之,有水分的、失实的统计数
据,相互矛盾的统计数据,给决策者以错误的信号,将会误导决策和调控,对企业的发展将会造成重大损失。因此,统计工作者必须以对本职工作高度负责的精神,已统计数据为对象,以消除统计数据的差错为目标,千方百计搞准统计数据,达到强化统计数据质量控制的目的。常见的统计数据质量问题及分析 2.1数据虚假
这是最常见的统计数据质量问题,也是危害最严重的数据质量问题。这些统计数据完全是虚构的杜撰的,毫无事实根据。造成统计数据虚假的因素多种多样,比如:有意虚报,瞒报统计数据资料,指标制度不严密,统计制度不完善,不配套等。
2.2 拼凑的数据
这种数据是把不同地点,不同条件,不同性质的数据在收集、加工、传递过程中,人为地拼凑成同一时间、地点、条件和性质下的同一数据。这种东拼西凑的数据,虽然分别有事实根据,但是从整体上看数据是不符合事实的,其性质与数据虚构相同。
2.3 指标数值背离指标意愿
这是由于对指标的理解不准确,或是因为指标含义模糊,指标计算的随意性大等原因造成的数据质量问题提,表现为收集整理的统计数据不是所要求的统计内容,数据与指标原意出现走样,面目全非。
2.4 数据的逻辑性错误
这是指统计资料的排列不合逻辑,各个数据、项目之间相互矛盾。2.5 数据的非同一性
这是指同一指标在不同时期的统计范围、口径、内容、方法、单位和价格上有差别而造成的数据的不可比性。
2.6 数据不完整
这里指调查单位出现遗漏,所列项目的资料没有搜集齐全,不符合统计资料完整性的要求。数据不完整,就不可能反映研究对象的全貌和正确认识现象认识现象总体特征,最终也就难以对现象变化的规律性做出明确的判断,甚至会得出错误的结论。
2.7 统计手段和统计分析落后
目前许多企业基础统计工作仍处于手工状态,很原始!即使采用计算机业仅仅是减少工作量去做一些汇总、指标计算,并没有真正引用先进的计算机技术和网络技术。所做的统计分析也局限于事后分析,即对统计数据进行单纯的讲解说明;不能利用网络技术实行信息共享等方式进行事前分析和预测。换句话说,“统计预测”这一职能根本没有发挥作用,缺乏对信息的收集、综合和系统化。
此外,常见的统计数据问题还有计算错误、笔误等。
可见,统计数据质量问题既可能是来自于实际阶段,也可能是来自于统计资料的整理阶段。统计数据质量控制方法
3.1 统计数据质量控制的原则应当是全过程的、全员参加的、预防为主的数据质量控制
首先,统计数据质量控制要贯穿于统计工作的全过程。每进行一步,都要对已完成的工作进行检查、对已发生的差错及时进行纠正,做到层层把关,防止差错流入下一个工作环节,以保证统计数据的质量。其次,参加统计数据质量管理和控制的人员应当是全面的。统计工作者都要树立数据质量意识,各个主要的工作环节都要落实专人负责。统计数据质量的好坏,是许多工作和许多统计工作环节质量的综合反映，牵涉到统计工作的所有部门和人员。因此,提高数据质量需要依靠所有统计工作者的共同努力,决不是单纯靠某一个部门或少数人所能搞得好、抓得了的。只有人人关心数据质量,大家都对数据质量高度负责,产生优质的统计数据才有坚实的群众基础。因而,统计数据质量控制要求把差错消灭在它的形成过程中,做到防检结合、以防为主。这就要求有关人员在质量控制中具有超前意识,抛弃那种出现了统计数据问题才想来办法解决问题的被动局面。
实行全员性质量控制,就在把统计数据质量目标及其关键交给广大统计工作者,落实到每个工作岗位,使每个岗位都有明确的工作质量标准,做到合理分工、职责明确、职责越明确,数据质量控制就越有保证。
3.2 统计设计阶段的质量控制
统计设计是统计工作的首要一切,统计数据质量的好坏,首先决定于这个过程,它是提高统计数据质量的前提。如果设计过程的工作质量不好,就会给统计数据质量留下许多后遗症。设计过程的质量控制需要抓好以下几项工作。
3.2.1正确规定统计数据质量标准。数据质量标准是指根据不同的统计目的对统计数据精度所提出的要求。满足统计目的精度的统计数据就是准确的、高质量的统计数据。首先要作充分的调查,系统地收集市场和用户对统计数据的反映和实际使用效果的情况;其次要分析研究过去统计数据的主要质量问题,找准统计数据质量控制的主攻方向;最后要进行反复论证,考虑到统计工作中实际能够达到的水平。
3.2.2 合理设计统计指标体系及其计算方法。
统计指标设计得是否合理,也是影响统计数据质量的因素之一。采用统计报表搜集资料,首先要实行标准化管理,制定的指标要符合统计制度的规定,范围要全,分组要准,指标涵义的解释和计算方法要精确;其次要对统计报表的设计、颁发、填制、汇总的全过程实行全面质量管理。
3.2.3 资料整理鉴别阶段的质量控制
统计资料整理鉴别阶段出现的差错是统计数据质量问题的重要方面。如果资料不准确,就会影响结论的正确。因此,要特别注意审查资料的可靠性和适用性,要弄清楚统计指标的口径范围,、计算方法和时期时点。对于口径不一致或不完整的资料,需要进行调整、补充;对于相互比较的资料,必须要注意有无可比性;一旦发现数据有严重的质量问题,应进行核实,避免有质量问题的资料进入汇总处理阶段。总之,对搜集到的资料,经过鉴别推敲、核实审定,使之准确无误,才能使统计数据的质量得到保证。人为错误的质量控制
4.1尽可能采用计算机处理统计资料,同时提高统计分析水平。
计算机作为当今社会不可缺少的高科技产物已渗透到我们生活、工作中的各个一切。运用计算机整理、汇总统计资料,速度快、效果好,其优越性是手工整理无可比拟的。现在国内大部分著名企业基本上实行网络化、全球化、利用网络资源了解世界先进行业信息,采用科学先进的统计分析方法和手段,进行横向、纵向对比,找差距控潜力,努力赶超世界先进企业。要能够写出有一定深度的统计分析预测报告,系统、全面、科学地去挖掘利用网络资源和从市场取得的第一手资料,完善整个分析、预测手段方法和过程。但是,也应重视计算机处理数据的质量问题,提高计算机数据处理的关键在于提高录入数据的可靠性。
4.2 统计工作者本身应提高自身素质
统计人员没有深厚的专业知识和丰富的实际工作经验,没有跟上时代及时进行知识更新,不善于统计调查获取第一手资料,就写不出有一定深度关于本企业某一方面对决策层有参考价值的统计分析报告。因此,对统计人员应该加强培训工作,企业内部应建立配套的培训机制,对每一层次统计岗位实施针对性的培训,必要时到企业外请有关专家学者授课,或到相关先进单位进行考察学习,做到取长补短。统计工作者本身也应该努力学习统计知识,钻研业务,不断提高统计业务素质和水平,杜绝因业务不熟悉而造成的数据质量问题。
4.3 加强对统计人员的职业道德培训。
目前,上级部门下达计划和各类政绩考核对统计数据干扰不可低估。有些地方,以是否完成计划和各类数据的高低作为考核地方政绩的依据,导致很多下级部门所报的统计数据高于计划数或持平,这并不是计划部门的计划多么精确合理,而是说明某些统计对象或统计部门受某种利益的驱动而使统计数据的质量得不到保障。当然,数据不真实、不准确的原因是多方面的,其中统计人员的思想道德对统计数据的影响是很大的。这就要求我们加强对统计人员的思想品德和职业道德教育,要求每一个统计工作者必须坚持实事求是的工作作风,认真对待每一个统计数据,如实地反映情况。
4.4 加大统计执法力度,保证源头数据的准确性。
统计部门今后应在加强统计信息工作建设的基础上从数据采集的圈子中跳出来,重点加强统计执法检查,对弄虚作假的单位要坚决严肃查处。要立法上,罚款数额应该大幅增加,以威慑统计违法者,逐步建立单位的统计诚信体系。
以上是本人对统计数据质量控制的一点肤浅的认识,旨在广大统计工作者更加重视统计数据的质量、抵制统计上弄虚作假的作为,提高统计数据的质量水平,使我们的统计工作能更好地为企业服务。
浅谈民意调查数据质量控制 篇6
【关键词】民意调查；数据；质量控制；影响因素
一、民意调查中突出的几种质量问题
调查中的随机误差会导致调查数据的可靠性降低，而系统偏差将减小调查结果的有效性。如果排除项目策划和调查方案设计以外，调查阶段组织实施过程是产生随机误差和系统偏差的主要来源。从入户调查来看，目前调查项目实施中随机误差和系统偏差产生的来源，主要有以下几个方面：
1、入户难导致换户率高，产生样本偏差。目前入户调查数据质量存在的最突出的问题，就是由于“入户难”导致的换户率高，而产生样本偏差。由于“入户难”，导致的换户情况有两种，一是不可抗因素造成的正常换户，如拒访、或家中没有符合条件的调查对象等不得不换的情况；二是可以克服的人为换户，如首次上门，调查对象不在，方案要求二次上门，但调查员怕麻烦做不到，一次上门不成功就进行了换户或方案要求晚间入户，但调查员愿意白天入户，违反抽样原则，哪户容易就进哪户。而一般容易进的户是那些退了休的，年龄偏大的，女性居多，尤其是白天人户，一般在家的，都是退了休的或无职业的人员等。因此，由于随意换户，最终造成调查样本的年龄结构比失调，样本中女性老年人占比重偏高的现象，导致样本代表性差，调查结果失真失实。
2、分级培训内容易截留，培训易走样。民意调查在组织实施中调查人员的培训质量直接决定调查工作质量。在实际工作中，往往因调查成本所限，培训有时分级进行，层层培训，造成内容不完整、质量难以保证。
3、调查员业务素质偏低，影响调查数据的客观真实。一支高素质的调查员队伍，是保证调查质量的重要条件，而目前实际工作面向调查对象的调查人员并不是接受我们一级培训的系统内人员，多数是临时聘用的社会人员。这些问题主要体现在：一是数据质量意识差，容易漠视调查方案中的抽样原则，出现随意换户的现象；二是专业素质低，在入户访问时容易投机取巧，尽量简化访问流程和提问内容，甚至对含糊的回答进行主观臆断；三是文化程度不高，对培训的方案和指标的理解缓慢，也不够到位。
二、影响民意调查数据质量的原因剖析
剖析影响当前民意调查数据质量的各种症结和因素，主要有以下几类：
1、社会因素。被访者顾及个人隐私，抵触民意调查。一方面，当今社会各色骗局屡屡出现，人们的个人保护意识增强；另一方面，各类商业调查机构为获得经济利益，冒充政府统计人员频繁骚扰居民，引起人们的警惕性升高。人们的个人隐私意识极大增强，广大被访者对生命和财产的安全感急剧下降，对社会和政府失去信心和信任，并产生强烈的不满，从而也抵触各种政府行为的民意调查。社会不稳定因素比较多，许多居民不愿意也不敢随便透露个人信息和配合调查员的调查，社区工作人员与本地区的居民关系最为密切，若有社区的配合会取得良好的效果，但是社区并没有配合民意调查的职能，如果要求社区配合势必增大成本，而且基层工作繁重，即使有经费也未必能取得良好的效果。
2、统计部门管理因素。目前，从全国各地的普遍情况来看，基层调查力量偏弱，基层单位一个人或者一个处室要对应上级单位几个专业的工作，用统计行业的语言来形容就是上面千条线，底下一根针。特别是越来越多的民意调查需求，让基层统计力量显得更加单薄，这种局面的直接后果就是要聘用许多编外人员来从事民意调查，由于仅仅通过劳务费的一根纽带来约束调查员的责任性实在是有些力不从心。此外，新统计法实施以来，没有对调查对象个人拒访或回答虚假信息有任何的约束力，仅有对统计部门如何利用调查资料的承诺，强调对个人信息和资料进行保密，但是仍然不能打消被访者的疑虑，对一些涉及隐私的问题采取拒访和虚假回答的策略。
3、调查对象因素。当前许多政府部门的满意度调查都要由居民来进行评价，面对如此多的部门和业务，任何一个居民都不能全面的了解，对于一些与被访者接触较少，专业性较强的部门评价时，被访者就会凭印象评价或者拒绝评价，导致调查结果失真。此外，被访者如果正好处在生活的低落期，如失业、生病或者遇到不公正的待遇等问题没能及时解决，必然会对社会和政府怀有抵触情绪，他们对民意调查的回答也会导致结果偏差很大。
三、提高民意調查数据质量的对策与建议
针对上述诸多因素的影响，结合民意调查工作的实际情况，笔者认为应该从以下几个方面考虑对策。
1、规范个人信息管理，形成诚信社会风尚。诚信是文明社会的一个基础体现，不论是政府还是商业机构都要对自己的承诺负责，从根本上认识到泄露个人信息是违法犯罪的行为。银行、通信、社保等涉及居民大量个人信息的部门要切实做好保密工作，防止泄露，给其他人造成违法犯罪的可乘之机，对于非法倒买倒卖个人信息的行为要严厉追究责任。
2、加强宣传，提高全社会统计调查配合程度。利用适宜的机会宣传《统计法》，明确公民权利和义务，提高公民配合度，自觉履行法定统计义务，理解和支持民意调查工作。在民意调查的准备阶段，通过“致居民一封信”并加盖公章的形式，将调查大概内容、调查意义和保密义务做个简要的说明，降低被访者的排斥心理。在调查阶段保持民意热线开通，通过热线电话随时解答被访者的各种疑问和问题，并宣传调查的重要性和内在价值。
3、充分利用社区资源，解决“入户难”的问题。社区是连接居民和政府最为密切的纽带，通过行政手段在社区的工作职责中明确社区配合统计的民调工作，将会大大的提高调查的数据质量，“入户难”的问题也会迎刃而解。在每个社区配备1-2名统计协管员，这样在入户之前通过社区掌握的居民资料和信息能够比较准确的确定调查样本比例分布，在社区选好调查样本后，由社区干部陪同入户将会提高调查的成功率，同时也减轻了调查员的入户负担。
数据采集系统中的DSP控制回路 篇7
随着信息技术的飞速发展,数字信号处理器(DSP)得到了广泛的应用,基于A/D,DSP,D/A的数据采集模式已经被大多数人所接受。在现代生物信号采集方案中,人们不仅要求系统有高速的数据处理能力,而且还要求其有高速的数据处理能力和高精度、多通道的D/A转换能力。
本文的目的是设计一个生物信号传感器的控制系统。在一些信号采集回路中,某些传感器的最佳工作电压随着环境的变化而变化,这就要求系统在正式采集有效信号前将传感器调到最佳工作电压。这时系统不仅要求高速的数字信号处理能力,而且要求对前端多路传感器的适时控制,于是选择由TMS320VC5416和MAX5633所组成的生物信号采集控制系统。以下重点分析SPI口的配置以及DSP通过SPI对MAX5633进行数据传输的代码实现。
2 芯片介绍
C5416属于TI公司TMS320C54X系列DSP芯片,是一种低功耗、高性能的定点DSP芯片。它的主要特点有:运算速度快,可达160 MIPS。优化的CPU结构:内部有1个40位的算术逻辑单元(ALU)、2个40位的累加器、2个40位的加法器、1个乘法器和1个40位的桶型移位器、有4条内部总线和2个地址发生器。多总线结构:包括3条独立的16位数据总线和1条23位的地址总线。低功耗方式:TMS320C5416 DSP可以在3.3 V,1.6 V的低电压下工作,3种低功耗方式(IDLE1,IDLE2和IDLE3)可以节省DSP功耗。智能外设:包括软件可编程等待状态寄存器、可编程PLL时钟发生器、1个16位的计数器、6个DMA控制器、3个多通道缓冲串行口(McBSP0-2)和与外部处理器通信的HPI(Host Port Interface)接口[1] 。
MAX5633是美国MAXIM公司生产的一种32通道高精度采样保持D/A转换器。它内含1个16位DAC、1个带内部时钟的时序控制器、1个片内RAM以及32路采样保持放大器。其中DAC电路由2部分组成。在16位DAC中,高4位可通过15个同值电阻组成的权电阻网络完成相应的转换,其余位的转换则由1个12位R-2R梯形网络来完成。其32路带缓冲的采样保持电路通过内部保持电容来使输出压降维持在每秒1 mV的范围内,且不需要配置外部增益和偏置电路。MAX5633能提供最大200 μV的分辨率和0.015%FSR的高精度转换,其输出电压范围为-4.5～9.2 V。其理论输出电压由参考电压、增益以及输入的编码共同决定:
undefined
其中:code是5633输入的16位二进制代码;VREF是MAX 5633的输入参考电压;VGS是地的敏感输入电压,通常直接接地。MAX5633具有工作温度范围宽以及串行接口灵活等特点,适用于处理大量模拟数据输出的场合。
3 系统工作模式
MAX 5633的转换过程是先从串行数据端DIN送进要转换的16位数据D15～D0(高位在前,低位在后),然后送进5位地址A4～A0(用这5位地址编码来选择输出的通道号)。地址的后2位是控制字C1和C0,其中C1为1是立即更新模式,为0则为触发模式;C0为1表示选择外部时钟序列,为0则选择内部时钟序列。Cl,C0之后应补1位0。当片选CS变低后,系统将在每一个时钟的上升沿送进一位数据。送完最后一位数据(即第24个数据后)后片选CS变高。而当CS为高电平时,任何输入数据都无效。
MAX 5633有3种工作方式分别为顺序模模式、立即更新模式和碎发模式。其中顺序模式为默认工作模式。通过设定C1=1将MAX 5633配置成立即更新模式。立即更新模式用于更新单个SRAM的内容,同时更新相应的采样保持放大器输出。在这种模式下,所选择的通道输出会在顺序操作恢复前更新。用户可以通过设置IMMED或使C1为高电平选择立即更新模式。当片选CS为低电平时,原访问顺序被打断。输入字被存储在对应于被选择通道的SRAM中。此时DAC转换和相应的采样保持对输入串口完全透明。相应的输出通道将得到立即更新。更新后,时序将回到原来中断的SRAM地址重新开始顺序更新。立即更新操作需要占用2个时序周期,其中一个周期用来使时序控制器继续完成正在进行的操作,另一个用来进行新数据的更新。
MAX 5633的输入口为SPI接口,要实现MAX5633与DSP通信,需将TMS320VC5416的MCBSP0口配置成SPI口。MCBSP在结构上可分为1个数据通道和1个控制通道。表1给出了有关引脚的信号定义。DX引脚负责数据的发送,DR引脚负责数据的接收,另外4个引脚提供控制信号(时钟和帧同步)。C5416通过片内的外设总线访问串口的控制寄存器实现与MCBSP的通信和控制。
数据通道完成数据的收发。CPU和DMA控制器向数据发送寄存器(DXR)中写入要发送的数据,从数据接收寄存器(DRR)读取接收到的数据。写入DXR的数据通过发送移位寄存器(XSR)移位输出至DX引脚。同样,DR引脚上接收到的数据先移位进入接收转换寄存器(RSR)中,然后被复制到接收缓冲寄存器(RBR),RBR再将数据复制到DRR中,最后等待CPU和DMA控制器读取数据。这种多级缓冲方式使得片内的数据搬移和外部数据的通信可以同时进行。
4 硬件连接电路
MAX 5633与TMS320VC5416的硬件连接如图1所示。片选CS可控制MAX 5633是否被选中。CS为低后,所有的转换开始有效。DIN为串行数据输入,SCLK为外部时钟输入。CLKSEL为时钟选择端,当C0或者该脚为高电平时,系统选择外部时钟模式,此时内部时钟模式将被关闭。所给出的硬件连接图为外部时钟模式。ECLK为外部时钟模式控制引脚,可用于控制外部时钟。RST为输入复位端。DSP的BCLK0口与D/A的SCLK相连作为MAX 5633的外部时钟,DSP的BDX0口与D/A的DIN相连作为MAX 5633的数据输入,DSP的BFSX0口与D/A的/CS相连作为MAX 5633芯片选择端。由于MAX 5633输入参考电压较多,为了尽量减小电压的波纹对其精度的影响,需要根据实际情况进行滤波[3]。
5 软件程序设计
下面是针对硬件连接电路给出相应的C语言程序[4]。该程序将MCBSP0配置成时钟停止模式(SPI)的主模式。其中SPI的时钟设置成1 MHz,帧数据长度为24位[5](如图2所示)。帧的24位中C0,C2为控制方式选择位;A0～A4为通道选择位,可以选择0～31共32个通道;D0～D15为需要传输的16位数据。
由于SPI每次传8位数据,故传输16位数据需要传3次,先传控制字,再传数据的低8位,最后传数据的高8位。系统可以通过改变tempchan选择需要传输的通道。下面是传输16位数据的代码[6,7]
系统在while(1)循环过程中,等待MCBSP0口的发送中断,再将剩下的2个字节发送出去。
6 结 语
本文所介绍的方案已经取得了预期的效果,D/A的数据传输速率可达1 Mb/s,并且还可以根据实际需要进行提高。该方案已经成功地运用于系统中,使传感器稳定在它的最佳工作电压处工作。该系统中DSP对D/A的控制传输无论从精度上还是速度上均完全能够满足系统的要求。本系统所采用的模式以其高精度、多通道等特点将对以后的传感器工作电压随环境变化的系统设计具有指导意义,并对其他形式的信号采集控制系统的设计有借鉴作用。
摘要：在某些信号采集系统中,传感器的工作电压随着环境的变化而变化,这时高速的数据处理能力以及高精度的反馈控制能力就显得至关重要。介绍由TMS320VC5416和MAX5633所架构的生物信号传感器控制系统,给出高精度多通道D/A在数据采集系统中的应用方法,着重讨论TMS320VC5416与MAX5633的一种串行接口连接方法以及相关的软件实现方法。该系统能成功地解决工作电压变化所带来的问题,对数据采集系统的设计具有指导作用。
关键词：生物信号,DSP,MAX5633,D/A,SPI
参考文献
[1]Texas Instruments.TMS320VC5416 Fixed-Point DigitalSignal Processor.2000.
[2]MAX5633.MAXIM 16-bit DACS with 32-Channel Sample-and-Hold Outputs.
[3][美]迪芳得弗.电子学基础:电路和元器件[M].蓝江桥,宋梅,译.北京:清华大学出版社,2006.
[4]张雄伟,陈亮.DSP芯片的原理与开发应用[M].北京:电子工业出版社,2003.
[5]Texas Instruments Incorporated.Code Composer Studio Us-er′s Guide.SPRU328A,1999.
[6]陈天麒.C/C++语言硬件程序设计基于TMS320C5000系列DSP[M].西安:西安电子科技大学出版社,2003.
数据采集控制器 篇8
一、数据仓库概念
数据仓库是在数据库发展的基础上产生的, 美国W H.Inmon博士将数据仓库定义为:“一个面向主题的、集成的、非易失的并且随时间而变化的数据集合, 用于支持管理层的决策过程”。数据库为数据仓库提供数据, 是数据仓库的基础。数据仓库主要应用于联机决策分析。
二、数据质量定义
提到数据质量, 人们首先想到的就是控制错误数据的输入, 以保证所输入的都是合法的数据值。实际上, 数据质量的定义不仅如此。数据质量反映数据仓库中数据的固有属性, 可分为数据的完整性、源数据的可信性、数据的正确性、数据的一致性以及数据的唯一性等。
数据仓库中对数据质量的定义如下:
(1) 正确性。数据要正确, 它的值就必须与数据域一致。
(2) 准确性。数据值可能是正确的但不一定准确, 而且不准确数据不会符合预先定义好的业务规则。
(3) 一致性。数据用户经常会发现一个文件中的某个字段的值与另一文件中相同字段的值不一样。
(4) 完整性。我们往往把关注的重点局限于某一个用户或者部门的数据需求上, 这样会忽略一些重要的其他相关数据元素。
(5) 数据整合。许多企业的数据是散布于众多系统和文件中的, 因此数据存在冗余且缺乏一致性。这些系统和文件中的数据模式不同, 未经整合将无法使用。
三、数据出现问题的原因
ERP系统数据出现问题的主要原因是: (1) 数据输入不规范, 同一部门不同的成员有不同的数据输入格式, 造成数据不单一。 (2) 数据操作权限混乱, 数出多门, 同一业务数据在不同部门出现不同值。 (3) 企业本身一些业务不规范, 没有及时形成业务数据, 导致系统中的数据不完整。 (4) 数据储存多样性, 数据以不同的模式存储在不同的文件和数据库中, 数据存储在物理上独立的多个数据中心中, 数据存储在不同的硬件平台之上, 并且这些平台运行不同的操作系统。 (5) 多数据源造成的, 有的数据来自关系数据库系统, 有的来自文档, 数据源本身的正确性和质量会直接影响数据质量。
四、数据质量问题分类
ERP系统数据质量问题按照数据源可划分为单数据源问题和多数据源问题两类。
单数据源数据质量问题分为如下4类:
(l) 属性 (字段) 。这类错误仅仅局限于单个属性的值。例如, city=“客户”, 属于输入错误。正确的输入是城市名称。
(2) 记录。这类错误表现在同一条记录中不同的属性值之间出现的不一致。例如, city=“北京”, zip=300012, 属性依赖冲突, 城市名称和邮编之间应该是相对应的。
(3) 记录类型。这类错误表现在同一个数据源中不同的记录之间的不一致关系。例如, 记录1: (“李四”, “三星公司”) , 记录2: (“李四”, “诺基亚公司”) , 同一实体被不同的值描述, 属于冲突错误。
(4) 数据源。这类错误表现在数据源中的某些属性值和其他数据源中相关值的不一致关系。例如, 员工:name=“李四”, DEP=15, 属于引用错误, 存在编号为15的部门, 但该员工不在此部门。
多数据源数据质量问题包括:在多数据源集成过程中, 每个数据源往往是为了满足特定的服务需求而进行设计、部署和维护的, 也就是说它们在设计开发时是相互独立的, 因此与这些数据源相关的数据库管理系统、数据模型、数据模式的设计以及数据格式等都存在很大程度的不同。此外, 每一个数据源中都可能包含脏数据, 不同数据源对同一数据可能存在不同的表示形式、数据重复或者数据冲突。因而相同的数据质量问题在多数据源集成之后, 会比在单数据源情形下表现得更为复杂和严重, 比如结构冲突、命名冲突、重复记录等。命名冲突是指相同的名字用于不同的数据对象, 或者不同的名字用于同一个数据对象。结构冲突存在很多种不同的情况, 往往是指在不同数据源中对同一个数据对象的不同表示, 比如属性的粒度、不同的组成结构、不同的数据类型、不同完整性约束等。此外, 即使不同的数据源之间具有相同的属性名称和数据类型, 也仍然可能存在不同的数据值表示 (如, 在某一个数据源中用M、F分别表示男、女, 而在另一个数据源中用0、1来表示) 。另外, 不同数据源提供的信息可能聚焦在不同的聚合层次 (如某个数据源中单条记录描述的是某个产品的销售信息, 而另一个数据源中一条记录描述的可能是一组同类产品的销售信息) 以及代表的时间地点都有可能不同。
五、数据仓库环境下ERP系统数据质量控制实现
ERP数据质量的控制大体上可分为3种, 即对数据源引起的数据质量问题进行控制, 对抽取、转换、加载过程引起的数据质量问题进行控制和对数据仓库内部数据进行管理与控制。数据仓库环境下ERP系统数据质量控制主要是通过数据预处理方法来实现的。
按照ERP系统业务处理流程, 数据预处理内容划分为3类:
(1) 静态数据 (或称固定信息) , 一般是指在生产活动前要准备的数据, 即使是静态数据, 也要定期维护, 保持其准确性。系统运行时, 访问静态数据一般不作处理。
(2) 动态数据, 一般指生产活动中发生的数据, 不断发生、经常变动, 如客户合同、库存记录、完工报告等, 一旦建立, 就需要随时维护。
(3) 中间数据, 是指根据用户对管理工作的需要, 由计算机系统按照一定的逻辑程序, 综合静态数据和动态数据, 经过系统运算形成的各种报表。
静态数据和动态数据是输入数据, 中间数据是经过系统处理后的数据。如果输入的数据是不可靠的, 那么加工处理后的中间数据也是不可信的, 不可能用它做出正确的决策。
ERP系统基础数据来源主要有以下几种:
(1) 物料与产品信息, 包括生产中所涉及的原材料、中间体、产成品、各种辅料及各种包材, 涉及销售、计划、生产、供应、物料、成本、设计、工艺等部门, 体现了数据共享和信息集成。
(2) 生产管理信息, 包括企业进行生产所必需的基础辅助数据, 包括企业工作中心、工艺流程和工作日历等。
(3) 其他数据信息, 包括企业核算编码体系;部门、职员信息;会计科目、货币、计量单位、结算方式的信息;客户/供应商物品资料和价格的信息;客户/供应商资料及权限的信息等。这些数据作为系统管理中的基础数据, 在进行系统初始化时, 都必须首先准确录入。
在数据仓库环境下, 通过提取、转换和加载处理, 将数据从数据库中提取出来, 转换成与数据仓库一致的格式, 加载到数据仓库中集中存储, 系统根据需要对数据仓库中的相关数据进行数据挖掘 (DM) 或联机分析处理 (OLAP) , 然后将生成的结果传递给企业内部的或外部的人员, 以满足企业管理和决策的需要。
数据预处理主要包括5个过程:数据提取、数据清理、数据集成、数据变换与数据规约、数据加载。主要是根据要求从异地异构数据源 (包括各平台的数据库、文本文件、HTML文件、知识库等) 提取相关的数据, 然后对前一阶段产出的数据进行再加工, 检查数据的完整性及数据的一致性, 对其中的噪声数据进行处理, 对丢失的数据进行填补。
数据提取是将分散在多个数据源中的信息抽取出需要的数据。在Windows平台环境下, 利用基于ODBC等数据引擎的数据访问工具可快捷地访问几乎所有的数据库数据源, 即为每个数据源建立相应的系统DSN, 然后利用简单的导入/导出 (Import/Export) 或使用SQL存储过程实现数据提取。如果数据源以文本、表格等非数据形态出现, 提取其中的数据需要按不同方式进行考虑。通常情况下, 这种文本的格式是固定的或者具备某种特征的, 或者在局部范围内按一定规则变化, 可以在描述数据格式的基础上利用过程语言内嵌入的SQL语句或库函数调用让系统自动生成所需的提取代码。
数据清理操作是消除噪声或不一致数据, 也称为数据净化, 是针对原始数据中不完整的、含噪声的、不一致的数据进行整理和补充的过程。噪声数据是数据源中的错误或偏差数据。
数据集成操作是将来自不同数据源的数据整合成一致的存储数据, 这些来自不同数据库中的数据按照某一标准进行统一, 即将数据源中数据的单位、字长与内容统一起来, 将源数据中字段的同名异义、异名同义现象消除掉, 这些工作统称为数据的清理。即数据必须加以转换, 从而以统一的编码规则表示, 将源数据加载进数据仓库后进行某种程度的综合。例如, 有两个数据源存储与人员有关的信息, 在定义人员性别属性的类型时, 一个可能是char (2) , 存储的数据值为“男”和“女”;而另一个属性类型为char (1) , 数据值为“F”和“M”。这两个数据源的值都是正确的, 但对于目标数据来说, 必须以一种统一的方法来表示该属性值, 然后交由最终用户进行验证, 这样才能保证数据的质量。
数据变换是通过规格化和聚集形成适合挖掘的形式。数据规约操作是压缩现有的数据集, 既能减少数据集的大小, 又不影响数据挖掘的结果。数据变换与数据规约实际是对数据进行汇总、聚集、压缩, 而且不丢失信息。
数据加载主要是将经过转换和清洗的数据加载到数据仓库里面, 即入库。用户可以通过数据文件直接装载或直联数据库的方式来进行数据装载, 充分地体现其高效性。
六、结束语
随着ERP系统与数据仓库领域应用的紧密结合, 以及数据质量概念在ERP系统中的广泛应用, 将来ERP系统内部控制内容之一———数据控制, 其内涵不再局限于数据安全控制方面, 同时数据质量控制也会成为数据控制的一个重要内容。
摘要：ERP系统内部控制是企业管理信息化研究的一个重要内容, 本文应用数据仓库理论中的数据质量概念, 借鉴数据预处理方法, 从数据质量控制角度, 研究数据仓库环境下ERP系统的数据质量控制;在数据安全控制基础上引入数据质量控制内容, 将ERP系统内部控制内容之一——数据控制的内涵延伸。
关键词：数据仓库,ERP,数据质量控制
参考文献
[1]陈京民, 等.数据仓库与数据挖掘技术[M].北京:电子工业出版社, 2002:5.
[2]锡德.阿德尔曼, 等.数据仓库项目管理[M].薛宇, 王剑锋, 译.北京:清华大学出版社, 2003:293.
[3]熊霞.数据仓库中数据质量控制问题研究[D].武汉:武汉大学, 2004:24-26.
地震采集数据精细化质量控制 篇9
目前在国内外多采用可控震源, 可控震源施工具有效率高、环境污染小等优点, 采用可控震源施工采集的数据分为两部分, 一部分包括各种参数、GPS位置、震源工作状态数据, 另一部分主要是原始地震数据。
通过第一部分数据分析我们可以得到野外检波器、采集站、震源、仪器等设备的工作状态及生产参数的设置等, 保证生产质量符合标准要求。通过各种处理手段分析第二部分地震数据, 保证最终产品品质, 也反过来验证补充第一部分数据质量控制要点, 因此细致全面的质量控制措施才可保证地震数据的生产质量。
1地震采集QC数据质控
为了监控可控震源采集的质量, 安装在震源上的箱体实时返回工作的状态, 包括GPS位置坐标, 相位、畸变等状态参数及过载信息等, 仪器操作人员根据设定的门槛值, 判断震源是否工作正常。检波器和FDU的工作状态可以根据仪器在生产前和生产中的测试数据进行评价分析, 有助于我们了解各种采集设备状态、激发点位的精度等来指导现场地震采集。
在地震队工作的技术人员通过多年的工作经验, 对地震采集中质量控制的重点具有深入的了解, 并制定了规范的质量控制的流程, 对数据的分析也从表格形式转变为工程软件, 每个软件都针对一个或几个质量要点进行分析, 通过串联使用软件完成质量控制过程并输出分析的结果数据。
地震采集SPS文件整理工作是数据处理的基础, 必须确保激发点和接收点位置的正确, 保证接受排列关系和设计保持一致。震源生产中遇到大树、水沟、河流、陡坡等特殊地形可能需要临时震点偏移或变观。SPS数据的整理和分析就是要得到激发点实际位置, 判断偏移和变观的合理性。项目技术人员根据这些原则, 编写了相应的软件, 实现了对SPS数据整理、震源组合图形检查、偏点计算等功能, 可同时输出定量分析数据, 保证了SPS数据整理的准确性。
可控震源的VQC数据反映了震源的实际工作状态, 项目VQC软件能对震源的平均相位、峰值相位、平均畸变、峰值畸变、平均出力、峰值出力等指标图形化显示, 可以很直观地检查每台震源的工作状态及累计工作状态。结合VQC软件的过载、报警统计掌握每台震源的工作状态, 根据采集标准规范要求, 对震源是否适合生产做出判断, 保证激发源的生产质量。
地震采集数据的品质很大程度上取决于接受设备, 即地震仪器、检波器、采集站的工作状态, 现场可通过VQC软件分析每天检波器和采集站的工作状态, 同时可以直观的了解现场放线的质量。
此外, 震源组合中心COG坐标的比较, 关系文件的比较等都是通过软件程序完成, 技术人员通过工作中的总结不断完善和增加软件功能, 使需要检查的每个质量重点都有相应的模块与之对应, 使工作更方便, 准确, 尽量避免人为操作的失误。
在实际生产中, 仪器操作人员要按规范完成每天生产过程的检测工作, 如无线一致性测试等, 通过震源VQC数据监控震源状态和震点的位置精度, 生产后下载所有QC数据, QC人员对这些数据进一步检查、分析和评价判断, 指导野外的采集生产。
2地震数据质控
地震采集的数据是生产的最终产品, 所有前面的工作都是为了得到高品质的地震资料, 现场的QC人员必须对野外得到的地震资料进行检查、分析, 确保地震资料的质量满足甲方的要求, 符合技术标准。
地震资料和野外返回QC数据之间的检查分析是互相验证、反馈的关系, 检查地震数据时, 要注意其反映的QC数据的信息, 两者应该是一致的, 同时也验证地震数据的品质。
目前地震队现场使用的处理系统有许多可靠的质控手段, 可以对地震数据进行多方面的检查, 发现其中的问题并及时整改, 保证地震数据的质量。在对地震数据的检查过程中通过实践总结出处理工作的流程, 可以很好的完成每天的地震数据检查工作。
在此流程中, 数据经过解编形成系统内部数据, 应用整理后的SPS文件加载观测系统, 虽然在检查QC数据中已经检查了SPS文件, 但是仍需在处理软件中检查数据大小、总道数等信息, 进一步验证SPS文件和地震数据对应关系是否正确。同时需要对观测系统的偏移距、炮检点分布、覆盖次数等信息进行检查。
对加载的观测系统进行高程、偏移距、位置等属性检查无误后, 再从共炮点道集和共检波点道集两个方面检查单炮, 运用线性动校正方法再一次验证中心点位置和排列关系的正确性, 从初至上可以检查炮点或检波点偏移情况, 是否有反相道, 产生干扰的因素等, 并和QC数据比对, 验证彼此的一致性, 同时检查单炮的面貌特征, 如有效波、噪音的分布等是否符合实际规律。可以在道集上对坏道、不正常道、空道进行编辑, 输出这些编辑信息的文本文件, 以便和实际生产比对和日后查询。另外还需抽取地震数据的辅助道进行检查, 在野外生产中辅助道出错的几率较低, 但也可能发生, 在以前的生产中就遇到过这种情况, 所以需要对辅助道检查。
上述步骤完成后, 提取地震数据的属性, 如均方根振幅、能量、频谱等属性, 根据这些属性的显示, 可以检查单炮的能量强弱, 对比该点震源的震动属性查找具体原因。地震数据属性的分析有利于我们发现品质差的单炮, 或属性随近地表状况变化的规律, 是检查地震数据品质的可靠方法。
为了每天都能够了解生产区域的地质构造, 每天都要利用当天采集数据进行常规叠加处理, 并随生产日累加, 直到完成一条测线和一束线, 可以及时发现单炮数据的变化是否符合工区的地质构造特征。每天的处理流程要求保持一致, 关键处理结果要存档, 以便日后查询。
另外在剖面分析中, 可以加入频谱、信噪比等分析, 在这里不做过多叙述。利用处理手段可以联合对比二维主测线和联络测线的剖面。三维测线合并线束数据后, 可抽取纵向或横向剖面进行对比。通过剖面的对比可以检验静校正闭合的情况, 测线间信噪比等特征的一致性, 更全面地掌握地下的地质构造。在流程中的每一步都要作相应的记录及评价, 有相应的图件支持并存档, 为日后查询及对比提供依据。
3结论
通过工作中总结的经验, 针对每个质量控制的环节, 地震队技术人员都设计了相应的程序模块, 很方便的对每个质量环节都进行了细致全面的检查和分析, 保证了施工质量。但是每个软件程序模块都是针对几个问题去解决, 程序过于松散, 因此应该进一步将这些单独软件程序整合在一起, 使用起来更方便、易于操作, 同时在工作中应进一步根据需要完善更新程序和流程, 更好的服务于地震队。
地震数据处理软件在地震数据的质量控制中起着非常重要的作用, 通过精细设计处理流程, 能够很全面的检查地震数据, 并对其他QC数据的正确性进行验证, 已经成为质量控制的重要手段, 而不是辅助工具。
参考文献
[1]陆基孟, 主编.地震勘探原理.山东东营:石油大学出版社, 1993.
[2]渥·伊尔马滋.《地震数据处理》.石油工业出版社, 1994.
[3]M·B·什内尔索纳.《可控震源地震勘探》.石油工业出版社.
单片机远程控制和数据采集的制作 篇10
一、系统概况
图1的各部分详细情况介绍如下:
1. 单片机
我们选用的是PHILIPS公司的LPC2103ARM微控制器, 这款芯片带有8kB的片内RAM和32kB的片内Flash程序存储器。通过可编程的片内PLL可实现最大为70MHz的CPU时钟频率, 多个32位和16位的定时器、一个经改良后的10位ADC、PWM和32个快速GPIO, 多种节电模式, 低功耗实时时钟 (RTC) 。由于LPC2103强大的功能和极低的功耗, 它非常适合于我们的应用。 (参考PHILIPS公司.LPC2103用户手册)
2. 以太网接口芯片
ENC28J60是Microchip公司的一款带有行业标准串行外设接口 (Serial Peripheral Interface, SPI) 的独立以太网控制器。它可作为任何配备有SPI的控制器的以太网接口。ENC28J60符合IEEE 802.3的全部规范, 采用了一系列包过滤机制以对传入数据包进行限制。它还提供了一个内部DMA模块, 以实现快速数据吞吐和硬件支持的IP校验和计算。与主控制器的通信通过两个中断引脚和SPI实现, 数据传输速率高达10 Mb/s。两个专用的引脚用于连接LED, 进行网络活动状态指示。通过ENC28J60, 我们就可以为设备增加网络接口, 实现设备的联网需要。
3. 路由器和PC机1
由于需要联网测试, 我们使用思科WRT54GP2A这款无线路由接入Internet。由于采用ADSL上网, 而ADSL的IP是动态分配的, 这样一旦因线路或电源原因而使设备IP地址变动的话, 我们就无法得到其新地址, 也就无法与其通讯。为了解决这个问题, 我们使用了花生壳的动态域名解析服务。在花生壳的网站注册后我们申请到了测试用的域名, 然后在PC1电脑上安装其花生壳动态域名软件。这样软件就将我们的IP地址与域名之间建立了一种解析的关系, 我们就可以通过域名访问我们的设备, 而IP地址的变更就交给花生壳处理了。
在我们的测试环境里PC1这台电脑仅仅完成了安装花生壳动态域名软件的功能, 造成了很大的浪费, 花生壳的嵌入式就解决的了这个问题。嵌入了花生壳的硬件产品将具备动态域名解析功能, 用户使用中无需再在电脑上安装花生壳客户端软件。这样在我们的设备中加入花生壳的动态域名API接口功能或者选用已经嵌入了花生壳功能的路由器 (如TP-LINK的TL-R460路由器) , 就可以很方便的在无PC主机的网络环境中应用。
还有一个问题是即使IP地址和域名建立了解析的关系, 那样我们在浏览器里键入的地址也是路由器的地址, 而不是我们设备的地址。一般路由器中有个端口映射 (Port Mapping) 或者虚拟服务器 (Virtual Server) 的设置。我们需要在路由器的“管理界面”中相应的端口映射界面里, 设置好相应的需要映射的端口, 协议, 内网地址等, 才能生效。我们的设置如图2所示。其中, Server为映射的名字, 80为端口, 协议只允许TCP, 内网的IP地址为1.1.1.8。
4. PC2和手机
当设备正常运转时, 在任何一个能上网的地方, 使用电脑, 上网本, 手机等设备, 在其浏览器中键入我们的测试域名, 就可以实现对设备的访问控制了, 如取AD转换结果、控制PWM等。效果如图3所示。
二、设备的软硬件实现
设备的实物图如图4所示。硬件上, 我们采用了模块化的方式, 由LPC2103核心板、ENC28J60网络模块、128X64液晶屏和电源组成。其电源部分分为常规供电和备用供电两部分, 常规供电时, 所有模块正常工作, 当备用供电时, 只有LPC2103核心部分供电, 控制器在睡眠模式, 以节省功耗, RTC实时时钟也正常工作, 保证时间的准确。软件上, 我们完成了LPC2103的初始化、ADC、PWM、RTC的程序设计, 借鉴Microchip的标准TCP/IP (参考Microchip TCP/IP协议栈) , 对其进行裁减, 使其体积更小, 适合单片机系统的使用。
数据采集控制器 篇11
关键词：DCS；集散控制系统；数据流；安全控制
中图分类号：TP393文献标识码：A文章编号：1007-9599 (2013) 06-0000-02
DCS，即所谓的集散控制系统，其主要指的是分散控制。目前，连续生产过程、大系统以及分散对象为我国工控机主要采取的形式，对于电力、冶金以及石化企业而言，其连续生产过程主要采用的是以分布式系统结构为核心的分散控制系统，因集成技术及开放式结构的不断发展，大规模分散控制系统销售情况也随之得到了不断的增加。如今，随着DCS的不断发展和应用，有关此系统数据流安全性方面的问题也越来越突出，因此，本文重点就DCS集散控制系统数据流的安全性控制进行了研究。
1DCS集散控制系统相关内容概述
1.1DCS集散控制系统
DCS，即集散控制系统的英文缩写，其主要指的是建立在微处理器的基础上来进行整个生产过程的集中性操作、管理、监视及分散性控制。DCS可以分散若干台微机，并将其一一应用于过程控制中去，这些信息经网络通信，同时受到上位管理计算机的监控，因而实现了控制过程的最优化。由于DCS装置均继承了集中控制及常规性仪表有关分散性控制方面的优势，因而有效克服了人机联系性差、功能单一及单台计算机控制系统危险性高度集中等多方面的弊端，真正实现了其在操作、显示及管理方面的高度性集中，也确保了其危险性、负荷及功能性此三方面的分散性，因而在现代化企业的生产中得到了广泛的应用，并发挥了重要的作用。
1.2DCS的分层结构
DCS集散控制系统是一种分级递阶控制系统，其结构设计过程主要以系统工程入手，借助于功能的分层及危险的分散实现了系统可靠性及其应用灵活性的大幅度提高。按功能对DCS系统进行纵向分解后可得到其四层递阶结构，分别如下：（1）过程控制级，此级为现场各装置管理层次的直接控制级，其主要包括数据采集站、现场控制站以及对过程进行管理的计算机等，为DCS系统的基础；（2）操作监控级，此级上的过程管理计算机主要包括操作站、监控计算机以及工程师站等。主要负责对生产过程进行优化性控制，并对各站所有相关信息进行综合性监视；（3）生产管理级，此级主要从各生产过程的监测系统中进行生产过程现场数据的收集，并以上级生产安排为依据向监控系统所发布的相关运行方式等命令进行协调和控制；（4）经营管理级，此级为自动化办公服务系统之一，其主要同全厂各部门及各类综合信息进行联系。
1.3DCS的特点
如今，DCS集散控制系统已经替代了传统仪表，并成为提高管理水平、控制质量及减人增效等方面的主流系统之一。具体而言，此系统主要具有如下方面的特点：（1）可靠性高，因DCS可实现系统控制功能在各个计算机上的分散，DCS系统结构采用的是容错设计，因而某一台计算机有故障出现并不会造成系统其他方面功能的丧失。除此以外，由于DCS系统中每一台计算机所负责的工作相对较为单一，因此，可依据所需实现的功能借助于具有特定功能及软件专用计算机来实现系统中各台计算机可靠程度的大幅度提高；（2）开放性，由于DCS采用了标准化、模块化以及开放化设计，系统各计算机采用了局域网方式进行通信，当进行系统功能的扩充时可将新增入的计算机连入系统网络中，且不会对其他计算机的正常运行造成影响；（3）实时性，借助于人机及I/O接口可进行生产过程的实时性分析、采集、监视、记录以及控制，因而实现了系统可用性的大幅度提高；（4）协调性，各站间借助于通信网络实现多种数据的传送、系统所有信息的共享、工作的协调，并优化了系统的总体功能；（5）友好性，系统采用了实用且简捷化的人机会话系统，因而画面显示极为丰富，菜单功能实时性强。
2DCS集散控制系统数据流的安全性控制
2.1DCS集散控制系统进行数据流安全控制的必要性
随着现代化企业中生产自动化水平的进一步提高，DCS系统在各个行业和领域均得到了十分广泛的应用。对于工业自动化控制系统而言，其操作站点普遍采用的是Windows视窗操作系统，随着互联网病毒的不断泛滥，其攻击性也越来越强，因此，DCS系统的安全形势越来越严峻。特别是近些年网络上所出现的蠕虫病毒，更将DCS系统安全控制方面的重要性提升到了一个前所未有的高度上。
2.2安全控制思路分析
无论哪一种病毒，其传播及攻击方式都必须首先进入控制系统的局域网中，才会对网络带来危害。因此，若对系统各站点同外界接口进行有效的控制即可对系统网络的安全性进行有效的控制，其中，最为有效的控制方法即使局域网不同外界之间进行数据的交换，但因企业信息化等多种因素的影响，此法通常是不可能实现的。因此，只有通过对控制系统各个站点同外界数据之间的交换接口进行控制来对病毒的入侵进行有效的防范。对于工控网络而言，其同互联网之间的安全性对接应当重点放在对局域网内部数据交换之间的控制入手。具体而言，应当对数据流的交换流程进行疏通，并进行规范，进行控制系统有效中毒应急预案的制定，通过定期演练及完善方可切实实现防患于未然的目的，从而真正确保工控网络长期运行过程的安全性。
2.3安全控制措施分析
（1）对数据流输入及其输出流程进行梳理，在工程施工过程中，因DCS服务厂家相关服务人员通常都具有笔记本做程序并将其拷贝到操作站点的习惯。因此，应当先同厂家相关技术服务人员进行相应的沟通和交流，并要求操作站点同笔记本电脑之间均进行杀毒软件的安装，而后同厂家相关技术人员进行数据拷贝流程的交流和沟通，拷贝前先对U盘进行格式化，待全盘杀毒后在进行文件的复制，而后再次进行杀毒，插入操作站点时还应再次进行全盘杀毒，保证没有病毒的入侵。待整个工程结束后应对操作站点进行全盘性的杀毒，以确认其无毒性，而后再次将其接入到局域网中。此外，还要求相关维护人员进行全程性的监护，以确保数据交换流程过程的有效性，及其输出、输入流程之间的一致性。
（2）正常生产期间数据流的输入输出，应每半年进行新版杀毒软件的购买，并对操作站进行全站杀毒，严禁在线升级方式对杀毒软件进行升级，以防由于升级导致病毒的入侵。数据输出过程应采用刻录机进行光盘拷贝数据的定点刻录，且光盘应为正版，且经过了最新杀毒软件的无毒检测后，待车间同意方可进入系统局域网中。
（3）其他安全性控制措施如下：每一台操作站应当进行系统进入密码的增加，以防非工作人员的随意性进入，工程师站不用时不应进行联网，采用专用性操作键盘，以防操作工借助于普通键盘对权限进行升级，操作站的柜门应当全部进行上锁，并保证除了仪表相关维修人员以外的其他工作人员无法将其打开，对数据的输入及输出流程进行疏通和严格的控制，加强宣传力度，并重罚以身试法之人，以防类似事故再次出现。此外，还应进行专门应急预案的编制，一旦有问题出现即可尽快进行处理，以防对生产过程造成过多的影响。
3结束语
综上所述，为了确保DCS系统数据流输入及输出流程的顺畅性及安全性，必须采取有效的安全控制措施，并进行定期预案演练，从而真正提高相关人员的事故处理能力，并确保DCS集散控制系统的安全性。
参考文献：
[1]袁任光.集散型控制系统应用技术与实例[M].北京:机械工业出版社,2003.
[2]黄明铸.PLC、DCS、FCS三大控制系统的特点和差异[J].中华纸业,2010,4:86-89.
数据采集控制器 篇12
Cypress半导体公司的EZ-USB系列芯片为USB外围设备的研制提供了高度集成的解决方案,同时Cypress半导体公司为该系列USB接口芯片提供了应用程序编程所需的函数类库,其中包括cyioctl控制函数以及CyAPI控制函数类库。本文主要介绍在VC++下利用CyAPI控制函数类与该系列USB接口芯片完成通讯的方法。
1 EZ-USB系列芯片编程方法
EZ-USB系列芯片主要提供了两种应用程序编程方法:cyioctl控制函数方法和CyAPI控制函数类库方法。VC++与这两种编程方法都能实现无缝连接。
1.1 cyioctl控制函数方法
cyioctl控制函数只为EZ-USB系列芯片提供了基本的USB控制及传输操作,一般只用于测试设备连接。该方法是在获取USB设备句柄的基础上,调用在头文件中事先声明的控制函数与驱动程序进行通讯。
1.2 CyAPI控制函数类库方法
CyAPI控制函数类库是Windows操作系统应用程序接口函数库,与应用程序相关的USB控制函数被封装在CyAPI里。相对cyioctl控制函数,CyAPI控制函数类库为EZ-USB系列接口芯片提供了更为精细的控制接口。在使用Cypress公司提供的驱动程序的基础上,在主机程序中加入头文件CyAPI.h和库文件CyAPI.lib,再调用CyAPI函数库中的基础函数,即可完成USB应用程序的编程。在本文中使用CyAPI控制函数类库方法设计的USB接口数据采集卡的程序模块流程如图1所示。
在该流程中,主要使用设备控制类CCyUSBDevice下的Open()函数打开USB设备。而对USB的FIFO读写的控制主要使用CCyUSBEndPoint类下的BeginDataXfer、TimeOut以及WaitForXfer三个函数。程序结束则需要调用设备控制类CCyUSBDevice下的Close()函数。
2 CyAPI控制函数类库方法在数据采集卡中的应用
2.1 USB接口数据采集卡的硬件实现
数据采集部分的电路连接如图2所示。该设计中使用的元器件主要有CY68013A及MAX115。CY68013A芯片为USB功能设备芯片,而模数转换芯片MAX115完成A/D转换。本设计中USB功能设备芯片CY68013A利用GPIF模式与MAX115进行通讯,实现对外部数据的读写。图2中,GPIF模式下CY68013A使用控制信号输出端CTL0引脚连接MAX115的CONVST引脚,用来控制芯片采集工作;同时CTL1、CTL2引脚连接MAX115的RD脚和WR脚用来控制数据读写操作;而8位数据总线FD[7:0]则用来完成数据传输。
2.2 CyAPI控制函数类库方法在数据采集系统中的应用
数据采集卡上位机应用程序主要使用设备控制类CCyUSBDevice下的Open()函数打开USB设备,读取二进制数据,并对已接收的二进制数据进行相应的处理,转换为所需数据。本设计中,数据采集卡应用程序接收下位机USB芯片传输数据的线程,由ReadThreadLooping()函数完成,在该线程中调用CCyUSBEndPoint类的BeginDataXfer、TimeOut以及WaitForXfer三个函数来完成数据通讯,程序主要代码如下:
基于CyAPI控制函数类设计方法的USB接口数据采集卡在实验室数据采集中的应用效果良好,其界面如图3所示。
3 结束语
使用CyAPI控制函数类设计方法对USB接口上位机应用程序进行编程,工作量少,速度快,效果良好。
参考文献
[1]钱峰.EZ-USB FX2单片机原理、编程及应用[M].北京:北京航空航天大学出版社,2006.