数据采集技术（共12篇）
数据采集技术 篇1
0 引言
在十二五规划“工业转型升级的重点任务”章中的“加强企业技术改造”和“提高工业信息化水平”小节均提到:推动生产装备数字化和生产过程智能化[1], 这成了“十二五”专项工程之一。生产装备智能化水平的提高, 能够提升装备制造业的产能, 促进老旧企业的技术升级改造, 助推数字化制造, 增强了传统企业的竞争力[2]。
据国内制造业信息化门户权威网站调研数据显示:信息化软件与生产装备融合, 即要把机床、生产线、关键设备的状态信息、产量、质量、能耗等信息进行及时准确的采集, 是“两化”深度融合的关键标志之一。
然而, 国内生产装备数字化水平不高, 制造型企业为保护投资 (尤其是工艺成熟的行业, 国有企业这种情况尤为明显) , 不会轻易淘汰能用的设备。这些设备种类多、品牌杂、新老并存;设备的协议与接口种类差别很大, 通信接口之间兼容性差;很大部分设备没有数据通信接口。这些情况给数据采集工作增加了很大难度。因此, 市面上现有的信息化软件产品与设备层的集成还很薄弱, 系统缺乏生产现场有效实时信息支持, 即停留在手工记录上, 操作效率低, 数据的准确性差, 数据处理速度慢, 难于及时了解生产状态及生产能力, 更不能快速为企业管理决策提供依据。
生产装备数字化改造可以分为以下几种情况:
(1) 自带数据通信接口, 具有通用、开放通信协议的生产装备;
(2) 自带数据通信接口, 无通用、开放通信协议的生产装备;
(3) 无数据通信接口, 具有智能HMI (Hu⁃man Machine Interface, 人机界面) 控制的生产装备;
(4) 无数据通信接口, 无智能HMI控制的生产装备。
本论文是先前研究以上 (1) 、 (2) 种情况工作基础上进一步深入, 研究第 (3) 种情况的生产装备数字化改造技术, 使其具有自动数据采集和自动设置参数的功能, 使信息化软件和生产设备更全面的融合, 促进企业的生产数据数字化管理, 助推“两化”深度融合。
针对上述第 (3) 种情况的生产装备, 市面上可以了解到的其他公司改造技术如下。
(1) 采用硬件信号点监控方式 (增加传感器方式) , 每个信号点几乎都需要增加相应的传感器, 成本高, 因此这种方式采集的数据非常有限;这种方式属于侵入式的改造方式, 对设备本身影响大。
(2) 采用侦听方式 (如图1) , 这种方式只能收集正在通信的数据, 但不能随时获得未通信的数据, 更不能随心所欲地控制生产装备。
生产装备技术改造具有以下特点[3]。
(1) 针对性强:企业的生产装备技术改造, 一般是由设备使用单位与设备管理部门协同配合, 确定技术方案, 进行设计改造。这种做法有利于充分发挥他们熟悉生产要求和设备实际情况的长处, 使设备技术改造密切结合企业生产的实际需要, 所获得的技术性能往往比选用同类新设备具有更强的针对性和适用性。
(2) 经济性好:生产装备技术改造可以充分利用原有设备的基础部件, 比采用设备更新的方案节省时间和费用。此外, 进行设备技术改造常常可以替代设备进口, 节约外汇, 取得良好的经济效益。
(3) 现实性大:一个国家所拥有的某种设备总量, 总是远大于年产这种设备的能力。比如我国拥有的金属切削机床的总量约为400万台, 而全国每年机床的产量不过是15~20万台左右。即使把每年生产的新机床全部用来更换原有的机器, 轮完一遍也需要20年。这就是说, 没等原有设备全部更换完毕, 初期更新的设备又早已陈旧不堪了。可见, 单靠设备更新这种方式显然难以满足企业发展生产的要求。因此, 采用设备技术改造具有很大的现实性。
由此可见, 应用先进的科学技术成果对原有设备进行技术改造, 并非一种权宜之计, 而是与设备更新同等重要的补偿设备无形磨损并提高装备技术水平的重要途径。
1 项目目的
在生产装备改造过程中, 尤其是昂贵设备, 要遵循不影响生产装备工作性能和生产装备供应商服务政策原则, 尽量减少对生产装备的大动作改造, 主要采用非入侵式的信息化改造技术, “植入转发”数据采集技术[4]是非侵入式的其中一种实现方式。
在数字化改造过程中, 经常会面临这样的问题:生产装备没有多余的数据通信接口, 生产装备的HMI和主控制器之间具有数据通信接口, 是一个相对封闭的系统。这些生产装备经常涉及到重要的、关键的工艺参数和质量控制参数, 要实现全面的、真正的数字化, 就必须将这些生产装备 (包括生产装备配套使用的仪表) 纳入整个企业的数字化范畴之内, 从生产装备获取数据, 并根据需要由信息化软件设定相关工艺参数。
项目研制出一套具有“植入转发”数据采集功能、与PC端信息化软件通信的嵌入式信息代理终端产品, 为无数据通信接口并具有智能HMI的生产装备数字化改造提供通用的、高可靠性的解决方案, 使其具有自动采集数据和自动设置参数的功能。
2 改造技术内容
针对无数据通信接口并具有智能HMI控制的生产装备数字化改造技术研究:采用“植入转发”数据采集技术来实现, 该技术有以下几项研究内容:
(1) 设计开发嵌入式信息代理终端;
(2) 分析管理HMI与主控制器之间的通信数据;
(3) 设计实现与PC机端信息化软件的通信协议。
“植入转发”数据采集技术需要对生产装备上进行小改造, 即在生产装备的HMI与主控制器之间接入一个嵌入式信息代理终端, 转发HMI与控制器之间通信数据的同时植入有用的监控信息, 能适用于大量生产装备的数据采集。嵌入式信息代理终端除了能转发通信数据和植入有用监控信息外, 还具备和PC端信息化软件通信的功能, 具体见图2。
2.1 设计开发嵌入式信息代理终端
嵌入式信息代理终端由基于嵌入式处理器的硬件系统和基于嵌入式操作系统的软件系统构成。嵌入式处理器采用目前主流的ARM核处理器。嵌入式操作系统可选用商用的嵌入式系统如vx Works或者开源嵌入式Linux系统, 前者对内存等资源消耗小, 实时性相对较高;后者则功能强, 并且容易移植很多开源组件。不过前者也可以向windriver公司购买相应的嵌入式软件中间件实现。
嵌入式信息代理终端的硬件总体设计采用“核心板”和“接口扩展板”的模块化设计思想, “核心板”可以脱离“接口扩展板”独立工作的, “接口扩展板”要依赖于“核心板”工作。“核心板”支持vx Works和Linux的软件系统[4]。
2.2 分析管理HMI与主控制器之间的通信数据
对于HMI和主控制器之间的通信数据 (通常HMI为主动发起方, 即请求方;主控器为被动接收方, 即应答方) , 可以分为几种情况进行处理。
(1) HMI主动发送的请求通信数据, 无须做数据解析, 直接转发给主控制器, 处理流程详见图3。
通信数据帧格式通常如图4所示。
应答帧数据格式通常如图5所示。
请求帧数据格式通常如图6所示。
(2) 主控制器返回应答通信数据, 若不是项目需求需要的数据, 处理流程和 (1) 类似转发给HMI;若是项目需求需要的数据, 要做进一步的帧数据解析, 截取有用数据并保存起来供系统使用并转发给HMI, 具体如图7;判断是否为项目需求需要的数据, 通常按命令类型先做一个初步的筛选。
(3) HMI没有主动发送的通信数据, 但项目需求需要的数据, 嵌入式信息代理终端定时自动产生请求通信数据, 并将该请求通信数据植入发送给主控制器, 等待主控制器回应。若在规定时间内收到完整的应答通信数据, 可做下一步的应答通信数据处理;若超时, 重发该请求通信数据给主控制器, 处理流程详见图8。
对于第 (2) 种若是项目需求需要的数据情况下, 有些命令类型是由多帧返回应答通信数据才能组成一个完整的通信数据, 针对这种情况, 为了简化处理, 先把它归为不是项目需求需要的数据, 再按第 (3) 种情况进行处理。
2.3 设计实现与PC端信息化软件的通信协议
2.3.1 通信方式
采用主从通信, 主机发送数据给从机, 从机应答, 在规定的时间内从机没有应答, 主机重发数据, 在重发超过规定的次数后, 还是没有收到应答, 表示该从机不在线。
2.3.2 帧格式
主机和从机发送的帧格式相同, 如帧头 (FEH) +设备号 (2 byte) +数据报类型 (1byte) +… (数据字节流) +校验和 (2byte) +帧尾 (FDH)
其中:
(1) 校验和为crc校验, 校验和的计算包括除校验和和帧尾外的所有字节;
(2) 数据字节流为变长数据, 可以为空。
2.3.3 帧编码解码
为防止帧中出现帧头、帧尾等特殊字符, 需要发送方对数据帧进行编码, 接收方收到数据帧后进行解码, 使用字符替换方式。
3 实施应用
选取生产谐振滤波器产品的造粒、干压、高温烧结等关键工序的生产装备进行改造, 即造粒塔、大结烧炉、压机等, 系统的实施物理部署如图9所示。
项目以大烧结炉为例来进行阐述。大体处理步骤如下:
(1) 硬件连接:在要改造的大烧结炉按图2改造后的接线 (嵌入式信息代理终端与HMI和主控制器用RS232的串口线, 嵌入式信息代理终端与PC机端用RJ-45的以太网线) , 把图2中的“生产装备”改为具体的“大烧结炉”;
(2) 嵌入式信息代理终端接收来自HMI的请求通信数据 (对应图3中的步骤1) , 如图10;
(3) 嵌入式信息代理终端把图10的请求通信数据转发给主控制器 (对应图3中的步骤2) ;
(4) 嵌入式信息代理终端接收来自主控制器的应答通信数据 (对应图7的步骤1, 尾码即为应答结果, 00表示正常完成, 其他值表示不同错误) , 如图11所示;
(5) 对应图7的步骤2, 把图11的应答通信数据解析出命令类型;
(6) 对应图7的步骤3, 判断命令类型是否为项目需要的;
(7) 对应图7的步骤4, 若是项目需要的, 把图11的读数据解析出来, 从中取出有用的数据 (如:温度、时间、故障类型等) ;
(8) 对应图7的步骤5, 保存有用的数据;
(9) 对应图7的步骤6, 把图11的应答通信数据转发给HMI;
(10) 步骤 (2) ~ (9) 重复N次;
(11) 对应图8的步骤1, 把项目需要的按类似图10格式封装请求通信数据;
(12) 对应图8的步骤2, 把封装好的请求通信数据 (如温度等) 植入发给主控制器;
(13) 对应图8的步骤3, 4, 是否在规定时间接收到完整的通信数据;
(14) 对应图8的步骤5, 按 (7) ~ (8) 步骤处理;
(15) 有用的数据按3.3小节的格式封装发送给PC端的信息化软件。
4 改造技术优缺点对比
对于无数据通信接口并具有智能HMI控制的生产装备数字化改造的几种技术做个对比, 如表1所示。
5 结语
项目研究了“植入转发”数据采集技术, 能适用于大量无数据通信接口并具有智能HMI控制的生产装备数字化改造需要, 该项技术已获得发明专利 (专利号:CN201310269714) , 已成功应用在多款生产装备数字化改造中。通过上表对比, 在改造过程中, “植入转发”数据采集技术为首选, 侦听方式为次选, 硬件信号点监控方式为下下策。
摘要：为满足无数据通信接口的生产装备数字化改造的需要, 研究了“植入转发”数据采集技术。首先分析该技术的产生背景、项目目的, 再详细阐述其内容及应用示范, 最后把该技术和现有改造技术做了对比, 做个简短总结。
关键词：植入转发,生产装备,改造技术,通信数据,HMI,主控制器
参考文献
[1]国务院关于印发工业转型升级规划 (2011-2015年) 的通知国发〔2011〕47号[Z].
[2]张林昱, 通讯员杜文光.广州数控:信息化与工业化深度融合技术创新改造传统企业[EB/OL].时间:2012-06-27 19:20, 来源:南方网.
[3]http://www.pmec.net/bencandy-114-30813-1.htm设备技术改造的三大特点[EB/OL].
[4]陈丽珍, 傅江成.探究离散制造业的数据采集之路[J].自动化博览, 2013 (05) :60-62.
[5]CPM1/CPM1A/CPM2A/CPM2AH/CPM2C/SRM1 (-V2) 可编程序控制器编程手册[Z].欧姆龙公司.
数据采集技术 篇2
【中文摘要】在当今的信息化社会,基于Internet等开放式网络的电子商务活动越来越频繁,个人电子身份认证是未来社会发展的必然趋势。网络信息化的发展使个人身份的信息安全成为现今社会的一个关键问题。身份识别是保护信息安全所面临的一个难题,与传统身份识别方法相比,生物特征识别因为具有防伪性好、便于携带、不易丢失和遗忘等优点而得到了越来越广泛的应用。在线签名识别是一种利用人的生物特征进行身份识别的技术,通过计算机把在线签名的图像、笔顺、速度和压力等信息与真实签名样本进行对比,以实时识别签名的真伪。本文研究的重点是基于四线电阻式触摸屏的在线签名数据采集系统的软硬件设计。采集系统的硬件设计主要包含了数据采集模块、显示模块、USB通信模块和控制模块四个组成部分。其工作原理是通过四线电阻式触摸屏以200Hz的采样频率采集签名者的笔迹信息,并实时传给MCU。MCU将数据进行简单处理后送给显示模块进行笔迹图像的复原,供签名者参考。在这之后将数据通过USB接口传给PC机进行显示和保存,在详细介绍了整体电路设计思想的基础上,还介绍了四线电阻式触摸屏和触摸屏控制器ADS7846的控制方式、液晶控制器SED1335的工作原理以及USB总线...【英文摘要】In modern information society, electronic business that based on the open network called Internet is
becoming more and more popular.Nowadays the development of network information makes the information security of individual status to become a key question.Identity verification is a problem which information security faces.The biometric identification has obtained more widespread application because it has some advantages compared with traditional identity verification, such as the security is good, easy...【关键词】数据采集 签名识别 USB通信
【英文关键词】Data acquisition Signature identification USB 【目录】基于USB接口技术实现在线签名的数据采集和通信摘要3-4ABSTRACT4-5
第一章 绪论8-16
1.1 生物特征识别技术概述8-10背景和意义88-10
1.1.1 生物特征识别技术的产生
1.1.2 主要的生物特征识别技术及优势比较
1.2.1 1.2 在线手写签名识别技术的概述10-13在线手写签名识别技术在国内外研究现状10-12题的研究意义12-1313-1613-1616-20
1.2.2 本课
1.3 课题的主要工作与论文组织
1.3.2 论文组织1.3.1 课题的主要工作13第二章 在线签名数据采集和通信系统的总体设计2.1 系统方案总体设计框架16-17
2.2.1 数据采集模块
2.2 系统硬2.2.2 显示模块件构成17-20
17-1818-2020-3820-212.2.3 USB通信模块182.2.4 控制模块第三章 在线签名的数据采集和通信系统的硬件设计3.1 数据采集模块20-29
3.1.1 触摸屏介绍
3.1.3 3.1.2 电阻式触摸屏的工作原理21-23触摸屏控制器ADS784623-2727-29293.2 显示模块29-33
3.1.4 ADS7846控制电路设计
3.2.1 SED1335的特点
3.2.3 SED1335的指令
3.3 USB3.2.2 SED1335的结构29-31集31-323.2.4 SED1335控制电路设计32-33
3.3.1 USB总线介绍34通信模块33-38优点34-35
3.3.2 USB总线
第四4.1 系统4.2.1 4.2.3 USB
3.3.3 USB接口芯片及控制设计35-38章 在线签名的数据采集与通信系统软件设计38-70软件设计组成部分采集子程序39-41通信子程序45-5151-70
4.2 固件程序开发38-514.2.2 显示子程序41-45
4.3 上位机主要驱动程序的开发和设计
4.3.2 即插即用管59-60
4.3.4 I/O控
第五章 4.3.1 人机界面设计51-58
4.3.3 电源管理模块理模块58-59制模块60-61结束语70-7271-72致谢
4.3.5 动态链接库的实现61-705.1 工作总结70-7172-74
参考文献
数据采集技术 篇3
随着电力体制改革、社会经济发展及通信技术的进步，对于电网数据采集与控制方面的问题，国内外学者已进行相关研究。
2008年11月，美国IBM公司提出“智慧地球”概念，运用感知技术将物品与互联网连接，从而实现智能电网、智慧物流等智能系统。丹麦电力公司于2009年启动了一项家庭能源管理系统（Home Energy Management System，HEMS）工程，并制定了一套电动汽车、电网互动（Vehicle-to-Grid，V2G）计划，将智能电网的概念逐步实现。日本电网的建设中已贯穿物联网技术，从发电站到各配电网都具有现成的传感器网络与通信网络，可以实时监控电力情况。
然而，国外的实施方案并不适用于国内复杂的用电现状。而在国内，针对普通用户的双向互动用电服务研究也已经开展，但针对电动汽车运营、分布式发电管理、移动营销等新型双向互动业务的数据采集和通讯技术还不够成熟，存在着采集方式多、位置分散、数据量庞大、信息共享困难等问题。
为解决上述问题，本文针对新型互动业务，研究双向互动业务对数据采集、执行器控制、信息通讯的技术要求，为提升电力公司和用户间的双向互动能力，进而提高供电可靠性与用电效率，提升供电企业服务水平。
1、双向互动服务的数据采集要求
按照电力用户性质和营销业务需要，用电信息采集系统中采集的主要数据类型有以下6种。
①电能数据：系统能采集每月、每日和当前有功及无功电能量累积值、分时有功电能量累积值、有功及无功电能量曲线等。采集的数据具体包括总电能示值、各费率电能示值、总电能、各费率电能、最大需求量等。
②交流模拟量：电流、电压、无功、有功、功率因数等。
③工况数据：系统能量采集计量装置工况、终端运行工况、开关状态等，这样可以了解用户用电情况尤其是异常情况，可以及时处理。采集的数据具体包括开关状态、终端和计量设备工况。
④电能质量越限统计数据：电压、功率因数、谐波等越限统计数据。
⑤事件记录数据：系统将自动记录负荷越限、控制、工况变化、运行异常和操作等事件。
⑥其他数据：预付费信息等。根据智能电网的发展，用电数据采集系统具备设置全面预付费的客户用电管理模式。全面预付费管理由主站、终端、电表多个环节协调执行，可采用主站预付费、终端预付费、电表预付费等多种形式。
2、双向互动服务的执行器控制要求
通过远方定值设置功能，完成遥控或当地闭环控制。包括：遥控、功率定值闭环控制和电能量定值闭环控制。
收集和分析客户端电量数据为供需平衡提供决策依据；为客户提供合理使用电能、提高用电效率和数据分析的技术指导；为判断供电故障提供基础数据。实行远程抄表、电费回收、电能计量、实时监测，为电量电费结算、电能计量装置的技术管理和用电异常分析提供数据。以数据采集的同时性、广泛性、实时性和多样性为电力营销管理与分析决策提供技术支持。
3、双向互动服务的通信技术要求
在配电方面要实现高效、可靠、灵活、优质的电力配送，增强接纳分布式能源的能力。在用电方面要实现电网与用户间的实时交互。
执行远程抄表、电费回收、电能计量、实时监测，为电量电费结算、电能计量装置的技术管理和用电异常分析提供数据。
4、结论
本文通过对国内外现有智能电网中数据采集与控制现状的分析，指出其针对电动汽车运营、分布式发电管理、移动营销等新型双向互动业务的数据采集和通讯技术不够成熟的局限性。研究双向互动服务数据采集与控制技术，从而为提升电网与用户侧双向互动能力提供参考。
（作者单位：1.南瑞集团公司（国网电力科学研究院）；2.国网山西省电力公司长治供电公司）
作者简介
杨永标（1978-），男，高级工程师，研究方向为配电与用电管理.
网络视听媒体数据采集技术研究 篇4
关键词：网络视听媒体,数据采集,爬虫
1前言
网络视听媒体业务近几年发展迅速, 视频节目也占用了超过六成的网络流量。就国内而言, 目前形成规模的网络视频运营商超过10家, 以优土爱奇艺、腾讯、乐视为主导的视频服务第一阵营更是囊括了目前能够找到的主流电影以及电视剧节目。虽然近年国家行政部门一直在进行网络视听媒体内容的数据汇总工作, 包括要求运营商定期上报部分运营数据, 但是因为互联网业务更新的频繁性和试听节目内容有效性短等因素, 一直无法做到统计数据的准确性。为此, 国家新闻出版广电总局广播科学研究院 (简称“广科院”) 尝试采用互联网爬虫的方式对主流视频网站节目信息进行定期扫描和爬取, 一方面将收集到的节目数据进行归一整理, 结合广科院在视听媒体内容元数据方面的研究成果, 将节目信息进行统一规范, 为行业的网络视听媒体内容描述提供指导;另一方面, 将所关注视听媒体服务网站的节目内容信息进行分类统计, 及时了解产业规模, 为管理部门提供数据依据。
2采集爬虫设计
为了能够有效采集音视频服务网站提供的节目内容信息, 主要采用爬虫技术和页面分析技术。我们将目标网页和收集到的网页信息进行下载, 并存储在专用的数据库中, 页面分析引擎会对目标网页进行分析, 按照我们设置的规则从HTML代码结构中提炼和确定有用的数据, 并把提取数据进行存储, 在我们所构建的数据采集系统中, 爬虫和数据分析作为一个整体存在。
因为商业网站改版频繁, 页面代码经常在组织架构上进行变化, 这就使得页面爬虫必须不断更新以适应目标页面的变化。另一方面, 为了提高数据采集的覆盖度, 我们会同时关注数个网站, 从而需要对每个目标网站构建专门的爬虫规则, 所以爬虫的智能性和效率直接影响数据采集系统的准确度和效率。
目前互联网爬虫在技术方面已经有比较深厚的积累, 市面上也有各种各样的爬虫工具, 但是不论是标榜通用的爬虫产品还是特别针对某些平台定制的采集工具, 功能界面形色各异, 但是本质上万变不离其宗, 最为典型的采集流程如图1所示, 分为四步。
步骤1:确定目标, 也就是采集的数据源, 选定初始URL入口。
步骤2:对目标数据源集合进行迭代, 获取URL列表。
步骤3:对取得的URL网页源代码进行结构分析, 按设计好的采集规则遍历页面, 从中取得我们需要的数据信息。
步骤4:对取得的数据做过滤并进行存储, 进行统计分析。
无论功能如何多样, 实现如何复杂, 爬虫采集技术始终都是围绕这4个核心步骤进行工作的。但是每一个步骤, 在细节上并不是一成不变的, 会根据采集目标的差异而各有不同。爬虫是否能够很好地满足这些需求, 则直接体现爬虫的性能与品质。判断一款爬虫软件的价值, 不是看界面如何华丽, 功能如何多样, 而是看所使用的爬虫软件在实现四个步骤时所具备的效率及性能。
2.1爬虫技术分析
常见的爬虫技术按照取得源代码的方式分为静态与动态两种:静态爬取技术是一种比较初级的技术手段, 通常使用各种编程语言模拟HTTP请求取得网页的源代码文本, 网页中的各类资源不会像在浏览器中一样被加载, 脚本也不会运行, 优点是采集速度较快, 缺点是无法采集使用Ajax加载的数据;动态爬取技术通常基于各种浏览器内核, 被爬取的页面通过浏览器内核进行渲染, Java Script脚本也可以得到执行, 优点是页面中使用了Ajax技术的数据也可以顺利加载, 缺点是采集过程需要加载大量页面的图片/脚本/样式资源, 采集效率不如静态爬取技术, 对采集服务器配置及其网络带宽要求较高。
常见的采集技术按照数据源分析方式分为静态分析与动态分析两种:静态分析技术一般与静态爬取技术搭配使用, 通过模拟HTTP请求方式取得网页源代码后, 使用正则表达式或者截取字符串的形式取得网页中有价值的数据, 优点是比较直观, 容易上手, 缺点是脱离了对原网页文档结构, 以文本形式很难精准地定位所需数据位置;动态分析技术又分为编程语言分析和运行时脚本分析两种。
2.2爬虫技术规划
主流的爬取技术是动态爬取+动态分析, 虽然各种爬虫产品都采用了类似的技术, 但并不存在一个能够通吃所有数据源的爬虫系统。
针对网络视听媒体服务机构众多, 页面组织格式各不相同的情况, 在进行爬虫定制时需要灵活的策略。
现有主流解决方案主要有三种。
(1) Python或其他程序设计语言模拟HTTP请求, 使用正则表达式或截取字符串方式进行采集, 这种本质上就是静态爬取+静态分析技术, 在目前很多网络技术文章中占有较大的比重, 但正如前文所述技术缺点非常明显, 并不具备复杂数据的采集能力, 且代码量可观, 维护难度很大。
此方案的特点是:采集技术简单, 占用资源低, 不能采集Ajax页面不能进行复杂数据结构的分析, 需要写正则表达式, 有一定的难度。
(2) C++或C#等语言使用MFC或嵌入CEF或Cef Sharp/Web Kit, 通过这些组件加载网页, 并使用上述语言获取其页面代码进行分析, 这种方式具备了采集Ajax页面的能力, 但因为组件与调用语言之间交互必须通过接口, 代码实现复杂, 所以在分析方面存在短板, 并且像浏览器一样存在频繁加载页面后资源无法及时回收导致内存高速膨胀的情况。
此方案的特点是:采集技术复杂度高, 需要处理很多细节, 占用资源高, 采集速度慢, 分析多采用静态分析技术或动态分析技术中的程序设计语言分析 (XPath) , 分析能力较差。
(3) nw.js/phantomjs等独立浏览器, 不依赖第三方的语言调用, 有一定的程序设计能力, 编写好的采集脚本可直接通过自宿主运行, 采集及分析在一个宿主环境中执行, 可以执行js代码或动态修改页面信息, 甚至可以模拟手动点击等操作, 功能非常强大, 同时诸如phantomjs还包含有丰富的第三方封装, 可以提高采集代码编写效率, 但缺点是调试非常不友好, 受制于自身程序设计能力, 如果想用于实际项目还需要与其它语言进行组合使用, 但因为自身属于独立运行环境与其它语言数据交互就很麻烦。
此方案的特点是:采集性能比较一般, 但分析能力十分强大, 存在内存回收效率低下问题, 调试异常麻烦, 虽然有第三方封装, 但封装采用的依然是独立执行程序, 调用非常不友好, 需要借助额外的桥接驱动才可以在Python C#等语言中进行调用, 但调用后等于使用了多层封装, 灵活性大打折扣, 在并行采集调度方面也存在技术难题。
针对上面三类目前爬虫技术的主流解决方案的对比了解, 方案3是目前比较新的方案, 有很好的发展潜力, 但缺点是采集流程中如果涉及到与其他语言进行交互, 复杂系数就会大大提升, 对开发难度与维护成本加大;频繁的进程创建也会导致性能降低, 而且学习成本较高。尽管如此, 它仍是目前能够采用的最好的解决方案。
因为解决方案3还存在一些问题, 所以在开发的时候结合采集目标对爬虫的整个流程进行改造, 以实现即得到其强大且灵活的分析能力, 又能够满足前述的各个特性的目的。
2.3页面爬取目标分析
为了对目标网站页面进行持续的爬取和分析, 需要建立一套完善的爬取机制以保证爬虫的稳定和高效运行, 因为互联网网页信息依靠超链接进行跳转和信息传递的属性, 在遍历页面数较多、内容量大的网站时, 需要思考如何对爬取的初步数据进行缓存, 确保爬虫高效工作和运行稳定。
在设计爬虫之初, 选定需要采集的目标, 作为爬虫设计的基础参照, 在这里以优酷视频为例。
通常我们登录在线音视频服务网站, 可以依据服务页面的布局和引导选择自己感兴趣的节目并进行在线播放, 内容的呈现和检索页面是进行网络视听媒体服务的直接门户。节目内容信息的获取主要来源就是进行内容服务的页面, 而进入到内容页面需要进过至少三个层级的URL, 即检索首页、分类组合列表页、内容页, 所以内容页面爬虫程序需要对这三层URL进行探查和取得页面后分析页面源码, 获取相应数据和翻页提取, 并且取得下一级别入口。
在进行页面爬取的过程中, 电影和电视剧在各大在线音视频服务网站均作为一级分类存在, 需要分别进行子栏目和内容爬取。在电影和电视剧的分类导视页面, 可以定义为按照上映地进行内容遍历, 也可以按照目标导视页面的分类方式, 以年代、区域等为划分依据进行节目播放爬取。为了保障将每个平台下的全部节目信息完整爬取, 我们需要将多种划分方式结合使用, 因为这些商业网站节目在各类题材中是交叉重复的, 所以我们爬虫需要在获取到初步数据后, 设置相应过滤规则进行去重操作, 避免爬取的数据重复。
我们预设的采集类别为电影以及电视剧栏目, 因各大平台都提供了垂直搜索功能用于检索其视频资源, 这可以作为我们理想的采集入口。
2.3.1分析所有列表页
一般无特别情况我们只需要对入口做分页采集最终汇总数据即可, 但经过检查测试发现, 优酷对检索结果做了最大结果数限制:对于每种筛选条件的组合最大结果数为1218条, 这样直接导致电影和电视剧最多都只能各采集到1218条记录。为了能够获取到所有的电影电视剧资源, 我们需要增加筛选条件, 缩小结果集, 例如“电视剧-大陆”的筛选条件超过了1218条结果, 而“电视剧-大陆-武侠”的结果数为1064条, 这样就不会超过限制。
所以爬虫这里设计应该添加了一个步骤, 首先通过前面提到的3个入口进入列表页, 分析出所有“地区+类型+状态”的组合页面, 再对这些页面进行分页采集处理。以电视剧为例, 最终采集的列表首页从2个增加到了306个, 总页面访问次数达到1100余次, 经测试取得去重后电视剧数量达到了6200余部。
2.3.2页面详细信息分析
我们需要爬取的数据模型为电视剧:节目名称、海报、上映地、上映时间、题材类型、基础类型、导演、演员、简介摘要、分集数、播放地址。电影模型:节目名称、海报、上映地、上映时间、题材类型、基础类型、导演、演员、简介摘要、播放地址。
爬虫要如何取得节目名称/海报及详细信息页面地址?所谓取得节目名称即取得视频的标题信息和详细信息页面地址, 因为在爬虫工作环境中, 不是以导视页面在进行页面分析的, 爬虫系统需要分析的是页面对应的源码, 互联网的网页遵循HTML相关标准, 在内容和组织上有其特定的格式, 爬虫在分析源码的时候可以获取到节目名称、海边以及进入详细信息页面的地址。
如图2所示, 红色圈中部分是我们需要取得数据, 将鼠标指针置于图片右键使用Chrome的元素审查工具 (IE或Firefox等类似) , 得到图3。
我们发现海报是使用一个Img元素进行描述的, 而节目名称与详情页的链接地址都包含在另外一个A元素中, 我们只要能够取得这两个元素, 通过其属性就可以得到我们需要的信息 (节目名称、海边、详情页地址) , 这样我们在爬虫规则设置的时候定义分析源码, 对于每个列表页, 都是取得列表页中所有包含了这2个信息的元素集合就可以完成我们采集的第二层数据。
3采集系统策略
根据对采集目标的分析, 并进行了多组数据实验, 综合其他爬虫软件弊端, 我们把爬虫采集策略设计成螺旋式分布算法, 逐层剥取数据, 最终组成完整的数据模型。如图4所示。
该采集策略比普通的垂直采集更具优势, 一是在采集效率上, 要更加高效, 采集速度将几何级别提高。普通采集通常是采用目标模型整体采集, 一个完整数据采集, 需要打开多层URL, 并逐个去获取, 每一层URL页面结构都不同, 工作过程来回跳转加载页面, 这对爬虫分析页面代码非常的低效。而我们采用螺旋式采集, 把一个数据模型按页面层次划分为同一类型进行螺旋采集, 使我们的爬虫每一次工作的时候都是采集同一类型的URL, 不需要进行跳转加载, 效率相对来普通的采集提高十几倍甚至是几十倍。
二是容错性更强。普通采集模式是整个数据模型单位进行采集, 过程中会涉及几类URL页面, 只要在任意一个位置出错, 整个数据单位的采集进算是失败, 重新启动又需要重头再进行一次, 不管是效率上还是在容错性上都非常差。而我们采用的螺旋式采集策略, 采集过程中在螺旋结构任意一个节点出错, 仅是整个数据单位中的一个小节点错误, 可即时重试, 系统设计是多线程工作, 消耗的时间非常少, 除了网页本身问题可以保证100%采集成功, 退一步来讲, 就算是遇到特殊情况某一节点数据失败, 对于整体数据单元来说, 并没有太大的影响, 在下一次的更新采集中, 会重新对数据补全。
4总结
数据加密技术 篇5
幸运的是，在所有的加密算法中最简单的一种就是“置换表”算法，这种算法也能很好达到加密的需要。每一个数据段(总是一个字节)对应着“置换表”中的一个偏移量，偏移量所对应的值就输出成为加密后的文件。加密程序和解密程序都需要一个这样的“置换表”。事实上，80x86 cpu系列就有一个指令‘xlat’在硬件级来完成这样的工作。这种加密算法比较简单，加密解密速度都很快，但是一旦这个“置换表”被对方获得，那这个加密方案就完全被识破了。更进一步讲，这种加密算法对于黑客破译来讲是相当直接的`，只要找到一个“置换表”就可以了。这种方法在计算机出现之前就已经被广泛的使用。
对这种“置换表”方式的一个改进就是使用2个或者更多的“置换表”，这些表都是基于数据流中字节的位置的，或者基于数据流本身。这时，破译变的更加困难，因为黑客必须正确的做几次变换。通过使用更多的“置换表”，并且按伪随机的方式使用每个表，这种改进的加密方法已经变的很难破译。比如，我们可以对所有的偶数位置的数据使用a表，对所有的奇数位置使用b表，即使黑客获得了明文和密文，他想破译这个加密方案也是非常困难的，除非黑客确切的知道用了两张表。
与使用“置换表”相类似，“变换数据位置”也在计算机加密中使用。但是，这需要更多的执行时间。从输入中读入明文放到一个buffer中，再在buffer中对他们重排序，然后按这个顺序再输出。解密程序按相反的顺序还原数据。这种方法总是和一些别的加密算法混合使用，这就使得破译变的特别的困难，几乎有些不可能了。例如，有这样一个词，变换起字母的顺序，slient 可以变为listen，但所有的字母都没有变化，没有增加也没有减少，但是字母之间的顺序已经变化了。
但是，还有一种更好的加密算法，只有计算机可以做，就是字/字节循环移位和xor操作。如果我们把一个字或字节在一个数据流内做循环移位，使用多个或变化的方向(左移或右移)，就可以迅速的产生一个加密的数据流。这种方法是很好的，破译它就更加困难!而且，更进一步的是，如果再使用xor操作，按位做异或操作，就就使破译密码更加困难了。如果再使用伪随机的方法，这涉及到要产生一系列的数字，我们可以使用fibbonaci数列。对数列所产生的数做模运算(例如模3)，得到一个结果，然后循环移位这个结果的次数，将使破译次密码变的几乎不可能!但是，使用fibbonaci数列这种伪随机的方式所产生的密码对我们的解密程序来讲是非常容易的。
数据采集技术 篇6
关键词: OPC RX7i RSView32 通讯
中图分类号: TP1文献标识码: A文章编号: 1007-3973 (2010) 04-085-02
1 引言
当今,软件在自动化领域内使用的重要性与日俱增。无论项目是否涉及到操作、可视化、数据存档或控制,向纯粹的、基于PC的软件解决方案的发展趋势是不可阻挡的。时间已经证明,这些软件解决方案不再是开发单个的块,而是由专用的单个软件组件组成。采用可重复使用的模块以及利用这些模块所具有的柔性构成整个系统,其能力似乎是没有什么能替代的,唯一例外的是通信接口的不兼容性。用于适配通信接口的时间和资金是必需要投入的,其目的是将这些软件模块组合在一起。
随着OPC技术的日臻成熟,其在过程数据采集、历史数据访问、报警和事件处理、数据冗余技术等方面得到了越来越广泛的应用,正在逐步取代串行通信方式和DDE方式,而成为过程控制系统通信的标准。
美国GE Fanuc自动化公司的RX7i系列是建立在一个标准的嵌入式开放式结构上,具有突破性意义的可编程控制器(PAC)家族的第一成员。RX7i的单一控制引擎和通用编程环境能提供在多个硬件平台上的应用可移植性。
RSView32?是基于Windows环境(支持Windows 2000)的工业监控软件。利用RSView32可以广泛的和不同的PLC-包括第三方的PLC建立通讯连接,建立广阔的监控应用。
2 OPC数据通讯技术
OPC是基于Microsoft公司的Distributed interNet Application (DNA)构架和Component Object Model (COM)技术的,根据易于扩展性而设计的。OPC规范定义了一个工业标准接口,这个标准使得COM技术适用于过程控制和制造自动化等应用领域。
OPC全称是OLE for Process Control,是过程控制业中的新兴标准。OPC新技术标准的出现为数据采集接口和现场过程控制PLC系统应用建立了桥梁。在过去,为了实现不同生产装置的PLC系统和数据采集接口之间的数据通信,必须要花费很多时间去开发专用的通信接口程序。在这种情况下,OPC标准应运而生。OPC以OLE/COM/DCOM机制作为应用程序级的通信标准,采用客户/服务器模式,把开发访问接口的任务放在硬件生产厂家或第三方厂家,以OPC服务器的形式提供给用户,解决了软、硬件厂商的矛盾,完成了系统的集成,提高了系统的开放性和可互操作性。
OPC是以OLE/COM机制作为应用程序的通讯标准。OLE/COM是一种客户/服务器模式,具有语言无关性、代码重用性、易于集成性等优点。OPC规范了接口函数,不管现场设备以何种形式存在,客户都以统一的方式去访问,从而保证软件对客户的透明性,使得用户完全从低层的开发中脱离出来。
基于OPC的软件结构如图。
由图可见,应用程序与OPC服务器之间必须有OPC接口,OPC规范提供了两套标准接口:Custom标准接口,OLE自动化标准接口。通常在系统设计中采用OLE自动化标准接口。
OLE自动化标准接口,及采用OLE自动化技术进行调用,其技术为上节所述的OLE自动化技术。OLE自动化标准接口定义了以下三层接口,依次呈包含关系。
OPC Server:OPC启动服务器,获得其他对象和服务的起始类,并用于返回OPC Group类对象;
OPC Group:存储由若干OPC Item组成的Group信息,并用于返回OPC Item类对象。
OPC Item:存储具体Item 的定义、数据值、状态值等信息。
由于OPC规范基于OLE/COM技术,同时OLE/COM的扩展远程OLE自动化与DCOM技术支持TCP/IP等多种网络协议,因此可以将OPC客户、服务器在物理上分开,分布于网络不同节点上。
OPC规范可以应用在许多应用程序中,如它们可以应用于从SCADA或者DCS系统的物理设备中获取原始数据的最低层,它们同样可以应用于从SCADA或者DCS系统中获取数据到应用程序中。实际上,OPC设计的目的就是从网络上某节点获取数据。OPC的客户/服务器关系图同样描述了OPC在SCADA系统的应用。
3 OPC技术在过程数据读写中的应用研究
兰州七里河污水处理厂是甘肃省兰州市重点工程项目,它的竣工为兰州人民在节能减排,治理污染做出了突出的贡献。通过建立一套完整的SCADA系统,整个污水处理厂的自动控制系统,并综合考虑与无线电调度系统、公司企业内部网络的衔接,建立自控系统、调度系统、企业内部网(Intranet)系统三位一体的综合管理与控制系统。
根据水处理厂设备分类和控制要求,污水处理厂自控系统包括:提升泵站PAC1、鼓风机房站PAC2(包括生物曝气池,二沉池)、加药站PAC3(包括回用水)和中心控制室组成。系统由管理层、控制管理层、现场控制层三层组成,控制系统结构采用集散型控制系统。
GE Fanuc自动化公司的RX7i系列PAC构成全过程自动控制系统;采用工业以太网网络在PLC之间及PLC与过程控制计算机之间建立连接;使用GES OPC Server实现控制网络的组态和优化;使用组态软件RS View32开发监控系统人机界面,完成对全过程生产信息的采集和管理。
与RX7i系列PAC配套的通信组态软件GES OPC Serve以及监控系统组态软件RS View32均提供了对OPC服务器的支持,用户只需对其进行简单的配置,即可使用相应当OPC服务器。
GES OPC Serve中OPC服务器的配置在完成对通信网络的组态及优化之后,单击GES中的Configure项即可打开如图所示的配置界面。在对话框中反键点击Server Configuration单击Define New,选中Ge TCP/IP Channel单击“OK” 输入合法的name名,输入配置好的IP地址,选中“Enabled”,单击“OK”按钮即可。
这样,就完成了对GES OPC Serve中OPC服务器的配置 ,配置后的服务器名为GES OPC Server,客户端读取的OPC数据项为[Topic]Itern。
RS View32中OPC服务器的配置更为简单,只需在对项目进行“启动”(startup)配置时,在startup页面中选择”OPC/DDE Server”选项,使得在运行项目的同时启动RS View32作为OPC服务器的功能即可、此时,OPC服务器名为RSI.RS View32OPCTagServer,而客户端读取的OPC数据项即是在标签数据库(Tag Data base)中组态的标签名(Tag Name)。
在完成对OPC服务器的配置,并运行该服务器之后,可通过在RS View32中新建Tag对该服务器进行测试。测试过程十分简单,只需连接相应的服务器,并添加配置好的组(Group)及数据项(Item)即可。
4 结束语
随着自动化技术的飞速发展,自动化软硬件设备的种类越来越多,更新周期也越来越短,OPC技术作为适应工业控制向着开放系统发展的产物以及一项崭新的开放式数据交换技术,给工业控制软硬件的发展带来了巨大的影响。使用0PC技术和过程监控系统进行数据交互,将先进的控制算法用于复杂工业对象的控制,提高了控制效果,并实现了企业的经济效益。
参考文献:
[1] OPC Data Access Specification 1.0A[S].OPC Fundation,1997.
[2] OPC Overview 1.0[S]. OPC Fundation,1998.
[3] OPC Common Definations and Interfaces 1.0[S]. OPC Fundation,1998.
智能反窃电数据采集技术与应用 篇7
1 窃电问题现状分析
近年来, 随着国家电网公司营销用电采集系统的运用, 特别是智能电表的应用以后, 以前不容易统计的台区线损现在每日都可以统计, 每个用户一天的电量也能查询。通过技术分析, 一些窃电用户也容易被发现。据统计, 笔者所在的县公司在2014—2015年这两年间共查获窃电案件150多起, 其中居民用户窃电案件最为严重。经过一段时间打击后, 窃电行为减少了很多, 但总也不绝迹, 也有了新的变化, 主要表现为窃电过程隐蔽化、窃电手段高科技化等。像晚上的挂钩方式窃电、进户管线里接线窃电方式等变得难以快速查处, 浪费了大量的人力和物力。在无目标窃电户的情况下, 只能通过大海捞针的方式对整个台区进行拉网排查。但由于排查面过大、用电检查人员不够、地形等情况复杂、惊动窃电人员已自行解除等因素, 反窃电效果并不很理想。
2 智能反窃电数据采集系统设计
2.1 原理
该装置最主要的功能是通过用电量的对比, 将顽固难查的窃电户的范围缩小到一个小范围后, 再采用出其不意的人海战术查出窃电户。该装置安装在台区低压线路主线下面的分支线路入口处采集此分支线路的电量, 每天将此电量与用电信息采集系统自动采集的此分支线上的用户总电量进行对比, 如有差别则判断此分支线上有用户窃电, 则可进一步按小时采集分析情况。之后因为分支线上的用户不多, 我们此时可采用人海战术予以相对精准的查处。如果两处电量没有差别, 我们就换到其他分支线路上或同时在多路分路线路上进行电量采集, 直至找到窃电户。
2.2 系统组成
智能反窃电数据采集器主要由高精度开口式电流互感器、专用计量IC、主控芯片、高精度时钟IC、无线模块等组成。
(1) 高精度开口式电流互感器。采用开口式互感器, 一是因为安装该装置时不会造成停电;二是能快速安装不会惊动窃电户导至的窃电行为中止而使反窃电行动做无用功。为了减少因互感器误差引起的电量误差造成判断错误, 我们采用了0.2级的电流互感器来满足计量需求, 同时我们也准备了几组不同电流比的电流互感器以适应不同用电电流的分支线路来提高采集精度。
(2) 专用计量IC。采用成熟的专用计量IC, 可减少芯片数量、电路板面积、电路设计时间、程序编制难度, 提高测量精度。
(3) 高精度时钟IC。采用高精度时钟芯片才能确保采集到的分支线电量与用户电能表电量是同期数据。我们采用爱普生公司内置晶体的R8025时钟芯片, 日误不大于1 s。
(4) 无线数据传送模块。因为传输的信息量并不大, 我们采用SMS短信来传送信息, 利用移动通信公司无处不在的信号, 采用高增益的外置天线, 绝大部分地方就无需考虑信号死角问题, 方便使用。
3 现场安装应用
(1) 现场安装:该装置有外设线长为1.2 m的3个开口式电流互感器和4个电压夹子。如需对可疑分支线进行测量, 只需将装有智能反窃电数据采集器的小箱子挂在分支线分接箱等的边上, 将标有A/B/C相序的3个开口式电流互感器分别按A/B/C相顺序夹入分支线, 夹入时还需注意相位关系, 不要夹反了。同时应注意钳口要闭合, 不得有异物进入活动钳口。之后再将4个电压夹子按标记夹住A/B/C/零就可以了。实际安装时, 由于操作方法简单, 可以在短时间内就安装好。
(2) 具体应用:智能反窃电数据采集器安装上电后, 会回传一个包含时钟信息和各相电流、电压信息的短信, 以方便我们判断采集器是否正常工作和安装是否到位。如发现时钟误差较大就需上传校正短信进行调整, 利用短信里面包含的基站发出的时钟信息进行校正, 最大误差不会超过10 s, 完全满足电量采集需要。智能反窃电数据采集器在每天过零点时自动采集一次上一日的用电量数据并保存。在第二天8点后利用短信回传上一日的各电量信息, 这样我们就可以和这条支线上所有用户在营销系统里的总电量进行对比, 如有差别就可认为存在窃电的嫌疑, 连续一段时间的观测一定可以判断是否存在窃电用户。如需当前的电量信息, 我们只需发出相应的短信指令就可以得到分支线路当前的电量、电压、电流等参量, 结合营销系统的数据就可以分析任意时段内用电信息, 这样有利于分析窃取电量的时间和其他特性, 便于更精准地找出窃电户。因为分支线路一般用户都不会很多了, 这样就可集中精力分析可疑情况、可疑用户, 再采取小范围的人海战术就可找出窃电户。
4 窃电案件实例分析
笔者公司下属的某供电所的一个台区低压线损超出合理损耗, 所里多次组织人员进行反窃电排查, 都没有查到窃电用户。在采用该装置对其几条分支线电量和分支线上用户电量进行对比后, 最终在某分支线路发现分支线总电量与用户电量存在较大差别, 经过多日跟踪对比分析确认这条分支线上有用户窃电。并且分析出了其窃电时间基本从晚上20点之后开始, 早上8点钟之后消失。于是晚上10点集合了全所力量对这条分支线路的电表箱、分接箱进行拉网式检查, 结合先前的分析数据, 仅用了7 min就找到窃电位置, 有两根6平方的铜导线挂接在一间无人居住房子外墙上分接箱里, 并顺着墙入地。我们用工具沿着入地导线开挖, 接着用了10 min就找到了真正的窃电户。原来窃电户采用晚上将导线挂在分接箱处, 早上又将其取下的方式窃电, 由于采用两根导线窃电、窃电的线路又是独立用于几个功率大的用电器。因此智能电表上传的数据里相线和零线电流是平衡的, 按常规分析并不能发现此用户窃电, 2016年3月20日的电量对比见表1。
5 结语
实践证明, 采用智能反窃电数据采集器可相对精准、快速地找出窃电户, 有效减少人力和物力的投入。特别是对隐蔽强窃电行为更有效果, 能够促进反窃电工作质量及效率的提升, 有效震慑潜在窃电的用户, 维护正常的供用电秩序。
参考文献
[1]周金飞.用电信息采集系统[J].农村电气化, 2012 (9) :43-44.
计算机数据采集与处理技术 篇8
1 数据采集与数据处理
所谓数据采集, 主要是指从传感器等设备中获取模拟数字的非电量或者电量信号, 传输至上位机设备中进行全面、系统化分析和处理。数据采集与数据处理系统是建立在计算机软硬件基础之上的一种灵活性测量系统[1], 而数据处理, 是从海量、杂乱无章的数据当中提取或者推导出一些对于人们而言具有重要价值的数据。
2 数据采集技术
2.1 系统组成
目前, 计算机采集技术随着信息技术的进步得到了长足发展, 采集系统在医学、工业等多个领域随处可见。数据采集系统主要由传感器、放大电路、滤波器及转换器等多个部分组成, 任何一个独立设备都具有属于自己的功能。其中传感器, 能够将外界模拟量转换为计算机可以识别的数字量, 为数据分析和处理奠定坚实基础。放大电路通过晶体管的放大处理后, 将放大与缓冲输入信号。滤波器主要是避免信号传输过程中外界因素的干扰, 实现对数据信息的保护, 提升输入信号的信噪比。可见, 上述设备共同构成了完整的系统。
2.2 系统特征
计算机在实践中仅能够处理数字量, 多数情况下, 执行机构仅能够接收模拟量, 基于此, 需要对尚未输入的数据进行相应转换和处理, 主要通过A/D转换器将模拟量变为数字量, 当信息传入到执行机构后, 还需要将其转换回来。一般来说, 由于计算机对于采样过程的处理速度很快, 而模拟量的变化速度却存在一定滞后性, 所以, 一台计算机采样过程中需要处理多个参数[2]。为了提高参数采集独立性及完整性, 在实践操作中, 还需要通过不同的开关控制相应的参数量。
另外, 数据采集时, 如果模拟量发生了变化, 在很大程度上会影响计算机的采样精度, 尤其是同步系统运行过程中, 多个不同的参数量同时提取瞬态值, 无形中增加了计算机的运行压力。
3 数据处理技术
数据处理技术的运行需要计量单位, 了解计量单位能够更为高效地处理相关信息, 并从中获取有帮助的信息。现阶段, 计算机中的信息都采取字节的形式进行采集、存储及处理, 字节也是最基本的计量单位。在UTF-8 编码当中, 英文字符= 一个字节=8 位 (bit) , 一个位等同于二进制码中的0 或者1。而存储容量一般会采取KB、MB、GB等表示, 各个单位的转换关系如下:
ASCII码作为现代计算机通用的单字节编码系统, 无论是图片、文字还是图像等都能够全面反映在系统当中, 而在该系统当中, 一个字符等于一个字节, 汉字等同于两个字节。如在日常生活中常见的硬盘, 容量为1MB软盘, 能够存储字符数1 048 576 个, 汉字为524 288 个[3]。
数据处理的重要基础是了解数制转换规则。一般来说, 为了规范数据采集、处理工作, 一般划分二进制、八进制等多个进制转换方式。运用这些数制表示数字时会将英文字母代号标记在后面。在实际工作中, 常用的是二进制数制, 因此需要掌握其他进制转换为二进制的方法。针对十六进制来说, 其中每一位都包含了十六个数码, 而四位二进制数码共有十六位数, 因此, 可以进行相互转换。如8AH=10 001010B。在数据处理过程中, 涉及到的进制转换方式有很多, 要想真正了解和掌握数据处理技术, 还需要进一步研究。
4 智能化系统的构建
科学技术飞速发展, 智能化技术随之出现并得到了应用, 其在数据采集及处理系统中的应用, 显著提升了数据采集及处理有效性。智能化技术在原有技术上有所突破, 对原有系统中的一些设备进行了相应调整, 如引进了智能化数据采集设备, 装置将AT89C51 单片机作为基础, 通过地址编码等电路构成数据系统[4]。智能化系统运行过程中, 数字转换电路将获取到的数据信号转换为数字模拟信号后, 经过串行接口输送给单片机, 而整个过程中能够在工作人员的监督和控制中进行, 从根本上确保了数据的准确性及安全性。
智能化系统的数据采集过程中, 还应加大对基本原理的关注力度。应将信号频率作为采样频率设置标准, 一般是信号频率的二倍, 如果频率过低, 将会影响数据信号传输质量。因此, 为了避免数据的混淆, 在数据信号传输前, 应采用抗混叠滤波器, 消除一切对数据信号产生消极影响的干扰因素。所以, 针对智能化系统的设计, 应适当提高频率, 促使信号顺利、准确地还原。
我国工业化进程不断推进, 而环境污染问题也越来越严重, 我国环保部门加大了对生态环境的监测力度, 但是环保监测工作具有复杂、分布广等特点, 仅依靠传统手工方式, 工作效率及质量都不尽人意。因此, 本文结合上述计算机采集和处理技术构建了污染数据及报警系统。一方面, 该系统硬件主要由电源、采集及ARM控制等六个模块构成。在实践操作过程中, 监测设备获取二氧化硫、烟尘等污染物后, 将其转变为信息形式传送到模拟采集通道, 经过转换器转换后送至微控器, 对数据进行相应整理和保存, 随后经过处理后的数据信息会通过GPRS无线发射到各个模块当中, 最后监控中心的工作人员根据环境实际状况作出具体治理方案, 从根本上挖掘环境污染原因, 有效解决环境污染问题[5]。
另一方面, 即软件方面。为了扩大环保监测范围, 本文将GPRS的环保数据采集传输系统作为基础, 构建集数据采集、无线网络为一体的控制系统。总体来看, 系统软件流程设计主要由数据采集、故障分析、显示等构成。系统软件主流程设计思想是从系统的初始化入手, 通过各类服务器的初始化及终端初始化, 然后是计数器、GPRS网络等芯片初始化, 读取信息并进入到程序内部, 完成计算以及故障分析, 确保数据传输真实、可靠, 为工作人员工作提供数据支持。数据采集通过转换器进入到数据监测设备中, 完成数据转换和读取。
5 结语
综上所述, 计算机数据采集与处理技术作为一项基础性系统, 随着社会信息化发展, 将会成为人们生活和工作中不可缺少的一部分。因此, 在其具体应用中, 要明确当前工作实际需求, 坚持科学、合理原则, 构建针对性、立体化操作系统, 不断提高系统适用性, 从而促使该项技术能够最大限度发挥自身积极功能。
摘要：随着科技飞速发展, 将信息技术作为核心的传感器技术也随之得到广泛推广, 尤其是计算机数据采集与处理技术的应用, 在提高社会生产力等方面占据着十分重要的位置。笔者将从数据采集与处理概念入手, 分析和研究数据采集与处理技术, 并结合当前智能化处理技术, 构建环保领域的数据采集与处理系统。
关键词：计算机,数据采集技术,数据处理技术
参考文献
[1]耿金良, 孙千里, 安雁秋.自动化设备的数据采集与计算机处理技术[J].机电工程, 2014 (5) :616-619.
[2]曾镜全.谈多路数据采集与处理系统[J].机电工程技术, 2012 (8) :54-57.
[3]任高峰, 胡仲春, 张卅卅, 等.既有线桥涵施工安全监测信息采集与处理系统设计[J].武汉理工大学学报, 2012 (9) :80-83.
[4]陈艳.数据采集和智能数据处理系统的设计思路探究[J].电子技术与软件工程, 2015 (7) :203-204.
数据采集技术 篇9
物联网 (The Internet of things) , 即通过信息传感设备如:射频识别、GPS、条码扫描仪、激光扫描器、红外线扫描仪等按既定的通信协议, 把具有能被这些传感设备识别到的物体与网络连接在一起, 进行数据的传递与通信, 来完成智能化识别、管理、监控的一种新型网络。也就是现在所说“感知世界”的网络。
随着物联网技术在我国的发展, 高校也越来越重视物联网技术的应用。各大高校纷纷建成了各自的物联网平台。平台的建立促使大量的实物接入物联网, 需要采集的前端数据量也随之增加, 因此前端数据的采集变成物联网发展的核心问题。
1 前端数据采集系统的概念
1.1 基本概念
数据采集, 把外部环境中采集的数据通过专用设备传输到系统内部去的过程。数据采集技术在各行各业中都有相应的应用。如门禁对进入大门人员基本识别数据的采集。采集的数据可能是物理数据, 也可以是模拟数据, 采集的数据大多都是数据在当时环境下一个具体时间的一个具体值, 当然也可有一段时间的一种特定现象值。在做数据采集时首要元素是数据必须准确无误, 而采集数据的过程中不能影响被采集对象的状态以及它所处的环境, 从而确保采集到的数据的有效性及准确性。
在互联网行业, 快速发展的现在, 前端数据采集已经被广泛应用于互联网相关的领域中。首先是智能应用平台的数据采集系统在市面上已经属于成熟产品。再次, 总线兼容型数据采集插件的数量不断地增大, 和个人计算机兼容的数据采集系统的数量也在不断的增加。二随着越来越多的数据采集设备在日常生活中的大面积应用, 数据采集的技术也得到长足的发展。
1.2 目的
数据采集的目的是通过数据采集仪器来采集设备的相关物理现象如温度、湿度、光敏度、电压、电流等。而基于计算机的数据采集, 而是通过物理硬件设备、软件平台和计算机的三者相结合来进行采集。尽管不同设备采集的信息到的数据各不相同, 但是, 各个系统采集和分析的数据目的都是一样, 都是为了给使用者提供一个有用的参考数据, 来完成对数据智能化的管理。
2 前端数据的采集
本平台系统前端数据采集层采用Easy ARM1138为核心开发器件。该平台的数据采集层应用Easy ARM1138开发板的外设接口来连接传感器, 并使用MCU进行模拟信号与数字信号的转化, 处理后的信息通过网络传输到数据库, 完成数据采集工作。
2.1 教室前端数据采集层
在教室数据采集采用中, 通过红外线传感器、温湿度传感器、光感应传感器, 把获得到的相应数据通过网络传输给智能管理平台, 平台通过网络来完成数据以及指令的传输。
2.1.1 人员进出教室的情况及人数记录
人员进入教室的相关情况分析, 主要是通过红外线传感器实现对人员的进出以及对其身份进行判断。
人员进入教室的流程如下:当人靠近教室门的时候, 门口红外线避障传感器检测有人在其附近, 扫描进入人的身份识别卡, 把扫描出来的数据传输给智能平台, 平台在根据数据判断此人是否有进入教室的权限来决定打开教室门。在进入教室后, 教室内红外传感器检测到此人进入进教室, 红外线传感器在把此人进入教室的数据传入智能平台, 说明有人进入教室并且记录进入教室的时间。同理, 当人离开教室的时候, 这2处红外线传感器也会先后检测到人员进过, 来确定此人离开教室。
2.1.2 液晶显示模块设计
显示模块采用带中文文字的液晶屏, 该模块要求接口方式灵活, 操作指令简单、方便, 提供良好的人机交互界面。然后把该显示屏放在教室门口显示教室内温度、湿度、剩余座位等信息方便学生查看。
2.1.3 温度、湿度及光强的采集
温度采集采用DS18B20传感模块。湿度采集采用DHT11数字温湿度传感器。光强采集采用P722-5R光敏电阻器来完成数据采集。
2.2 宿舍管理数据采集层
宿舍端的前端数据采集主要要考虑到宿舍的安全如防火, 防盗。所以在这里使用到气体传感器、人体红外线感应传感器等器件采集数据, 通过网络将采集到的信息通过网络传输智能管理平台让管理员及同学能够查询。
2.2.1 烟雾检测、人体检测与报警系统
烟雾检测采用气体传感器, 该传感器可以检测多种可燃性气体。当传感器所处环境中存在可燃性烟雾的时候, 传感器的电导率随烟雾浓度的增加而增大。在设计出可以把电导率的变化转换成与该气体浓度相对应的输出信号。把数据传输给智能平台, 智能平台在根据检测到的数据, 进行相应的通知及报警操作。
人体检测采用红外线人体感应模块, 此感应模块灵敏度高, 可靠性强。它的工作原理是当所有人进入寝室的人进入具有红外线人体感应传感器的寝室时, 传感器输入相应电平信息, 并且把信息传输给智能管理平台, 智能平台查询进入人的基本情况, 并记录进入人员的相应信息。当进入人员在进入宿舍时候在智能平台上没找到相应人员的基本情况, 智能平台则返回相应信息激活报警系统, 并且把报警信息传输给宿舍管理员人员, 方便管理人员采取相应处理措施。
2.2.2 宿舍人员的进出情况、人数记录及温度、湿度监控
该部分同教室前端数据采集层相同。
2.2.3 宿舍锁门系统
当宿舍最后的一名人员离开宿舍时, 当数据采集端收集到此人的数据时候, 发送至智能平台检测到没人在寝室的时候, 就会记录最后一个同学离开宿舍的时间, 并且锁宿舍门。
3 结束语
物联网刚刚开始兴起, 也是大规模部署传感的时代, 然而目前还没有一个城市能完美的做到。本文探讨了物联网平台如何对教室和宿舍的数据采集。当然物联网平台的数据采集远不止这些, 随着物联网技术的发展, 相信需要数据采集的地方也越来越多。
摘要：物联网技术的核心问题是前端的信息数据采集, 没有数据采集就谈不上联网, 谈不上智能化。本文通过对教室和宿舍的数据采集来介绍物联网平台的数据采集技术。
关键词：物联网,前端数据采集,传感器
参考文献
[1]张福生物联网:开启全新生活的智能时代[M]山西人民出版社, 2009.9 14-15
[2]傅仁轩、肖连风基于物联网技术的新型数据采集与监控系统设计[J]移动通信2011年第9期
微弱信号高精度数据采集技术研究 篇10
1 系统采集要求
某数据采集系统使用的热电偶传感器的测量温度范围一般是-200~1 500℃,对应输出电压为-5~45 m V,灵敏度是40μV/℃;电流输出型温度传感器的测量温度范围是-50~150℃,对应输出电流为223~423μA,灵敏度[4]是1μA/℃。
数据采集系统的要求是:电压分辨率达到40μV,电流分辨率达到1μA,误差不大于0.1%,信号数量是9路热电偶信号和1路电流型温度传感器信号,采集频率20 Hz,数据采集系统工作温度范围为-55~125℃。由于传感器所处的环境比较恶劣,微弱信号在传输中常常会受到各种电磁干扰。
2 数据采集系统拓扑结构
一般的数据采集系统的拓扑结构[5]如图1所示。主要包括低通滤波电路、放大调理电路、多路选择电路、采样保持电路、模/数转换电路和处理器电路等,但是,如果对微弱信号的采集仍然使用这样的拓扑结构的话,那么,对一般精度要求的数据采集系统可以忽略的问题,在微弱信号数据采集系统将成为制约精度提高的瓶颈,这些问题主要包括共模干扰和差模干扰产生的误差,运放工作电源中的高频干扰产生的误差,放大电路的失调误差和温漂误差,数据采集电路的加载效应引起的误差等[6]。
一般的数据采集系统前端调理电路有两种,其中图2所示的一种为差分放大电路,整个系统的输入阻抗是R1+R2,输入阻抗越大,则放大电路对被测信号产生的影响越小,采集的精度越高,然而,电阻阻值太大会导致热噪声急剧增加,降低采集精度。因此,必须设法增大系统的输入阻抗,同时要降低放大电路加载效应产生的系统误差;图3所示的一种电路叫反相输入放大电路,这种结构放大的信号是通过单根导线传送的,信号单端传输的最大问题就是有效信号会叠加有大的共模干扰噪音,反相放大电路的共模抑制比很小,即放大器在放大有用信号时也将干扰信号同时放大,导致放大器的输出端产生微弱信号系统不能容忍的误差。一种称之为仪表运放(见图4)的差分放大电路可以很好地解决这些问题,它以运放的同相端直接作为信号的输入,而运放是以MOS管的门级作输入端,因此输入阻抗可以高达GΩ级,但又不会增大热躁声;而且这种结构,只要对称位置的电阻匹配良好,共模抑制比可以高达100 d B以上,即在相同的干扰情况下,仪表运放放大电路可以将共模干扰减小到普通放大电路1/1 000,但是,这种放大电路有几个缺点。首先,仪表运放能够把输入端的射频信号整形产生输出失调误差,一旦产生输出误差,则后面电路无论怎么滤波也无法消除这个误差;其次,集成电路对温度特别敏感,特别是模拟芯片精度容易受到温度影响,仪表运放的增益是通过两个电阻的比值来设置的,必须设法保证增益设置电阻比值不随温度变化,从而保证放大电路增益的稳定。最后,经过仪表放大器放大的信号,仍然会有信号传输过程中带入的干扰以及芯片工作使用的开关电源带入的干扰[7]。
3 改进后的数据采集系统拓扑结构
通过分析,对一般数据采集系统的结构进行改造以适应微弱信号系统的采集要求。微弱信号数据采集系统的结构图如图5所示,和图1比较,两者的差别在于多路器之前的处理电路,微弱信号首先进行射频滤波,消除放大电路产生直流失调误差的射频干扰,再经过仪表运放的放大,之后,进行二阶低通滤波,进一步去除外来干扰信号,再通过多路器,采样保持器直到A/D转换器(采样保持器和A/D转换器一般在同一个芯片上),最后由微处理器处理数据。
微弱信号的传输是影响采集精度的重要因素,正确的信号传输方式是高精度数据采集的保证。微弱信号必须用差分形式传输,电缆使用双绞屏蔽电缆,这样能降低95%以上的外界电磁干扰。
射频滤波电路能够滤除掉信号传输线上的共模射频干扰和差模射频干扰,射频滤波电路图如图6所示[8]。
微弱信号的放大必须选用仪表放大器,仪表放大器最重要的优点在于它有超过100 d B的共模抑制比,即放大器只放大两个输入端信号的差值,而对于输入端上叠加的共模信号则不放大。另外,仪表放大器高达10 GΩ的输入阻抗,保证了放大电路对被测信号不产生加载效应,消除了由此引起的误差[9]。仪表放大器的选择非常重要。仪表放大器的增益是通过两个电阻阻值的比值来决定的,现有的仪表放大器有三种类型,第一种是增益电阻中的一个集成在芯片内部,阻值固定,另一个电阻在芯片外部,由设计者根据需要外接相应阻值的电阻来设置仪表放大器的增益,这种仪表运放常温下的误差不超过0.7%,足以满足一般系统的要求,但是,当芯片工作温度在较宽的范围内变化时,由于两个电阻的温度系数不同,导致仪表放大器增益不固定,从而产生较大的输出误差;第二种是两个增益电阻都集成在仪表运放内部,通过连接或着断开某两个芯片管脚,增益可以设置为两个固定值,由于两个电阻都在芯片内部,温度系统完全相同,因此能够保证仪表放大器的增益在较宽的温度范围内保持不变;第三种是两个增益电阻都在仪表运放外部,设计者可以通过高精度和低温度系数的电阻设置所需要的任意仪表放大器增益,同时能够保证增益在较宽的温度范围内固定不变[10]。微弱信号采集对精度要求特别高,因此,选择后两种仪表放大器,在较宽的温度范围内可以将误差控制在0.15%内。
一般的数据采集电路在放大器之后经过多路选择器,直接对信号进行采集,而微弱信号采集在仪表运放对信号放大后需要再经过滤波电路,主要用于滤除导线传输引入的干扰和前级电路中芯片工作电源引入的干扰,因此,这级滤波电路设计为二阶滤波,运放选用精度高和工作电源抑制比高的OP运放。二阶滤波电路如图7所示。
4 电路参数计算
根据经验,图6中的滤波参数选择R1=4.02 kΩ,C1=1 000 pF,C2=0.047μF。
共模滤波频率是:
差模滤波频率是:
图7中的电阻电容选择R1=R2=100 kΩ,C1=1 000 p F,C2=200 pF;则滤波截止频率:
微弱信号经过上述的放大滤波处理后,经过多路器进入A/D转换器,由微处理器采集计算。
A/D转换器选用12位分辨率,输入电压范围是-5~5 V,1个码值对应的电压是:10 V 4 096=2.44 m V。
仪表放大器增益设置为100,则1个码值对应的输入信号是:
即微弱信号数据采集系统的分辨率在理论上可以达到24.4μV,在测量-200~1 500℃的温度范围内可以分辨1℃。
对于电流信号的测量,只需要在电压信号采集电路前增加一个高精度的100Ω电阻,把电流信号转换为电压信号即可。电流信号的分辨率是:
完全满足设计指标的要求。
微弱信号采集系统在多路器和A/D转换器中产生的误差非常微小,可以忽略。在某系统的微弱信号数据采集系统中,采用以上的电路处理方法采集的实测值见表1,满量程误差控制在0.1%以内。
5 结语
本文从一般数据采集系统的拓扑结构入手,通过多个方面对其进行改进,使之适应微弱信号的采集,通过实际测试,该测试系统能够实现对微弱信号的高精度采集,误差不超过0.1%,满足系统要求。
摘要：介绍了一般数据采集系统的拓扑结构,针对微弱信号的特点,从信号传输、滤波、放大调理和模/数转换等方面进行了全面分析,通过对数据采集系统的拓扑进行改进和优化设计,分析计算相关的误差,提供了解决微弱信号采集的完整方案,试验验证该方案可以获得高精度的数据采集结果。
关键词：微弱信号采集,热电偶,数据采集,仪表放大器
参考文献
[1]WILSON Jon S.传感器技术手册[M].北京:人民邮电出版社,2009.
[2]赛尔吉欧.佛朗哥.基于运算放大器和模拟集成电路的电路设计[M].3版.西安:西安交通大学出版社,2004.
[3]童诗白,华成英.模拟电子技术基础[M].3版.北京:高等教育出版社,2001.
[4]吴道悌,刘晓辉,郑明.非电量电测技术[M].3版.西安:西安交通大学出版社,2004.
[5]马明建.数据采集与处理技术[M].2版.西安:西安交通大学出版社,2005.
[6]JUNG Walt.运算放大器应用技术手册[M].北京:人民邮电出版社,2009.
[7]KITCHIN Charles,COUNTS Lew.仪表放大器应用工程师指南[M].2版.USA:AD,2009.
[8]NASH Eamon.Errors and error budget analysis in instrumenta tion amplifier applications[R].USA:AD,2010.
[9]RISKIN Jeffrey R.A user’s guide to ic instrumentation ampli fiers[R].USA:AD,2010.
探究大数据下的智能数据分析技术 篇11
关键词：大数据 智能 数据分析
中图分类号：F503文献标识码：A文章编号：1674-098X（2014）04（a）-0021-01
对于数据分析来说，其主要的目的就是通过对数据的分析去发现问题或预测趋势。从数据钻取、大规模分析的技术手段、以及算法执行上来说，大规模分析是和小规模数据在技术上是有很大差异的。想要探究大数据下的智能数据分析技术，首先要对数据分析这一概念进行深入研究。
1 数据分析
数据分析的过程其实简单的说就是做报告，做什么样的报告反映什么样的指标。最开始的时候基本上是data processing。例如零售行业来說，最主要的指标就是库存、销售同比增长情况、利润同比增长情况、促销率等等。对于不同的行业会有不同的相关的KPI需要跟踪，所以报告的内容也会有所侧重，但是只要你一个行业做久了，熟悉了套路之后，基本上就是以同样的方法开展。
对于数据分析，如果公司部门分的比较细的（例如可能有建模组），那么做数据分析可能永远都是做data processing了。对于模型的分析，需要你对业务有了深入的了解就可以建立一些模型出来（例如推荐模型）等等。
数据分析主要涉及的技能：
（1）数据库的能力。越全面越好，如果不是理工科的，最起码要会select那些简单的查询语句。
（2）EXCEL、PPT的能力。报告的呈现一般都是Excel+PPT的形式，最好VBA，这样就可以将很多人工的工作转化为自动化的能力，提高工作效率，领导也对你刮目相看，自己也有更多空余的时间准备其他方面的知识。
（3）市场分析能力。学会观察市场的走向和关注的内容，例如零售行业，现在大家都对CRM很热衷，那相关的分析方法和方式是怎么样的，你要自己去了解。从来不会有人手把手的将所有东西都告诉你，你必须自己学会去增长知识。
（4）一些会计的知识。因为通过以上分析，就是会计管理的一部分内容，最后还是公司盈利问题。有兴趣的也可以去看看战略管理方面的，对于做数据分析也很有好处的说。
综合来看，可以说数据分析=技术+市场+战略。
2 如何培养数据分析能力
理论：
基础的数据分析知识，至少知道如何做趋势分析、比较分析和细分，不然拿到一份数据就无从下手；
（2）基础的统计学知识，至少基础的统计量要认识，知道这些统计量的定义和适用条件，统计学方法可以让分析过程更加严谨，结论更有说服力；
（3）对数据的兴趣，以及其它的知识多多益善，让分析过程有趣起来。
实践：
（1）明确分析的目的。如果分析前没有明确分析的最终目标，很容易被数据绕进去，最终自己都不知道自己得出的结论到底是用来干嘛的；
（2）多结合业务去看数据。数据从业务运营中来，分析当然要回归到业务中去，多熟悉了解业务可以使数据看起来更加透彻；
（3）了解数据的定义和获取。最好从数据最初是怎么获取的开始了解，当然指标的统计逻辑和规则是必须熟记于心的，不然很容易就被数据给坑了；
（4）最后就是不断地看数据、分析数据，这是个必经的过程，往往一个工作经验丰富的非数据分析的运营人员要比刚进来不久的数据分析师对数据的了解要深入得多，就是这个原因。
3 大数据
大数据就是通过统计分析计算机收集的数据，在人们可能不知道“为什么”的前提下，了解到事物的状态、趋势、结果等“是什么”。
对于大数据，一直来说，数据规模导致的存储、运算等技术问题从来不是最重要的瓶颈。瓶颈只在于前端数据的收集途径，以及后端商业思想引领的模型和算法问题。早期的各类OLAP工具已经足够了，后来类似海杜普这样的研究则彻底降低了分布式数据的架构成本和门槛，就彻底将大数据带入了一个普及的领域。
从技术层面说，大数据和以前的数据时代的最大差异在于，以前是数据找应用/算法的过程（例如各大银行的大集中项目，以及数据建仓），而大数据时代的重要技术特征之一，是应用/算法去找数据的过程，因为数据规模变成了技术上最大的挑战。
大数据的特点：
（1）大数据不等同于数据大，我们处理问题是根据这个问题的所有数据而非样本数据，即样本就是总体；不是精确性而是混杂性；不是因果关系而是相关关系。
（2）大数据应用的几个可能：当文字变成数据，此时人可以用之阅读，机器可以用之分析；当方位变成数据，商业广告，疫情传染监控，雅安地震时的谷歌寻人；当沟通变成数据，就成了社交图谱。一切都可以量化，将世界看作可以理解的数据的海洋，为我们提供了一个从来未有过的审视现实的视角。
（3）数据创新的价值：数据的再利用。例如重组数据：随着大数据出现，数据的总和比部分更有价值，重组总和和本身价值也比单个总和更大；可扩展数据：在设计数据收集时就设计好了它的可扩展性，可以增加数据的潜在价值；数据的折旧值：数据会无用，需淘汰更新；数据废气：比如语音识别，当用户指出语音识别程序误解了他的意思，实际上就有效的训练了这个系统。
总之，大数据是因为对它的分析使用，才产生和体现它的价值，而不是因为其用到了突出的技术和算法才体现了它的价值。
4 大数据下的智能数据分析
在大数据的背景下，必须考虑数据之间的关联性。一个单独的数据是没有意义的，实际中，选择处在两个极端的数据往往更容易找出它们之间的联系，把它们放在一个框架中看才能发现问题。因此，可以用以下四种方法在大数据背景下进行智能数据分析：
（1）从解决问题的角度出发收集数据；
（2）把收集的数据整理好，放入一个框架内，并利用这个框架帮助决策者做出决定；
（3）评估决定与行动的效果，这将告诉我们框架是否合理；
（4）如果有新的数据出现，我们将考察能否利用它对前面三步做出改进，以及我们今天是否还需要收集更多种类的数据。
5 结语
数据分析的最终目的是帮助业务发现问题并解决问题，提升公司价值，而这些是从数据发觉的，而不是盲目下结论。每家公司都有自己业务生产的数据，通过数据分析、同比环比、漏斗分析及模型等，发现业务上存在的问题，帮助公司业务的优化。
参考文献
[1]李贵兵，罗洪.大数据下的智能数据分析技术研究[J].科技资讯，2013（30）.
[2]魏凯.大数据的技术挑战及发展趋势[J].信息通信技术，2013（6）.
数据采集技术 篇12
随着沿海经济的高速发展和海洋资源开发利用力度的不断加大, 海洋环境受污染程度日益加剧, 海水水质质量不断恶化, 严重危害到海洋生物生存。我国是水产养殖大国, 海水水质质量直接影响沿海渔民的养殖经济收入。因此, 对于海洋水环境的治理和保护迫在眉睫, 而这一举措的前提是需要获取足够多的海洋水质数据。本设计就是基于这样的时代背景下, 研究海洋水质参数数据采集传输技术, 构建数据采集系统。数据采集系统的工作方式是通过将被测对象参数做A/D转换后送入计算机, 由计算机来实现对信号数据处理。基于Lab VIEW的数据采集系统由硬件部分和软件部分组成。硬件部分依托NI 9219 数据采集卡实现对前端水质传感器的信号采集工作。数据采集软件部分采用NI图形化编程软件Lab VIEW进行相关采集程序的设计。Lab VIEW是一种图形化开发环境, 能够实现信号采集、数据分析、数据处理和信号显示等功能, Lab VIEW软件包含了各种用于数据采集, 信号处理、数据分析的功能模块, 它能够实现数据采集、分析与显示功能集中在同一个开放式的开发环境中。[1]
海水水质检测通常涉及参数主要有:盐度、p H、溶解氧、电导率、水温、无机磷、无机氮 (硝酸盐、亚硝酸盐和氨) 、油类以及一些重金属元素等。本设计考虑海水水质检测的常规参数结合自身实际需求最终选择了对海水水温、PH值、溶解氧、电导率和氨氮量五项水质信息进行数据采集。
2 海水水质采集系统的硬件组成
2.1 NI9219 数据采集卡
本设计选择NI9219 数据采集卡, 它是一款4 通道, 24 位通用模拟输入模块, NI 9219 能够测量传感器中的多种信号, 如应变计、RTD、热电偶、测压元件和其他需要供电的传感器。由于通道接受单独选择, 4 条通道可以分别进行不同类型的测量。测量范围随测量类型而异, 包括±60 V最大电压范围和±25 m A最大电流范围。NI 9219 共有4 个6 端子弹簧端子连接器, 每个连接器可提供一个模拟输入通道。NI 9219 各通道间相互隔离。4 个24 位模数转换器 (ADC) 可同时对4 个模拟输入通道进行采样。NI 9219 可为需要激励输入的模式提供激励电路, 并在每种模式下重新配置ADC和激励电路, 以适应不同传感器类型。实物及通道说明如图1 所示。
2.2 传感器选型
从2000-2014 年中国海洋环境质量公报[3]中我们可以看出:我国每年都要对海水水质质量进行评价, 每年在全海域开展了春季、夏季和秋季三个航次的海水质量监测, 主要的监测参数包括海水中无机氮、活性磷酸盐、石油类和化学需氧量等;同时还在我国管辖海域开展了海洋表层水温和水体盐度监测, 并在部分海域开展了海流监测。海水水质参数的检测在沿海水产养殖中同样至关重要, 海水水质质量健康, 才有利于水生动物正常生长, 降低了水生动物的发病率, 达到可观的养殖效益[4]。通过了解了海洋环境监测的主要海水水质参数和水产养殖的关键参数, 最终本设计方案结合项目需求和现实可行性确定了对海水的水温、含氧量、ph值、氨氮量和电导率五项水质参数进行检测。
2.2.1 温度传感器。温度传感器选用四线制的PT 100 铂热电阻温度传感器。铂热电阻的阻值会随着温度的变化而改变, 其输出信号与温度变量之间有一给定的连续函数关系。该温度传感器精度高, 结构紧凑, 功耗低。在模拟量采集的过程中还可以抗外界的电磁干扰, 保证了传感器的可靠性。主要技术参数如下:
测量对象:液体、气体和蒸汽
测量量程:-5℃~60℃
精度等级:±0.5%FS
供电电压:12~36V DC, 标准值24VDC;
输出信号:4~20m A DC (四线制)
2.2.2 含氧量传感器。含氧量的检测选用德国WTW公司生产的FDO 700 IQ含氧量传感器, 利用荧光法测量, 根据水体水质中红光持续时间的长短测试含氧量的浓度。它具有测量精度高、寿命长等优点。使用时对水流速度无要求, 使用过程中无需进行校正。主要技术参数如下:
测量方法:荧光法
测量量程:0~20.00mg/L
分辨率:0.01mg/L
测量精度:±0.05mg/L
输入电源:由IQ Sensor Net供电24V DC
输出信号:4~20m A DC
功耗:0.7W
校正:不需要
2.2.3 PH值传感器。海水水质中的p H值检测选用德国WTW公司生产的PH/ORP Senso Lyt 700 IQ传感器。该传感器内置不锈钢探头, 具有玻璃感测电极, 适用于恶劣的环境下工作, 耐腐蚀。主要技术参数如下:
测试范围:0~14.00p H
输入电源:由IQ Sensor Net供电24V DC
输出信号:4~20m A DC
耐温/ 耐压:0~60℃/bar
电气连接:2 芯屏蔽电缆, IQ专用电缆
功耗:0.2W
2.2.4 氨氮量传感器。海水水质中的氨氮量的检测选用德国WTW公司生产的氨氮测量仪。采用离子电极法测量, 具有自动补偿的功能, 消除了水质中其它干扰离子的影响。该传感器响应速度快, 运行可靠, 维护成本低。主要技术参数如下:
离子电极:1 支参考电极, 2 支测试电极
补偿配置:干扰离子补偿电极
测量范围:0.1~100.0mg/L
测量精度:0.01mg/L
操作温度:0~40℃
输入电源:由IQ Sensor Net供电24V DC
输出信号:4~20m A DC
功耗:0.2W
2.2.5 电导率传感器。海水水质中的电导率检测选用了德国WTW公司生产的Tetra Con 700/IQ
四极式测试技术通过测试两个极板之间电解液的电导 (电阻的倒数) , 之后与电极常数相乘, 得到结果就是溶液的电导率。计算机的任务是把由电导率传感器输出的电流信号进行处理, 之后乘以电极常数, 最后换算成电导率。四极式电导率传感器有两个优点, 第一解决了高电导率测试时的极化难题;第二, 解决了电极污染造成读数不准的问题。
综上所述最终设计的海水水质数据采集系统硬件组成如2 图所示。
3 海水水质数据采集系统的软件设计
3.1 数据采集系统软件设计方案
在完成采集系统的硬件设计之后, 对数据的处理分析用NI公司的Lab VIEW软件实现, Lab VIEW是实验室虚拟仪器集成环境 (Laboratory Virtual Instrument Engineering Workbench) 的简称, 又称为G语言, 是一种新的编程语言。该软件是美国NI公司在1986 年研发的虚拟仪器开发平台, 也是现今应用最为广泛、发展速度最快以及功能最为完善的一款集成图形开发软件。Lab VIEW以图形的形式提供了多种信号分析和处理函数, 可以更加高效的构建虚拟的测量仪器, 实现对数据的分析处理。上位机采用Lab VIEW代替硬件实现数据处理, 那么以后系统升级都不再需要对硬件进行修改, 只需要改善上位机软件即可。本设计数据采集系统软件设计框图如下图3 所示, 接下来本文主要在传感器信号采集程序设计上做详细介绍。
3.2 数据采集模块程序设计
数据采集模块实现采集卡对前端传感器信号的采集工作, 完成了数据从硬件系统到计算机存储模块的转移。本文海水水质数据采集系统利用DAQ助手实现对NI9219 数据采集卡输出的信号进行采集。
3.2.1 数据采集前硬件检查。启动NI MAX, 在measurement&Auto Nation explore界面检查设备和接口是否连接正常, 在软件选板检查NI采集卡、NI-DAQ等驱动程序是否安装成功。如图4所示。
3.2.2 数据采集程序设计。数据采集程序实现对前端数据采集卡输出的模拟信号进行采集。本设计在数据采集程序设计过程中是要是使用DAQ助手实现对采集卡输入的信号进行采集。下面以对溶解氧信号采集为例, 主要设计步骤:
在Lab VIEW软件中, 新建程序框图, 打开函数面板下的测量I/O选板中的DAQmx- 数据采集子选板中的DAQ助手, 将其拖到程序框图中, 系统将自动弹出DAQ助手初始化窗口。在此窗口中我们将要选择采集数据信号的测量类型, 包括一个或多个通道定时、触发等属性的集合。要在DAQ数据采集任务中完成多个测量类型, 必须首先创建具有一个测量类型的任务。任务创建完毕后, 单击添加通道按钮可向任务添加一个新的测量类型。在此窗口中我们选择采集信号的类型, 包括模拟输入、数字输入、计数器输入和TEDS。本次设计溶解氧测量仪输出的是电流, 所以我们选择模拟输入, 电流信号。如图5 所示。
DAQ数据采集测量类型创建完成后, 就要选择前端采集卡的物理通道, 如之前已配置了与任务具有相同测量类型的全局虚拟通道, 单击虚拟栏可向任务添加或复制全局虚拟通道。复制全局通道至任务后, 全局通道将变为一个局部虚拟通道。将全局虚拟通道添加至任务后, 任务将使用实际的全局虚拟通道, 任何对全局虚拟通道的改动都将反映在任务中。如图6 所示。
完成了数据采集测量类型的选择和测量任务通道的分配之后, 就要对采集数据信号进行配置, 包括采集数据信号的输入设置和定时设置。输入设置包括信号输入范围, 电流与被测量的自定义换算以及换算后的单位。溶解氧测量仪输出信号是4-20m A, 所以在信号输入范围的最大值填写20m A, 最小值4m A;在自定义换算新建溶解氧, 填写换算后单位mg/L。如图7 所示。
以此方法步骤分别配置好Ph传感器信号、电导率传感器信号和温度信号。
3.3 数据采集系统程序框图
配置好DAQ助手之后, 利用Lab VIEW图形化编程技术, 完成海水水质数据采集系统的程序框图设计, 程序框图见图8 所示。
结束语
本次设计海洋水质参数数据采集系统, 实现了对海水水温、ph值、含氧量、氨氮量和电导率数据的采集。在硬件部分, 通过NI9219数据采集卡精确高效的完成了对水质传感器信号的采集和向上位机传输传感器信号的工作, 采集的信号质量高, 响应速度快, 基本无响应延迟。在软件部分, 通过Lab VIEW完成对信号采集程序的设计。实验结果证明基于Lab VIEW海水水质数据采集系统具有使用方便, 数据采集工作效率高, 采集到的水质数据精确等优点。
参考文献
[1]魏晨阳, 朱健强等.基于Lab VIEW和声卡的数据采集系统[J].微计算机信息, 2005, 1:45-48.
[2]王丁丁, 武杰等.基于Compact RIO的数据采集模块设计[J].核技术, 2012, 07:539-542.
[3]国家海洋局.《2014中国海洋环境质量公报》.2014
[4]赵小欢.基于WSN的水产养殖水质在线监测系统设计[D].哈尔滨:哈尔滨理工大学, 2014:11-15
[5]孙福生, 朱英存等.环境分析化学[M], 2011.10:295.
[6]刘珊珊, 刘双峰.基于Lab VIEW的数据采集系统设计及应用[D].太原:中北大学, 2012
[7]NI9219使用规范手册;2009
[8]刘付用, 李伟.常规参数水质检测系统的设计与实验[D].重庆:重庆大学, 2011.