数据采集模式

数据采集模式（精选12篇）

数据采集模式 篇1

摘要：目前通信计费的方式有很多种,通信计费的数据采集已成为现代通信企业最重要的一个工作环节。本文主要对通信网络计费数据采集与传输系统的现状,以及通信计费的数据采集网络模式进行详细的分析。希望通过本文的阐述,可以给通信计费的数据采集网络模式应用方面提供参考。

关键词：通信计费,数据采集,网络,模式

1 引言

随着科技发展不断加快,我国的通信企业也得到了更好的发展,其规模也逐渐扩大。通信不仅给人们的生活、学习、工作提供了便利,同时也推动了我国经济更好地发展。随着通信设备的不断完善和发展,通信计费数据采集模式也逐渐发展起来,尤其是通信计费的数据采集网络模式。通信计费的数据采集网络模式主要有两种特性,一个是实效性,一个是空间性。而每一个特性都具备一个特有的优势,在现实应用中,为了将其自身的优势充分发挥,首先要对其功能和习性进行充分的认识。下面,我们将进一步对通信计费的数据采集网络模式进行全面的探讨。

2 通信网络计费数据采集与传输系统的现状

对于我们的通信用户来看,通信子模块的主要功能就是给用户提供一个信息交换的平台。而这个通信平台可以分为两种,第一种是命令平台;第二种是状态平台。通信网络计费数据采集主要是借助网络系统对交换机下达指令,交换机接受指令后,实现交换工作,进而给我们的通信用户提供一个具有安全性的通信环境。通信网络计费数据采集主要工作就是对交换机所收集的各项通信数据进行统一处理,工作原理主要是把交换机所收集的数据利用网络系统传送给通信计费系统,通信计费管理的工作人员根据传送的数据进行整理和处理。这样做的目的主要有两方面,第一方面是对交换机所收集的各项数据进行统一控制和管理,第二方面是给后续的计费工作提供精准的数据。计费数据传输的工作原理主要是指将交换机所收集的数据进行统一传输给指定的系统中,进而实现通信数据与数据目的地进行计费数据的转换。

3 计费数据采集与传输框架

3.1 计费数据采集框架

根据目前的情况来看,我国通信企业通常采用的计费方式是联机实时计费采集方式,联机实时计费采集方式框架图见图1。交换机不仅可以对话单进行记录,同时也能对各个通信信息进行统计。交换机的发展主要包含四个时期:第一个是人工电话交换机时期;第二个是机电制电话交换机时期。最早的机电制电话交换机是Stowger交换机;第三个是程控交换机时期;第四个是软交换交换机时期。随着时间的推移,我们现在使用的是4G交换机,它是在软交换交换机的范畴之内。计费数据采集系统主要是将两种设备进行结合,进而形成的一种计费方式。一种是各种通信协议,另一种是具备网络功能的交换机。计费数据采集系统的工作原理主要是指将收集的各个通信数据在交换机的帮助下,将这些通信数据传送到三个部门:计费部门、网络部门、监控部门。

3.2 计费数据传输框架

根据目前的情况来看,我国的通信计费数据传输不仅可以实现不同网络的通信计费部门之间的信息传递,同时也能实现全网计费中心和区域计费中心之间的信息传递,这就给通信计费数据传输提供了便利,节省了大量的时间成本和人力资源。为了保证通信数据的安全性,对信息通道有着严格的要求,信息通道一定要具备两种特性,即安全性和可靠性。计费数据传输框架图见图2。区域计费部门主要是指一个区域范围内的通信计费部门,这个计费部门主要具备两种功能,一种是数据处理功能,另一种是数据交换功能。全网计费部门主要是指覆盖整个网络的通信计费部门。它的主要职责就是对整个网络系统中的各项通信数据进行统一管理和处理,同时还可以跟其他网络中的通信计费部门实现数据上的交换。

4 通信网络计费数据相关采集模型和传输模型

4.1 通信网络计费数据采集

通常情况下,通信数据采集系统主要接受来自控制计算机设备和终端设备中传送的控制信号。接收到这两个设备传送的信号之后,将这些通信信息统一整理到指定的计算机系统中去。通信网络计费数据采集主要分为三种采集方式,第一种是融合计费数据采集;第二种是集中计费数据采集;第三种是联机实时计费数据采集。下面我们将对这三种采集方式进行详细的介绍。

(1)融合计费数据采集

融合计费数据采集是指将不同领域的通信数据进行集中收集。通过对这些数据进行融合计费处理,可以有效地处理因为网络领域不同而导致数据难以集中的问题。

(2)集中计费数据采集

集中计费数据采集是指将同一领域的通信数据进行集中收集。通过对这些数据进行集中计费处理,可以有效地处理因为网络领域环境的相同而导致数据难以集中规划和管理的问题。

(3)联机实时计费数据采集

联机实时计费数据采集的主要功能是借助联机实时接口来对通信的话单以及各项通信数据进行及时的收集,并将这些数据统一传送给联机实时接口中,最后再将这些数据从联机实时接口中传送到采集机,进而实现通信计费数据的采集工作。

4.2 通信网络计费数据传输模型

通信数据传输系统主要是指将收集的通信数据利用计算机系统来实现传递,并将这些收集的数据进行统一控制管理,最后利用传感器来实现数据之间的读取,进而将这些读取后的数据统一整理到计算机系统中进行存储。通信网络计费数据传输主要分为两种传输方式,第一种是融合计费数据传输模型;第二种是时间无关性计费数据传输模型。下面我们将对这两种采集方式进行详细的介绍。

(1)融合计费数据传输模型

主要是将不同网络领域的通信数据进行输送的模型。它的工作原理是借助信息交换技术将获取的通信数据传送到指定的位置,进而有效处理由于网络领域不同而导致数据难以集中的问题,给通信网络计费提供了准确的数据。

(2)时间无关性计费数据传输模型

时间无关性计费数据传输模型可以有效处理由于各项通信数据之间具备一定的时间相关性而导致的数据在传送过程中出现的质量问题,进而保证通信数据的实时性和稳定性。

5 计费数据采集与传输的安全性

5.1 数据安全措施

对通信数据进行传送的过程中,如果通信数据不能在第一时间内传送到指定位置,我们可以采用循环采集与传输计费数据,这种采集方式可以有效保证通信数据的安全性。

当将通信数据完成传送之后,需要按照相关的规定,将不需要的通信数据进行统一处理,如果传送的数据还没有安全地传送到指定的位置,传送的数据不能删除。

为了保证各个通信数据的安全性,还要对计费数据格式进行全面的检查。一旦发现计费数据格式出现失误,就要第一时间进行告警,并重新采集或传输这些数据,进而保证通信数据的安全。

采集程序在退出的过程中,一定要保证采集程序处理结束之后才能退出,这样做的目的是确保通信计费数据安全性。

5.2 采用实时处理

在进行通信数据实时处理的过程中,一定要保证传送的通信数据可以安全到达指定位置,防止数据丢失的情况出现。通常情况下,在进行数据实时处理时,人们常常采用的处理系统是Unix系统,该系统具备较高的安全性能,能够保证通信数据的安全。除此之外,还可以进行防火墙装置,保证在通信数据采集或者传送的过程中,数据可以安全到达指定位置。

6 结束语

通过本文的阐述,使得我们对通信计费采集网络模式有了更深入的认识。根据目前的情况来看,为了推动我国通信事业更好地发展,需要采取合理的通信计费采集模式。根据国家的相关规定,为了确保通信计费的合理性,就要对相关的通信计费设施以及通信计费系统进行定期检查,进而保证通信数据的安全。

参考文献

[1]郝涵.通信网络计费系统的数据采集与传输的探讨[J].电子制作,2013(08):149.

[2]王丽.通信计费数据采集网络的模式探讨[J].科技传播,2013(09):227+201.

[3]宋国良.浅谈通信网络计费数据采集与传输系统[J].电子技术与软件工程,2013(16):95.

[4]龚电花,付丽苑.通信网络计费数据采集与传输系统[J].中国教育技术装备,2009(04):78-79.

[5]张波,沈苏彬.移动互联网动态接入计费机制研究[J].南京邮电大学学报(自然科学版),2011(01):90-95.

[6]巩浩,屈玉贵.基于短距无线通信与3G的无线集中抄表系统[J].计算机工程,2011(02):290-292.

[7]范典华,杨奇民,代蕊.在线计费接口自动化测试系统及应用[J].电脑与电信,2015(12):75-78.

数据采集模式 篇2

一、多数据格式是多源空间数据集成的瓶颈

1、空间数据多源性的产生和表现

空间数据多源性的产生和表现主要可以概括为以下几个层次：

（1）多语义性

地理信息指的是地理系统中各种信息，由于地理系统的研究对象的多种类特点决定了地理信息的多语义性。对于同一个地理信息单元（feature），在现实世界中其几何特征是一致的，但是却对应着多种语义，如地理位置、海拔高度、气候、地貌、土壤等自然地理特征；同时也包括经济社会信息，如行政区界限、人口、产量等。一个GIS研究的决不会是一个孤立的地理语义，但不同系统解决问题的侧重点也有所不同，因而会存在语义分异问题。

（2）多时空性和多尺度

GIS数据具有很强的时空特性。一个GIS系统中的数据源既有同一时间不同空间的数据系列；也有同一空间不同时间序列的数据。不仅如此，GIS会根据系统需要而采用不同尺度对地理空间进行表达，不同的观察尺度具有不同的比例尺和不同的精度。GIS数据集成包括不同时空和不同尺度数据源的集成。

（3）获取手段多源性

获取地理空间的数据的方法有多种多样，包括来自现有系统、图表、遥感手段、GPS手段、统计调查、实地勘测等。这些不同手段获得的数据其存储格式及提取和处理手段都各不相同。

（4）存储格式多源性

GIS数据不仅表达空间实体（真实体或者虚拟实体）的位置和几何形状，同时也记录空间实体对应的属性，这就决定了GIS数据源包含有图形数据（又称空间数据）和属性数据两部分。图形数据又可以分为栅格格式和矢量格式两类。传统的GIS一般将属性数据放在关系数据库中，而将图形数据存放在专门的图形文件中。不同的GIS软件采取不同的文件存储格式。

2、多源空间数据集成的迫切性

随着Internet网络的飞速发展和普及，信息共享已经成为一种必然的要求。地理信息也不例外，随着信息技术以及GIS自身的发展，GIS已经从纯粹地学技术系统的圈子跳了出来，正和IT行业完全融合，人们对空间信息的需求也越来越多。GIS要进一步发展，必须完全融入大型MIS（管理信息系统）中。1998年美国副总统戈尔提出数字地球的概念，更是将地理信息技术推到了最前沿。然而地理信息要真正实现共享，必须解决地理信息数据多格式、多数据库集成等瓶颈问题。随着技术发展，GIS已经逐步走向完全以纯关系数据存储和管理空间数据的发展道路，这为GIS完全和MIS无缝集成迈出了重要的一步。但因为GIS处理的数据对象是空间对象，有很强的时空特性，获取数据的手段也复杂多样，这就形成多种格式的原始数据，再加上GIS应用系统很长一段时间处于以具体项目为中心孤立发展状态中，很多GIS软件都有自己的数据格式，这使得GIS的数据共享问题变得尤为突出。

空间数据作为数据类型的一种，同普通数据一样需要走过从分散到统一的过程。在计算机的发展过程中，先是数据去适应系统，每一个系统都为倾向于拥有自己的数据格式；随着数据量的增多，数据库系统应运而生；随着时代的发展，信息共享的需求越来越多，不同数据库之间的数据交换成了瓶颈；SQL（标准结构化查询语言）以及ODBC的出现为这一难题提供了比较满意的解决方案。但是空间数据如何引进这种思想，或者说将空间数据也纳进标准组织和标准协议进行规范和管理，从而使空间数据共享成为现实。

二、GIS多源数据集成模式比较

由于地理信息系统的图形数据格式各异，给信息共享带来了极大的不便，解决多格式数据源集成一直是近年来GIS应用系统开发中需要解决的重要问题。目前，实现多源数据集成的方式大致有三种，即：数据格式转换模式、数据互操作模式、直接数据访问模式。、数据格式转换模式

格式转换模式是传统GIS 数据集成方法（图1）。在这种模式下，其他数据格式经专门的数据转换程序进行格式转换后，复制到当前系统中的数据库或文件中。这是目前GIS系统数据集成的主要办法。目前得到公认的几种重要的空间数据格式有：ESRI公司的Arc/Info Coverage、ArcShape Files、E00格式；AutoDesk的DXF格式和DWG格式；MapInfo的MIF格式；Intergraph的dgn格式等等。数据转换模式主要存在的问题是：

（1）由于缺乏对空间对象统一的描述方法，从而使得不同数据格式描述空间对象时采用的数据模型不同，因而转换后不能完全准确表达源数据的信息。

（2）这种模式需要将数据统一起来，违背了数据分布和独立性的原则；如果数据来源是多个代理或企业单位，这种方法需要所有权的转让等问题。美国国家空间数据协会（NSDI）确定制定了统一的空间数据格式规范SDTS（Spatial Data Transformation Standard），包括几何坐标、投影、拓扑关系、属性数据、数据字典，也包括栅格格式和矢量格式等不同的空间数据格式的转换标准。许多软件利用SDTS提供了标准的空间数据交换格式。目前，ESRI在ARC/INFO中提供了SDTSIMPORT以及SDTSEXPORT模块，Intergraph公司在MGE产品系列中也支持SDTS矢量格式。SDTS在一定程度上解决了不同数据格式之间缺乏统一的空间对象描述基础的问题。但SDTS目前还很不完善，还不能完全概括空间对象的不同描述方法，并且还不能统一为各个层次以及从不同应用领域为空间数据转换提供统一的标准；并且SDTS没有为数据的集中和分布式处理提供解决方案，所有的数据仍需要经过格式转换复制到系统中，不能自动同步更新。、数据互操作模式

数据互操作模式是OpenGIS consortium(OGC)制定的规范。OGC是为了发展开放式地理数据系统、研究地学空间信息标准化以及处理方法的一个非盈利组织。GIS互操作是指在异构数据库和分布计算的情况下，GIS用户在相互理解的基础上，能透明地获取所需的信息。OGC为数据互操作制定了统一的规范，从而使得一个系统同时支持不同的空间数据格式成为可能。根据OGC颁布的规范，可以把提供数据源的软件称为数据服务器（Data Servers），把使用数据的软件称为数据客户（Data Clients），数据客户使用某种数据的过程就是发出数据请求，由数据服务器提供服务的过程，其最终目的是使数据客户能读取任意数据服务器提供的空间数据。OGC规范基于OMG的CORBA、Microsoft的OLE/COM以及SQL等，为实现不同平台间服务器和客户端之间数据请求和服务提供了统一的协议。OGC规范正得到OMG和ISO的承认，从而逐渐成为一种国际标准，将被越来越多的GIS软件以及研究者所接受和采纳。目前，还没有商业化GIS软件完全支持这一规范。数据互操作为多源数据集成提供了崭新的思路和规范。它将GIS带入了开放式的时代，从而为空间数据集中式管理和分布存储与共享提供了操作的依据。OGC标准将计算机软件领域的非空间数据处理标准成功地应用到空间数据上。但是OGC标准更多考虑到采用了OpenGIS协议的空间数据服务软件和空间数据客户软件，对于那些历史存在的大量非OpenGIS标准的空间数据格式的处理办法还缺乏标准的规范。而从目前来看，非OpenGIS标准的空间数据格式仍然占据已有数据的主体。

数据互操作规范为多源数据集成带来了新的模式，但这一模式在应用中存在一定局限性：首先，为真正实现各种格式数据之间的互操作，需要每个每种格式的宿主软件都按照着统一的规范实现数据访问接口，在一定时期内还不现实；其次，一个软

件访问其他软件的数据格式时是通过数据服务器实现的，这个数据服务器实际上就是被访问数据格式的宿主软件，也就是说，用户必须同时拥有这两个GIS软件，并且同时运行，才能完成数据互操作过程。

3、直接数据访问模式

顾名思义，直接数据访问指在一个GIS软件中实现对其他软件数据格式的直接访问，用户可以使用单个GIS软件存取多种数据格式。直接数据访问不仅避免了繁的数据转换，而且在一个GIS软件中访问某种软件的数据格式不要求用户拥有该数据格式的宿主软件，更不需要该软件运行。直接数据访问提供了一种更为经济实用的多源数据集成模式。

目前使用直接数据访问模式实现多源数据集成的GIS软件主要有两个，即： Intergraph 推出的GeoMedia系列软件和中国科学院地理信息产业发展中心研制的SuperMap。GeoMedia实现了对大多数GIS/CAD软件数据格式的直接访问，包括：MGE、Arc/Info、Frame、Oracle Spatial、SQL Server、Access MDB等(图2)。SuperMap 2.0则提供了存取SQL Server、Oracle Spatial、ESRI SDE、Access MDB、SuperMap SDB文件等的能力，在以后的版本中将逐步支持对Arc/Info Coverage、AutoCAD DWG、MicroStation DGN、ArcView等数据格式的直接访问。

三、多源空间数据格式集成的展望、文件方式和数据库方式

传统的空间数据往往采用文件方式，随着技术的进步，逐渐将属性数据移植到数据库平台上；随着技术发展，图形数据也可以和属性数据一起存放在关系数据库中。文件方式对数据管理安全性较差，存在着属性和图形分开管理的问题，不适合网络共享发展的需要；数据库方式则实现了空间数据和属性数据一体化存储和管理，便于开发两层、三层甚至多层网络应用系统。从发展趋势来看，纯关系数据库方案取代文件方案是发展的必然趋势，这也是IT发展的主流趋势。随着对信息量需求的增大以及信息需求种类增多，数据仓库的建立，将是GIS文件系统向数据库系统发展的主流。、OpenGIS、SDTS与DLG/F

OpenGIS是目前的主流标准，但SDTS并不会停滞不前，相反笔者认为SDTS将会与OpenGIS走向一体化。SDTS 可以为OpenGIS提供一个转换和存取空间数据的标准，该标准是不依赖任何一种特定GIS软件格式的，该标准中利用头文件描述格式的方式使得数据服务者不必专门提供格式说明，而数据客户也不必专门学习该格式，只需读取SDTS头文件就可获得数据服务者提供的数据格式。笔者认为利用SDTS做数据标准，利用OGC作数据互操作的标准（例如空间SQL标准），简单地说就是如果说SDTS提供了数据格式的头文件，而OGC标准则提供了读写这个头文件的标准方法。如果再采用数据库作后台，利用空间数据引擎，空间数据引擎按照SDTS存取空间数据，按照OGC标准对客户软件提供操作接口，这将是空间数据集成的理想解决方案。USGS还提供了一种称作DLG/F的标准，该标准设计了空间数据在数据库中的动态存储结构，利用该结构可以将拓扑关系动态记录下来，同时可以让用户添加自定义的空间数据类型。怎样利用DLG/F完善SDTS和OpenGIS也将是OpenGIS以及SDTS发展的方向。、统一空间实体编码

多源空间数据据格式集成还有一个很重要的方面就是如何处理不同数据库对空间实体采用的编码方式不同的问题。从理论上来说，一个系统对同一空间实体的编码应该是唯一的，实际上由于不同领域从不同视角对同一空间实体编码并不一样，甚至会出现不同空间实体具有相同编码的情况，这些编码放在同一系统中，就会出现空间实体标识的严重问题。从目前来看，OpenGIS和SDTS都是基于地理特征（Feature）定义空间实体的，但都还不能真正提供一个通用的空间实体编码体系。

参考文献

１.On spatial database integration, Thomas Devogele ,Geographical Information Science, 1998,12(4)

２.Issues and prospects for the next generation of the spatial data transfer standard(SDTS), DAVID ARCTUR, DAVID HAIR,GEORGE TIMSON, etc, Geographical Information Science, 1998,12(4)

３.Towards integrated geographic information processing，DAVID J.ABEL, BENG CHIN COOI, KIAN-LEE TAN etc, Geographical Information Science, 1998,12(4)

４.A framework for the integration of geographical information systems and modelbase management , DAVID A.BENNETT, Geographical Information Science, 1997,11(4)

数据中心的“罗利模式” 篇3

这些令业界惊叹的数据指标来自于IBM美国罗利数据中心——这个始建于2008年的数据中心在15个月内就开始支持客户运营，远少于业界的18〜24个月平均时间。不过，快速部署并不是数据中心“罗利模式”的全部，灵活高效的建设理念才是实现以上所有数字的关键，而这也适应了数据爆炸性增长下数据中心的发展趋势。

有数据统计，近10年来，服务器数量增长了6倍，存储增长了69倍，数据中心每年的能耗费用增加了18%，这些都给企业带来了沉重的成本压力。在中国，许多企业制定数据中心决策时都会以为其行业或城市构建最大的数据中心为己任，盲目追求大规模，而忽视了整体效益，这种布局观无疑使本来就成本沉重的数据中心建设雪上加霜。

IBM的“罗利模式”告诉业界，数据中心其实可以很“经济”，而这种实用的理念与高效、节能并不矛盾。那么，“罗利模式”究竟是什么，它有哪些关键点？近日，本报记者亲赴美国罗利，深入采访了IBM罗利数据中心的相关负责人，并期望以此文为国内的数据中心建设提供有益借鉴。

“实用主义”

催生模块化设计

一座数据中心建成不到5年，高速的业务增长需求已经使其不堪重负，数据中心究竟还能支撑多久？没有人能说得清楚。这种情况在中国并不只是个例，数据中心建设缺乏战略规划已经成为许多企业开始重视的问题。

毫无疑问，数据中心建设必须有战略规划，盲目追求大规模或者走一步看一步的“短视”做法都不是能够支撑数据中心长久发展的观念。那么，数据中心的建设需要具备怎样的战略思想？

“一个数据中心数百万美元甚至上千万美元的投资，需要持续运作20〜30年，但IT技术或计算模型却每两到三年就会发生变化。什么样的方法既能保持数据中心的长久生命力，又能应对数据激增所带来的成本压力？”IBM副总裁Steven Sams认为，模块化的设计能保证数据中心的“随需应变”，而这也是为什么罗利数据中心能够实现经济高效而又智慧节能的关键。

作为IBM第一家企业级模块化数据中心，罗利数据中心是由一座制造工厂改建而来的。IBM工程建设服务总监Philp Calabrese向记者介绍，数据中心占地面积1万平方英尺，现在已建成6000平方英尺，而剩下的4000平方英尺完全可以根据用户的需要快速部署，一边使用一边建设，这主要得益于模块化的设计思想。

什么是模块化的设计？“就是让数据中心具有可伸缩的规模，当我们需要时，我们便会增加数据中心容量，使用模块化方式增加UPS的容量、冷水机组的数量和电气开关装置的数量，可以根据需求随时进行扩展。”Philp Calabrese这样向记者解释。

调查显示，数据中心的资本成本中60%来自于机械与电气系统，而后期的运营成本更是高达前期成本的3〜5倍。模块化设计的数据中心可以有效降低企业的前期成本，延迟40%〜50%的数据中心生命周期成本。

近些年，模块化数据中心的概念也在中国悄然走红，但是能实现真正意义上的“模块化”却不多见。模块化并不是走一步看一步，而是在全面、合理规划下，实现按需取材和快速部署，像搭积木一样地建设数据中心，这将使企业的战略规划面临极大考验。

在参观数据中心时，记者看到整个数据中心的规划非常清晰——N+1的基站为停电时紧急发电留出了充足的备份；水冷系统能够实现冷热水循环交替，冬天时，热水还可以用来为整栋大楼供暖；湿电池组能够在断电的情况下为数据中心提供15分钟的供电，这所有的一切都为上千台机柜能够正常工作提供保障。

Philp Calabrese提到，从基站到水冷系统、从电池组到机柜摆放，模块化数据中心的机械和电气设备将支持每个模块，“我们已经安装了必需的基础设施，比如空调管道的预设可以支持以后增加的其他机房空调，为此，我们只需多付出5%〜10%的成本，而不必日后再用多出30%的费用去安装设备。这一切都取决于初建时的合理规划。”

云计算为高效护航

目前，全球积累的数据数量之庞大是人们无法想像的。有数据显示，在短短3年内，IP流量总数预计将超过1.2 zettabyte（即1.2兆兆亿字节）。要获得数据背后所蕴藏的价值，就要拥有强大的数据分析能力。在这种情况下，企业需要通过基于云计算模式的优化系统来实现大规模的数据优化与分析，IBM将这一模式称之为“智慧的运算”，它是实现“智慧的地球”战略的重要技术手段。而数据中心所具有的数据分析与管理的强大能力，使数据中心成为承载“智慧的运算”的一个理想平台。

其实，IBM自身也是云计算的受益者。在IBM全球，跨越6大洲的3.5万多名IBM市场人员日常采用IBM基于云计算的Marketing Operations解决方案进行跨地区协作；超过1.9万名员工采用Blue Insight，这是全球最大的业务分析私有云技术，它整合了近100个不同信息仓库和数据库的信息，为IBM节省了数千万美元；此外，IBM中国研发中心以及美国和印度呼叫中心团队的1200多位用户已迁移到桌面云环境，使客户端配置节省了20%〜30%。

“云计算带来了经济高效并且灵活的选择。利用云计算，IT专家能够在数据中心之间动态迁移工作负载，或者在需求高峰期间将工作负载迁移到公共云，释放出内部容量。”作为IBM云计算数据中心之一，IBM全球信息科技服务部市场总监David Lapp向记者详细介绍了罗利数据中心的云计算服务模式，并由此阐述了IBM的全球云计算服务，这也是中国记者首次了解到IBM全球的数据中心云计算部署。

数据中心为企业提供的云计算服务划分为两大类——“Enterprise”和“Enterprise+”。“Enterprise” 是一个敏捷的云基础设施，为企业提供类似Iaas（基础设施即服务）的模式，旨在提供能够快速部署、高安全性的企业级虚拟服务器环境，适合用于开发和测试活动。因此，“Enterprise”的客户是以研发为主的企业，IBM为其提供云计算服务的系统和软件，以满足客户的业务需求。

“Enterprise+” 则是由IBM所有并运营的一个可以实现自我配置的云基础架构，主要针对企业的核心业务流程。通过“Enterprise+”的交付服务，企业可以提升工作流的反应速度并降低成本，多层次的隔离和99%的可利用性对客户意味着可以放心地把业务核心流程放到云上去。

在罗利数据中心，客户可以选择最优的解决方案，将公共云和私有云结合在一起。识别工作负载特性是将云计算与整体IT策略整合的第一步，是公共云的理想应用；相互依赖或安全性要求更高的数据库和应用工作负载更加适用私有云。目前，罗利数据中心的公共云方案中包括了桌面、测试和开发的解决方案，其中每一个解决方案都可以大幅度降低总体拥有成本，最高可达40%。

David Lapp在和记者交流时表示，业务流程的重新设计、跨越异构环境和用户的无缝整合、完整性与安全性是成功实施云计算的三个关键挑战。“无论是公有云还是私有云，都意味着理念的全新改变。”

打造“服务管理”能力

对于数据中心，物理结构、系统利用率与可用性并不是所关注的全部，其交付能力、应对变化的能力以及预测容量需求和系统异常的能力更能考验数据中心的生命力，这些被称为“服务管理”能力。IBM对CIO的一项调研报告指出，数据中心未来容量可能存在减少50%或增长200%的突发情况，因此，运营好一个数据中心往往比建设好一个数据中心需要面对更大的挑战。

如何用系统化的方法管理数据中心的建设和运营？在建立一整套管理运营体系方面，“罗利模式”确实值得国内企业借鉴。在高灵活性的模块化战略选择下，罗利数据中心采用了“所见即所得、集成优化控制、融合流程支持”的一站式管理理念，即针对数据中心的业务类型和个性化需求，无缝集成各种先进的IT 、资产和机房管理的技术、方法和流程，主动有机融合多源监管系统和多源数据，消除传统运营管理的孤岛和“烟囱”效应。

整合的管理模式需要集成化的解决方案，“罗利模式”则采用了先进的软件分析工具和技术，对数据中心的运营进行优化，同时采集详细信息来帮助制定容量规划，以实时监测，实现持续的能源管理。

“罗利模式”集成了IT设备、数据中心，并且构建了楼宇自动化系统，设立了超过8000个分支电路监测点用来自动监测IT系统，利用2000多个传感器采集计算机机房空调的温度，同时还安装了3万多个基础设施和环境传感器。

而这所有的数据均被软件加以集成、分析。在数据中心，记者能清晰地通过IBM Tivoli软件从显示屏上看到整个区域的温度显示，绿色代表温度较低、红色则代表温度较高，IBM卓越工程师、Tivoli行业解决方案首席架构师Jim Fletcher向记者介绍，在集成化的解决方案下，所有的设备都变得更为智能。“我们安装新设备，甚至在订购前就可以从软件中了解电力、占地面积和冷却等方面的需求量；基于采集的传感器数据，能够产生3D热量图；利用先进的计算机建模技术，还可以模拟服务器摆放的场景，从而确定最为理想的服务器部署。”

链接

“罗利模式”的高能效方法

罗利数据中心高能源效率方面的最佳实践每年为IBM节省180万美元的成本。而如何实现高效能，有时往往并不是采用多么先进的技术，“经济实惠”也同样能够达到高效能的目的。

IBM院士、首席工程师Roger Schmidt是“Heat Exchanger-Rear Door（背式热交换）”专利的发明人。这种专利技术通过改变机柜的摆放方式就能将整体温度降至26.25摄氏度左右，而一般的机柜温度是37.5摄氏度左右，有时甚至能达到50摄氏度。

背部是机柜散热温度最高的部位，这种摆放方式即将机柜背对背摆放，将热空气集中在中间；而装有水冷装置的机柜正面则释放冷气，如此做到冷热空气隔离并循环交换，能迅速降低机柜背部所散发的热气（如图）。在罗利数据中心，记者所见的机柜全部是背对背摆放，仅这一项技术就能将机柜温度下降10摄氏度左右。

大数据模式的数据挖掘研究 篇4

1 大数据环境下O2O电商用户数据分析

O2O电子商务模式是近年来兴起的新商业模式,以电商平台为纽带,将实体经济与线上资源相结合,构建经济延伸渠道,利用线上服务挖掘吸引客源,利用线下平台完成积极交流活动,目前以淘宝、天猫、京东、苏宁等多家电商平台为众人所熟知。O2O电商模式在2006年最先由沃尔玛公司启用,发展到现在,已经与社交网络、移动终端(手机、平板电脑等)紧密结合,以团购等形式出现,配合移动优惠、线上个性服务、增值服务等形成了新的商业形态,国内外从事电商的企业更是数以千计,比如淘宝网、腾讯网、拉手网、推特、百度等,诸多业界巨头迅速跟进,尤其是2013年淘宝天猫日交易量超过300亿元更是占据交易量榜首。电商发展到现在,已经成为拥有众多用户数据的强大平台,数据的暴增与社会化逐渐模糊了电商企业的数据边界。海量的用户数据超越了目前人力处理范畴,诸如数据冗余、数据过载、数据捕获情况快速增长,面对此种情况,应用大数据模式做数据挖掘已经成为必然,是解决电商大数据压力的首要手段。当前电商发展已经进入大数据时代,用户数据以每年平均60%的速度快速增长,企业平均利用率不到5%,用户数据作为宝贵资源并未发挥出自身价值,所以进行数据挖掘具有重要意义[2]。

2 大数据环境下O2O电商用户数据挖掘研究

2.1 O2O电商用户数据挖掘框架

电商用户数据的大数据特征意味着传统数据分析技术无法高效的挖掘利用其潜在价值,同样是提取有效未知信息,数据挖掘是将其增值的过程,且数据挖掘优越性主要表现在以下三个方面:一是数据挖掘处理处理规模以PB级别甚至更大量级别论处,二是数据挖掘不仅可处理静态结构化数据,其在处理非结构化、半结构化及实时数据方面更具优势,三是数据挖掘在分析手段和方法上更加多元化复杂化,包括机器学习、人工智能算法等等,可更好地服务于数据潜力未知知识的挖掘。传统数据分析方法如平滑、滤波、傅里叶变换、极限与峰值等在大数据环境下发挥作用有限,对数据分析师及分析过程极为依赖,且只能处理结构化数据,分析速率慢,缺乏实时性,数据价值不高,对比数据挖掘方法而言,弊端众多[3]。

结合电商大数据特殊性来看,应用数据挖掘法才可以从以PB和EB级计的数据中及时挖掘高价值未知信息,服务电商企业发展与竞争。所以,当前大数据挖掘模式已经成为电商竞争的重要领域,从数据海洋中寻找规律成为必然。就目前而言,结合电商大数据特点,数据挖掘框架结构设计如下,利用此结构可获得价值更高、更为精准的数据信息,实现实时响应。

2.2 电商用户数据挖掘流程

传统数据分析流程比起大数据挖掘分析利用要简单许多,利用分类算法与预测算法对抽样选择的元数据进行连续取值和离散类别。大数据挖掘与其相比,更类似于知识被自动发现的过程,在无目标无限制条件下从多个庞大数据源获取数据,并对其进行预处理,利用人工智能算法与机器学习处理挖掘数据,获得价值较高的潜在信息。在电商数据挖掘中,需要注意一个要点,电商用户数据具有群体性特征,可根据不同群体用户特征挖掘用户个人特点,获得价值含量较高的信息,服务电商经营发展与管理。电商用户的数据挖掘流程,首先要从电商平台、社交网络、O2O平台获取数据,进行解析、清洗与重构,经过数据过滤与映射之后,进行数据抽取和关联数据融合,应用数据模型进行挖掘,并最终将挖掘到的高价值信息进行应用,服务于电商平台个性化功能的打造与升级,简单来说,数据挖掘流程可简化为收集——准备——转化——抽取——挖掘——应用六大步骤。

2.3 电商用户数据挖掘方法

大数据挖掘应用关联规则、聚类与分类方法等可有效预测未来发展趋势,作出高价值有效决策,服务电商用户数据的挖掘应用。关联规则分析包括因果、时序、简单关联三类,在数据挖掘中通过分析找出关联关系,从而提炼出影响用户需求及行为的关键因素,为电商经营运行提供风险评估、风险预测、经营决策支持等。聚类与分类分析中,聚类分析用于市场细分,研究不同客户群行为特征,方便用户背景与兴趣归类和购买预测等,分类分析则是根据对象共同特点挖掘分类并建立相关模型,映射到特定类型,可用于用户满意度、用户群体特征与属性、购买趋势预测分析。社会网络分析主要针对不同社会单位如个人、群体或社会等分析其关系结构和属性,专注用户间关系,通过研究描述这种关系流动情况来获得各类信息及资源等。变化与偏差分析主要针对用户异常数据的发现、识别与流失预警等,对于不满足规则的特例、预测模型偏差与量值变化等潜在知识进行挖掘。

2.4 电商用户数据的挖掘应用

大数据模式的数据挖掘在O2O电商用户数据中的应用,可有效挖掘用户潜在心理与行为特征,分析兴趣焦点所在,对于摸清其消费习惯更好的调整经营战略有重要意义,便于电商平台制定更加高效精准的市场发展对策,及时掌握市场变化与用户需求变化,从而在电商平台上提供更加及时且个性化的服务,提升经济效益,将用户潜在信息价值转化为支持电商企业决策的潜力。大数据模式下的用户数据挖掘应用可更好的细化市场,挖掘用户行为需求与准则,让电商平台争取到更多的商家资源,吸引大量消费者,提升信赖度与依赖度,便于电商的精准营销。数据挖掘的应用有利于进一步优化电商平台网络,提供更好的用户服务,有利于稳定客户关系,进一步锁定潜在用户,还可大力发展电商增值服务,防范该平台上的用户欺诈等行为,做好风险管理,保护数据信息与用户合法权益。

综上所述,随着大数据、云计算、物联网等技术潮流来袭,基于大数据模式的数据挖掘可更好的挖掘其潜在高价值信息,推动社会发展与技术升级,实现到数据为王的转变,尤其是O2O电商平台,将在大数据模式下的数据挖掘中迎来更好的发展,创造巨大的商业价值,因此必须加快数据挖掘与应用的研究、探索与实践。

参考文献

[1]刘大有,陈慧灵,齐红,杨博.时空数据挖掘研究进展[J].计算机研究与发展,2013(2).

[2]李晋,杜庆东,穆宝良.基于SOA的数据挖掘服务整合研究与设计[J].沈阳师范大学学报:自然科学版,2010(2).

大数据变现的九种商业模式 篇5

大数据已经从论坛串场、浮躁的观点逐步走向国家治理体系建设、营销管理、生产管理、证券市场等方面，其商业模式也多种多样。大数据变现的九种商业模式

在大数据成为趋势，成为国家战略的今天，如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言，大数据的变现显得尤为重要。谁最先一步找到密码，谁就能够抢占市场，赢得发展。

大数据产业具有无污染、生态友好、低投入高附加值特点，对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。前几年，国内大数据产业讨论较多、落地较少，商业模式处于初探期，行业处于两种极端：一种是过热的浮躁带来了一定的泡沫和产业风险；一种是怀疑大数据只是炒作，依然坚持传统管理理念、经营模式。但是进入2015年之后，大数据产业告别了泡沫，进入更务实的发展阶段，从产业萌芽期进入了成长期。当前，如何将大数据变现成为业界探索的重要方向。1B2B大数据交易所

国内外均有企业在推动大数据交易。目前，我国正在探索“国家队”性质的B2B大数据交易所模式。

2014年2月20日，国内首个面向数据交易的产业组织—中关村大数据交易产业联盟成立，同日，中关村数海大数据交易平台启动，定位大数据的交易服务平台。2015年4月15日，贵阳大数据交易所正式挂牌运营并完成首批大数据交易。贵阳大数据交易所完成的首批数据交易卖方为深圳市腾讯计算机系统有限公司、广东省数字广东研究院，买方为京东云平台、中金数据系统有限公司。2015年5月26日，在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会上，贵阳大数据交易所推出《2015年中国大数据交易白皮书》和《贵阳大数据交易所702公约》，为大数据交易所的性质、目的、交易标的、信息隐私保护等指明了方向，奠定了大数据金矿变现的产业基础。2咨询研究报告

国内咨询报告的数据大多来源于国家统计局等各部委的统计数据，由专业的研究员对数据加以分析、挖掘，找出各行业的定量特点进而得出定性结论，常见于“市场调研分析及发展咨询报告”，如“2015～2020年中国通信设备行业市场调研分析及发展咨询报告”、“2015～2020年中国手机行业销售状况分析及发展策略”、“2015年光纤市场分析报告”等，这些咨询报告面向社会销售，其实就是O2O的大数据交易模式。

各行各业的分析报告为行业内的大量企业提供了智力成果、企业运营和市场营销的数据参考，有利于市场优化供应链，避免产能过剩，维持市场稳定。这些都是以统计部门的结构化数据和非结构化数据为基础的专业研究，这就是传统的一对多的行业大数据商业模式。3数据挖掘云计算软件

云计算的出现为中小企业分析海量数据提供了廉价的解决方案，SaaS模式是云计算的最大魅力所在。云计算服务中SaaS软件可以提供数据挖掘、数据清洗的第三方软件和插件。

业内曾有专家指出，大数据=海量数据+分析软件+挖掘过程，通过强大的各有千秋的分析软件来提供多样性的数据挖掘服务就是其盈利模式。国内已经有大数据公司开发了这些架构在云端的大数据分析软件：它集统计分析、数据挖掘和商务智能于一体，用户只需要将数据导入该平台，就可以利用该平台提供的丰富算法和模型，进行数据处理、基础统计、高级统计、数据挖掘、数据制图和结果输出等。数据由系统统一进行管理，能够区分私有和公有数据，可以保证私有数据只供持有者使用，同时支持多样数据源接入，适合分析各行各业的数据，易学好用、操作界面简易直观，普通用户稍做了解即可使用，同时也适合高端用户自己建模进行二次开发。4大数据分析服务

机构及企业规模越大其拥有的数据量就越大，但是很少有企业像大型互联网公司那样有自己的大数据分析团队，因此必然存在一些专业型的大数据咨询公司，这些公司提供基于管理咨询的大数据建模、大数据分析、商业模式转型、市场营销策划等，有了大数据作为依据，咨询公司的结论和咨询成果更加有说服力，这也是传统咨询公司的转型方向。比如某国外大型IT研究与顾问咨询公司的副总裁在公开场合曾表示，大数据能使贵州农业节省60%的投入，同时增加80%的产出。该公司能做出这样的论断当然是基于其对贵州农业、天气、土壤等数据的日积月累以及其建模分析能力。5政府决策咨询智库

党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》明确提出，加强中国特色新型智库建设，建立健全决策咨询制度。这是中共中央文件首次提出“智库”概念。

近几年，一批以建设现代化智库为导向、以服务国家发展战略为目标的智库迅速成立，中国智库数量从2008年的全球第12位跃居当前第2位。大数据是智库的核心，没有了数据，智库的预测和分析将为无源之水。在海量信息甚至泛滥的情况下，智库要提升梳理、整合信息的能力必然需要依靠大数据分析。

研究认为，93%的行为是可以预测的，如果将事件数字化、公式化、模型化，其实多么复杂的事件都是有其可以预知的规律可循，事态的发展走向是极易被预测的。可见，大数据的应用将不断提高政府的决策效率和决策科学性。6自有平台大数据分析

随着大数据的价值被各行各业逐渐认可，拥有广大客户群的大中型企业也开始开发、建设自有平台来分析大数据，并嵌入到企业内部的ERP系统信息流，由数据来引导企业内部决策、运营、现金流管理、市场开拓等，起到了企业内部价值链增值的作用。

在分析1.0时代，数据仓库被视作分析的基础。2.0时代，公司主要依靠Hadoop集群和NoSQL数据库。3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。更多的企业将在其战略部门设置首席分析官，组织跨部门、跨学科、知识结构丰富、营销经验丰富的人员进行各种类型数据的混合分析。7大数据投资工具

证券市场行为、各类指数与投资者的分析、判断以及情绪都有很大关系。2002年诺贝尔经济学奖授予了行为经济学家卡尼曼和实验经济学家史密斯，行为经济学开始被主流经济学所接受，行为金融理论将心理学尤其是行为科学理论融入金融中。现实生活中拥有大量用户数据的互联网公司将其论坛、博客、新闻报道、文章、网民用户情绪、投资行为与股票行情对接，研究的是互联网的行为数据，关注热点及市场情绪，动态调整投资组合，开发出大数据投资工具，比如大数据类基金等。这些投资工具直接将大数据转化为投资理财产品。8定向采购线上交易平台

数据分析结果很多时候是其他行业的业务基础，国内目前对实体经济的电子商务化已经做到了B2C、C2C、B2B等，甚至目前O2O也越来越流行，但是对于数据这种虚拟商品而言，目前还没有具体的线上交易平台。比如服装制造企业针对某个省份的市场，需要该市场客户的身高、体重的中位数和平均数数据，那么医院体检部门、专业体检机构就是这些数据的供给方。通过获取这些数据，服装企业将可以开展精细化生产，以更低的成本生产出贴合市场需求的服装。假想一下，如果有这样一个“大数据定向采购平台”，就像淘宝购物一样，可以发起买方需求，也可以推出卖方产品，通过这样的模式，外加第三方支付平台，“数据分析结论”这种商品就会悄然而生，这种商品不占用物流资源、不污染环境、快速响应，但是却有“供”和“需”双方巨大的市场。而且通过这种平台可以保障基础数据安全，大数据定向采购服务平台交易的不是底层的基础数据，而是通过清洗建模出来的数据结果。所有卖方、买方都要实名认证，建立诚信档案机制并与国家信用体系打通。9非营利性数据征信评价机构

在国家将公民信息保护纳入刑法范围之前，公民个人信息经常被明码标价公开出售,并且形成了一个“灰色产业”。为此，2009年2月28日通过的刑法修正案

（七）中新增了出售、非法提供公民个人信息罪，非法获取公民个人信息罪。该法条中特指国家机关或者金融、电信、交通、教育、医疗等单位的工作人员，不得将公民个人信息出售或非法提供给他人。而公民的信息在各种考试中介机构、房产中介、钓鱼网站、网站论坛依然在出售，诈骗电话、骚扰电话、推销电话在增加运营商话务量的同时也在破坏整个社会的信用体系和公民的安全感。

虽然数据交易之前是交易所规定的经过数据清洗的数据，但是交易所员工从本质上是无法监控全国海量的数据的。数据清洗只是对不符合格式要求的数据进行清洗，主要有不完整的数据、错误的数据、重复的数据三大类。因此，建立非营利性数据征信评价机构是非常有必要的，将数据征信纳入企业及个人征信系统，作为全国征信系统的一部分，避免黑市交易变成市场的正常行为。

数据采集模式 篇6

围绕Facebook上市掀起的舆论狂欢中，我注意到一个滑稽现象。Facebook一直以来被互联网界当作SNS概念，但上市的时候，在投资人眼中，却成了大数据概念。

中信证券以《Facebook上市引领互联网进入大数据时代》，建议投资人借Facebook的势，不是投入人网这样的SNS概念，而是投拓尔思(非结构化信息处理)这样的大数据概念。这非常典型地显示了在“Facebook到底是什么物种”这一问题上，存在着外行与内行的认识分歧和截然区别。

那么，究竟是谁在看热闹，谁在看门道?不幸的很可能是：互联网界在看热闹，而投资人反而在看门道。

Facebook首先是大数据

我以前有一个观点，或叫不同意见，与互联网同行交流起来，感到非常费劲。他们总是认为，Facebook首先是SNS；我却认为，Facebook首先是数据。我指出：“国内业界总是把脸谱当作SNS津津乐道。其实这是一种比较业余的看热闹的观点。脸谱确实是SNS，但他真正的核心竞争力，在数据核心业务上。”

我这种异类的看法，在项目经理、尤其是标榜SNS概念的项目经理那里，很少得到共鸣。这一回，终于在投资人那里，遇到了知音。我认为资本入的观点，比项目经理的观点，更接近Facebook的实际。

首先，资本人比项目经理视野更开阔，更长于把Facebook放在时代大背景中看，而不是项目经理那种单纯业务观点。

资本人把Facebook放到了两个大背景中：1、在时代判断上认识到，社交网络(SNS)的价值挖掘引领互联网进入大数据时代，推动“大数据”产业发展。2、在产业链判断上认识到，以Facebook为代表的社交网络率先进入大数据时代，将进一步引领其他互联网领域的大数据应用，对用户价值的挖掘将驱动“大数据”产业链的发展。

项目经理虽然注意到了Facebook的SNS，但对于SNS在更大范围做什么用，想得并不多，因此把SNS当作了目标本身。

其次，资本人比项目经理更长于透过SNS的现象，看到其数据本质。

资本人把Facebook这个“特殊”，放在了“一般”之中：1、资本人认识到SNS只是大数据在采集端的一个特例：大数据指的是“海量数据+复杂数据类型”，而社交网络(SNS)恰恰就是每秒钟都在生成海量的非结构化数据(文本、应用、位置信息、图片、音乐、视频等)，是典型的“大数据”的系统；2、SNS只是大数据的一种应用：“大数据”的核心在于数据的挖掘和应用产生的多方位价值。社交网络(SNS)的价值挖掘本身就是“大数据”和商业智能应用的重要应用。3、Facebook代表着一对一的消费驱动模式转型：Facebook用户数据蕴含着巨大的商业价值。用户所发表的评论、上传的图片、音乐、视频等均为典型的非结构化数据，其中蕴含的用户消费倾向，“数据”的挖掘分析可以大幅提升广告的精确投放效果，有利于Facebook开发对用户更具吸引力的应用，并且可以通过用户行为预测多个行业的发展趋势，蕴含巨大的商业价值。

相形之下，项目经理对于Facebook的理解，过于集中到与转型无关的功能细节上了，而较少理解Facebook商业模式在转型上的含义。

对扎克伯格来说，甚至资本人都不能读透他的心。资本只是在价值层面，解读Facebook是什么。而扎克伯格一再强调，Facebook的创建目的并非成为一家公司，需要在意义层面，读懂Facebook的使命。不是SNS之后的FaCebook将是什么

Facebook远不是SNS，SNS勉强可以说是Facebook的一种禀赋。对于禀赋来说，SNS甚至还只是多种可能的禀赋之一。这一点连商业分析人士都看出来了。Federated Media的约翰·巴特利(John Battelle)就看出，“Facebook正在进行的某种转变与我们过去的预测不同。该公司正尝试着对自身进行重新定义，不满足于做狭义方面的社交网站，而这恰是外界对它的理解”。

1、成为人们生活的操作系统

巴特利最看好的一个新方向，就是生活操作系统。

巴特利表示，所有企业都抢着成为人们生活的操作系统，他们想成为这样一个中心地方，用户参与并将所有数据存储在那里，然后他们做任何事情都需要利用到这些中枢。扎克伯格本人说的则是：世界信息基础架构应当与社交图谱类似。

扎克伯格的视野已经越过社交，从社交受到启发，扩展到图谱类似的“世界信息基础架构”。这个说法不如巴特利“成为人们生活的操作系统”到位。实际上扎克伯格的本义可能更接近这个意思，因为他说：人们分享得越多，他们就能够通过自己信赖的人，获得更多有关产品和服务的信息。他们能够更加轻松地找到最佳产品，并提高生活品质和效率。分明在强调生活的意义。

“世界信息基础架构”同“生活操作系统”，都可能算是大数据背后的原型架构，相较而言，前者更侧重从客体把握数据的总体架构，而后者更侧重于主体把握数据的总体架构。对大数据来说，什么是生活操作系统呢?这是指用意义重构生活，数据不过是用来重构的意义的质料。用主体方面的意义一聚焦，数据就有了好坏之分：数据最终趋向于意义的，成为智慧的；最后背离意义的，成为愚蠢的。所以说，智慧地球也好，智慧城市也好，并不是数据的大堆积，而因为面向生活而显得更有意义的。

工业社会的架构，没有把聚焦点放在意义之上，而是聚焦在价值上。价值与意义的关系，是手段与目的的关系。但是有价值不一定有意义，例如，有钱是有价值，快乐是意义，但有钱不一定陕乐。也就是说，掌握了实现快乐的手段，但达不到快乐这个目的。工业社会的人性的基础架构，跟价值有关的，都是充分社会化的，极为专业；但是跟意义有关的，都处于小生产状态，极为业余。这使工业社会不完美，容易成为一个为了高度发达的手段而体制性地忘记目的和宗旨的社会。

大数据的使命，不从技术这个手段看，而是从人的角度看，就是建立一个手段与目的之间的专业化、社会化的聚焦系统，从而体制性地让做事不要背离它的宗旨，从而让工业化条件下处于小农水平的人类意义系统，成为高度发达的社会总体架构。

数据采集模式 篇7

1“数据新闻”概念界定

1.1 概念含糊

关于“数据新闻”其概念在目前通用的教科书中尚未有相应的准确定义, 在学术界权威的新闻传播类工具书中, 程曼丽主编的《新闻传播学词典》和童兵主编的《新闻传播学大辞典》也并给出具体的解释。“数据新闻”, 作为近几年诞生的新名词, 关于其概念界定, 学术界众多学者亦是众说纷纭, 莫衷一是。

1.2 相关定义解释

查阅有关资料, 在《数据新闻手册》中解释了“数据新闻”是指“用数据报道新闻, 它为记者的传统新闻嗅觉与运用规模庞大的数据信息结合起来报道新闻创造了可能”。也有学者 (郎劲松、杨海) 解释数据新闻是“利用数据驱动的报道, 具体的说是通过挖掘和展现数据背后的关联与模式, 利用丰富的、具有交互性的可视化传播, 创造出新闻报道的新方式”, 更有学者称“数据新闻”是“大数据时代新闻生产的核心竞争力”。

2 大数据时代“数据新闻”特征

2.1 改变文字为中心叙事方式

“数据新闻”依靠全新的生产方式彻底颠覆了传统以文字为中心的叙事方式, 是大数据时代呈现出的最基本的特征。在大数据的背景下, 受众对于高质量新闻的需求以及精确新闻的经验积累, 传统新闻的模式不再适应当今时代新闻生产。“数据新闻”采用新闻报道的新方式, 极大地改变了文字作为新闻记录的单一性功能, 在处理复杂多变的新闻信息时, “数据新闻”通过动态分析与可视化视图呈现新闻内容, 增加了传播的便利性和信息的可识别性。大数据时代, “数据新闻”呈现出全新的特征, 其采用视图结合的趋势化分析与解读, 更加精准地讲述新闻信息, 便于受众的理解和记忆。

2.2 阐述重大新闻事件“议程设置”

阐述重大新闻事件, 为新媒体时代受众设置议题, 引导受众关注度, “数据新闻”在这方面始终扮演着重要的角色。传统的新闻媒体在报道重大新闻事件时, 受到其他主流媒体议程设置的影响, 在涉及重大新闻议题时, 传统的主流新闻媒体在公众心中保持着较高的可信度。新媒体在涉及重大新闻议题时, 新闻内容和报道方式上千篇一律, 缺乏深度报道, 与此同时, 新闻失真现象也是在报道中经常存在的问题。在新媒体与传统媒体在重大新闻议题的博弈过程中, “数据新闻”分析技术的出现, 各方媒体对于同一议题会有不同的报道方式, 记者在阐述新闻事件时有独特的解读方式, 公众在面对不同媒体呈现出的不同新闻内容有不同的“解码”方式, 从而“数据新闻”在宏大新闻事件的客观性报道中使新闻报道更加贴近个人的日常生活。

2.3 转变新闻记者社会角色

新媒体的发展和新技术的出现, “数据新闻”的产生在一定程度的上加快了新闻记者这一群体由“新闻民工”、“社会记录员”向“综合型记者”、“全能记者”的转型, 同时提升了记者的专业素质和职业素养。传统的新闻记者单纯作为信息的传播者和发布者, 大数据时代对于记者这一社会角色有了更加严格的要求。信息的分析处理能力的重要性愈来愈受到重视, 新闻记者不再是单纯的信息的报道者, 而成为新闻事件的有力阐释者。大数据时代下的“数据新闻”记者通过数据化的分析强化了自身的“新闻敏感力”, 在处理互联网信息时代冗杂复杂的信息时更加游刃有余, 更加灵活多样。实现新闻记者自身转型是新时代对于传播者这一角色的新期待。

3 大数据时代“数据新闻”产生的影响

3.1 传统新闻理念的变化

“数据新闻”催生传统的新闻理念发生颠覆式变化, 作为大数据时代信息化的产物, 其本质是一种“数据驱动型新闻”。数据的价值被充分的挖掘与利用, 动态的数字互动技术和人工智能技术改变了传统的新闻报道的理念, 激发新闻传播生产领域的大变革, 充分开发数据的价值与意义, 在新闻产业链引发“数据就是生产力”的思维革命。“数据新闻”对于报纸为首的传统纸质媒体在深度报道、新闻内容生产、版式编排方式方面也产生了不可估量的影响, 有学者估计, 未来的数年“数据新闻”将引领纸质媒体展开一场新变革。

3.2 传媒业人才结构的变化

“数据新闻”在未来的数十年将会极大改变传媒业人才结构。相比于传统媒体, 作为一种需要深度数据分析和高度信息处理能力的新兴新闻报道方式, “数据新闻”在对于专业人才结构需求上也亟待调整。记者的任务不再是单纯的采访与记录, 主播的任务也不再是在演播室播送与报道。名记者、名主播、名评论员的“三名主义”不再是未来新闻业乃至传媒业的新趋势, 相对于传统单一新闻学背景的专业人才, 数据挖掘、信息分析、计算机应用领域的多学科交叉背景的“复合型人才”将越来越迎合“数据新闻”时代传播领域的结构需求。

3.3 新闻报道实践的创新

大数据时代“数据新闻”的出现刺激新闻报道实践方式的创新。传统新闻对新闻报道的方式要求真实、客观、准确、时效性强;“数据新闻”对新闻报道的方式则要求完整、深入、有说服力、可视化。计算机数据处理和人工智能的参与使得新闻报道趋于形象化和多样化。新闻报道在大数据时代不断科学化调整, 规范化运作, 在实践方式上不断创新。新闻生产在海量的大数据资源中重新发掘报道的新规律、新趋势、新动向, 对于未来的新闻行业的变革意义重大。

3.4“数据新闻”负面影响

“数据新闻”在改变传统新闻报道的同时也存在着负面影响。其一, “数据新闻”是完全由数据掌控的新闻, “靠数据说话”在一定程度上提升了新闻的科学性和准确度。但是固化后的新闻报道又容易形成新的程式化和模式化的报道范式, 丧失了新闻报道原有的属性。其二, “数据新闻”过于花哨的形式, 过于形式化的图表, 过度吸引受众的注意力, 造成“舍本逐末”的现象, 使得新闻报道流于形式, 轻视内容。在开展深度报道之时, “数据新闻”的严肃性同样引发质疑。其三, 对于大数据的过分迷信与信赖, 受传者缺失正确的是非辨别和价值辨别标准, 新媒体对于同一新闻的单一“解码”方式使得受众丧失应有的思考能力, 成为“单向度的人”, 失去了数据新闻原有的趣味性和生动性。

结语

“数据新闻 (Data Journalism) ”基于大数据的收集、整理、分析技术, 以数据为支撑挖掘出数据背后的关联与意义, 并利用丰富多样的可视化传播创造了新闻报道的新模式。“数据新闻”对于数据的充分挖掘和利用对传统的新闻行业造成了巨大的挑战或冲击, 刺激了传统新闻生产及报道的转型, 加快了传统新闻生产及报道的变革, 从而创造新的新闻生产方式。诚如哲学上的辩证分析法, “数据新闻”亦存在双重属性, 在数据分析报道上存在的不足之处, 在诸多方面存在局限性, 尽管“数据新闻”必然催生新闻产业链的大变革, 却不能完全取代传统的新闻生产模式和新闻报道方式。

摘要：2013年是中国的“大数据”元年。近几年来, 有关大数据研究一直是学界和业界探讨的热点话题之一, 大数据技术也对传统的新闻传播领域的变革提供了新模式, “数据新闻”正是以大数据分析报道为支撑, 以多种形态的可视化视图为表现形式的新闻传播新模式。基于大数据时代新闻生产与实践, 本文试探讨“数据新闻”在大数据时代的传播新模式, 旨在为未来传媒业的发展提供可行性参考。

关键词：数据新闻,大数据,新闻前景

参考文献

[1]彭兰.“大数据”时代:新闻业面临的新震荡[J].编辑之友, 2013 (1)

[2]郎劲松, 杨海.数据新闻:大数据时代新闻可视化传播的创新路径[J].现代传播, 2014 (3)

大数据背景下的数据治理模式 篇8

在当前信息时代, 随着互联网技术与物联网的不断普及与发展, 人们获取、收集信息的渠道越来越多样化。各种搜索引擎、社交网站、通讯工具等的普及应用, 使得数据呈爆炸式增长的趋势, 因此, 当今时代也被称为大数据时代。大数据在现阶段已不是一个新颖的话题了, 但就目前而言, 大数据的有效管理与使用却一直是各个行业致力于研究的问题, 也就是所谓的数据治理。

在20世纪90年代, IBM就开始了对数据治理的研究与探索, 经过不断实践与完善, 如今在企业中已形成了一套较为成熟完善的数据治理模式。虽然数据治理的实践开始较早, 但在理论研究上, 学术界对数据治理还没有给出一个精准的定义, 各界学者对于数据治理的理解与定义各有不同。国外学者对于数据治理的理解也有几种不同的观点, 有人认为数据治理指的是, 将企业的各种数据信息作为企业的重要资产, 对其进行规范的管理、开发、维护等, 并制定与之相关的标准、流程、决策权、制度、技术等。还有人认为数据治理指的是, 企业内部的员工及信息系统, 为完成与信息相关的流程, 而涉及到的组织结构、规则、决策权以及责任, 也认为数据治理的实际意义就是为组织使用数而设立相应的管理规则。在国内, 多数的学者主要集中于数据治理内容的研究, 包括数据质量管理、元数据管理、数据标准管理、主数据管理、数据安全管理、数据生命周期管理以及数据应用等方面的内容。

在当今的大数据时代, 人们对数据治理的研究热度只增不减, 索雷斯在其著作《大数据治理》一书中, 提及大数据治理的概念, 并将之作为广义数据治理的一部分, 将其定义为制定与大数据有关的数据优化、隐私保护与数据变现的政策。该书详细阐述大数据治理的准则、不同类型数据的治理以及不同行业中的应用场景等, 提出了一系列具体的操作建议。

2 当前企业数据治理的现状

随着信息技术的不断发展及普及, 各个行业都逐渐的意识到数据治理的重要性。尤其在企业中, 数据治理已经成为当前业务应用集中建设、整合分析数据信息、辅助管理决策的一个重要手段。在企业中, 数据被当作是一项重要的企业资产, 企业通过数据治理完成对数据的优化、管理、利用等决策, 并对组织内部的员工、工作流程以及策略等进行合理的调整, 以发挥企业数据的最大价值。

企业通过建立良好的数据治理体系, 可以在与企业战略保持一致的前提下, 在数据应用方面进一步的增强跨业务的综合决策能力, 为企业管理决策层提供更好的辅助支持, 在数据管理方面优化为更合理的企业级数据架构, 使系统间的数据交换在一个统一标准的环境下进行, 并且建立常态化数据管控机制, 以应对更广泛的数据应用需求, 以保障企业数据标准、数据质量及数据的安全, 支撑顶层智能决策等应用。

使用数据治理手段辅助企业管理经营已经是大势所趋, 但由于数据治理的应用在我国起步较晚, 发展还不成熟, 在当前企业的数据治理过程中, 仍然存在着一些问题与不足。以下是几点当前企业数据治理过程中存在的问题与不足。

(1) 虽然企业中已开展了数据治理的相关工作, 但由于对数据资料的认识度不够, 在实际的应用中数据治理很容易流于形式, 不能发挥出真正的价值。

(2) 目前大多数的企业在数据治理工作中仍然偏重于技术, 不太注重数据质量的问题, 也没有建立起完善健全的数据体系。

(3) 企业各部门之间缺乏通用的业务规则。各个部门都有各自的业务标准, 经常造成部门之间标准的混淆与矛盾。

总的来说, 数据治理并不仅仅指技术层面的工作, 还要使企业的业务部门与信息部门之间达成共识, 形成及数据、应用、技术、组织四位一体的数据治理体系, 有效的提企业的信息化管理水平与数据应用水平。

3 大数据背景下改进数据治理模式的对策

数据治理参与企业的管理运营过程是大势所趋, 针对当前企业数据治理过程中存在的问题与困境, 以下提出几点改进的建议与对策。

3.1 健全数据治理体系

企业要将数据治理作为一项专门的业务来对待并管理, 根据企业的实际情况制定相应的数据治理目标, 成立专业的数据治理组织, 健全保障机制, 构建一个全方位、高效率的数据治理体系。该数据治理体系需要企业各个部门、组织、技术等方面的全面参与和与配合。

首先, 要建立相应的数据治理组织机构。可以在企业顶层建立数据治理委员会, 由高层管理人员、信息管理部门以及业务部门主要负责人共同组成。在中间层设立由各业务部门业务专家、数据库管理专家、信息部门技术专家、培训专家等共同组成的数据治理工作组。在基层则设立由信息系统项目组成员共同组成的数据治理工作组。

其次, 建立相应的标准规范。从整个企业的角度出发, 建立统一的数据标准, 结合数据治理工作, 成立技术标准工作组, 制定工作计划, 组织完成各类标准制定, 主要包括技术标准、业务标准、管理标准、数据质量标准等内容。

最后, 在数据治理过程中, 离不开数据技术的支撑, 企业需要利用数据技术来完成对企业信息数据的管控与支撑, 将元数据采集、管理和应用作为核心, 加之规范的数据标准、较高的数据质量, 充分利用企业已建设的元数据管理平台、主数据管理平台以及数据分析技术、数据质量整治技术, 实现健全的数据治理体系。

3.2 提升数据质量管理水平

根据企业的实际情况, 改进当前的额数据质量管理现状, 健全数据质量管理体系。选择与企业密切相关的指标为切入点, 分析数据成熟度, 进行集中抽取。以实现标准、编码、模型和数据的统一管理, 避免数据多头管理和冲突, 消除数据冗余, 达到数据共享、数据集中管理的目的。逐步实现事前防范、事中监控、事后治理的闭环管理, 并建立企业级数据质量管理制度、规范, 来识别高价值数据属性, 确保能获得高质量的数据来支撑业务运营与经营分析。

3.3 全方位数据应用

企业的数据应用指的是对整合后的数据进行较深层次的分析, 并利用各种方法进行数据挖掘分析、多维分析、即时查询等方面的数据应用。利用数据治理手段, 借助数据中心, 对业务源数据作深入分析, 挖掘出数据之间、指标之间的关系。并通过决策指标、跨业务主题等形式, 展示数据中心历史数据的积累程度、数据的质量、数据应用范围的真实情况, 实现智能决策分析应用, 体现本单位数据治理的最大成效。

4 结语

企业结合自身的实际情况, 通过建立完善的数据治理组织机构, 设立相关的标准规范, 提升数据质量管理水平, 全方位实现数据应用等方式, 可以极大的提升企业的数据治理与应用水平, 提升企业的信息化建设水平, 增强企业的核心竞争力。

摘要：在当前的大数据背景下, 数据治理通常被应用于各个领域, 其中应用最为广泛的就是政府、企业。在当前的大数据时代, 数据治理已逐渐成为企业进行智能化决策的重要手段, 帮助企业在竞争激烈的市场中, 快速有效地分析处理大量数据信息, 占据有利地位。基于此, 主要以企业数据治理为研究内容, 描述当前企业数据治理的现状及出现的问题, 并详细分析了当前大数据背景下企业的数据治理模式。

关键词：大数据,企业,数据治理

参考文献

[1]巨克真, 魏珍珍.电力企业级数据治理体系的研究[J].电力信息与通信技术, 2014 (1) .

[2]陈慧玲, 贾德红, 王春辉.供电企业财务业务数据治理探析——三个“实时”构建精益高效的财务业务数据治理体系[J].安徽电气工程职业技术学院学报, 2015 (4) .

[3]李明.管理信息系统中提高数据质量方法技术[J].电脑知识与技术, 2013 (4) .

数据采集模式 篇9

桥梁健康监测系统涉及结构、计算机、通讯、机电、试验检测等多个领域的知识, 需要多学科的研究, 它已成为近年来国内外桥梁学术界和工程界的研究热点。为了确保桥梁营运期间的安全性, 建立桥梁健康监测系统是十分必要的。而对于实际建立一个桥梁健康监测系统而言, 选择合理的总体构架、确定合理的数据采集模式, 从而建立实用、可靠的健康监测系统是对桥梁进行有效监测的前提。

1有关健康监测系统合理总体构架的探讨

桥梁健康监测系统由多个子系统组成, 每个子系统承担着不同的功能, 由不同的硬件和软件实现。健康监测系统的集成是指将系统内不同功能的子系统在物理、逻辑、功能上连接在一起, 以实现信息综合和资源共享, 提高系统维护和管理的自动化水平及协调运行能力。系统集成的原则为:模块化、开放性、可扩充性、可靠性、容错性和易操作性。系统集成的目标有以下两个方面:①对系统中的各子系统进行统一控制和管理, 并提供用户界面, 使系统在用户界面上方便地进行操作;②采用开放的数据结构, 共享信息资源。系统集成必须提供一个开放的平台, 建立统一的数据库, 使各子系统可以自由选择所需数据, 充分发挥各子系统的功能, 提高系统的运行效率。

由于健康监测系统的集成主要是通过软件系统实现健康监测系统软硬件的接口, 因此系统集成的问题即具体为在某一通用软件平台上的各功能软硬件之间的接口和调用问题, 这一通用软件平台可以称为系统集成的“核心软件”或“系统操作软件”。此外, 健康监测系统的监测信息与分析结果均需要存入数据管理子系统的数据库中, 所有其它子系统在应用数据时均从数据库中读取和调用数据, 因此可以将数据库称为健康监测系统的“数据中心”。

目前的软件开发平台有多种选择, 软件编程方法已从原来的C语言、Visual Basic和C++向可视图形化编程语言发展。目前美国NI公司的LabVIEW和HP公司的VEE软件开发平台应用较广泛。其中Vee主要面向仪器控制, 而LabVIEW是一种图形化的软件开发环境, 与传统编程语言有着相似的数据类型、数据流控制结构、程序调试工具, 以及具有层次化、模块化的编程特点。NI公司的另一专业开发平台LabWindows是一个以C语言为基础的交互式软件开发环境, 可以以模块化方式对C语言进行编辑、编译、连接和调试。与LabVIEW相比, 开发软件更加灵活、代码执行效率更高, 适用于开发更复杂的软件系统, 但是其开发过程对于非专业人员来讲稍复杂一些。LabWindows/LabVIEW的上述特点, 使其具备作为核心软件平台的特征, 因此可以将LabWindows/LabVIEW作为系统的核心软件平台, 调用其它子系统的分析软件。同时LabWindows/LabVIEW还可以作为数据采集软件的开发平台。

软件系统是桥梁健康监测系统中起主导作用的系统, 在桥梁健康监测系统中应被作为最重要的部分加以对待。可以说软件系统在桥梁健康监测系统中的作用类似于神经系统在人体中的作用。软件系统调节和控制其他各子系统的共功能活动, 使整个健康监测系统成为一个完整的统一体。软件系统不但从总体的层面对整个健康监测系统的物理部分起连接作用, 而且对整个健康监测系统的物理部分的正常运作起着控制作用。整个健康监测系统的正常运作以及能在多大程度上实现既定的目的和功能均有赖于软件系统的功能和正常工作。

根据以上分析, 最合理的健康监测系统的总体构架应该是:以带有操作系统功能的系统操作软件为平台, 以数据管理系统为核心, 以传感器系统、数据采集和传输系统、结构损伤识别和状态评估系统、远程信息查询系统为外围应用功能的星形结构的, 具有良好的适应性、可扩展性、兼容性、可靠性、容错性和易操作性的, 开放式的模块化构架。

2有关健康监测系统的合理数据采集模式的探讨

就健康监测系统的数据采集模式来说, 其决定因素取决于以下两个方面:一是满足健康监测系统的监测目的;二是在满足健康监测目的前提下, 以获取有效数据为目标, 尽可能的减少数据的采集量。

建立桥梁健康监测系统的首要目的是掌握桥梁的工作状态。如果对结构功能退化产生影响的因素进行分类的话, 可以将这些因素大致分为两类。一类是对结构产生突然破坏的突发性因素, 这类因素发生时往往没有预警且对结构的损害较为严重, 典型的突发性因素诸如地震、爆炸、重大交通事故等;另一类是对结构功能退化影响缓慢但持久的非突发性因素, 这类因素往往是已知的, 且大部分对结构功能退化的作用机理已比较明确。这类因素主要包括组成结构的建筑材料的性能的退化、结构在长期荷载作用下因疲劳而产生的性能退化、以及结构中原有微小缺陷逐渐发展而造成的结构性能退化等。

就桥梁健康监测掌握结构工作状态的目的来说, 掌握由突发性因素造成的结构功能损坏的主要作用是可以及时的采取一定的应对措施, 避免损失和不良后果的进一步扩大。由于难以预见, 桥梁健康监测系统对于预防突发性因素的发生没有任何作用。对于另一种情况, 在没有发生能对桥梁结构产生重大破坏的突发性因素的条件下, 桥梁结构在非突发性因素的作用下其整体工作性能的退化是一个长期的、缓慢的过程。掌握这一过程的发展情况就能对桥梁正常运营条件下的工作状态有一个较为明确的把握和了解, 进而采取相应的对策。也就是说, 桥梁监测系统对于非突发性因素引起的桥梁结构性能的退化而造成的结构破坏具有预警的作用。从上述两种情况我们可以看到, 第二种情况对掌握桥梁工作状态的实时性没有很高的要求, 为实现这一目的对于健康监测系统的数据采集来说没有必要进行全时的监测数据采集。第一种情况虽然对掌握桥梁工作状态的实时性有一定的要求, 但由于出现的概率很小, 可以通过采取一定的技术手段加以解决。具体来说对于健康监测系统的数据采集可以通过触发采集的方式来解决第一种情况对掌握桥梁工作状态的实时性的要求。

进行桥梁设计理论验证和对桥梁结构与结构环境未知问题进行调查研究是建立桥梁健康监测系统的另外两个目的。实现进行桥梁设计理论验证这一目的的具体方法是通过桥梁健康监测获得实际结构的动静力行为, 之后与理论计算的结构动静力行为进行对比, 从而对设计理论的正确性与准确性进行验证。实现对桥梁结构与结构环境未知问题进行调查研究这一目的的具体方法是通过桥梁健康监测系统获得桥梁实际运营过程中有关结构行为与环境情况的最真实的信息, 进而对与这些信息相关的未知问题进行研究。从桥梁健康监测系统实现上述目标的方法来看都无需要求健康监测系统的数据采集完全以全时的方式进行。

此外, 对于整个健康监测系统来说, 所有的信息均全时采集, 会形成海量数据, 进而对系统进行数据处理形成很大的压力, 使系统的可靠性和效率降低。因此从实现健康监测的目的的角度和保证系统的正常有效运行的角度来说在大多数情况下没有必要要求系统的数据采集以全时的方式进行。

合理的健康监测系统的数据采集模式应该是:静态数据和大部分的动态数据, 如应力、变形、温度、振型、动应力、动变形等应采用定时采集和触发采集的方式进行;少部分的动态数据, 如荷载统计、结构在环境和荷载作用下的振动频率、环境风速、地面运动等可采用全时采集的方式进行。对少数动态数据进行连续采集的作用除了提供用于分析的数据外仅限于保持对结构运营状态进行监视, 以便在设定或特殊情况下触发启动整个监测系统进行数据采集。

3结束语

桥梁健康监测系统的建立是一个复杂的系统工程, 经过十几年来的研究、探索, 人们已经在此领域取得了许多成果。但是由于桥梁结构受到不确定因素和复杂工作环境的影响, 以及理论上对桥梁在服役期内的工作特性缺乏全面、深入的了解, 因此目前所取得的成果和研究还处于一种相对初级的阶段, 还需要广大桥梁工作者和研究人员的不断努力和探索, 特别是在有关长期智能监测与控制的研究领域亟需取得进展, 以进一步推动桥梁健康监测与评估管理研究不断向前发展。 [ID:5823]

摘要：通过对健康监测系统合理的总体集成方案和数据采集模式的讨论、总结, 提出了如下观点:最合理的健康监测系统的总体构架应该是:以带有操作系统功能的系统操作软件为平台, 以数据管理系统为核心, 以传感器系统、数据采集和传输系统、结构损伤识别和状态评估系统、远程信息查询系统为外围应用功能的星形结构的, 具有良好的适应性、可扩展性、兼容性、可靠性、容错性和易操作性的, 开放式的模块化构架;最合理的健康监测系统的数据采集模式应该是:静态数据和大部分的动态数据应采用定时采集和触发采集的方式进行, 少部分的动态数据可采用全时采集的方式进行。对少数动态数据进行连续采集的作用除了提供用于分析的数据外仅限于保持对结构运营状态进行监视, 以便在设定或特殊情况下触发启动整个监测系统进行数据采集。

关键词：桥梁工程,健康监测系统,总体集成方案,数据采集模式,探讨

参考文献

[1]胡志坚, 贾丽君, 肖汝诚, 袁帅华.既有桥梁技术状态评估研究现状与展望[J].国防交通工程与技术, 2006.

[2]邬晓光, 徐祖恩.大型桥梁健康监测动态及发展趋势[J].长安大学学报 (自然科学版) , 2003.

[3]韩大建, 谢峻.大跨度桥梁健康监测技术的近期研究进展[J].桥梁建设, 2002.

[4]裴强, 郭迅, 张敏政.桥梁健康监测及诊断研究综述[J].地震工程与工程振动, 2003.

[5]袁万城, 崔飞, 张启伟.桥梁健康监测与状态评估的研究现状与发展[J].同济大学学报 (自然科学版) , 1999.

[6]赵志国, 林师灼.现代桥梁健康诊断的最新发展与研究[J].国外建材科技, 2004.

[7]黄方林, 等.大型桥梁健康监测研究进展[J].中国铁道科学, 2005.

[8]栾英泉, 梁力.桥梁无损健康监测系统研究简介[J].东北公路, 2000.

[9]王长虎.浅谈桥梁健康检测技术[J].北方交通, 2006.

[10]潘志强.浅谈桥梁健康监测技术[J].中国水运 (理论版) , 2006, 3.

[11]郭玲, 张利.桥梁结构健康监测[J].华东公路, 2002.

数据采集模式 篇10

随着计算机技术和智能仪器仪表的深入发展, 以计算机为核心的网络化测控系统得到越来越多的应用, 尤其是在航空航天等国防领域。Lab VIEW是虚拟仪器领域中最具有代表性的图形化编程开发平台, 是目前国际上首推并应用最广的数据采集和控制开发环境之一, 主要应用于仪器控制、数据采集、数据分析等领域, 并适用于多种不同的操作系统平台[1]。

Lab VIEW采用强大的图形化语言 (G语言) 编程, 面向测试工程师而非专业程序员, 编程非常方便, 人机交互界面直观友好, 具有强大的数据可视化分析和仪器控制能力等特点[2]。基于Lab VIEW开发工具研究设计一套数据采集系统, 实现了包括数据采集、数据分析与数据处理, 并通过实验和实际调试验证了系统的功能。

1 基于Lab VIEW数据采集系统整体架构

本系统主要是以电测型传感器、高精度数据采集卡、实时控制器、触摸屏和工控机进行数据的自动采集、处理、记录、显示、存储和分析的系统。

其工作过程为:传感器将相应被测对象的量值转换成电信号, 数据经过采集卡A/D转换处理之后上传到实时控制器, 同时将数据送入到触摸屏进行显示和操作, 数据经过网线送入工业PC机, 由上位机进行数据处理, 包括数据的低通滤波, 采样波形的实时显示, 参数修正, 历史数据, 产生报表等。为了防止数据丢失, 采用外挂硬盘对数据以采样速率对数据进行存储, 同时以一定的时间间隔插入数据库保存, 并通过数据库技术实现了历史数据的检索。

本系统的总体结构如图1所示。

2 硬件设计

基于Lab VIEW软件的16路数据采集系统由硬件部分和软件部分组成。本系统硬件主要包括:工控机和数据采集卡 (NI-9222和NI-9229) , 控制器 (NI Compact RIO-9025) , 触摸屏 (NI-2212) , 500 GB存储硬盘, 传感器等。

数据采集卡NI-9222和NI-9229作为高速、同步C系列模块, 适用于各类NI Compact DAQ或Compact RIO机箱。可工作于扫描模式和FPGA模式, 能够方便插入控制器的FPGA背板上, 支持热插拔。NI USB-9229, 4通道24位同步模拟数据采集卡, 采样频率为 (1.613~50 KS/s) , 额定采样范围±60 V。NI USB-9222, 4通道16位逐次逼近型模数转换器采集卡, 测量范围±10 V。

触摸屏TPC-2212采用交换机直接连接上位机, 在上位机Lab VIEW中创建项目, 在程序生成规范模式下就可以把主控界面生成EXE运行文件直接装入TPC-2212, 简单方便, 实用性强。

NI Compact RIO系统构架主要包括实时控制器 (内置嵌入式处理器) 、可重配置FPGA、及模块化I/O、Compact RIO的RIO (FPGA) 核心内置数据传输机制, 负责把数据传到嵌入式处理器以进行实时分析, 数据处理, 数据记录或与联网主机通信。利用Lab VIEW FPGA基本的I/O功能, 用户可以直接访问每个I/O模块的输入/输出电路, 系统硬件结构如图2所示。

NI为硬件提供驱动程序, 用户可以通过驱动程序接口Measurement&Automntion Explorer (NI MAX) 对硬件进行各种必要的设置与测试。本设计中需要在NI MAX进行实时控制器参数配置, 如语言环境、IP地址、时间, 以及在控制器需要的各种软件驱动。

3 系统软件设计的相关技术

上位机数据采集系统采用Lab VIEW软件进行编程, 其独特的G语言和丰富的软件开发工具包给系统编程带来了很大的便利, 它为用户提供简单、直观的图形编程法, 在开发虚拟仪器方面有着较强的优势[3]。

3.1 软件总体结构

本设计主要包括数据采集和数据存储两部分, 数据采集主要由下位机嵌入式NI Compact RIO平台实现, 将写好的Lab View代码编译下载到可重复配置FPGA中, 利用采集卡I/O模块实现数据的采集。为了采集数据的可靠存储, 存储系统分为两部分:一部分经过RT-host.VI以同步采样速率将原始数据采用TDMS文件格式存储到500G硬盘;另外一部分以一定的时间间隔将数据送入的PC机中的SQL Server数据库, 可以方便的对数据库进行操作, 包括查询、删除、插入、导入导出等。将RT导出的数据经过触摸屏TPC-2212上进行实时显示, 并且可以进行相应的操作。整个系统实现主要功能有:数据采集、数据处理、参数修正、数据存储、生成报表, 报警记录等。数据采集系统软件主要架构如图3所示。

3.2 软件实现关键技术

本设计采用的主要技术有:采用FPGA实现软件定义硬件, 利用FIFO实现下位机FPGA和RT之间的数据转换。采用网络流技术, 实现RT和上位机之间的数据传输。利用数据库labsql工具包, 实现数据库的操作。

3.2.1下位机FPGA与实时控制器RT之间的数据传输

常规的数据采集卡所能实现的功能是由采集卡上特定的芯片实现的, 由于实际应用中的需求不同, 所以需要一种可以根据实际需求随时改变功能的板卡, 那么FPGA (Field-Programmable Gate Array) 现场可编程门阵列, 就可以通过软件改变它的硬件功能。

Lab View的FPGA工具包有两种工作模式:即扫描模式和FPGA模式。在扫描模式下不需要对FPGA进行任何编程, RT会直接用I/O变量映射C模块的I/O。虽然使用扫描模式极大的降低了FPGA的编程的复杂性, 但是扫描模式支持的最高扫描频率为100 Hz, 不适合高速数据采集, 而且FPGA模式可以实现多速率控制, 且性能不因应用的增加而降低, 能够在专用的硬件上实现控制逻辑。因此采用FPGA编程模式进行数据采集。

实时系统和FPGA之间的数据交换是采集系统的关键问题, 一般采用三种方式, 即轮询、中断、FIFO。其中轮询和中断方式适用于采样速度较慢的场合, 在高速采集情况下, 轮询方式会造成数据的丢失;而中断方式则会因响应中断造成延迟, 导致速度不可能太高, 因此本系统中采用FIFO方式。

FIFO (First In First Out) 先入先出缓冲区, 可以用于多线程中的数据交换, 最重要的用途就是在RT和FPGA直接进行数据交换, 在缓冲区满后会处于等待状态, 直至超时或者缓冲有新的的空闲位置。FPGA根据FIFO作用域不同, 将其分为三类:Target-Scoped FIFO, 用于在FPGA终端一个或者多个VI的不同线程间传递数据;VI-Scoped FIFO, 用于在同一VI的不同线程间传递数据。DMA FIFO, 用于RT和FPGA之间传递数据。由于FPGA运行的精确性, 在高速采集过程中它的运行速度都在μs甚至ns的级别, 而RT系统一般都在ms级别。因此, FPGA采集的速率远远快于RT循环的运行速度。RT如果需要读取全部数据, 又不能出现数据丢失的情况, 就必须采用DMA FIFO方式传递数据。

DMA直接内存访问在数据采集中的使用非常普遍, 本系统中传输方向为Target→Host FIFO, 因为没有CPU的参与, 因此传输速度非常快, 在传输过程中, 配置DMA FIFO的大小是非常关键的, 在Lab VIEW中称DMA FIFO的大小为深度, 深度的大小直接影响到了数据传输的速度, 如果深度太大, 传输速率会降低;设定的太小, 会丢失数据甚至会使程序中的读取的等待时间加长而影响程序的执行[4], 本系统中共根据调试最后将其大小设定为4 095, 但是必须保证RT方面的FIFO足够大, 这样FPGA在插入数据是就不需要等待了。

3.2.2 实时控制器与PC机之间的数据通信

实时控制系统与上位PC机之间可以通过不同的方式进行通信, 不同的通信方式具有各自的优缺点。常见的通信方式有:网络共享变量 (Network-Published Shared Variables) ;TCP/IP;网络流/队列等。

TCP (传输控制协议) 是一个端对端、面向连接的协议, 具有快速和面向连接 (不丢失数据) 的特性, 可以进行大数据的通信[5], 但是在通信是必须把其他数据类型转换为字符数据串的格式, 为编程带来一定的麻烦。

网络流可实现两个Lab VIEW应用之间发送数据的两种通信方式。网络数据流不损耗数据, 是单向的一对一通信通道, 由写入和读取端点构成。每个网络流端点均使用FIFO缓存传输数据。网络流引擎 (NSE) 使用Logos XT将数据从写入端点的FIFO缓存传输至读取端点的FIFO缓存[1]。通过网络流可以快速准确实现RT与上位机之间的数据通信, 图4显示了网络流中的数据流。

要实现RT与上位机的数据通信, 需要以下几个函数:

(1) 创建网络流写入/读取方端点。通过创建网络流写入/读取方端点函数找到读取方统一资源定位 (Uniform Resource Locator, URL) 或该函数的写入方URL。在创建时需要知道URL使用的协议, 端点所在计算机的项目别名、DNS名或IP地址, 该部分的默认值为localhost, 即连接至端点所在的计算机的网络位置, 本设计系统中为所用RT的IP地址192.254.4.42。

(2) 向流中写入/读取单个或者多个数据。

(3) 刷新流。保证流中的数据实时刷新。销毁流。

(4) 销毁读取方和写入方端点后, 可完全销毁流, 释放流占用的内存。

上位机网络流和下位机类似, 不同的是从下位机读取流中的数据, 实时控制器RT端网络流示意图如图5所示。

3.2.3 数据库存储

Lab VIEW本身并不具有数据库访问的功能, 利用Lab VIEW免费提供的Lab SQL工具包。将ADO和SQL的操作封装在各个VI当中, 无需了解内部结构, 易于调用。

数据库采用SQL Server 2005作为存储软件, 数据存储工具包主要使用ADOCreate Conn.vi, ADO Open Conn.vi建立数据库的连接, ADO SQL Execute.vi中使用Insert语句来实现将数据插入到数据库中, 应该注意将数据库的打开和关闭放在While循环之外, 避免每次循环都要对数据库进行不必要的操作而影响速度[6]。通过操作数据库可以方便的对数据进行读取, 分析, 插入等操作。数据库存储和上位机网络流采集程序框图如图6所示。

4 实验验证

在实验室对数据采集卡进行直流电压输入, 通过采集卡采集数据, 将写好的下位机VI通过FPGA编译工具包下载到FPGA背板中, 通过缓冲区FIFO上传到实时控制器RT中, 将RT中的采集数据以同步采样速率存储到外挂硬盘中, RT与PC机通过网络流进行数据交互, 在PC机VI中对数据进行参数修正和处理, 在实时显示界面有修正前和修正后的数据对比以及实时曲线, 经过实际对比, 数据精确可靠, 系统主界面如图7所示。

利用数据库技术, 根据起始时间和终止时间查询想要的数据, 历史曲线如图8所示。

由运行的前面板和历史曲线显示可以看出, 原始数据输入为直流5 V, 显示采集结果为4.997 72 V, 对数值进行修正乘以系数0.499 5之后得到处理数据为2.498 86 V, 将采集的数据存入到数据库中, 通过历史曲线面板调用某一时间段的数据, 图中显示为2.490 52~2.502 1之间, 满足精度和准度要求。

5 结论

本数据采集系统采用先进的实时控制器RT和4通道高速数据采集卡, 采用灵活的FPGA编程模式, 实现了芯片的虚拟化, 程序的可重复配置, 通过FIFO实现了FPGA与实时控制器RT的数据高速传输, 通过网络流实现了RT与工控机之间的数据传输, 解决了它们之间由于工作频率不同而造成的数据交换不同步和数据丢失的问题, 实现了数据实时显示, 数据存储, 历史报表等。

摘要：为了提高数据采集系统精度, 减少开发成本, 提高开发效率, 基于LabVIEW虚拟仪器开发工具研究并设计了一种数据采集系统。该系统采用FPGA编程模式和网络流技术实现大批量数据实时传输, 并对数据进行分析处理和存储。系统硬件采用美国NI实时控制器CRIO-9025, 实现16路数据可靠采集与存储。实验仿真及实际运行结果表明该数据采集系统能够精确地对数据进行实时采集以及分析处理, 达到了项目要求。

关键词：FPGA,FIFO,网络流,数据采集系统,SQL数据库

参考文献

[1]陈树学, 刘萱.LabVIEW宝典[M].北京:电子工业出版社, 2011.

[2]王利强.计算机测控系统与数据采集卡应用[M].北京:机械工业出版社, 2007.

[3]连海洲, 赵英俊.基于LabVIEW技术的虚拟仪器系统[J].仪器与测控, 2001 (8) :21-23.

[4]刘君华.基于LabVIEW的虚拟仪器设计[M].北京:电子工业出版社, 2003.

[5]杨乐平, 李海涛.Lab VIEW程序设计与应用[M].北京:电子工业出版社, 2001.

《数据结构》程序教学模式探索 篇11

关键词：数据结构；程序；教学模式；探索

中图分类号：G642文献标识码：A文章编号：1009-3044(2007)18-31759-02

The Research of Program Teaching Patterm on Data Strucure

MO Jia-qing

(Dept. of Computer Science, Zhaoqing University, Zhaoqing 526061, China)

Abstract:The current teaching status of Data Structure is analysed and the teaching pattern which emphasizes on ability of programming based on comprehension is presented. Some research has been carried on ,such as curriculum introduction, systematic structure of Data Structure, setting of experiment subject,providing aid-studying system, curriculum design and approval. The teaching effect shows these methodes can improve the the student abilities on computer program designing effectively.

Key words:data structure; program; teaching patterm; research

1 引言

《数据结构》是信息技术专业的核心课程，它的内容主要是介绍如何根据具体情况合理地选择逻辑结构（表、树、图等）去组织数据，并设计一定的物理存储结构（顺序、链式等）有效地存储这些数据，同时设计正确的算法并对算法作出分析和评价。它在培养计算机专业学生严谨的逻辑思维能力和培养良好的编程开发能力方面有着不可替代的作用，因此成为高校计算机专业研究生招生入学考试和软件设计师认证考试的首选课程。

《数据结构》内容广泛，涉及到的知识点众多，而且逻辑性和抽象性和动态性都很强，理论和实践紧密结合，因此对学生而言学习难度大，对教师而言授课难度高。教学过程出现众多问题，具体表现如下：

(1)学生由于没有编制过大程序和项目开发的经验，虽然知道《数据结构》的重要性，但是对于学习目的不明确。

(2)学生未能将所学内容融会贯通，没能将各大知识点的区别与联系弄清楚。

(3)学生由于C语言基础不扎实，对结构、指针、参数传递等概念掌握不好，在做作业或实验时如果题目要求与教材内容相差较大，无法入手，导致信心受到打击、畏难情绪增加。此后，为应付作业，出现抄袭别人作业，或直接上网搜索现成程序的情况。

(4)虽然教师自己对教材内容很熟悉，能够将各知识点讲得很透彻，但是没考虑到学生的实际学习状况和接收能力，出现学生越学越难，理论与实践越脱节，越学越不想学的情况。

(5)目前高校扩招，入学的学生素质有所下降，逻辑思维能力和自学能力不强，也是造成教学效果不理想的原因之一。

《数据结构》的教学目标之一是提高学生的软件编制能力，而上述问题的出现使得这个目标大打折扣，因此迫切需要运用新的有针对性的教学模式。

2 《数据结构》程序教学模式

2.1 加强技能，克服程序语言造成的困难

《数据结构》中大量运用了指针、地址、结构体、函数参数传递等知识，而这些知识又是C语言中的重点和难点。如果学生对这些内容掌握不好的话，学习《数据结构》将受到很大制约。因此在开学时，教师先帮助学生重点复习C语言中与数据结构相关的知识点，实现从C语言到数据结构的平滑衔接。复习的题目形式可以是选择、填空、编程题等。

目前高校普遍采用清华大学严蔚敏编著《数据结构》（C语言版）作为教材，该教材侧重于用类C语言描述各种数据结构和算法，从头到尾并没有一个完整的C语言程序，并且该教材为使学生能方便地调用教材中的算法函数，教材中的算法函数均采用了C++的“引用”作为参数，这种“引用”参数貌似C语言中的地址，而教材并没有着重强调。作者的初衷是好的，但此举对于接触过C++的初学者造成极大困惑。学习几周后，学生发现程序调试困难，实验过程障碍重重，导致信心受到打击、畏难情绪不断增加。因而有必要让学生熟悉C++中的“引用”。

以教材上的构造空链表算法函数为例，函数参数使用“引用”调用和不使用“引用”的比较，帮助学生掌握“引用”并明白使用“引用”的好处。

typedef struct

{ElemType *elem;

int length;

int listsize;

} SqList;

使用“引用”传递参数定义函数：

Status InitList_SqA(SqList &L) {//构造空链表

L.elem = (ElemType *)malloc(LIST_INIT_SIZE*sizeof(ElemType));

if (!L.elem) return ERROR; // 存储分配失败

L.length = 0; // 空表长度为0

L.listsize = LIST_INIT_SIZE; // 初始存储容量

return OK;

}

调用方式如下：

SqList LA；

InitList_SqA(LA)；

使用指针传递参数定义函数：

Status InitList_SqB(SqList *L) { //构造空链表

L->elem = (ElemType *)malloc(LIST_INIT_SIZE*sizeof(ElemType));

if (!L->elem) return ERROR;// 存储分配失败

L->length = 0;// 空表长度为0

L->listsize = LIST_INIT_SIZE; // 初始存储容量

return OK;

}

调用方式如下：

SqList LB；

InitList_SqB(&LB)，

可以看到，运用“引用”作为参数，教材上的函数基本上可以原封不动地使用，而使用指针传递参数，则需要对教材上的函数作大量修改。

另外教材为使算法描述更为简洁，算法函数内部一律省略了变量定义，这对学生的学习也造成了很大困难。因此还需要作一些针对性的训练，如通过填空题等形式补充完整函数，并适当评讲。

2.2 理解课程体系结构，融会贯通

《数据结构》课程的内容由简单到复杂，循序渐进。从一般的线性表开始，到后面的非线性的树和更复杂的图，都是讨论各种数据结构的逻辑结构和保存这种逻辑结构所采用的物理结构，以及在这种存储结构上的相关运算。理解这个体系结构，有助于学生从整体上更深入地掌握数据结构。

2.3 完善框架程序，培养自信

自信心是激发学生创新能力的积极情感和重要前提。为培养学生克服困难的自信心，笔者针对各种数据结构类型设计了不同的框架程序，让学生在实验过程中逐步完善，添加新功能，最终形式一个大的系统。例如针对线性表，笔者设计了线性表功能框架文本界面，其中的菜单功能分别为链表创建、链表插入、链表删除、链表合并，其中链表合并又为一个链表合并至另一链表尾部、合并过程相同元素保留和不保留三个功能，让学生逐步将单独的小功能添加至该界面中。又例如，在学习二叉树这一章内容时，笔者设计了二叉树功能框架菜单，菜单包括二叉树创建、先序遍历、中序遍历、后序遍历、左右子树交换、计算树高度和叶子数量等，让学生逐步完善。通过这种不断添加小功能，最终形成一个大的系统的实验方法，使学生具有一定的成就感，自信心不断增强。

2.4 提供学习辅助系统，减轻实验负担

《数据结构》的不少实验是验证性实验，为完成实验，学生需要大量调用教材上的算法函数或对这些函数作一定的修改。为了让学生提高实验效率，将主要精力集中于程序调试而不是文字录入，笔者设计了《数据结构》学习辅助系统。该系统把各章的算法函数分门别类，供学生做实验时复制至其程序中，以减轻实验负担。另外该系统还给出了一些调用这些算法函数的完整程序，供学生参考。

2.5 分组课程设计，培养团队合作精神

课程设计是体现《数据结构》理论和实践紧密结合的重要环节。通过课程设计，不但锻练学生描述概念、构建数据结构、设计算法的能力，而且锻练学生运用自己所学知识通过高级程序语言解决实际问题的能力。

课程设计的题目一般选择综合设计类型，如风景区景点路径查询、简单114查号台等。要求学生首先进行需要分析，明确目标如何，需要实现那些功能；其次是进行概要设计和数据结构设计，定义各功能模块和其内部流程、抽象数据结构，最后编码调试并写成小论文。

由于单个学生完成任务存在较大困难，课程设计还需要分组。分组时要考虑学生的实际情况，要考虑各个小组实力均衡，具体做法是把学习成绩较好的学生和成绩靠后的学生安排在同一组。课程设计完成后，还安排答辩。答辩的形式是随机抽查小组内的一个成员，由该成员代表小组进行答辩，该成员的成绩就是该小组的成绩。要求学生回答系统设计思想、总体架构、开发过程碰到什么困难、整个系统有何优缺点等。通过这种形式，可防止出现课程设计只是由小组内水平高的学生单独完成，而其他成员基本不参与的情况。这种答辩形式可以极大地调动了学生的积极性。为了不让自己拖小组的后腿，学生们相互学习，热烈讨论，表现出极大的参与热情。最后的结果是小组所有成员水平有了很大提高，培养了团队合作精神。

3 结束语

运用高级语言进行程序设计是一个创造性的过程。《数据结构》课程的教学目标之一就是要提高计算机专业学生的程序设计语言能力。笔者在《数据结构》教学过程中的上述措施，目的就是要解决学生在学习过程中由语言所造成的困难，最终提高其程序设计能力。教学实践也证明，上述措施提高了学生C语言技能，降低由程序语言造成的难度；而且针对性的训练可让学生很快地掌握调用教材上的算法函数，理解了教材的知识体系结构。程序功能整合使学生有成就感和增强自信，需要答辩的课程设计使锻练了学生运用所学理论解决实际问题的能力，也培养了团队合作精神。这种侧重程序的教学模式取得良好的教学效果。

参考文献：

[1]严蔚敏，吴伟民. 数据结构（C语言版）[M]. 北京：清华大学出版社，2006.

[2]严蔚敏，吴伟民. 数据结构题集（C语言版）[M]. 北京：清华大学出版社，2004.

[3]黄扬铭. 数据结构[M]. 北京：科学出版社，2005.

数据采集模式 篇12

1.1 现状

从2008年开始, 我市建立了重庆市主城范围内集中统一管理的城镇地籍数据库, 实现了城镇土地登记系统和数据的大集中, 中心数据库采用ORACLE数据库平台。

按照我市土地和房屋合一登记的管理模式的要求, 从2010年开始, 我市各房屋登记中心在全市集中的城镇地籍数据库的基础上, 结合原有的房屋登记系统, 以宗地为线索开展了房屋登记数据的清理工作, 建立了全市集中统一的城镇地房籍数据库和应用系统。

1.2 需求

由于我市实行的是大集中的数据管理模式, 中心生产数据库在出现故障的情况下如不能得到及时恢复, 将导致全市土地和房屋登记业务停顿, 因此必须在中心机房建立与生产数据库实时同步的数据库, 确保在生产数据库出现较长时间不能恢复的故障的情况下, 启用备用数据库, 保证业务的连续。

同时, 由于数据在市局统一存放, 各单位无数据库。而各单位由于对数据使用的需求千差万别, 无法在市局统一的数据库上满足其个性化的需求。因此需将市局集中的数据同步到各区, 既可实现数据的异地备份, 同时各区可利用改回备数据进行各类统计分析和专题利用。

2. 技术比较

目前基于Oracle数据库的数据同步技术大体上可分为两类:Oracle自带的数据同步技术和第三方厂商提供的数据同步技术。Oracle自带的同步技术主要有DataGuard, Streams, GoldenGate三种技术。第三方厂商的数据同步技术有Quest公司的SharePlex和DSG的RealSync。

本文重点就ORACLE本身提供的Data Guard, Streams, GoldenGate三种同步技术进行比较。

2.1 DataGuard技术

DataGuard是Oracle数据库自带的数据同步功能, 基本原理是将日志文件从原数据库传输到目标数据库, 然后在目标数据库上应用 (Apply) 这些日志文件, 从而使目标数据库与源数据库保持同步。

DataGuard为源数据库提供了两种日志传输方式, ARCH传输方式和LGWR传输方式, 其中, LGWR传输方式可实现同步和异步的传输。在这些日志传输的方式上, 可提供三种数据

保护模式, 即最大性能 (Maximum Performance Mode) 、最大保护 (Maximum Protection Mode) 和最大可用 (Maximum Availability Mode) 。

根据目标数据库对日志应用方式 (Log Apply) 的不同, 该技术可分为Physical Standby (Redo Apply) 和Logical Standby (SQL Apply) 两种方式。物理同步是指目标库通过介质恢复的方式保持与源数据库同步。逻辑同步是指目标数据库通过LogMiner挖掘从源数据库传输过来的日志, 构造成SQL语句, 然后在目标库上执行这些SQL, 使之与源数据库保持同步。

2.2 Streams技术

Streams技术是指利用挖掘日志文件生成变更的逻辑记录, 然后将这些变更应用到目标数据库上, 从而实现数据库之间或一个数据库内部的数据同步。

其实现步骤为利用Capture进程分析日志, 生成逻辑记录 (LCR) , 将其放入一个队列。Propagation进程将生成的逻辑记录发送到目标数据库中。目标数据库利用Apply进程将LCR应用到数据库中, 实现与源数据库的同步。

Capture进程一般位于源数据库, Capture进程将日志分析后生成的LCR, 然后再传输到目标数据库中进行应用。也可将Capture进程配置在目标数据库中, 源数据库直接将日志文件传输到目标数据库, 然后再利用配置在目标数据库的Capture进程进行分析, 生成逻辑记录再利用Apply进程进行应用。

2.3 GoldenGate技术

GoldenGate数据同步的基本原理是由Extract进程读取源数据库的事物日志 (Oracle中是redo log) , 将其中的变更操作 (insert、update、delete等) 按事务执行的顺序组合在一起, 直接将其发送到目标服务其上, 或者存放到Trails文件中, 然后由Data Pump进程将Trails文件传输到目标服务其上, 在目标服务器上Collector进程接收从源服务器传送过来的Trails文件, 最后由Replicat进程将Trails文件中的数据装载到目标数据库中。GoldenGate通过网络传输的数据量通常是日志量的1/4或更少。

以下为三者的优劣比较:

3. 技术选择

3.1 中心数据库与本地数据库同步技术选择

为避免中心数据库在出现长时间不能恢复故障引起业务的长时间停顿, 我们利用2004年购置的IBM P650小机建立了中心数据库的镜像数据库。考虑到中心数据库和镜像数据库均使用UNIX操作系统, 而且都在一个局域网内, 为方便配置, 我们通过DATA GUARD实现中心数据库与镜像数据库的数据同步。同时, 为确保数据数据的零丢失, 日志传输采用最大保护模式。

3.2 中心数据库与区 (县) 数据库异地同步的技术选择

由于我市市级集中的中心数据库安装在UNIX操作系统上, 而各区只能提供普通的PC服务器均安装的为WINDOWS操作系统进行数据回备, 而且单位数量有三十多个, 由于DATA GUARD只支持同平台的数据库之间的数据同步, 而且只支持最多9个的STANDBY数据库。同时考虑到中心数据库之间与其他单位的数据库分别处于不同地方, 之间用6M的网络相连, 正常工作时间还需通过网络传输大量的业务数据, 而通过STREAM的数据同步技术需占用大量的网络带宽。

由于中心数据库与区 (县) 数据库平台操作系统平台异构, 同时要实现一个中心数据库与30多个数据库的同步, 尽量减少因同步数据对网络带宽的占用, 考虑到GOLDEN GATE在这些方面都具有明显优点, 因此中心数据库与区 (县) 数据库的同步采用GOLDEN GATE的技术实现。

摘要：为确保在大集中数据管理模式下数据的安全, 本文就目前流行的ORACLE数据同步技术DATA GUARD、STREAM、GOLDEN GATE技术进行比较, 分析其优劣, 并结合业务需求, 就如何建立同地和异地的数据同步机制进行探讨。

关键词：数据库,ORACLE,数据同步,安全

参考文献

[1]郭伟华浅谈ORACLE数据同步技术《科技资讯》2010.2