数据融合技术

数据融合技术（精选12篇）

数据融合技术 篇1

0 引言

随着社会经济的快速发展以及现代科学技术的不断进步,遥感技术、地理信息系统和卫星定位技术因其数据检测精度高、更新速度快等优势,被广泛应用于现代工业、建筑工程、城市规划等领域。由于不同部门涉及的地理信息以及相关数据种类不同,其数据信息处理的方式亦不同。比如卫星图像、海图以及其他各种类型的地图采集的数据几何位置不同、数据模型标准不同,这就需要探索一项可以跨越时间领域和空间领域的数据融合技术,结合来自不同空间数据模型处理的数据的差异性,达到加快信息更新速度和提高信息处理效率的目的[1]。

1 空间数据融合的概念

数据融合的概念产生于20世纪70年代,但是直接促使其发展是进入20世纪90年代以后。就数据融合的概念界定还没有达成统一的看法。数据融合技术最初被应用于军事,为军事活动所服务。但是随着社会经济的快速发展以及现代科学技术的进步,数据融合技术逐渐被广泛运用于农业、工业、地质分析、城市规划等各个领域。

数据融合作为一种数据综合和处理技术,是建立在各种传统学科和技术基础之上,是一种集成技术[2]。从广义角度看,数据融合技术包括通信技术、决策论、计算机科学、神经网络等。由此可见,数据融合涵盖的内容较多,无法对其进行一个统一的定义。一些权威部门是这样进行界定的:美国国防部认为数据融合的过程就是各种学科、各种技术相互融合的过程,从而实现数据技术的现代化、自动化。在相互融合过程中,数据融合技术可以对各个领域的信息进行有效处理、检测。Mandolins则认为数据融合只是作为一门简单的技术,作为处理庞大数据的工具,从而达到提高数据处理的效率这一目的。有些部门则把数据融合称之为信息融合。信息融合是指对以计算机作为主要工具,将来自传感器的探测信息按照一定的时序和准则进行分析与处理。这是一种对多种信息进行不断融合、协调的过程。数据融合技术的实质就是对各种信息进行综合处理。Wald在1998年采用了一个更加普遍的定义,即数据融合是形式上的框架。在框架下,要想在规定时间内将各种数据信息进行综合处理,就需要借助现代化、自动化的工具,采用科学有效的融合方式,实现提升数据融合效率和数据处理结果的精确性[3,4]。这一界定的优点在于:一是它强调了数据融合技术不再是一个简单的工具或者处理信息的方法,而是一个框架结构。二是这个界定注重强调数据融合效率和结果的精确性。

结合空间数据的特点,可以认为空间数据融合实际上是指:将不同来源的数据信息,对其进行归类处理。根据数据的类型选择合适的处理方式,进而达到改善物体几何精度这一效果,促使提高数据质量的实现。

2 多源空间数据融合技术

2.1 数据融合的层次

空间数据的来源不同,其融合方式不同。这就决定了融合层次的多样性和层次性。融合层次主要包括象素融合、决策融合和特征融合三层次。象素融合可以采取图像分析以及多源图象符合技术实现数据的融合。特征融合可以直接反映出数据的综合特征,为决策者提供科学化、专业化的决策信息。决策融合是一种相对高级的融合方式,它不仅可以帮助决策者提供完整的图象信息,还可以对来源不同的数据进行识别、分类和检测[5,6]。三者之间的差异性如表1所示。

2.2 矢量数据融合技术

矢量数据融合是采用地理数据转换方法,构建科学化、专业化的数据模型,在这个模型中对来源不同的数据进行分类分级,实现几何位置的融合,达到丰富数据属性的目的。换而言之,这是一种去伪求真、去粗求精的数据处理过程。

矢量数据融合的最终目的是消除以下差异:

第一,数据模型的构建是将不同来源的数据进行综合处理、几何位置的融合。但是采用不同的融合方法其产生的要素属性会存在差异性。

第二,来自不同空间数据模型处理的数据会存在描述上的差异。

第三,来自不同空间数据模型处理的数据会存在几何位置上的差异。

矢量数据融合的研究内容主要包括:融合规则、数据模型的构建、分类不同来源的空间数据、融合方法分析。

首先,融合规定的制定。分析数据和处理数据的前提条件是提取数据,提取数据之后才可以从模型中得出要素。比如行政区划可以从比例为1 250 000的图中提取,道路可以从比例为110 000的图中提取。对于相同比例尺的地形图和海图而言,需要对沿海地带的陆、海部分进行表示。地形图和海图的结合部是岸线和滩涂。需要在模型中注重表示这两种图。但是由于这两种图获取的数据几何位置不同,在不同空间数据模型处理中会存在很大的差异性。相对而言,地形图要更加详细。因此在融合数据时,注重提取地形图数据。

其次,制定具有层次化的矛盾处理原则。可以参考精度高精度航片和卫片,从而提高几何位置的精确性。在没有参考资料可以参考时,可以制定移动原则。属性数据可以通过网上查找方式提取。

2.3 栅格数据融合技术

栅格数据融合的表现形式有:地图图象、遥感影像数据。其融合阶段可以分为以下几个阶段:

第一阶段,图象融合。主要是针对图象通道,利用算术方法实现。比如色彩变换法(主要针对象素级融合)、调制法、统计法、代数法、分辨法等。这些方法较为简单,操作起来较为容易,因此被广泛运用于工业、制造业等各个领域。

第二阶段,20世纪80年代,模型的构建。塔式算法的基本思路是:分解原始图像—融合图像—通过塔式反变换获得融合图像。

第三阶段,90年代以后,小波变换应用到图像融合领域。在这一时期,塔式算法逐渐被小波多尺度分析法代替。多尺度分析法是一种介于函数和频率之间的数据融合结果的表达方式。无论是在时间领域还是在空间领域,都具有良好的局部化性质。能够同时将不同数据层分解成多个独立的空间信号,同时又不与时间部分重叠,又可以帮助决策者及时找到原信息的几何位置,从而找到正交基。

3 多元空间数据融合应用

3.1 遥感图形

遥感图像之间的融合包括传感器数据融合、不同时相遥感数据融合。来源于不同遥感器的数据特点不同,其几何位置不同,这样借助数据的多样性和差异性提高图像分析的分辨率。比如将TM与SPOT遥感数据进行有机结合,不仅可以提高图像信息的处理效率,还可以促使光谱信息的多元化发展。而不同时相的遥感数据融合对于提高工程实时监控效率具有重要的推动作用。比如洪水检测、气象检测等等。

3.2 地图图像

地图图像具有精度高、更新速度快等特点,但是也存在更新费用高的弊端。专题地图是指在一个模型中构建一个以“地图”为主体的地图内容。比如有关于城市旅游的“专题地图”、城市规划“专题地图”等。但是专题地图相较于地形地图而言,其精度不高。这就需要将两者进行有机融合,达到提高数据精确度和降低地形图更新费用的目的。

3.3 遥感图像与地形图像

遥感技术可以快速在不同数据模型中提取需要的数据信息,其数据检测的准确度高、定位较为准确。地形图虽然精度高,但是数据更新的费用较多、数据更新的速度快。将遥感图像与地形图象进行有机结合,可以有效避免两者的缺陷,实现优势互补。可以利用同一地区的地形图将遥感图像纠正为正射影像,再用以更新地形图。

4 结语

多源数据融合技术的发展与进步需要以现代科学技术、数据标准化作为基石,以计算机作为数据处理的主要工具,达到逐渐消除来自不同空间数据模型处理的数据差异性目的。当然,数据共享的标准化推广、数据模型的构建、地形图像与遥感图像之间的有机融合,都需要数据操作技术的支撑,将数据操作技术的原理和方法引进多源空间数据融合技术领域,进一步推动我国数据融合技术的发展与进步。所以,对于相关工作者而言,必须要认清这些技术的关键所在,在日常的工作中加强研究,推动多源数据融合发展。

摘要：文章主要以空间数据融合概念作为出发点,分析了多源空间数据融合技术,并探讨了空间数据融合技术的具体应用,以期为降低处理数据成本、提高数据处理效率提供一些参考和意见。

关键词：多源数据,空间数据,融合技术

参考文献

[1]刁明光,薛涛,李建存,等.基于地质信息元数据标准的多源空间数据管理系统[J].国土资源遥感,2013(1):165-170.

[2]朱蕊,邱茂,胡英男.面向空间数据更新的多源数据融合关键技术研究[J].测绘工程,2013(4):22-25.

[3]陈换新,孙群,肖计划.空间数据融合技术在空间数据生产及更新中的应用[J].武汉大学学报(信息科学版),2014(1):117-122.

[4]朱靖,栾学晨.面向导航电子地图制作的多源地理空间数据融合技术[J].地理空间信息,2014(4):147-149.

[5]缪彩练,南建设,郭娜.基于多源数据融合技术的情报侦察系统效能评估体系[J].电讯技术,2012(4):429-434.

[6]卢克,吴建玉.基于多源数据融合的统计数据空间网格化模型研究[J].浙江水利水电专科学校学报,2011(3):55-58.

数据融合技术 篇2

基于多源数据的海岸带DEM数据融合

结合海岸带地形数据修测,对海图、陆图等多种源数据进行融合.经过坐标转换、加密抽稀、数据融合、拼接载切等技术过程,形成了海岸带DEM数据.重点研究了海岸带DEM融合的.流程、步骤和算法,为海岸带地形数据的获取与处理提供了思路和经验.

作 者：郑团结 郭敏 于燕青 ZHENG Tuan-jie GUO Min YU Yan-qing 作者单位：61363部队,陕西,西安,710054刊 名：海洋测绘 ISTIC英文刊名：HYDROGRAPHIC SURVEYING AND CHARTING年，卷(期)：28(1)分类号：P208关键词：海岸DEM 海部DEM DEM接边

数据融合技术 篇3

摘要：针对当前城市道路行程时间的预测多限于单源数据且预测精度不高的问题，构建了基于浮动车GPS数据、微波检测器交通数据的行程时间预测融合模型.利用遗传算法优化小波神经网络，解决了小波神经网络初始参数选取时盲目与随机性问题，大大提高了网络搜索效率与训练速度.预测行程时间与视频观测数据吻合良好，表明该模型是有效的和可靠的.

关键词：数据融合；行程时间；预测模型；小波神经网络；遗传算法

中图分类号：U121 文献标识码：A

在交通运营与管理中，高效的出行信息与路径诱导系统将发挥越来越重要的作用[1].行程时间作为其中的关键参数，能够为交通状态估计和城市路网拥堵情况的发布提供数据参考[2].同时，行程时间是衡量路段通行效率和延误的重要依据，是反映路段交通状态的直接指标，在智能交通系统中有着广泛应用[3].目前，行程时间的预测研究大都局限于单一交通数据源，由于单源交通数据受采集仪器的精度、采集方法、样本量、人为误差等影响，因而预测精度不稳定.而多源交通数据的融合，可以弥补单源数据的诸多不足，提高预测精度.本文提出利用GPS浮动车数据与微波检测器交通数据进行融合，建立行程时间数据融合模型.

目前，数据融合方法主要有以下几种[4]：加权平均法、卡尔曼滤波、Bayes方法、统计决策理论、选举决策法、模糊集理论、神经网络等.其中，神经网络具有较强的学习能力，其内部结构本质上是并行的，与数据融合的结构一致，因此具有较大的优势.

本文拟采用小波神经网络建立数据融合预测模型，同BP神经网络相比，小波神经网络具有更强的信息提取、非线性逼近和容错能力[5]，但它存在初始参数随机选取的盲目性、易形成局部极小值而得不到整体最优值等问题[6].遗传算法可以用来优化小波神经网络的初始网络参数，弥补小波神经网络自身的不足.遗传算法与神经网络的有机结合[7]，将其用于数据融合可以提高模型的收敛速度与泛化能力.

3）视频数据

视频数据调查时，将两台摄像机分别置于实验路段起迄点，同时开始拍摄.调查后同时在计算机上播放两测点的录像，从起点视频中记下车型、车牌、外廓、颜色等特征及车辆通过起点断面的时间，然后在终点视频中寻找该车，并同时记录车辆通过终点断面的播放时间，前后时间差即为该车通过调查路段的行程时间.

1.2数据的时空匹配及方法

1）时间匹配

本文采集的出租车GPS数据、微波数据及视频数据虽是同一天的交通流数据，但微波检测与视频数据采集的是早晚高峰时间段内的数据，而出租车GPS数据都是全天候的交通流数据，所以有必要依据微波与视频数据的调查时间挑选出对应时段的出租车GPS数据，这样多源数据反映的就是同一时间段的交通流信息.由于每条GPS数据记录都有接收的时间，通过excel筛选可以很方便进行时间匹配.

2）空间匹配

空间匹配是指多源交通流数据必须反映的是同一地点的交通流信息，这样进行融合才有意义.空间匹配原则是以视频与微波数据的采集现场来筛选相应道路的出租车GPS数据.首先确定视频与微波数据的采集路段的经纬度范围，如图1所示，然后用excel筛选出与采集路段相匹配的出租车GPS数据.

从图5中可以看出，GPS出租车得到的行程时间与视频观测值相比偏低，误差超过了目标阈值15%的范围.原因在于出租车频繁超车，车速高于路段车流.而微波检测器得到的行程时间大于视频观测值，误差超过15%的范围.究其原因在于实验路段大客车、大货车较多，遮挡了车流中部分小汽车，造成小汽车数据漏检.而融合后的行程时间与视频观测数据吻合性良好，误差在8%以内，满足目标阈值15%的要求.相比GPS出租车数据或微波检测器数据，融合后的行程时间在准确度和稳定性方面都有了很大提高.

4结语

本文提出了基于交通数据融合技术的行程时间预测模型，弥补了单源交通数据预测行程时间精度不高的缺陷.利用遗传算法优化小波神经网络的权值、平移因子、伸缩因子，解决了小波神经网络初始参数选取时盲目与随机性问题，大大提高了小波神经网络搜索效率与训练速度.融合后的行程时间与视频观测数据吻合性良好，表明行程时间预测的数据融合模型是有效可靠的.

参考文献

[1]邹亮，徐建闽，朱玲湘，等.基于浮动车移动检测与感应线圈融合技术的行程时间估计模型[J].公路交通科技，2007，24（6）：114-117.

[2]聂庆慧，夏井新，张韦华.基于多源ITS数据的行程时间预测体系框架及核心技术[J].东南大学学报：自然科学版，2011，41（1）：199-204.

[3]徐天东，孙立军，郝媛.城市快速路实时交通状态估计和行程时间预测[J].同济大学学报：自然科学版，2008，36（10）：253-260.

[4]石章松.目标跟踪与数据融合理论及方法[M].北京：国防工业出版社，2010.

[5]张冬至，胡国清.基于遗传优化小波神经网络逆模型的油水测量[J].光学精密仪器，2011，19（7）：183-189.

[6]宋清昆，王建双，王慕坤.基于遗传算法的小波神经网络控制器设计[J].电机与控制学报，2010，14（4）：102-108.

[7]周昌能，余雪丽.基于BP网络的权值更新快速收敛算法[J].计算机应用，2006，26（8）：1940-1942.

[8]王楠，李成文，李岩.基于神经网络的数据融合方法[J].光机电信息，2010，27（3）：36-39.

[9]宗刚，刘文芝，张超，等.基于家庭决策的出行方式选择非集计模型[J].湖南大学学报：自然科学版，2013，40（4）：100-103.

[10]巩敦卫.交互式遗传算法原理及其应用[M]. 北京：国防工业出版社，2007.

[11]SRINIVAS M，PATNAIK L M. Adaptive probabilities of crossover and mutation in genetic algorithms[J]. IEEE，1994，24（4）：656-657.

[12]HOLM P， TOMICH D， SLOBODEN J， et al. Traffic analysis toolbox volum IV： guidelines for applying CORSIM， microsimulation modeling software[M]. Washington D C： Federal Highway Administration， 2007：117-216.

摘要：针对当前城市道路行程时间的预测多限于单源数据且预测精度不高的问题，构建了基于浮动车GPS数据、微波检测器交通数据的行程时间预测融合模型.利用遗传算法优化小波神经网络，解决了小波神经网络初始参数选取时盲目与随机性问题，大大提高了网络搜索效率与训练速度.预测行程时间与视频观测数据吻合良好，表明该模型是有效的和可靠的.

关键词：数据融合；行程时间；预测模型；小波神经网络；遗传算法

中图分类号：U121 文献标识码：A

在交通运营与管理中，高效的出行信息与路径诱导系统将发挥越来越重要的作用[1].行程时间作为其中的关键参数，能够为交通状态估计和城市路网拥堵情况的发布提供数据参考[2].同时，行程时间是衡量路段通行效率和延误的重要依据，是反映路段交通状态的直接指标，在智能交通系统中有着广泛应用[3].目前，行程时间的预测研究大都局限于单一交通数据源，由于单源交通数据受采集仪器的精度、采集方法、样本量、人为误差等影响，因而预测精度不稳定.而多源交通数据的融合，可以弥补单源数据的诸多不足，提高预测精度.本文提出利用GPS浮动车数据与微波检测器交通数据进行融合，建立行程时间数据融合模型.

目前，数据融合方法主要有以下几种[4]：加权平均法、卡尔曼滤波、Bayes方法、统计决策理论、选举决策法、模糊集理论、神经网络等.其中，神经网络具有较强的学习能力，其内部结构本质上是并行的，与数据融合的结构一致，因此具有较大的优势.

本文拟采用小波神经网络建立数据融合预测模型，同BP神经网络相比，小波神经网络具有更强的信息提取、非线性逼近和容错能力[5]，但它存在初始参数随机选取的盲目性、易形成局部极小值而得不到整体最优值等问题[6].遗传算法可以用来优化小波神经网络的初始网络参数，弥补小波神经网络自身的不足.遗传算法与神经网络的有机结合[7]，将其用于数据融合可以提高模型的收敛速度与泛化能力.

3）视频数据

视频数据调查时，将两台摄像机分别置于实验路段起迄点，同时开始拍摄.调查后同时在计算机上播放两测点的录像，从起点视频中记下车型、车牌、外廓、颜色等特征及车辆通过起点断面的时间，然后在终点视频中寻找该车，并同时记录车辆通过终点断面的播放时间，前后时间差即为该车通过调查路段的行程时间.

1.2数据的时空匹配及方法

1）时间匹配

本文采集的出租车GPS数据、微波数据及视频数据虽是同一天的交通流数据，但微波检测与视频数据采集的是早晚高峰时间段内的数据，而出租车GPS数据都是全天候的交通流数据，所以有必要依据微波与视频数据的调查时间挑选出对应时段的出租车GPS数据，这样多源数据反映的就是同一时间段的交通流信息.由于每条GPS数据记录都有接收的时间，通过excel筛选可以很方便进行时间匹配.

2）空间匹配

空间匹配是指多源交通流数据必须反映的是同一地点的交通流信息，这样进行融合才有意义.空间匹配原则是以视频与微波数据的采集现场来筛选相应道路的出租车GPS数据.首先确定视频与微波数据的采集路段的经纬度范围，如图1所示，然后用excel筛选出与采集路段相匹配的出租车GPS数据.

从图5中可以看出，GPS出租车得到的行程时间与视频观测值相比偏低，误差超过了目标阈值15%的范围.原因在于出租车频繁超车，车速高于路段车流.而微波检测器得到的行程时间大于视频观测值，误差超过15%的范围.究其原因在于实验路段大客车、大货车较多，遮挡了车流中部分小汽车，造成小汽车数据漏检.而融合后的行程时间与视频观测数据吻合性良好，误差在8%以内，满足目标阈值15%的要求.相比GPS出租车数据或微波检测器数据，融合后的行程时间在准确度和稳定性方面都有了很大提高.

4结语

本文提出了基于交通数据融合技术的行程时间预测模型，弥补了单源交通数据预测行程时间精度不高的缺陷.利用遗传算法优化小波神经网络的权值、平移因子、伸缩因子，解决了小波神经网络初始参数选取时盲目与随机性问题，大大提高了小波神经网络搜索效率与训练速度.融合后的行程时间与视频观测数据吻合性良好，表明行程时间预测的数据融合模型是有效可靠的.

参考文献

[1]邹亮，徐建闽，朱玲湘，等.基于浮动车移动检测与感应线圈融合技术的行程时间估计模型[J].公路交通科技，2007，24（6）：114-117.

[2]聂庆慧，夏井新，张韦华.基于多源ITS数据的行程时间预测体系框架及核心技术[J].东南大学学报：自然科学版，2011，41（1）：199-204.

[3]徐天东，孙立军，郝媛.城市快速路实时交通状态估计和行程时间预测[J].同济大学学报：自然科学版，2008，36（10）：253-260.

[4]石章松.目标跟踪与数据融合理论及方法[M].北京：国防工业出版社，2010.

[5]张冬至，胡国清.基于遗传优化小波神经网络逆模型的油水测量[J].光学精密仪器，2011，19（7）：183-189.

[6]宋清昆，王建双，王慕坤.基于遗传算法的小波神经网络控制器设计[J].电机与控制学报，2010，14（4）：102-108.

[7]周昌能，余雪丽.基于BP网络的权值更新快速收敛算法[J].计算机应用，2006，26（8）：1940-1942.

[8]王楠，李成文，李岩.基于神经网络的数据融合方法[J].光机电信息，2010，27（3）：36-39.

[9]宗刚，刘文芝，张超，等.基于家庭决策的出行方式选择非集计模型[J].湖南大学学报：自然科学版，2013，40（4）：100-103.

[10]巩敦卫.交互式遗传算法原理及其应用[M]. 北京：国防工业出版社，2007.

[11]SRINIVAS M，PATNAIK L M. Adaptive probabilities of crossover and mutation in genetic algorithms[J]. IEEE，1994，24（4）：656-657.

[12]HOLM P， TOMICH D， SLOBODEN J， et al. Traffic analysis toolbox volum IV： guidelines for applying CORSIM， microsimulation modeling software[M]. Washington D C： Federal Highway Administration， 2007：117-216.

摘要：针对当前城市道路行程时间的预测多限于单源数据且预测精度不高的问题，构建了基于浮动车GPS数据、微波检测器交通数据的行程时间预测融合模型.利用遗传算法优化小波神经网络，解决了小波神经网络初始参数选取时盲目与随机性问题，大大提高了网络搜索效率与训练速度.预测行程时间与视频观测数据吻合良好，表明该模型是有效的和可靠的.

关键词：数据融合；行程时间；预测模型；小波神经网络；遗传算法

中图分类号：U121 文献标识码：A

在交通运营与管理中，高效的出行信息与路径诱导系统将发挥越来越重要的作用[1].行程时间作为其中的关键参数，能够为交通状态估计和城市路网拥堵情况的发布提供数据参考[2].同时，行程时间是衡量路段通行效率和延误的重要依据，是反映路段交通状态的直接指标，在智能交通系统中有着广泛应用[3].目前，行程时间的预测研究大都局限于单一交通数据源，由于单源交通数据受采集仪器的精度、采集方法、样本量、人为误差等影响，因而预测精度不稳定.而多源交通数据的融合，可以弥补单源数据的诸多不足，提高预测精度.本文提出利用GPS浮动车数据与微波检测器交通数据进行融合，建立行程时间数据融合模型.

目前，数据融合方法主要有以下几种[4]：加权平均法、卡尔曼滤波、Bayes方法、统计决策理论、选举决策法、模糊集理论、神经网络等.其中，神经网络具有较强的学习能力，其内部结构本质上是并行的，与数据融合的结构一致，因此具有较大的优势.

本文拟采用小波神经网络建立数据融合预测模型，同BP神经网络相比，小波神经网络具有更强的信息提取、非线性逼近和容错能力[5]，但它存在初始参数随机选取的盲目性、易形成局部极小值而得不到整体最优值等问题[6].遗传算法可以用来优化小波神经网络的初始网络参数，弥补小波神经网络自身的不足.遗传算法与神经网络的有机结合[7]，将其用于数据融合可以提高模型的收敛速度与泛化能力.

3）视频数据

视频数据调查时，将两台摄像机分别置于实验路段起迄点，同时开始拍摄.调查后同时在计算机上播放两测点的录像，从起点视频中记下车型、车牌、外廓、颜色等特征及车辆通过起点断面的时间，然后在终点视频中寻找该车，并同时记录车辆通过终点断面的播放时间，前后时间差即为该车通过调查路段的行程时间.

1.2数据的时空匹配及方法

1）时间匹配

本文采集的出租车GPS数据、微波数据及视频数据虽是同一天的交通流数据，但微波检测与视频数据采集的是早晚高峰时间段内的数据，而出租车GPS数据都是全天候的交通流数据，所以有必要依据微波与视频数据的调查时间挑选出对应时段的出租车GPS数据，这样多源数据反映的就是同一时间段的交通流信息.由于每条GPS数据记录都有接收的时间，通过excel筛选可以很方便进行时间匹配.

2）空间匹配

空间匹配是指多源交通流数据必须反映的是同一地点的交通流信息，这样进行融合才有意义.空间匹配原则是以视频与微波数据的采集现场来筛选相应道路的出租车GPS数据.首先确定视频与微波数据的采集路段的经纬度范围，如图1所示，然后用excel筛选出与采集路段相匹配的出租车GPS数据.

从图5中可以看出，GPS出租车得到的行程时间与视频观测值相比偏低，误差超过了目标阈值15%的范围.原因在于出租车频繁超车，车速高于路段车流.而微波检测器得到的行程时间大于视频观测值，误差超过15%的范围.究其原因在于实验路段大客车、大货车较多，遮挡了车流中部分小汽车，造成小汽车数据漏检.而融合后的行程时间与视频观测数据吻合性良好，误差在8%以内，满足目标阈值15%的要求.相比GPS出租车数据或微波检测器数据，融合后的行程时间在准确度和稳定性方面都有了很大提高.

4结语

本文提出了基于交通数据融合技术的行程时间预测模型，弥补了单源交通数据预测行程时间精度不高的缺陷.利用遗传算法优化小波神经网络的权值、平移因子、伸缩因子，解决了小波神经网络初始参数选取时盲目与随机性问题，大大提高了小波神经网络搜索效率与训练速度.融合后的行程时间与视频观测数据吻合性良好，表明行程时间预测的数据融合模型是有效可靠的.

参考文献

[1]邹亮，徐建闽，朱玲湘，等.基于浮动车移动检测与感应线圈融合技术的行程时间估计模型[J].公路交通科技，2007，24（6）：114-117.

[2]聂庆慧，夏井新，张韦华.基于多源ITS数据的行程时间预测体系框架及核心技术[J].东南大学学报：自然科学版，2011，41（1）：199-204.

[3]徐天东，孙立军，郝媛.城市快速路实时交通状态估计和行程时间预测[J].同济大学学报：自然科学版，2008，36（10）：253-260.

[4]石章松.目标跟踪与数据融合理论及方法[M].北京：国防工业出版社，2010.

[5]张冬至，胡国清.基于遗传优化小波神经网络逆模型的油水测量[J].光学精密仪器，2011，19（7）：183-189.

[6]宋清昆，王建双，王慕坤.基于遗传算法的小波神经网络控制器设计[J].电机与控制学报，2010，14（4）：102-108.

[7]周昌能，余雪丽.基于BP网络的权值更新快速收敛算法[J].计算机应用，2006，26（8）：1940-1942.

[8]王楠，李成文，李岩.基于神经网络的数据融合方法[J].光机电信息，2010，27（3）：36-39.

[9]宗刚，刘文芝，张超，等.基于家庭决策的出行方式选择非集计模型[J].湖南大学学报：自然科学版，2013，40（4）：100-103.

[10]巩敦卫.交互式遗传算法原理及其应用[M]. 北京：国防工业出版社，2007.

[11]SRINIVAS M，PATNAIK L M. Adaptive probabilities of crossover and mutation in genetic algorithms[J]. IEEE，1994，24（4）：656-657.

数据融合技术 篇4

认知无线电有三个基本任务:频谱感知、动态频谱分配和发送功率控制[2]。为了避免对主用户造成干扰,频谱感知被认为是认知无线电中一项关键技术。由于多径衰落和阴影效应的影响,单认知用户检测可靠性低,因此合作频谱感知被提出[3]。合作频谱感知克服了多径衰落和阴影效应的影响,能够大大提高对主用户和频谱空穴的检测性能。尽管目前提出了一些合作频谱感知方法,但是研究主要集中在单个认知用户独立同分布且具有相同的平均信噪比情况下,以等权重的方式进行数据融合[4],在实际工作环境下,单个认知用户由于分布在不同的地理位置和环境,其平均信噪比也会不同,每个认知用户的局部判决在融合中心对全局判决的影响也不相同,而目前等权重的感知算法没有考虑这些因素的影响,因此它并不是最优的。基于上述问题,本文采用一种加权合作频谱感知技术,它根据单个认知用户工作处在不同的信噪比下,动态地赋予每个认知用户不同的权重,在认知用户将判决送到融合中心后,中心对各个认知用户的判决加以不同的权重后再作出判决,从而可以提高频谱感知的性能。仿真结果表明,加权合作频谱感知不仅克服了目前合作频谱感知方法的不足,其检测性能也优于目前的方法,能大大提高对主用户和频谱空穴的检测概率。

1 基于能量检测的单认知用户检测模型

单认知用户感知通常采用匹配滤波器检测、能量检测、周期平稳特征检测[5]。由于能量检测算法是非相干检测,对相位同步要求不高,计算复杂度低,检测时间短,实现简单,所以对单个认知用户采用能量检测。能量检测框图由图1给出。检测的基本假设模型可以描述为:

y(t)是认知用户接收到的信号,x(t)是主用户发射的信号,n(t)是加性高斯白噪声,h(t)是信道的增益。在H0假设下,表示没有主用户出现,H1假设表示存在主用户。

为了测量接收信号的能量,首先接收到的主用户信号x(t)通过中心频率为fc、带宽为W的理想带通滤波,对理想带通滤波器输出信号进行平方运算,并在观测时间内进行积分,并将积分器的输出Y与门限值λ进行比较,从而检测出主用户是否出现。检验统计量Y的分布为[6]:

当认知用户在AWGN信道非衰落环境中时,信道增益'h(t)是确定的,所以对主用户的检测概率和虚警概率表示为[6]:

其中,λ是能量检测的门限;γ是信噪比;Γ(.)和Γ(.,.)是完整和不完整Gamma函数;Qm()是普遍Marcum Q函数;从上述公式可以看出,如果Pd很低,将会增大对主用户的干扰;如果Pf过高,就会导致频谱利用率低。当认知用户在衰落环境时,因为Pf是独立于信噪比的,所以Pf不变。由于信道增益h(t)是变化的,所以检测概率与瞬时信噪比有关。表示式为:

fr(x)是信噪比γ在衰落环境下的概率密度函数,当信号在Rayleigh衰落下,信噪比γ服从指数分布:

Pd的近似表达式为[6]:

2 合作频谱感知

图2为认知无线电合作感知结构图,由于多径衰落和阴影效应的影响,单个认知用户检测的可靠性低,基于数据融合的合作感知通过综合来自认知用户的信息,来提高对主用户和频谱空穴的检测性能,每个认知用户在处理来自主用户的原始数据y1,y2…,yN之后,做出局部检测判决u1,u2…,uN然后在融合中心得到全局判决u0。可以大大提高对主用户的检测概率。目前关于合作感知的研究主要是假设所有的认知用户独立同分布且都具有相同的平均信噪比,通常采用“或”规则以等权重的方式进行数据融合,即Wi=1(i=1,…N)。检测概率和虚警概率分别表示为Qd=1-(1-Pd)N和Qf=1-(1-Pf)N,Pd由(3)式或(7)式给出,Pf由(4)式给出。

3 加权合作频谱感知

在实际的工作环境中,由于每个认知用户所处的地理位置和环境的不同,经历不同的衰落环境,所以每个认知用户的平均信噪比不同,在融合中心进行数据融合时对全局判决的影响也不同,此时如果运用传统的合作频谱感知方法检测主用户和频谱空穴,性能提高不大,有时甚至低于合作感知中信噪比较好的单用户检测。

对于单个认知用户工作在不同的平均信噪比情况下,动态地赋予每个认知用户不同的权重,在认知用户将判决送到认知无线电数据融合中心后,中心对各个认知用户的判决加以不同的权重后再作出判决,相对于传统的合作频谱感知方法可以大大提高对主用户的检测性能。

首先设所有认知用户第一次感知时的权重Wi(1)=1,第i个认知用户每一次感知后得到一个权重Wi(n)(n≥2),Wi(n)为第i个认知用户在第n次感知的权重,每一次感知后认知用户会更新权重,表达式为[7]:

Pd,i是第i个认知用户在第n次感知过程对主用户的检测概率。每个认知用户的权重随感知过程的变化而变化,但是权重之和保持一个恒定值。当单个认知用户有较低的信噪比时,该认知用户的权重将随之减小,从而在认知无线电数据融合中心进行数据融合时,该认知用户对综合判决的影响也减小。

在数据融合中心根据每个认知用户的权重对主用户进行综合判决。对于虚警概率没有进行加权,因为其独立于信噪比,所以基于加权的合作频谱感知对主用户的检测概率[8]和虚警概率分别为:

4 仿真和结果分析

在试验中,分别对在AWGN信道非衰落和Rayleigh衰落环境下,传统的合作频谱感知与加权合作频谱感知的检测性能做了对比。取参数m=2。如图3所示,在AWGN信道非衰落环境下,用于合作感知的认知用户数为4个,从1dB～7dB中随机选取4个不同的信噪比赋给4个不同的认知用户,单个认知用户检测时的信噪比为7dB,从图中可以看出,采用传统的等权重的合作感知方法,其性能有时甚至还小于信噪比高的单认知用户检测的性能,采用加权合作感知后,在第2次、第3次的感知性能明显提高,在Pf小于0.1时,经过第3次感知,检测概率Pd可以接近1。

图4中,在Rayleigh衰落环境下,同样从1dB～7dB中随机选取4个不同的信噪比赋给不同的认知用户,传统的合作感知的检测性能与信噪比较好的单认知用户检测性能相差不大。加权合作感知经过第2次感知后其性能要好于传统的合作感知和信噪比高的单用户检测,第3次加权合作感知性能要好于第2次的感知性能。

图5中,在AWGN信道非衰落环境下,对传统合作感知和加权合作感知在认知用户数分别为4个和6个的情况下做了对比,可以看出在相同认知用户数目的情况下,加权合作感知经过第2次感知后的检测性能要好于传统合作感知,同时加权合作感知的性能也随着认知用户数目的增加而提高。图6为两种感知方法在Rayleigh衰落环境中的对比,同样,加权合作感知对主用户的检测性能要好于传统合作感知。因此,采用加权合作频谱感知不仅克服了目前合作频谱感知存在的不足,而且无论在衰落和非衰落环境下都能大大提高对主用户的检测概率。

对认知无线电在AWGN信道非衰落和Rayleigh衰落环境下的加权合作频谱感知性能进行了分析,同时对加权合作频谱感知与目前的合作感知方法进行了对比,提出采用一种动态加权合作感知方法,并对认知用户在不同平均信噪比情况下所检测主用户的性能进行了分析。但是认知无线电工作在复杂的变化环境中,尽管合作频谱感知能更加准确地检测到主用户,但是在资源受限的网络中,可以考虑在某些情况下只传输那些检测性能较好的认知用户的判决结果,从而可以降低对主用户的错判概率,提高检测性能,更好地利用主用户的空闲频谱。

摘要：提出一种采用动态加权合作和感知方法,并对认知用户在不同平均信噪比情况下所检测的主用户性能进行了分析。仿真结果表明:加权合作感知不仅克服了目前合作感知方法的一些不足,其检测性能也优于目前的合作感知方法。

关键词：认知无线电,加权合作感知,能量检测,数据融合

参考文献

[1] MITOLA J.Cognitive radio:an integrated agent architecture for software defined radio[D].Ph.D Thesis,KTH Royal Institute of Technology Sweden,2000．

[2] HAYKIN S.Cognitive radio:brain-empowered wireless communication [J].IEEE JSAC,2005,23 (2) :201-220．

[3] GANESAN G,LI Y G.Cooperative spectrum sensing in cognitive radio networks[C],in Proc.IEEE DySPAN 2005,2005:137-143．

[4] GHASEMI,SOUSE S.Collaborative spectrum sensing for opportunistic access in fading environment[C],in Proc.IEEE DySPAN 2005,2005:131-136．

[5] CABROC D,MISHRA S M,BRODERSEN R W.Imple- mentation issues in spectrum sensing for cognitive radios[C].in Proc.38th Asilomar Conference on Signals.Systems and Computers 2004,2004:772-776．

[6] DIGHAM F,ALOUINI M,SIMON M.On the energy detection of unknown signals over fading channels[C].in Proc.IEEE ICC 2005,5:3575-3579．

[7] HUANG Xiao Ge,HAN Ning,ZHENG Guan Bo,et al.Weighted-Collaborative spectrum sensing in cognitive radio[C].Chinacom 2007,Shanghai,China,Augnst,2007．

数据融合技术 篇5

运用模糊数学与神经网络理论相结合,利用人工神经网络的GFMM算法,通过学习与实验,探索了遥感数据融合方法.

作 者：高文君 周宇 GAO Wen-jun ZHOU Yu 作者单位：高文君,GAO Wen-jun(山西省水土保持科学研究所)

周宇,ZHOU Yu(南京林业大学信息学院)

浅析数据融合与数据挖掘 篇6

【关键词】数据融合，数据挖掘，知识发现

【中图分类号】 C37【文献标识码】A【文章编号】1672-5158（2013）07-0172-01

在信息时代，信息量的爆炸式增长使得信息的获取、传输、存储、转换等信息处理技术得到了长足进步。数据融合与数据挖掘作为信息处理技术两大分支在这一过程中萌生，并得到了人们的重视和研究。

数据融合源于传感器技术的发展，是帮助人们处理复杂多变的外部环境产生的信息，评估环境状态和目标信息，对战局和威胁的提供全面和及时的信息处理技术。数据挖掘用以帮助人们从积累的“过量信息”中，撷取事先未知的潜在有用的信息和知识的信息处理技术。

一、网络故障管理系统中应用

随着网络应用的发展，网络规模以及网络的数量得到了蓬勃发展。为了更好的对网络进行有效的管理，及时排除网络故障，让网络持续稳定地运行将数据融合作为，网络故障的管理也就有着突出的重要性。

将数据融合作为数据挖掘的数据准备阶段，在网络故障管理方面，二者合理的结合使用，利用数据融合技术分析网络运行中产生的状态数据，处理结果形成数据集，在这个数据集的基础上利用数据挖掘技术，获得安全规则，发现异常，判断网络故障。系统结构如图所示。

① 数据融合模块

网络故障管理系统中数据融合模块是对网络中多处来源的数据进行处理和组合，从而产生新的有意义的信息。这里的多处来源的数据是指网络运行中产生的描述网络运行的状态信息。

网络管理中的数据具有多源性、分布性、异构性的特点，它们主要来自网络的数据、系统日志、网络管理查询信息等。而另一方面，目前数据挖

掘一般对象是静态的数据集，解决这些矛盾的方法是数据挖掘和数据融合技术集成。

网络故障信息中的告警数据是含噪声的、并且大量都是重复的。主要包括告警丢失、错乱、延迟以及重复告警、误告警等方面。利用数据融合的关联技术，根据数据之间的相似性，将来源数据进行处理，以减少重复数据的数量。

② 数据挖掘模块

在网络管理的数据挖掘中，关联规则和序列模式是最常见的挖掘知识，二者挖掘知识的角度不同。关联规则是从网络告警信息中发现告警与告警之间、告警与故障之间、告警与业务之间的相关性，即在一个告警信息发生之后，另一个告警、故障、业务发生的可能性。而序列模式把告警信息序列看作以时间为主线的有序序列，在一定的时间间隔内挖掘知识，注重告警信息的时间性。

在数据挖掘阶段，网络的管理者必须对系统设置相应的参数，这些参数用于描述网络的运行状态。例如当某项低于或者高于某一值时，认为网络该方面产生故障。并且根据值的大小，采取不同的措施，发出告警信息或者仅写入日志。有时还要根据参数值的时间变化，分析故障产生的概率。对于不同的参数，挖掘算法得出的结果和提示都不尽相同，因此系统的性能对人工干预的程度有着依赖性。

二、应用分析

在网络管理系统应用中，数据融合模块与数据挖掘模块处于串联处理关系，两者位置不能够颠倒，首先由数据融合模块对来源数据进行数据处理，形成相应的数据集，提供给数据挖掘模块使用、分析。

参考文献

[1] 习慧丹.数据挖掘研究综述.电脑与信息技术，2012（1）

[2] 王惠中，彭安群.数据挖掘研究现状及发展趋势.工矿自动化，2011（2）

数据融合技术 篇7

单模制导技术[1]由于采用单一频段或单一制导模式传感器,存在抗干扰能力弱,可靠性较低等固有缺陷。多模复合制导技术[2]正是为弥补单模制导技术的缺陷而提出的精确制导技术。雷达/红外双模制导将雷达和红外配合使用,成为相互独立又彼此互补的目标探测及跟踪手段,利用雷达探测的距离信息和红外传感器探测的高精度角度信息,可有效改善对目标的跟踪和识别能力[3,4,5,6]。对于雷达制导难以抵抗的电子干扰如距离拖引[7]、箔条质心干扰[8],红外制导能较好的抑制,相反对于红外制导影响较大的红外诱饵弹[9],雷达制导也能有效抵制。因此,基于主动雷达/红外复合制导的数据融合[10]技术将是一种较好的抗干扰措施。

1 数据融合技术

对于主动雷达/红外成像复合制导而言,数据融合主要通过对雷达目标和红外目标的融合处理,提高导引头的抗干扰能力; 提高对攻击目标选择的可信度; 提高目标跟踪精度,输出更为准确的制导信息; 同时,完成复合导引头的工作流程的控制。

数据融合主要由时空校准、航迹关联、决策兼顾特征融合和航迹融合4 个模块组成:

( 1) 时空校准。由于雷达、红外数据率的不同以及安装位置、天线指向的差异,在对雷达和红外输送点迹信息进行处理之前须进行时空校准。若没有时空对准,首先时间上是无法进行关联与融合的,空间上由于探测坐标系的差异可能使相同目标的航迹也难以关联成功。时空对准后,所有的雷达航迹与红外航迹均在相同时空坐标下,可在相同的采样时刻进行后续处理;

( 2) 航迹关联。具体设计中,采用修正的K近邻域航迹关联算法( MK - NN算法)[11]。这一算法是最近邻算法的衍生算法,比最近邻算法适当放宽了关联条件、简化了算法,软件易于实现;

( 3) 决策兼顾特征融合。航迹关联不成功时,进行目标选择和判决处理。根据输入的目标置信度信息和目标特征信息对导引头工作模式进行决策,并根据决策结果,对雷达和红外分别发出相应的控制指令,使其进入对应的工作模式。如果只有一条成功关联航迹对时,则成功关联的航迹对即判为攻击目标; 若有多条成功关联航迹对时,进行决策兼顾特征融合处理,根据融合结果判断是目标或干扰信号,决策出待攻击的目标;

( 4) 航迹融合。航迹融合存在两种方式: 一种是局部航迹与局部航迹融合; 另一种是局部航迹和系统航迹融合。具体实现中,当雷达与红外航迹均正常时采用局部航迹与局部航迹融合; 若某一传感器受到干扰而无法给出正确航迹信息时,选择局部航迹和系统航迹的融合。

2 抗干扰性能仿真

2. 1 抗红外诱饵干扰原理

红外诱饵干扰是典型的一类只对红外传感器产生影响的干扰手段。若红外传感器受到干扰,则会出现目标和干扰两条航迹,红外将会无法取舍,或保留干扰轨迹。再与雷达提供的航迹进行关联、识别后,可将红外诱饵弹的干扰效果降至最低。

设计中,先通过数据融合技术中的时空校准将雷达数据通过线性插值或外推对齐到红外数据点上。为不造成对高数据率红外信息的丢失,时空校准以红外数据为基准。时空对准后的数据便可送入数据融合中心进行航迹关联处理。

在航迹关联时,采用修正的K近邻航迹关联算法,判断两条航迹统计位置差是否在关联门限内,不满足关联准则则判两个传感器跟踪不同目标。由观测数据可知,此时红外传感器可能会探测到多条轨迹( 目标+ 干扰) ,但雷达只存在一条待攻击目标轨迹,进行航迹关联后,可能存在3 种情况: ( 1) 雷达航迹仅与一条红外航迹关联,此时可直接进行下步处理,保留关联上的航迹对; ( 2) 雷达航迹与多条红外航迹关联,则选择使位置差矢量范数最小的红外航迹与雷达航迹关联,进行下步融合处理; ( 3) 若雷达航迹与任何一条红外航迹均不关联。此时,将所有航迹分别与之前的系统航迹进行关联,关联上者判断为目标轨迹。

2. 2 抗红外诱饵干扰仿真

仿真时红外烟雾干扰在目标附近以3 m/s的速度做慢速运动。图1 所示为弹上的雷达、红外传感器分别对目标以及干扰假目标的观测结果。由于红外诱饵弹在升空后呈烟雾状,与目标具有相似的红外特征,但对雷达起不到任何干扰作用,所以在观测结果中,红外传感器存在目标与干扰假目标两个航迹信息,而雷达仅存在真正的目标航迹信息。

航迹关联的结果如图2 所示,仿真图像中显示的只有一条关联成功的关联航迹对。红外诱饵弹的轨迹在航迹关联中找不到任何与之相关联的航迹已被剔除,所以复合制导通过数据融合处理后,在航迹关联这一步已成功实现抗干扰的效果。

2. 3 抗箔条质心干扰原理

箔条干扰主要通过箔条感应出的交变电流产生二次辐射对雷达造成干扰,是舰船的最后一道防线。当其他干扰均未奏效时,在舰船周围200 m处发射两枚快速离舰散开的箔条弹,使末制导雷达跟踪箔条和舰船的能量中心。随着风对箔条的吹动以及舰船的运动,最终使能量中心偏向箔条弹而使末制导雷达跟踪上箔条假目标。此时复合导引头可充分利用红外传感器提供的图像信息以及红外航迹信息,将雷达与红外送入数据融合中心的航迹信息进行关联、识别,挑选出目标航迹,剔除虚假航迹,从而实现抗干扰。

2. 4 抗箔条质心干扰仿真

仿真时,假定目标舰船已在周围实施箔条干扰,图3是一组雷达观测数据。由于箔条与目标只有雷达相似的特征,但对红外起不到干扰作用,所以在观测数据中,雷达数据存在舰船目标与箔条假目标两个航迹信息,而红外数据仅存在真正的舰船目标航迹信息。

图4 是在箔条干扰下,复合导引头数据融合中心在时空一致的情况下,航迹关联后的处理结果。从图中可看出,雷达数据包括舰船目标与箔条干扰两个航迹信息,而红外仅包括舰船目标的航迹,所以通过雷达、红外复合制导的数据融合处理后,导引头可有效剔除干扰目标,成功实现抗干扰。

当上述抗干扰措施均不能凑效,或存在某种对雷达、红外均起到影响的干扰时,可进一步利用数据融合目标识别技术进行最终抗干扰处理。另外无法判断干扰时,还可采用航迹外推手段进行航迹维持,留待下次观测数据继续判断,外推达极限时可启用搜索指令二次在预定区域内进行搜索,重新锁定目标。

3 结束语

文中对主动雷达/红外复合制导的数据融合关键技术做了论述,对红外诱饵、箔条质心两种典型干扰机理和相应的抗干扰原理进行了理论分析,运用Matlab对主动雷达/红外复合制导在这两种干扰情况下的数据融合抗干扰性能进行了仿真。仿真结果与理论相符,表明基于主动雷达/红外复合制导的数据融合技术的抗干扰性优于单模制导技术。

摘要：针对单一制导模式抗干扰能力弱的缺点,文中采用主动雷达/红外复合制导模式,运用数据融合技术,并对主动雷达/红外复合制导在典型干扰情况下的数据融合抗干扰性能进行了仿真。仿真结果表明,基于主动雷达/红外复合制导的数据融合技术,抗干扰性能明显优于红外成像或主动雷达任一单模制导技术,并可准确分辨假目标。

数据融合技术 篇8

(1) 数据中心切换提供低于微秒开关延迟和当故障时转移到Qo S冗余链接的零丢包率。

(2) 为增加资产优化而开发的复杂流量负载平衡算法。

(3) 支持大型载波类虚拟化基础设施的可扩展性。

(4) 内置的网络安全机制以强化政策, 减少网络威胁事件等。

1 SDN

SDN (可编程网络) 是一种新型的技术, 它能够为为网络资源的虚拟化提供一种按需驱动的方式加以实现。其优点在于能够使得控制与运行功能的退耦, 从而实现对网络的可扩展性, 以及更加灵活的控制方式。一些流行的SDN控制器有Floodlight, Beacon, NOX, Open Day Light。

2 相关技术分析

2.1 服务质量 (Qo S)

服务质量被定义为提供服务的能力, 只要体现在一个阶段的网络运行指标上, 其中包括传输带宽, 最小延迟, 减少丢包率, 以及拥塞控制等。在SDN中已有一些关于Qo S的研究工作。

3.1.1 Open QFlow

Airton Ishimori提出的Qo S管理框架, 被称为Open QFlow, 它能够在基于openflow环境中的网络管理Qo S, 以按需的方式管理带宽, 队列尺寸以及延迟的参数。

2.1.2 Open Qo S

它是一个基于控制器的openflow协议, 能够获得端到端基于应用的多媒体的服务质量。

2.1.3 Secondnet

对于云来说, 有必要提供保证驻留在不同数据中心的虚拟机的执行带宽, Secondnet就是这样的数据中心虚拟框架, 它能够提供对虚拟数据中心的抽象, 从而保证每对虚拟机之间运行带宽。

2.1.4 网络汇聚的自主可扩展Qo S控制

它有两个方面要求, 第一要针对不同的应用进行流量汇聚, 第二要求对不同租户的流量进行汇。Wonho Kim等人提出一种控制器, 能够把网络片赋给不同流量的应用, 以动态满足Qo S的需要。

2.2 负载均衡

负载均衡是一种SDN网络的智能拥塞感知路由, 以提高各种应用的可用性和可扩展性, 该技术布置在云中可以获得应用的最小反应时间。一些负载机制已经应用在云中。

2.2.1 等值多路由 (ECMP)

等值多路由可以根据路由策略计算多路径扩散流量的成本, 控制运行的性能。

2.2.2 Aster X

Aster X是一种负载均衡器, 其目标是使得服务器和网络负载联合应用的响应时间最小化。

2.3 可扩展性

可扩展性是SDN关键因素之一, 包括三个层次:

(1) 指的是基于SDN的控制器能够支持的交换机的数量。

(2) 描述每个流对流表访问的条数。

(3) 表示SDN控制器能够如何处理交换机进行多站点的生成树。相关工作有:

2.3.1 DIFANE

它是一种分布式流结构, 目标是避免控制器的瓶颈以获得更好的性能和扩展性, 维护数据平面的流量。

2.3.2 Maestro

该系统能够基于优化技术进行平行处理和处理吞吐量。它通过TCP收发openflow消息, 同时执行四种应用分别是发现、交互路由、授权、以及路由流。

2.4 网络安全

安全对于SDN网络来说是一个重要方面, 控制器是保护的首要对象, 因为他是网络控制的核心, 其他对于网络的安全而言还包括拒绝服务攻击 (DDOS) 等。

2.4.1 Net Fuse

现在数据中心较多的受到拒绝服务攻击等的影响, Net Fuse使用被动收集流控制消息, 以侦测动态网络流从而识别网络行为, 为网络安全提供保障。

2.4.2 Fresco

它是一种openflow安全应用框架, 它提供了openflow检测与迁移模块。

3 结论

云计算传统的资源定义在SDN网络出现后发生了变化, 它使得网络逐渐成为其一种不可或缺的部分, 同时SDN网络使得传统网络和虚拟网络能够以按需的方式为最大化其效用, 从而满足用户的应用需求。本文根据云计算在SDN网络应用中可能会面领的几点问题进行了综述介绍, 希望在未来的工作中能够开发出更多适合并解决以上诸多问题的应用平台。

摘要：数据中心作为重要的部分在提供云计算的资源服务方面越来越普遍, 通过制定细粒度的需求降低了以往的物理设施, 应用以及平台的局限性, 从而使得能够更准确对其虚拟环境进行定义。其中还涉及到很多技术挑战:如何获得Qo S, 优化负载均衡, 可扩展性, 以及安全问题等, 本文对此进行了分析说明。

关键词：数据中心,新型网络,数据融合,云计算

参考文献

[1]P.Mell and T.Grance.NIST definition of cloud computing.National Institute of Standards and Technology.October7, 2009.

[2]Open Networking Foundation.Available:Software-Defined networking:the new norm for networks.https://www.opennetworking.org/images/stories/downloadslopenflow/wpsdn-newnorm.pdf, 2013.

[3]Floodlight.Available:http://www.projectfloodlight.org/floodlight/, 2013.

[4]Beacon.Available:https://openflow.stanford.edu/displax/Beacon/Home, 2013.

[5]NOX.Available:http://noxre[2o.org/wp/, 2013.

数据融合技术 篇9

1 数据融合技术的概述

多传感器系统是船舶自动化中的重要组成部分, 船舶自动化的程度越高, 船舶所需要的传感器种类与数量也越多, 导致船舶决策系统所接收到的信息越繁杂, 比如船舶设备的运行参数、船舶航行参数以及卫星或声呐对海况、障碍物的反馈信息等, 这些信息很多都是动态的、模糊的, 因此, 对这些信息的综合分析与处理就变得十分复杂, 运用数据融合技术就能够很好地解决这种技术性的问题。数据融合技术的功能实现是建立在多传感器基础之上的, 如果将多传感器比作人类的口、鼻、手、脚、眼等多种器官, 那么数据融合系统就相当于人类的大脑, 对人类的器官所获得的信息 (味觉、触觉、嗅觉、视觉等) 进行综合分析处理, 并作出决策。数据融合技术依据某种融合准则将多传感器系统所获得的各种信息进行分析与决策, 以获得与被测物体十分接近的位置或特征描述。数据融合技术与多传感器系统完美地结合在一起, 对船舶自动化程度的提高有着至关重要的影响。

2 数据融合技术存在的不足

2.1 信息融合算法

数据融合技术的核心就是信息融合的算法, 目前数据融合技术的信息融合算法还存在一定的能力缺陷, 完善度不高, 只有将目前的技术 (模糊控制、神经网络等技术) 有机地结合在一起, 不断地完善信息融合算法, 才能提高信息融合系统的性能。

2.2 数据库的建立

船舶航海的安全不仅需要技术的支持, 还需要船长丰富的航海经验来配合, 因此, 如何将丰富的航海经验融入到数据融合系统中, 并建立起数据融合数据库是极其重要的。

2.3 信息融合计算能力

在船舶航行中, 影响船舶航海安全的因素包括外界因素与内在因素, 其信息量有时是十分巨大的, 面对着如此众多的独立信息, 信息融合系统有时并不能完成如此巨大的数据计算, 因此, 应开发相关的计算软件或硬件, 提高信息融合系统的性能, 以实现对大量数据的信息融合。

3 数据融合技术在船舶上的应用

3.1 避碰避让决策系统

影响船舶海上航行安全的因素有很多, 船舶之间的碰撞是主要原因之一, 因此, 解决船舶之间的碰撞问题是保障航海安全的重要环节。现代船舶的航海避碰避让决策系统主要采用了神经网络、模糊控制、小波变换等技术, 对已获得的各种信息进行推理分析, 以获得最佳的避碰方案, 近年来, 数据融合技术在航海避碰系统中已取得十分显著的应用效果。数据融合技术对多传感器系统获得的各种信息进行融合处理, 之后根据已采集的信息特征进行综合分析, 从而获得精度较高的航海参数和目标特征, 航海参数主要包括船舶的航速、航向等信息, 目标特征主要包括来船的类型。引入数据融合技术的船舶避碰避让决策系统减少了船舶之间碰撞的几率, 为航海安全提供了保障。

3.2 动力设备的故障诊断

船舶的动力系统直接影响到船舶的航海安全与效率, 随着船舶自动化程度的不断提高, 对船舶动力系统的要求也越来越高, 为了保障船舶动力设备的正常工作, 不仅仅需要及时解决船舶动力设备的故障问题, 还需要对船舶动力设备进行故障预测预报。在未采用数据融合技术之前, 对船舶动力设备的故障预测预报主要以单向信息为依据, 导致故障预测预报的精准度不高, 而采用数据融合技术之后, 可以将多个单向信息进行融合处理与综合分析, 有效提高了动力设备故障预测预报的精准度, 为动力设备的维修准备了充足的时间, 保障了航海的安全与效率。例如, 在我国的一次船舶航海中, 由于该船舶未采信息融合技术, 未能对动力设备进行预测预报, 导致在航海的过程中由于动力设备出现问题, 船舶被迫停止航行, 进而延迟到港时间。

3.3 动力定位系统

随着世界发展步伐的加快, 陆地资源已经很难满足当今世界的发展需求, 人们的关注焦点逐渐从陆地转移到海洋, 进行海上作业, 实现对海洋资源的开发。在深海中, 由于海水的压力与浮力巨大, 且海况十分复杂, 以往抛锚系泊的定位方式有着一定的局限性, 这就需要十分先进的技术手段——动力定位系统为海上作业提供安全保障。船舶动力定位系统的工作原理就是借助于船舶推进器产生的动力对外界干扰力进行相互抵消, 使船舶处于一种动态平衡的状态, 定位在可允许的定位范围误差内。影响船舶定位的因素有很多, 比如海洋中的暗流, 波浪、风力等, 引入数据融合技术的船舶动力定位系统可将这些因素信息进行融合与处理, 使船舶能够安全且准确地进行定位, 为海上作业提供了安全保障。

4 结语

数据融合技术是一门十分先进的信息处理技术, 随着船舶自动化程度的不断提高, 对多传感器系统所反馈的信息的处理也有着十分高的技术要求, 数据融合技术在功能上完美地解决了这一理论技术问题, 虽说与现实还存在着一定的距离, 然而, 我们并不能否认它的研究价值。从近几年的研究成果可以看出, 数据分析技术对船舶自动化程度的提高有着重要贡献, 其应用潜力还十分巨大。

参考文献

[1]刘贞贤.数据融合技术在船舶中的应用[J].电子世界, 2013 (12) .

[2]何宁辉.船舶动力定位系统中无线传感器网络数据融合技术研究[D].武汉理工大学, 2013.

[3]刘擘.浅析船舶自动化技术现状[J].船电技术, 2012 (03) .

数据融合技术 篇10

全国有线电视行业大数据产业环境目前基本成熟,双向化用户每天产生的数据约500 G,宽带用户每天产生的数据约1 T。研究大数据技术在有线网络中的应用,基于个性化服务需求、智能化服务需求、社交化服务需求和泛在化服务需求,结合大数据技术在有线电视中的应用模式,构建面向融合业务的有线网大数据平台技术体系,实现融合业务数据价值的挖掘和个性化的服务推荐,成为当前运营商改善用户体验、提升行业服务竞争力的重要手段。

2 技术体系架构

2.1 总体架构

面向融合业务的有线网大数据平台技术体系总体架构如图1所示。

(1)数据源

实现与各业务系统、生产系统建立数据采集接口,包括BOSS、互动业务平台、内容资源管理平台、APP应用、宽带上网平台等。

(2)采集处理

采集处理实现接入适配、数据抽取、数据清洗、数据转换、补齐加载等功能。其中,接入适配采用不同的接口适配器进行数据抽取;数据抽取通过图形化界面对不同的数据源选择不同的接入适配器进行数据采集;数据清洗实现对噪音数据进行剔除,消除数据的不一致;数据转换将不同数据源的数据集中转换成统一编码、类型和格式;数据装载完成清洗转化后通过数据加载到上层数据中。

(3)数据存储

数据存储包括分布式的文件存储、数据库存储和内存存储,存储和管理复杂结构化、半结构化和非结构化大数据。用存储器把采集到的数据存储起来,建立相应的数据库,并进行管理和调用。

(4)计算分析

计算分析实现大数据的批量处理与实时处理,包括数据计算、数据挖掘、机器学习、实时数据识别、复杂事件处理、流处理、交互性查询等,提供大数据分析与挖掘的调用基础组件。

(5)应用功能

应用功能提供综合分析引擎、用户画像系统、智能推荐引擎等核心应用功能模块。其中,综合分析引擎实现综合运营分析、运营KPI、客户消费分析、客户价值分析和客户流失分析等;用户画像即用户分析实现用户特征标签提取、用户特征合并、用户聚类分组和用户特征打分;产品标签实现产品特征分析和产品相关性分析;智能推荐引擎主要分析用户和产品之间的关联度,从而对用户进行产品推荐,主要包括相似推荐和关联推荐两种。其中,相似推荐采用协同过滤推荐原理,基于用户相似度与内容相似度预测用户对内容的潜在偏好,生成个性化推荐结果;关联推荐则采用关联挖掘算法,分析内容之间的相关性,找到可以组合推荐的内容。

(6)管控中心

管控中心实现接口管理、安全管控、用户管理、数据管理、调度管理和部署管理等。其中接口管理是通过数据产品、API接口等多种方式实现数据开放服务对外提供数据服务,包括服务申请、审核、使用等管理功能和服务注册、上架、撤销等维护功能;安全管控主要实现权限管理、访问控制、用户认证、集群互信、安全审计等功能;用户管理包括账号管理、租户管理和资源分配等功能;数据管理包括元数据管理、数据质量管理、数据生命周期管理和异构数据交换等功能;调度管理实现流程调度、作业调度、作业监控、资源优化和资源监控等功能。部署管理包括集群部署、参数配置和服务启停等功能。

(7)应用服务

应用服务层是指数据服务共享接口输出产品推荐、功能优化、广告投放、经营分析、内容反馈、内容审核等应用场景所需要的基础数据和分析挖掘结果数据,以便大数据展现应用可以提供分析图表展现和各种界面推荐效果。

2.2 技术架构

面向融合业务的有线网大数据平台技术架构如图2所示。

2.2.1 数据采集处理

数据采集处理实现大数据的采集和预处理,并作为平台与其他系统的数据接口。通过Flume、Sqoop、Kafka等从生产系统、业务系统获得用户行为和用户交易数据。

(1)Flume计算框架,实现文件和消息采集与解析。主要用于高效移动实时生成的大规模数据,Flume可以将分在多个点的日志或文件存进HDFS。它是一个分布式、可靠的、高可用的服务

(2)Kafka实现对消息数据的采集;它是一种高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览、搜索和其他用户的行动)是现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka是通过Hadoop的并行加载机制来统一线上和离线的消息处理。

(3)Sqoop和Kettle实现数据抽取和数据导入导出功能。Sqoop是一个在关系数据和Hadoop之间相互抽取数据的工具,可以从关系数据库导出数据并插入HDFS或HBase中,也可以反过来从HDFS或HBase中抽取数据并导入关系数据库中;Kettle是一款开源的ETL工具,可以在多种操纵系统上运行,数据抽取高效稳定,可以抽取不同格式数据,并输出指定格式的数据。

(4)采用FTP文件方式实现对数据文件的采集。

2.2.2 数据存储与计算

数据存储与计算主要采用基于分布式架构,实现海量数据高效存储与计算。支持数据计算存储能力的动态扩展、支持动态负载平衡、具备可扩展性等基本功能。满足大数据分析、用户画像、智能挖掘等海量数据存储与计算需求。

(1)数据存储方面

非结构化数据存储在Hadoop的HDFS或通过ETL存储于Hbase中,提供数据文件存储和数据离散列存储。其中,HDFS是一个分布式文件系统,它具有高容错的特点,可以部署在廉价的通用硬件上;提供高吞吐率的数据访问,适合处理海量数据;HBase是一个建立在HDFS之上的以列方式组织存贮数据的No SQL数据库。HBase具有高性能的写入,支持海量数据的存贮,支持在Row Key上高并发快速的查找数据,具备数据模型灵活等特性;结构化数据存储在关系型数据库RMDB和新型混合架构集群数据库MPP,关系型数据库可实现数据同步处理。

(2)非实时批处理方面

采用Hadoop和Spark实现非实时ETL和内存计算,采用Map Reduce、Hive、Spark等组件实现海量数据的批处理;Map Reduce是一个分布计算构架,负责作业分配,它把一个大作业分解为多个小任务分布到多个节点上执行,能处理大规模的数据集,并注重处理数据的吞吐量而不是响应时间;Hive是一个Hadoop的数据仓库平台,便于进行ETL处理,可通过Hive进行SQL的操作封装。Hive定义了一个类似于SQL的查询语言HQL,能够将用户编写的SQL封装转化为相应的Mapreduce程序在Hadoop上执行;采用Spark SQL可实现交互性查询,能支撑复杂事件处理。

基于Hadoop的Mahout和基于Spark的Mlbase都是能够在大规模数据上进行机器学习的软件库,支持协同过滤、聚类和分类等机器学习算法,均基于Map Reduce实现。

采用Hbase、Redis等提供海量数据高并发查询,主要针对用户记录、昵称、观看记录等海量数据查询需求。通过建立分类、聚合、推荐、回归、预测等多种类型的算法模型实施数据模型分析的计算,为运营体系及其应用提供数据分析服务。

(3)实时处理方面

CEP流式实时计算框架是一个分布式、容错的实时计算系统,适用于流数据处理,可以用来处理源源不断的消息,并将处理之后的结果保存到持久化介质中。

Impala是一个快速查询、分析引擎,使用MPP思想实现,可以使用对Hive进行查询、分析的HQL来对Impala访问。Impala能够满足交互性查询、分析的需求,它处理速度是Map Reduce的10~100倍。

Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。Storm也可被用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。

流式计算Spark streaming支撑流数据处理,通过将连续的数据流划分成离散的数据段,从而将触角伸到了流式处理领域。

(4)资源管理方面

基于Yarn提供跨平台的资源管理,满足资源的统一调度与管理;Yarn构架于HDFS之上、Spark等之下,为计算任务提供资源调度服务,是计算框架的底层。

(5)系统协调方面

Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务,是Hadoop和Hbase的重要组件,用于集群管理。Zoo Keeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

在大数据平台上提供多种类型的数据处理能够满足各种场合下对海量数据的处理。对于实时性要求不高的数据,可以使用Map Reduce或者Mahout来处理。对于如信令、DPI等主机产生的实时事件流进行不间断的实时处理,使用CEP这样的流式实时计算框架进行处理。

2.2.3 安全管控

安全管控基于Ganglia和Nagios等技术实现。其中,Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源以及提高系统整体性能起到重要作用。Nagios是一个监视系统运行状态和网络信息的监视系统,能有效监控Windows、Linux和Unix的主机状态、交换机路由器等网络设置、打印机等,同时提供异常通知功能等。

2.2.4 数据共享

数据共享基于redis、kafka、restful、JDBC、API、SDK等技术手段,通过集成封装统一提供对外服务接口能力,支撑用户或产品标签及用户分组信息获取、内容推荐、多维分析、查询统计等应用场景。

3 平台关键系统

3.1 用户画像系统

用户画像系统是基于用户信息、兴趣偏好、行为特征、消费特征等数据,实现用户特征标签提取、用户特征合并、用户聚类分组和用户特征打分,最终构建统一的用户标签体系,为个性化推荐、用户分析提供基础服务。用户画像系统主要实现用户标签管理、用户群管理、用户画像查询和系统服务接口等功能。

用户标签管理实现对建立的用户标签体系中的各标签进行创建、审批、配置、发布、停用、下线、编辑、查询和展示等的标签生命周期管理,并实现用户标签的分类管理。系统根据不同业务运营部门的业务特性,提供定制化、场景化的标签推荐,并对各种场景下所有相关标签及重点用户群进行组合展现。

用户群管理实现对用户群的创建、管理、维护,包括标签选择、客户群创建、客户群生成、客户群运算、客户群修改、客户群删除、客户群查询等功能;实现客户群多维智能分析,基于自选分析属性(多维度、多度量)进行用户群分析,并提供将用户分群结果对外推送功能,即时展现可视化分析结果和查询接口。

用户画像查询提供用户的画像查询功能,实现用户画像标签、群组标签和用户分析和群组分析结果的查询展示界面和对外查询接口。

系统服务接口提供用户群推送服务、标签推送服务、用户权限管理接口、安全管理接口等多种外围系统服务接口。

3.2 产品标签系统

产品标签(产品分析)系统是建立产品标签体系,以产品标签作为推荐模型及算法如个性化推荐、关联推荐、热点推荐等的数据源,支撑内容智能推荐,提升用户体验。产品分析系统主要包括标签管理、知识库管理、标引识别、标引分类和数据服务接口等功能。

产品分析实现产品特征分析和产品相关性分析。其中,产品特征分析是针对产品全量数据,居于词频、使用TF-IDF进行产品属性和介绍等语料的语义挖掘,形成标准标签输出,经过人工二次筛选,最终形成标准标签库;产品相关性分析是利用文本挖掘算法进行分析,通过与标准产品标签库的挖掘匹配,找出体现每个产品代表性的标签,并通过数据库、接口的方式提供给相关系统使用。

3.3 智能推荐系统

智能推荐引擎主要分析用户和产品之间的关联度,基于用户兴趣偏好进行精准推荐,即基于用户的偏好与需求为用户提供个性化及精细化服务。

智能推荐引擎主要包括热点推荐、相似推荐、关联推荐、组合推荐、推荐评估和推荐结果查询。其中,热点推荐是根据用户点击、检索、浏览和交易等方式获取热点内容,分析内容的潜在用户,生成热点推荐结果;相似推荐采用协同过滤推荐原理,基于用户相似度与内容相似度预测用户对内容的潜在偏好,生成个性化推荐结果;关联推荐则采用关联挖掘算法,分析内容之间的相关性,找到可以组合推荐的内容;组合推荐实现对离线计算生成的各类推荐结果与在线计算生成的推荐结果进行组合,按场景生成待推荐列表;推荐评估是根据推荐的内容以及用户的实际点击、观看情况,分析推荐的实际效果,根据内容推荐转化率调整推荐权重,优化推荐效果;推荐结果查询是提供实时查询接口,同时提供登陆推荐、播放后推荐等不同场景下的推荐结果适配。

4 结语

数据融合技术 篇11

上海可鲁系统软件有限公司（以下简称可鲁）就是一家致力于工业物联网核心技术研发的高新技术企业，依托创新的工业物联网融合平台（DIASI），为企业用户提供业界领先的SCADA解决方案、创新的物联网应用信息集成解决方案以及物联网运营服务。其“基于物联网云计算的能源管理服务系统”获得了上海市科委认定的高新技术成果转化项目，并在实际应用中取得了初步成果。

可鲁总裁林苑在接受本刊采访时，畅谈了可鲁在工业物联网一路走来的历程，以及对产业发展的见解。

可鲁缘何定位于工业物联网？

最初林苑与自己的初创团队认为工业互联网是互联网的下一代，更新的一代。但后来逐渐发现，其实很多内容以及在做的事情也就是现在所说的物联网，而里面的实质就是“两化融合”。

林苑：物联网的起源实际上可以看做是一种自动化，运用某种自动控制的程序手段实现所谓的智能。上世纪80年代开设了工业自动化学科，而IT、计算机等信息化学科又是单独各成一家。这样一来，就把物联网拦腰砍断，腰以上称为信息化，腰以下称为自动化。这两者的区别在于，信息化里代表它最大成就的是互联网技术，而在自动化里面原来是没有互联网概念的。就“通信协议”这一概念来说，信息化和自动化两方对其都有各自不同的释义。

看到这一现状，可鲁想做的就是怎么样把这两个层面打通，把身体的上半身和下半身连接起来。就像一个人，脑子再好但是脚不会走，凭借自己永远也到不了自己想去的地方。同样，脚会走脑子不会思考，永远也做不了更多更好的事情。

工业互联网就是要把IT技术应用到工业现场去。以前工业现场的做法非常死板，数据需要采集，就布设很多采集点，因为没有“路由”的概念，甚至都没有形成局域网络，只是在一个通讯中心或是控制中心里，用点表的方式，一对一地进行采集。一旦一个点出了问题，或是需要增减采集点，那么全部的点表都要重新做，这导致效率低，耗时耗材，更新改造也很麻烦，对管理也不方便。因此怎样发现问题，发现问题怎样即时追踪，特别是设法实现广域大范围系统及设备的远程维护，这些都是以前没有的，也就是我们想要首先要解决的问题。

在工业物联网上能做什么？

可鲁在业内较早提出工业物联网理念，针对工业领域物联网共性技术特点，研究开发了基于万能协议转换技术的物联网应用网关平台（DAP）和基于虚拟数据仓库技术的海量异构信息融合平台（UIB）及其关键基础设施软件（工业实时数据库、资产数据库、流媒体数据库和空间数据库等）。

林苑：可鲁的特点和优势之一在于，实现了对通信协议进行自由组态。在工业现场，不同厂家设备的通信协议都是不同的。可鲁通过自行研发的“万能协议转换技术”，将各种不同的工业通讯协议转换统一起来，让工业控制系统融合于工业互联网之中形成了有着实质意义的工业物联网系统的组成部分。

可鲁最早的产品就叫做“嵌入式通讯服务器”，2004年10月，第一批成品服务器最先运用到香港中华电力公司在九龙半岛的90个变电站，实现了变电站无人值守的远程化管理。

2007年“中石油油气管线远程监控与远程维护系统”在陕京线落地使用，全长2000多公里，贯通陕西榆林至北京，该项目构建了示范系统，成功树立了全球第一个工业物联网系统解决方案的商业应用实例，它最大的特点在于首次将工业自动化和信息化结合起来。

2008年公司顺利完成了北京电力公司奥运临时供电通讯系统，实现监控组网，为北京鸟巢、水立方等奥运体育场馆提供服务；2009年，实现几十个厂家设备监控系统的组网，保障了国庆六十周年大阅兵供电项目；2011年沪宁高铁全线车站联入远维网络，取得了良好的经济效益和社会效益。目前正在筹建中的能源管理公共服务平台，已经基本完成先导阶段的技术方案及商业模式策划和试点。

物联网时代有何影响？

林苑对物联网的定义是，怎么样用经济实惠的手段，使人们能够享受到过去要花费数倍财力才能够享受到的高端服务。他认为关键问题就是经济性，就是成本，这也就是物联网发展要寻找的商业模式。

林苑：2007年油气管道远维系统的应用，可鲁把经济性、便利性、可靠性三点结合在一起。2008年又在应用中增加了安全性。于是相当于网络终端警察的新产品“远程维护终端”诞生了。这就使得原来的自动化技术和互联网技术的结合在安全性方面提升到了一个新的等级。

也是在这一年，可鲁的工业物联网概念已经成型，我们想要做的就是让高效更加高效，让便利更加便利，让经济性进一步提高。其核心问题就是怎样实现工业数据的融合。所以我们开始研发数据融合平台。慢慢发现，要做到数据融合，不是软件专家能完成的事，也不是电子信息专家能完成的事，它实际上是要倚靠数学家才有可能完成的事。

所有的数据，都可以建立数学模型，但是怎么样自动建立模型，这就是基于模式驱动的人工智能。一旦成功，自动建模就能突显出很强的经济性，而且如果实现了上下贯通，行业内外互通，今后将会对软件行业的传统生产模式构成威胁和挑战。以后不再需要每做一件事就开发一个软件，一套系统，只要是流程性的事件，都能用模式复用和转化生成来解决。

物联网数据运营商要做什么？

物联网时代，是分工高度专业化的时代，主要市场规模是由运营规模构成的，这与互联网的发展趋势相似。有了基于模式驱动的工业物联网数据融合平台，可以使构建物联网运营系统的成本大大降低。因此可鲁把自己定位成物联网数据平台产品的供应商，其产品也包括了物联网数据运营服务。

林苑：在行业公共应用领域，我们针对国家热点领域，联合电信运营商和云计算服务提供商，充分发挥物联网共性融合平台的技术优势，努力为业内提供领先的物联网数据运营服务。我们建立的物联网数据融合平台，服务对象首先是物联网业务运营商，能源、交通、环保等很多行业都有相应的业务运营商。

我们针对用能单位和企业节能减排服务建设运营的EM+公共服务平台，不仅为政府实施宏观能源管理提供了准确的依据和方便的手段，其独立第三方特点，还能为多家节能服务商实施大型连锁卖场、酒店和大型耗能设施的合同能源管理服务提供准确的计量和高效的运维服务。

技术不能卖钱，能赚钱的只有商业模式和服务。因此，可鲁在人才引进上也转变了方向，从以前的引进技术人才转变为引进技术人才和商业模式创新人才并重。

技术和商业模式相结合，使别人无法追上你。进入物联网时代，应该用核心技术和商业模式结合产业资本来整合物联网产业链，而不再是单纯用钱去整合，也不是靠政府指令去整合。

数据融合技术 篇12

关键词：数据融合,测井解释,复杂储层,聚类分析

目前的测井解释系统, 基本上是人工干预条件下的单数据解释, 即使是组合测井解释, 也只是定性的综合分析, 没有进行有效的信息综合应用。数据融合技术可以利用多源数据的互补性, 综合提炼出有用信息, 提高测井分析家对复杂地层的认识水平, 以期获得最符合地下实际地质情况的结论。本文旨在对数据融合技术在测井解释中的应用做初步研究, 希望起到抛砖引玉的作用。

1、多传感器数据融合原理

(1) 基本原理。多传感器数据融合技术的基本原理就像人脑综合处理信息一样, 充分利用多传感器资源, 通过对多传感器及其观测信息的合理支配和使用, 把多传感器在空间和时间上冗余或互补信息依据某种准则来进行组合, 以获得被测对象的一致性解释或描述。

数据信息融合的主要过程包括:多传感器、数据预处理、数据融合中心和结果输出等环节。

(2) 融合技术的实现方法。利用多传感器所获得的关于对象和环境全面、完整的信息, 主要体现在融合算法上。因此, 多传感器系统数据融合的核心问题是选择合理的融合算法。对于多传感器系统来说, 信息具有多样性和复杂性, 因此对信息融合方法的基本要求是具有鲁棒性和并行处理能力。此外还要方法的运算速度、精度;与前后系统的接口性能;与不同技术和方法的协调能力以及对信息样本的要求等。一般情况下, 基于非线性的数学方法, 如果它具有容错性、自适应性、联想记忆和并行处理能力, 则都可以用来作为融合方法。

2、测井系统构成

合理而完善的测井系列和良好的测井质量是保证测井解释结果准确可靠的前提。测井系统一般应包括岩性测井系列、电阻率测井系列、孔隙度测井系列和一些必要的辅助测井方法 (如井径、井温等) (各测井方法的功能见表1) 。对于复杂地层, 还可以加测新技术资料 (如成像测井、核磁测井等) 。

3、数据融合技术在岩性-沉积相分析中的应用

在某研究区, 优选关键井, 并优选GR、SP、RILD、RILM、DEN、CNL和AC等七条对岩性敏感的测井曲线作为测井相-岩性解释的测井参数, 进行测井相-岩性解释的特征参数计算处理。在进行数据融合分析之前, 需要进行测井资料标准化、归一化等预处理。根据测井曲线的特征, 这里应用主成分分析、聚类分析、Bayes判别准则的方法进行数据融合。

其一般步骤是:

(1) 首先, 应用纵向分辨率高的测井曲线对地层分层。

(2) 其次, 根据对取心井的自动分层结果, 选取厚度较大、井眼较好、测井质量高并包括各类岩性的地层作标准样本层, 采用主成分分析与聚类分析相结合的方法来划分标准样本层的测井相。

(3) 然后, 为了有效地划分地层的测井相与鉴别地层的岩性, 应尽可能多的采用各种测井参数, 但各测井参数之间往往具有相关性, 所反映的岩性信息往往有一定的重复, 给随后的聚类分析带来很大困难。因此, 我们先采用主成分分析法, 从n个样本层的具有复杂相关关系的m个测井参数中, 提取最能反映岩性特征的少数几个 (p个) 非相关的主成分 (p

(4) 其后, 用Bayes判别准则建立测井相的判别模型。

(5) 最后, 是对非关键井进行大量的测井相分析处理, 具体方法如下:先对欲处理的井进行地层分层, 然后应用上面已建立的Bayes判别准则进行逐层的测井相判别和分析, 得到每口井的测井相分析剖面。

4、结束语

面对一些复杂储层, 由于我们的经验积累有限, 为了提高认识水平, 通过数据融合技术, 最大限度地挖掘测井资料的有用信息, 可以为我们提高解释精度提供定性或者定量的帮助。

参考文献

[1]王曰才.近年来我国测井解释工作的发展[J].国外测井技术, 2000, 15 (3) .

[2]Nikravesh M.Soft Computing-based Computational Intelligent for Reservoir Characterization[J].Expert Systems with Applications, 2004, 26 (1) :19-38.

[3]郭曦榕, 黄地龙.一种基于神经网络的沉积相识别方法[J].石油工业计算机应用, 2006, 14 (1) :8-14.