数据变换

数据变换（通用8篇）

数据变换 篇1

0 引言

GIS由于其图形直观展示、空间查询计算、集成各专业数据等技术特点, 在海洋石油领域得到了广泛应用。遥感影像数据作为GIS数据的一种重要组织和存储方法, 由于其获取的方便、经济、大范围等特点, 并且能够为决策提供更强的时效性信息, 从而成为GIS平台很重要的数据来源[1]。

遥感影像数据组织为栅格像素矩阵形式, 为了很好地与二维矢量数据一样在GIS平台的不同投影下显示, 栅格数据的投影问题是无法回避的技术难题。如何精确、高效地进行栅格数据投影是本文研究的重点。本文提出了一种栅格地图投影变换优化方法, 运用了金字塔技术、中间图像技术、多线程技术及分块仿射技术, 综合提高了栅格数据投影显示的效率, 并使用最近内插技术进行了栅格数据的重采样, 提供了具体思路和实现流程。利用本文提出的方法可以优化栅格影像地图投影变换。

1 栅格投影特点及技术研究

1.1 栅格投影变换难点

栅格数据是按网格单元的行与列排列, 是具有不同灰度或颜色的矩阵数据。栅格投影变换是从一种矩阵排列到另一种矩阵排列变形的过程。栅格地图投影变换使用到的优化技术方法是本文研究的核心内容。目前基本方法为解析变换法[2]。即找出两投影间的解析关系式, 即{xi, yi}→{Xi, Yi}。常用的数值解析变换法存在以下3个问题:

(1) 海量遥感数据的广泛应用, 使得计算机显示效率低。

随着遥感影像数据的分辨率逐步提高, 高分辨率数据量呈几何级增长。利用金字塔技术能实现遥感影像的快速搜索与显示, 具有局部图像快速更新、图像无缝连接等优点, 但在显示效率上还有优化空间。

(2) 遥感影像数据量大、投影效率低, 投影算法复杂。

按逐个像素进行投影的效率极为低下, 特别是在图像漫游显示过程中, 不断读取硬盘中的数据在所难免, 因此需要解决的是如何尽量减少这种硬盘操作时的读取数据量及读取次数。

(3) 准确率低。

图像的重采样是研究栅格投影变换后图像修补的主要算法, 在新的图像长宽下, 对变换后的结果进行评估和分析, 确定变换结果。

1.2 研究思路及关键技术

1.2.1 研究思路与方法

如何解决海量数据的显示问题, 如何高效地进行遥感影像数据的投影, 基本思路如图1所示。

(1) 对于栅格地图投影变换, 处理的对象是原始影像通过金字塔分级切片以后的瓦片图像, 所以栅格投影变换可以看作是瓦片从一个平面到另一个平面的变换[3]。通过当前屏幕大小找到屏幕范围下的瓦片文件作为中间图像, 按当前投影存入文件缓存中。

(2) 针对每一个瓦片进行投影变换, 为提高效率采用多线程和分块映射的方法[4]。并重新计算仿射后瓦片新的长度和宽度, 采用像素映射按位置对应关系进行投影。

(3) 最后按插值算法重采样进行空白修补, 分边缘修补及整体修补两种方法。

1.2.2 中间图像技术

成熟的瓦片地图金字塔模型是一种多分辨率层次模型, 一般思路是从瓦片金字塔的底层到顶层, 按分辨率由高到低的次序, 以文件瓦块的方式分层存储。快速找出具体瓦片的位置即层名及文件名, 作为中间图像放入文件缓存中, 再进入下一步的投影变换[5]。

在中间图像中, 不只是简单地将原始遥感图像进行分块后存储, 而是在建立中间图像过程中, 属性数据与图像数据分别存放在两个文件, 文件命名规则以投影代号—层号—纬度代号—经度代号的规则编码组成。建立了分级中间图像后, 就可以实现所有格式图像的统一显示和处理, 从而大大降低了图像处理系统的开发工作量和程序代码量, 也使得开发人员可以集中精力开发针对中间图像的处理。

1.2.3 分块仿射技术

每一个瓦片图片投影变换, 通常是对瓦片每一个像素进行像素级的一个个投影算法的变换, 由于投影算法本身比较复杂, 效率相当低。这里采用分块仿射技术, 先按等大小分块, 计算每块的大地坐标, 再针对每一小块像素点投影后坐标进行插值计算大地坐标。在具体设置影像数据块大小时, 为了配合金字塔技术, 通常数据块的宽、高取为2的整数幂, 本文的影像数据块划分大小为m_oldRow /_DEG@m_oldRow /_DEG。这种分块仿射技术使得投影的效率大幅提高, 提高了_DEG倍。

1.2.4 最临近内插技术

由于考虑到图像效率问题, 这里采用了简单的像素映射填充法。映射算法是逐像素、逐行地产生输出图像。即设 (u, v) 为源图像上的点, (x, y) 为目标图像上的点, 则空间变换就是将源图像上 (u, v) 处的颜色值与目标图像上 (x, y) 处的颜色对应起来[6,7]。

除了采用多线程进行每块的仿射变换, 还需确定新的图片长宽大小, 以便建立像素RGB映射关系。本文的算法是先求中线的倾角, 以确定位图扭曲的角度进而确定新位图的宽高 (尽可能保持像素为1∶1的分辨率) , 图2为投影后图像长宽的计算方法。

double xc1 = (pNewX[0][0] + pNewX[0][m_NewCol-1]) /2;

double yc1 = (pNewY[0][0] + pNewY[0][m_NewCol-1]) /2;

double xc2 = (pNewX[m_NewRow-1][0] + pNewX[m_NewRow-1][m_NewCol-1]) /2;

double yc2 = (pNewY[m_NewRow-1][0] + pNewY[m_NewRow-1][m_NewCol-1]) /2;

double a = ( (int) abs ( atan2 (yc2-yc1, xc2-xc1) *AngleToRad) % 90)

int NW = ceil (nWidth * (sin (a ) + cos (a) ) ) ;

int NH = NW; //长宽等大小

图像投影后处理包括图像空洞填补等问题, 每个像素的灰度级由邻近像素的插值所唯一确定, 最简单的插值算法是最邻近插值, 也称为零阶插值, 输出的像素灰度值等于距离它映射到的位置最近的输入像素的灰度值。最邻近插值算法简单效率高, 在许多情况下都能得到令人满意的结果。

2 实现与应用

公共GIS平台主界面是GIS底图, 左边是空间对象的类别列表, 显示遥感影像如图3所示。该公共GIS平台在海洋石油多个专业系统有着广泛应用。

3 结语

本文针对海洋石油领域的需求实际, 对优化的遥感影像投影技术引入海洋石油领域的方法及实践进行了研究, 是GIS数据高效显示从矢量到栅格方式的飞跃。其重要意义在于通过采用中间图像技术、栅格分块仿射技术、临近内插技术, 使得在充分利用计算机软硬件资源的基础上很好地解决了海量遥感图像投影中的关键性问题, 并且系统在实际工作中有很好的应用效果。

摘要：针对GIS遥感影像数据投影变换特点, 对影像数据变换的金字塔中间图像、分块仿射变换、最临近内插等技术与方法进行了研究。着重阐述了遥感影像数据投影中的难点, 提出了影像投影优化的研究思路及关键技术, 解决了投影中遇到的主要问题。最后通过项目实践验证了影像投影变换技术在中海油GIS平台中的应用效果及意义。

关键词：GIS,遥感影像,投影变换,海洋石油

参考文献

[1]张云飞, 张钦, 杨建钦, 等.基于空间对象的公共GIS模型及其在海洋石油信息化中的应用[J].中国海上油气, 2009 (3) .

[2]许勇, 万国龙.海量图像数据快速显示技术[J].计算机工程与设计, 2003 (6) .航天大学北方科技学院学生, 研究方向为计算机科学与技术;李佳佳 (1991-) , 女, 沈阳航空航天大学北方科技学院学生, 研究方向为计算机科学与技术。

[3]吴信才, 郭玲玲, 李军.RDBMS和COM量的海遥感影像数据的管理和Web发布[J].中国图像图形学报, 2002 (4) .

[4]张怀莉, 王卫安.几种Web GIS技术解决方案综述[J].东北测绘, 2003 (12) .

[5]陈述彭, 鲁学军, 周成虎.地理信息系统导论[M].北京:科学出版社, 2000.

[6]章孝灿.海量遥感图象快速显示技术[J].中国图像图形学报, 2002 (10) .

[7]ZHANG L I.Geographic information system in the Internet age[J].A cta Geodaetica et Cartograph ica Sinica, 2002 (1) .

[8]赵永平, 承继成.地理信息数据描述中元数据标准化的研究[J].中国标准化, 2003 (3) .

数据变换 篇2

基于小波包变换的海洋数据降噪方法研究

本文介绍了小波变换和小波包变换的基本原理,小波包变换是小波变换的推广,并优于小波变换.软闲值和硬阈值方法是基本的阁值处理方法,在此基础上衍生出了多种处理方法.对假设的.海洋数据进行了降噪处理,效果较好.表明小波包变换用于海洋数据降噪有一定得实际意义.

作 者：曹海锦 作者单位：河海大学理学院刊 名：内江科技英文刊名：NEIJIANG KEJI年，卷(期)：30(9)分类号：P7关键词：小波变换 小波包变换 降噪处理 海洋数据处理 阈值

数据变换对主成分提取的影响 篇3

运用主成分分析法分析问题的关键是求解主成分,其理论方法就是协方差矩阵。但协方差矩阵易受指标量纲和数量级的影响。一般的消除量纲的数据变换是用标准化的方法,但有时经过标准化后的数据对相应实例效果并不理想。这是因为对原始数据进行标准化处理,协方差矩阵变成相关系数矩阵,标准化处理虽然消除了量纲与数量级的影响,但同时也消除了各指标变异程度上的差异[1]。

原始数据中含有两方面的信息:(1)各指标变异程度的差异信息,此信息是由各指标的方差大小反映出的;(2)各指标间相互影响程度上的差异,体现在相关系数矩阵上。从标准化的数据出发提取的主成分,实际上只包含了各指标间相互影响这一部分信息;由于各指标的方差此时都是1,故消除了各指标变异程度上的差异。因此,采用标准化方法不能准确反映包含在原始数据中的全部信息,我们有必要探究其他的数据变换方法对主成分提取的影响。本文主要探究极差正规化和非线性变换方法对主成分提取的影响。

1极差正规化对主成分提取的影响

针对主成分分析法,标准化处理并非唯一的无量纲化方法。在许多文献中,所提及的使用主成分分析必须进行标准化处理的观点是片面的。为了改进原始数据的无量纲化,均值化方法、极差标准化、极差正规化方法等都是较好的选择。均值化方法可参考文献[2]。

所谓极差正规化方法,就是用各样品值与此样品中的最小值之差,再除以该样品的极差,用所得结果作为新的样本数据。

设有n个被评价的对象(样品),p个指标,原始数据为(xij)n×p,各指标均值为$\overline{x}{}_j={\displaystyle \sum _{i=1}^n}x{}_{ij}/n$,设

$x{}_{ij}^{*}=\frac{x{}_{ij}-\underset{1\le i\le n}{{\displaystyle \min }}(x{}_{ij})}{\underset{1\le i\le n}{{\displaystyle \max }}(x{}_{ij})-\underset{1\le i\le n}{{\displaystyle \min }}(x{}_{ij})}(i=1,2,\cdots ,n$;j=1,2,…,p) (1)

式(1)中,x*ij表示原始数据采用极差正规化方法无量纲化后得到的新数据列,令$R=\underset{1\le i\le n}{{\displaystyle \max }}(x{}_{ij})-\underset{1\le i\le n}{{\displaystyle \min }}(x{}_{ij})$表示各样本的极差。并设新的数据$\widehat{x}$ij的均值为$\overline{x}{}_j^{*}={\displaystyle \sum _{i=1}^n}x{}_{ij}^{*}/n$。

极差正规化后,数据的协方差矩阵Σ=(βij)p×p的元素,如式(2)所示:

$\beta {}_{ij}={\displaystyle \sum _{l=1}^n}(x{}_{li}^{*}-\overline{x}{}_i^{*})(x{}_{lj}^{*}-\overline{x}{}_j^{*})/(n-1)(2)$

式(2)中,βij表示极差正规化后新数据列x*ij的协方差。

由式(2)极差正规化后,可以得出,如式(3)所示:

$\begin{array}{l}\beta {}_{ij}={\displaystyle \sum _{l=1}^n(}x{}_{li}^{*}-\overline{x}{}_i^{*})(x{}_{lj}^{*}-\overline{x}{}_j^{*})/(n-1)=\\ {\displaystyle \sum _{l=1}^n\frac{(x{}_{li}^{}-\overline{x}{}_i^{})(x{}_{lj}^{}-\overline{x}{}_j^{})/(n-1)}{R{}_{i}R{}_j}}=\frac{\nu {}_{ij}}{R{}_{i}R{}_j}(3)\end{array}$

式(3)中,$\nu {}_{ij}={\displaystyle \sum _{l=1}^n}(x{}_{li}-\overline{x}{}_i)(x{}_{lj}-\overline{x}{}_j)/(n-1)$表示原始数据xij的协方差。

特别地,当i=j时,可以得出式(4)和式(5)。

$\beta {}_{ij}=\frac{\nu {}_{ii}}{R{}_{i}R{}_i}=\left(\frac{\sqrt{\nu {}_{ii}}}{R{}_i}\right){}^2$ (4)

$\nu {}_{ii}={\displaystyle \sum _{l=1}^n}(x{}_{li}-\overline{x}{}_i){}^2/n$ (5)

因此,运用极差正规化方法,所得数据协方差矩阵的对角元素,是各指标的变异系数νii/Ri的二次方,反映了各指标变异程度的差异。

在极差正规化之前,反映各指标间相互影响程度的相关系数r′ij 的计算公式,如式(6)所示。

$r^{\prime }{}_{ij}=\frac{\nu {}_{ij}}{\sqrt{\nu {}_{ii}}\sqrt{\nu {}_{jj}}}$ (6)

在极差正规化之后,相关系数rij的计算公式发生了变化,如式(7)所示。

$r{}_{ij}=\frac{\beta {}_{ij}}{\sqrt{\beta {}_{ii}}\sqrt{\beta {}_{jj}}}$ (7)

将式(3)代入式(7)可以得出如式(8)所示。

$r{}_{ij}=\frac{\nu {}_{ij}}{R{}_{i}R{}_j}/\frac{\sqrt{\nu {}_{ii}}}{R{}_i}\frac{\sqrt{\nu {}_{jj}}}{R{}_j}=\frac{\nu {}_{ij}}{\sqrt{\nu {}_{ii}}\sqrt{\nu {}_{jj}}}=r^{\prime }{}_{ij}(8)$

通过以上的公式变换,可以说明极差正规化处理是不会改变各指标间的相关系数的,相关系数矩阵的全部信息,都可以如实地反映于对应的协方差矩阵。经过极差正规化处理的协方差矩阵,不仅去除了指标量纲与数量级之间的影响,而且包含着原始数据的全部信息。因此,应用主成分分析法做综合评价之前,可以首先运用极差正规化方法进行无量纲化处理。

2非线性变换对主成分提取的影响

一般说来,传统主成分分析方法存在两个方面的不足:(1) 如果指标间的相关性较小,那么每一个主成分承载的信息量就会随之变小,为了符合累计方差贡献率达到一定水平(一般为85%以上)的要求,就需要选择更多的主成分,这就造成了主成分分析降维作用的失效;(2) 作为一种“线性”降维技术,主成分分析只能处理线性问题:一方面,主成分是原始指标的线性组合,另一方面,标准化处理原始数据,会使协方差矩阵变成相关系数矩阵,相关系数矩阵只能反映指标间的“线性”相关程度。

然而,在许多实际问题的研究中,指标间不仅会存在线性关系,有时主成分与原始数据之间也同样会呈现出非线性关系。如果只是简单地进行线性处理,可能会对所研究的问题产生偏差。为了能够提高降维效果,一般需要对原始数据进行函数处理:首先,作出原始数据列xij的散点图。如果该散点图显现出某种曲线特征,如对数曲线特征,则可令γij=lnxij(其中,ln表示自然对数),再对γij进行主成分分析,经过处理的结果显然比“线性”分析所得结果更有说服力。那么,对传统主成分的“线性”分析进行改进,就显得至关重要。

关于非线性主成分分析法在相关文献[2,3]等都有提及。本文主要介绍“对数中心化”对主成分提取的影响。

“对数中心化”的非线性主成分分析方法的基本步骤,如下:

首先,设有p个指标的原始数据为(xij)n×p,

Step1:对原始数据作中心对数化变换如式(9)所示。

$\gamma {}_{ij}=\ln x{}_{ij}-{\displaystyle \sum _{j=1}^p}\ln x{}_{ij}/p$ (9)

式(10)中,i=1,2,…,n;j=1,2,…,p,γij表示原始数据进行对数中心化后所得到的新数据列。

Step2:计算对数中心化后的样本协方差矩阵Ω=(vij)p×p,如式(10)所示。

$v{}_{ij}={\displaystyle \sum _{l=1}^n}(\gamma {}_{li}-\overline{\gamma }{}_i)(\gamma {}_{lj}-\overline{\gamma }{}_j)/(n-1)$ (10)

式(10)中,vij表示对数中心化后所得到的新数据列γij的协方差。$\overline{\gamma }$i如式(11)所示。

$\overline{\gamma }{}_i={\displaystyle \sum _{l=1}^n}\gamma {}_{li}/n$ (11)

Step3:从Ω出发求主成分,设λ1≥λ2≥…≥λp是Ω的p个特征根,ξ1,ξ2,…,ξp是对应的正规化特征向量,则第i个非线性主成分,如式(12)所示。

$Y{}_i={\displaystyle \sum _{j=1}^p}\xi {}_{ij}\ln x{}_{ij}$ (12)

接下来的分析处理方式与传统的主成分分析一样。

通过以上的分析可以得出,“对数中心化”方法与传统方法相比,有两个显著的优点:(1)原始数据的对数中心化变换,可以将主成分表示为原始数据的非线性组合;(2)“对数中心化” 以样本的协方差矩阵作为出发点进行分析,不再是相关系数矩阵,从而丰富了所要反映的原始信息[4]。由于这两个优点,该种方法可以提高主成分分析降维的效果,即使用更少的主成分,反映更多的原始数据的信息。

3实例分析

为了研究2008年山东省各个城市经济发展差异性的主要原因,本文选取了以下九个反映山东省各城市经济发展因素的指标变量:地区生产总值(亿元)x1、人均地区生产总值(元)x2、第一产业总产值(亿元)x3、第二产业总产值(亿元)x4、第三产业总产值(亿元)x5、财政收入(万元)x6、批发和零售总额(元)x7、在岗职工平均工资(元)x8、人均纯收入(元)x9。数据来源参考文献[5],具体见表1。

我们以山东省17个城市的相应的经济指标为研究对象,先将原始数据分别用标准化方法、极差正规化方法和非线性方法处理,再进行主成分分析。用这三种方法得出的特征根、贡献率和累计贡献率的计算结果,见表2。

注:表中,λ表示特征根;ar表示贡献率;a(r)表示累计贡献率。

由表1的计算结果可以得出以下结论:

第一,若用标准化方法处理,要使累计贡献率达到80%以上,需要选取4个主成分。总共有9个变量,根据标准化的主成分分析法,要选取以上4个主成分,则降维效果差。

第二,若用极差正规化的主成分分析方法可得,前两个主成分包含的原始信息已近85%。其中第一主成分包含的信息58。01%比传统的方法第一主成分承载的信息44。65%高10%以上,由此可见,对原始数据进行极差正规化有一定的优越性,可用较少的主成分提取更多的原始信息,降维效果显著提高。

第三,在此实例中,样品指标间的线性关系比较明显,但非线性化(对数中心化)处理的结果仍然比传统方法要好,需要提取3个主成分,对此数据进行非线性变换后,降维效果也有所提高。

4结束语

本文首先讨论了标准化后的数据对原始数据信息的反映可能会产生丢失,引入了其他的数据变换方法,主要介绍了极差正规化方法和非线性的对数中心化方法。并通过实例验证得出:在主成分分析过程中,数据的处理变换对主成分提取有显著的影响,极差正规化的主成分分析方法和非线性对数中心化的主成分分析法都可以选取比标准化的主成分分析法较少的主成分,来反映样本数据所含的大部分信息。

摘要：首先介绍数据变换中极差正规化和非线性变换方法对主成分提取的影响。然后结合山东省2008年的具体经济实例,分别对用标准化、极差正规化和非线性变换方法所得的数据做主成分提取。最后通过比较可得后两种数据变换改进主成分分析的特征提取,比传统的标准化数据变换方法具有优越性。

关键词：主成分分析,极差正规化,对数中心化

参考文献

[1]王学民.应用多元分析(第三版).上海:上海财经大学出版社,2009

[2]叶双峰.关于主成分分析做综合评价的改进.数理统计与管理,2001;20(2):52—61

[3]陈述云,张崇甫.对多指标综合评价的主成分分析方法的改进.统计与研究,1995;(1):35—39

[4]王惠文.偏最小二乘回归方法及其应用.北京:国防工业出版社,1999

数据变换 篇4

1 Hough变换原理

Hough变换的基本思想是将图像空间变换到Hough (参数) 空间, 用图像中大多数点描述Hough空间中的某种参数形式来描述图像空间中的线, 通过设置累加器进行记忆, 求的峰值对应点的信息。Hough的最大优点是将图像空间中的较难的全局最优问题转化为Hough空间中相对较简单的峰值问题。

1962年, Paul Hough提出利用数学对偶原理提出了检测图像空间直线的新方法, 该方法经过众多学者的研究发展取得的比较好的应用效果, 目前Hough主要应用于二值图像空间中的直线检测。

直角空间中的一条直线对应Hough空间中的一个点 (m0, b0) , 见图2, 如图3所示, 平面直角坐标系当中直线L0的表达式为:

式 (1) 当中k为直线斜率, b为直线的截距, 直角坐标系中直线L0上不同的点变换到Hough空间中为不同直线的交点。即Hough空间中两条线的交点 (k0, b0) 用来表示过点 (x1, y1) 和点 (x2, y2) 的直线。可见, 如果能够找到Hough空间中的点P就能确定图像空间中的一条直线。这样图像空间中检测直线问题就转化为Hough空间中点的检测问题。

这样的话存在一个问题是Hough空间中表示不出垂直线, 因为垂直线的斜率为无穷大。不过我们可以采用将直角坐标与极坐标的变换关系找到直线方程的参数方程, 对于图像空间中的直线, 其极坐标方程为:

如图4所示, r为原点到直线的距离, θ为r与横轴的夹角。R与θ共同决定的直线在平面中的位置。这样这样经过Hough变换, 图像空间中的每个点 (x, y) 就被映射为一个 (r, θ) 空间中的正弦曲线, 而图像空间中共线的点所对应的 (r, θ) 空间中正弦曲线相交于一点。把在图像空间中检测直线的问题转化为在极坐标参数空间中找通过点 (r, θ) 的最多正弦曲线数的问题。

2 Hough变换的实现步骤

由于摄像头采集到都是二维离散数据, 因此我们可以利用Hough变换的性质, 按下列步骤实现:

1) 根据实际情况将r、θ进行离散化;

2) 根据r、θ的离散情况将参数空间分为a×b个单元, 其中a为r的离散份数, b为θ的离散份数, 并给每个r、θ设置累加器ADD (i, j) ;

3) 将累加器ADD (I, j) 初始值置零;

4) 将图像空间中的离散值 (x, y) 带入式 (2) 中, 并根据离散的值计算出r;

5) 利用累加器记录相应的θ值对应的r出现的次数;

6) 当所有的离散点都经过以上步骤时, 根据累加器找到出现最多次数r对应的θ及r;

通过以上步骤, 我们实现了图像空间到Hough空间的变换。

3 Hough变换在摄像头智能小车上的实现

我们以MC9XS128为主控器通过OV7620摄像头采集数据, 并利用边缘检测算法实现黑线的提取得到图像空间的二位离散数据, 然后通过Hough变换实现直线的检测并得到直线的 (r、θ) , 从而获得智能车的控制参量对智能车实现更加准确的控制。我们通过串口通信利用Labvie w做上位机得到经过MC9XS128处理后的图像。下图5为经过Hough变换检测得到的直线图像。可见通过霍夫变换我们可以很容易得到跑道赛道线的斜率以及截距, 这为我们对智能车的控制带来的极大的方便。

霍夫变换检测直线

4 结语

对于赛道出现的弯道情况, Hough检测出的为曲线的切线, 仍然能够很好的反应出赛道的变化情况。我们将Hough变换应用到摄像头智能车的控制当中, 比较方便的得到了赛道的变化情况以及智能车的控制参数, 通过实践我们发现这种应用极大的提高了智能小车的运行效率与控制精度。

参考文献

[1]唐佳林, 王镇波, 张鑫鑫.基于霍夫变换的直线检测技术[M].科技信息.

[2]曾接贤, 王斌斌, 陈志良.基于距离约束的随机Hough变换直线检测算法.南昌航空大学学报[M].2011.

数据变换 篇5

首先选用无损的有损的小波变换算法分别对纹理数据进行压缩。并分析了评价纹理数据压缩算法的指标。

在实现对纹理数据的有损压缩时, 介绍了小波变换的编码原理和过程, 现了小波变换算法对纹理数据的压缩, 并通过实验测试了小波变换的压缩性能。

1纹理数据压缩算法选择

1.1纹理数据压缩评价指标

纹理数据压缩算法的评价, 除了以上无损压缩的评价指标之外, 还应包括对图像质量的评价, 即对图像失真的测评。最常用的图像质量测度函数有均方误差 (Mean Squared Error, MSE) 、信噪比 (Signal Noise Ratio, SNR) 和峰值信噪比 (Peak Signal Noise Ratio, PSNR) 。

均方差 (MSE) 是衡量误差均方的指标。数学定义如下:

信噪比 (SNR) 是衡量信号误差的指标。数学定义如下:

峰值信噪比 (PSNR) 是衡量峰值误差的指标。数学定义如下:

其中P和Q分别为表示图像的高度和宽度 (即在垂直方向和水平方向上的像素数目) , 为图像灰度的总阶数, 和分别表示在坐标处的原始图像像素值和重构图像像素值, 其中0≤i<P, 0≤j<Q。

一般来说, 较低的MSR值表示误差较小, 而MSR值越大表示误差越大;PSNR值越高代表信息噪声比越高, 也就是越好, PSNR值越低表示噪声比例高, 也就是误差越大。

2基于小波变换的纹理数据压缩

2.1算法步骤

在本文中基于小波变换的图像算法具体分为三个步骤来进行:

(1) 对原始的数据进行小波变换。

(2) 变换系数的量化。标量量化是本文所使用的量化方法, 具体为:对每一个像素进行量化处理:在最开始将小波系数的分布情况进行给出, 然后通过分析小波系数的分布情况, 合理选择出最合适的阀值, 当小波系数小于阀值时, 将小波系数进行复0。用公式表示如下:

(3) 对量化后的系数进行编码。

Huffman无损压缩是本文采用的编码方法。由于纹理数据的图像都为真彩色, 所以我们通过如下步骤计算出每一灰度级的出现频率:

(1) 将每一个通道 (红、绿、蓝) 各灰度级的出现的频率计算出来。

(2) 将具有相同灰度级的像素的频率加起来, 即认为是某一灰度级的出现频率。

需要注意的是, 出现频率之和为一, 所以总的像素个数应该认为是图像的高乘以宽, 再乘以3, 因为有3个通道。

2.2分析

2.2.1实验及数据获取

实验的目的是通过不同的纹理数据量和不同的小波分解层次探讨小波变换算法性能。

实验数据是四种分辨率的纹理数据:256*256, 512*512, 1024*1024, 2048*2048。

通过对四组图像分别进行压缩测试, 列出编码后各个灰度级的比特流表示, 并给出了图像的熵, 编码后的平均编码长度, 编码效率和压缩比, 以这些指标来评定小波变换算法的压缩性能。

本次实验的第一次压缩采用一层小波分解、第二次压缩采用三层小波分解。

2.2.2第一次小波压缩

其中512*512分辨率的图像压缩测试效果如1图。

选用Symlets8小波函数作小波基, 进行小波变换。图2第一次压缩重构后的图像

下面给出四组图像的压缩测试结果, 见下表1。

从表1中可以看出, 对于不同数据量的纹理数据, 小波变换算法都有较为稳定的压缩比例, 其量化后编码的效率也相当高, 均在99%以上, 接近熵编码压缩的理论极限。

同时, 对比原图像和压缩后重构的图像, 主观目测很难发现图像质量的损失, 图像的保真度很高。

综合上述分析, 小波变换算法的压缩性能是相当可靠地。

2.2.3第二次小波压缩

第二次压缩采用三层小波分解。其中512*512分辨率的图像压缩测试效果如图2:

相应的四组图像的压缩测试结果, 见表2。

对比表1和表2, 可以看出, 第二次压缩在小波变换时, 将图像进行3层分解后, 图像的压缩比率进一步增大, 且对不同数据量的纹理数据压缩比率稳定。

但对比第一次压缩重构的图像和第二次压缩重构的图像, 发现后者在质量上有所下降, 会出现轻微的“方块”效应。出现这种情况是由于小波变换具有特性:多分辨率分解。

数据变换 篇6

铁路是我国交通运输系统的重要组成部分,根据国家公布的数据,我国铁路长度在2014 年初就超过了12 万公里,高速铁路更是突破1. 2 万公里,位居世界首位[1,2]。而钢轨超声检测为铁路的安全运行提供了有力的保障,在钢轨的超声在线检测过程中,由于被检测的轨道很长,而且超声信号检测的频率很高,原始数据量非常之大。为了节省昂贵的高速存储设备成本,有必要开发一个实时压缩系统。小波变换近年来被广泛用于超声数据信号的处理,也包括数据压缩[3,4]。

1 轨道超声的压缩原理

如图1 所示,轨道超声检测数据的压缩可以分为下面几个步骤: 小波变换、量化以及编码。检测信号输入之前已经经过预处理,包括模数转换,去噪等,首先对输入信号进行小波变换,然后用合适的阈值进行量化,最后通过编码的方式降低数据的冗余度,达到压缩的目的。

2 压缩效果的评价

压缩效果可以用下面几个指标来评价。首先是压缩比,计算公式为:

式中,S为压缩前数据的大小,Srec为压缩后的数据的大小。

压缩失真情况可以用相对均方根误差来描述,公式如下所示:

式中,X( n) 是压缩前的原始数据,X’( n) 是压缩后再重构的数据。

还可以用相关系数来描述压缩再重构后的失真情况,相关系数越接近1,表示失真越小,重构数据越接近原始数据。公式如下所示:

式中,X( n) 是压缩前的原始数据,X'( n) 是压缩后再重构的数据。

在比研究缩算法时,本文的目标是追求更大的压缩比的同时,数据尽可能少的失真。还要考虑现实实现算法所需要的硬件资源以及算法实现难易程度等。

3 超声信号的小波变换

3. 1 提升小波变换

现实应用中,传统小波变换存在一系列的问题,有很多局限性。传统小波变换是通过卷积实现的,计算缓慢,满足不了实时需求,而且占用储存资源多,增加硬件成本。而且传统小波变换是浮点运算,不利于重构。

提升小波既保持了传统小波的特性,又解决了普通小波实际应用时的局限性。提升小波变换的特点是正变换与逆变换的大部分结构完全相同,所以提升小波变换具有更快的计算速度,而且正反变换之间能够直接通过取反变换来实现,硬件实现时无需进行浮点运算,降低计算复杂度,具有快速算法[5,6]。

3. 2 小波基比较

从小波变换的原理可知,尺度系数是输入数据的外形包络,在进行小波压缩时,我们希望失真尽可能小的话,也就是希望更多的能量集中在尺度系数之中,因为在小波压缩中,尺度系数是进行保留的,我们只对细节分量进行阈值处理。在比较各种小波基对小波压缩的效果时,引入尺度系数与输入数据的能量比值作为参考指标,公式如下所示:

式中,Ecd为分解之后尺度系数所包含的能量,Ez为输入数据能量总和。他们的比值E描述的是小波分解之后尺度系数保留能量的程度。

对输入数据用不同的小波基进行小波分解,用上述公式分别计算各个小波基在不同层数的能量比值。表1 是计算结果,从表1 可以看出,cdf5 小波族总是能够得到比较好的能量保留,而且随着分解层数的增大,cdf5 小波族把更多的能量留在了尺度系数,因此,cdf5 更适合作为钢轨超声检测信号压缩的小波基。

3. 3 阈值方式

小波压缩是通过将低于一定幅值的细节分量信号置零来实现数据的压缩,阈值的选取一定程度上决定了压缩的效果以及丢失的细节。大部分数据的小波压缩采用全局阈值,但是超声检测信号有自身的特点,采用分层阈值策略可以达到更好的压缩效果,仿真结果如表2 所示。用两种阈值方法处理得出的压缩比比较相近,并无显著差异,但是用全球阈值策略的失真情况明显比分层阈值的略要大得多,基本都在两倍以上。因此在对超声信号进行压缩时,用分层阈值策略比较合适。

3. 4 分解层数比较

选定cdf5 小波基和分层阈值策略,对钢轨超声检测信号进行小波压缩,分别计算各项评价指标参数,得到表3 的结果,从表3 分析可知,随着分解层数的增加,压缩比也会增加,但是均方根误差也会上升,这种情况下不好评价压缩效果与分解层数的关系。

所以把小波分解的相关系数固定,通过调整阈值将不同分解层数的重构信号相关系数固定为0. 9886,再次计算不同层数分解后得到的压缩比,得到表4 的结果。

从表4 分析可知,前6 层压缩比随着分解层数迅速提升,在允许更多失真的情况下,1、2 层的压缩比接近理论极限。当分解层数大于6 时,压缩比随着压缩层数的变化趋向缓慢,甚至出现压缩比下降的现象,也就是为了维持这种失真水平,很难再继续舍弃细节分量。所以分解层数为6 时,就能达到比较好的压缩效果,继续增大压缩层数性价比并不高。另外可以看出在相关系数一定的情况下,均方根误差基本也不会发生变化。

分解层数为6,再分别计算各个评价指标参数,得到表5 结果,对比表5 和表3,我们可以看出6 层分解的各项评价指标参数确实要优于其他分解结果,在压缩比相近时拥有更低的失真,在相关系数相近时,有更优秀的压缩比。进一步证明了6 层分解更合适超声数据的压缩。

4 MATLAB仿真

综上所述,以cdf5 为小波基,分解层数为6,阈值策略为分层与之策略时,会有比较好的钢轨超声检测数据压缩结果。图2 为实验采集的超声钢轨探伤数据小波分解的结果。从图2 可以看出,很多细节分量被舍弃了。

图3 是输入信号和在小波基为cdf5,分解层数为6,阈值策略为分层阈值策略,对输入信号进行小波压缩后的重构信号。此时对应的相对均方根误差为1. 19% ,相关系数为0. 9621,压缩比为17. 95。

5 结束语

针对超声检测数据的特性,通过仿真比较,给出了科学的选取小波压缩参数的方法。并进行了仿真实验,仿真结果基本符合设计的要求。

参考文献

[1]盛光祖.全面深化铁路改革努力开创铁路工作新局面[N].人民铁道,2014-01-11(A01).

[2]马晓飞,于同申.中国铁路行业产出变化的驱动因素——基于2005—2012年面板数据的实证研究[J].技术经济,2014,33(9):85-90.

[3]黄晶,阙沛文.小波分析在管道缺陷超声检测中的应用[J].传感技术学报,2003,16(3):263-266.

[4]Huang S,Tong Y,Zhao W,et al.An adaptive compression algorithm for pipeline EMAT inspection data[J].International Journal of Applied Electromagnetics and Mechanics,2010,33(3):1095-1100.

[5]Cardoso G,Saniie J.Data compression and noise suppression of ultrasonic NDE signals using wavelets[C]∥Ultrasonics,2003 IEEE Symposium on.IEEE,2003,1:250-253.

数据变换 篇7

1 模型建立

1.1 小波变换

小波变换最大的优点是能够将时间序列按照不同的尺度分解成不同的层次, 充分展现不同层次的信息特征。设原始的混沌时间序列为{S (t) , t=1, 2, •••, n}, 选择一组恰当的小波函数基{Ψjk} (j, k ∈ z) 与尺度函数基{φjk} (j, k ∈ z) , 分别计算小波系数Dj (t) 与尺度系数AL (t) 。将S (t) 进行L层小波分解, 结果可以形式的表示为:

应用 (1) 式将S (t) 分解为低频 (近似) 部分AL (t) 和高频部分Dj (t) (j=1, 2, •••, L) 。由于混沌系统具有内在随机性, 所以分解得到的AL (t) 是混沌的。而高频部分表示外界因素的干扰, 这种干扰自然也是随机的, 所以Dj (t) 也是混沌的。对于混沌时间序列, 可以用相空间重构的方法进行处理。

1.2 相空间重构

相空间重构是混沌时间序列处理的主要方法, 也是计算Lyapunov指数的基础。Takens定理给出了相空间重构的理论保证, 但是如何确定重构参数是重构相空间的关键。

对于要处理的混沌时间序列, 为了表述方便, 不妨均设为{x (t) , t=1, 2, •••, n}

1.2.1 估计时间延滞

目前求取时间延滞的方法有自相关法、复自相关法、平均位移法、C-C法和互信息法。其中互信息法考虑了时间序列的非线性特征, 比较而言效果较好, 本文只介绍互信息法。

对于时间序列{x (t) , t=1, 2, •••, n}, 设时间延滞为 τ, 嵌入维数为m, 重构相空间得到{y (t) , t=1, 2, •••, N} 其中y (t) = (x (t) , x (t+τ) , •••, x (t+ (m-1) τ) , N=n- (m-1) τ。则系统对变量x的平均信息量记为系统的熵H (X) 。记[x, q]=[x (t) , x (t+τ) ], 考虑一个总的耦合系统[X, Q]。假设x已知为x (t) , 则q的不定性记为H (Q|x (t) ) 。若在时刻t时y已知, 则在t+τ 时刻的y的平均不定性为

H (Q|X) =H (X, Q) -H (X) (2)

其中H (X, Q) 是孤立的q的不定性, H (Q|X) 是已知x时q的不定性。所以, x的已知减少了q的不定性, 即互信息为

对于一般情况, 互信息为In (Y) = ∑t[H (y (t) ) -H (Y) ] (4)

如果Y是一个延迟时间重构, 则In (τ) 第一次达到最小时的滞时可以作为相空间重构的时间延滞。

1.2.2 选取嵌入维数

Liangyue Cao提出的Cao方法[3] 可以有效求取时间序列的嵌入维数。Cao方法的应用前提是已经确定最佳时间延滞, Cao方法对于噪声和数据长度都比较鲁棒, 是目前而言较好的方法。

对于上面的重构相空间{y (t) , t=1, 2, •••, N}, 设第t个重构矢量y (t) 的最近邻点以表示, 定义:

其中, E (m) 是嵌入维m和时延 τ 的函数。由于Cao方法中 τ 已定, 故仅考虑E (m) 随m的变化, 定义:

当大于某个值m0时, E1 (m) 不再明显变化并且接近于1, 则以此时的维数作为最小嵌入维数。

1.3 Lyapunov指数

在重构相空间之后, 寻找给定轨道上每个点的最近邻近点, 即

其中p为时间序列的平均周期, 它可由能量光谱的平均频率的倒数估计出来, 那么最大Lyapunov指数 λ 就可以由基本轨道上每个点的最近邻近点的平均发散速率估计出来。Sato et al改进的 λ 的估计式为

其中∆ t为样本周期, k是常数, dj (t) 是基本轨道上第j对最近邻近点对经过i个离散时间步长后的距离。最大Lyapunov指数的几何意义是量化初始闭轨道的指数发散和估计系统的总体混沌水平的量。所以, 结合Sato et al的估计式有

将 (9) 式两边取对数得到

lndj (t) =ln Cj+λ (t ∆ t) (j=1, 2, •••, N) (10)

显然, 最大Lyapunov指数大致相当于上面这条直线的斜率。它可以由最小二乘法逼近得到。以上求取最大Lyapunov指数的方法称为小数据量方法。

混沌行为最本质的特点是非线性系统对于初始条件的极端敏感性。两个很靠近的初值所产生的轨道, 随时间推移按指数方式分离, Lyapunov指数就是定量描述这一现象的量。最大Lyapunov指数 λ 可以为正、负和零。若λ<0, 说明在吸引子周围的轨线随时间以指数递减的方式靠近;若 λ=0, 说明吸引子周围的初始偏差随时间不衰减也不增加, 而沿吸引子的切线方向运动;若 λ>0, 说明轨线随时间以指数增长的方式远离。故时间序列的最大Lyapunov指数 λ>0 是表明该时间序列混沌的一个判据。

1.4 预测

根据 λ>0 可以验证时间序列是混沌的, 故对其重构相空间是合理的。对于重构之后的相空间{y (t) , t=1, 2, •••, N}, y (N+1) 的预测值可以用下面的公式来计算:

其中权函数 ρ (t) 可以根据需要选择合适的式子, 为简便起见, 不妨设为. 因为y (N+1) = (x (N+1) , x (N+1+τ) , •••, x (n) , x (n+1) ) 中只包含未知值x (n+1) , 所以x (n+1) 的值可以得知。同理, 反复使用 (11) 式可以得出y (N+1) , y (N+2) , y (N+3) , ••• 的值, 相应的x (n+1) , x (n+2) , x (n+3) , ••• 也就被预测出来了

对于原始时间序列{S (t) , t=1, 2, •••, n}, 分别应用上面的预测模型处理各子时间序列AL (t) 和Dj (t) (t=1, 2, •••, n; j=1, 2, •••, L) , 得到相应的预测结果AL (t) 和Dj (t) (t=n+1, n+2, •••;j=1, 2, •••, L) , 最后将预测结果进行小波合成, 得到原始混沌时间序列的预测结果:

2 模型仿真

本文数据来源于某通信网某年的数据信号记录, 我们把这些数据信号时间序列用6 层db5 小波分解得到该数据信号序列的低频信号{AL (t) } 和高频信号{Dj (t) (j=1, 2, •••, 6) }。由于混沌时间序列具有内在随机性, 所以本文对低频部分{AL (t) } 应用上文方法, 验证其混沌性。首先用互信息法, 编程计算出 τ=46。在给定 τ=46 的基础上, 用Cao方法求出最小嵌入维数m=4。

用参数 τ=46, m=4, 对时间序列{AL (t) }进行相空间重构, 用小数据量法计算出最大Lyapunov指数 λ=1.1121e-004, 由 λ>0 可验证收集的通信数据信号是混沌的, 故我们对其进行相空间重构也是合理的。并且此混沌时间序列的最大可预测步数为T=1/λ=8.9919e+003.

应用上面的预测模型, 本文预测出100 个数据 (100<8.9919e+003) , 得到如下的实测值和预测值的对比图 (图4) 。

从图4 可以看出上面的预测模型取得了良好的预测效果, 实测值和预测值的大致走向相同, 相互之间误差很小。本文基于小波分解得到的低频数据信号进行相空间重构, 得到最大Lypunov指数, 应用于预测模型中, 此模型还原了数据信号的本质特征, 最大Lypunov指数 λ>0 验证了通信数据信号的混沌性, 以及进一步说明了时间序列的内在随机性。

3 结束语

本文提出了基于小波变换的通信数据信号的预测模型。模型在常规的相空间重构方法中加入了小波变换理论, 对原始的通信流量数据进行小波分解, 将其分成高频部分和低频部分, 只对低频部分 (近似部分) 计算最大Lyapunov指数, 验证了通信数据信号的混沌性和内在随机性。对各个部分分别基于最大Lyapunov指数进行预测, 最后将结果重构, 预测效果良好。结果表明, 本文提出的方法在通信数据信号的分析与研究中具有良好的应用前景。

参考文献

[1]吕金虎, 陆君安, 陈士华.混沌时间序列分析及其应用[M].武汉:武汉大学出版社, 2002.1:1-113.

[2]F.Takens.Determingstrang attractors in turbulence[M], Lecture notes in Math, 1981, 898:339-381.

[3]Cao Liang-yue.Practical method for determining the minimum embedding dimension of a scalar time series[J].Physica D, 1997, 110:43-50.

[4]李中群, 裴承鸣.一种新的多嵌入延迟相空间重构方法[J]计算机工程与应用, 2009, 45 (33) .

数据变换 篇8

无线传感器网络技术是通过部署在监测范围内的各个传感器进行事件监测,然后通过无线通信将采集到的数据传输到基站,用于数据存储、计算分析、展示决策等应用[3]。无线传感器网络技术具有低成本、分布式特点,在各领域都得到了广泛的运用。但是,随着系统的复杂程度和节点不断增加,电池寿命有限性制约了无线网络技术的发展。特别是当无线传感器网络部署在危险或者人为很难更换电源的监测区域时,降低能耗、提高工作效率、延长使用寿命对于无线传感器网络显得尤为重要[1][2]。

无线传感器网络是由部署的大量微型传感器节点组成,每个节点有感知、计算、发送、接收、空闲和睡眠六个工作组状态[8]。有关研究发现,无线通信模块中的发送与接收状态是最为耗能的,达到感知和计算功率的六倍以上。于是降低网络节点之间的数据传输频率和传输量就能降低功耗,增加传感器网络的使用寿命[9]。

为了减少节点之间的数据传输量,在每个节点向基站传送数据时,在节点内部先进行数据处理,将数据进行压缩,然后再进行传输,这样减少了数据的传输量,也就降低了节点的无线通信能耗,从而延长了系统网络的使用寿命。

通常,我们希望得到的数据可以较为真实地反映监测范围内的具体情况,但是我们无法确定合适的传感器感知时间间隔。间隔过短,会增加数据传输量,将给增大传感器网络的流量负载、存储计算及能量损耗等方面的压力,有可能产生数据冗余,从而影响传感器网络的使用寿命;间隔过长,则有可能丢失重要的数据,无法反映真实的现场情况,影响对监测对象的判断准确性。因而,在现有无线传感器技术条件下,选择合适的传感器采样间隔,降低网络传输数据量,对于提高无线传感器网络工作效率、延长使用寿命和构建绿色能源社会都具有重要的意义[5]。

2 无线传感器网络技术的发展现状

无线传感器网络技术的发展可以分为三个阶段:智能传感器、无线智能传感器、无线传感器网络。从最初的智能传感器将计算能力嵌入到传感器中,到后来的具有无线通信功能的无线智能传感器,再到现在的无线传感器网络技术,加入了网络技术,传感器变得不再是相互独立的,它们之间可以进行信息交流和相互协调,这一特点使得所有的物体建立了联系,使得物联网的实现成为可能[6][7]。

无线传感器网络现有的数据处理方法基本的思想是分簇,根据同一监测点附近的传感器节点采集的数据测量值具有极大相关性的特点,将数据模型与分簇技术以及自适应预测模型相结合的思想,把数据在簇内先进行初步处理,然后经过整合在传输大到基站。这样虽然降低了数据传输的频率,但是也一定程度上丢失了原始数据的结构特征。现阶段,利用数据分析方法来构建相应的模型对数据进行优化的技术不多,因此研究可以运用在无线传感器网络高效方便的数据分析方法以及数据模型是很有应用前景的[4][7]。

本文以现有研究成果为基础,利用同一监测点附近的传感器节点采集的数据测量值具有极大相关性特点,根据实际系统中的节点数量和节点类型,构建了基于高阶线性回归、差分拟合、傅立叶变换分析的三种数据模型。在无线传输前,传感器节点利用所构建的数据模型将监测数据抽象、简化为模型特征参数;在无线传输过程中,仅需要传输特征参数;数据接收后,再由节点传感器进行数据还原。以此实现监测数据的压缩,减少了数据传输量,降低了传感器网络的能量消耗,延长其使用寿命。

3 无线传感器网络数据采集优化方案

3.1 傅里叶变换分析方法

在实际运用中,选取部署在监测区域内的传感器节点的某一段时间内的测量值,设为(t1,x1),(t2,x2),(t3,x3),……,(tm,xm),其中ti和xi(i=1,2,...,m)分别表示时间点和传感器测量的测量值。对这测量到的m个数据进行构建模型函数X(t),并且满足误差βi=X(ti)-xi始终在监测系统允许的置信区间范围内,并且将X(t)表示为(1)的形式:

其中n的大小和Bi取决于实际问题。

傅里叶变换分析是将信号进行傅里叶变换,选取相应的基函数矩阵为Bi(t)=sin(Ωit+Ψi)。变换之后(1)式可表示为:

其中Ωi与Ψi的值由网络系统的特征决定。

在实际的运用中可以取确定的n=m值带入计算,计算高阶X(t)易对结果产生干扰,影响最终的精确性。可取较小的n值带入计算,即取n<<m,选择λi的值代入,用下式来代替实际测量值

在实际的无线传感器网络中,假定有30个监测点,监测某一区域内的温度值,则构建一个数据模型(3)来估计实际测量值xi(i=1,2,...30)便可,不需要再传输时传输30个监测值,只需要传输λ1,λ2,λ3,λ4来压缩表示监测到的数据,同样实现数据压缩,减少了网络内的数据传输频率与传输量。根据已有的研究成果,减少数据传输频率和传输量,便能延长无线传感器网络的使用寿命。

设所求的n阶系数矩阵λ=(λ1,λ2,...,λn)T,实际测量值的m维矩阵表示形式是x=(x1,x2,…,xm)T。采样预测结果为m维矩阵函数X=(X(t1),X(t2),...,X(tm))T,由(1)可得,每个采样时间点ti的采样预测值用矩阵方式可表示为:

则绝对误差向量β可以表示为:

为了使估计值的误差最小,即为使误差向量β的范数的平方最小为优化目标,故有式(6)

为使上式取得最小值,将每一个λb(b=0,1,2,…,n)代入上式,并求上式的偏微分,即2对λ偏微分,

根据上式得到下式

由于定义的基函数Bi(t)=sin(Ωit+Ψi),所以基函数矩阵B是满秩矩阵,对于任意的列满秩矩阵来说,BTB是正定矩阵,故(BTB)-1存在,则可以得到系数向量λ的解是

令C=BTB,e=BTx,则根据上式,可以写出λ的根C-1e,即

实际应用中,一般已知测量值矩阵与基函数,就可以通过式(10)来求得优化函数[10]。

3.2 高阶拟合

文献[5]中采用高阶分析方法,对应的选取Bj(t)=tj-1,于是(1)式可以表示为:

可取n=4则用构建的函数模型X(t)=λ1+λ2t+λ3t2+λ4t3来代替测量值xi(i=1,2,...,m)的值。于是在数据传输中只需要传输λ1,λ2,λ3,λ4四个参数而实现压缩数据,降低了数据传输量[5]。

3.3 差分拟合

对于差分变换来处理数据,将上述中的式(1)用下式代替

式(3)用下式代替

基函数可以表示为Bj(t)=X(t-j)。之后的步骤与傅里叶变换分析方法的操作步骤一样,最后得到式(10)。最终都实现了在数据传输时只将相应的参数传输到基站,基站便可还原出较为真实的数据,达到数据压缩,降低数据传输量,从而实现延长无线传感器网络的使用寿命。

4 仿真结果

在生活和工业运用中,有很多场所是需要恒温条件的。部署在某恒温室内的大量传感器,用于实时监测该区域内的温度信息,并及时地将感知、采集的数据传输到基站,与设置的恒温温度相比较,以便基站对恒温室做出相应的措施来保证恒温室的温度恒定。

通常,可以认为每24小时内温度的变化是有一定规律的,于是实时监测24小时内的温度数据便可对恒温室的温度信息进行数据建模。这些传感器构成了一个无线传感器网络,以其中24小时内某一传感器感知的温度数据来分析。即对其中的一个节点进行分析,每间隔一个小时传感器来感知采集一次温度数据,以xi(i=1,2,...,23)来表示ti时刻实际温度与设定温度的差值(负数表示低于设定值),用向量λ来表示构建的数据模型中的参数矩阵。

根据大量传感器中某一个节点感知到的原始数据如下,即x矩阵,共23个,时间从1:00—23:00,每隔一小时传感器感知温度差值原始数据如表1所示。

根据上述分析方法,可以求知差分拟合得到的参数,λ=(λ1,λ2,λ3,λ4)T=(-0.00360,-0.14813,-0.00360,-0.14811)T,原之后得到的数据如表2所示。

同样,可知高阶拟合得到的参数,λ=(λ1,λ2,λ3,λ4)T=(-0.12781,-0.02224,0.04073,0.10041)T,还原之后得到的数据如表3所示。

傅里叶变换相应的参数,λ=(λ1,λ2,λ3,λ4)T=(0.51968,-0.92303,0.21912,0.17446)T,傅里叶变换还原之后得到的数据如表4所示。

三种数据建模方法仿真效果图对比如图1所示。其中横坐标代表时间t(1:00—23:00);纵坐标代表ti时刻实际温度与设定温度的差值(°C)。

从数据模型还原的数据表格与原始数据对比及仿真图可以看出,相比较高阶拟合和差分拟合,由傅里叶变换分析方法还原的数据更加接近原始数据,吻合度更好。同时,利用matlab强大的计算能力,我们可以计算出数据拟合效果评估参数,其中傅里叶变换的吻合度为89.69%;差分变换的吻合度为73.2114%;高阶拟合的吻合度为83.7481%。

故而我们可以得出结论,在三种数据建模的分析方法中,数据压缩程度相似,即需要传输的参数量相同,同时都降低了数据传输频率和传输量,降低了功耗,延长无线传感器网络的使用寿命。但是傅里叶变换分析方法所还原得到的数据更接近真实数据,所以傅里叶变换分析方法更优。

由上可知傅里叶变换建模得到的数据与原始数据的误差最小,在一定程度上可以用来代替原始数据即传感器感知的测量值。于是,在无线传感器网络中,可以先在节点内部进行一定地数据处理,只需将相应的参数传输给基站,基站便可根据参数来还原数据,实现数据压缩,降低节点的数据传输频率与传输量,从而降低了无线传感器网络的功耗,延长使用寿命。

5 结束语

本文从实际出发,概述了无线传感器网络技术的发展现状及本文的研究目的与意义,阐述了分布式数据采集的高阶拟合、傅里叶变换和差分拟合数据建模优化方案,并以利用温度检测系统实例为基础,对三种建模方案进行了仿真计算,发现傅里叶变换拟合方法构建的数据模型是最有效的,与原始数据的吻合程度最高。基于傅立叶变换的无线传感器网络数据采集数据建模研究,能有效实现监测数据压缩,减少数据传输量,降低了功耗,延长系统网络的使用寿命。

为从根本上解决传感器能耗与供电问题,研究与应用无源传感技术将是未来传感与监测的重点和趋势。

摘要：无线传感器网络技术具有低成本、分布式特点,在各个领域都有了广泛的运用,给我们的生活生产带来天翻地覆的变化。但是,随着无线传感器网络的复杂程度和节点增加,功耗也就随之增加,而电池寿命有限性制约了无线网络技术的发展。已有的研究表明,在数据传输中,节点间的数据传输是最为耗能的,于是降低节点之间的数据传输量与传输频率便能降低能耗,延长无线传感器网络的使用寿命,推动该技术的发展。用傅里叶变换、差分拟合、高阶拟合建立合适的数据模型,实现压缩数据,减少数据传输,同时保证数据的准确性,便实现了降低能耗、延长系统使用寿命的目标。相互对比三种数据模型,找到最为准确且能显著降低能耗的数据优化方案。

关键词：无线传感器网络,数据压缩,数据建模,仿真,功耗

参考文献

[1]何宁,王漫,方昀等.面向无线传感器网络应用的传感器技术综述[J].计算机应用与软件,2007,24(9):91-94.

[2]杨卓静,孙宏志,任晨虹.无线传感器网络应用技术综述[J].中国科技信息,2010,(11):127-129.

[3]宫鹏.无线传感器网络技术环境应用进展[J].遥感学报,2010,14(2):387-395.

[4]宋宗峰.无线传感器网络技术发展现状及趋势[J].数字技术与应用,2011,(5):139-140,174.

[5]宋欣,王翠荣.基于线性回归的无线传感器网络分布式数据采集优化策略[J].计算机学报,2012,35(3):568-580.

[6]唐宏,谢静,鲁玉芳,唐伦.无线传感器网络原理及应用[M].北京:人民邮电出版社,2010:30-50.

[7]许毅.无线传感器网络原理及方法[M].北京:清华大学出版社,2012:180-220.

[8]WANDER A S,GURAN,EBERLE H et al.Energy analysis of pulic-key cryptography for wireless sensor net works/[C]/Proceeding of the 3 rd IEEE International Conference on Computing and Communications.Seattle,USA,2005:324-328.

[9]JIANG H B,JIN S D,WANG C G.Prediction or not An energy-efficient Framework for clusteringbased data collection in wireless sensor networks[J].IEEE Transactions on Parallel and Distributed Systems,2011,22(6):1064-1071.

[10]王艳芳,王刚,张晓光,刘卫东.数字信号处理原理及实现[M].北京:清华大学出版社,2013:1-113.