改进LLE

改进LLE（共6篇）

改进LLE 篇1

0 引言

人脸识别仍是现阶段模式识别和计算机视觉领域的研究热点之一[1],由于人脸图像受光照、姿态、表情等影响,人脸数据是异常高维的数据。目前对高维数据的处理,有两种基本方法:一种是将高维数据映射到线性可分的高维空间中,即基于内核的技术,如支持向量机(SVM)技术[2];另一种方法是降低数据维数,虽然看似信息丢失,需要估计的参数减少,但可能会有更好的识别性能。许多线性降维方法,如主成分分析(PCA)[3]和Fisher线性判别分析(LDA)[4]是行之有效的。但是大量研究表明,人脸空间更可能是一个高维的非线性子空间,即人脸位于一个非线性流形上,因此线性降维方法不能反映人脸的非线性数据结构,不足以描述人脸特征。目前流形学习可分为全局映射和局部映射两类。前者主要有等距映射(isomap)[5];后者有局部线性嵌入(Locally Linear Embedding,LLE)[6]和拉普拉斯特征映射(Laplacian Eigenmaps)[7]。但是这些方法都没有明晰的投影矩阵,从而不能直接映射新的测试

点(该点不同于训练集合中的任何点),这个问题也被称为out-of-sample问题[8]。其中LLE有很多优点:不需要一个迭代算法,很少的参数需要进行设置,而且该方法避免了局部极小问题,具有邻域保持特性。但是该算法会出现上述所说的问题,而且属于基于重构的无监督的学习方法,效果并非最优。因此,Dick de Ridder等在LLE学习算法的基础上引入监督机制,称为SLLE[9],SLLE是以监督的方式提取人脸的非线性的流形特征,该算法分类性能优于LLE,通常情况下也会优于其他的一些映射算法,庞等人在LLE基础上,提出了一种新的基于核子空间的学习方法,即核邻域保持投影(KNPP)[10]。该方法引入一个线性变换矩阵来近似LLE,然后通过非线性核技巧在维数很高的空间里求解子空间,它可以解决 out-of-sample问题。KNPP最大的优点在于它和 LLE一样具有邻域保持特性,但是KNPP属于无监督学习方法,需要发展为有监督的方法。因此,在SLLE与KNPP算法的启发下,本文提出一种新方法,简称为IM_SLLE。

1 LLE,SLLE和KNPP概述

1.1 局部线性嵌入LLE

给定N个输入向量X=[X1,X2,…,XN],其中,Xi∈RD,通过LLE算法将得到输出值Y=[Y1,Y2,…,YN],Yi∈Rd且d≪D。无监督LLE归结为3步[6]:

1) 在高维空间中寻找每个样本点Xi的K个近邻点;

2) 由每个样本点的近邻点计算出该样本点的局部重建权值矩阵;

3) 由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值Yi。

1.2 监督局部线性嵌入SLLE

SLLE的主要目的是找到将类间结构和类内结构分开的映射,其方法是在Xi和Xj(属于不同类)加上一个距离参数,修改K个近邻点的计算方法,从而增加了样本点的类别信息。而步骤2)和步骤3)同LLE。SLLE在计算点与点之间的距离采用如下公式[9]

Δ′=Δ+αmax(Δ)Λij (1)

式中:Δ是没有考虑类别信息的欧式距离,Δ′是结合了类别信息的距离,Λij取值为0或1,当两点属于同类时,取为0,否则取1;α是控制点集之间的距离参数,α∈[0,1],α是一个经验参数。当取为0时,此时的SLLE和LLE算法相同。

1.3 核邻域保持投影KNPP[10]

给定N个输入向量X=[X1,X2,…,XN],其中,Xi∈RD,假设通过非线性映射函数Φ:X→Φ(X)把X映射到Hilbert空间F中。KNPP的目的是对F中的数据点Φ(X)=[Φ(X1),Φ(X2),…,Φ(XN)]降维,把它们映射为d维空间中的新的数据点X=[Y1,Y2,…YN],其中d≪D。

1) 求出距离每个数据点Φ(xi)最近的k个点,距离可以通过核矩阵K来计算,核矩阵K的元素为Kij=Φ(Xi)·Φ(Xj)。

2) 通过求解式(2)所示的最小二乘问题,计算Xi到它的邻域点之间的最佳重建权重Wij

undefined

3) 分解核矩阵K并计算矩阵M和Q。K=PΛPT,M=(I-W)(I-W)T,Q=PTMP,其中I表示单位矩阵。

4) 求解下面的特征值分解问题得到向量ri:Qli=liri,其中0

5) 计算向量βi并对其归一化undefined,其中i=1,2,…,d。

6) 采用undefined实现非线性降维其中n=1,2,…,d。yin表示向量yi的第n个元素。

2 改进的算法IM_SLLE

下面结合SLLE和KNPP算法,提出改进算法,步骤如下:

1) 计算每个样本点的K个近邻点

在SLLE算法中, 式(1)中的Δ采样欧氏距离得到,在本算法中通过核矩阵K来计算,K的元素为Kij=Φ(Xi)·Φ(Xj),其中Φ是引入的非线性映射函数。然后在根据式(1)计算Δ′ 从而找到K个近邻点,计算方法中已经加入了样本点的类别信息,不过可将式(1)进一步进行改进。一个理想的分类机制应最大类间差异而最小化类内差异[11],因此将SLLE中的式(1)通过减少类内距离而扩展类间距离,得到

式中:Δ通过核矩阵K计算得到的Xi和Xj之间的距离,参数δ防止当Δ较大时,Δ′ 按指数增长太快,因此δ与样本点的紧密度有关,常数ε在[0,1]之间取值,合理的取值可使不同类之间的数据更相似,以至使类间差异可能比类内差异更小。

下面分析一下改进后的特点。图1a是采用式(1)计算的Δ′ 欧氏距离从0～3线性变化,ε设为0.2。水平轴代表欧式距离Δ,纵轴代表Δ′,实线表示不同类之间距离的变化,虚线表示同类间距离的变化。从图1可以看出,在SLLE中,类间差异会随着类内差异的线性增加而增加,将不利于随后的分类识别。因为类间与类内的距离比值是不变化的,这样使嵌入数据的判别能力和泛化的能力被限制在一定的范围。另外,SLLE对数据中的噪声也是非常敏感的,具体来说,类间距离和类内距离的范围都是[0,+∞],这意味着噪声可能会改变原始的差异到中间的任何值,特别是当噪声比较强时,数据间的邻域关系可能被完全破坏。

采用式(3)所计算出的Δ′如图1b所示,这里水平轴代表核矩阵K距离Δ,其他同图1a,从图中可以看出,随着距离Δ的增加,类间差异比类内差异大,因此类间距离与类内距离的比值变得越来越大,这样克服了SLLE存在的问题,有利于分类识别。另外,当距离Δ增加时,类间差异增加快而类内差异增加慢,这表明这种算法对数据中的噪声有抑制的能力。一方面,类间距离通常是比较大的,所以如果它越小,噪声存在的可能性就越大,Δ′减小得越慢。另一方面,类间距离通常是比较小的,如果它越大,噪声存在的可能性就越大,Δ′增长得越慢。因此,随着噪声存在的可能性增加,改进算法抑制噪声的能力也逐步加强。

类间差异的范围在[1-ε,+∞],而类内差异的范围是[0,1],因此不管数据中的噪声是多么强大,类间差异和类内差异能被控制在一定的范围,这就表明该算法能限制噪声的影响。

2) 计算样本点的局部重建权值矩阵Wij

传统的LLE算法是首先定义一个误差函数并最小化[6,11],如式(4)所示

undefined

式中:Xij(j=1,2,…,k) 为 Xi的k个近邻点,Wij 是Xi 与Xij之间的权值,且要满足条件undefined。引入非线性映射函数Φ:X→Φ(X)把X映射到Hilbert空间F中,所以式(4)中Xi用Φ(Xi)代替,Xij用Φ(Xj)代替,并采用拉格朗日乘子法,得出最优重建权重矩阵Wij

undefined

通过式(5)可求出Wi (i=1,2,…,N),其他步骤同1.3节KNPP的步骤,在这里不再赘述。

3 实验结果

采用Yale人脸库对文中所提出的改进算法上进行评测。Yale人脸库包含15个人的165个灰度图像,这些图像是在不同的光照、不同表情下取得的,还分戴眼镜和不戴眼镜两种情况。如图2所示。随机选取了30幅图像(每人2幅)作为识别测试集,剩下的135幅作为训练集。首先将图像裁剪和缩放为60×60的标准。

实验中将改进算法与LLE算法、SLLE算法以及KNPP算法进行比对,分类方法都采用最近邻分类器,同时对所有的算法都采用最佳的参数,实验结果如表1所示。另外为了验证非线性算法比线性算法能更好地描述人脸的流形结构,实验增加了对LDA识别率的比对。

实验结果表明,线性算法LDA对人脸识别弱于其他非线性算法,因为非线性算法提取的特征对人脸流形的描述更加细致。在非线性人脸识别算法中,LLE算法具有邻域保持特性,但由于缺乏类别信息,效果很难达到最优。KNPP属于无监督的子空间学习方法,因为KNPP具有邻域保持特性,而且它通过利用局部信息来描述人脸的非线性流形,效果优于LLE。改进算法结合了KNPP与SLLE的优点,属于有监督的局部保持的非线性子空间学习方法,优于其他几种。这表明IM_SLLE更利用分类识别。

接下来,在预处理好的人脸图像中不同程度的加入噪声,来验证IM_SLLE算法对噪声的抑制能力,结果如表2所示,该结果是在最优参数下得到的。从表2可以看出,在不同程度的噪声下,IM_SLLE都有优于SLLE算法识别率。

4 小结

本文针对LLE,SLLE和KNPP算法各自的有缺点,提出了一种改进算法I-SLLE,该算法在LLE的基础上引入有监督的学习机制,利用δ和ε参数加入样本的类别信息,通过最小化局部数据的全局重构误差,结合核邻域保持投影,提取高维人脸数据的非线性特征。在人脸库Yale中比较了改进算法和其他的人脸识别算法,该算法有较好的识别性能。

摘要：LLE是一种无监督的非线性降维方法,广泛应用于人脸特征提取,但是该方法缺乏样本点的类别信息。提出了一种新方法,在LLE的基础上引入有监督的学习机制和增加样本点的类别信息,通过减少类内距离而增加类间距离和最小化局部数据的全局重构误差,同时结合核邻域保持投影方法(KNPP)来提取高维人脸数据的非线性特征。算法有利于分类识别,并对噪声有较好的稳健性。实验表明,该方法的识别性能优于LLE,SLLE和KNPP。

关键词：非线性降维,类别信息,监督,局部线性嵌入,人脸识别

参考文献

[1]闫娟,程武山,孙鑫.人脸识别的技术研究与发展概况[J].电视技术,2006,30(12):81-84.

[2]BURGES C.A tutorial on support vector machines for pattern recogni-tion[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.122.3829&rep=rep1&type=pdf.

[3]TURK M,PENTALND A.Eigenfaces for recognition[EB/OL].[2010-12-15].http://www.face-rec.org/algorithms/PCA/jcn.pdf.

[4]BELHUMEUR P,HESPANHA J,KRIENGMAN D.Eigenfaces vs.fisherfaces:recognition using class specific linear projecttions[EB/OL].[2010-12-15].http://cs.gmu.edu/～kosecka/cs803/pami97.pdf.

[5]TENENBAUM J B,SILVA V,LANGFORD J Ce,t al.A global geometricframework for nonlinear dimensionality reduction[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.110.6050&rep=rep1&type=pdf.

[6]ROWEIS S,SAUL L.Nonlinear dimensionality reduction by locally linearembedding[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.12.7171&rep=rep1&type=pdf.

[7]BELKIN M,NIYOGI P.Laplacian eigenmaps for dimensionality reductionand data representation[EB/OL].[2010-12-15].http://cseweb.ucsd.edu/～saul/teaching/cse291s07/laplacian.pdf.

[8]BENGIO Y,PALEMENT J,VINCENT P,et al.Out of sample extensionsfor LLE,isomap,MDS,eigenmaps,and spectral clustering[EB/OL].[2010-12-15].http://www.iro.umontreal.ca/～lisa/pointeurs/tr1238.pdf.

[9]DERIDDER D,KOUROPTEVA O,OKUN O,et al.Supervised locallylinear embedding[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.5.6218&rep=rep1&type=pdf.

[10]庞彦伟,俞能海,沈道义,等.基于核邻域保持投影的人脸识别[J].电子学报,2006,34(8):1522-1524.

[11]陈高曙,曾庆宁.基于LLE算法的人脸识别方法[J].计算机应用研究,2007,24(10):176-177.

改进LLE 篇2

局部线性嵌入法(locally linear embedding,LLE)是一种典型的流形学习算法,LLE算法具有良好的数据降维功能,已经成功应用到图像处理等相关领域[1]。由于LLE算法具有强大的处理非线性、高维数据的能力,这恰好适应现代机械故障监测信号处理需求,这为故障诊断提供了良好的思路。

由于LLE算法对参数比较敏感,所以现在对LLE的研究集中在参数的选择和处理上。针对LLE对近邻个数较为敏感,有学者将一种Conformal-Isomap方法中的度量数据间距离的方法引入到LLE中,在人脸识别上取得较好效果[2];也有学者对样本集分布不均匀时取邻域个数k值进行了改进,应用到人耳识别中[3]。现提出了一种基于最佳分类效果的k和d综合参数选择方法,这种方法可以既简单又有效地达到算法参数预选的最佳值。机械故障诊断常需要在样本训练的基础上进行故障的增量式学习,即对新状态的判别。使用批处理的方法运算量过大,非常不实用。因此提出一种基于LLE算法的增量式学习方法,充分考虑了LLE算法本身的优良特征,在柴油机机械故障振动信号的处理上取得良好效果。

1 LLE算法分析

LLE的核心思想是高维空间数据集的邻域关系与嵌入在高维空间的低维流形上的对应数据集的邻域关系保持不变[4]。算法假定数据的结构在局部范围内是线性的,任意一个数据点可以由邻域内点的线性组合表示,并且这种线性组合在降维后继续保持。LLE算法的计算过程可以分为三步[5]。

(1)在高维空间数据集中,寻找每个样本点xi的k个近邻点。近邻的选择一般采用欧式距离来衡量,记样本点xi的第j个近邻点为xij(j=1,2,…,k)。

(2)由每个样本xi的近邻点计算该样本的局部重建权值矩阵W,使重构误差函数ε(W)达到最小,即

当xj不属于xi的邻域时wij=0,并且。求解局部重建权值矩阵W的过程就是求解带约束的最小二乘问题。

(3)在低维空间中重构原始数据点,得到低维空间Y中的最优构造点,使低维空间重构误差Φ(Y)达到最小,即

式(2)中,yij(j=1,2,…,k)是yi的第j个近邻点。需要满足:是d×d单位阵,d是数据降维后的维数。这一步的优化问题可以通过对矩阵M=(I-W)T(I-W)的特征值分解得到。

从算法的思路可以看出,LLE算法的计算核心就是求解式(1)和式(2)的两个优化问题。

2 基于最佳分类效果的k和d综合参数选择方法

根据LLE算法的原理,邻域因子k和嵌入维数d是算法中需要提前确定的非常重要的参数。参数选择得过大或过小都不利于算法的运行,甚至产生错误的特征提取结果。所以必须选择最佳的参数组合才能使LLE算法得到较好的特征提取效果。

2.1 方法原理

LLE算法能提取出原始数据基于流形之上的本质特征。假设机械设备在不同故障状态运行中的信号特征具有不同的流形。最优分类效果即是使故障类内离散度最小,故障类间离散度最大。将k和d两个参数同时根据最佳分类效果选择,搜索最优参数值。

设故障检测信号特征向量集合为X={x1,x2,…,xi,…,xN},包含了N个特征向量。设有C种故障类型,其中代表某种故障类型的特征向量数为nj(j=1,2,…,C),则n1+n2+…+nC=N。通过LLE算法对原始信号特征向量集合进行特征压缩后的各个故障类型的特征向量集合为Yj={y1j,y2j,…,yij,…,yjnj},j=1,2,…,C。其中xiRD,yijRd,D>>d,D和d分别为特征压缩前后特征向量的维数。

同一故障类内的离散度矩阵LWj为

式(3)中,LWj是d×d方阵,mj是同一故障特征向量均值矢量。

总的故障类内离散度矩阵LW为

故障类间离散度矩阵LB为

式(6)中,LB是d×d方阵,m是通过LLE特征压缩后所有特征向量的均值矢量。

根据最佳分类效果的原理,可以定义分类效果综合值v为。

基于最佳分类效果的参数k和d的综合选择方法就是在一定的范围内不断搜索,使分类效果综合值v达到最大。

2.2 实现步骤

根据最佳分类效果准则,综合搜索参数邻域因子k和嵌入维数d的最佳值,基本步骤如下。

(1)根据算法原理初步设定邻域因子k和嵌入维数d的取值范围。

(2)选择一组k和d的参数值,运行LLE算法得到降维后的数据集Y。

(3)对数据集Y,运用式(8)计算对应的分类效果综合值。

(4)重复(2)和(3)步骤,计算所有参数组合的分类效果综合值。

(5)选择最大的分类效果综合值对应的参数值,即是最佳参数值。

3 增量式LLE方法

机械故障诊断在对未知状态进行特征压缩的过程中,会产生新的特征向量。如何避免批处理的方法,充分利用原有的故障特征压缩与诊断信息,对新样本进行快速识别,需要用到增量式的故障诊断方法。因此提出一种增量式LLE方法可以快速准确地实现新样本的特征压缩与诊断。

设原始训练特征向量集合为X={x1,x2,…,xi,…,xN},xiRD。N是特征向量的个数,即数据的个数;D是特征参数的个数,即数据的维数。经过LLE算法数据降维后的特征向量为Y={y1,y2,…,yi,…,yN},yiRd,d是降维后的数据维数,D>>d。经常遇到的问题是:如果增加一个新的样本特征向量xN+1RD,如何获得此样本特征向量降维后的特征向量yN+1Rd。为了求解这样的问题提出一种增量式LLE算法,这种算法可以利用已经得到的计算结果或中间结果,无需对整个数据集重新计算,即可以获得对新样本特征集的识别。

增量式学习要能监测到数据流的渐变过程,发现流形结构的演化过程[6]。由于LLE算法的基本思想是基于局部线性特征保持,也就是说降维后的特征空间保留了高维空间中的局部拓扑结构特性。所以就可以假设新加入数据点仅仅影响了领域内的局部流形结构,对全局的影响不大。

增量式LLE方法主要包含三个步骤。

(1)寻找新样本特征向量的近邻点。根据LLE步骤的第一步寻找xN+1的k个近邻点为xjN+1;(j=1,2,…,k)。

(2)求近邻点与新样本特征向量的权重系数。根据式(1)计算xN+1与其近邻点的权值系数ωN+1j;(j=1,2,…,k)。

(3)求新样本特征向量对应的降维后的点。已知xN+1的k近邻点xjN+1;(j=1,2,…,k)对应的降维后的低维数据点为yjN+1;(j=1,2,…,k)。根据LLE降维后的特征空间保留了高维空间中的局部拓扑结构特性的基本原则,则xN+1降维后的数据点yN+1为

式(9)保证了每一个特征向量在集合X和集合Y中的近邻权重不变。

4 改进LLE算法在柴油机故障特征压缩与诊断中的应用实例

4.1 LLE算法在机械故障特征压缩与诊断应用原理

在机械故障诊断中,故障样本的特征提取是重要而又困难的一步。故障样本的特征提取一般分为两个方案:第一就是从故障样本中直接选择一组特征集构造特征空间。但是由于现在机械故障状态的复杂和多样性,能够反映故障特点的特征空间变得极其庞大,故障信号具有高度非线性的约束关系,利用现有的线性变换的机械故障诊断方法具有很大的局限性。第二就是把原始的特征空间进行简约,进行数据降维,就是进行特征压缩。有效的特征压缩要求提取出有利用故障分类的信息,以便于后续的机械故障诊断处理。

采用LLE算法进行机械故障特征提取是一个可行的思路。LLE通过非线性映射使输出特征空间与输入特征空间保持局部拓扑结构不变,将原始特征空间的全局非线性看作局部线性。可以挖掘嵌入在高维故障数据中的几何分布特征,从而区分不同故障数据类型。基于LLE算法的机械故障特征压缩与诊断过程可见图1。现通过柴油机故障实验来验证LLE算法在机械故障特征压缩与诊断中的效果。

4.2 柴油机故障实验与信号采集

实验在4135型柴油上进行。主要由柴油机运行状态监测系统,A/D转换,数据采集及计算机构成。监测信号由三路构成:两路振动信号和一路上止点信号。两路振动信号由安装在柴油机缸盖和机身表面的加速度传感器产生,经过电荷放大器转换成电压信号。上止点信号是一个脉冲信号,当曲轴每转至上止点位置时由位移传感器产生。图2是柴油机运行状态信号采集硬件配置框图。

4.3 基于子带能量的特征向量空间构造方法

特征空间的构造直接影响了流形学习的降维效果。要针对故障信号的基本的特征提取信号最敏感的特征性质。要尽量多提取敏感信息,但是也要避免不必要的特征,避免算法的复杂性。各频率成分信号的能量是振动信号的最基本特征,包含着丰富的故障信息。恒定子带选取方法是子带能量分析法的一种子带选取方法,这种方法把一个分析频带平均分成若干个子频带,然后再计算每个子频带的能量[7]。这种方法简单易行,选取合适子带数目或子带宽度,可以取得良好的故障诊断效果。通过对柴油机机身不同故障振动信号频谱的观察分析,现选用恒定带宽的子代能量特征构造方法。

4.3.1 恒定子带能量特征提取

设选取的子代数目为m,子带的宽度为Δf,分析频带的上限频率为f0,下限频率为fm,则有

设频谱分辨率(频率间隔)为δ,各个子带内的谱线条数为n,则有

设Mj是第i个子带中的第j个谱条的幅值,第i个子带的能量Ei

4.3.2 基于同种故障类型特征参数间方差最小的子带数目选择方法

子带数目选取过少(子带宽度选取过大)时振动信号能量的区分不明显,子带数目选取过多(子带宽度选取过小)时不仅使计算量过大,还会错过最佳的能量区分区段。所以子带数目或子带宽度的选择是恒定子带能量特征提取方法成功与否的关键要素。由于判断是否是一类故障的根本思路是考虑相同特征的相似程度。在降维之前,每维特征具有独立的物理意义。所以提出一种基于同种故障类型特征参数间方差最小的子带数目选择方法,该方法首先计算每个特征参数的方差为Si,再计算类内特征参数方差的平均值Aj,最后计算类间特征参数方差的平均值S。当S最小时即取得子带数目的最佳值。

设子带内的数据点有R个,能量值为Eik,平均值为Pi,选取的子带数目(特征参数数目)为m,训练数据集的故障类数为C。

则每个特征参数的方差Si;(i=1,2,…,m)为

类内的特征参数方差平均值Aj;(j=1,2,…,C)为

类间特征参数方差平均值S为

基于同种故障类型特征参数间方差最小的子带数目选择方法就是在一定的范围内不断搜索,使类间特征方差参数平均值S达到最小。

4.4 改进LLE算法在柴油机故障特征压缩与诊断的应用与结果分析

实验中共有4种柴油机机械故障,分别是进气门间隙过大、进气门间隙过小、排气门间隙过大、连杆瓦磨损。每种故障状态采集25个样本,共100个样本。

对这100个样本进行快速傅里叶变换得到信号的频谱。根据节4.3.2提到的同种故障类型特征参数间方差最小的子带数目选择方法,得到最佳子带数目m=20。再根据节4.3.1提到的恒定子带能量特征提取方法,构造出故障检测信号特征向量集合X={x1,x2,…,xi,…,x100},xiR20。由于信号特征向量集合有20维,每类故障信号有25个,因此,选择邻域因子k的预选范围为[2,15],嵌入维数d的预选范围为[2,5]。根据本文第2节提到的基于最佳分类效果的k和d综合参数选择方法,可以得到k和d的最佳取值均为3。

根据参数选择得到的k和d值,使用LLE算法得到特征压缩后的样本分布,如图3所示。从图中可以看出,四类故障得到良好的类别可分性,有利于分类器的构造,分类精度高,有利于后续的机械故障诊断的进行。

为了比较基于最佳参数选择的LLE算法在故障特征提取中的优越性,使用传统的PCA算法对同一实验样本进行分类(同样取嵌入维数d为3维),得到图4为特征压缩后的样本分布图。从图中可以看出,通过PCA特征提取的样本分布,类与类之间分类不是太清楚,类间样本太过分散,不利于分类器的构造。所以基于最佳参数选择的LLE特征压缩效果要优于传统的PCA特征压缩方法。

为检验增量式LLE算法的特征压缩与诊断能力,再采集20个样本作为新增样本(其中每个故障各有5个新增样本)。用节4.3方法对这20个样本构造特征向量空间。用节3提到的增量式LLE算法进行特征压缩。新增20个样本的特征向量空间特征压缩后的样本分布结果如图5。新增样本的特征压缩后的特征向量值如表1所示。其中故障一到故障四依次是:进气门间隙过小;进气门间隙过大;排气门间隙过大;连杆瓦磨损。可见,除个别点外,新增样本基本点都聚类到了相应的故障集上,可分性明显,有利于后续的机械故障诊断的进行。

通过以上实验分别使用基于最佳参数选择的LLE算法、PCA算法,增量式LLE算法得到三种柴油机故障特征压缩后的特征向量集合。分别取三个特征向量集合中的一半特征向量作为训练样本,一半特征向量作为检验样本。运用K近邻算法(K-nearest neighbor,KNN)进行故障诊断与分类,其检验样本的分类正确率如表2所示。可以看出基于最佳参数选择的LLE算法的诊断分类效果要优于传统的PCA方法,增量式LLE算法也取得良好效果。

5 结论

(1)LLE算法计算的本质是求解式(1)和式(2)的两个优化问题。算法需要提前确定邻域个数k和嵌入维数d,参数的选择对算法的效果影响很大。

(2)基于最佳分类效果的k和d综合参数选择方法综合考虑了故障类间和类内的离散度,是考虑到机械故障特征压缩和诊断情况下既简单又有效的方法。

(3)恒定带宽的子代能量方法可以很好地构造柴油机振动信号的特征向量空间,使用基于同种故障类型特征参数间方差最小的子带数目选择方法可以得到适合的子带划分数目。

(4)使用LLE算法得到柴油机故障样本特征提取后的特征样本得到良好的类别可分性,有利于分类器的构造,分类精度高,有利于后续的机械故障诊断的进行。从样本分布比较可以看出使用LLE进行特征提取要明显优于传统的PCA方法。

(5)基于LLE算法的增量式学习方式充分考虑了LLE算法内在特征。对柴油机机械故障振动信号进行增量式学习的结果表明,这种增量式学习算法在机械故障诊断领域具有很强的实用性。

参考文献

[1] Chang H,Yeung D Y.Locally linear metric adaptation with application to semi-supervised clustering and image retrieval.Pattern Recognition,2006;39(7):1253—1264

[2] 郑洁.一种改进的LLE算法.湖南理工学院学报(自然科学版),2007;20(3):30—32Zheng Jie,One improved LLE method.Journal of Hunan Institute of Science and Technology(Natural Sciences),2007;20(3):30—32

[3] 刘嘉敏,周晓莉,朱晟君,等.基于LLE及其改进算法的人耳识别.光电工程,2012;39(12):132—137Liu Jiamin,Zhou Xiaoli,Zhu Shengjun,et al.Ear recognition based on locally linear embedding and its improved algorithm.Opto-Electronic Engineering,2012;39(12):132—137

[4] 徐蓉,姜峰,姚鸿勋.流形学习概述.智能系统学报,2006;1(1):44—51Xu Rong,Jiang Feng,Yao Hongxun.Overview of manifold learning.CAAI Transactions on Intelligent Systems,2006;1(1):44—51

[5] Sam T R,Lawrence K S.Nonlinear dimensionality reduction by locally linear embedding.Scienc,2000;290(5500):2323—2326

[6] 蒋全胜,李华荣,黄鹏.一种基于非线性流形学习的故障特征提取模型.振动与冲击,2012;31(23):132—136Jiang Quansheng,Li Huarong,Huang Peng.A fault feature extraction model based on nonlinear manifold learning.Journal of Vibration and Shock,2012;31(23):132—136

改进LLE 篇3

掌纹识别的难点和热点是掌纹特征的提取, 当前掌纹特征提取的方法主要有:基于结构特征的方法;基于子空间的方法, 如PCA[2], LDA[3]等算法;基于纹理特征的方法, 如HOL[4], LBP[5]等。基于子空间的方法处理过程简单, 可达到较高的识别率, 有着广泛应用, 目前应用于掌纹识别的多为线性子空间方法, 并未考虑图像的非线性特征。为了更好地提取掌纹的非线性特征, 本文提出了Gabor小波变换和局部线性嵌入 (LLE) 的掌纹特征提取算法, 充分利用了掌纹图像的多尺度特征, 提升了特征数, 利用非线性的局部线性嵌入算法, 提取主元, 提高识别率。

1 多尺度分解和局部线性嵌入算法

1.1 Gabor多尺度变换

Gabor小波在时域和频域均具有较好的分辨能力, 能有效地提取图像多尺度下的局部方向特征[6], 在图像处理和模式识别领域有广泛的应用。本文选择的二维Gabor小波核函数如下

通过对图像I (x, y) 和Gabor小波核函数Ψu, v (x, y) 卷积, 即可得到不同尺度和方向下的Gabor小波分量, 计算过程如下

1.2 局部线性嵌入算法

局部线性嵌入 (LLE) 算法是一种基于流行学习的非线性降维方法, 由S T Roweis等人[7]提出。该算法是用局部的线性逼近整体的非线性, 能够使降维后的数据保持原有的拓扑结构, 具有平移、旋转和伸缩不变性, LLE算法既有线性降维算法速度上的优点, 又具有处理非线性数据的特点, 已成功应用于人脸识别、表情识别等领域[8,9]。

LLE算法通过构造高维数据集xi的K个邻近点, 假定局部邻域内数据点是线性的, 邻域内的任一点均可由局部邻近点来线性重建, 重建的误差函数为

式中, W为重建权重, 是一个N×N维的对称矩阵;xij (j=1, 2, …, k) 为xi的K个邻近点;wji是xi与xij之间的权值。给定约束条件: (1) 每个数据点只能通过其的邻近点构造, 即当某个数据点不是邻近点时wij=0。 (2) 权值矩阵中各行的元素之和为1, 即。在这两个约束条件下即可对重建误差函数ε进行最小值计算, 得到最优重构权值wij。

LLE算法构建邻域保留映射把高维观测项xi映射成某流行上的低维向量yi。该映射在保持wij不变情况下, 使目标嵌入误差函数 (4) 的值达到最小, 求得的yi即为所求高维xi在低维的流行映射

2 Gaboer和LLE融合的掌纹识别算法

2.1 ROI提取

对掌纹库里的掌纹图像进行高斯滤波、二值化、中值滤波、边缘提取效果依次如图1所示, 之后利用轮廓特征点法[10]和最大内切圆法[11]提取手掌ROI, 效果如图2所示。

2.2 光照和滤波处理

为了提高图像对光照的鲁棒性, 要对图像进行光照和滤波预处理, 步骤如下:

步骤1对图像进行γ校正, 用以抑制高亮和增强高暗像素点, 如式 (5) 所示。

步骤2对图像进行差分高斯滤波, 消除图像阴影以及高频和低频噪音干扰。其过程为将图像矩阵与差分高斯滤波函数G (x, y) 做卷积运算, 如式 (6) 所示。参数设置:A1, A2为1.0, σ1为2.0, σ1为1.0。

步骤3对图像进行对比度均衡化, 使图像局部特征更加明显。如图3所示, 可明显看出光照预处理较大程度上消除了光照的影响, 纹理特征更加突出。

2.3 Gabor小波多尺度分解和LLE降维

在此选择σ=1.8π, 选取5个尺度, 4个方向, 即v=0, 1, …, 4, u=0, 1, 2, 3。通过对掌纹图像I (x, y) 和Gabor小波核函数Ψu, v (x, y) 卷积。由此, 每幅图像提取20个复系数的Gabor纹理特征, 取模, 然后将每个特征向量化, 并依次组成矩阵, 实现多尺度的图像分解, 特征维度为128×128×20=32 768。对经过光照和滤波预处理的输出图片进行5个尺度, 4个方向的分解。

LLE降维的步骤: (1) 配K个近邻点。 (2) 由K个近邻点线性重构样本点, 计算重构权值矩阵W, 使得重构误差最小。 (3) 由样本点的重构权值矩阵和邻近点计算降维后矩阵。这里选取K=8, 从下文的实验数据可知, 降维保留维数为190匹配率最高。

2.4 匹配算法

掌纹匹配是对掌纹库中所有的图像进行搜索, 找到与测试掌纹最为匹配的图像。匹配验证时依靠计算测试样本的特征矩阵X和训练样本的特征矩阵X'的欧几里德距离D, 如式 (7) 所示, 当D小于匹配阈值时认为匹配成功, 否则认为不匹配

3 实验和分析

本文实验的硬件是Intel酷睿双核处理器, 2 GB内存, 软件环境是Windows XP和Matlab 2007a。使用香港理工大学Poly U掌纹库进行测试。实验1、实验2、实验3的测试方法为:选取100个人的手掌样本图, 每个样本有6张图片, 选取任意3张为训练样本, 剩下3张为测试样本, 类内最小距离小于类间最小距离, 且小于匹配阈值, 即为匹配成功, 否则认为平匹配不成功, 计算平局匹配率。

实验1LLE不同维度、预处理和匹配率的关系理论上LLE降维后的维度越高保存的特征也就越多, 但过多的特征对分类无益, 反而会影响识别率, 同时增加特征维数识别速度也将下降。图5给出了经过光照、滤波预处理和未经过预处理情况下, 主元维度和识别率的关系, 两个测试数据都是在特征点法提取的ROI区域上得到的, LLE近邻点数K=8。可看出当保留维数为190时, 识别率最高为99.667%。经过光照和滤波预处理后, 匹配率平均提高了约10%, 验证了本文提出的预处理方法可以有效地抑制光照不均的影响, 提高匹配率。

实验2不同ROI提取方法对匹配率的影响。本文提出分别利用特征点法和最大内切圆法提取了手掌ROI, 并实验验证了不同方法提取的ROI与对匹配率的影响, 通过实验发现, 基于特征点的ROI区域的匹配率普遍高于基于最大内切圆的方法, 最大内切圆法所获取手掌区域大、干扰也多, 影响识别精度。

实验3不同算法的识别率比较。为验证本文方法的有效性, 选取PCA, Gabor+PCA, Gabor+LDA, LLE算法和本文算法进行比较。为了在同等情况下实现比较, 上述算法中的Gabor全部选取4个方向, 5个尺度, 所有LLE都选取8个近邻点, 保留维数190, 所有的PCA都保留99%特征, 利用特征点法提取ROI, 并进行光照和滤波预处理。由表1可看出, 本文算法匹配率明显高于线性子空间法, 也高于直接LLE算法。

实验4认假率和拒真率。选取100个人的手掌样本图, 每个样本有6张图片, 选取任意5个为训练样本, 剩下1张为测试样本和训练样本进行匹配, 这样总计有5×100×6/2=1 500次类内匹配, 599×600/2-1 500=178 200次类间匹配, 统计出认假率和拒真率, 如图6所示, 在拒真率为48.7%和识误率为7.7%的情况下识别率可达98.8%。

4 结束语

本文将LLE算法应用于掌纹识别, 先利用Gabor小波掌纹多尺度特征, 再利用LLE算法进行降维处理, 提取主特征, 利用欧式距离进行分类判别。由于掌纹信息的非线性特性, 使LLE算法的效果优于传统PCA, LDA等线性降维方法。实验表明在参数设置合理的情况下能够达到较高的识别率。

摘要：为了更好地提取掌纹图像的非线性特征, 文中提出一种基于Gabor小波变换和局部线性嵌入的掌纹识别算法。通过提取ROI进行光照和滤波预处理, 之后进行Gabor小波变换, 提取掌纹图像的多尺度特征, 利用非线性的LLE算法提取主元, 用最近邻方法进行分类。通过Poly U掌纹库进行验证, 比较了预处理、不同ROI提取方法、LLE算法的参数对识别率的影响。实验表明, 此方法相比于传统的线性降维算法以及单独的LLE算法在识别率上均有所提高。

改进LLE 篇4

给定数据集合X={x1,x2,…,xN},包括N个实值向量,向量的维数为D,且这些数据采样于某个潜在的光滑流形。采样数据点要求足够多,每个采样数据点及其邻点都落在该潜在流形的一个局部线性块上或该块附近。用每个数据点的邻点集重构该点会得到一组线性系数,然后用这组线性系数就可以刻画流形的局部线性几何性质。最简单的方法是采用欧氏距离来确定每个数据点的K个邻点。总的重构误差由如下的代价函数确定ε(W)=权值矩阵为一个N×N维的对称矩阵,权值Wij表示第j个数据点对第i个数据点的重构所具有的贡献[1]。要求出权值Wij,需要最小化具有如下两个约束条件的代价函数:

(1)每个数据点只能由它的K个邻点重构,即若第j个数据点不是第i个数据点的邻点,则Wij=0;

(2)权值矩阵各列的元素之和为1,即具有这两个约束的最优权值可以通过解一个最小二乘问题得到。

由约束条件1,重构代价函数可以写为:然后,LLE构建邻域保留映射把高维观测向量xi映射成某流形上的低维向量yi。这一映射过程首先选择d维坐标yi,然后保持Wij不变,通过优化yi使下面的嵌入代价函数目标值达到最小φ(Y)

2 ISOMAP原理

Isomap的关键步骤在于如何计算样本点之间的测地距离。在Isomap中,测地距离的近似计算方法如下:样本点xi和它的邻域点之间的测地距离用它们之间的欧氏距离来代替;样本点xi和它邻域外的点用流形上它们之间的最短路径来代替,如下:

(1)选取邻域,构造邻域图G。计算每个样本点xi同其余样本点之间的欧氏距离。当xj是xi的最近的K个点中的一个时,认为它们是相邻的,即图G有边xixj(这种邻域称为K-邻域);或者当xi和xj的欧氏距离d(xi,xj)小于固定值ε时,认为图G有边xixj(这种邻域称为ε-邻域)[2]。设边xixj的权为d(xi,xj);

(2)计算最短路径。当图G有边xixj时,设最短路径dG(xi,xj)=d(xi,xj);否则设dG(xi,xj)=∞。对l=1,…,N,dG(xi,xj)=min{dG(xi,xj),dG(xi,xl)+dG(xl,xj)}。

这样可以得到最短路径距离矩阵DG=[dG2(xi,xj)]iN,j=1,它由图G的所有样本点之间的最短路径的平方组成;

(3)计算d维嵌入。将MDS应用到距离矩阵DG。记

B=-(I-1NT1N/N)DG(I-1N1NT/N)/2。

B的最大d个特征值λ1,…,λd以及对应的特征向量u1,…,ud所构成的矩阵为U=[u1,…,ud],那么Y=diag(λ11/2,…,λd1/2)UT是d维嵌入结果[3]。

3 LLE和ISOMAP的效率与对比

因MATLAB软件具有处理矩阵及编写程序效率高的优势,故用MATLAB7.1软件进行程序计算。

3.1 瑞士卷(Swiss Roll)数据集

(1)数据点个数为800,即X=800;降维后的目标维数均为2维,即d=2;在使用近邻构造邻域图时,K=8,12。

从表1中可以看出,选取的邻居点数不同,降维后的低维空间数据点关系会有所不同,并且邻居点数越多,计算的时间越长。

(2)数据点个数为800、1 600和3 200,即X=800,1 600,3 200;降维后的目标维数均为2维,即d=2;在使用近邻构造邻域图时,K=8[4]。

表2中,处理1 600个数据点的时间是处理800数据点的时间的3.601倍,处理3 200个数据点的时间是处理800数据点的时间的3.807倍。

3.2 双峰(twin peaks)数据集

(1)数据点个数为800,即X=800;降维后的目标维数均为2维,即d=2;在使用近邻构造邻域图时,K=8,12。

(2)数据点个数为800、1 600和3 200,即X=800,1 600,3 200;降维后的目标维数均为2维,即d=2;在使用K近邻构造邻域图时,K=8。

对比表3和表1,表4和表2可以看出,在条件相同的前提下,LLE处理不同的数据集的效率相近。

4 ISOMAP的降维效果与效率

4.1 瑞士卷(Swiss Roll)数据集

经过LLE的效率比较,我们发现不需要进行多次运行,每次的时间差不多,相处不超过1s[5]。所以对于ISOMAP的效率实验,将会采取每种条件只运行一次的办法。

在图1中,对于(a)图的数据集的计算时间是55.819 s,(c)图的数据集的计算时间是455.437 s。可以看出ISOMAP的运算时间比较长,效率并不高。

5 结论

使用瑞士卷作为测试数据,样本数为800,近邻数为12个。使用LLE和ISOMAP将以上数据集从三维降到二维,获得处理的时间分别为0.895 2 s和55.819 s。样本数增加至1 600,获得处理的时间分别为3.103 3 s和455.437 s。由处理时间可知LLE的处理时间优于ISOMAP的处理时间。

摘要：局部线性嵌套和等距流形映射是两个基本的非线性降维方式,各自的优点和不足在人脸识别上值得做出深入的对比研究。因此对比测试这两种降维方式在不同参数下的执行效率,分析和总结这两种降维方式的适用特点和范围,选择局部线性嵌套和主成分分析,通过应用于人脸识别中,并总结人脸识别的识别率。

关键词：非线性降维,局部线性嵌套,等距流形映射,人脸识别

参考文献

[1]王泽杰.两类非线性降维流形学习算法的比较分析.上海工程技术大学学报,2008;22(1):54—59

[2]王自强,钱旭,孔敏.流形学习算法综述.计算机工程与应用,2008;44(35):9—12

[3]刘庆.半监督的手写体识别.合肥:中国科学技术大学,2008

[4] Varini C,Degenhard A,Nattkemper T W.ISOLLE:LLE with geodesicdistance.Neurocomputing,2006;35(17):1768—1771

改进LLE 篇5

故障识别的基础在于特征提取[1], 有效故障信息的获取是特征提取的关键。Sugamaran等[2]通过提取信号时域特征来实现滚动轴承故障诊断;Kankar等[3]利用连续小波变换求取能量熵作为故障特征, 实现球轴承的故障诊断;Liang等[4]利用PCA提取故障特征信息, 实现旋转机械早期故障的FCM识别。上述特征提取方法主要用于提取线性故障信息, 然而在实际识别过程中有些非线性信息并不能完全获得, 由此引入了非线性的流形学习方法来提取故障特征信息。

流形学习作为一种非线性的维数约简学习方法, 从其理论提出开始, 经过大量的研究发展, 提出了一系列的改进算法且得到广泛应用[5,6,7], 在故障识别领域也得到了一定的应用。蒋全胜等[8]将拉普拉斯映射引入故障诊断领域, 利用拉普拉斯特征映射提取故障数据的内在信息, 改善了故障识别的分类性能。Huang等[9]提出了一种鲁棒流形学习方法并应用于机械故障监测与诊断。流形学习从非线性的角度得到数据集的内在结构, 能更有效地提取故障特征敏感信息。

故障信号一般都含有复杂的信息成分, 采用单个的时频域特征并不能完全地表示出故障信号, 因此本文在故障特征提取基础上, 结合流形学习中局部线性嵌入 (locally linear embedding, LLE) [10]算法进行二次特征提取获得新的低维特征集, 进一步将二次特征集与原始高维特征集进行融合处理作为故障识别的特征参数集, 最终实现故障的精确识别。

1 故障信号特征提取

旋转机械故障特征提取是提高其诊断正确性的关键, 常见的故障特征包括时域特征与频域特征, 时域特征参数主要包括波形指标、峰值指标、脉冲指标、裕度指标、峭度指标等, 频域特征参数主要是基于频域或时频域分析方法进行特征提取的结果, 包括傅里叶变换、小波分析等常见的信号处理方法, 这些特征参数在故障诊断过程中已经得到普遍应用。本文选择时域幅值统计参数和小波分析结果作为故障信号的描述特征, 分别提取时域5个特征参数和时频域6个特征参数用于机械故障识别。特征参数具体表示如下:

(1) 时域特征参数。时域特征参数波形指标、峰值指标、脉冲指标、裕度指标、峭度指标的计算方法如表1所示。

(2) 时频域特征参数。对故障信号利用db4小波进行5层小波分解, 根据小波分解得到的各频带成分进行能量提取, 共得到5个高频成分与1个低频成分的频带能量值, 即6个时频域能量参数。

2 基于LLE特征融合的故障识别方法

流形学习能够有效地对故障信号的非线性信息进行描述, 流形学习LLE算法的基本思想是将全局非线性转化为局部线性, 数据集中任意一点都可以用其邻近点的线性组合来表示, 对每个局部进行线性维数约简, 进一步将约简结果根据规则予以组合得到低维的全局坐标, 最终实现数据集的非线性维数约简。

特征级融合根据原始信息先进行特征提取, 然后对特征提取结果进行融合处理。特征级融合能够针对决策分类选择合适的特征信息, 从而使决策分类更精确。

根据LLE算法与特征级融合提出基于LLE特征融合的故障识别方法, 首先对故障信号进行特征提取, 然后利用流形学习LLE算法对原始特征集进行二次特征提取, 进一步将两种特征集融合, 融合特征集涵盖了信号的线性和非线性信息, 最后对融合特征集进行故障识别。识别方法流程见图1。

识别方法具体步骤如下:

(1) 原始特征提取, 见表2。 (1) 提取特征集T1———时域特征参数; (2) 提取特征集T2———时频域特征参数; (3) 将特征集T1与特征集T2组合获得原始特征集T。见表2。

(2) 基于LLE的二次故障特征提取。 (1) 设由步骤 (1) 获得的原始特征集T={y1, y2, …, yi, …, yM}, 其中, M为数据点个数, 选取邻域值k, 确定每个数据点的邻域。 (2) 对每个数据点yi, 由其邻域关系, 计算线性重构系数wij, 使得

(3) 以矩阵M= (I-W) T (I-W) 最小的第2个至第d+1个 (d为本征维数) 特征向量作为低维空间表示, 从而获得原始特征集的二次特征提取结果U。

(3) 特征融合处理。 (1) 步骤 (1) 得到的原始高维特征集T={T1, T2, …, Ti, …, TM}, Ti∈RD, 其中, D为特征集数据维数, M为特征集数据个数。 (2) 步骤 (2) 得到的LLE二次特征集为U={U1, U2, …, Ui, …, UM}, Ui∈Rd, 其中, d为二次特征集数据维数。 (3) 将高维原始特征集与低维二次特征集融合成新的特征集V={V1, V2, …, Vi, …, VM}, Vi∈R (D+d) , (D+d) 表示融合特征集的数据维数, 融合集V涵盖了故障信号的二次非线性特征信息与原始的故障特征信息。

(4) 故障分类识别处理。 (1) 将提取的融合故障特征样本分为训练样本和测试样本。 (2) 以融合特征作为KNN分类特征参数, 进行故障分类识别。

3 仿真信号分析

仿真信号分别模拟三类故障, 包括质量不平衡、转子不对中及联轴节不对中, 根据三类信号的主要故障频率成分所对应的幅值大小, 按照4d B的信噪比添加噪声信息e (t) , 得到含噪信号, 数学表达式如下:

其中, 信号x1代表质量不平衡故障;信号x2代表转子不对中故障;信号x3代表联轴节不对中故障。

设采样频率为1024Hz, 采样长度为1024, 每类信号采样40组样本, 其中10组用于训练, 30组用于测试。

按表2所示提取信号样本原始特征集以表征三种信号模式, 进一步对原始特征集分别采用基于LLE和PCA的特征融合识别处理。LLE算法参数设置如下:本征维数选取d=7;对于邻域参数的选择, 采用基于残差的邻域选取准则, 选取邻域参数k=12。PCA取前5维作为主分量。分别将LLE和PCA二次提取特征集与原始特征集进行融合处理得到融合特征集。分类识别采用KNN法, 邻域参数选取K=7。采用的四种识别特征集分别为LLE融合特征集、PCA融合特征集、故障信号原始特征集和LLE二次提取特征集。

故障识别精度定义为

式中, NT为故障样本准确识别数, N为故障样本数。

定义三种故障模式识别精度的均值为平均识别精度, 仿真信号故障识别结果如表3所示。

%

由表3中的故障识别精度可知:在KNN分类识别下, 采用基于LLE的特征融合方法获取的特征集识别效果要优于其他三种特征处理方法。从平均识别精度上可以看出, LLE二次特征集的识别效果优于原始特征集, 表明非线性的流形学习方法能够在保留数据集的内在特性的基础上, 提取出一些敏感的特征信息;相比于PCA特征提取, LLE通过提取非线性的特征信息来实现故障的精确识别。LLE融合特征处理能够取得最优的识别效果则证明了基于LLE的特征融合的故障识别算法的有效性, 采用特征融合的处理方法能更全面地对故障信号予以描述, 实现更精确的识别故障。

4 实际故障信号分析

齿轮箱在各类机械的变速传动中广泛使用, 其运行状况对整台机器的运转至关重要, 常见齿轮箱故障包括齿轮故障、轴承故障以及轴故障。本文实验所用齿轮箱如图2所示。齿轮箱运行状态分为三种模式:正常工况、齿间均匀磨损和非均匀磨损, 数据采集采用IMI 608A11型压电加速度传感器, 分别于齿轮箱外壳水平与垂直方向布置, 采样频率为3838.77Hz, 采样长度为4096, 每类工况分别采集40组运行振动加速度数据。

按表2所示特征提取方法分别提取故障信号的时域参数特征和时频域参数特征来表征这三种故障模式, 提取每类故障样本数目40组中的10组用于训练, 另外30组用于测试。

根据样本原始特征集分别采用基于LLE和PCA的特征融合识别处理。LLE算法参数设置如下:本征维数选取d=7;采用基于残差的邻域选取准则, 选取邻域参数k=19。PCA取前5维作为主分量。分别将LLE和PCA二次特征提取结果与原始特征集进行融合处理以得到新的故障识别特征集。故障分类识别采用KNN法, 邻域参数K=7。采用的四种特征集分别为LLE融合特征集、PCA融合特征集、初步特征集和LLE二次特征提取特征集。

齿轮箱故障识别结果如表4所示。

%

对比表4中的故障识别精度可知:采用基于LLE的特征融合处理的特征集识别效果较其他三种特征处理方法有较大的提高。从平均识别精度上可以看出, 线性的PCA特征融合处理的识别效果与原始特征集一致, 说明线性的PCA法在故障分类识别处理上存在不足, 在维数约简的同时丢失了原有的数据类别信息。LLE二次特征集的识别效果则表明非线性的流形学习方法在保留故障数据集内在几何结构的同时获取了故障的敏感特征量, 实现了故障的精确分类识别。LLE融合特征处理能够实现最优的识别效果则证明了本文提出的基于LLE的特征融合的故障识别方法的有效性, 采用特征融合的处理方法能更全面地对故障信号予以描述, 实现更精确的故障识别。

5 结论

(1) 本文提出了一种基于LLE特征融合的故障识别方法。该方法在对故障信号进行初步特征提取的基础上利用LLE算法对获得的原始特征集进行二次特征提取后, 进一步将原始特征集与二次提取特征集进行融合处理得到融合的故障识别特征。新的融合特征集涵盖了故障信号的线性与非线性信息, 能更有效地表示故障信号。

(2) 通过仿真信号和实际故障样本的识别效果对比, 可以看出本文提出的基于LLE特征融合处理的故障识别方法的有效性。相比于线性的PCA法, LLE处理能获得故障数据集的内在非线性信息;相对于原始特征集与LLE二次特征集, 采用LLE特征融合处理可将不同的故障特征描述予以融合, 实现故障信号的全面描述。基于LLE特征融合的故障识别方法在对故障数据集进行维数约简的同时能够保留数据集的内在流形, 融合处理能更有效地描述故障信号的敏感特征, 从而实现故障信号的精确识别。

参考文献

[1]钟秉林, 黄仁, 贾民平, 等.机械故障诊断学[M].北京:机械工业出版社, 2007.

[2]Sugamaran V, Ramachandran K I.Effect of Number of Features on Classification of Roller Bearing Faults Using SVM and PSVM[J].Expert Systems with Applications, 2011, 38 (4) :4088-4096.

[3]Kankar P K, Sharma S C, Harsha S P.Fault Diagnosis of Ball Bearings Using Continuous Wavelet Transforms[J].Applied Soft Computing, 2011, 11 (2) :2300-2312.

[4]Liang Wei, Zhang Laibin, Sun Xiaoyu.Study on Degradation State Recognition for Rotating Machinery Early Fault Based on PCA-FCM[C]//2011 Seventh International Conference on Natural Computation.Shanghai, 2011:1686-1690.

[5]Wachinger C, Yigitsoy M, Rijkhorst E J, et al.Manifold Learning for Image-based Breathing Gating in Ultrasound and MRI[J].Medical Image Analysis, 2012, 16 (4) :806-818.

[6]Zhang Peng, Ren Yuanyuan, Zhang Bo.A New Embedding Quality Assessment Method for Manifold Learning[J].Neurocomputing, 2012, 97:251-266.

[7]Raducanu B, Dornaika F.A Supervised Non-linear Dimensionality Reduction Approach for Manifold Learning[J].Pattern Recognition, 2012, 45 (6) :2432-2444.

[8]蒋全胜, 贾民平, 胡建中, 等.基于拉普拉斯特征映射的故障模式识别方法[J].系统仿真学报, 2008, 20 (20) :5710-5713.Jiang Quansheng, Jia Minping, Hu Jianzhong, et al.Method of Fault Pattern Recognition Based on Laplacian Eigenmaps[J].Journal of System Simulation, 2008, 20 (20) :5710-5713.

[9]Huang Yixiang, Zha X F, Jay L, et al.Discriminant Diffusion Maps Analysis:A Robust Manifold Learner for Dimensionality Reduction and Its Applications in Machine Condition Monitoring and Fault Diagnosis[J].Mechanical Systems and Signal Processing, 2013, 34 (1/2) :277-297.

改进LLE 篇6

1 局部线性嵌入 (LLE) 算法

局部线性嵌入是Sam T.Roweis等人[9,10]提出的一种能使降维后数据保持原有拓扑结构的非线性降维方法。该方法主要认为在局部意义下数据的结构是线性的, 故可以使用任意一点的邻近点的线性组合来表示该点。它是一种通过局部线性关系的联合来揭示全局非线性结构的非线性降维方法, 在保持数据的邻域关系下, 计算高维输入数据在低维空间中的嵌入流形。

LLE将高维流形分成许多小块从而保存局部性质, 之后再利用局部的线性特性来逼近全局的非线性性, 通过在低维的重新叠加和拼合提供全局结构的信息, 进而保持整体的几何性质。

给定N个输入向量

式中:xi∈RD。通过LLE算法得到输出值

式中:yi∈Rd, dD。

LLE算法归结为以下三步:

首先, 计算出每个样本点的k个近邻点。把相对于所求样本点距离最近的k个样本点规定为所求样本点的k个近邻点 (k是一个预先给定的值) 。

其次, 通过计算xi的近邻点的值, 从而得到权值矩阵w并计算样本点的局部重建权值, 使样本点的重建误差[11]最小。即求得以下最优问题

式中:为x1的k个近邻点;wij是xi与xij之间的权值。

最后, 利用权值矩阵w寻找样本集的低维嵌入Y。通过最小化重构误差和函数来实现。

为了固定Y, 可简单地对Y加以限制

式中:I表示N维单位矩阵。相应的优化问题转化为下列约束优化问题

式中:YYT=1, M= (I-W) T (I-W) 。使用拉格朗日乘子法, 解得MYT=λYT, 取关于M的最小的d个非零特征值所对应的特征向量作为低维坐标Y。

2 人脸图像相互转化方法

将一幅人脸图像从某一角度转化为对应的目标角度时需要经过一系列的变换, 首先将输入的人脸图像表示为像素灰度值的列向量形式, 选定人脸图像某角度的单帧输入人脸图像视为高维空间中的一点, 同角度训练集人脸图像视为该点的近邻点, 将问题转化为局部线性嵌入非线性降维理论中求取高维空间某点的近邻点权值问题;利用求解出的权值以及目标角度训练集人脸图像, 合成目标角度人脸图像, 最后再将合成的目标角度人脸图像表示为像素灰度值的矩阵形式。

2.1 人脸图像矩阵与向量之间的转换

人脸图像即可以用所有像素灰度值的矩阵形式来表示, 也可以用所有像素灰度值的列向量形式表示, 它们之间转换过程如图1所示。

2.2 目标角度人脸图像合成方法

2.2.1 权值求取

将输入的单帧某角度人脸图像、各个角度训练集人脸图像分别表示为所有像素灰度值的列向量形式。设输入的某角度人脸图像为IO, o为输入人脸的角度, 相同角度 (o) 训练集人脸图像TOm包括M个图像:TO1, TO2, …, TOM;

设目标角度P的训练集人脸图像TPm包括M个图像:TP1, TP2, …, TPM, 待合成的目标角度人脸图像为IP, P可以为多个角度或者姿态;

将输入人脸图像Io视为高维空间中的一点, Tom表示与输入人脸图像同角度的训练集人脸图像, 被视为Io点的近邻点, wm为该高维空间近邻点的权值, M表示与输入人脸图像同角度的训练集人脸图像的个数, 被视为近邻点个数。使用ε表示欧氏距离, 根据局部线性嵌入降维理论中近邻点的关系, 权值即为

式中:随着wm不同, ε的数值不同;当wm的值为最终权值时, ε取值为最小。根据文献[9], 权值计算公式为

式中:Z-1表示矩阵Z的逆矩阵;Zmk-1表示逆矩阵Z-1中第m行、第k列的元素;Zij-1表示逆矩阵Z-1中第i行、第j列的元素;Z'mk表示Z'中第m行、第k列的元素;ΙO为输入人脸图像的列向量形式;TOm和TOk均表示与输入人脸图像同角度的训练集人脸图像;a为对角加载常数, 随着a取值的减小, 转化后图像质量变差, 人脸个性成分增加, 共性成分减弱;随着a取值的增加, 转化后图像质量变平滑, 人脸个性成分减弱, 共性成分增加, a=50 000~1000 000;C为单位矩阵;M表示与输入人脸图像同角度的训练集人脸图像的个数;i, j, k, m均为正整数;T表示转置。

2.2.2 目标角度人脸图像的合成

利用上一步中求解出的权值以及目标角度训练集人脸图像, 根据LLE非线性降维理论, 可以反算出一个高维空间的点IP, 该点即为目标角度人脸图像向量

最后将目标角度人脸图像向量表示为像素灰度值的矩阵形式, 即将Ip转化为像素灰度值的矩阵形式, 得到转化后的角度为P的人脸图像。

3 实验及结果分析

为了验证本文所提方法的有效性, 采用专门为研究亚洲人脸识别而设计的, 包含了1 040名中国人共99 450幅头肩部图像的CAS-PEAL人脸库[12]中的部分人脸图像作为测试对象。所有图像在专门的采集环境中采集, 涵盖了姿态、表情、饰物和光照4种主要变化条件, 部分人脸图像具有背景、距离和时间跨度的变化。将本文方法与基于张量分解的方法[4,13]进行比较实验, 部分代表性结果见图2。

在权值求解过程中, 本文方法使用了局部线性嵌入非线性降维算法, 并将算法中的局部协方差矩阵进行大常数对角加载, 改进效果对比如图3所示。

从图2可以看到在转化效果方面, 本文方法在头发和人脸边缘部分的合成效果明显优于基于张量分解的方法。从图3可以看出, 在权值求解过程中经过大常数加载的图像质量明显高于未经大常数加载的图像质量。文献[5]利用改进的点点对应算法和线性物体类的原理构造正脸合成的方法, 其线性组合框架是取掉头发和人脸边缘的人脸图像, 在头发和人脸边缘部分合成效果较差, 且没有说明其方法是否可以合成正面人脸以外其他角度的人脸图像。与文献[5]相比, 本文方法可适用于包含有头发和人脸边缘等信息的人脸图像, 而且可以合成除正面人脸以外其他多个角度人脸, 例如抬头、低头等姿势。本文方法既适用于低分辨率的人脸图像, 也适用于高分辨率的人脸图像。在运算时间方面, 本文所述方法在普通计算机上合成一幅64×48大小新角度人脸图像只需几秒时间, 而基于张量分解的方法[4]需要约4~10 min时间。

4 小结

本文提出了一种简单快速的人脸图像多角度相互转化方法, 在权值求取时运用了局部线性嵌入非线性降维算法, 并将算法中的局部协方差矩阵进行大常数对角加载。实验结果表明, 本文方法克服了现有同类方法算法复杂、运算量大、最终结果不理想的问题。

参考文献

[1]闫娟, 程武山, 孙鑫.人脸识别的技术研究与发展概况[J].电视技术, 2006, 30 (12) :81-84.

[2]LI Y, LIN X.Face hallucination with pose variation[C]//Proc.the 6th IEEE International Conference Aonutomatic Face and Gesture Recognition.[S.l.]:IEEE Press, 2004:723-728.

[3]JIA K, GONGS G.Multi-modal tensor face for simultaneous super-resolution and recognition[C]//Proc.ICCV 2005.Beijing:IEEE Press, 2005:1683-1690.

[4]JIA K, GONGS G.Generalized face super-resolution[J].IEEE Trans.Image Processing, 2008, 17 (6) :873-866.

[5]陈家大, 赖剑煌, 冯国灿.一种人脸姿势判别与正脸合成的新方法[J].计算机研究与发展, 2006, 43 (8) :1477-1484.

[6]孙志远, 吴小俊, 王士同.基于多姿态人脸图像合成的识别方法研究[J].计算机工程与应用, 2008, 44 (23) :197-200.

[7]杨凡, 余水映, 周祥明.一种多角度的人脸识别方法[J].浙江师范大学学报:自然科学版, 2010, 33 (2) :128-131.

[8]管业鹏, 司靖.多角度人脸最佳视角选取方法[J].电子器件, 2011, 34 (3) :265-268.

[9]ROWEIS S, SAUL L.Nonlinear dimensionality reduction by locally linear embedding[J].Science, 2000, 22 (12) :2323-2326.

[10]马瑞, 宋亦旭.基于局部线性嵌入非线性降维的多流行学习[J].清华大学学报:自然科学版, 2008, 48 (4) :583-586.

[11]ZHANG Tianhao, TAO Dacheng, ZHAO Deli.Patch alignment for dimensionality reduction[J].IEEE Trans.Knowledge and Data Engineering, 2009, 21 (9) :1299-1313.