改进LLE算法

改进LLE算法（精选4篇）

改进LLE算法 篇1

0 引言

人脸识别仍是现阶段模式识别和计算机视觉领域的研究热点之一[1],由于人脸图像受光照、姿态、表情等影响,人脸数据是异常高维的数据。目前对高维数据的处理,有两种基本方法:一种是将高维数据映射到线性可分的高维空间中,即基于内核的技术,如支持向量机(SVM)技术[2];另一种方法是降低数据维数,虽然看似信息丢失,需要估计的参数减少,但可能会有更好的识别性能。许多线性降维方法,如主成分分析(PCA)[3]和Fisher线性判别分析(LDA)[4]是行之有效的。但是大量研究表明,人脸空间更可能是一个高维的非线性子空间,即人脸位于一个非线性流形上,因此线性降维方法不能反映人脸的非线性数据结构,不足以描述人脸特征。目前流形学习可分为全局映射和局部映射两类。前者主要有等距映射(isomap)[5];后者有局部线性嵌入(Locally Linear Embedding,LLE)[6]和拉普拉斯特征映射(Laplacian Eigenmaps)[7]。但是这些方法都没有明晰的投影矩阵,从而不能直接映射新的测试

点(该点不同于训练集合中的任何点),这个问题也被称为out-of-sample问题[8]。其中LLE有很多优点:不需要一个迭代算法,很少的参数需要进行设置,而且该方法避免了局部极小问题,具有邻域保持特性。但是该算法会出现上述所说的问题,而且属于基于重构的无监督的学习方法,效果并非最优。因此,Dick de Ridder等在LLE学习算法的基础上引入监督机制,称为SLLE[9],SLLE是以监督的方式提取人脸的非线性的流形特征,该算法分类性能优于LLE,通常情况下也会优于其他的一些映射算法,庞等人在LLE基础上,提出了一种新的基于核子空间的学习方法,即核邻域保持投影(KNPP)[10]。该方法引入一个线性变换矩阵来近似LLE,然后通过非线性核技巧在维数很高的空间里求解子空间,它可以解决 out-of-sample问题。KNPP最大的优点在于它和 LLE一样具有邻域保持特性,但是KNPP属于无监督学习方法,需要发展为有监督的方法。因此,在SLLE与KNPP算法的启发下,本文提出一种新方法,简称为IM_SLLE。

1 LLE,SLLE和KNPP概述

1.1 局部线性嵌入LLE

给定N个输入向量X=[X1,X2,…,XN],其中,Xi∈RD,通过LLE算法将得到输出值Y=[Y1,Y2,…,YN],Yi∈Rd且d≪D。无监督LLE归结为3步[6]:

1) 在高维空间中寻找每个样本点Xi的K个近邻点;

2) 由每个样本点的近邻点计算出该样本点的局部重建权值矩阵;

3) 由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值Yi。

1.2 监督局部线性嵌入SLLE

SLLE的主要目的是找到将类间结构和类内结构分开的映射,其方法是在Xi和Xj(属于不同类)加上一个距离参数,修改K个近邻点的计算方法,从而增加了样本点的类别信息。而步骤2)和步骤3)同LLE。SLLE在计算点与点之间的距离采用如下公式[9]

Δ′=Δ+αmax(Δ)Λij (1)

式中:Δ是没有考虑类别信息的欧式距离,Δ′是结合了类别信息的距离,Λij取值为0或1,当两点属于同类时,取为0,否则取1;α是控制点集之间的距离参数,α∈[0,1],α是一个经验参数。当取为0时,此时的SLLE和LLE算法相同。

1.3 核邻域保持投影KNPP[10]

给定N个输入向量X=[X1,X2,…,XN],其中,Xi∈RD,假设通过非线性映射函数Φ:X→Φ(X)把X映射到Hilbert空间F中。KNPP的目的是对F中的数据点Φ(X)=[Φ(X1),Φ(X2),…,Φ(XN)]降维,把它们映射为d维空间中的新的数据点X=[Y1,Y2,…YN],其中d≪D。

1) 求出距离每个数据点Φ(xi)最近的k个点,距离可以通过核矩阵K来计算,核矩阵K的元素为Kij=Φ(Xi)·Φ(Xj)。

2) 通过求解式(2)所示的最小二乘问题,计算Xi到它的邻域点之间的最佳重建权重Wij

undefined

3) 分解核矩阵K并计算矩阵M和Q。K=PΛPT,M=(I-W)(I-W)T,Q=PTMP,其中I表示单位矩阵。

4) 求解下面的特征值分解问题得到向量ri:Qli=liri,其中0

5) 计算向量βi并对其归一化undefined,其中i=1,2,…,d。

6) 采用undefined实现非线性降维其中n=1,2,…,d。yin表示向量yi的第n个元素。

2 改进的算法IM_SLLE

下面结合SLLE和KNPP算法,提出改进算法,步骤如下:

1) 计算每个样本点的K个近邻点

在SLLE算法中, 式(1)中的Δ采样欧氏距离得到,在本算法中通过核矩阵K来计算,K的元素为Kij=Φ(Xi)·Φ(Xj),其中Φ是引入的非线性映射函数。然后在根据式(1)计算Δ′ 从而找到K个近邻点,计算方法中已经加入了样本点的类别信息,不过可将式(1)进一步进行改进。一个理想的分类机制应最大类间差异而最小化类内差异[11],因此将SLLE中的式(1)通过减少类内距离而扩展类间距离,得到

式中:Δ通过核矩阵K计算得到的Xi和Xj之间的距离,参数δ防止当Δ较大时,Δ′ 按指数增长太快,因此δ与样本点的紧密度有关,常数ε在[0,1]之间取值,合理的取值可使不同类之间的数据更相似,以至使类间差异可能比类内差异更小。

下面分析一下改进后的特点。图1a是采用式(1)计算的Δ′ 欧氏距离从0～3线性变化,ε设为0.2。水平轴代表欧式距离Δ,纵轴代表Δ′,实线表示不同类之间距离的变化,虚线表示同类间距离的变化。从图1可以看出,在SLLE中,类间差异会随着类内差异的线性增加而增加,将不利于随后的分类识别。因为类间与类内的距离比值是不变化的,这样使嵌入数据的判别能力和泛化的能力被限制在一定的范围。另外,SLLE对数据中的噪声也是非常敏感的,具体来说,类间距离和类内距离的范围都是[0,+∞],这意味着噪声可能会改变原始的差异到中间的任何值,特别是当噪声比较强时,数据间的邻域关系可能被完全破坏。

采用式(3)所计算出的Δ′如图1b所示,这里水平轴代表核矩阵K距离Δ,其他同图1a,从图中可以看出,随着距离Δ的增加,类间差异比类内差异大,因此类间距离与类内距离的比值变得越来越大,这样克服了SLLE存在的问题,有利于分类识别。另外,当距离Δ增加时,类间差异增加快而类内差异增加慢,这表明这种算法对数据中的噪声有抑制的能力。一方面,类间距离通常是比较大的,所以如果它越小,噪声存在的可能性就越大,Δ′减小得越慢。另一方面,类间距离通常是比较小的,如果它越大,噪声存在的可能性就越大,Δ′增长得越慢。因此,随着噪声存在的可能性增加,改进算法抑制噪声的能力也逐步加强。

类间差异的范围在[1-ε,+∞],而类内差异的范围是[0,1],因此不管数据中的噪声是多么强大,类间差异和类内差异能被控制在一定的范围,这就表明该算法能限制噪声的影响。

2) 计算样本点的局部重建权值矩阵Wij

传统的LLE算法是首先定义一个误差函数并最小化[6,11],如式(4)所示

undefined

式中:Xij(j=1,2,…,k) 为 Xi的k个近邻点,Wij 是Xi 与Xij之间的权值,且要满足条件undefined。引入非线性映射函数Φ:X→Φ(X)把X映射到Hilbert空间F中,所以式(4)中Xi用Φ(Xi)代替,Xij用Φ(Xj)代替,并采用拉格朗日乘子法,得出最优重建权重矩阵Wij

undefined

通过式(5)可求出Wi (i=1,2,…,N),其他步骤同1.3节KNPP的步骤,在这里不再赘述。

3 实验结果

采用Yale人脸库对文中所提出的改进算法上进行评测。Yale人脸库包含15个人的165个灰度图像,这些图像是在不同的光照、不同表情下取得的,还分戴眼镜和不戴眼镜两种情况。如图2所示。随机选取了30幅图像(每人2幅)作为识别测试集,剩下的135幅作为训练集。首先将图像裁剪和缩放为60×60的标准。

实验中将改进算法与LLE算法、SLLE算法以及KNPP算法进行比对,分类方法都采用最近邻分类器,同时对所有的算法都采用最佳的参数,实验结果如表1所示。另外为了验证非线性算法比线性算法能更好地描述人脸的流形结构,实验增加了对LDA识别率的比对。

实验结果表明,线性算法LDA对人脸识别弱于其他非线性算法,因为非线性算法提取的特征对人脸流形的描述更加细致。在非线性人脸识别算法中,LLE算法具有邻域保持特性,但由于缺乏类别信息,效果很难达到最优。KNPP属于无监督的子空间学习方法,因为KNPP具有邻域保持特性,而且它通过利用局部信息来描述人脸的非线性流形,效果优于LLE。改进算法结合了KNPP与SLLE的优点,属于有监督的局部保持的非线性子空间学习方法,优于其他几种。这表明IM_SLLE更利用分类识别。

接下来,在预处理好的人脸图像中不同程度的加入噪声,来验证IM_SLLE算法对噪声的抑制能力,结果如表2所示,该结果是在最优参数下得到的。从表2可以看出,在不同程度的噪声下,IM_SLLE都有优于SLLE算法识别率。

4 小结

本文针对LLE,SLLE和KNPP算法各自的有缺点,提出了一种改进算法I-SLLE,该算法在LLE的基础上引入有监督的学习机制,利用δ和ε参数加入样本的类别信息,通过最小化局部数据的全局重构误差,结合核邻域保持投影,提取高维人脸数据的非线性特征。在人脸库Yale中比较了改进算法和其他的人脸识别算法,该算法有较好的识别性能。

摘要：LLE是一种无监督的非线性降维方法,广泛应用于人脸特征提取,但是该方法缺乏样本点的类别信息。提出了一种新方法,在LLE的基础上引入有监督的学习机制和增加样本点的类别信息,通过减少类内距离而增加类间距离和最小化局部数据的全局重构误差,同时结合核邻域保持投影方法(KNPP)来提取高维人脸数据的非线性特征。算法有利于分类识别,并对噪声有较好的稳健性。实验表明,该方法的识别性能优于LLE,SLLE和KNPP。

关键词：非线性降维,类别信息,监督,局部线性嵌入,人脸识别

参考文献

[1]闫娟,程武山,孙鑫.人脸识别的技术研究与发展概况[J].电视技术,2006,30(12):81-84.

[2]BURGES C.A tutorial on support vector machines for pattern recogni-tion[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.122.3829&rep=rep1&type=pdf.

[3]TURK M,PENTALND A.Eigenfaces for recognition[EB/OL].[2010-12-15].http://www.face-rec.org/algorithms/PCA/jcn.pdf.

[4]BELHUMEUR P,HESPANHA J,KRIENGMAN D.Eigenfaces vs.fisherfaces:recognition using class specific linear projecttions[EB/OL].[2010-12-15].http://cs.gmu.edu/～kosecka/cs803/pami97.pdf.

[5]TENENBAUM J B,SILVA V,LANGFORD J Ce,t al.A global geometricframework for nonlinear dimensionality reduction[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.110.6050&rep=rep1&type=pdf.

[6]ROWEIS S,SAUL L.Nonlinear dimensionality reduction by locally linearembedding[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.12.7171&rep=rep1&type=pdf.

[7]BELKIN M,NIYOGI P.Laplacian eigenmaps for dimensionality reductionand data representation[EB/OL].[2010-12-15].http://cseweb.ucsd.edu/～saul/teaching/cse291s07/laplacian.pdf.

[8]BENGIO Y,PALEMENT J,VINCENT P,et al.Out of sample extensionsfor LLE,isomap,MDS,eigenmaps,and spectral clustering[EB/OL].[2010-12-15].http://www.iro.umontreal.ca/～lisa/pointeurs/tr1238.pdf.

[9]DERIDDER D,KOUROPTEVA O,OKUN O,et al.Supervised locallylinear embedding[EB/OL].[2010-12-15].http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.5.6218&rep=rep1&type=pdf.

[10]庞彦伟,俞能海,沈道义,等.基于核邻域保持投影的人脸识别[J].电子学报,2006,34(8):1522-1524.

[11]陈高曙,曾庆宁.基于LLE算法的人脸识别方法[J].计算机应用研究,2007,24(10):176-177.

浅谈改进的LBP算法 篇2

关键词：人脸识别 局部二值模式 特征提取 最大散度差鉴别分析

3.2改进后的算法

LBP作为图像纹理表示的一种极其有效的方法，不仅能够描述出图像中的一些微小特征，包括亮点、暗点、稳定区域以及各方向边缘等，而且还能够反映出这些特征的分布情况。这些优点使得LBP特征具有极强的分类能力。但是在提取中心像素，对噪声比较敏感，特别是在近统一模式图像区域。既然图像的绝大多数区域是统一模式区域，那么在这些近统一模式区域中提高LBP算子的鲁棒性进而提高整个特征空间的分类性能是非常有意义的。为了减少光照、噪声等因素造成的局部像素灰度值的突变，在应用LBP算子前先对该像素邻域像素灰度值进行排序，使用9个像素灰度值的中间值取代中心像素的灰度值，具体计算过程如图2所示。

5.结论：为了减少光照、噪声等非理想因素对人脸识别性能的影响，提出了一种基于邻域像素灰度值中间值的局部二值模式纹理特征提取算法。在已有局部二值模式（LBP）纹理分析算法的基础上用中心像素邻域像素灰度的中间值代替该像素点的灰度值，从而使得提取到的特征对光照变化和噪声等影响更加弱化。在著名的AR和FERET人脸数据库上的实验结果表明， 该算法的识别率比传统的LBP算法有一定程度的提高。

参考文献：

[1] R.M.Makwana， Illumination Invariant Face Recognition： A Survey of Passive Methods， Procedia Computer Science， 2010， 2：101-110.

[2] X.Y.Tan， S.C.Chen， Face recognition from a single image per person： A survey， Pattern Recognition， 2006，39：1725-1745.

[3] 李晓东，费树岷.一种改进的模块2DPCA人脸识别方法[J].系统仿真学报，2009， 21（15）：4672-4675.

[4] T.Ojala， M.Pietikainen， T.Maenpaa.Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）：971-987.

[5] 赵建民，朱信忠，江小辉.基于改进型LBP特征的人脸识别方法研究[J].计算机科学，2009，36（8）： 276-280.

[6] J.Yang， D.Zhang， A.Frangi， J.Y.Yang.Two-dimensional PCA： a new approach to appearance- based face representation and recognition[J].IEEE Trans.Pattern Anal.Mach.Intell.， 2004， 26（1）：131-137.

[7] D.Zhou ， X，Yang， N.S.Peng， Y.Z.Wang， Improved-LDA based face recognition using both facial global and local information， Pattern Recognition Letters， 2006，27： 536–543.

[8] X.D.Li， S.M.Fei， T.Zhang， Median MSD based method for face recognition， Neurocomputing， 2009， 72（16-18）： 3930-3934.

[9] Martinez A R， Benavente R.The AR face database [R].Computer Vision Center （CVC）， Barcelona， Spain， Technical Report 24， 1998.

改进LLE算法 篇3

局部线性嵌入法(locally linear embedding,LLE)是一种典型的流形学习算法,LLE算法具有良好的数据降维功能,已经成功应用到图像处理等相关领域[1]。由于LLE算法具有强大的处理非线性、高维数据的能力,这恰好适应现代机械故障监测信号处理需求,这为故障诊断提供了良好的思路。

由于LLE算法对参数比较敏感,所以现在对LLE的研究集中在参数的选择和处理上。针对LLE对近邻个数较为敏感,有学者将一种Conformal-Isomap方法中的度量数据间距离的方法引入到LLE中,在人脸识别上取得较好效果[2];也有学者对样本集分布不均匀时取邻域个数k值进行了改进,应用到人耳识别中[3]。现提出了一种基于最佳分类效果的k和d综合参数选择方法,这种方法可以既简单又有效地达到算法参数预选的最佳值。机械故障诊断常需要在样本训练的基础上进行故障的增量式学习,即对新状态的判别。使用批处理的方法运算量过大,非常不实用。因此提出一种基于LLE算法的增量式学习方法,充分考虑了LLE算法本身的优良特征,在柴油机机械故障振动信号的处理上取得良好效果。

1 LLE算法分析

LLE的核心思想是高维空间数据集的邻域关系与嵌入在高维空间的低维流形上的对应数据集的邻域关系保持不变[4]。算法假定数据的结构在局部范围内是线性的,任意一个数据点可以由邻域内点的线性组合表示,并且这种线性组合在降维后继续保持。LLE算法的计算过程可以分为三步[5]。

(1)在高维空间数据集中,寻找每个样本点xi的k个近邻点。近邻的选择一般采用欧式距离来衡量,记样本点xi的第j个近邻点为xij(j=1,2,…,k)。

(2)由每个样本xi的近邻点计算该样本的局部重建权值矩阵W,使重构误差函数ε(W)达到最小,即

当xj不属于xi的邻域时wij=0,并且。求解局部重建权值矩阵W的过程就是求解带约束的最小二乘问题。

(3)在低维空间中重构原始数据点,得到低维空间Y中的最优构造点,使低维空间重构误差Φ(Y)达到最小,即

式(2)中,yij(j=1,2,…,k)是yi的第j个近邻点。需要满足:是d×d单位阵,d是数据降维后的维数。这一步的优化问题可以通过对矩阵M=(I-W)T(I-W)的特征值分解得到。

从算法的思路可以看出,LLE算法的计算核心就是求解式(1)和式(2)的两个优化问题。

2 基于最佳分类效果的k和d综合参数选择方法

根据LLE算法的原理,邻域因子k和嵌入维数d是算法中需要提前确定的非常重要的参数。参数选择得过大或过小都不利于算法的运行,甚至产生错误的特征提取结果。所以必须选择最佳的参数组合才能使LLE算法得到较好的特征提取效果。

2.1 方法原理

LLE算法能提取出原始数据基于流形之上的本质特征。假设机械设备在不同故障状态运行中的信号特征具有不同的流形。最优分类效果即是使故障类内离散度最小,故障类间离散度最大。将k和d两个参数同时根据最佳分类效果选择,搜索最优参数值。

设故障检测信号特征向量集合为X={x1,x2,…,xi,…,xN},包含了N个特征向量。设有C种故障类型,其中代表某种故障类型的特征向量数为nj(j=1,2,…,C),则n1+n2+…+nC=N。通过LLE算法对原始信号特征向量集合进行特征压缩后的各个故障类型的特征向量集合为Yj={y1j,y2j,…,yij,…,yjnj},j=1,2,…,C。其中xiRD,yijRd,D>>d,D和d分别为特征压缩前后特征向量的维数。

同一故障类内的离散度矩阵LWj为

式(3)中,LWj是d×d方阵,mj是同一故障特征向量均值矢量。

总的故障类内离散度矩阵LW为

故障类间离散度矩阵LB为

式(6)中,LB是d×d方阵,m是通过LLE特征压缩后所有特征向量的均值矢量。

根据最佳分类效果的原理,可以定义分类效果综合值v为。

基于最佳分类效果的参数k和d的综合选择方法就是在一定的范围内不断搜索,使分类效果综合值v达到最大。

2.2 实现步骤

根据最佳分类效果准则,综合搜索参数邻域因子k和嵌入维数d的最佳值,基本步骤如下。

(1)根据算法原理初步设定邻域因子k和嵌入维数d的取值范围。

(2)选择一组k和d的参数值,运行LLE算法得到降维后的数据集Y。

(3)对数据集Y,运用式(8)计算对应的分类效果综合值。

(4)重复(2)和(3)步骤,计算所有参数组合的分类效果综合值。

(5)选择最大的分类效果综合值对应的参数值,即是最佳参数值。

3 增量式LLE方法

机械故障诊断在对未知状态进行特征压缩的过程中,会产生新的特征向量。如何避免批处理的方法,充分利用原有的故障特征压缩与诊断信息,对新样本进行快速识别,需要用到增量式的故障诊断方法。因此提出一种增量式LLE方法可以快速准确地实现新样本的特征压缩与诊断。

设原始训练特征向量集合为X={x1,x2,…,xi,…,xN},xiRD。N是特征向量的个数,即数据的个数;D是特征参数的个数,即数据的维数。经过LLE算法数据降维后的特征向量为Y={y1,y2,…,yi,…,yN},yiRd,d是降维后的数据维数,D>>d。经常遇到的问题是:如果增加一个新的样本特征向量xN+1RD,如何获得此样本特征向量降维后的特征向量yN+1Rd。为了求解这样的问题提出一种增量式LLE算法,这种算法可以利用已经得到的计算结果或中间结果,无需对整个数据集重新计算,即可以获得对新样本特征集的识别。

增量式学习要能监测到数据流的渐变过程,发现流形结构的演化过程[6]。由于LLE算法的基本思想是基于局部线性特征保持,也就是说降维后的特征空间保留了高维空间中的局部拓扑结构特性。所以就可以假设新加入数据点仅仅影响了领域内的局部流形结构,对全局的影响不大。

增量式LLE方法主要包含三个步骤。

(1)寻找新样本特征向量的近邻点。根据LLE步骤的第一步寻找xN+1的k个近邻点为xjN+1;(j=1,2,…,k)。

(2)求近邻点与新样本特征向量的权重系数。根据式(1)计算xN+1与其近邻点的权值系数ωN+1j;(j=1,2,…,k)。

(3)求新样本特征向量对应的降维后的点。已知xN+1的k近邻点xjN+1;(j=1,2,…,k)对应的降维后的低维数据点为yjN+1;(j=1,2,…,k)。根据LLE降维后的特征空间保留了高维空间中的局部拓扑结构特性的基本原则,则xN+1降维后的数据点yN+1为

式(9)保证了每一个特征向量在集合X和集合Y中的近邻权重不变。

4 改进LLE算法在柴油机故障特征压缩与诊断中的应用实例

4.1 LLE算法在机械故障特征压缩与诊断应用原理

在机械故障诊断中,故障样本的特征提取是重要而又困难的一步。故障样本的特征提取一般分为两个方案:第一就是从故障样本中直接选择一组特征集构造特征空间。但是由于现在机械故障状态的复杂和多样性,能够反映故障特点的特征空间变得极其庞大,故障信号具有高度非线性的约束关系,利用现有的线性变换的机械故障诊断方法具有很大的局限性。第二就是把原始的特征空间进行简约,进行数据降维,就是进行特征压缩。有效的特征压缩要求提取出有利用故障分类的信息,以便于后续的机械故障诊断处理。

采用LLE算法进行机械故障特征提取是一个可行的思路。LLE通过非线性映射使输出特征空间与输入特征空间保持局部拓扑结构不变,将原始特征空间的全局非线性看作局部线性。可以挖掘嵌入在高维故障数据中的几何分布特征,从而区分不同故障数据类型。基于LLE算法的机械故障特征压缩与诊断过程可见图1。现通过柴油机故障实验来验证LLE算法在机械故障特征压缩与诊断中的效果。

4.2 柴油机故障实验与信号采集

实验在4135型柴油上进行。主要由柴油机运行状态监测系统,A/D转换,数据采集及计算机构成。监测信号由三路构成:两路振动信号和一路上止点信号。两路振动信号由安装在柴油机缸盖和机身表面的加速度传感器产生,经过电荷放大器转换成电压信号。上止点信号是一个脉冲信号,当曲轴每转至上止点位置时由位移传感器产生。图2是柴油机运行状态信号采集硬件配置框图。

4.3 基于子带能量的特征向量空间构造方法

特征空间的构造直接影响了流形学习的降维效果。要针对故障信号的基本的特征提取信号最敏感的特征性质。要尽量多提取敏感信息,但是也要避免不必要的特征,避免算法的复杂性。各频率成分信号的能量是振动信号的最基本特征,包含着丰富的故障信息。恒定子带选取方法是子带能量分析法的一种子带选取方法,这种方法把一个分析频带平均分成若干个子频带,然后再计算每个子频带的能量[7]。这种方法简单易行,选取合适子带数目或子带宽度,可以取得良好的故障诊断效果。通过对柴油机机身不同故障振动信号频谱的观察分析,现选用恒定带宽的子代能量特征构造方法。

4.3.1 恒定子带能量特征提取

设选取的子代数目为m,子带的宽度为Δf,分析频带的上限频率为f0,下限频率为fm,则有

设频谱分辨率(频率间隔)为δ,各个子带内的谱线条数为n,则有

设Mj是第i个子带中的第j个谱条的幅值,第i个子带的能量Ei

4.3.2 基于同种故障类型特征参数间方差最小的子带数目选择方法

子带数目选取过少(子带宽度选取过大)时振动信号能量的区分不明显,子带数目选取过多(子带宽度选取过小)时不仅使计算量过大,还会错过最佳的能量区分区段。所以子带数目或子带宽度的选择是恒定子带能量特征提取方法成功与否的关键要素。由于判断是否是一类故障的根本思路是考虑相同特征的相似程度。在降维之前,每维特征具有独立的物理意义。所以提出一种基于同种故障类型特征参数间方差最小的子带数目选择方法,该方法首先计算每个特征参数的方差为Si,再计算类内特征参数方差的平均值Aj,最后计算类间特征参数方差的平均值S。当S最小时即取得子带数目的最佳值。

设子带内的数据点有R个,能量值为Eik,平均值为Pi,选取的子带数目(特征参数数目)为m,训练数据集的故障类数为C。

则每个特征参数的方差Si;(i=1,2,…,m)为

类内的特征参数方差平均值Aj;(j=1,2,…,C)为

类间特征参数方差平均值S为

基于同种故障类型特征参数间方差最小的子带数目选择方法就是在一定的范围内不断搜索,使类间特征方差参数平均值S达到最小。

4.4 改进LLE算法在柴油机故障特征压缩与诊断的应用与结果分析

实验中共有4种柴油机机械故障,分别是进气门间隙过大、进气门间隙过小、排气门间隙过大、连杆瓦磨损。每种故障状态采集25个样本,共100个样本。

对这100个样本进行快速傅里叶变换得到信号的频谱。根据节4.3.2提到的同种故障类型特征参数间方差最小的子带数目选择方法,得到最佳子带数目m=20。再根据节4.3.1提到的恒定子带能量特征提取方法,构造出故障检测信号特征向量集合X={x1,x2,…,xi,…,x100},xiR20。由于信号特征向量集合有20维,每类故障信号有25个,因此,选择邻域因子k的预选范围为[2,15],嵌入维数d的预选范围为[2,5]。根据本文第2节提到的基于最佳分类效果的k和d综合参数选择方法,可以得到k和d的最佳取值均为3。

根据参数选择得到的k和d值,使用LLE算法得到特征压缩后的样本分布,如图3所示。从图中可以看出,四类故障得到良好的类别可分性,有利于分类器的构造,分类精度高,有利于后续的机械故障诊断的进行。

为了比较基于最佳参数选择的LLE算法在故障特征提取中的优越性,使用传统的PCA算法对同一实验样本进行分类(同样取嵌入维数d为3维),得到图4为特征压缩后的样本分布图。从图中可以看出,通过PCA特征提取的样本分布,类与类之间分类不是太清楚,类间样本太过分散,不利于分类器的构造。所以基于最佳参数选择的LLE特征压缩效果要优于传统的PCA特征压缩方法。

为检验增量式LLE算法的特征压缩与诊断能力,再采集20个样本作为新增样本(其中每个故障各有5个新增样本)。用节4.3方法对这20个样本构造特征向量空间。用节3提到的增量式LLE算法进行特征压缩。新增20个样本的特征向量空间特征压缩后的样本分布结果如图5。新增样本的特征压缩后的特征向量值如表1所示。其中故障一到故障四依次是:进气门间隙过小;进气门间隙过大;排气门间隙过大;连杆瓦磨损。可见,除个别点外,新增样本基本点都聚类到了相应的故障集上,可分性明显,有利于后续的机械故障诊断的进行。

通过以上实验分别使用基于最佳参数选择的LLE算法、PCA算法,增量式LLE算法得到三种柴油机故障特征压缩后的特征向量集合。分别取三个特征向量集合中的一半特征向量作为训练样本,一半特征向量作为检验样本。运用K近邻算法(K-nearest neighbor,KNN)进行故障诊断与分类,其检验样本的分类正确率如表2所示。可以看出基于最佳参数选择的LLE算法的诊断分类效果要优于传统的PCA方法,增量式LLE算法也取得良好效果。

5 结论

(1)LLE算法计算的本质是求解式(1)和式(2)的两个优化问题。算法需要提前确定邻域个数k和嵌入维数d,参数的选择对算法的效果影响很大。

(2)基于最佳分类效果的k和d综合参数选择方法综合考虑了故障类间和类内的离散度,是考虑到机械故障特征压缩和诊断情况下既简单又有效的方法。

(3)恒定带宽的子代能量方法可以很好地构造柴油机振动信号的特征向量空间,使用基于同种故障类型特征参数间方差最小的子带数目选择方法可以得到适合的子带划分数目。

(4)使用LLE算法得到柴油机故障样本特征提取后的特征样本得到良好的类别可分性,有利于分类器的构造,分类精度高,有利于后续的机械故障诊断的进行。从样本分布比较可以看出使用LLE进行特征提取要明显优于传统的PCA方法。

(5)基于LLE算法的增量式学习方式充分考虑了LLE算法内在特征。对柴油机机械故障振动信号进行增量式学习的结果表明,这种增量式学习算法在机械故障诊断领域具有很强的实用性。

参考文献

[1] Chang H,Yeung D Y.Locally linear metric adaptation with application to semi-supervised clustering and image retrieval.Pattern Recognition,2006;39(7):1253—1264

[2] 郑洁.一种改进的LLE算法.湖南理工学院学报(自然科学版),2007;20(3):30—32Zheng Jie,One improved LLE method.Journal of Hunan Institute of Science and Technology(Natural Sciences),2007;20(3):30—32

[3] 刘嘉敏,周晓莉,朱晟君,等.基于LLE及其改进算法的人耳识别.光电工程,2012;39(12):132—137Liu Jiamin,Zhou Xiaoli,Zhu Shengjun,et al.Ear recognition based on locally linear embedding and its improved algorithm.Opto-Electronic Engineering,2012;39(12):132—137

[4] 徐蓉,姜峰,姚鸿勋.流形学习概述.智能系统学报,2006;1(1):44—51Xu Rong,Jiang Feng,Yao Hongxun.Overview of manifold learning.CAAI Transactions on Intelligent Systems,2006;1(1):44—51

[5] Sam T R,Lawrence K S.Nonlinear dimensionality reduction by locally linear embedding.Scienc,2000;290(5500):2323—2326

[6] 蒋全胜,李华荣,黄鹏.一种基于非线性流形学习的故障特征提取模型.振动与冲击,2012;31(23):132—136Jiang Quansheng,Li Huarong,Huang Peng.A fault feature extraction model based on nonlinear manifold learning.Journal of Vibration and Shock,2012;31(23):132—136

改进LLE算法 篇4

1 局部线性嵌入 (LLE) 算法

局部线性嵌入是Sam T.Roweis等人[9,10]提出的一种能使降维后数据保持原有拓扑结构的非线性降维方法。该方法主要认为在局部意义下数据的结构是线性的, 故可以使用任意一点的邻近点的线性组合来表示该点。它是一种通过局部线性关系的联合来揭示全局非线性结构的非线性降维方法, 在保持数据的邻域关系下, 计算高维输入数据在低维空间中的嵌入流形。

LLE将高维流形分成许多小块从而保存局部性质, 之后再利用局部的线性特性来逼近全局的非线性性, 通过在低维的重新叠加和拼合提供全局结构的信息, 进而保持整体的几何性质。

给定N个输入向量

式中:xi∈RD。通过LLE算法得到输出值

式中:yi∈Rd, dD。

LLE算法归结为以下三步:

首先, 计算出每个样本点的k个近邻点。把相对于所求样本点距离最近的k个样本点规定为所求样本点的k个近邻点 (k是一个预先给定的值) 。

其次, 通过计算xi的近邻点的值, 从而得到权值矩阵w并计算样本点的局部重建权值, 使样本点的重建误差[11]最小。即求得以下最优问题

式中:为x1的k个近邻点;wij是xi与xij之间的权值。

最后, 利用权值矩阵w寻找样本集的低维嵌入Y。通过最小化重构误差和函数来实现。

为了固定Y, 可简单地对Y加以限制

式中:I表示N维单位矩阵。相应的优化问题转化为下列约束优化问题

式中:YYT=1, M= (I-W) T (I-W) 。使用拉格朗日乘子法, 解得MYT=λYT, 取关于M的最小的d个非零特征值所对应的特征向量作为低维坐标Y。

2 人脸图像相互转化方法

将一幅人脸图像从某一角度转化为对应的目标角度时需要经过一系列的变换, 首先将输入的人脸图像表示为像素灰度值的列向量形式, 选定人脸图像某角度的单帧输入人脸图像视为高维空间中的一点, 同角度训练集人脸图像视为该点的近邻点, 将问题转化为局部线性嵌入非线性降维理论中求取高维空间某点的近邻点权值问题;利用求解出的权值以及目标角度训练集人脸图像, 合成目标角度人脸图像, 最后再将合成的目标角度人脸图像表示为像素灰度值的矩阵形式。

2.1 人脸图像矩阵与向量之间的转换

人脸图像即可以用所有像素灰度值的矩阵形式来表示, 也可以用所有像素灰度值的列向量形式表示, 它们之间转换过程如图1所示。

2.2 目标角度人脸图像合成方法

2.2.1 权值求取

将输入的单帧某角度人脸图像、各个角度训练集人脸图像分别表示为所有像素灰度值的列向量形式。设输入的某角度人脸图像为IO, o为输入人脸的角度, 相同角度 (o) 训练集人脸图像TOm包括M个图像:TO1, TO2, …, TOM;

设目标角度P的训练集人脸图像TPm包括M个图像:TP1, TP2, …, TPM, 待合成的目标角度人脸图像为IP, P可以为多个角度或者姿态;

将输入人脸图像Io视为高维空间中的一点, Tom表示与输入人脸图像同角度的训练集人脸图像, 被视为Io点的近邻点, wm为该高维空间近邻点的权值, M表示与输入人脸图像同角度的训练集人脸图像的个数, 被视为近邻点个数。使用ε表示欧氏距离, 根据局部线性嵌入降维理论中近邻点的关系, 权值即为

式中:随着wm不同, ε的数值不同;当wm的值为最终权值时, ε取值为最小。根据文献[9], 权值计算公式为

式中:Z-1表示矩阵Z的逆矩阵;Zmk-1表示逆矩阵Z-1中第m行、第k列的元素;Zij-1表示逆矩阵Z-1中第i行、第j列的元素;Z'mk表示Z'中第m行、第k列的元素;ΙO为输入人脸图像的列向量形式;TOm和TOk均表示与输入人脸图像同角度的训练集人脸图像;a为对角加载常数, 随着a取值的减小, 转化后图像质量变差, 人脸个性成分增加, 共性成分减弱;随着a取值的增加, 转化后图像质量变平滑, 人脸个性成分减弱, 共性成分增加, a=50 000~1000 000;C为单位矩阵;M表示与输入人脸图像同角度的训练集人脸图像的个数;i, j, k, m均为正整数;T表示转置。

2.2.2 目标角度人脸图像的合成

利用上一步中求解出的权值以及目标角度训练集人脸图像, 根据LLE非线性降维理论, 可以反算出一个高维空间的点IP, 该点即为目标角度人脸图像向量

最后将目标角度人脸图像向量表示为像素灰度值的矩阵形式, 即将Ip转化为像素灰度值的矩阵形式, 得到转化后的角度为P的人脸图像。

3 实验及结果分析

为了验证本文所提方法的有效性, 采用专门为研究亚洲人脸识别而设计的, 包含了1 040名中国人共99 450幅头肩部图像的CAS-PEAL人脸库[12]中的部分人脸图像作为测试对象。所有图像在专门的采集环境中采集, 涵盖了姿态、表情、饰物和光照4种主要变化条件, 部分人脸图像具有背景、距离和时间跨度的变化。将本文方法与基于张量分解的方法[4,13]进行比较实验, 部分代表性结果见图2。

在权值求解过程中, 本文方法使用了局部线性嵌入非线性降维算法, 并将算法中的局部协方差矩阵进行大常数对角加载, 改进效果对比如图3所示。

从图2可以看到在转化效果方面, 本文方法在头发和人脸边缘部分的合成效果明显优于基于张量分解的方法。从图3可以看出, 在权值求解过程中经过大常数加载的图像质量明显高于未经大常数加载的图像质量。文献[5]利用改进的点点对应算法和线性物体类的原理构造正脸合成的方法, 其线性组合框架是取掉头发和人脸边缘的人脸图像, 在头发和人脸边缘部分合成效果较差, 且没有说明其方法是否可以合成正面人脸以外其他角度的人脸图像。与文献[5]相比, 本文方法可适用于包含有头发和人脸边缘等信息的人脸图像, 而且可以合成除正面人脸以外其他多个角度人脸, 例如抬头、低头等姿势。本文方法既适用于低分辨率的人脸图像, 也适用于高分辨率的人脸图像。在运算时间方面, 本文所述方法在普通计算机上合成一幅64×48大小新角度人脸图像只需几秒时间, 而基于张量分解的方法[4]需要约4~10 min时间。

4 小结

本文提出了一种简单快速的人脸图像多角度相互转化方法, 在权值求取时运用了局部线性嵌入非线性降维算法, 并将算法中的局部协方差矩阵进行大常数对角加载。实验结果表明, 本文方法克服了现有同类方法算法复杂、运算量大、最终结果不理想的问题。

参考文献

[1]闫娟, 程武山, 孙鑫.人脸识别的技术研究与发展概况[J].电视技术, 2006, 30 (12) :81-84.

[2]LI Y, LIN X.Face hallucination with pose variation[C]//Proc.the 6th IEEE International Conference Aonutomatic Face and Gesture Recognition.[S.l.]:IEEE Press, 2004:723-728.

[3]JIA K, GONGS G.Multi-modal tensor face for simultaneous super-resolution and recognition[C]//Proc.ICCV 2005.Beijing:IEEE Press, 2005:1683-1690.

[4]JIA K, GONGS G.Generalized face super-resolution[J].IEEE Trans.Image Processing, 2008, 17 (6) :873-866.

[5]陈家大, 赖剑煌, 冯国灿.一种人脸姿势判别与正脸合成的新方法[J].计算机研究与发展, 2006, 43 (8) :1477-1484.

[6]孙志远, 吴小俊, 王士同.基于多姿态人脸图像合成的识别方法研究[J].计算机工程与应用, 2008, 44 (23) :197-200.

[7]杨凡, 余水映, 周祥明.一种多角度的人脸识别方法[J].浙江师范大学学报:自然科学版, 2010, 33 (2) :128-131.

[8]管业鹏, 司靖.多角度人脸最佳视角选取方法[J].电子器件, 2011, 34 (3) :265-268.

[9]ROWEIS S, SAUL L.Nonlinear dimensionality reduction by locally linear embedding[J].Science, 2000, 22 (12) :2323-2326.

[10]马瑞, 宋亦旭.基于局部线性嵌入非线性降维的多流行学习[J].清华大学学报:自然科学版, 2008, 48 (4) :583-586.

[11]ZHANG Tianhao, TAO Dacheng, ZHAO Deli.Patch alignment for dimensionality reduction[J].IEEE Trans.Knowledge and Data Engineering, 2009, 21 (9) :1299-1313.