核主成分分析法（共7篇）
核主成分分析法 篇1
图像降噪的研究是图像处理领域的一个重要方面。基于核主成分分析的图像降噪方法是近年来出现的一种基于机器学习的降噪技术, 它将核方法引入到主成分分析方法中, 其基本思想是通过一个非线性变换将图像映射到高维的特征空间中, 在特征空间中提取线性主成分。
对于核主成分分析的图像降噪问题可以描述为:对于一个有噪声的图像样本P∈χ, 先用映射φ将其映射的特征空间中, 得到φ (P) 。然后在特征空间中将其投射到由特征空间中的L个主分量构成的子空间上, 得到PLφ (P) , 即用主成分分析对其降噪。最后, 问题的关键在于, 如何将已在特征空间中降噪的样本嵌入回原来的空间中, 在原空间中找到降噪后的样本, 即求出P∈χ, 使得φ (P) =PLφ (P) 。该问题的难点在于, 由于原始空间和特征空间一般不是同构的, 并且特征空间一般是有更高维数的空间, 映射φ的逆是不存在的, 因而, PLφ (P) 在原空间中的重构点P的其精确解是不存在的。但是有一些求解出其近似解的方法, 1999年S.Mika和B.Schölkof等人采用梯度下降法[1]来寻找原像, 但所面临的往往是复杂的非线性优化问题, 因而该方法容易陷入局部最优。2004年G.H.Bakir和J.Weston等人提出利用核岭回归[2]来寻找近似原像, 该方法把寻找原像的过程看作是从特征空间向原空间的一个映射, 但该方法要求训练样本有一个很好的分类。与此同时, J.T.Kwok与I.W.Tsang提出基于多尺度分析 (MultidimensionalScaling, MDS) 的距离约束算法[3]寻找原像, 该方法首先在特征空间中选取降噪点的若干最近邻训练样本点, 并假设在特征空间和原空间中降噪点与其邻域点之间有相同的距离保持关系, 然后在原空间中确定近似原像。2005年, K.I.Kim等人提出利用KHA算法 (KernelHebbianAlgorithm) [4]去改进基本的核主成分分析算法, 从而使得改进后的模型能够应用于大规模复杂的图像降噪问题中。2006年, W.Zheng等人提出结合弱监督先验信息[5]寻找原像的方法, 该方法寻找原像的若干最近邻正类和负类样本, 在原来优化目标的基础上, 增加了尽量接近正类而远离负类这样两个约束, 从而改善了梯度下降法寻找原像的效果。2007年, PabloArias等人提出结合外样本问题 (out-of-sample problem) 利用Nyström延拓方法[6]来求解原像, 该方法更好的考虑了在特征空间中样本的正则化问题, 因而在一定程度上提高了求解原像的准确度。2008年, Nicolas Thorstensen等人提出了一种基于几何解释的对求解原像的正则化方法[7], 在此正则化方法基础上, 文献[3,6,7]等的结果都得到了一定的改善。
本文基于MDS的思想, 通过利用在特征空间中用主成分分析降噪的点与其邻域点的内积关系, 使用点积核函数重构出在原空间中的内积关系, 利用此内积约束关系在原空间中重构出降噪点的模型。该方法由于不需要大量复杂的距离运算而提高了算法的稳定性, 并且在一定程度上更好的提高了图像的信噪比。
1 核主成分分析简介
核主成分分析是主成分分析的改进算法, 它采用非线性方法来提取主成分, 即通过非线性映射φ把原空间χ中的向量映射到高维特征空间F, 在F上进行主成分分析。
假设X={x1, x2…, xn}是原空间χ中的一个训练样本集合, φ为到特征空间F的映射函数, 即:φ:χ※F。定义核函数K (xi, xj) =φ (xj) φ (xj) , 设核矩阵为K, Kij=φ (xi) φ (xj) , i, j=1, 2…, n, 因而在F中进行主成分分析时可以利用核函数来进行计算。首先中心化核矩阵为Kc:
式 (1) 中Hn中心矩阵:Hn=I-1/nⅡT, I为单位矩阵n×n, I=[1, 1…, 1]T是一个n维向量, 然后对Kc进行特征分解:
式 (2) 中, U=[α1, α2, …, αn]是Kc的特征向量构成的矩阵, αi=[αi1, αi2, …, αin]T, i=1, 2…, n, Λ=diag (λ1, λ2, …, λn) 为相对应的特征值组成的对角矩阵。由于在特征空间F上映射数据的协方差矩阵为
式 (3) 中, , 因而由矩阵的奇异值分解可以得到C的第k个特征向量Vk:
式 (4) 中, φ (Xi) =φ (xi) -φ, φ=[φ (x1) ,
(x2) , …, φ (xn) ]。由此可以得到在原空间中的噪声样本p在特征空间的子空间Vk中的上的投影系数βk为:
式 (5) 中, 令:
记:
所以投影系数可进一步简化为:
最后, φ (p) 在特征空间中由前L个主分量张成的的子空间上的重构点PLφ (p) 为:
由于PLφ (p) 是在特征空间, 因此我们需要在原始空间中找到它的降噪模型。前提到过它的精确是不可能存在的, 因而我们只能找到近似解。
2 基于内积约束关系的MDS算法
由于特征空间的维数一般总是高于原空间的维数。因此, 可以将PLφ (p) 在原空间中的重构点p看成是PLφ (p) 在原始空间中嵌入的点, 基于这个想法, 可以通过保持邻域关系来找出PLφ (p) 的嵌入点, 也就是利用φ (x1) , φ (x2) , …, φ (xn) 与pLφ (p) 的局部线性重构关系。因为在原空间中重构点的精确解不存在, 所以此学习模型是一个通过邻域学习的近似方法。
在这之前我们已经求出噪声样本p在特征空间F的成分Vk上的投影系数βk:
同时, 我们也可求出p的邻域点qi, qi∈X在特征空间的成分Vk上的投影系数γik:
由此可以得到p在特征空间中降噪后的点pLφ (p) 与其邻域点qi在特征空间中的内积:
基于MDS的思想, 与样本点相似度越大的邻域点对样本点的重构将起到更重要的影响, 并且在原空间中仍然存在在特征空间中的局部的邻域点的结构。因而, 我们利用用点积核函数ψ:Kij=K (xi, xj) =ψ (xiTxj) 来重构在特征空间中的向量的内积与原空间中的向量的内积的关系:
对于核函数ψ, 若它的逆存在, 则在原空间中的向量的内积为:
对于感知器核函数:
式 (5) 中δ, τ∈瓗是参数, 则得到在原空间中向量的内积为:
设样本点p在特征空间中降噪后的点PLφ (p) 的邻域点集为Q, Q为从训练集合 (x1, x2, …, xN) 中选择的在特征空间中的与PLφ (p) 相似度最大的s个点组成的集合Q在特征空间中的像集, 可以利用内积关系来确定:
其中:
由此可以得到集合Q, 假设集合
Q= (q1, q2, …, qs) , qi∈x, i=1, 2, …, s, 它的中心q为:, qi, 设Hs为s×s的中心矩阵, QHs是将Q中心化, 即将Q的每一个点减去中心点, 使得Q的中心点为0:
QHs的协方差矩阵为 (QHs) TQHs, 因而式 (18) 对 (QHs) T的SVD分解得到的矩阵U是由QHs的协方差矩阵的特征向量构成的, 因而W是QHs在原空间中由U张成的子空间的坐标。设p在特征空间中降噪后的点PLφ (p) 在该子空间中坐标为Z, 由公式 (12) 和式 (14) 可知:
所以,
从而得到p在特征空间中降噪后的点PLφ (p) 在原空间中的重构点p为:
3 实验及结果
选用USPS数据集 (可以从http://www.kernelmachines.org下载) 进行实验分析, 该数据集包含了手写体阿拉伯数字样本。在该数据集中, 我们随机选择300个训练样本和100个测试样本进行实验, 其中, 在300个训练样本中每个数字有30个样本, 在100个测试样本中每个数字有10个样本。再对测试样本添加不同的高斯噪声N (0, σ2) , 然后对其去噪。其中主成分数L为:
式 (22) 中, p是加了噪声的测试样本, φ (x) 是未加噪声的测试样本在特征空间中的投影。
选择感知器核函数:
ψ (xiTxj) =tanh (δxiTxj-τ) , 其中δ, τ∈瓗是参数来进行实验。其中δ可以通过:
来确定。对于参数τ, 可以通过
来确定。
图1是添加了不同的高斯噪声的测试样本图像, 图2是对添加了不同σ2的高斯噪声的图像, 即由图1显示的不同σ2结果使用文献[3]中J.T.Kwok的基于距离的MDS方法去噪的效果, 图3是使用本文的算法的去噪后的效果, 对比图2可以直观的看出本文的方法更好的提高到了图像的清晰度。表1是用文献[3]中J.T.Kwok的基于距离的MDS方法所得的去噪结果与本文的去噪方法所得去噪结果的SNR (信噪比) 比较, 通过表1的SNR结果可以得出结论本文的方法对于图像的信噪比有更大的提高, 因而本文的基于内积关系的MDS的算法优与J.T.Kwok的基于距离的MDS算法。
4 结论
本文提出了一种新的基于MDS思想的核主成分分析的图像降噪噪算法, 即, 基于内积约束关系的MDS算法, 首先, 使用核主成分分析在特征空间中对图像进行降噪, 其次, 利用MDS思想, 通过核方法来计算向量在特征空间的内积约束关系, 利用核函数重构出在原空间中降噪图像与其领域点的内积约束关系, 基于该内积约束关系从而重构出在原空间中的降噪图像。最后通过数值实验验证了该方法的有效性, 并且对比原有MDS算法, 本文的算法在一定程度上提高了图像的信噪比。
摘要：简介了核主成分分析的原理及利用核主成分分析的图像去噪方法。通过使用核函数, 在特征空间中对噪声图像使用主成分分析进行降噪处理。基于MDS的思想, 使用核方法计算出在特征空间中降噪后的图像与其邻域点之间的内积约束关系, 通过核函数重构出在原空间中降噪图像与其邻域点的内积约束关系, 基于此内积约束关系在原空间中重构出降噪图像, 从而达到通过核主成分分析对图像降噪的目的。比原有的MDS算法更稳定, 对图像的噪声部分有更好的去除效果。
关键词：核主成分分析,核函数,局部线性重构,投影系数
参考文献
[1]Sch lkopf B, Smola A, Muller KR.Nonlinear component analysis as a kernel eigenvalue problem.Neural Computaion, 1996;10 (44) :1299—1319
[2]Mika S, Sch lkopf B, SMOLA A, et al.Kernel PCA and de-noising in feature spaces.Advances in Neural Information Processing Sys-tems, 1999;11:536—542
[3] Kwok J T, Tsang I W. The pre-image problem in Kernel method. IEEE Transactions On Neural Networks, 2004;15 (6) :1517—1525
[4]Bakr G H, Weston J, Sch B lkopf.Learning to find pre-images.Ad-vances in Neural Information Processing Systems, 2004;16:449—456
[5]Zheng Weishi, Lai Jianhuang, Yuen P C.Weakly supervised learn-ing on pre-image problem in kernel method.IEEE Transactions on Neural Networks, 2006;2:711—715
[6]Zheng Weishi, Lai Jianhuang.Regularized locality preserving learn-ing of pre-image problem in kernel principal component analysis.IEEE Transactions On Neural Networks, 2006;2:456—459
[7]Sch lkopf B, Smola A.Learning with Kernels.Cambridge, Massa-chusetts Lodon, England:the MIT, 2002;18—37
[8] Bach F R, Jordan M I. Kernel independent component analysis. The Journal of Machine Learning Research, 2001;3:1—48
[9] Muller K R, Mika S, Ratsch G, et al. An introduction to kernel-based algorithms. IEEE Transactions on Neural Networks , 2001;12 (2) :181—202
[10] Teixeira A R, Tome A M, Stadlthanner K, et al. KPCA denoising and the pre-image problem revisted. Digital Signal Processing, 2008;18:568—580
[11]Arias P, Randall G, Sapiro G.Connectingthe out-of-sample and pre-image problems in kernel methods.IEEE Computer Society Confer-ence on Computer Vision and Pattern Recognition, 2007;6:18—23
[12]Thorstensen N, Segonne F, Keriven R.Normalization and preimage problem in Gausian kernel PCA.IEEE Transactions on Neural Net-works, 2008;3:741—744
核主成分分析法 篇2
关键词：语音情感,情感识别,特征降维,稀疏核主成分分析
0引言
语音是人类交流最快最自然的方式,这一事实促使研究者将语音作为人机交互最为有效快捷的方式。在人机交互过程中,计算机需要识别操作者的情感,然后根据不同的情绪状态来调整交互对话的方式,从而使得计算机能够更加主动智能地适应操作者的需要。上述过程中我们所关注的是如何提高语音情感的识别能力,借以提高语音识别系统的性能。
语音情感识别涉及三个重要的方面,即情感语音数据库、语音情感特征以及分类器模型。我们需要一个或多个高质量的语音情感数据库来评估语音情感识别分类器的性能。目前已有多个公开的语音 情感数据库,这为我们的研究提供了很大的便利。常用的语音情感数据库有柏林库[1]、Danish情感语音库[2]、eNTERFACE音频-视频情感 数据库[3]、FAUAibo情感数据库[4]等。声学特征与情绪是高度相关的,因此可以借助声学特征来识别情感种类。近年来也有研究者将声学特征和语义特征相结合用于情感识别,得到了不错的识别效果。目前常用的语音情感特征主要有韵律特征、音质特征及语义特征。
从语音数据中提取出合适的特征之后,就要选择恰当的分类器来识别出隐藏在语句中的情感种类。许多传统的分类器被用于语音情感识别,比如在自动语音识别中被广泛使用的隐马尔科夫模型和高斯混合模型[5]。模式识别领域中另一个常用的分类器是人工神经网络(ANN),在处理非线性模型中很有效,但其分类性能会受到设计参数的限制[6]。现实中的分类问题往往是非线性的,语音情感识别就是一个典型的高度非线性问题,支持向量机[7]利用核方法可以很好的将非线性问题转化为线性问题。在过去十多年中,基于核的方法在模式识别领域受到广泛关注,如核主成分分析(KPCA)[8]、核fisher判别分析(KFDA)[9]。核方法有很好的解决非线性问题的能力。核方法[10]的基本思想是将非线性的原始特征空间通过一个非线性映射将其映射到高维特征空间,改变样本的分布,从而将问题转变为高维空间中的线性可分问题。在高维空间中实施线性分类器,性能将得到改善。
在处理现实问题中,采集到的部分语音样本难免会被噪声污染,而我们在处理过程中通常将训练样本看成是理想状态的,即无噪的。当有受污染的语音样本时,这样的假设肯定会导致识别结果异常、且不具鲁棒性。这里我们采用一种基于稀疏表示的分类方法[11]来达到样本选择的功能,其基本思想是测试样本可以用训练样本一个稀疏的线性组合来表示,理想情况下含噪样本前的稀疏系数应该为零,即被稀疏掉了,也就是起到了去噪的作用。
在语音情感识别中,所提取的语音情感特征集的维度往往很高,通过降维可以提高语音情感识别的性能,主成分分析(PCA)是重要的特征降维方法。基于核方法在解决非线性问题上的突出能力,在高维空间中实施PCA会更有利。结合KPCA和稀疏表示的优势,本研究提出一种鲁棒的语音情感分类方法,即稀疏核主成分分析(SKPCA),其基本思想是在求解KPCA特征方程时,通过附加惩罚项来使样本系数稀疏,从而实现样本选择的功能。
1基于SKPCA的分类方法
SKPCA既能很好地处理非线性问题,在高维空间中提取主成分,同时又能解决训练样本受污染的问题,使语音情感识别更鲁棒。
1.1主成分分析(PCA)和核主成分分析(KPCA)
我们在语音情感识别中使用的特征集往往是一个非线性的高维特征集,如果直接使用该特征集进行建模或者模式识别分析,会造成计算量大、效率低下、特征之间相互影响制约等问题,于是进行特征降维是很有必要的。PCA是经典的降维方法,它的基本思想是寻找一个投影方向将高维数据投影到低维空间中,而且尽可能地保持原始数据的信息。换句话说就是从原始数据中分析出几个主分量来代表原始的数据,且几个主分量之间互不相关。可以通过求解特征值问题或使用迭代算法估 计主成分 这两种方 法来快速 求解PCA问题[11]。
将核方法与PCA相结合,Schlkopf等人提出了KPCA的方法[8]。存在一个非线性映射Ф将原始数据投影到高维空间F,然后在这个空间中进行PCA。
1.2稀疏核主成分分析(SKPCA)
在KPCA的基础上建立的SKPCA,除了特征降维之外,还可以起到样本稀疏的作用,减少噪声样本的影响。SKPCA的基本思想是在求解KPCA特征方程Καi=λiαi(i=1,2,…,r)时,通过附加惩罚项来使样本系数得到稀疏,从而实现样本选择的功能。
设K1=K(核矩阵),α1是对应于矩阵K1最大特征值λ1的特征向量,则:
设u1=λ1α1、v1=α1,式(1)则为:
对式(2)附加上L1惩罚项,可以使u1得到稀疏,式(2)则为:
采用迭代算法分别求取u1、v1,算法流程如下:
(1)对Ki(其中K1=K)进行奇异值分解,得到v1(特征矢量),v1=v1/‖v1‖。
(2)更新u1、v1直至收敛
(3)归一化,u1=u1/‖u1‖。
(4)更新Ki+1=(I-u1uT 1)Ki(I-u1uT 1)。
重新回到第一步,计算下一个稀疏核主成分。
2实验结果及分析
为了验证我们所提出方法的有效性,我们在柏林库上做了大量的实验,并与K近邻(KNN)、线性判别分析(LDC)、线性回归分类(LRC)、基于稀疏表示的分类器 (SRC)等多种分 类方法做 了横向的 对比。
在柏林库中,10个演员分别用不同的情感朗读10句德语日常用语,记录的494个样本语句包含了7类情感,即恐惧、厌恶、高兴、厌倦、中性、悲伤和愤怒。在特征提取阶段我们借助openSMILE[12]这一模块化的工具,可以很方便地提取情感特征矢量,同时为简化实验过程和提高实验可比性,我们采用一个包含1582维情感特征的参数集[13],其中包括基音周期、响度、Mel频率倒谱系数(MFCC)等特征以及它们的统计量。
实验过程应该是与人无关的,同时为了节省计算时间,提高效率,我们在柏林库上进行了5折交叉验证实验,即80%的说话人语音样本作为训练样本,剩余20%的说话人样本做测试。在下面的识别率表格中分别列出了每类情感的识别率和7种情感的平均识别率R1以及总识别率R2(指总的识别正确样本个数占总测试样本的百分比)。另外,由于柏林库的样本分布非常不均匀,比如某个说话人某种情感的样本数只有个位数,那么在计算每类情感识别率的时候,少识别正确一个样本对识别率的结果影响是巨大的,也因此导致表格中平均识别率的差异非常大。
表1和表2分别列出 了采用PCA降维和KPCA降维,再用各分类器分类的结果。
[%]
[%]
最后实施的是基于SKPCA的实验,由于提取每一个稀疏核主成分的时候都要设定η1的值,导致稀疏的参数选择很复杂,因此采取的措施是凭经验选定稀疏的系数,将η1的值取为Kiv1 的上四分位数的2倍,大约有75%的系数被稀疏为零, 核函数采用的是多项式核。实验结果如表3所示, 从中可以看出通过SKPCA降维后每一种分类器的识别率都有所提升,达到了预期的目标。
[%]
3结束语
核主成分分析法 篇3
在近20年里,人脸识别技术得到了飞速的发展。自Emmanuel和Donoho提出脊波变换(Ridgelet Transform)、单尺度脊波变换(Monoscale Ridgelet Transform)、曲波变换(Curvelet Transform)等理论以来,图像多尺度分析在图像处理领域拥有广泛的应用[1,2]。由于传统的小波变换(Wavelet Transform)仅能够表达图像中点的奇异性,而在人脸图像中,五官的曲线和面部轮廓曲线的奇异性影响了很多小波的系数,导致其不能很好地进行曲线的稀疏表达[3,4,5]。对于曲波变换而言,它的思想就是当对曲线进行分割时,将每一小段看作是直线段,在此基础上再对图像进行多尺度、多方向的曲波变换,表示图像的曲线信息。对于人脸图像进行多尺度曲波分析,获得曲波系数作为有效特征,通过时域和频域的变换,结合子空间方法,如主分量分析(Principal Components Analysis,PCA)、线性判别分析(Linear Discriminant Analysis,LDA)进行识别的策略是目前比较传统的一种方案[6,7,8]。
Wu Xian-xing等[10]将曲波域与主成分分析结合,首先对人脸数据库中的图片进行曲波变换,然后通过主成分分析的方法处理提取出的曲波系数,作为人脸特征。但是,传统的主成分分析是一种线性变换,当处理的数据存在非线性属性时,使用PCA分析后留下来的主要成分就可能不再反映这种非线性属性。为了对曲波系数进一步分析。本文尝试提出了结合核主成分分析(KPCA)[9]对于曲波变换的系数进行处理,得到更具表达能力的图像特征。该算法采用多项式的核函数K(xi,xj)=(xi⋅xj+)1d,通过在ORL、JAFFE和FERET人脸数据库下大量的实验测试出最优的核参数d,并与传统曲波结合PCA等方法相比,都得到了较好的效果。
1 曲波(Curvelet)变换的人脸信息处理
曲波(Curvelet)变换实质上是由脊波理论衍生而来,它实际上是一种特殊的滤波过程和多尺度脊波变换(Multiscale Ridgelet Transform)组合而成。完成曲波变换需要使用一系列滤波器:0Φ、Ψ2s(s=0,1,2,…),这些滤波器满足:
1)0Φ是一个低通滤波器,并且带通为|ξ|≤2。
2)Ψ2s是一个带通滤波器,带通范围为|ξ|∈[22s-1,22s+3]。
曲波变换最核心的关系是曲波基的支撑区间有:
我们称这个关系为各向异性尺度关系。所以曲波变换具有高度的方向性[1]。
第二代数字曲波变换有两种不同的方法实现,一种是非均匀采样的快速Fourier变换USFFT(Unequally Spaced Fast Fourier Transform),还有一种就是通过特殊选择Fourier采样的Wrapping算法。与第一代曲波变换相比,这些新的离散曲波变换不仅简单、快捷,而且有较低的冗余度。本文采用Wrapping的方法对图像进行曲波变换。具体的实现步骤如下[10]:
本文采用尺度(scale=3)和方向(angle=8),对人脸图像进行曲波变换,曲波变换后的coarse层系数(85×85)是人脸的概貌信息,如图1。所以我们取coarse层得系数作为后续待处理的人脸特征。
2 核主成分分析(KPCA)
在文献[6]中提到了用传统的主元分析法(PCA)对于分解后的曲波系数进行处理,但当原始数据存在非线性属性时,使用PCA分析后留下的主成分就可能不在反应这种非线性属性。基于这一点,我们引入了核主分量分析(KPCA)的方法。KPCA的基本思想是线性主分量分析向非线性领域的发展,核主分量分析首先采用核映射(k(x,y)=(Φ(x)Φ(y)))将样本映射至高维特征空间,然后在特征空间实现对样本的主成分分析。由于采用非线性核函数映射,核主成分分析属于非线性主分量分析,能够更加有效的提取样本特征,并且提取的特征具有比线性方法更好的稀疏性。
其中:K=[k(x i,xj)]iN,j=1,在式(1)中去掉系数1/N和约去矩阵K,最终得到Ka=pa[1]。
3 试验及仿真
3.1 算法基本过程
基于上述理论本文提出了曲波结合KPCA的人脸识别的算法,算法基本过程如下:
1)图像预处理:将人脸图像的维数统一为256×256。
2)图像曲波变换:把人脸数据库中的每幅图像进行Wrapping的曲波变换,提取出曲波的第一层系数C{1},并把它排列成列向量,组成曲波特征T,其中采用尺度(scale=3)和方向(angle=8)。
3)核主主元分析(KPCA):对曲波特征T采用多项式核主元k(xi,xj)=(xi⋅xj+)1d分析的方法,提取出主成分(train_features),作为最后的人脸识别特征。
4)识别:对于测试图像采用相同的处理方法求出特征(test_features),采用最近邻法进行分类。
本文在Core2 2.0 GHz的CPU,2 G内存,Matlab 7.6.0的计算机上进行仿真实验,采用ORL人脸库,库中40人,每人10张照片,包括表情变化,微小姿态变化;日本JAFFE人脸表情数据库,包括216张人脸表情图像数据;FERET人脸库,包含14 051张多姿态,光照的灰度人脸图像,本文随机选用其中20人,每人10幅。
3.2 核参数的确定
针对不同的核函数(k(xi,xj)=(xi⋅xj+)1d)的参数d,在ORL人脸库中做如图2中的实验,选取5幅图像做为训练样本,另外5幅作为测试样本,核参数d在0.01~1的范围中变化。
从图2中我们可以看出,核参数d的范围在0.1~1的区间内,会达到最好的识别率。进一步考虑到核参数d对于识别率的影响,在JAFFE人脸库和FERET人脸库中,核参数d在0.1~1之间,训练样本分别采用3样本、4样本、5样本,如图3。
从图3中可以看出,三组实验当d在0.7附近时,分类识别率有最优的效果,所以本文选取d=0.7作为最优的试验参数。
3.3 多个人脸库的实验仿真
为了进一步验证本文提出的算法,以五幅图像做为训练样本,分别在ORL库、JAFFE库、FERET库中根据文献[6]、[9]提到的方法做了一系列的比较实验,如表1。
从表1中我们可以看到,只用曲波coarse层、曲波+PCA为特征样本的维数明显高于本文的算法,同时在与小波的比较中,本算法也明显优于小波结合KPCA的方法。
4 结论
本文提出了一种基于曲波变换,获得曲波系数,并通过核主成分分析(KPCA)的人脸识别的算法。并且针对不同多项式核函数的参数d,在三个人脸数据库中做了验证实验。与小波相比,不仅在识别率上有所提高,而且提取的特征维数也明显低于小波。在今后的研究工作中,对于该方法中的核函数以及分类器会做进一步的研究,以求达到更佳的分类效果。
参考文献
[1]焦李成,公茂果,王爽,等.自然计算、机器学习与图像理解前沿[M].西安:西安电子科技大学出版社,2008:224-243.JIAO Li-cheng,GONG Mao-guo,WANG Shuang,et al.Advances in Natural Computation,Machine Learning and Image Understanding[M].Xi'an:Xidian University Press,2008:224-243.
[2]吴贤星,赵杰煜,沈明炘.人机交互中的人脸信息曲波分析[J].中国图象图形学报A,2010,15(9):1309-1317.WU Xian-xing,ZHAO Jie-yu,SHEN Ming-xin.Face Processing in Human-computer Interaction Using Curvelet Analysis[J].Image and Graphics,2010,15(9):1309-1317.
[3]Amira A,Farrell P.An Automatic Face Recognition System Based on Wavelet Transforms[C]//IEEE International Symposium on Circuits and Systems,Kobe,Japan,May23-26,2005:6252-6255.
[4]LIU Cheng-jun,Wechsler H.Independent Component Analysis of Gabor Features for Face Recognition[J].IEEE Transactions on Neural Networks(S1045-9227),2003,14(4):919-928.
[5]苏宏涛,赵荣椿.基于小波变换和多分类器的人脸识别方法[J].计算机应用,2002,22(8):25-27.SU Hong-tao,ZHAO Rong-chun.Face Recognition Based on Wavelet Transform and Multiple Classifier[J].Computer Applications,2002,22(8):25-27.
[6]Rahman S,Naim S M,Al Farooq A,et al.Curvelet Texture Based Face Recognition Using Principal Component Analysis[C]//Proceedings of13th International Conference on Computer and Information Technology(ICCIT2010),Dhaka,Bangladesh,December23-25,2010:45-50.
[7]Mandal T,Jonathan Q M,WU Yuan-yuan.Curvelet Based Face Recognition via Dimension Reduction[J].Signal Processing(S0165-1684),2009,89(12):2345-2353.
[8]许学斌,张德运,张新曼,等.基于特征层和二代曲波变换的多模生物特征融合识别方法[J].西安交通大学学报,2009,43(10):32-36.XU Xue-bing,ZHANG De-yun,ZHANG Xin-man,et al.An Algorithm for Multimodal Biometric Recognition Based on Feature Level and the Second-Generation Curvelet Transform[J].Journal of Xi'an Jiaotong University,2009,43(10):32-36.
[9]李伟红,龚卫国,陈伟民,等.基于小波分析与KPCA的人脸识别方法[J].计算机应用,2005,25(10):2339-2341.LI Wei-hong,GONG Wei-guo,CHENG Wei-ming,et al.Method Based on Wavelet Multiresolution Analysis and KPCA for Face Recognition[J].Computer Applications,2005,25(10):2339-2341.
核主成分分析法 篇4
1 核主成分分析法
核主成分分析(Kernel Principle Component Analysis:KPCA)的基本思想为:首先通过非线性映射将非线性可分的原始样本输入空间变换到一个线性可分的高维特征空间,然后在这个新的空间中完成主成分分析,它的核心在于利用核技巧对经典的主成分分析法(Principle Component Analysis)进行的一种非线性推广[3]。
1.1 核主成分分析法基本原理
求解(10)就能得到特征值和特征向量,对于测试样本在特征向量空间Vk的投影为
当(3)不成立时,需进行调整,
则核矩阵可修正为
1.2 核主成分分析法实现步骤
(1)得到原始输入样本,假设共m个样本,每个样本n维数据,则可以得到m×n维的数据矩阵A。
2 GA-BP神经网络模型
2.1 BP神经网络原理
BP(Back Propagation)神经网络是一种按误差逆传播算法训练的多层前馈网络,3层BP网络的结构包括输入层、输出层和一个隐含层。BP神经网络的基本原理是采用梯度下降法调整权值和阈值使得网络的实际输出值和期望输出值的均方误差值最小。
2.2 遗传算法优化BP神经网络
BP神经网络局部寻优能力强,但缺点是易于陷入局部极小。遗传算法则具有自适应性、全局优化性。用遗传算法优化BP神经网络的权值和阈值,解决BP神经网络易陷入局部极小的问题。实现步骤如下:
(1)参数编码及种群的初始化:个体包含了整个BP神经网络的所有权值和阈值。文章对个体采用实数编码的方式进行编码。
(2)适应值函数计算:文章把预测输出和期望输出的误差的绝对值的和作为个体适应度值,个体适应度值越小说明个体越优。
(3)选择操作:文章的遗传算法选择操作是以轮盘赌法为基础,即基于每个个体的选择概率等于其适应度与整个种群中个体适应度和之比的选择策略,个体适应度越高,被选中的可能性就越大,进入下一代的概率就越大。
(4)交叉操作:因为个体采用的是实数编码,故交叉操作也采用实数交叉法。
(5)变异操作:变异操作是以一个比较小的变异概率选取第i个个体的第j个基因aij进行变异。
(6)循环上述步骤(2)到步骤(5),直到训练目标达到设置的要求或者迭代次数达到设定的目标为止。
3 KPCA-GABP神经网络模型的仿真
为了验证模型的有效行和可行性,文章以湖南某城市2003年11月1日到2003年11月30日的每日整点的负荷数据、日最高最低气温、日类型作为训练样本,则输入变量为27个。将2003年11月1日至2003年11月29日的数据作为预测模型的训练样本,再对训练好的预测模型用29日的数据来预测30日的24个点的负荷数值。
对输入变量进行预处理,剔除不良数据,并对数据进行归一化。将预处理后的数据利用KPCA进行主成分分析,提取前10个特征值的方差贡献率和累计方差贡献率进行统计,统计如表1。
由表1可知,前9个特征值的累积方差贡献率大于90%,则可以选定9个主成分,所以27维的原始数据通过KPCA后实现了降维。
将处理后的数据作为GABP神经网络的输入,则输入层为9个神经元,输出层神经元为24个,隐含层神经元经过试验法确定为22个。同时以标准的BP神经网络对未经过KPCA法处理的数据进行预测。两种模型的预测结果如表2。
对短期负荷预测而言,其误差值须控制在3%之内。由表2可知,对于标准的BP神经网络模型,相对误差绝对值大于3%的有8个。对于KPCA-GABP模型,相对误差绝对值大于3%的有3个。并且KPCA-GABP模型的最大相对误差和平均相对误差分别为5.36和1.73,均低于标准BP神经网络的8.56和3.15。所以可以说明KPCA-GABP模型具有较高的预测精度。
4 结束语
文章将KPCA法、遗传算法与BP神经网络结合建立短期负荷预测模型,对南方某城市进行负荷预测。结果表明,利用KPCA对原始数据进行筛选,实现了数据的降维,从而减少了BP神经网络建模时的输入个数。同时利用GA的全局搜索能力来优化BP网络的结构参数,有效地克服BP算法易陷入局部收敛等问题,从而提高了模型的预测速度和预测精度。
摘要：短期负荷预测的方法有很多,BP神经网络是目前研究最为成熟的神经网络模型之一。然而BP网络存在着收敛速率慢、易陷入局部极小等问题。针对此缺陷,文章提出了基于核主成分分析的遗传算法神经网络模型,利用KPCA法提取负荷数据的主成分。并用GA优化BP网络的权值和阈值,克服易陷入局部极小的不足。最后通过实例分析,证明了算法的有效性。
关键词：短期负荷预测,遗传算法,核主成分,BP神经网络
参考文献
[1]康重庆,夏清,刘梅.电力系统负荷预测[M].北京:中国电力出版社,2007.
[2]卢建昌,王柳.基于时序分析的神经网络短期负荷预测模型研究[J].中国电力,2005,38(7):11-14.
[3]孙景文,常鲜戎.基于核主成分分析法和CSM-PSCO优化LSSVR的短期负荷预测[J].广东电力,2015,28(2):64-69.
[4]李永斌.短期电力负荷预测模型的建立与应用[J].计算机仿真,2011,28(10):316-319.
核主成分分析法 篇5
关键词：特征选择,ReliefF算法,KPCA,特征提取
为了能获得理想的入侵检测效果, 需要在两个方面进行努力:一是建造一个好的分类器, 二是寻找对问题的一个好的表示, 即选用的输入特征能为分类器提供最有用的信息。对于前者, 人们尝试利用各种基于不同原理的方法来检测入侵。对于后者, 一般有两种方法从原始的输入特征中获得问题更好的表达:特征选择和特征提取。
1 ReliefF算法及其实现
在一个学习算法通过训练样本对未知样本进行预测之前, 必须决定哪些特征应该采用, 哪些特征应该忽略。特征选择已广泛应用到文本分类、图像检索、入侵检测和基因分析等方面。选择相关的特征, 本文采用ReliefF算法。
ReliefF的算法描述如下:
输入:训练实例的特征向量集合及类别标号; /* N-特征维数, m-迭代次数, k-最近邻样本个数 * /
输出:对应于特征向量各个分量的权值向量W;
1) 初始化权值向量为0.W[A]: =0. 0;
2) for:i =1 to m
3) 随机选择实例Ri;
4) 计算k个nearest hits Hj;
5) 对于每一类C≠class (Ri)
6) 从类C中求得k nearest misses Mj (C) ;
7) for A: =1 to N
8) W[A]:undefinedundefined;
9) 结束;
需要说明的参数: diff (A, Ri, H) 代表样本Ri和H关于特征A的差异, 初始值定义如公式 (1) :
undefined
迭代计算为公式 (2)
undefined
其中, H与M分别代表训练集合中与实例Ri距离最近的同类 (nearest hit) 样本与不同类样本 (nearest miss) 。
ReliefF每次随机从训练样本集中取出一个样本Ri, 然后从和Ri同类的样本集中找出样本Ri的k个近邻样本 (nearest hits) , 从每个Ri的不同类的样本中找出k个近邻样本 (nearest misses) , 然后更新每个特征的权值。以上过程重复m次。
ReliefF算法的优点是:运行效率高, 对数据类型没有限制, 对特征间的关系不敏感。缺点是:和很多特征评估算法, 它不能去除冗余特征, 赋予所有和类别相关性高的特征较高的权值, 而不管该特征是否和其余特征冗余。
2 核主成分分析算法
特征提取是提升分类器性能的另一类方法, 它通过对高维的输入特征进行变换从而获得新的低维特征。特征提取本文采用核主成分分析 (KPCA) 方法。
PCA是一种常见的、强大的特征提取方法, 但它是一种线性映射算法, 只能提取数据中的线性特征。核主成分分析 (KPCA, Kernel principal component analysis) 的提出被认为是PCA的一个非线性扩展。它是在PCA中引入核方法, 首先将原始输入向量xt映射到高维特征空间φ (xt) 并在其上用PCA方法计算。在空间φ (xt) 上的线性PCA方法对应于在空间xt上的非线性PCA方法。由于从xt到φ (xt) 的映射, 空间φ (xt) 的维数假定比训练样本维数l大。因此, KPCA解决如下的特征值问题:
undefined
其中undefined是φ (xt) 的样本方差矩阵, λi是undefined的一个非零特征值, ui是对应的特征向量。
公式 (3) 被转换为如下特征值问题:
undefined
其中K是l×l核矩阵。K中每个元素的值都等于向量xi和xj在高维特征空间φ (xi) 和φ (xj) 上的内积, 即K (xi, xj) =φ (xi) ·φ (xj) (5)
φ (xi) ·φ (xj) 完全被核函数K (xi, xj) 取代了, undefined是K的一个特征值, 满足undefined;αi是K对应的特征向量, 满足undefined是αi的分量) 。
此外, 为了确保特征向量φ (xt) 满足单位长度ui·ui=1。每一个αi必需被标准化, 通过利用对应的特征值undefined。
因此, 基于undefined的估计, 主成分xt通过如下公式计算:
undefined
其中, 样本输入向量φ (xt) 由一些中心化数据构成, 即undefined
在训练集K和测试集Kt上的核矩阵也分别通过如下公式被修改:
undefined
undefined
其中, I是n维单位矩阵, lt是测试数据的数量, 1l和1lt代表长度为l和lt的全1向量, Kt代表由测试数据组成的lt×l的核矩阵。
3 实验及结论
KDDCUP99数据集是目前入侵检测领域比较权威的测试数据集, 该数据集把入侵检测数据特征分为三类, 分别是基本特征、内容特征和流量特征。可将网络入侵特征分为5类:Normal、DOS、R2L、U2R和Probing。
本文用到KDDCUP99的10%数据集中的1 000个记录, 对前41个特征属性分别进行ReliefF和KPCA分析。实验结果如表1所示。
由表1可以看出, 经过ReliefF算法和KPCA核主成分分析算法对数据集进行特征选择和特征提取后, 前4个主成分的方差贡献率总和为86%, 前9个已经达到98.5%。也就是说, 基本可以用4个主成分的数据来描述出原始的41维的特征数据的变化状态。将41个特征变量降维成4个主成分, 大大减轻了后续的分类器的工作量, 同时也有助于提高分类器的分类精度。
参考文献
[1] Kononenko I. Estimation attributes: Analysis and extensions of RELIEF [A]. In: Bergadano F, De Raedt L, eds. Proceedings of the 1994 European Conference on Machine Learning [C]. Catania, Italy: Springer Verlag, 1994.171-182.
核主成分分析法 篇6
电力机车是我国铁路交通的牵引动力源之一, 在整个铁路运输过程中有着举足轻重的地位。其中, 三相交流笼型异步牵引电机作为交流传动电力机车的最重要部件之一, 在电能与机械能能量转换方面起着关键的作用, 其工作状态良好与否直接影响到机车车辆的安全运行和铁路交通运输的正常运营, 因此研究电力机车笼型异步牵引电机故障的监测、识别和诊断具有极为重要的现实意义。
目前, 关于笼型异步牵引电机故障诊断方法和技术的文献较少, 文献[1, 2]介绍了采用多传感器的信息融合技术和神经网络相结合的笼型异步牵引电机故障诊断方法;文献[3]研究了利用小波变换对笼型异步牵引电机三相电流进行信号奇异性检测实现对牵引电机的故障诊断;文献[4]提出了将小波分析的信号处理技术与神经网络系统相结合应用于牵引电机故障诊断中的方法。上述方法在异步牵引电机故障诊断中起到了较好的作用。
粒子群优化[5] (particle swarm optimization, PSO) 算法是一种基于群智能的全局寻优方法, 它通过个体间的协作与竞争来实现复杂解空间中最优解的搜索, 很适合用于参数的选择和优化[6~8]。支持向量机 (support vector machine, SVM) 是V.Vapnik等人根据统计学习理论提出的一种新的机器学习方法, 在解决小样本和非线性等实际问题上表现出优良的性能, 其采用了结构风险最小化原理, 即在保证训练样本的学习误差极小化的前提下, 尽可能提高支持向量机的泛化推广能力, 并成功地应用于模式识别、函数拟合等领域中[9]。近年来, 支持向量机在故障诊断领域中也得到了一定的应用[10~13], 但是核函数的选择及核函数的参数和惩罚参数C的设置仍然没有有效的理论指导方案。同时, 对于支持向量机故障诊断模型, 如果将从系统 (设备) 中获取的故障特征数据直接作为输入数据, 因其变量之间往往呈现较强的耦合性、信息冗余性及非线性, 不但使支持向量机诊断系统过于复杂, 而且会干扰故障诊断策略, 降低故障诊断的准确性[14]。目前, 对于故障特征数据进行有效处理的方法有主成分分析 (PCA) 、Fisher判别分析 (FDA) 及独立成分分析 (ICA) 等, 这些方法属于线性降维方法[15], 用于处理非线性关系较强的数据往往难以收到理想的效果。对于笼型异步牵引电机这样的系统, 变量之间往往存在较强的非线性关系, 这就需要一种非线性方法。而核主成分分析 (kernel principle component analysis, KPCA) 是一种新的非线性特征提取方法, 能够很好地处理非线性问题。本文提出了核主成分分析和粒子群优化支持向量机的故障诊断方法, 并将此方法应用于电力机车笼型异步牵引电机的故障诊断中。
2 基于核主成分分析和粒子群优化支持向量机的故障诊断方法
2.1 核主成分分析及其本质
核主成分分析实质上是主成分分析 (PCA) 的一种有效推广。其基本思想是通过引入某种非线性映射函数先将原始空间中的非线性问题变换到某个高维特征空间, 使其成为线性问题, 然后在该高维空间中进行线性主成分分析, 这样获得的线性主成分便是原始空间中的非线性主成分。
设原始空间Rd中有n个样本x1, x2, …, xn由这n个样本构成的数据矩阵为X, 利用非线性映射函数将数据样本从原始空间映射到高维特征空间F中。首先, 假设映射数据的均值为零, 即
则特征空间F中映射数据的协方差矩阵表示为:
对C F进行特征矢量分析, 所得特征值为λ, 特征矢量为V, 则有λV=C FV。定义矩阵K=[Ki, j]n×n, Ki, j= (φ (xi) ·φ (xj) ) , 使用其可通过核函数来确定。设Vk是V的第k个特征矢量, 对其进行归一化处理, 即VkVk=1, 则可得原始空间中任一样本x的映射数据φ (x) 在特征矢量Vk上的投影[16]为:
上述是在假定映射数据均值为零的前提下进行的, 但通常这一假定难以成立, 因此必须对映射数据中心化, 引入K替代K
其中, In是n×n的矩阵, 且满足Li, j=1/n (n为样本数目) 。由此得到数据样本的非线性主成分为:
2.2 支持向量机原理和算法
设已知训练样本集S={ (x1, y1) , …, (xn, yn) ｝, 其中xi∈Rd, yi∈{+1, -1｝, i=1, …, n。若样本集线性可分, 那么必存在一个分类超平面ωxT+b=0。所谓最优超平面就是不但能够将所有训练样本正确分类, 而且使训练样本中离分离面最近的点到分类面的距离最大[14]。则其优化问题可表示为, 在满足式 (6) 的约束条件下求式 (7) 函数的最小值。
将这个约束优化问题称作原始问题。通过利用lagrange函数方法, 原始问题的解可转化为对偶问题来求解, 即在式 (8) 的约束条件下求解式 (9) 函数的最小值。
通过求解上述各个系数的最优解α*、ω*、b*, 可得决策函数f (x) 。
若样本线性不可分, 引入一个松弛变量εi, i=1, …, n, “软化”约束条件, 则与式 (7) 相对应的优化问题变为求解式 (11) 的最小值。
式 (11) 中常数C>0称为惩罚参数, 它用于控制对错分样本的惩罚程度。此情况的对偶问题与线性可分情况几乎完全相同, 只不过此时的约束条件式 (8) 中的αi≥0变为0≤αi≤C, i=1, …, n。
对于非线性问题, 可以通过非线性函数将x映射到某个高维特征空间φ (x) 中, 然后在该特征空间进行线性分类, 求解最优分类超平面。使用核函数取代求解过程中涉及到的内积运算, 即K (xi, xj) = (φ (xi) ·φ (xj) ) 。如此, 相应的决策函数表示为:
目前, 常用的核函数主要有[17]:高斯径向基 (RBF) 函数、多项式函数 (poly) 和神经网络 (sigmoid) 核函数, 其中以高斯径向基核函数使用最广。
2.3 粒子群优化算法
粒子群优化算法最初是由Eberhart和Kennedy通过对鸟群集体觅食行为的研究提出的一种优化技术。它采用的速度-位移搜索模型操作简单, 计算复杂度低, 能够很好地进行搜索空间中全局最优解的搜索。在使用粒子群优化算法求解待优化问题时, 每个优化问题的潜在解都对应于多维搜索空间中一个称为“粒子”的鸟的位置。所有的粒子都有一个由优化函数决定的适应值, 每个粒子还有一个速度决定它们飞行的方向和距离。这样粒子们就可通过追随当前的最优粒子在迭代中进行解空间中最优解的搜索。而在每一次迭代过程中, 粒子们通过追踪两个“最优位置”来不断更新自己, 一个是粒子本身目前所找到的最优位置pbest, 叫做个体最优解, 另一个是目前粒子群中所有粒子发现的最优位置gbest, 称作全局最优解。
粒子们在找到这两个最优解时, 将按如下两式[18]来更新自己的位置和速度。
式 (13) 、 (14) 中, v是粒子的速度;p是当前粒子的位置, 其表示待优化支持向量机参数的当前取值;c1和c2是学习因子, 为正常数;r1和r2是[0, 1]的随机数;w是惯性权重。
利用粒子群算法优化支持向量机参数, 确定适应度函数为:
式 (15) 中, n为训练样本数目;Di为第i个训练样本对应的理想输出值;Yi为第i个训练样本对应的实际输出值。粒子群算法优化参数的具体步骤可参考文献[6, 8]。
2.4 故障诊断步骤
对于某一系统 (设备) , 已知故障训练样本集为 (x1, y1) , …, (xn, yn) , 其中xi∈Rd, yqi∈{+1, -1｝, i=1, …, n, q=1, …, f, n为训练样本数目, f为故障模式数目, 则构建支持向量机多故障诊断系统的步骤如下:
步骤1:利用KPCA对故障数据进行特征提取: (1) 标准化处理训练数据样本, 消除量纲的影响; (2) 选择适当的核函数对标准化处理后的数据进行KPCA特征提取, 所得的核主成分为ti∈R p, 其中i=1, …, m, p为KPCA的主成分数目。
步骤2:粒子群优化算法优化支持向量机参数。选择适当的支持向量机核函数, 确定待优化参数, 结合KPCA提取的特征数据和粒子群优化算法进行参数优化。
步骤3:训练支持向量机故障分类器。根据粒子群优化算法优化得到的参数, 即核函数参数与惩罚参数C的最优解, 并结合KPCA的特征提取数据求解式 (12) , 以获得αi*、b*及其对应的支持向量, 从而可得到对应第q类故障模式的支持向量机故障分类器模型, 即
使用同样的方法, 最后可得到f个支持向量机故障分类器模型。
步骤4:将得到的f个故障模式对应的支持向量机故障分类器模型 (SVM1_SVM f) 按图1所示的二叉树加以组合, 实现支持向量机多故障诊断系统的构建。
步骤5:使用构建好的支持向量机多故障诊断系统进行系统 (设备) 故障诊断。将测试数据先进行标准化处理, 然后利用KPCA进行特征提取。在诊断测试中, 先将提取的特征数据输入SVM1, 若决策函数输出为+1, 则确定为正常, 测试结束;否则自动输入给SVM2。依次类推, 直到SVM f, 若决策函数输出不为+1, 说明测试数据样本属于其他故障模式。核主成分分析和粒子群优化支持向量机的故障诊断方法整个流程如图2所示。
3 核主成分分析和粒子群优化支持向量机故障诊断方法的应用与分析
以株洲-西门子合作生产、运行于大秦线的DJ1型电力机车的笼型异步牵引电机为研究对象。由文献[2]及有关资料可知, DJ1型交流传动电力机车的笼型异步牵引电机常见故障有轴承内圈故障、轴承外圈故障、轴承滚动体故障、转子不平衡故障以及转子断条故障。本文进行仿真实验所采用的故障特征样本集源自文献[2]。该故障特征样本集由轴承内圈故障、轴承外圈故障、轴承滚动体故障、转子不平衡故障、转子断条故障以及正常6种故障样本数据组成, 其为对安装在笼型异步牵引电机表面的加速度传感器采集到的振动信号经三层小波包分解提取的8个子频带的能量值作为特征向量, 数据采集及故障特征信息提取的具体过程参见文献[2]。
用F1、F2、F3、F4、F5和F6分别表示正常 (无故障) 、轴承内圈故障、轴承外圈故障、轴承滚动体故障、转子不平衡故障、转子断条故障6种故障模式, 从每种故障数据样本中取3份共18组数据作为训练数据样本, 将剩余的数据样本作为测试数据样本。先采用文中所提到的方法构建支持向量机多故障诊断系统。KPCA和SVM都采用高斯径向基函数。设定KPCA的核函数参数σ1=10非线性核主成分p=2, 训练样本的KPCA提取数据见表1。粒子群的粒子个数为20, 学习因子c1=c2=1.3, 最大迭代次数MaxIter=100, 惯性权重的最大值wmax=0.9, 最小值wmin=0.3, 经粒子群优化的对应6种故障模式的支持向量机 (SVM1-SVM6) 的参数σ, C为0.6, 60287。然后, 训练支持向量机分类器得到6个支持向量机故障分类器模型fq, 其中q=1, 2, …, 6, 并以此构建支持向量机多故障诊断系统, 最后将提取的测试样本的特征向量输入支持向量机多故障诊断系统进行故障模式识别。测试数据样本原为8维向量, 经KPCA提取后获得二维最佳特征向量, 其核主成分及诊断结果见表2。从表2可知, 支持向量机多故障诊断系统对测试样本的故障诊断结果与实际故障完全一致, 故障识别准确率为100%。再者, 对于上述6种故障模式, 以每种故障数据样本中的2组共12组作为训练样本, 其余数据样本为测试数据样本, 支持向量机多故障诊断系统的故障识别准确率仍为100%, 可见, 支持向量机对于小样本依然具有良好的分类性能。
为了进一步说明本文所提方法的有效性, 从每种故障模式样本中选取2份共12组为训练样本, 剩余的样本为测试数据样本, 分别采用主成分分析和粒子群优化支持向量机 (PCA+PSO-SVM) 、核主成分分析和粒子群优化支持向量机 (KPCA+PSO-SVM) 及直接使用支持向量机 (SVM) 3种故障诊断方法进行实验, 3种方法对测试数据样本的故障诊断结果对比见表3。从表3可以看出, 在训练样本相同的情况下, 采用核主成分分析和粒子群优化支持向量机方法对笼型异步牵引电机的故障识别准确率明显高于其他二者, 其性能表现最优, 同时对于每个测试样本所耗费的时间小于0.1 s (CPUcentrino2.0GHz, RAM1GB) , 能够满足多故障在线诊断的实时性要求。
4 结论
基于核主成分分析和粒子群优化支持向量机的故障诊断方法有如下特点:
(1) 利用KPCA进行特征提取, 能够提取故障数据中的有效信息, 降低故障诊断模型的复杂度。
(2) 采用粒子群优化算法, 可以解决支持向量机的参数选择问题, 有助于构造高性能的支持向量机故障分类器。
(3) 支持向量机在小样本情况下分类性能表现良好, 实时性强, 适合于故障在线监测和诊断。
基于核主元分析的头部姿势估计 篇7
人机交互是计算机科学研究的一个重要领域。作为一种新的计算机输入方式,人眼视线方向跟踪已引起众多研究人员的关注。估计头部姿势是检测视线方向的前提,因此成为国内外研究的热点。另外还可以根据头部姿势预测驾驶员的注意力集中情况,所以头部姿势估计还可以作为驾驶辅助系统的一部分。
现有头部姿势估计方法可以分为两类[1]:
1)基于形状的几何分析法:给定一个参考图像,然后根据人脸相对运动时,图像尺寸缩放、平移、旋转来复原3D头部姿势[2,3]。通常根据5个特征点的相对位置来计算姿势角度,5个特征点分别是4个眼角点与鼻尖。另外Braathen[4]提出利用多粒子过滤器来跟踪这5个特征点,再利用它们间的几何关系来估计头部姿势。也有根据图像差分与人脸大体呈椭圆形的特点来估计头部姿势[4]。此类方法的特点是需要定位人脸的特征点,人脸特征点的定位精度对估计结果影响很大,然而在不同姿势的人脸图像中定位特征点本身就是个很困难的问题,并且人脸表情发生变化时会影响人脸特征点的相对位置也会影响估计精度。
2)基于外观的方法:认为姿势估计是个模式分类问题,把不同姿势的人脸图像看作不同的模式。主要应用统计学习的方法进行分类。如PCA、支持向量分类法(SVC)[5]、多视角特征空间[6]。最佳Gabor过滤器特征空间[7]。此类方法的缺点是对图像排列要求较高,并且对背景与图像尺寸比较敏感。也有人提出应用小波神经网络的方法来估计头部姿势[8]。这种方法的缺陷是需要所有用到的人脸特征点必须可视,因此不能估计较大范围内的头部姿势变化。
根据最新研究,不同姿势的高维人脸图像,存在一低维流形结构[9,10]。应用非线性降维的方法可以把这种潜在的流形结构嵌入到低维空间,实现高维数据的可视化。KPCA(核主元分析)是PCA(主元分析)的改进算法,是一种非线性降维的方法。据此提出应用KPCA把高维空间中不同姿势人脸图像的流形结构嵌入到低维空间,然后应用插值方法估计新图像姿势角度的方法。
2 KPCA基本理论
核主元分析(KPCA)的思想就是通过引入一个非线性变换Φ,把每一个样本向量Xk由输入空间Rn映射到一个高维空间Rf,使在输入空间无法线性分类的数据变换到线性可分的高维空间Rf。然后在高维空间Rf中利用PCA进行特征提取[11]。
2.1 PCA
给定一组样本数据Xk,k=,1,M,Xk∈Rn且满足∑Mk=1Xk=0。
则样本数据的协方差矩阵、特征值为
其中:λ≥0为特征值,v∈Rn为相应的特征向量。
又因为jkjkXv),(),(Xv XXT=,其中(Xk,v)表示两个向量的内积,所以:
可见,所有对应特征值λ≠0的特征向量,都位于由样本向量x1,x2,…,xM所张成的空间spn{x1,x2,…xM}。所以式(2)等价于:
2.2 KPCA
核主元分析中引入一个非线性变换Φ将输入空间Rn的每个样本向量Xk投影到一个高维特征空间Rf中[12],即:
空间Rf的维数f高于n,甚至可以是无限维。在特征空间Rf中,假定:
则协方差矩阵、特征值为
同样,在特征空间F中,对于任一特征值λ≠0所对应的特征向量v都位于由Φ(X1)Φ(XM)张成的空间,因此存在系数αi(i=1,…,M),有:
同理:λ(Φ(Xk)⋅W)=(Φ(Xk)⋅CW),k=1,,M(11)
综合式(10)、式(11)得:
定义一个M×M矩阵K,其元素为
则式(12)变为
其中α代表列向量α=[α1…αM]T。
令表示矩阵K的特征值,其相应的特征向量可表示为α1,,αM,αi=[αi1,αi M]T,i=,1,M,并记为第一个非零特征值。下面对αp,,αM进行标准化处理使之满足式(15):
将式(10)代入,上式转化为
所以αp,,αM,只要满足式(16)就可得到协方差知阵C的一组正交归一化的特征向量集。为了提取主元,只需在特征空间Rf中,计算向量在特征向量Wk(k=p,…,M)上的投影。假定X为一输入样本,则在特征空间中的映射为Φ(X),其在特征向量w上的投影为
由上式可知通过引入核函数的方法,在高维空间实际上只需进行内积运算,而这种内积运算是可以用原空间中的函数实现的,从而避免了在Rf中进行非线性变换的不便。
3 基于KPCA头部姿势估计
根据流形学习理论,不同姿势的高维人脸图像,具有一个潜在的低维流形结构[9,10]。应用KPCA的方法可以把这种潜在流形结构嵌入到低维空间,实现高维数据的可视化。
3.1 建立姿势曲线
由于人们不能直接感知高于三维的数据集,在此把高维人脸图像嵌入到三维空间。假设有M个训练样本,每个样本对应的角度已知。通过映射Φ把这些样本映射到高维特征空间F,其中3个最大特征值为A1、A2、A3,它们对应的特征向量分别为X、Y、Z。选择核函数,利用核主元分析的方法计算每个样本分别在X、Y、Z上的投影值x、y、z。并把(x,y,z)看作三维空间的点,依次连接这M个点即得姿势曲线。
3.2 姿势估计
对于一幅新图像T,同样计算其在三分量上的投影值,得到新坐标点(x′,y′,z′)。然后根据最近点估计该点对应的角度或根据几个临近点用三维插值的方法估计该点对应的角度。
4 实验
由于头部旋转角度不易精确测量,而摄像机旋转角度容易直接标定,因此根据相对运动的原理,采取人不动而旋转摄像机的方法来制定样本。如图所示,在以测试人员为圆心的半圆周上旋转摄像机,每隔5°摄取一幅图像,共得到37幅人脸图像,其中0°时摄取的图像为正面人脸图像,如图1。
裁剪所获得图像,并归一化为80×80的头部图像。选择多项式核函数:k(xi,xj)=[a(xi,xj)+b]d其中:(xi,xj)表示内积,并选择常数a=1,b=1,d=2。随机选择其中的30(20)幅进行训练,建立姿势估计曲线如图2。对其余7(17)幅图像进行投影获得坐标值,根据临近点进行插值求其对应的角度。
用相同方法估计其他4个测试人员头部姿势。角度估计平均偏差值(误差绝对值)如表1。
从表1可以看出角度估计偏差大体在5°左右,随着训练样本数目的增加估计偏差值有一定的缩小。为提高估计精度可以适当增加训练样本数目,为得到更多样本在采取样本时可以每隔1°摄取一副人脸图像。
5 结论
通过引入KPCA非线性降维算法,把不同姿势人脸图像潜在的流形结构嵌入到3维空间实现高维数据的可视化。训练姿势估计曲线,利用相同算法把新图像投影到三维空间,根据新投影点的临近点进行插值计算姿势角度。由于未利用具体人脸特征点的位置关系,因此本方法对人脸表情的变化有一定的鲁棒性。估计偏差在5°左右,可以满足一定的实际需要,并给出一种提高估计精度的途径。
参考文献
[1]Zhu Youding,Fujimura Kikuo.Head Pose Estimation for Driver Monitoring[C]//IEEE Intelligent Vehicle Symposium.Parma:IEEE,2004:501-506.
[2]王珂,尹宝才,王雁来.人脸特征跟踪和头部姿势估计[J].北京工业大学学报,2005,31(2):220-224.WANG Ke,YIN Bao-cai,WANG Yan-lai.Face Feature Tracking and the Head Pose Estimating[J].Journal of Beijing University of Technology,2005,31(2):220-224.
[3]毋立芳,张斯聪,赵晓晴,等.一种人脸姿势估计新方法[J].信号处理,2006,22(1):61-64.WU Li-fang,ZHANG Si-cong,ZHAO Xiao-qing,et al.A new method for face pose estimation[J].Signal Processing,2006,22(1):61-64.
[4]Wu Junwen,Trivedi Mohan M.A two-stage head pose estimation framework and evaluation[J].Pattern Recognition,2008,41(3):1138-1158.
[5]Li Y,Gong S,Liddell H.Support vector regression and classification based multi-view face detection and recognition[C]//IEEE International Conference on Automatic Face and Gesture Recognition.New Jersey:IEEE,2000:300-305.
[6]Srinivasan S,Boyer K L.Head pose estimation using view based eigenspaces[C]//Proceedings of the16th International Conference on Pattern Recognition.Quebec City:IEEE,2002:302-305.
[7]Wei Y,Fradet L,Tan T.Head pose estimation using gabor eigenspace modeling[C]//the IEEE International Conference on Image Processing.New Jersey:IEEE,2002:281-284.
[8]Kruger V,Sommer G.Efficient head pose estimation with gabor wavelet networks[C]//the11th British Machine Vision Conference.Bristol:Elsevier,2000:1-10.
[9]Yun Fu,Thomas S.Huang Graph.Embedded Analysis for Head Pose Estimation[C]//the7th International Conference on Automatic Face and Gesture Recognition.Southampton:Elsevier,2006:3-8.
[10]Hu Nan,Huang Weimin,Ranganath Surendra.Head Pose Estimation by Non-linear Embedding and Mapping[C]//IEEE International Conference on Image Processing.New Jersey:IEEE,2005:342-345.
[11]黄国宏,邵惠鹤.核主元分析及其在人脸识别中的应用[J].计算机工程,2004,30(13):13-14.HUANG Guo-hong,SHAO Hui-he.Kernel Principal Component Analysis and Application in Face Recognition[J].Computer Engineering,2004,30(13):13-14.