PCA特征（精选4篇）
PCA特征 篇1
一个典型的说话人识别系统提取的说话人特征通常为时变特性参数如梅尔倒谱系数MFCC(Mel-Frequency Cepstrum Coefficients)[1]、感知线性预测系数PLP(Perceptual Linear Prediction)[2]或韵律特征[3]。然而,实际使用时由于受到噪音干扰,或者训练与识别传输通道不匹配,识别系统通常不能表现良好[4]。目前解决这一问题的手段主要集中在特征域、模型域和得分域。现有特征域鲁棒性处理方法主要有:RASTA滤波[5]、倒谱均值归一化(CMN)[6]、直方图均衡[7]和倒谱规整[8,9,10,11]等。这些算法通常以在识别前增加额外的运算来换取鲁棒性的提高,如统计概率密度分布及计算各阶矩等。
本文算法主要从特征域入手,旨在减少识别阶段运算时间的同时提高识别系统的鲁棒性。参考文献[12]采用了观察值的各阶矩和中心矩作为段级特征,并与模型结合,在不显著影响识别率的情况下提高了识别速度。其缺点是,采用段级特征与采用帧级特征相比较识别率较低。参考文献[13]提出了一种改进的PCA方法用于掌纹识别,通过提取更有利于分类的基向量,提高了降维后特征的鲁棒性。本文结合了两者的优点,提出了一种基于PCA的段级特征PCAULF(PCA based Utterance Level Feature)提取算法。该算法特点如下:
(1)以段级特征代替帧级特征,可减少识别过程中模板匹配的次数,通过减少运算量来提高识别速度;
(2)在段级特征降维时引入改进的PCA算法,一方面实现了数据的降维,既抑制了噪声对识别系统的影响,又提高了识别的速度;另一方面,选择更利于分类的特征向量组成变换矩阵,提高识别系统的鲁棒性。
实验结果表明,在三种不同噪声背景下进行测试比对,段级特征获得了较高的识别率和较快的识别速度。
1 段级特征提取算法
1.1 段级特征的定义
由于语音的短时平稳特性,可以考虑在一段语音中提取特征,这样就使得同样的语音长度用更少的语音特征去描述,该特征被称为段级特征。它是和传统的按帧提取语音特征相对应的一个概念。段级特征的一般表示形式是:
其中,ULFi、ULFi′代表第i个段级特征矢量,式(1)表示ULFi′从连续的G帧语音信号s中直接提取,式(2)表示ULFi从连续的G个帧级特征矢量a中提取。使用段级特征的关键在于段长G的选取和函数fG(·)的选取。首先讨论函数的选取,段级特征是观察值的函数。本文中,fG(·)主要包括以下两个步骤:
(1)以G为段长、Ginc为段移,将G个帧级特征矢量组合成超矢量。组成超矢量的操作类似于对数据的取帧操作,如图1所示。
(2)采用改进的主成分分析方法对超矢量进行降维,得到段级特征。
1.2 PCA方法
主成分分析PCA(Principal Component Analysis)是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,简化复杂的问题。PCA假定具有大变化的方向的数据比有很少变化的方向上的数据携带有更多的信息,因而它寻找具有最大方差的那些称之为主轴的方向来表征原始数据。计算主成分的目的是在最小均方误差意义下将高维数据投影到较低维空间。
记xi=[ai1T,ai2T,…,aiGT]T为G帧语音特征向量组成的一个维数为p×G的超矢量,其中,ai为帧级特征。X=x1,x2,…,xN代表整个语音的特征超矢量集,N代表段数,令ULF=u1,u2,…,uN代表新的q(q≤p G)维向量集,PCA的目标是寻找一个变换矩阵Pq×p G使得ULF能以
的形式有效表示X。其中,通过K-L变换(KarhunenLoeve Transform)计算相互正交的一组基向量,可以得到P。
具体的PCA分析步骤如下:
(1)计算特征超矢量集X的协方差矩阵Σ:
计算矩阵Σ的p G个特征值λd及其对应的特征向量,并按特征值大小将特征向量降序排列。
(2)以某一设定的累积贡献率门限确定降维后的维数q,将前q个特征向量wpcai(i=1,2,…,q)组成维数为q×p G的变换矩阵P:
(3)对所有的超矢量采用式(3)进行降维处理,得到段级特征。
传统的PCA算法中,选取较大特征值对应的特征矢量作为基向量,对数据进行降维,其本质决定了在该方法下得到的特征在一般情况下是最佳描述特征(MEFs),而不是最佳分类特征(MDFs),这不利于分类匹配[14]。改进的PCA算法结合分类信息,选取主成分时选取对类间和类内离散度贡献比值大的特征向量作为基向量[12],更利于分类匹配,本文所选用的PCA方法为改进的PCA。具体步骤如下。令
分别代表训练超矢量集的总体散布矩阵、类内散布矩阵和类间散布矩阵。令
代表PCA变换矩阵。根据PCA的算法原理,如下变换成立:
在式(10)中,wTpcaiSbwpcai和wTpcaiSwwpcai分别表示在PCA空间中分量wpcai对类间和类内离散度的贡献度,wTpcai Sbwpcai/wTpcaiSwwpcai为二者的比值,该比值越大,对于分类匹配来说是越有利的。根据该比值大小选取特征向量的公式如下:
2 实验配置及结果分析
采用PCAULF作为特征参数的说话人识别模型如图2所示。语音数据经过预处理和特征提取两个步骤,得到帧级特征矢量集。训练时,由PCA对所有语音的段级特征求取降维变换矩阵,之后通过训练得到模板参数;识别时,首先使用训练时得到的变换矩阵对待测语音的段级特征进行降维,之后再通过模板匹配得到识别结果。
语音数据采用TIMIT语音数据库,随机选取50人,每人共10条语音,每条语音长4~6 s,其中8条用于训练,2条用于识别,保证了训练与识别语音的不一致。噪声库采用Noise X-92专业噪声库中的三种常见噪声,分别为平稳高斯白噪声、粉噪声和Babble噪声。基线系统声学特征采用能量和12阶MFCC特征以及衍生的△MFCC,共26维,之后进行了倒谱提升和RASTA滤波;模型采用训练和识别较为快速的矢量量化(VQ),码本大小取32。语音采样频率为8 k Hz,帧长为32 ms,帧移为12.5 ms。
本节主要开展了以下三个实验:
实验一:对纯净的语音进行训练,以段长分别为G=1,2,…,8,段移分别为Ginc=1,2,…,G求取段级特征,设累积贡献率门限为1,得到变换矩阵(该变换矩阵并没有实现降维);在识别阶段,先对G帧语音特征组成的超矢量进行变换,再测试其识别率。该实验主要用于分析合适的段长和段移。
实验二:在纯净语音基础上,以信噪比SNR(Signal Noise Ratio)为20 d B、10 d B、5 d B分别混叠了Noise X-92专业噪声库中的平稳高斯白噪声(White)、粉噪声(Pink)和Babble噪声(Babble),取实验一分析得出的段长和段移,采用不同的PCA降维参数,对帧级特征和段级特征进行变换,测试识别率,并对各种噪声和SNR条件下的识别率求平均,得到不同PCA参数所对应的识别率。该实验主要用于分析降维参数对识别率的影响。
实验三:根据实验一、二得到的段长、段移和降维参数,采用实验二的加噪方法对纯净语音进行加噪,对段级特征、经过PCA降维处理的帧级特征以及基线系统的帧级特征的识别性能进行了测试。该实验主要用于对本文提出的算法的识别精度和速度进行测试。
2.1 段长与段移分析
实验一结果如表1所示。
由表1可见,当以帧级特征作为训练和识别的特征时,其识别率明显低于经PCA方法变换后的段级特征的识别率。总体来说,当G固定时,随着Ginc的增加,识别率逐渐降低;当Ginc固定时,随着G的增加,识别率也逐渐降低。当G≥8时,段级特征识别率不如帧级特征。当G=1,Ginc=1时,等效为直接用PCA方法对帧级特征进行变换。由于帧级特征(能量+MFCC+△MFCC)中计算一阶差分时引入了冗余,PCA方法正是为了去除各个主成分之间的冗余,故经PCA变换后的帧级特征(G=1,Ginc=1)拥有更好的识别性能。但当语音信号为带噪数据时,该特征识别性能不如段级特征(见2.3节)。
由于当G和Ginc均较大时,模板匹配次数减小,识别速度会得到明显提高,因此,为了兼顾识别速度和精度,结合表1的结果,本文选取G=6,Ginc=4。
2.2 PCA降维参数分析
实验二结果如图3(a)、(b)所示。其中,PCA参数主要指的是设定的累积贡献率门限,即选用累积贡献率不小于累积贡献率门限的多个特征矢量组成降维变换矩阵。
由图3(a)可见,对于帧级特征,当训练语音和待测语音较纯净时,累积贡献率门限值越大,识别率越高。图3(b)表明,对于段级特征,累积贡献率门限值位于94%附近时,识别效果较好。门限太大易造成噪声参与识别,影响识别精度;门限太小,易造成降维后的特征包含语音信息不充分,虽然能提高识别速度,但却降低了识别精度。因此,本文在进行PCA降维时,选用累积贡献率不小于94%的特征向量组成降维变换矩阵。
2.3 带噪环境下基于PCAULF的说话人识别系统性能分析
实验三结果如图4~图6所示。
由图4~6可以看出:(1)总体来说,在三种常见噪声环境下,段级特征与经PCA降维后的帧级特征识别率相近,均高于直接采用帧级特征时的识别率。(2)由于段级特征引入了长时特征,且PCA降维在一定程度上抑制了噪声对识别的影响,因此,在SNR较低时(SNR<20d B时)具有更好的鲁棒性。
以上实验的PC配置为:Intel Core(TM)2 Duo CPU E7500@2.93 GHz,1.96 GB内存。三种特征在所有语音的识别阶段的平均运算时延如表2所示。
(s)
可见,由于识别时,模板匹配的运算时延远大于对数据进行降维的运算时延,而段级特征的引入带来了模板匹配次数的减小,因此,段级特征在识别阶段的运算速度明显大于帧级特征,约为帧级特征的2.8倍,更加适用于实时说话人识别系统。
本文以现有的帧级语音特征为基础,结合语音的长时特性和改进PCA方法,提出了一种适用于说话人识别的段级语音特征,并分析了算法中的参数对识别性能的影响。实验结果表明,该算法在提高语音特征鲁棒性的同时,提高了识别速度,适用于实时说话人识别系统。
PCA特征 篇2
与卫星云图相比, 地基云图对于低云和区域性云层具有较直观的描述;因此可以从地基云图中提取到丰富的信息;并且具有实施简单、成本低、直观性强、方便应用等优势。目前针对地基云图的自动识别研究已经取得了一些进展, 如Buch等人采用TPP方法对WSI (全天空成像仪) 提供的图像进行了类型识别, 通过计算LAWS能量纹理特征 (T) 、位置信息 (P) 和像素亮度 (P) 等方法实现了卷云、高积云、层云、积云和晴空5种云图类型的判断, 获得了61%的正确率[2]。Paul等人对可见光图像基本物理信息采用聚类算法, 最终判别正确率为65%[3]。M.Singh等人利用数字相机拍摄所得图像进行分类识别研究, 采用自相关、共生矩阵、LAWS能量等方法提取纹理特征, 对积雨云, 积云、天空等云类进行分类识别, 但效果不佳, 平均识别率最高达到60.6%[4]。Josep Calbo等人采用TFT方法利用全天空成像仪获取的云图, 通过计算统计纹理特征 (T) 、傅立叶谱特征 (F) 和阈值 (T) 并选取不相关的9个特征值进行了波状云、层状云和积状云等几类天空的识别, 识别率为76%[5]。郑君杰等人利用数字相机拍摄的云图, 采用BEMDT方法, 通过二维经验模式分解 (BEMD) 和计算Tamura纹理特征, 对积云、高积云、层积云和积雨云等云类进行分类识别, 平均识别率为64%[6]。杨俊等人利用自适应阈值的方法进行地基云自动检测, 采用普通数码相机所拍摄的云图, 在天空背景下提取云目标[7]。可以看出, 单纹理特征对于云图的特征描述能力有限, 识别精度和效率还无法达到实际应用的要求。
为了提高地基云图的识别精度和效率, 通过灰度共生矩阵和Gabor滤波器方法分别提取地基云图的多纹理组合特征, 针对当云图特征向量维数较高情况下训练识别效率较低的问题, 采用主成分分析的方法进行数据降维, 最后对积雨云, 高积云和层积云三类地基云图进行分类识别, 实验证明了该方法具有可行性和有效性。
1 纹理组合特征提取
纹理反应了物体表面的结构或性质。纹理特征包含了物体表面结构排列的重要信息以及它们与周围环境的联系[8]。地基云图的纹理属于自然纹理。由于生成云的大气环流、水汽含量的差异, 导致了云的形态、密度、高度的千姿百态, 使得地基云图的纹理具有多样性和随机性的特点。云图的纹理变化体现了云的状态变化, 同时云的状态变化又与自身特有的属性有关;因此不同的云类具有不同的纹理结构。在视觉上, 云的纹理具有平整与起伏、粗糙与平滑、规则与杂乱等多种情况。文献[4]中Singh等人的研究表明, 没有任何一种特征提取方法适合所有类型的云图分类, 每种特征提取方法各有优势。文献[1]中朱彪等人通过将多种纹理特征、颜色特征和形状特征结合, 对积状云、层状云、卷云和晴空云图进行识别;结果表明, 使用组合特征比使用单一的特征取得识别效果更好。因此, 针对地基云图的纹理特征的特点, 为了提取更加丰富的纹理特征, 现分别采用灰度共生矩阵和Gabor滤波器两种方法提取纹理特征。
1.1 灰度共生矩阵纹理特征
由于纹理是由灰度分布在空间位置上反复出现而形成的, 因而在图像空间中相隔某固定距离的两象素之间会存在一定的灰度关系, 即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性的应用最广泛的纹理统计分析方法[9]。灰度共生矩阵可以用从灰度为m的点离开某个固定位置关系δ的点的灰度为n的概率来表示。即
式 (1) 中N为图像的灰度级;m, n分别为两个像素的灰度值;δ为两个像素间的空间位置关系。不同的δ决定了两个像素间的距离和方向。当两像素间的位置关系δ选定后, 就可生成一定δ下的灰度共生矩阵Pδ。共生矩阵的一个元素表示了一种灰度组合下出现的次数。如元素Pδ (1, 0) 表示了图像上位置关系为δ的两像素灰度分别为1和0的情况出现的次数。显然, 不同的位置关系 (距离或方向) 元素值是不相同的。为计算方便可将灰度共生矩阵归一化, 将灰度共生矩阵元素用其出现的概率来表示
式 (2) 中, m=0, 1, …, N-1;n=0, 1, …, N-1。
灰度共生矩阵反映了纹理特征的统计性质, 从灰度共生矩阵可以计算出如下4个纹理特征量。
1) 角二阶矩 (ASM) :
2) 熵 (ENT) :
3) 对比度 (CON) :
4) 相关性 (COR) :
对于每一个方向的灰度共生矩阵都可以计算得到以上4个特征值。对0°、45°、90°和135°方向分别计算灰度共生矩阵的四个特征值, 这样每个特征都有4个不同方向的特征值。其中角二阶矩、熵、对比度、相关性的均值分别为MASM、MENT、MCON、MCOR, 其对应的角二阶矩、熵、对比度、相关性的标准差分别为DASM、DENT、DCON和DCOR。
在实际应用中, 一幅地基云图图像的灰度级一般为256级, 而在采用灰度共生矩阵计算和提取纹理特征值时, 计算量的大小是由云图的灰度级和分辨率确定的[8]。为了减小灰度共生矩阵的计算复杂度, 首先将地基云图图像压缩为16个灰度级, 然后计算4个方向的角二阶矩、熵、对比度、相关性的均值和标准差, 组成一个8维的特征向量VGLCM。
1.2 Gabor变换纹理特征
Gabor变换函数是唯一能够达到时频测不准关系下界的函数, 这使得其在时频域均具有优良的局部特征[10]。因此Gabor滤波器在提取纹理图像的纹理特征方面得到了广泛的应用。由于采用的地基云图是二维的图像, 因此采用二维Gabor滤波器进行特征提取, 通过对图像的不同的频率和方向的频域进行分析提取图像的纹理特征。
二维Gabor函数g (x, y) 及傅里叶变换G (x, y) 为
式中, w是高斯调制频率, σu= (1/2) πσx, σv= (1/2) πσy, σx和σy分别为高斯函数在x和y方向上的标准差, 决定了函数的空间扩展。以g (x, y) 为母小波, 通过对g (x, y) 进行适当的尺度和旋转变换, 可得到自相似的一组滤波器。
gmn (x, y) =a-mG (x', y') , a>1, m, n为整数;
式 (10) 中a-m为尺度因子, θ=nπ/N, N为方向的总数。m, n分别代表相应的尺度和方向。
对一幅给定的图像f (x, y) 进行Gabor小波变换可以表示为
假设局部纹理区域具有空间一致性, 那么相应的小波变换系数模的均值和标准差的定义为
若共采用M个尺度和N个方向, 则通过Gabor滤波器提取的图像纹理特征向量可表示为
根据上述Gabor滤波器的构造方法, 构造Gabor滤波器并对地基云图进行纹理特征提取。为了最大限度地保持图像Gabor纹理特征, 首先选取尺度参数M=5, 即m=0, 1, …, 4, 方向参数N=8, 即角度θ=nπ/N (n=0, 1, …, 7) , 这样可以构造出40个不同尺度和方向的Gabor函数模板。然后根据小波变换系数模的均值和标准方差的计算公式, 分别计算Gabor滤波后图像的均值和标准差, 可以计算得到40对均值和标准差, 组成一个80维的特征向量
2 主成分分析
主成分分析是将多个变量通过线性变换选出较少的综合变量[11], 能够用尽量少的向量代表原始变量的绝大多数信息, 同时又互不相关, 具有去除数据相关性和降低维数等优点[12]。经过降维后能够保存数据中的主要信息, 从而使数据更易于处理。其主要过程如下。
设一个样本资料, 有n个指标X1, X2, …, Xn分别表示每个对象的各个特性, 有N个样本, 可以用N×n矩阵表示, 即X= (Xij) N×n;i=0, 1, …, N, j=0, 1, …, n。
(1) 将数据标准化生成标准矩阵Y, 方法如下:
, 其中和sj分别为指标变量Xj的均值和方差。
(2) 计算标准变量的相关系数矩阵R=E (YYT) 。
(3) 求相关矩阵R的特征值及特征向量, 确定主成分。计算相关系数矩阵的特征值λ1, λ2, …, λn及相应的特征向量q1, q2, …, qn。将标准化后的指标变量转换为n个主成分。
(4) 计算主成分贡献率, 确定主成分个数。
第i个主成分的贡献率表示为。贡献率越大, 说明该主成分所包含的原始变量的信息越强。主成分个数k的选取, 主要根据主成分的累积贡献率来决定。
由于采用的组合特征的维数较多, 这就增加了实验的计算复杂度, 分类识别的时间也就相应的变长。为了减少计算复杂度, 提高云图的分类识别效率, 需要对组合特征进行主成分分析。一般要求主成分的累计贡献率达到85%以上, 这样才能保证综合变量能包括原始变量的绝大多数信息。为了最大限度的保留原始数据的信息, 故选取累计贡献率超过95%的主成分作为最终鉴别特征。
3 实验结果与分析
本文的实验数据来自山西省气象局气象资料库, 云图的分辨率均为256×256像素。为了验证算法的有效性, 选取了其中三类纹理特征差距比较明显的地基云图进行实验。这三类云分别为:积雨云, 高积云和层积云。云图样本如图1所示:
实验采用的硬件平台为2.3 GHz处理器, 4 G内存。实验对每类云图均选取60幅地基云图样本。从每种云图中随机选取20个为测试样本, 剩余的为训练样本。首先提取灰度共生矩阵和Gabor变换纹理特征, 得到特征向量分别为VGLCM和VGabor。然后将两种特征向量进行组合, 得到88维的组合特征向量VCom, 即VCom=[VGLCM, VGabor]。实验提取的88个组合特征向量存在较多数据冗余, 为了减少计算复杂度, 接着利用主成分分析对特征向量进行降维和优化处理。经过主成分变换得到88个主成分分量, 截取了前10个主成分分量进行累计贡献率分析。统计结果表明, 前7个主成分的累计贡献率已经超过95%, 几乎代表了全部的纹理特征信息, 因此, 本实验选取前7个主成分作为最终的特征向量。采用支持向量机设计分类器, 由于支持向量机存在几种常用的核函数, 因此分别进行实验对比, 实验结果表明, 在选取合适的参数情况下, 采用径向基核函数的识别效果最好, 因此本实验均采用径向基核函数进行实验。表1给出了在相同实验环境下不同特征的实验对比结果, 表2给出了本文方法的分类混淆矩阵。
从表1对比结果可以看出, 积雨云的识别率最高, 高积云识别率次之, 层积云的识别率最低。将两种纹理特征提取方法提取的特征向量单独进行实验, 平均识别率都没有超过80%, 识别率偏低。采用的方法识别精度与组合特征方法识别精度相比, 略有降低, 但相差不大, 仅多错判了一例, 但与使用一种纹理特征提取方法提取的特征向量实验结果进行比较, 可以发现识别精度得到了很大的提高。由于采用了主成分分析的方法进行数据降维, 使得识别效率也得到了较大的提升, 识别时间仅为组合特征的1/5。
表2混淆矩阵中, 括号内为对应识别样本数。从表2可以看出, 层积云与积雨云两种云图比较容易造成相互误判。积雨云中有1个样本被误判成层积云, 高积云中有2个样本被误判成层积云, 分析这些样本可以发现这些云图的特点是云体布满天空, 均呈现出一定的层状特性。层积云中有5个样本被误判成积雨云, 分析这些样本可以发现这些云虽然布满天空, 但是云体上依然有一些块状, 呈现出积状特性。层状云中有1个样本被误判为高积云, 云体周围有些零零碎碎, 因而造成了识别时的误判。
此外, 还将本文方法和文献所列的TPP方法[2]、TFT方法[5]和BEMDT方法[6]在相同实验条件下的实验性能进行了分析对比, 表3给出了实验对比结果。由于采用多种纹理组合特征和主成分分析方法, 使得在能够最大限度的描述纹理特征的同时保证了特征向量维数的最小化。从对比结果可以看出, 本文方法的识别精度比其他研究成果的识别精度有明显提高, 在提高分类识别精度的同时保证了该方法具有较高的效率。综上所述, 本文方法具有可行性和有效性。
4 结束语
云图自动分类是实现地基云的自动化观测的重要组成部分, 也是亟待解决的一个难点。通过灰度共生矩阵和Gabor滤波器两种方法分别提取了地基云图的纹理特征, 将两种特征向量集共88个特征进行组合, 最后通过主成分分析方法对数据集进行数据降维和优化, 采用支持向量机设计分类器对积雨云, 高积云和层积云三类云进行分类识别。实验结果表明本文采用的方法具有可行性和有效性。
摘要：地基云图自动分类识别对于天气现象的诊断和预报具有重要意义。以地基云图为研究目标, 首先在提取云图灰度共生矩阵和Gabor变换特征的基础上计算云图的多纹理组合特征;然后采用主成分分析法对组合特征进行数据降维, 获取最终鉴别特征。通过对积雨云、高积云和层积云三类地基云图进行分类识别的实验结果表明, 该方法可以同时提高云图分类的精度和效率。
关键词：云图分类,纹理特征,灰度共生矩阵,Gabor变换,主成分分析
参考文献
[1] 朱彪, 杨俊, 吕伟涛, 等.基于KNN的地基可见光云图分类方法.应用气象学报, 2012;23 (6) :721—728
[2] Bush K A, Sun C H, Thorne L R.Cloud classification using wholesky imager data.Proceedings of the ninth Symposium on Meteorological observation and Instrumentation.Chorlotte, North Carolina, 1995:353—358
[3] Tag P M, Bankert R L, Brody L R.An AVHRR multiple cloud-type classification package.Journal of Applied Meteorology, 2000;39(2) :125—134
[4] Singh M, Glennen M.Automated ground-based cloud recognition.Pattern Analysis and Applications, 2005;8 (3) :258—271
[5] Calbo J, Sabburg J.Feature extraction from whole-sky ground-based images for cloud-type recognition.Journal of Atmospheric and Oceanic Technology, 2008;25 (1) :3—14
[6] Chen Xiaoying, Zhen Junjie.On the application of BEMD and Tamura textural feature for recognizing ground-based cloud.2010 International Conference on Computer Application and System Modeling (ICCASM) , IEEE, 2010;12:V12-61—V12-65
[7] 杨俊, 吕伟涛, 马颖, 等.基于自适应阈值的地基云自动检测方法.应用气象学报, 2009;20 (6) :713—721
[8] 刘真, 周淑秋.利用图像颜色特征与纹理特征进行图像检索.计算机工程与设计, 2007;28 (20) :4952—4954
[9] 王静, 何建农.基于K型支持向量机的遥感图像分类新算法.计算机应用, 2012;32 (10) :2832—2835
[10] 张根生.基于纹理和边缘特征的图像检索算法研究.扬州:扬州大学.2009:24—26
[11] 聂方彦.基于PCA与改进的最近邻法则的异常检测.计算机工程与设计, 2008;29 (10) :2502—2504
PCA特征 篇3
唇读是指通过观察说话者的口型变化,读出或者部分读出所说的内容[1]。唇读作为人工智能一个新的研究方向,被广泛应用于噪声环境下提高语音识别率,如汽车内、机场、展馆及公共场所等。早期的唇读是将视觉通道作为音频通道的补充,用来提高噪声环境下的语音识别率。随着视觉特征提取方法的不断改进,单视觉通道的语义识别系统即真正意义的唇读系统在近几年迅速发展起来[2,3,4,5]。笔者基于单视觉通道对唇读系统进行了研究。单视觉通道唇读系统处理过程为:输入表示唇部变化的视频,通过唇部的检测和定位得到感兴趣区域(包含唇读的矩形框),对感性趣区域进行特征提取,利用提取的特征进行训练和识别,得到输入视频所代表的语义信息。单视觉唇读系统要解决的关键问题为唇部检测和定位以及特征提取。由于特征提取对整个系统的识别率影响非常大,因此笔者针对唇部的特征提取进行研究。
唇部特征提取的方法有基于像素的方法、基于轮廓的方法和两者混合起来的方法。基于像素的方法对图像的感兴趣区域即唇部图像进行某种变换,如主成分分析(PCA)、离散余弦变换(DCT)、复数小波变换(DWT)等,直接将变换后的相关参数作为唇部的特征。基于轮廓的方法通过可变模板,主动形状模型或曲线拟和的方法获取类似于唇高、唇宽及其他唇部几何特征参数。混合方法是指将基于像素和基于轮廓的方法获取的特征结合起来作为特征的方法。实际提取特征的过程中,由于唇部几何特征受很多因素(人种、镜头、光线等)的影响较大,因此目前广泛采用的是基于像素的方法,相关的研究[6,7]表明基于像素的特征提取方法具有更高的识别率,本文的方法属于基于像素的方法。一般来说,基于像素的方法获取的特征向量维数很高,存在较大冗余,需要进行相应的降维处理。文献[8]通过对感兴趣区域进行DCT变换,选取具有较高能量的DCT系数直接作为特征。文献[2]和文献[3在文献[8]的基础上提出了DCT+PCA的两级降维提取特征的方法,即对感兴趣区域图像先进行DCT变换,然后用PCA对选取的DCT系数进行二次降维,提高了识别率。文献[4]和文献[5]在文献[2]和文献[3]基础上提出了DCT+LDA方法。该方法将唇部口型分为10类,对能量较大的DCT系数根据LDA的方法选取最能区分唇部口型的特征,提高了唇读的识别率。这些方法在提取唇部特征的过程中都采用了DCT变换,这是因为如果单独使用DTW,DCT或PCA,DCT具有最好的识别率。在唇部检测和定位的过程中,由于没有固定的参照点,而且唇部在说话的过程中不断变化,因此很难将唇部精确定位在感兴趣的正中间,即使将每幅图像都将唇部的中心定位在正中间,从图像序列的角度来说,都会存在一定的偏移,如上移、下移、左移或右移。唇部图像空间域的任何偏移,经DCT变换后的系数都会产生较大的变化,这对识别来说相当于引入了新的误差。基于此,笔者提出用双树复小波变换代替DCT变换,双树复小波变换是对传统小波变换的扩展,它保留了小波变换的优点,同时具有近似的平移不变性等传统小波所不具有的优点。
1 特征提取相关理论介绍
特征提取是指通过某种变换,将样本从高维的采样空间转换到低维的特征空间,并要求转换后的特征能最为有效地代表原采样空间数据的特性。
1.1 离散余弦变换
离散余弦变换(Discrete Cosine Transform,DCT)具有很强的“能量集中”性,即经过变换后,输入信号(声音或图像)的能量主要集中在离散余弦变换后的低频部分。对图像来说,经过二维DCT变换后,其能量主要集中在DCT系数矩阵的左上方。DCT的该特性被广泛应用于信号和图像的有损压缩和编码。用DCT进行特征提取,就是利用其能量集中这一特性。首先对图像进行二维DCT变换,通过zigzag扫描将较大的系数排在前面,较小的系数排在后面,选取排在前面的系数作为图像的特征。
1.2 主成分分析
主成分分析(Principal Components Analysis,PCA)是指在数据中找出最主要的元素和结构,去除噪音和冗余,揭示隐藏在复杂数据背后的简单结构。从数学上来说就是要寻找到一组正交基,使得输入数据与输出数据之间的重构误差最小,其目标函数为
式中:U=(u1,u2,…,um)是降维前数据空间的部分正交基(主要成分),容易证明获取最小化重构误差的正交基对应数据协方差矩阵S前d个较大特征值所对应的特征向量。用PCA进行特征提取实际上就是将输入数据映射到低维特征空间(主元空间),即
从PCA的基本原理可以看出,对数据进行PCA,实际上就是找到一种使全局重构误差最小的映射,将数据从采样空间映射到主元空间,从而达到降维的目的。
2 双树复小波
2.1 双树复小波介绍
由于传统的小波变换不具备平移不变性,方向选择性也较差,而且会产生振荡和混叠。因此Nick Kingsbury[9,10]提出了双树复数小波变换(Dual-Tree Complex Wavelet Transform,DT-CWT),DT-CWT克服了传统小波的缺点,它采用2组正交、完全重构且互为希尔波特变换的滤波器来实现DT-CWT。一组滤波器实现实部树的变换,另外一组实现虚部树的变换。其分解以及合成的结构如图1和图2所示。
通过构造符合要求的滤波器组,双树复小波变换具有一些优良的特性:1)近似的平移不变性;2)良好的方向选择性;3)完全重构;4)有限冗余,如对于图像有4∶1的冗余;5)计算量相对较低,而且容易扩展到多维信号的处理,且扩展到多维后的DT-CWT仍然保持了其相应的优良特性。因此在二维DT-CWT被广泛应用于图像去噪、图像增强、图像分割、运动估计、运动补偿、图像编码、特征提取等。关于双数复小波的详细介绍见参考文献[11]。
2.2 二维双树复小波近似平移不变性
二维的双数复小波是指分别对行和列进行一维的双树复小波。二维DT-CWT保持了一维双数复小波的近似平移不变性,这里的平移不变性指空间域的相似形经过变换后在变换域仍然具有相似形。为了直观地体现二维DT-CWT的近似平移不变性,笔者进行了实验,如图3所示。对一幅分割出来的唇部图像进行了上移、下移、左移以及右移,图像大小为96×144。对每幅图像进行DT-CWT变换,为了直观,取其低频子带的系数幅值进行观察。如图3可知,虽然系数幅值的位置(相位)发生了偏移,但其大小和相对位置却保持了稳定。
2.3 基于DT-CWT+PCA的特征提取方法
如上节所述,二维DT-CWT变换后系数的幅值不变,但其位置随输入信号的变化而变化。如果能去除位置上的差异,则其近似的平移不变性就具有非常重要的意义。因此笔者提出将DT-CWT变换后的系数进行从大到小的顺序重新排列。对唇读系统来说,系数的重新排列使得位置存在偏移口形相同的唇部图像在变换域具有相同的特征矢量,也就是说位置的偏移通过系数的重新排列得到了消除。该特征矢量相对于DCT以及传统的DWT获取的特征具有更好的稳健性。类似于DCT具有能量集中性,小波系数的低频子带也反映了原始图像的大部分低频特征,具有较大能量,被广泛应用于图像编码和图像压缩,因此在实际应用中可选用部分子带进行后续的处理。由于DT-CWT变换后的幅值系数维数较高,即使只采用其低频子带仍然不一定能满足实际降维的需求。因此采用PCA的方法对DT-CWT系数进行二次降维得到所要求的特征维数。基于DT-CWT+PCA的特征提取方法可概括为:对感兴趣区域图像进行二维DT-CWT变换,将两个小波树相对应的系数结合起来,得到幅值小波树,取部分或全部子带的幅值并将其按照从大到小的顺序进行排列,再用PCA对其进行二次降维,得到最终的特征向量。
3 实验结果
本文采用的数据库是HIT BiCAVDatabase,该数据库由200个句子组成,约合1 000个字,每个句子录制3遍,图像的采集速率为25 f/s(帧/秒),分辨力为256×256。由于单纯利用视觉通道不能分辨相同音标、不同音调的字,因此本文将相同音标、不同音调的字视为同一个类,从该库的1 000个字中选取了96个具有不同音标的字,共288个样本进行实验。实验中采用的识别方法是动态时间归整(Dynamic Time Warping,DTW)。DTW是一种将时间规整和距离测度计算结合起来的非线性归整技术,它利用动态时间伸缩算法有效地解决了语音识别中说话速率不均匀造成的时间伸缩问题,可应用于孤立词的语音识别中。笔者研究的是基于人的孤立词的唇读,因此选用DTW作为识别方法。选取DCT+PCA作为对比算法进行了仿真实验。实验步骤如下:
1)对每个样本中的每幅图像进行唇部检测和定位,得到一个大小为48×64的包含唇部的感兴趣区域图像;
2)对感兴趣区域图像进行二维DT-CWT,将实树和虚树对应的系数联合起来求其幅值,得到幅值树。选取不同的子带系数,按照从大到小的顺序进行排列;
3)对排列好的DT-CWT系数进行PCA降维,得到每幅图像的特征向量;
4)对于每个字,其对应的图像序列中的每幅图像都按照上述的方法得到特征向量。选取每个字的第一个样本作为DTW的模板,另外的两个作为测试样本,根据欧式距离得到其识别的结果,并计算识别率。
实验中二维DT-CWT采用的是3级分解。由于DT-CWT变换后的幅值树类似于传统的小波变换,具有多个子带,因此本文选取低频子带,低频子带分别加3个高频子带,6个高频子带以及9个高频子带进行实验来研究不同子带对于识别率的影响。具体实验结果如表1所示。表中第一行DT-CWT+PCA后面括号中的数据表示实验中选取幅值树中除低频子带外的高频子带的个数。表中第一列特征的维数是指用PCA降维后的最终的特征维数。由于三级分解后的低频子带为6×8=48维,因此表1中DT-CWT+PCA(0)中未列出最终降维到50和60维的结果。
从表1可以看出,本文方法的识别率要好于DCT+PCA的方法,且随着子带个数的增加,识别率也在增加。如果只用低频子带进行降维,本文方法的识别率平均提高约2%。若加上3个子带,则识别率平均提高约6%。若加6个子带,识别率平均提高约8.7%。若采用全部子带,则识别率提高最多,约为9%。这从另一个侧面说明低频子带携带最多的信息,各高频子带分别携带一定的信息,但相对较少。要指出的是,当采用所有子带进行降维时,本文方法的最高识别率为72.92%,相比用DCT+PCA的方法来说,识别率提高了9.38%。选用不同的子带个数在降维时花费的时间不同,子带个数越多,识别率越高,需要的时间也越长。
由于文献[4]和文献[5]的识别率好于DCT+PCA的特征提取方法,因此有必要将本文的方法与文献[4]和文献[5]进行比较。由于文献[4]和文献[5]中未给出唇部口型分类的相关方法和原则,也未给出不同口型的示意图。因此本文未对其进行仿真,这里只将本文方法的结果与文献[4]和文献[5]中列出的结果进行比较,见表2。
从表2可以看出,虽然本文仿真DCT+PCA方法得到的最佳识别率63.5%,小于文献[4]和文献[5]中给出的识别率,但是本文方法的最高识别率72.92%却高于文献[4]和文献[5]中方法的最高识别率68.4%。另外从表1可以看出,如果采用低频子带和3个或者更多的高频子带进行降维提取特征,其识别率均高于文献[4]和文献[5]的识别率。这说明本文的DT-CWT+PCA的特征提取方法相对于文献[4]和文献[5]来说是一种更为有效的方法。
4 小结
本文利用双树复小波变换的近似平移不变性,通过对变换后的系数幅值进行重新排列得到空间域有偏移,变换域特征不变的特征向量,再利用PCA进行二次降维提取唇部特征的方法,并将该方法与DCT+PCA和DT-CWT+PCA的实验结果进行了比较和分析。实验结果表明本文的方法具有更高的识别率,尤其是采用所有子带时其最高识别率为72.92%,明显高于其他方法。另外,还对高频子带个数对识别率的影响进行了研究。研究表明,每个子带对于提高识别率都有不同的贡献,其中低频子带对识别率贡献最大。本文的研究针对特定人进行,后续要将该方法扩展到非特定人的唇部特征提取中去,进一步验证其有效性。
摘要：针对单视觉唇读系统中唇部特征的提取问题,提出了基于双树复小波和PCA的唇部特征提取方法。利用双树复小波变换的近似平移不变性,通过将变换后的系数幅值重新排列,克服了感兴趣区域中唇部偏移的影响。与DCT相比,双树复小波变换既可反映输入信号的频域特性,又能反映其空间域特性,具有近似平移不变性,这些特性使得DT-CWT+PCA的方法优于DCT+PCA的特征提取方法。实验结果表明,该方法在识别率方面有较大的提高。
关键词：唇部特征提取,双树复数小波变换,唇读,主成分分析
参考文献
[1]姚鸿勋,高文,王瑞,等.视觉语言——唇读综述[J].电子学报,2001,29(2):239-246.
[2]HONG Xiaopeng,YAO Hongxun,WAN Yuqi,et al.A PCA basedvisual DCT feature extraction method for lip-reading[EB/OL].[2010-04-20].http://www.computer.org/portal/web/csdl/doi/10.1109/IIH-MSP.2006.35.
[3]万玉奇,姚鸿勋,洪晓鹏.唇读中基于像素的特征提取方法的研究[J].计算机工程与应用,2007,43(20):197-199.
[4]何俊,张华,刘继忠.在DCT域进行LDA的唇读特征提取方法[J].计算机工程与应用,2009,45(32):150-152.
[5]HE Jun,ZHANG Hua.Research on visual speech feature extraction[EB/OL].[2010-04-20].http://portal.acm.org/citation.cfm?id=1511096.
[6]MATTHEWS I,COOTES T F,BANGHAM J A,et al.Extraction of visualfeatures for lipreading[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2002,24(2):198-213.
[7]POTAMIANOS G,NETI C,GRAVIER G,et al.Recent advances inthe automatic recognition of audio-visual speech[J].Proceedings of theIEEE,2003,91(9):1306-1326.
[8]HECKMANN M.DCT-based video features for audio-visual speechrecognition[EB/OL].[2010-04-20].http://www.icp.inpg.fr/~bertho/ref/heckmann-icslp02.pdf.
[9]KINGSBURY N G.The dual-tree complex wavelet transform:a newtechnique for shift invariance and directional filters[EB/OL].[2010-04-20].http://publications.eng.cam.ac.uk/12273/.
[10]KINGSBURY N G.Shift invariant properties of the dual-tree complexwavelet transform[EB/OL].[2010-04-20].http://portal.acm.org/citation.cfm?id=1257691.
PCA特征 篇4
传统的PCA虽然是一种相对较成熟的数据降维方法，但是它有一个完全依赖于每一类样本均值的弱点，在某些特殊情况下(当输入数据中含有噪声、强光、离群值等)，每一类样本的均值不能准确地估计整体样本的实际情况。因此，本文提出了一种新的模型———基于中值的主成分分析(MPCA)，这一模型能够有效地克服这一弱点。科研人员在线性判别分析中已有相关的研究[2,3,4]。文献[5,6,7,8]主要讨论了权函数对数据分类的影响，但是没有研究测度对于分类的影响。所以，本文不仅讨论了权函数对高维数据分类的影响，还研究了测度在数据处理中的作用。
本文通过两组多类问题数据集进行试验，实验结果表明，处理高维数据分类问题时，MPCA比传统PCA模型好。在考虑测度作用的情况下，WPAC比传统PCA有更好的分类效果。
1 PCA和KNN分类器
PCA是一种线性非监督降维技术，它是通过一种线性转化，将原始数据由原来的高维空间投影到一个低维空间中，在这个低维空间里得到一组新的数据。这组新的数据不仅保留了原始数据的主要信息，而且彼此之间相关性为零，避免了信息的重叠，减少了信息的冗余，使研究更加简单。PCA主要的计算步骤如下。
(1)计算样本的协方差矩阵:
其中，为总体样本均值。
(2)根据协方差矩阵求它的特征向量u1,u2，…，un和对应的特征值λ1，λ2，…，λn。
(3)对上述特征值进行降序排列并选择主成分。最终选择主成分的个数，是通过信息(方差)累计贡献率G(m)来确定的。
对于一个多类问题，通常用下面的公式代替公式(1)进行计算:
其中，mi为样本每一类的均值。
KNN(K-Nearest Neighbor)方法[9,10]，也称为K近邻法。对于一个待分类样本x，找出与它最近的k个训练样本，如果这k个最近邻中多数样本属于某一类，那么就把待分样本判决给那个类别。此方法在分类决策上仅依据最近邻的一个或几个样本的类别来最终决定待分样本所属的类别。最近邻法是在已知类别的训练样本条件下，按最近距离原则对待分样本进行分类。
2 MPCA和WPCA
在这一节中，首先介绍中值的相关概念，然后再具体介绍MPCA模型;在第二部分中，先简单介绍测度以及权函数的相关知识，然后再具体介绍WPCA。
2.1 中值的概念[2,3,4]
中值就是在一个有限的数据表中的中间值，在这个数的上面和下面分布的数据的个数是相等的。也就是说在这个列表中有1/2的数据小于或等于中值，1/2的数据大于或等于中值。对于一个有限的数据表，获得它的中值的第一步是将列表中的数据按降序排列，当列表中数据的个数为奇数时，取中间位置的数据作为它的中值，当数据的个数为偶数时，取中间的两个数的平均值作为它的中值。本文给出两个简单的关于中值选择的例子。
例1(Gao et al.[2])当输入的数据个数为奇数时:
输入数据A1={4.3,4.0,12,4.1,2.0,4.2,4.4,4.6,4.5}
排序后数据A1={2.0,4.0,4.1,4.2,4.3,4.4,4.5,4.6,12}
中值A1=4.3，平均值A1=4.9
例2(Gao et al.[2])当输入的数据个数为偶数时:
输入数据A2={4.3,4.0,12,4.1,2.0,4.2,4.4,4.6,4.5,4.7}
排序后数据A2={2.0,4.0,4.1,4.2,4.3,4.4,4.5,4.6,4.7,12}
中值A2=(4.3+4.4)/2=4.35，平均值A2=4.88
像样本均值那样，中值也可以作为数据集的集中趋势的估计量，并且，当数据集中含有异常值时，作为估计量的集中趋势，中值比均值更可靠。从上面的例子看出，当数据集中含有“2”和“12”时，中值优于均值。
2.2 MPCA
对于一个多类问题，本文提出了一种新的模型MPCA，它是用数据样本的每一类的中值代替数据样本的每一类的均值来对数据进行处理，即:
其中，m'i为每一类的中值，m为总体样本均值。
2.3 WPCA
WPCA是对PCA进行加权处理，即在传统的PCA中引入权函数w(dij)，其中dij为测度。在数学中测度是一个函数，它对于一个给定的集合的某些子集指定一个数，这个数可以是大小、体积、概率等(http://zh.wikipedia.org/wiki/);它一般满足非负性、规范性、完全可加性。在不同的应用中，测度的定义是不同的，在进行数据的降维处理中通常使用的测度有马氏距离和绝对距离[5,6]。本文使用的测度是dij=max(mi-mj)。而权函数通常是一个递减函数，对类间距较近的样本进行分类时，会产生一个困扰，影响分类准确率。因此，这就需要一个更大的权重来对它们进行区分。
因此对PCA进行加权，得:
其中，m为样本总均值，w(dij)为权函数(dij=max(mi-mj))。本文称基于式(5)的PCA为加权主成分分析(WPCA)。
本文主要考虑以下几种形式的权函数:
其中，W1和W2分别取自参考文献[5,6]。
3 实验结果及数据分析
本文所有实验均是在Matlab(7.1版本)的环境下进行。为了验证MPCA的分类效果以及WPCA中权函数的作用，本文使用了来自UCI数据库的两组数据集。在验证MPCA模型的分类效果时仅记录了MPCA模型中分类效果较好的k值。在研究权函数的作用时，首先利用WPCA将原始数据降到两维，然后再利用KNN分类器对降维后的数据进行分类。实验结果表明，MPCA的分类效果较好，另外权函数对于数据的分类结果有明显的影响。下列所有表中的数据均表示数据的错分率(%)。
3.1 数据集Ⅰ
数据集Ⅰ是取自UCI中的Dermatology Data Set，总样本数为366个，每个样本含有35个属性，其中最后一个属性为类标识，实验时去掉了8个缺损的样本。
表1是数据集Ⅰ在PCA和MPCA两种模型下的错分结果。图1(a)是数据集Ⅰ在MPCA模型下的分类结果，图1(b)为数据集Ⅰ在不同维数下的错分结果(PCA和MPCA模型)。
从表1可以看出，对于数据集Ⅰ而言，当k=1,3,4,8,10时，采用MPCA模型得到的数据错分率要比PCA低，同时还可以得到更深层次的信息，在获取Dermatology数据集的时候受到了外界的干扰，但是这种干扰比较小。
从图1(a)可以看出，1,3,4三类数据重叠的较多，2,5,6三类的分离性较好。通过这一信息可知，在处理原始数据问题上应该对1,3,4这三类加上较大的权值，而对2,5,6三类加上较小的权值。从图1(b)可以得出，随着数据维数的增大，在使用PCA和MPCA模型对数据进行分类时，错分率都在下降。在实际应用中，更多地需要将原始的高维数据尽可能地降到低维空间中进行处理，因此MPCA模型占有较好的优势。
表2是数据集Ⅰ在WPCA模型下的数据分类结果，从表2可以看出，不同的权函数对分类的效果有明显的不同，对于权函数W1,W2,W3，不论k(k=2∶2∶10)取何值，数据的分类效果都比传统的PCA好;对于权函数W4，只有在k=4,8时WPCA模型的分类效果比PCA略差。得到以上结果的原因是由四种权函数的收敛速度不同造成的，该收敛速度又由测度引起。总之，对于数据集Ⅰ来说W2是最好的权函数，W4是最差的一个。
图2(a)是数据集Ⅰ在不同维数下的错分结果图2(b)在不同维数下的运行时间。从图2(a)可以看出，WPCA模型下的数据分类效果明显优于传统k的PCA。这说明，权函数扩大了原始样本中较近的类间距，有效地解决了分类中类间信息重叠时造成的困惑，提高了数据分类的准确性。在图2(b)中，为了使图像看起来更加清晰，在此，对WPCA模型而言，本文取了四个权函数运行时间的平均值。从图2中可以看出WPAC模型下的运行时间相对较长，这主要是因为权函数的计算占用了大量的时间。
3.2 数据集Ⅱ
数据集Ⅱ取自UCI中Libras Movement Data Set，该数据集共有360个样本，91个属性，最后一个属性为类标识，本文取前120个样本作为实验数据。
表3是数据集Ⅱ在PCA和MPCA下的数据分类结果，图3(a)是数据集Ⅱ在MPCA模型下的分类结果，图3(b)它在不同维数下的错分结果(PCA和MPCA模型)。
从表3看出，对于数据集Ⅱ而言，当k=1,2,3,4,5,6,8时，采用MPCA模型得到的数据错分率要比PCA低，从而可以得知，在获取该数据集的时候受到了外界的干扰(如拍摄时的噪声、强光干扰，大气中的尘埃等)，且干扰比较大。
从图3(a)看出2,3,4,5四类数据重叠的较多，因此，本文在处理原始数据问题上应该对2,3,4,5这四类加上较大的权值。从图3(b)可以得出，MP-CA模型下的数据分类效果比PCA模型好，在实际应用中，当处理降维后的数据时，MPCA模型占有较大的优势。
表4是数据集Ⅱ在WPCA模型下的数据分类结果，从表4看出，只有W4在k=6时的错分率高于PCA，而其他三个权函数，它们的错分率都比PCA低。四个权函数的分类效果不同，同样是由于测度引起权函数的收敛速度不同而造成的。总之，对于数据集Ⅱ来说，四个权函数对于分类效果都有好的影响，相对来说，W4最差。
图4(a)是数据集Ⅱ在不同维数下的数据分类结果，从图中可以看出，维数较小时，WPCA模型的数据分类效果要比PCA模型好，这在处理降维后的数据时是很占优势的。图4(b)是数据集Ⅱ在不同维数下的运行时间，从图中可以看出，由于权函数的原因，WPCA模型的运行时间比PCA模型长，这与实际理论相符。
4 结束语
基于传统PCA的思想提出了一种新的降维方法MPCA，传统的PCA是基于每一类样本均值的降维方法，但是当数据含有噪声、强光、离群值等特殊情况时，每一类样本的均值不能准确地估计整体样本的实际情况。传统PCA就不能更好地对数据进行分析处理，而MPCA方法是用数据样本的每一类的中值代替数据样本的每一类的均值来对数据进行处理，且能够克服以上所述的特殊情况。通过试验得知，MPCA的分类效果明显优于传统PCA。
对于多类问题，本文对传统PCA提出了不同测度下的加权处理，得到了加权主成分分析(WPCA)。实验研究了WPCA中权函数对于分类结果的影响。实验结果表明，权函数对分类的结果的影响非常明显。对不同的实验数据，选用不同的加权方法，其权函数的影响也有所不同。因此，对于不同的实验数据，在考虑测度的情况下，选择合适的加权方法和权函数是有十分必要的，不能一概而论。
参考文献
[1]Jolliffe IT.Principal Component Analysis[M].New York:Springer,2002.
[2]Gao JQ,Fan LY,Xu LZ.Median null(Sw)-based method for face feature recognition[J].Applied Mathematics and Computation,2013,219(12):6410-6419.
[3]Yang J,Zhang D,Yang JY.Median LDA:a robust feature extraction method for face recognition[C].IEEE International Conference on Systems,Man,and Cybernetics,2006,5(6):4208–4213.
[4]Li XD,Fei SM,Zhang T.Median MSD-based method for face recognition[J].Neurocomputing,2009,72(16):3930-3934.
[5]Liang Y.Uncorrelated linear discriminant analysis based on weighted pairwise Fisher criterion[J].Pattern Recognition,2007,40(12):3606-3615.
[6]Lotlikar R,Kothari R.Fractional-step dimensionality reduction[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(6):623-627.
[7]杨静,范丽亚.加权PCA和加权LDA中权函数对分类结果的影响[J].聊城大学学报:自然科学版,2010,23(4):9-12.
[8]高建强,范丽亚.加权PCA和加权LDA中距离对分类结果的影响[J].聊城大学学报:自然科学版,2010,23(4):4-8.
[9]钟智,等.最近邻分类方法的研究[J].计算机科学与探索,2011,5(5):467-473.