线性判别分析

线性判别分析（共7篇）

线性判别分析 篇1

0 引言

人脸识别技术[1]是近十几年来图像处理与模式识别领域的研究热点, 不但在理论研究上具有挑战性, 而且在现时生活中具有广泛的研究前景和市场前景。当前, 人脸识别技术主要被应用到了刑侦破案、证件验证、视频监控[2]等场合。

目前线性判别分析 (LDA) 是人脸识别中用于特征提取的一个非常普遍的方法。运用LDA方法主要的缺点是会遇到所谓的小样本问题, LDA的执行就会遇到计算复杂性的问题。本文在经典LDA理论分析的基础上, 提出核双子线性判别分析方法结合双子空间及核方法。

1 LDA常用研究方法比较

基于Fisher判别准则的LDA方法在人脸识别技术中有着广泛的应用, 目前主要LDA/GSVD[3]方法、PCA+LDA方法和DSLDA方法。

基于奇异值分解的LDA (LDA/GSVD) 的方法, 也可以解决欠采样问题, 在全数据空间中, 运用广义可逆MOORE_PENROSE来代替Fisher准则中定义的散射矩阵可逆, 最优判别向量存在于整个类散射矩阵的列空间中。

PCA+LDA方法即通过将PCA方法与LDA方法结合起来就可以很好的解决小样本规模问题。首先运用PCA方法对训练样本集进行降维, 在降维后的PCA子空间中, 样本的类内散射矩阵是非奇异的, 此时运行LDA方法就会简便很多。

Wang和Tang提出用双子空间的LDA方法 (DSLDA) 。DSLDA能获取更多的判别向量, 由此也就能提取出更多有用的判别信息。DSLDA也存在计算量大, 不适合线上训练等缺点。

针对LDA不足和DSLDA方法存在的缺陷, 本文主要提出一种基于核的双子空间线性判别分析 (KDS-DA) 人脸识别方法, 它更为稳定、识别率更高。

2 LDA和DSLDA的简单介绍

首先对本文中算法的基本参量做必要说明:

假设对于一个Rn空间, 它有m个样本, 分别为x1, x2, …xm, 即每个x是一个n行的矩阵, 每一类xi包含ni个样本, 其中ni表示属于i类的样本个数, 假设训练集合分为c个类, 总体样本个数为n1+n2+n3…+ni…+nc=m。类间离散度矩阵Sb, 类内离散度矩阵Sw, 属于i类的样本个数ni, 第i个样本xi, 所有样本的均值u, 类i的样本均值ui。

总体样本均值为:

同理得到类i的样本均值:

根据类间及类内离散度矩阵的定义可知:

2.1 LDA原理简介

线性判别分析[4]的基本思想是找出最佳投影方向, 即使得Fisher准则函数达到极值的向量, 然后将样本在最佳投影方向进行投影, 达到最小的类内离散度和最大的类间离散度。

首先考虑把高维数据空间压缩到一维, 即把d维空间的样本投影到一条直线上, 形成一维空间。这也是Fisher线性判别法所要解决的主要问题。

2.2 DSLDA原理简介

针对LDA的缺陷, 克服小样本问题, 同时在同样的时间提取更多有用的判别信息, 基于双子空间的DSLDA方法将会有所改进, 其基本思想是将整个数据空间分为两个互补子空间, 即类内散射矩阵的列空间和其互补空间, 分别计算其判别向量。最终相比于.其它的方法, DSLDA方法能获得更多的判别向量, 因此也就能提取出更多的判别信息。

3 KDS-DA方法介绍

3.1 核方法简介

核方法[5]是从统计学理论研究中发展出来的, 它的核心是采用采用非线性映射将原始数据由数据空间映射到特征空间, 进而在特征空间中进行线性操作。任何一种含有点积德算法中, 用核函数来代替点积就可以称为核方法。

核方法在处理非线性空间特征提取问题上提供了诸多便利, 以下将把核方法与上述的双子空间判别分析方法结合起来, 以此提出了人脸识别的一种新的方法。

3.2 KDS-DA原理简介

3.3 KDS-DA算法实现

1) 空间中的基矢量的求解

假设SBΦ (0) 代表SBΦ的零空间, 而代表SBΦ的值域空间。则由公式 (4) 和 (5) 中关于Sb和Sw的表达式可知:在核特征空间中, 可表示成如下形式:

假设样本Φ (xij) 是线性独立的, 由Φ (xij) -uΦ= (Φ (xij) -uiΦ) + (uiΦ-uΦ) 可得:

此外, 参阅相关文献, 可得如下关于的两个定理[6]。

定理1.可由矢量uiΦ-u1Φ (i=2, …, c) 张成, 即

定理2.可由矢量Φ (xij) -Φ (xi1) (i=1, …, c;j=2, …, Ni) 张成, 即

令AΦ=[A1Φ, …, AcΦ, AΦc+1], 其中AiΦ分别定义为:

则由定理1和2以及矩阵AΦ的组成可知:矩阵AΦ的前N-c列向量张成子空间。此外, 由公式 (14) 可知:矩阵AΦ的N-1列向量张成子空间STΦ (0) 。因此, 求解的一组规范正交基, 也就是规范正交化处理矩阵AΦ的列向量的过程, 通过采用核的改进的施密特正交化 (MKGS) 算法来完成该过程

假设将AΦ的列向量经MKGS运算得到BΦ矩阵中的列向量, 则BΦ可表示为:

其中, S1为 (N-1) × (N-c) 阶矩阵, 而S2为 (N-1) × (c-1) 阶矩阵。子空间的一组正交规范基由B1Φ=AΦS1组成, 而子空间的一组正交规范基由B2Φ=AΦS2组成。假设Φ (xij) 经B1Φ和B2Φ投影变换后得到变换特征矢量分别表示为yij和zij, 即

2) 子空间判别矢量的求解

设SWy为样本集{yij}类内散射矩阵, SBy代表样本集的类间散射矩阵, uiy和uy分别代表第i类的均值和样本的总体均值, SBy和SWy可以表示为:

统计不相关判别矢量w1, …, wr定义为:

其中, 样本的总体散射矩阵为STy=SBy+SWy。

求解的判别矢量可以表示为如下的过程:

(1) 计算 (SWy) -1, 采用幂迭代方法求解特征方程 (SWy) -1SBy w=λw所对应得最大特征值特征矢量, 计算M1=w1TSTy (SWy) -1STy w1及M1-1。令k=1;

(2) 计算k=k+1, Dk-1=[w1, …, wk-1]T,

计算Mk-1=PQPT, 求解特征方程采用幂迭代法来实现:

由最大特征值决定的特征矢量;

(3) 若k<r, 执行步骤2;反之输出结果。

(4) 输出:判别矢量wi (i=1, …, r) 。

3) 求解子空间中的判别矢量

已知子空间样本中的类内散射矩阵为零矩阵, 欲求得该子空间中的最佳判别矢量, 归结为求得一判别矢量使得样本类间散射距离最大。设样本集{zij}的类间散射矩阵由SBz表示, 即SBz得到如下等式:

最佳的判别矢量可以定义为:

通过求解特征方程SBzv=λv前r个最大特征值所对应的特征矢量可以解决该优化问题。

4 利用ORL人脸数据库对KDS-DA方法进行验证

4.1 实验介绍

ORL人脸库收录了40个不同年龄和不同种族的人。每个人包含有10幅在不同表情和光照下的图像, 共计有400幅灰度的图像组成, 图像的背景色为黑色, 其中人脸部分的细节和表情均有细微的变化, 人脸的姿态也有变化, 其深度旋转和平面旋转可达20度, 人脸尺寸也有最多10%的变化。该库是目前使用最广泛的标准数据库, 它包含大量的比较结果。由于原始的图像是灰度级为256, 分辨率为112×92像素的图像, 计算量相对较大。为了减少它的计算量, 本实验将每幅人脸图像采样为28×23的尺寸。

本次实验采用的是二折交叉验证法[6], 即将所有的样本集分为两个子集, 一个作为训练样本集, 另一个则作为测试样本集, 当完成实验后交换训练样本集和测试样本集, 实验中通过统计错误分类的图像数目, 计算出平均错误率。在试验中, 单项式核函数的度分别取值为1, 2, 3, 4和5, 且KDS-DA方法中权值λ取经验值0.6。

4.2 实验结果

在ORL人脸数据库的实验数据如表1所示:

表1显示了本实验中运用各种方法所得到的识别结果。由实验结果可以看出, 识别率为95.25%的采用了DS-LDA方法, 它的识别率KDS-DA。在实验的各类方法中, KDS-DA方法的识别率高达96.75, 获得了最佳的识别效果。

此外, 为了观察识别效果是否随着权值参数λ而变化, 当单项式核函数在不同单项式阶数的情况下, 我们对每种核函数分别取不同权值参数, 对它们进行对比实验。由实验结果可知当单项式阶数取不同值时, 单项式核函数所得到的识别率会随着权值参数λ的不同而变化。当核单项式阶数为3时, 取得最佳的识别效果。

5 结束语

本文提出一种基于核的双子空间的LDA方法。针对传统LDA存在的缺陷, 为了更好的在非线性空间进行特征提取, 在双子空间的LDA方法基础之上, 结合了核函数的技巧, 通过把数据映射到高维的空间以此建立符合统计学理论的线性分析的算法。由实验结果可知, 与其他常用方法相比, 核双子线性判别分析方法识别精度高、识别错误率低、并且更加的稳定。

参考文献

[1]张翠平, 苏光大.人脸识别技术综述[J].中国图象图形学报, 2000, A (011) :885-894.

[2]柳莲花.视频监控系统的人脸检测与识别技术研究[D].南京:南京航天航空大学, 2010.

[3]Zheng Wenming, Tang Xiaoou, Fast Algorithm for Updating theDiscriminant Vectors of Dual-space LDA[J].IEEE Transactions onInformation Forensics and Security, 2009, 4 (3) :418-427.

[4]谢永林.LDA算法及其在人脸识别中的应用[J].计算机工程与应用, 2010, 46 (19) :189-192.

[5]杨旭.基于核方法的模式分类研究与应用[D].上海:上海交通大学, 2011.

[6]何迎生, 彭华, 段明秀.基于交叉验证的改进RBF分类器设计[J].微计算机信息, 2009, 25 (18) :248-250.

线性判别分析 篇2

以支持向量机(SVM)和线性判别分析(LDA)对200条禽流感病毒、100条B型流感和100条C型流感病毒蛋白共400条为训练集样本, 从表征序列的200个整体与局部变量中以逐步(stepwise)方法选取24个变量作为LDA模型的.输入建立线性识别模型, 病毒蛋白总识别率达 99.8%, 留一法交互检验总识别率为99.4%. 从原始200变量中经主成分分析得16个主成分作为SVM的输入, 以径向基核函数(RBF)SVM建立非线性识别模型, 病毒蛋白总识别率为99.8%, 留一法交互检验总识别率为99.2%. 以100条禽流感、50条B型流感和50条C型流感病毒编码蛋白质共200条为测试集样本, 得LDA模型, 对其总识别正确率为95.4%, SVM模型对其总识别正确率为96.5%. 识别结果表明, 两个模型都可较好识别禽流感病毒蛋白, 并且SVM对禽流感病毒蛋白的识别结果优于LDA.

作 者：梁桂兆 陈泽聪 杨善彬 梅虎 周原 舒茂 杨力 杨胜喜 郑小林 陈国华 周鹏 田菲菲 廖春阳 吴世容 李根容 李德静 何留 甘孟瑜 高剑坤 陈国平王贵学 龙莎 景举华 曾晖 张巧霞 张梦军 杨娟 仝建波 王娇娜 刘永红 李波 仇亮加 蔡绍皙 赵娜 杨艳 苏霞利 宋健 陈美霞 陈刚 张雪姣 孙家英 李经纬 邓婕 彭传友 李志 许罗南 廖立敏 吴玉乾 朱万平苏勤亮 卢大军 李军 黄振虎 周萍 李志良  作者单位：梁桂兆,高剑坤,张梦军,杨娟(重庆大学化学化工学院,生物医学工程重庆市重点实验室,重庆,400044;湖南大学化学生物传感与计量学国家重点实验室,长沙,410012;重庆大学生物工程学院,生物力学与组织工程教育部重点实验室,重庆,400030)

陈泽聪,舒茂,杨胜喜,陈国华,周鹏,田菲菲,廖春阳,吴世容,李根容,李德静,何留,甘孟瑜,龙莎,景举华,曾晖,张巧霞,仝建波,王娇娜,刘永红,赵娜,杨艳,苏霞利,张雪姣,孙家英,李经纬,邓婕,彭传友,李志,许罗南,廖立敏,吴玉乾,朱万平,黄振虎,周萍,李志良(重庆大学化学化工学院,生物医学工程重庆市重点实验室,重庆,400044;湖南大学化学生物传感与计量学国家重点实验室,长沙,410012)

杨善彬,梅虎,周原,郑小林,王贵学(湖南大学化学生物传感与计量学国家重点实验室,长沙,410012;重庆大学生物工程学院,生物力学与组织工程教育部重点实验室,重庆,400030)

杨力,陈国平,蔡绍皙(重庆大学化学化工学院,生物医学工程重庆市重点实验室,重庆,400044;重庆大学生物工程学院,生物力学与组织工程教育部重点实验室,重庆,400030)

李波,仇亮加,苏勤亮,卢大军,李军(重庆大学化学化工学院,生物医学工程重庆市重点实验室,重庆,400044)

一种基于图的线性判别分析方法 篇3

随着信息时代的发展,大量信息的涌入使得人们获得丰富的数据。如果仅从这些数据本身出发来寻找我们想要的信息,已经超出了人类以及计算机的能力范围。因而如何有效而合理地收集、组织以及分析这些数据是现代人们亟待解决的问题。基于图学习的方法就是解决这一问题的一类非常重要的方法。研究表明,很多降维方法最终可归结于图的构造和低维嵌入方式[1]。这类方法通常将整个数据集建模成为一张图,图上的结点G就是样本数据,S边表示数据之间的关系,通常用(G,S)表示。这样,数据的分析问题就转换成为图上的分析问题,因为图可以看作是流形的离散化形式,图上的结点是从数据流形上采样得到的,而图上的边则反映了某些数据流形的结构信息。这些方法的目标就是要学习一个更低维的数据嵌入并且保持原数据图的某些信息[2,3],一些流行的降维方法如:等距离映射(Isomap)[4]主要保持数据点之间的测地距离,局部线性嵌(LLE)[5,6]主要保持数据的领域关系,Laplace特征嵌入(LE)[7]主要保持数据流行的光滑性。

同样,线性判别分析(LDA)[8]作为经典的降维方法,也可归结于图的构造方法范畴。LDA的核心思想是样本从高维映射到低维空间保证投影后,使得模式样本在新的空间中有最小的类内距离和最大的类间距离,从图构造的角度分析,LDA可理解为:首先构造类内样本图,使得类内所有样本点向该类中心靠拢;然后构造类间图,使得各类中心与总样本中心远离。然而LDA方法作为全局性降维方法,在处理类间样本分类时,只考虑总体样本中心点与各类样本点的分离的全局特性,忽略了样本间的边缘点的局部特性,从而可能导致类间边缘样本点的误分。本文从图构造的角度重新构造类间图,针对该问题提出了一种新的降维方法——K-边缘判别分析方法(KMDA)。从可视化分析和降维后分类效果两个方面分别对新提出的方法和LDA进行对比实验,数据库选择UCI上的公共数据集和人脸数据集,实验证明,该方法在分类正确率方面表现较好。

1 线性判别分析(LDA)

线性判别式分析(Linear Discriminant Analysis,LDA),也叫做Fisher线性判别分析(FDA),是模式识别的经典算法,基本思想是将高维的模式样本投影到低维的最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后尽量使同一类别的样本紧凑,而使不同类别的样本远离。因此,它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大,并且同时类内散布矩阵最小。也就是说,它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离。具体算法如下:

设有C个模式类别,X=(x1,x2,…,xm)是N个m维的训练样本,类间离散度矩阵Sb和类内离散度矩阵Sw定义[7]

$\mathit{S}{}_b={\displaystyle \sum _{i=1}^{c}n}{}_i(\mathit{u}{}_i-\mathit{u}{}_0)(\mathit{u}{}_i-\mathit{u}{}_0){}^{\text{Τ}};$

$\mathit{S}{}_w={\displaystyle \sum _{i=1}^c{\displaystyle \sum _{x\in c{}_j}^{}(}}\mathit{x}-\mathit{u}{}_i)(x-\mathit{u}{}_i){}^{\text{Τ}}(1)$

式中:ui是第i类样本的均值;u0是总体样本的均值;ni是属于i类的样本个数。当Sw非奇异时,Fisher准则最终的投影函数可定义为[8]

$\mathit{W}{}_{\text{o}\text{p}\text{t}}=\arg \max \frac{|\mathit{W}{}^{\text{Τ}}\mathit{S}{}_b\mathit{W}|}{|\mathit{W}{}^{\text{Τ}}\mathit{S}{}_w\mathit{W}|}(2)$

2 K-边缘判别分析方法(KMDA)

这里介绍一种新的方法——K-边缘判别分析方法(KMDA),来控制边缘部分的点,重新建图,类似LDA构图思想,本方法首先使得样本类内紧凑,同时类间选择一类的中心,并求其他类中与这类中心的K个近邻点,最大化它们之间的距离,图1为该方法的基本思想。首先使得同类中所有点向该类中心靠拢;同时,使得该类中心与其他类的K个边缘点远离。

2.1 类内紧凑

高维数据映射到低维应该保持类内间距离更加紧凑[9],基于LDA思想,本文构造类内紧凑图Gc,设X={x1,x2,…,xn}∈Rm×n为训练样本,Y={y1,y2,…,yn}∈Rd×n为降维后训练样本的低维嵌入,n为样本数,m为样本维数,d为嵌入维数。Gc={X,S}为无向有权图,样本xi为图中一点,W为其相似度矩阵,Wij为样本i和样本j的相似度。可以通过式(3)进行优化

$\begin{array}{l}\arg \min {\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^n\parallel }}y{}_i-y{}_j\parallel W{}_{ij}^c=\\ \arg \min {\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^n\parallel }}w{}^{\text{Τ}}x{}_i-w{}^{\text{Τ}}x{}_j\parallel {}^{2}W{}_{ij}^c=\end{array}$

argmin2wTX(D-Wc)XTw=argmin2wTXLcXTw (3)

式中:$W{}_{ij}^c=\{\begin{array}{l}1,\text{i}\text{f}x{}_i,x{}_j\in \text{t}\text{h}\text{e}\text{s}\text{a}\text{m}\text{e}\text{c}\text{l}\text{a}\text{s}\text{s}\\ 0,\text{e}\text{l}\text{s}\text{e}\end{array}$;Lc=D-Wc;$D{}_{ii}={\displaystyle \sum _{j=1}^{n}W}{}_{ij}$。

2.2 类间远离

降维的目的一般是为了以后做数据的分类或回归,前一节中尽量在降维的过程中保证类内紧凑,这一节在降维过程中要使类与类之间尽量远离,LDA算法通过求整体样本的中心和各个类的中心,从而使得每一类的中心与整体样本的中心远离,但是对于比较分散的数据样本,LDA算法容易导致边缘点的误分,根据MFA[10]思想,本文同样构造一惩罚图Gp,由于Gc已经保证了降维过程中各训练样本向中心紧凑,所以在类间,另一类的边缘可根据通过求与这类中心最近的K近邻来确定,K的选择一般根据训练样本的数量而定。优化公式为

$\begin{array}{l}\arg \max {\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^n\parallel }}\overline{y}{}_i-y{}_j\parallel W{}_{ij}{}^p=\\ \arg \max 2\mathit{w}{}^{\text{Τ}}\mathit{X}(\mathit{D}-\mathit{W}{}^p)\mathit{X}{}^{\text{Τ}}\mathit{w}=\end{array}$

argmax2wTXLpXTw (4)

式中:Wijp=$\{\begin{array}{l}1,\text{i}\text{f}x{}_i,x{}_j\in {\rm P}{}_k(i,j)\\ 0,\text{e}\text{l}\text{s}\text{e}\end{array}$。$\overline{\text{x}}{}_{\text{i}}$为样本xi所属类的中心,Pk(i,j)表示xi与xj属不同类,且对$\overline{\text{x}}{}_{\text{i}}$求xj所属类中K个最近邻点。

2.3 构造投影矩阵

通过前两节图的构造以及优化后的公式,最终得到求解以下的优化问题

w$\begin{array}{l}opt=argmax\frac{\mathit{w}{}^{\text{Τ}}\mathit{X}\mathit{L}{}^p\mathit{X}{}^{\text{Τ}}\mathit{w}}{\mathit{w}{}^{\text{Τ}}\mathit{X}\mathit{L}{}^c\mathit{X}{}^{\text{Τ}}\mathit{w}}=\\ \arg \max \frac{|\mathit{W}{}^{\text{Τ}}\mathit{S}{}^p\mathit{W}|}{|\mathit{W}{}^{\text{Τ}}\mathit{S}{}^c\mathit{W}|}\end{array}$(5)

当Sc非奇异时,最佳投影矩阵wopt的列向量为广义特征方程Spα=λScα的d个最大的特征值所对应的特征向量。

具体算法如下:

1) 首先检验样本数和维数的大小,即Sc是否奇异,如果奇异先运行PCA[11,12]降维,使得样本维数小于或等于样本个数。

2) 构造如图1所示的类内和类间图求出最优化向量wopt。

3) 计算出低维表示:Y=XWopt。

3 实验分析

3.1 可视化分析

Wine数据集是一个典型的机器学习标准数据集,本文首先选择Wine数据前两类进行分类实验,共130个样本,其中1~59为第一类,60~130为第二类,实验测试训练样本选择共66个,第一类和第二类分别33个,测试样本共64个,第一类和第二类分别为29和35个,为达到可视化效果,本实验分别运行LDA和KMDA分别把样本降到二维空间并对测试样本进行分类,结果如图2所示。

可见,当运行LDA分类时,由于在处理不同类间远离时,只注重全局性而忽略了边缘的个别点,从而导致边缘点的误分;KMDA算法在映射过程中强制选择不同类最近的K个点,使它们远离本类的中心;图2b为当边缘近邻值K=4时的KMDA分类结果,可以看出运行KMDA后,图2a中被误分的两个点,在图2b中得到正确的分类结果。

3.2 公共数据集测试

选取UCI中Wine数据集、Sonar数据集、Abalone数据集和Diabetes数据集进行对比实验,表1列出了每个数据集的实验参数。为达到对比的效果,本文降维后的分类器均选择1-NN分类,实验结果如图3所示,纵坐标表示降维之后采用1-NN分类的正确率,横坐标表示所降到的维数,实验目的是比较3种算法在不同数据集降维后的分类正确率。

从图中的曲线可以看出:就稳定性而言,PCA降到各个低维空间比LDA好;LDA在降到特定的低维空间时分类正确率比PCA效果好;从总体看来,无论比较稳定性还是最高分类正确率,KMDA效果最好。这是因为PCA在降维过程中,低维映射函数矩阵,选择的是主成分映射,当降到不同维数时,PCA能选择数据的主要特征,总体稳定性较好;而LDA使同类紧凑,不同类远离,注重分类效果;KMDA克服了LDA局部边缘点存在的问题,总体效果最佳。

3.3 人脸数据集测试

3.3.1 BioID数据库

BioID标准人脸库是1 521个384×286灰度自然场景下的人脸图像,由23个测试者提供。还包含每个人脸的双眼位置。图4是BioID人脸库中部分图片。

从BioID人脸库选取两个人共40幅图像做实验,以每人的前10幅图像作为训练样本,后10幅作为测试样本,这样训练样本和测试样本总数均为40。分别运行PCA,PCA+LDA,PCA+KMD算法降维,再分别选用1-NN分类器分类,最后得到识别率如表2所示。

3.3.2 JAFFE数据库

JAFFE人脸数据库是在人脸表情识别研究中应用最多的数据库之一,从JAFFE人脸库中选择两个人脸图像做实验,每个人均选择前10幅图像做训练样本,后10幅作为测试样本,这样训练样本和测试样本总数均为20,先运行PCA算法,再分别运行LDA和KMDA算法,降到1~10维,最后采用1-NN分类器进行分类,分类正确率如表3所示。

由表2和表3可见,在同一种分类器1-NN下,在各个维度上,KMDA方法识别结果明显优于经典的LDA方法。其中的原因是,LDA方法在区分低维嵌入过程中,不同类间的分离是采用全局性嵌入,即在计算Sb时,用总体的均值减去每一类的均值,最后选取Sb的d个最大的特征值所对应的特征向量作为投影轴进行特征抽取,这样处理的结果可以使不同类之间远离的效果,但是容易忽略类间边缘局部点的类间划分,从而导致边缘点的误分;KMDA算法考虑到局部边缘点,计算Sb过程,首先选择最近的也是最容易误分的这些边缘点,使其远离异类的中心,而从表可看出,这种鉴别信息的方法是有效的。另外,当降到某个维数时三种算法最后的分类效果较差,如JAFFE数据库中,采用PCA+LDA,降到4维时分类正确率只有0.2,原因在于LDA和PCA都是全局性线性降维算法,而人脸数据库是一种非线性结构,这些方法在处理这些数据时,容易忽略局部数据信息。从整体看来,本文提出的算法效果较好。

4 结论

针对LDA在处理边缘点上存在的问题,本文提出了一种新的基于图的线性判别分析方法。该方法基于图学习的思想,重新构造图,使同类样本尽量紧凑的同时,避免了不同类之间边缘点的误分。实验中可以看出,新方法在降维过程中的分类正确率以及稳定性较好,与LDA方法相比有一定提高;不足之处在于K的选择上,本文实验K的选择是在从大量实验中得出的经验值。如何有效选择K值达到更好的效果是接下来要研究的内容。

参考文献

[1]KOKIOPOULOU E,SAAD Y.Enhanced graph-based dimensionality re-duction with repulsion Laplaceans[J].Pattern Recognition,2009,42(11):2392-2402.

[2]王飞.图上的半监督学习算法研究[D].北京:清华大学,2008.

[3]乔立山.基于图的降维技术研究及应用[D].南京:南京航天航空大学,2009.

[4]TENENBAUM J B,SILVA V D,LANGFORD J C.A global geometricframework for nonlinear dimensionality reduction[J].Science,2000,290:2319-2322.

[5]ROWEIS S T,SAUL L K.Nonlinear dimensionality reduction by locallylinear embedding[J].Science,2000,290:2323-2326.

[6]李白燕,李平,陈庆虎.基于改进的监督LLE人脸识别算法[J].电视技术,2011,35(19):105-108.

[7]BELKIN M,NIYOGI P.Laplacian eigenmaps for dimensionality reductionand data representation[J].Neural Computation,2003,15(6):1373-1396.

[8]边肇祺,张学工.模式识别[M].北京:清华大学出版社,2000.

[9]申中华,潘永惠,王士同.有监督的局部保留投影降维算法[J].模式识别与人工智能,2008,21(2):233-239.

[10]XU D,YAN S,TAO D,et al.Marginal fisher analysis and its variantsfor human gait recognition and content-based image retrieval[J].IEEETrans.Image Processing,2007,16(11):2811-2821.

[11]ARTINEZ A M,KAK A C.PCA versus LDA[J].IEEE Trans.PatternAnalysis and Machine Intelligence,2001,23(2):228-233.

线性判别分析 篇4

特征提取是模式识别研究的一个关键问题,其基本任务就是从众多特征中找出对分类最有效的特征。线性判别分析是特征提取中最为经典和广泛使用的方法之一,其基本思想就是选择使得Fisher准则函数达到极值的向量作为最佳投影方向,从而使得样本在该方向上投影后,具有最大的类间离散度和最小的类内离散度,即可分性最好[1]。目前已经提出了许多基于Fisher准则的线性特征提取方法[2,3,4,5,6,7,8,9,10,11,12]。

然而,在人脸等图像识别领域存在着大量的高维小样本问题,在该类问题中,类内散度矩阵是奇异的,无法直接通过最优化准则函数来求解最优判别矢量集。目前已经提出了不少解决该类问题的方法[3,4,5,6,7,8,9,10,11,12]。概括起来,可分为两类:一类是从算法本身入手,通过发展直接针对小样本问题的算法来解决问题[5,6];另一类是从模式样本出发,通过事先降低样本向量的维数来达到消除奇异性的目的,该法又可分为两种:一种是直接在图像空间内操作,通过降低图像的分辨率达到降维的目的[7,8];第二种是通过K-L变换进行降维,这也是目前广泛采用的处理方法[9,10,11,12],它们的共同点是在降维的过程中,都选择样本协方差矩阵St的较大特征值对应的特征向量,由主元分析理论可知,这样做的好处是在变换空间里样本的信息量损失最少,如果选择所有非零特征值对应的特征向量作为主元,就不会损失样本的任何信息。然而,文献[3,12]通过实验证明这种主元选择方法的识别率并不是最优的,如果选择所有非零特征值对应的特征向量,反而会导致识别性能的下降。因此,主元的选择不能只考虑样本信息量的损失大小,而且还要同时考虑所选主元的判别能力的大小。

本文也采用所谓的“PCA+LDA”处理方法,但是在降维的过程中,选取主元的原则是使得Fisher准则函数取得较大值,即可分性最好,而不是使得投影后样本在投影空间里的方差最小;其次,根据训练样本在模式空间的几何分布情况,重新定义了类内散度矩阵Sw,使之更准确地反映类内样本间的分布关系,提高了准则模型的精确性。通过Yale人脸数据库实验证明了本文方法的有效性,和同类方法相比,就识别率而言,有较大提高。

1高维小样本情况下的线性判别分析

设ω1,ω2,…,ωc为n维训练样本的C个模式类,m0为总体样本均值,mi,Pi和Ci(i=1,…,C)分别为第i类样本的样本均值,先验概率和样本个数。记Pi,j为第i类的第j(j=1,…,Ci)个样本的类内先验概率。类间散度矩阵Sb、类内散度矩阵Sw、总体散度矩阵St分别定义为

其中,如果样本xj∈ωi,则zi,j=1,否则为0。

Fisher准则函数定义为

推广的Fisher准则函数定义如下

φ为任一使J(φ)达到最大值的单位向量,即模式样本在φ方向上的投影具有最大的类间散度和最小的类内散度,亦即可分性最好。

现有的线性判别分析,大都假设各类样本满足高斯分布,Pi和Pi,j分别被简单地设为1/C和1/Ci。但是,当类内样本分布比较复杂,如果同等地对待每个样本,都赋予它们相同的类内先验概率,显然是不恰当的。一个类别的“边缘”样本距离其它类别较近,它的类内先验概率就应该具有较小的值;反之,如果类内样本距离样本中心较近,就应该具有较大的类内先验概率值,这样定义的准则函数模型才能更精确地描述样本的分布。

1.1类内散度估计

定义n维向量X和向量Y的归一化积相关相似度度量[13]为

(6)式中,X和Y为向量X,Y的均值,R(X,Y)为向量X,Y的相关系数。

利用(6)式可得类内样本与类均值的相关系数,归一化后可作为类内样本的先验概率Pi,j的估计值,且满足:

显然,距离类均值较近的样本就具有较大的类内先验概率,距离类均值较远的样本就具有较小的类内先验概率,因此,就可以得到更精确的类内散度矩阵:

1.2 PCA主元选择

在利用PCA提取主元的过程中,传统的线性判别分析大都只考虑模式样本在投影空间里的投影方差最小,而没有考虑所选择的主元的判别能力而文献[15]通过实验证明了这种主元选择方法的识别率并不是最优的,也就是说,在变换空间里使得样本信息损失最少不一定就会提高识别性能。

因此,主元的选择不能只考虑样本信息量的损失大小,而且还要同时考虑所选主元的判别能力的大小。本文选择主元的原则是使得Fisher准则函数式(4)取得较大值,而且实验也证明了该方法不仅使得样本信息损失较少,同时也兼顾了选择的主元具有较强的判别能力。

2仿真实验

采用国际通用的Yale人脸数据库,该数据库由15人,每人11幅,共165幅人脸正面256级灰度图像组成,每幅图像大小为243×320。其中有些图像是拍摄于不同时期的;人的脸部表情和脸部细节有着不同程度的变化,比如,笑或不笑,眼睛或睁或闭,戴或不戴眼镜;人脸姿态也有相当程度的变化,深度旋转和平面旋转可达20°;人脸的尺度也有多达10%的变化,如图1所示为预处理后的同一个人的人脸图像。

2.1 PCA主元判别能力分析

首先比较不同特征值对应的特征向量所具有的判别能力。随机选取每人N(N=2,4,8)幅图像组成训练样本集,分别求出Sb, Sw和St。以总体散度矩阵St作为PCA变换的产生矩阵,求出所有非零特征值对应的特征向量,并按特征值大小降序排列,代入式(4),得到各主元的判别能力数值如图2～图4所示。

由上各图分析可知,PCA主元的判别能力的总的趋势是较大的特征值对应的主元的判别能力也较大,因此,可根据判别能力选择主元,这与传统PCA主元的选择并不矛盾。但是就局部而言,较大的特征值对应的主元的判别能力不一定大,它们之间并不存在一个确定的正比关系。值得注意的是,越是较大的特征值对应的主元之间的判别能力的大小差别也越大,而较小的特征值对应的主元之间判别能力的大小差别也较小。因此,一方面如果按照特征值大小选取一定数量的(或部分)主元时,就可能会把一些判别能力弱的特征向量选入,而漏掉一些具有较强判别能力的特征向量,这显然对提高最优判别矢量的判别能力是不利的;另一方面,如果选择大部分(或全部)的主元,就有可能选入很多判别能力值相差不大且很小的主元,这对提高最优判别矢量的判别能力也是没有帮助的,甚至可能是不利的,因为太多的特征不一定就会有高的识别率,而且,同时也会加大计算量,这在后面的仿真实验中得到了验证。

2.2 识别率比较

为了验证本文提出的改进的线性判别分析方法的有效性,随机选取每人6幅图像组成训练样本,其余图像作为检测样本,训练样本集和检测样本集分别为90和75幅人脸图像,分类器采用最近邻分类器,5次实验的平均识别错误率结果如下表1所示。

由表1可知,提出的改进的线性判别分析的识别错误率最小可达2.333%,与同类方法相比,就识别性能而言,优于其它两种方法,从而可以说明提出的改进措施是有效的。

3 结论

针对高维小样本问题,对传统的“PCA+LDA”处理方法进行了两方面改进:首先,在降维的过程中,选取主元的原则是使得Fisher准则函数取得较大值,而不是使得投影后样本在投影空间里的方差最小;其次,根据训练样本在模式空间的几何分布情况,重新定义了类内散度矩阵Sw,使之更准确地反映类内样本间的分布关系,提高了准则模型的精确性。并且通过Yale人脸数据库实验证明了本文方法的有效性,和同类方法相比,就识别率而言,有较大提高。

摘要：针对高维小样本问题,对传统的“PCA+LDA”处理方法进行了两方面改进:首先,在降维过程中,选取主元的原则是使得Fisher准则函数取得较大值,而不是使得投影后样本在投影空间里的方差最小;其次,根据训练样本在模式空间的几何分布情况,重新定义了类内散度矩阵Sw,使之更准确地反映类内样本间的分布关系,提高了准则模型的精确性。实验结果证明了本文方法的有效性,和同类方法相比,就识别率而言,有较大提高。

线性判别分析 篇5

高光谱遥感影像提供了极为丰富的地球表面信息, 可以处理各种地球表面遥感问题。主要的应用包括环境测绘、全球变化研究、地质研究、湿地测绘、道路通行能力评估、植物及矿物的鉴定等。所有的这些应用都有一个共同的要求, 那就是要对场景中的每个像素进行分类, 光谱角匹配 (SAM) [1]是遥感数据分类常用的方法, 且已在高光谱图像数据分类中得到了广泛的应用, 例如, 童庆禧等[2]直接应用SAM实现了鄱阳湖湿地植被的识别分类, Baugh等[3]利用SAM和AVIRIS图像数据在美国内华达州南Cedar山区编制了矿产图。但是, SAM方法只适用于纯像元分类。由于传感器的空间分辨率有限, 导致混合像元普遍存在于遥感影像中, 尤其是地物分布比较复杂的区域。混合像元的光谱信息不代表任何一种单一的地物类型, 如果简单地用SAM方法进行分类, 往往会发生误分类。因此, 如何有效地对混合像元进行分类是高光谱遥感应用的关键问题之一。

目前, 对混合像元分类技术的研究比较多, 归纳起来有两类:①混合像元分解之后, 按类型确定混合像元的类别, 即每一像元由其端元组分百分含量最大的确定其所属类别[4,5];②基于子空间的算法, 如线性约束最小方差 (LCMV) [6], 约束线性判别分析 (CLDA) [7,8]等。第2类方法是从特征提取的角度来研究分类, 不需计算像元组分比, 但这些方法都是有监督的分类方法, 需要大量训练样本。然而样本的选择比较困难, 并且从光谱库或野地探测获得的样本都与实际要处理的高光谱影像有较大的差异, 这大大降低了算法的实效性。

鉴于上述几点不足, 本研究提出一种非监督CLDA (UCLDA) 方法并用于混合像元分类。该方法首先利用顶点成分分析 (VCA) [9]从影像中直接提取端元, 然后用SAM方法找出影像中接近纯像元的像元作为训练样本, 再用CLDA进行特征提取, 最后利用最小距离法完成混合像元的分类。

1 端元提取

本研究采用顶点成分分析 (VCA) 进行端元提取。VCA是在先验知识很少的情况下, 仅仅使用观测到的混合像元的数据来提取端元, 这是从高光谱影像数据中快速提取端元的非监督的算法。该算法基于线性光谱混合模型 (LSMM) [10]并应用了一个简单的几何事实:端元一定是单形体的顶点。

LSMM假设背景为线性混合的, 也就是说每个像元是该影像内端元的线性组合, 即:

式中 r—L×1维的高光谱像元向量;M—L×p维矩阵, M=[m1m2…mp], 它的每一列是一个端元光谱向量;α—p×1维的像元丰度向量, α= (α1α2…αp) T;n—L×1维的附加噪声向量, L—波段数, P—端元数。

由于存在条件约束, 比例份额应该满足:

欧氏空间中每个像元都是一个L维的向量, 每个波段为该空间的各方向轴, 并且两两正交。根据约束条件 (2) 和 (3) , 测得的向量r一定位于以端元为顶点的单形体内。

VCA算法描述:

(1) 根据信噪比的不同, 分别利用奇异值分解或主成分分析对原始数据降维。

(2) 对降维后的数据, 任意选择一个非端元光谱作为初始向量, 把影像中所有像元向其投影, 投影值最大的像元作为提取的第一个端元光谱向量m1, 并记下其位置。

(3) 将已提取的端元光谱向量mi, i=1…k (k为已提取出的端元数) 构成一个子空间Mk。

(4) 构造正交于Mk的向量f, 再把所有像元向f投影, 所得投影值最大的像元为新端元mk+1, 并记下其位置。返回 (3) , 直到找出规定数目的端元为止。

(5) 根据所得端元的位置, 从原始数据的估计值中得到实际端元的估计结果。

2 约束线性判别分析 (CLDA)

设ῶ1, ῶ2, …, ῶc为c个模式类, 第i类样本数为Ni, Xi={X${}_1^i$, X${}_2^i$, …, X${}_{{\rm N}{}_i}^i$}表示第i类样本, 每个样本为n维实矢量X${}_j^i$∈Rn (i=1, …, c;j=1, …Ni) , 总的训练样本数为N。训练样本的类内散度矩阵Sw、类间散度矩阵Sb、总体散度矩阵St估计分别为:

式中 u—所有训练样本的均值;ui—第i类训练样本的均值。

设n维样本空间经线性变换T映射到d维的特征空间, d<n, 定义类间距离IED和类内距离IAD分别为:

不失一般性, 作如下约束:

式中 ti—特定的目标矢量。

CLDA即求解如下约束最优化问题[7,8]:

把线性变换T表示为矩阵变换:

其中, $\mathit{W}=\left[\begin{array}{cccc}\mathit{W}{}_1& \mathit{W}{}_2& \cdots & \mathit{W}{}_d\end{array}\right]{}_{n\times d}$。

为了得到最优化问题式 (10) 的一个解析解, 考虑如下特例:d=c, 目标方向ti为Rd空间的第i个坐标方向, 即$\mathit{t}{}_i=\left(0\cdots r{}_i\cdots 0\right){}_{d\times 1}^{\text{Τ}}$, 其中, ri为常数, 并且W的各列线性无关, 则最优化问题式 (10) 转换为:

其中,

经分析, IED为一常量, 根据矩阵迹的定义和矩阵理论, 式 (12) 的最大化问题等效于如下最小化问题:

$\underset{W}{{\displaystyle \min }}\text{t}\text{r}(\mathit{W}{}^{\text{Τ}}\mathit{S}{}_w\mathit{W})\text{s}.\text{t}.\mathit{W}{}_i^{\text{Τ}}\mathit{u}{}_j=r{}_i\delta {}_{ij}‚1\le i,j\le d(13)$

根据式 (6) 可知最小化Sw等于最小化St。设∑表示所有样本的协方差矩阵, 则St=N∑, 因此, 式 (13) 的最小化问题等效于:

$\underset{W}{{\displaystyle \min }}\text{t}\text{r}(\mathit{W}{}^{\text{Τ}}{\displaystyle \sum \mathit{W}})\text{s}.\text{t}.\mathit{W}{}_i^{\text{Τ}}\mathit{u}{}_j=r{}_i\delta {}_{ij}‚1\le i,j\le d(14)$

最后是找到变换矩阵A, 使AT∑A=I, I是单位阵, 该步称为白化变换。设W=Aα, 因此经白化变换后最优化问题式 (14) 变为:

$\begin{array}{l}\underset{\alpha }{{\displaystyle \min }}\text{t}\text{r}(\mathit{\alpha }{}^{\text{Τ}}\mathit{\alpha })=\underset{\alpha }{{\displaystyle \min }}{\displaystyle \sum _{i=1}^d\parallel }\mathit{\alpha }{}_i\parallel {}^2\\ \text{s}.\text{t}.\mathit{\alpha }{}_i^{\text{Τ}}\widehat{\mathit{u}}{}_j=r{}_i\delta {}_{ij},1\le i,j\le d(15)\end{array}$

其中, $\widehat{\mathit{u}}{}_j(1\le i\le d)$是对ATuj进行Gram Schmidt正交化后得到的正交向量, 目的是为了保持白化变换后的目标方向的正交性。

如下引理1给出了式 (15) 的解。引理1约束问题 (15) 的最优解为:

其中, P⊥U是{$\widehat{\mathit{u}}$j}${}_{j=1,j\ne i}^d$张成的线性子空间U的正交投影矩阵。

最后:

3 UCLDA分类方法的实现

至此, 整个无监督约束线性判别分析的分类算法描述为:

(1) 利用VCA提取端元光谱ui, i=1, …, p (p为总的端元数) 。

(2) 根据VCA得到的端元光谱向量利用SAM构造训练样本, 即ui形成的光谱角度小于5°的所有像元作为第i类训练样本, 记为ci, i=1…p。

(3) 用CLDA算法求出正交投影算子集 (共p个投影算子) , 分别为Wi, i=1…p。

(4) 把影像中的所有像元向W进行投影, 得每个像元的投影向量, 记为Vk, k=1, …, n (n为影像中像元总数) 。

(5) 把各端元向量向W做投影, 得到各端元的投影向量, 记为Ej, j=1, …, p。

(6) 对Vk (k=1, …, n) 求欧氏距离‖Vk-Ej‖ (j=1, …, p) , 再根据最小距离分类方法分类。

4 实验结果与分析

本实验所用数据为利用USGS[11]数字光谱数据库模拟的高光谱混合像元数据和采集美国内华达州Cuprite地区的AVIRIS数据。

4.1 高光谱遥感数据合成

数据合成的具体步骤如下:首先从USGS数字光谱数据库中选择3个纯物质光谱, 分别为光卤石、铵明矾石、黑云母 (光谱曲线如图1所示) 。这3种光谱都为224×1维的数据, 其中224为光谱波段数。然后利用随机分布函数 (Dirichlet分布) 产生要合成的混合像元的丰度矩阵, 大小为5 184×3, 5 184为像元总数, 即合成72×72大小的高光谱混合图像。最后, 添加SNR为30 dB的随机噪声, 使得实验数据更具实效性。

4.2 模拟高光谱数据实验

这部分笔者用合成数据进行仿真, 并把本研究提出的UCLDA与光谱角匹配 (SAM) 算法和最小二乘 (LS) 分类算法进行比较。由于合成数据中光谱端元和混合像元的丰度都是确切知道的, 因此, 可以准确地评价3种算法用于混合像元分类的性能。在此实验中利用合成数据的真实丰度值, 根据类型分解的思想, 把混合像元分配到端元组分百分含量最大的那一类地物中的结果作为正确的分类标准。

4.1节中的模拟高光谱数据经过20次实验得出的3种方法各自分类的平均错误数和平均错误率如表1所示。从此表中可以看出, 本研究提出的UCLDA分类结果明显好于SAM, 且略优于LS。

4.3 真实高光谱数据实验

该部分的实验数据为AVIRIS获取的美国内华达州Cuprite地区的真实高光谱数据集, 如图2所示。其波段较多, 主要用于各种矿物的识别。本研究选取其中大小为250×190 pixels的子图作为实验对象。这些像素都为224维的数据, 即像素用224个波段表示。为了提高算法的性能, 224个波段中去掉了低信噪比和水蒸气吸收波段 (1-2, 104-113, 148-167和221-224) , 即为用于实验的188个波段。根据文献[12,13]可了解该区域的真实地质概况及矿物分布, 因此该实验数据被广泛地用于遥感实验中。在实验开始时笔者首先利用文献[14]中提出的虚拟维度 (VD) 方法确定这块影像中包含的端元个数为10, 即P=10。根据文献[13]中描述的真实地况可得:这10个端元分别是榍石、白云母、蓝线、钙铁榴石、高岭石、明矾石、水铵长石、胶岭石、绿脱石和镁铝石。分类结果用假彩色图显示 (如图3所示) 。

由图3的实验结果可以看出, SAM分类的结果有明显的误分现象, 特别是在不同矿物交界处, 而LS的结果尚可, 只是在个别矿物 (如镁铝石、蓝线石和明矾石) 的判断上与实际矿物分布有一定差距。在这3种方法中, 本研究提出的UCLDA分类效果最好, 不仅分开了这10类矿物, 而且分类的结果与真实矿物分布有较高的相似性。

5 结束语

本研究提出了一种非监督约束线性判别分析 (UCLDA) 的高光谱影像分类方法, 实验证明, 该方法对高光谱数据处理具有较好的效果。UCLDA方法不仅能够自动提取影像端元光谱, 而且克服了子空间方法需要大量样本的缺点。模拟高光谱数据和真实遥感影像的实验结果表明, UCLDA是一种有效的高光谱影像分类方法, 且其性能明显好于SAM分类, 并略优于最小二乘光谱混合分析技术。

糖尿病线性判别诊断模型的建立 篇6

1 研究资料

1.1 资料来源

研究病例来自兰州大学第一医院病历库, 所收集的资料均为医院内分泌科、普外科2007年全年出院患者。

1.2 研究对象

均由有经验的内分泌科医师诊断。糖尿病病例352例, 非糖尿病病例389例;男性428例, 女性313例;年龄8~84岁, 平均年龄 (58±14) 岁。录入信息包括患者基本情况 (年龄、性别、入院日期、出院日期等) 、血常规检查指标 (白细胞、红细胞等) 、生化检查指标 (天冬氨酸氨基转移酶、丙氨酸氨基转移酶等) 。

1.3 纳入及排除

分别以1型、2型糖尿病, 其他特异性糖尿病及妊娠期糖尿病的临床诊断标准为纳入标准收集病例。由有经验的内分泌科医师诊断为糖尿病的出院患者、普外科出院患者, 排除其中基本情况、血常规检查、生化检查指标不齐全者, 其余均纳入研究。

2 研究方法

2.1 线性判别分析

判别分析是用于帮助研究者寻找区别各组差异的变量, 将对象较准确地判入各组的方法[4]。判别分析最常见的应用是为了判定哪些变量具有组间判别效力而对研究对象中多个测量变量进行选择[3]。经过判别分析之后就会得到判别函数。判别分析适用于2组以上, 且每个病例必须有2个以上变量的分类分析。

一般说来, 我们可对2组间的判别拟合一个线性方程:Y=a+b1X1+b2X2+...+bnXn式中a为常数, b1到bn为回归系数。判别函数对2组判别问题的解释较直接, 具有最大相关系数的变量对预测组别的贡献最大[3]。本实验为了研究方便, 定义糖尿病病例为1, 而非糖尿病病例为-1。

2.2 逐步判别原理

逐步判别分析是根据多元方差分析中的wilk′s统计量及F值进行变量的筛选。每一步选一个判别能力最大的指标进入判别函数, 直到被引入模型的变量没有一个符合进入模型的条件时, 变量引入过程结束。逐步判别分析以wilk′s统计量最小者入选, 本研究中模型引入变量的最小F值为10, 剔除变量的最大F值为2.71。这样得到的判别函数所包含的指标都很重要。

2.3 病例收集与分类

按上述纳入与排除标准收集病例, 结合临床检验结果与有经验临床医生的诊断对所收集病例进行分类, 同时建立相应数据库。

2.4 训练集和测试集的选择

研究对象共741例, 所有收集的病例以4∶1比例分为训练集样本和测试集样本。为使计算机能更合理地从资料中获取信息, 训练集样本应能很好地代表患者真实情况, 因此, 运用数据库中已知其类别的样本作为训练集, 从741例样本中选择594例 (糖尿病病例281例, 非糖尿病病例313例) 样本组成训练集。为了检验从训练集中得到识别函数的可靠程度, 可利用一些未包括在训练集中的样本构成测试集, 以检验其识别的可靠性, 因此, 将剩余147例 (糖尿病病例71例, 非糖尿病病例76例) 样本构成测试集, 以验证模型的预测能力。

2.5 判别函数的建立

通过训练集获得判别函数建立模型。将训练集患者的基本情况、血常规检查及生化检查信息从Microsoft-Excel数据库导入SPSS数据库。然后用SPSS统计软件提供的判别分析方法对这些数据进行判别分析, 选出对预测组别贡献较大的变量, 建立判别函数。

2.6 模型的评价

用训练集与测试集的误判率对模型进行判别效果评价, 并引入特异性和敏感性指标进一步判断LDA的预测能力。

3 结果与讨论

3.1 特征变量及判别函数

经LDA法进行判别分析后, 逐步选出8项对区别各组贡献较大的变量。判别函数的变量及Wilk′s值, 见表1。

在疾病诊断中常需根据就诊者的检查指标、体征等的分析, 作出是否患有某种疾病的诊断, 这种问题就可用判别分析解决[5]。逐步判别分析可以筛选出对于鉴别2类具有不同属性的人群有较大贡献的变量, 从而使其结果具有较好的区分度。表中F的绝对值越大就意味着该变量对模型的贡献越大。由表1中的F值可知, 变量总胆固醇比其他变量相对重要, 这些变量所代表的临床意义与诊断模型之间的关系有待进一步研究。由8个特征变量相对应的判别函数系数建立的糖尿病与非糖尿病分类判别函数如下。

糖尿病判别函数:Y=-55.570+0.168X1+3.610X2+0.413X3+0.004X4-0.030X5+2.278X6+0.083X7+1.405X8

非糖尿病判别函数:Y=-42.9820+0.115X1+2.849X2+0.372X3+0.008X4-0.010X5+2.149X6+0.071X7+0.871X8

3.2 判别结果及判别正确率

将741例合格病例以4∶1比例分为训练集样本和测试集样本, 经交互检验法验证可得训练集的预测情况, 见表2。

由表2可知, 训练集和测试集的预测准确率分别是85.7%和81.6%, 模型总判别准确率为84.9%。

3.3 特异性和敏感性

LDA对于糖尿病和非糖尿病的判别效果较好, 为了进一步判断LDA的预测能力, 实验引入了特异性 (Specificity) 和敏感性 (Sensitivity) 指标。

其中TP指真阳性数, FN指假阴性数, TN指真阴性数, FP指假阳性数。在LDA法判断结果中, 测试集的假阳性病例是31例, 假阴性病例是54例。由此求得测试集样本的敏感性是0.75, 特异性是0.88。

4 结论

本文是首次源于临床常规检查指标 (血常规、生化) 与机器学习算法相结合建立计算机辅助糖尿病诊断模型。逐步判别分析的总判别准确率达到84.9%, 虽然判别效果较好, 但还可通过进一步扩大样本量, 或采用更加适合的机器学习算法提高判别能力。

参考文献

[1]陈文彬.诊断学[M].第5版.北京:人民卫生出版社, 2004.

[2]Kemal Polat, Salih Gunes, Ahmet Arslan.A cascade learning systemfor classification of diabetes disease:Generalized Discriminant Analysisand Least Square Support Vector Machine[J].Expert Systems with Appli-cations, 2008 (34) :482～487.

[3]J Liang, R Du.Model-based Fault Detection and Diagnosis of HVACsystems using Support Vector Machine method[J].International Journal ofRefrigeration, 2007 (30) :1104～1114.

[4]Kemal Polat, Salih Gune.Breast cancer diagnosis using least squaresupport vector machine[J].Digital Signal Processing, 2007 (17) :694～701.

[5]Tim W, Nattkemper, Bert Arnrich, et al.Evaluation of radiological fea-tures for breast tumour classification in clinical screening with machinelearning methods[J].Artificial Intelligence in Medicine, 2005 (34) :129～139.

[6]Weida Tong, Qian Xie.Using Decision Forest to Clissify Prostate CancerSamples on Basis of SELDI-TOF MS Data:Assessing Chance Correlationand Prediction Confidence[J].Environmental Health Perspectives, 2004 (112) :1622～1627.

[7]Kemal Polat, Salih Gunes.Computer aided medical diagnosis systermbased on principal component analysis and artificial immune recognitionsysterm classifier algorithm[J].Expert Systems with Applications, 2008 (34) :773～779.

线性判别分析 篇7

已知f1 (t) 、f2 (t) 为系统的输入, x1 (0) 、x2 (0) 为系统的初始状态, y1 (t) 、y2 (t) 为系统的输出。设系统在输入及初始状态作用下与输出的关系为下式所示。

若满足

其中α, β为任意常数, 则为线性系统。

2 含初始状态线性系统特性

当含初始条件作用时, 系统的输出y (t) 可以看成是输入信号与初始条件分别作用时的叠加, 其中, yx (t) 为零输入响应, yf (t) 为零状态响应, 总输出则为完全响应。即

完全响应=零输入响应+零状态响应。

由以上讨论可见, 系统线性性除了可用定义判别外, 还可从下面三个方面进行判别。

2.1 可分解性:

将系统输出响应y (t) 分解为零输入响应yx (t) 和零状态响应yf (t) 之和, 即y (t) 可表示为两部分之和, 一部分仅和x (0) 有关, 一部分仅和f (t) 有关;

2.2 零输入响应yx (t) 线性:

yx (t) 与初始状态x (0) 呈线性, 如图1所示。

2.3 零状态响应yf (t) 线性:

yf (t) 与输入f (t) 呈线性, 如图2所示。

若上面三个条件均满足则为线性系统, 只要有一条不满足则为非线性系统, 这种方法可以理解为线性系统的可分解特性。

例1:已知系统y (t) =x (0) lgf (t) , 判断是否为线性系统?

方法一:用定义判断设

则

∴系统为非线性。

方法二:用可分解特性法判断

由于题目给定系统不满足可分解性, 即不能表示为两部分之和, 使得一部分仅和初始状态x (0) 有关, 而另一部分仅和f (t) 有关, 故系统为非线性, 与定义法判断结论一致。

例2:已知系统判断是否为线性系统?

方法一:用定义判断

设

则

∴系统为非线性。

方法二:用可分解特性法判断

虽然给定系统的输出可以分解为零输入响应和零状态响应之和, 满足可分解性, 但是因为零输入响应yx (t) =lgx (0) , 呈对数关系, 为非线性, 如图3所示, 故整个系统是非线性的。

当然, 此题也可以利用定义法单独讨论零输入响应yx (t) 是否线性, 具体过程如下。

(1) 讨论齐次性

∴不满足齐次性, 为非线性系统

(2) 讨论叠加性:

设

则

∴不满足叠加性, 为非线性系统。

3 结论

判断系统的线性是《信号与系统》课程中一个非常基本而又重要的内容。本文从线性系统的定义出发, 深入讨论了含初始条件时系统线性的判断方法, 即将系统的输出分解为零输入响应和零状态响应两部分, 而且这两部分都满足线性关系, 则系统就是线性的。最后通过两个例题对系统的线性进行了判别, 结果表明用定义判别系统是否线性, 数学上更为严谨, 而用可分解特性判别物理意义则更加明确。

摘要：本文用两种方法对含初始状态的连续时间系统的线性性进行判别。第一种方法直接由定义判别, 在数学上更为严谨;第二种由线性系统的延伸特点进行判别, 其物理意义更加明确。

关键词：初始状态,线性系统,零输入响应,零状态响应

参考文献

[1]郑君里.信号与系统 (第二版) [M].北京:高等教育出版社, 2000.

[2]陈生潭.信号与系统 (第三版) [M].西安:西安电子科技大学出版社, 2008.