支持向量机网络（通用12篇）
支持向量机网络 篇1
0 引言
网络流量的预测与建模对于大规模网络资源管理、规划设计、用户行为等方面具有重要意义。传统网络流量预测方法主要基于线性建模，预测误差较大，很难准确反映网络流量复杂变化特点[1,2]。众多实验证明，网络流量存在如下特点如非平稳性、混沌性、时变性等，是一个具有高度的不确定性的复杂系统，需要采用非线性混沌理论对网络流量预测进行建模。目前基于非线性理论的典型模型包括神经网络预测模型、小波预测模型、灰色模型、支持向量机（Support Vector Machine,SVM）预测模型等[3,4]。
SVM是一种针对高维数、小样本的机器学习方法，泛化性能优异，被公认为是较好的非线性预测方法。大量研究表明SVM预测效果优于其他非线性模型，这主要得益于预测模型泛化能力强，避免了“维数灾难”，并且能够寻找到全局最优解，因此得到了广泛的应用[5]。但是SVM预测性能与网络流量的训练样本关系密切，并且当前确定训练样本的输出和输入矩阵采取的方法主要是人为判断，选取训练样本缺乏理论指导，容易产生过拟合现象[6]。
当前已有一些研究人员针对SVM预测模型的缺点进行了改进研究。研究主要包括对预测模型SVM参数选择的优化和对SVM预测模型自身的改进两个方面；其中SVM模型中参数的选择对预测效果起着非常关键的作用[7]。目前SVM参数选择主要采用智能优化算法，例如遗传算法（Genetic Algorithm,GA）、人工鱼群算法（Artificial Fish Algorithm,AFA）、粒子群优化（Particle Swarm Optimization,PSO）算法。例如，王瑞雪研究了一种通过GAFA（全局人工鱼群算法）优化SVR模型的网络流量预测方法，但是AFA优化的SVR预网络流量预测方法，结果不稳定[8]。曾伟等研究了采用粒子群优化算法优化SVM预测模型，研究表明提高了SVM模型的预测精度，但预测的稳定性依然不高，并且容易陷入局部极值[9]。Lu Wei Jia等采用遗传算法优化SVM预测模型，由于遗传算法的固有缺点，效果也不尽理想[10]。针对当前网络流量非线性时变、混沌等特点，本文研究对SVM预测模型进行改进，使用模糊层次分析法对SVM进行参数寻优，并用寻找到的最优参数训练SVM，建立预测模型。
1 支持向量机参数选择问题
设给定样本集{(x1,y1),⋯,(xi,yi),⋯,(xn,yn)}。其中xi∈Rn表示输入变量；yi∈{+1,-1}为输出变量，分两类问题；n为学习样本数。φ(x)为非线性映射函数，最优分类超平面构造如下[11,12,13]:
对非线性分类问题，引入核函数k(xi,xj)将式（1）变换为：
为简化SVM参数优化，选择径向基函数（RBF）（只需确定一个参数σ）作为SVM的核函数。因此要获取性能优越的SVM，需要选取最合适的σ和C，因此SVM参数优化的数学模型为：
SVM参数优化目标函数定义为SVM预测模型预测网络流量的正确率（G),SVM预测模型参数的优化问题描述如下：
约束条件为：
式（6）是一个两个参数组合优化问题。
2 模糊层次分析法优化SVM参数
2.1 采用层次分析法确定σ和C参数权重
首先利用层次分析法[13]确定σ和C参数的权重，首先构造判断矩阵C=(cij)n×n，其中cij表示因素i和因素j相对相标的重要性程度值，且cij>0;cij=cji；当i=j时，则cij=1。各参数的相对权重Wi为：
2.2 建立模糊判断矩阵
采用德尔菲法对各参数进行评分，计分范围在（0,1）区间内，且参数得分总和为“1”。根据σ和C参数的特点，采用清晰集合构造模糊集确定隶属度。设A1,A2,…,An为n个任意清晰集合，集合的并集如下：
模糊集合(k n)Bk,其中k=1,2,⋯,n。用k n与集合Bk相乘得到，其隶属度函数如下：
2.3 定义模糊关系矩阵R
构造模糊映射f:U→F(V),ui→f(ui)=(ri1,ri2,⋯rim)∈F(V)。F(V)是V上的模糊集全体。令Ri={ri1,ri2,⋯,rim},i=1,2,⋯,n，模糊关系矩阵R定义如下：
利用公式求出各参数评估矩阵：
2.4 参数评估流程
综合上述可知，基于模糊层次分析法的SVM参数评估流程如图1所示。
按照图1中的首先构建评估指标体系，对σ和C参数进行分析，并结合实际情况建立判断举证，对各评估参数进行综合评估，最后输出参数选择结果。
3 结语
本文对SVM预测模型进行改进，使用模糊层次分析法对SVM的两个参数进行寻优，并用寻找到的最优参数训练SVM，建立预测模型，预测网络流量。实验表明，该方法是一种预测精度高、有效的网络流量预测方法。
支持向量机网络 篇2
基于支持向量机的车型分类的设计思路是通过视频采集获得车辆图像,对车辆图像进行图像预处理和特征提取后,得到分类器所需数据特征,而后采用支持向量机和二元决策树对车型分类.采用三个支持向量机的分类器和二元决策树相结合对特征数据进行分类识别,最终实现了车型分类.通过利用Libsvm(SVM模式识别与回归的软件)进行实验,取得了较好的.分类效果.
作 者：曹洁 李浩茹 陈继开 CAO Jie LI Hao-ru CHEN Ji-kai 作者单位：曹洁,李浩茹,CAO Jie,LI Hao-ru(兰州理工大学电气工程与信息工程学院,兰州,730050)
陈继开,CHEN Ji-kai(兰州理工大学机电工程学院,兰州,730050)
支持向量机网络 篇3
摘要：针对支持向量机在分类过程中的特征选择问题，提出了一种改进的遗传算法。在演化进程中运用Meteopolis准则通过合理选群来防止进化陷入局部极值区域。最后针对ucI数据库中的数据，通过将该算法与其他几种方法进行了比较，证明了本文算法具有较优的特征选择效果，并已成功应用在基于支持向量机的数字电路板故障诊断中。
关键词：支持向量机；互敏感度信息量；独立敏感度信息量；自适应变异率；Meteopolis准则
引言
支持向量机是一种在统计学习理论的基础上发展而来的机器学习方法，通过学习类别之间分界面附近的精确信息，可以自动寻找那些对分类有较好区分能力的支持向量，由此构造出的分类器可以使类与类之间的间隔最大化，因而有较好的泛化性能和较高的分类准确率。由于支持向量机具有小样本、非线性、高维数、避免局部最小点以及过学习现象等优点，所以被广泛运用于故障诊断、图像识别、回归预测等领域。但是如果缺少了对样本进行有效地特征选择，支持向量机在分类时往往会出现训练时间过长以及较低的分类准确率，这恰恰是由于支持向量机无法利用混乱的样本分类信息而引起的，因此特征选择是分类问题中的一个重要环节。特征选择的任务是从原始的特征集合中去除对分类无用的冗余特征以及那些具有相似分类信息的重复特征，因而可以有效降低特征维数，缩短训练时间，提高分类准确率。
目前特征选择的方法主要有主成分分析法、最大熵原理、粗糙集理论等。然而由于这些方法主要依据繁复的数学理论，在计算过程中可能存在求导和函数连续性等客观限定条件，在必要时还需要设定用来指导寻优搜索方向的搜索规则。遗传算法作为一种鲁棒性极强的智能识别方法，直接对寻优对象进行操作，不存在特定数学条件的限定，具有极好的全局寻优能力和并行性；而由于遗传算法采用概率化的寻优方法，所以在自动搜索的过程中可以自主获取与寻优有关的线索，并在加以学习之后可以自适应地调整搜索方向，不需要确定搜索的规则。因此遗传算法被广泛应用在知识发现、组合优化、机器学习、信号处理、自适应控制和人工生命等领域。
基于改进遗传算法的特征选择
遗传算法是一种新近发展起来的搜索最优化算法。遗传算法从任意一个的初始生物种群开始，通过随机的选择、交叉和变异操作，产生一群拥有更适应自然界的新个体的新一代种群，使得种群的进化趋势向着最，优的方向发展。图1中所示的是标准的遗传算法的流程框图。
传统的遗传算法存在早熟收敛、非全局收敛以及后期收敛速度慢的缺点，为此本文提出了一种能够在进化过程中自适应调节变异率，以及利用模拟退火防止早熟的改进遗传算法，同时该算法利用敏感度信息可以有效地控制遗传操作。图2是改进遗传算法的流程框图。
染色体编码和适应度函数
所谓编码是指将问题的解空间转换成遗传算法所能处理的搜索空间。在特征选择问题中，常常使用二进制的编码形式，使得每个二进制就是一个染色体，其位数长度等于特征的个数。每一位代表一个特征，每位上的1表示选中该特征，0则表示不选中。每一代种群都由若干个染色体组成。
适应度函数是整个遗传算法中极为重要的部分，好的适应度函数能使染色体进化到最优个体，它决定了在整个寻优过程中是否能够合理地协调好过早收敛和过慢结束这对矛盾。由于本文针对的是支持向量机的特征选择问题，所以考虑以分类正确率和未选择的特征个数这两个参数作为函数的自变量。将分类正确率作为主要衡量标准，未选择的特征个数为次要标准。由此建立以下的适应度函数：式中c为分类正确率。为未选择的特征个数，a是调节系数，用来平衡分类正确率和未选择的特征个数对适应度函数的影响程度，同时该系数也体现了用最少的特征得到较大分类正确率的原则，在本文中a取0.00077。由上式可知，分类正确率越高，未选的特征个数越多，染色体的适应度就越大。
选择操作
选择操作需要按照一定的规则从原有的种群中选择部分优秀个体用来交叉和变异。选择原则建立在对个体适应度进行评价的基础上，目的是避免基因损失，提高全局收敛性和计算效率。本文首先将整个种群中最优的前40％的个体保留下来，以确保有足够的优良个体进入下一代，对剩下的60％的个体采用轮盘算法进行选择，这样做可以弥补保留前40％个体而带来的局部最优解不易被淘汰的不利影响，有利于保持种群的多样性。
基于敏感度信息量的交叉、变异操作
独立敏感度信息量Q(i)指的是对在所有特征都被选中时计算所得到的适应度值Allfitness以及只有特征i未被选中时计算得到的适应度值Wfitness(i)按式(2)进行计算得到的数值。独立敏感度信息量刻画了适应度对特征是否被选择的敏感程度。
互敏感度信息量R(i，j)由(3)式可得，互敏感度信息量体现了特征与特征之间对适应度的近似影响程度。
交叉操作的作用是通过交换两个染色体之间的若干位从而生成含有部分原始优良基因的新个体。由式(3)可知互敏感度信息量可作为不同特征之间含有相似分类信息的一种度量，所以可以将互敏感度信息量代入式(4)计算出染色体在第一位发生交叉的几率β(j)，在式(4)中i和j分别代表特征和特征j，是染色体的长度。β(i)是特征，相对于其他所有特征在互敏感度信息量上的归一量，反映了特征与其余特征在相似信息量上的总和。由此对应到染色体上，β(i)就可以认为是染色体的第i位与整个染色体在基因信息上的相关性，β(i)越小则说明相关性越大，第i位与整个染色体所含的基因信息越接近，此位为分裂点的几率越小。由于β(i)是归一化量，故可采用轮盘算法来选择一个交叉点。
变异操作是引入新物种的重要手段，可以有效地增加种群个体的多样性。本文中的变异率Pm采用相邻两代之间的最优适应度增幅比作为自变量进行自适应调节，如式(5)所示。当适应度增幅比正向增大时，较小的增幅比可以使变异率维持在中等水平，并且变异率随着增幅比的增大而缓慢降低，这样既能够拥有一定数量的新个体也可以抑制过多不良染色体的产生，保证优秀染色体的进化足够稳定；而当适应度增幅比反向增大时，由较小增幅比则可以获得较高的变异率。并且变异率也伴随增幅比同比缓慢升高，确保有足够的染色体发生变异，稳定地加快进化速度。式中dis指新生种群的最优适应度相对于原种群的最优适应度的增幅比，尚k均是区间(0，1)上的调节系数。文中的j与k分别取0.65和0.055。
独立敏感度信息量在一定程度上体现了单个特征所含有的分类信息量，如果独立敏感度信息量小，则说
明该特征所含信息大部分对分类没有帮助，即该基因位发生突变后对整个染色体的优异性影响不大，突变的概率也就相应减小。因此将独立敏感度信息量归一化后所得到的q(i)作为特征i被选为变异点的概率。变异点的具体选择方法为：针对一个染色体按照染色体的位数进行循环遍历，在该循环中由变异率Pm判定是否产生变异位。若需要产生变异位，则依据q(i)按照轮盘算法进行选择。
模拟退火选群
在每一轮进化完成后都需要决定进入下一轮进化的种群。如果过多地将较优种群作为父代，就会使算法过早收敛或搜索缓慢。文献中指出模拟退火算法能够以一定的概率接受劣解从而跳出局部极值区域并最终趋于全局最优解。因此可以将上文提到的最优适应度增幅比作为能量函数，运用模拟退火的Meteopolis准则来选择待进化的种群。为了使每个种群得到充分地进化，预防最优解的丢失，这里采用设置退火步长的策略来实现模拟退火选群。该策略具体为：使退火步长对同一种群作为父代的次数进行计数，一旦产生更优种群则退火步长就置零并重新计数。若退火步长累计超过一定的阈值时，就进入模拟退火选群阶段。退火步长累计到一定数量意味着原有种群的进化已经停滞，需要用模拟退火算法摆脱这种停滞状态。如果增幅比大于零，则说明新生种群优于原有种群。这时完全接受新种群进入下一轮进化：否则新生种群劣于原有种群，并以一定的概率p接受较劣的新生种群进入下一轮进化。接受概率lp由式(6)和式(7)共同决定，其中dis为增幅比，T(s)指温度参数，To和s分别是初始温度和迭代次数。
以上两式的参数要满足进化对接受概率的要求。即增幅比负增长越大，接受概率降低越迅速，但接受概率随迭代次数的增加应缓慢下降。这样做能够保证在有限的迭代次数内有一个适应度较优的新生种群进入下一轮进化，以达到减少计算量和优选待进化种群的目的。在本文中To=0.2，A=0.9，m=0.5。
实例的验证与分析
UCI数据库常用来比较各种方法的分类效果，因此可以用其验证本算法对支持向量机作用后的分类效果。文献㈨采用了UCI数据库中的German、Ionosphere和Sonar三种数据作为实验对象，为了便于与文献中所用的几种方法进行对比，本文也采用这三种数据进行实验，并按照文献中所述的比例将各类数据分成相应的训练样本和测试样本。
在种群规模为30，交叉率为0.8、起始变异率为0.1的条件下使用支持向量机作为分类器(惩罚参数为13.7，径向基核函数参数为10.6)对所选数据进行分类，表1中显示了本文算法与文献中几种算法在分类效果上的对比，表2给出了三种数据的最终选择结果。表1中共出现了四种方法：方法1：使用本文算法：方法2：使用NGA／PCA方法；方法3：使用PCA方法；方法4：使用简单遗传算法。
由于本文算法旨在用最少的特征个数最大化分类正确率，因此从表1中可以看出本文算法在特征选择个数和分类正确率上均比其他三种方法更具优势。由于NGA／PCA算法是针对简单遗传算法和主成分分析法的不足而做的改进，其性能优于简单遗传算法和主成分分析法，所以本文算法的分类效果优于NGA／PcA算法这一事实更能说明该算法可以较好地解决支持向基机的特征选择问题。
结语
通过与其他方法的比较，本文算法的分类效果得到了充分的验证，也说明了该算法具有极好的泛化能力以及在敏感度信息量地指导下遗传操作的有效性。
适应度函数的设计至关重要，它直接影响到最终结果的优劣以及算法的收敛性，所以在适应度函数的设计应考虑所解决问题的侧重点。
分类正确率的高低不仅取决于合理的特征选择，而且与支持向量机的参数优化有关。只有在合理的特征选择和参数优化的前提下，支持向量机分类器才能发挥出最佳的分类效果。
支持向量机网络 篇4
隧道围岩分级是针对爆破、开挖、支护、编制定额等工程要求,而对隧道围岩按照其工程地质条件进行的稳定性分级,以满足隧道设计、施工以及编制定额的需要。
隧道围岩具有以下特点:1)由于隧道岩体经历不同期次的构造作用以及浅、表生作用,岩体中存在大量软弱结构面,从而使岩体具有各向异性、非均质性[3]。2)隧道岩体通常赋存于地应力、地下水等复杂地质环境中,不同地应力环境中岩体的力学响应不同,而地下水渗流场和岩体应力场二者耦合共同决定了岩体的复杂空间应力状态。3)隧道围岩在施工中要经历开挖、爆破、卸荷、回填等工程处理,这些扰动使得围岩的力学性质表现出更加复杂的时间和空间形态。
综上所述,隧道围岩本质上是一个非线性非平衡开放系统,表现为结构的无序、不稳定、不平衡以及时空的不可逆和非对称,从而使隧道围岩的工程地质性质及其力学行为具有不确定性,面临“参数给不准”和“模型给不准”两大瓶颈问题,而这是传统的基于经验的围岩分级方法暂时无法解决的[4]。
面对隧道围岩的高度复杂性和非线性特点,使得隧道围岩稳定性评价的确定性理论在准确性和可靠性方面受到一定限制。而作为智能科学领域的支持向量机具有对高度非线性和复杂性系统无限逼近能力的优点,使得支持向量机可以成为隧道围岩分级的强有力工具。
1 支持向量机网络模型结构及算法原理
支持向量机网络(Support Vector Mochine)的数学理论基础是统计学习理论的VC维理论和结构风险最小原理,主要理论内容是1995年由Vpnik提出的[3]。其基本思想就是通过事先选择好的某一个非线性变换,将输入向量映射到高维特征空间中,在特征空间中构造一个最优分类超平面,使不同类别之间的隔离边缘最大化,而这个分类超平面由支持向量决定。支持向量机网络模型的最大优点是在有限样本的情况下仍能得出精确的预测结果(见图1)。
BP神经网络和RBF神经网络的理论基础都是传统统计学,只有在训练样本数据足够多甚至趋近于无穷大时,经验风险才有可能趋近于期望风险,但实际上训练样本数据都是有限的,有时甚至是不足的,所以BP神经网络和RBF神经网络经常出现过学习现象,模型的泛化能力不高。基于传统统计学理论的学习机器,如BP神经网络和RBF神经网络,模型的泛化能力与样本数目和研究系统的复杂性有关,而且始终存在学习精度和泛化能力之间的矛盾。
2 隧道围岩工程地质特征定量化
建立基于支持向量机网络的隧道围岩分级模型,首要一步是建立起围岩分级指标体系并予以向量化。本文主要从隧道围岩的岩块强度、岩体结构、岩体完整性、岩体受地质构造影响程度、岩体结构面发育情况、控制性结构面与隧道轴线的关系以及地下水状态等方面建立分级指标体系。
由于这些数据大部分都是定性的描述,为了建立定量模型的需要同时也要符合工程地质分析的习惯,需要对分级指标数据作定量化处理。具体操作方法是采用“1”和“0”的组合向量来分别表示某一工程地质属性的有无,如极硬岩可用(0,0,0,0,1)表示,硬岩可用(0,0,0,1,0)表示,较软岩(0,0,1,0,0)表示,软岩(0,1,0,0,0)表示,极软岩(1,0,0,0,0)表示,其他分类指标的定量化以此类推。
依据以上建立的围岩分级指标体系,在充分调研文献资料和隧道施工设计资料的基础上,收集整理了93组具有代表性的隧道围岩分级数据作为基于人工神经网络的围岩分级模型的样本数据,向量化后为93组44维数据。
由于定性数据的测量误差较大,所以选定83组数据作为训练样本建立分类模型,最后用10组数据作为预测样本用来评价分级模型的分级准确性。
3 支持向量机网络设计过程
1)核函数类型的选择。
支持向量机网络的核函数类型一般有线性核函数、多项式核函数、径向基核函数和Sigmoid核函数。研究表明核函数的选择对支持向量机网络的性能影响不大。但是选择合适的核函数可以减小分类模型的计算量。综合考虑核函数的核参数数目、特征空间的非线性变换以及维数灾难,最终选取高斯径向基核函数。
2)核参数的选择。
高斯径向基核函数的核参数主要有中心向量和宽度系数,支持向量机网络模型要求解的支持向量就是中心向量,由算法自定选定;而宽度系数σ2表征神经元的感知阈,影响改变样本特征空间的复杂程度,过大过小都不合适而且与惩罚因子C共同决定分类模型的结构风险,本文通过网格搜索寻找最优宽度系数和惩罚因子。
3)惩罚因子C的选择。
惩罚因子C用来控制错分样本的惩罚程度,在错分样本的比例和模型算法复杂性二者之间寻求折中,其值大小最终影响分类预测模型的复杂程度。同样,惩罚因子C的选择也存在一个优化问题,过大过小皆不合适,而且与宽度系数σ2共同决定分类模型的结构风险,需要对二者同时协调优化,详细过程见图2。
4)数据的处理。
数据的处理包括对输入数据的处理即前处理和输出数据的处理即后处理。由于多分类支持向量机本是基于二分类支持向量机发展而成,所以本文支持向量机网络模型的样本数据采用1～5五个数字分别代表五个围岩级别,而且不做归一化处理。
基于以上所述,本文采用网格搜索法先粗搜后细搜,对宽度系数和合惩罚因子同时协调优化,最终选择宽度系数和合惩罚因子的最优组合值作为分类模型的参数(见图3),采用训练样本数据的分类正确率和预测样本的分类正确率分别表征网络模型的经验误差和泛化能力。
4 支持向量机网络模型围岩分级结果
通过一系列优化设计,最终确定:支持向量机网络的核函数采用高斯径向基核函数,宽度系数取0.015 625,惩罚因子取181.019 3;样本数据一共93个,训练数据83个,仿真预测数据10个。最终预测结果见表1和图4。
通过上面的围岩分级结果分析可知,支持向量机模型分级模型对10个预测样本的分级正确率为90%,唯一一个误判的是样本89,将Ⅳ级误判为Ⅲ级,但是误差不超过一级;表明支持向量机模型基本能完全正确的进行围岩分级。
5结论与建议
支持向量机模型对围岩分级结果能够进行很好的预测,正确率达到90%,预测精度也基本满意,收敛速度明显变快。如何进一步对定量实测的工程地质指标进行建立分级模型是本文的不足,是以后需要进一步深入的工作。其次是扩散系数和惩罚系数需要通过不断试算确定最优值,虽然采用了粗细网格结合的搜索方法,但是仍然增加了建模时间,如何改进参数的寻优方法也是接下来需要解决的问题。
参考文献
[1]冯夏庭.智能岩石力学导论[M].北京:科学出版社,2000.
[2]杜时贵,周庆良.公路隧道围岩定量分类系统研究设想和建议[J].西安公路交通大学学报,1996,16(4):32-37.
[3]沈中其,关宝树.铁路隧道围岩分级方法[M].成都:西南交通大学出版社,2000.
[4]Vapnik V.Statistical Learning Theory[M].Wiley,New Yorw,NY,1998.
支持向量机网络 篇5
研究生考查课作业
Forecasting PVT properties of crude oil systems based on support vector machines modeling scheme 基于支持向量机建模方案预测原油系统
PVT参数
课程名称：
电信学部专业英语
导师： 赵珺
研究生姓名：
李德祥
学号： 20909173
作业成绩：
任课教师(签名)
交作业日时间：2010 年12月17日
基于支持向量机建模方案预测原油系统PVT参数
摘要：PVT参数在油储工程计算中发挥着重要的作用。目前有许多种方法用来预测各种PVT参数，例如经验公式法，计算机智能法。神经网络的成就为数据挖掘建模技术打开了一扇们，同时它在石油工业中起到了重要的作用。然而不幸的是，由于仓储流体的一些特性，现有神经网络方法在其上的应用存在许多缺点和限制。本文提出了一种新的智能模型——支持向量机用来预测原油系统的PVT参数，该方法解决了现有神经网络预测的大部分缺点。文中简要介绍了预测步骤和建模算法，同时从神经网络，非线性回归以及经验公式法中分别选择了一种方法与支持向量机回归建模法进行了比较。结果表明支持向量机方法更加准确，可靠，同时优于大多数现有的公式法。这说明支持向量机建模法具有光明的前景，我们建议将其用于解决其他石油和煤气工业问题，诸如渗透率和孔隙率预测，确定持液量流动区和其他油储特性。
关键字：支持向量回归机(SVR);PVT参数预测;神经网络;1 引言
储层流动参数在石油工程计算中是非常重要的，例如物质平衡计算，试井分析，储量预测，向井流动态计算以及油藏数值模拟。众所周知，准确的PVT数据对物质平衡计算是非常重要的。这些PVT参数包括起泡点压力(Pb)，石油形成层参数(Bob)，这个被定义储存石油的容积。Bob的准确预测在储量和产量计算中至关重要，同时在储量动态计算，生产操作和设计以及构成评估的计算中，PVT参数也是非常重要的。这个流程的经济效益也取决与这些参数的准确预测。
现存的PVT仿真器在预测储藏流体的物理参数时，其预测精度随使用模型的类型，流体特性以及当时环境的变化而变化。因此他们在预测准确性方面都存在极大的缺陷。理想情况下，PVT参数通过对取自井底或者表面的样本进行试验研究而获得，但这样做获取试验数据代价昂贵。因此，现在多采用状态等式，统计回归，图解法以及经验公式法来预测PVT参数。用于PVT计算的相关方法一直是研究的重点，并发表了许多论文。过去十年间，有人提出了几种确定Pb和Bob的图解法和数学方法。这些研究都基于这样一个假设，Pb和Bob都是油气比，油藏温度，煤气比重以及石油比重的强函数。尽管如此，这些状态等式包含了大量的数据计算,其中需要知道储藏流体的详细成分，而得到它们即费力又费时。另外，这些方法在预测中是 不可靠的，它取决与原始应用数据的变化程度以及相似流体成分和API油比重的地理区域。此外PVT参数以基于容易测量的现场数据为基础，诸如储存压力，储存温度和石油比重。
近年来，人工神经网络(ANNs)被用于解决许多煤气和石油工业方面的问题，其中包括渗透率和孔隙率预测，岩相类型鉴定，地震模式识别，PVT参数预测，油管及油井中压降估计以及井产量预测。在机器学习和数据挖掘领域最流行的神经网络方法是前向神经网络(FFN)和多层感知器（MLP）。它们在石油和煤气工业中应有广泛。尽管如此，这些神经网络建模方法存在许多缺点，诸如识别可能因果关系的能力受到限制，在后向传播算法的构造中比较耗时，这些缺点将导致过拟合和评价函数收敛于局部极小点。另外，前向神经网络的结构参数也需要提前估计，诸如前向传播神经网络的隐层数量和大小，多层神经元之间的传递函数类型。同时，训练算法参数通过估计初始随机权重，学习率和动量而获得。
本研究的主要目的是了解支持向量机回归算法在模型化原油系统PVT参数方面的能力，同时解决上述神经网络存在的一些问题。大量的用户介入不仅减缓了模型开发，也违背了让数据说话的原则。在工作中，我们精确的研究了基于核函数的支持向量机回归算法在模型化Pb和Bob参数的能力，试验数据来源与全世界已出版的PVT数据库。我们也从神经网络，非线性回归以及各种不同的经验公式中分别选取了一种方法与支持向量机回归法进行了比较研究。
高原油采收率的预测是采收率分析的基础，这也保证了分析结果的可靠性。在统计学习理论中，建立一个高采收率预测模型属于函数逼近问题的范畴。根据Vapnik结构风险最小化原则,提高学习机的泛化能力即是对于有效训练样本的小误差能够保证相对独立的测试样本的小误差。近几年，最新的统计理论的研究结果首次运用到高采收率的分析。我们讨论了改进的后向传播人工神经网络和支持向量机。我们将神经网络同三个不同的经验公式法以及前向传播神经网络进行了对比研究，结果表明支持向量机无论在可靠性和效率上都优于大多数目前流行的建模方法。
为了说明支持向量机回归法作为一种新的计算机智能算法的有效性，我们使用三种不同的PVT参数建立了先进的支持向量机回归校准模型。在包括782个观测值的数据库中数据来自马来群岛，中东，墨西哥湾和哥伦比亚。由于宽域性和不确定分布，这些数据具有很大的挑战性。因此，我们使用了四个不同输入参数的数据库来建立预测起泡点压力和石油形成层参数的支持向量机回归模型。这四个参数分别是：油气比率，油藏温度，石油比重以及煤气相对比重。结果表明支持向量机回归学习算法比其他石油工程论文中所提方法更快，更稳定。另外，这种新型支持向量回归机建模法在绝对平均误差，标准差和相关系数上都优于标准神经网络和大多数现存的系数模型。
本论文的其余部分组织如下：第二部分是文献综述，简要介绍了在确定PVT关系中一些最常用的经验公式和神经网络建模法。应用神经网络对PVT参数建模的主要缺点也在这部分提及。同时也提出了支持向量回归机和其训练算法的最常用结构。第四部分介绍了数据获取和统计质量测度。试验结果在第五部分进行了讨论。第六部分通过给出试验结果说明了方法的性能。文献综述
PVT参数，渗透性和孔隙率，岩相类型，地震模式识别在石油和煤气工业中是非常重要的参数。过去的六十年中，工程师们认识到发展和使用试验公式预测PVT参数的重要性，因此在这一领域的研究促进了新方法的发展。在实验室预测这些参数代价高昂,因此很难确定，同时预测的准确性又是至关重要的，而我们并不能提前预知。本部分简要总结了一下预测PVT参数的一些通用经验公式和几种不同的计算机智能算法。2.1 最常用的经验模型和评价研究
过去的六十年里，工程师们认识到发展和使用经验公式对于预测PVT参数的重要性。在这一领域的大量研究促进了新的公式的发展。诸如Standing,Katz,Vasquez& Beggs,Glaso&Al-Marhoun的相关研究.Glaso针对形成层参数使用45组石油样本发展其经验公式，这些样本来自于北海的烃化合物。Al-Marboun提出了一种经验公式用于预测中东石油的起泡点压力和石油形成层参数，他使用来自中东69个油井的160组数据集来构造他的公式。Abdul-Majeed and Salman提出了一种基于420组数据集的油量层形成公式，并命名为Abdul-Majeed and Salman 经验公式。他们的模型与采用新参数的Al-Marhoun油量层参数公式类似。Al-Marthoun提出了第二种针对油量层参数的经验公式，该公式基于11728个起跑点压力上下的形成层参数试验数据点。数据集的样本来自全世界700多个油井，这些油井大部分位于中东和北美。读者也可以参考其他经验公式，诸如Al-Shammasi and EI-Sebakhy等等。本研究中，我们仅仅关注于三个最常用的经验公式，分别为Al-Marhoun,Glaso 和Standing.Labedi提出了针对非洲原油的油量层参数公式。他使用了来自利比亚的97组数据集，尼日利亚的28组数据集以及安哥拉的4组数据集来形成他的公式。DOKLa and Osman提出了用于预测阿联酋原油起泡点压力和油量层参素的系数集，他们使用51组数据集来计算新的系数。Al-Yousef and Al-Marhoun指出Dokla and Osaman 起泡点压力公式违背物理规则。Al-Marhoun 提出了另一种针 2
对石油形成层参数的公式，该公式使用11728个起泡点压力上下的形成层参素。该数据集的样本来自于全世界700多个油井，这些油井大部分来自与中东和北美。
Macary and El-Batanoney提出了针对起泡点压力和形成层参数的公式。他们使用了来自苏伊士湾30个油井的90组数据集。该新公式又与来自埃及的数据进行了对比测试，并表现出超过其他已有公式的性能。Omar and Todd提出了一种基于标准系数模型的石油形成层参数公式。该公式使用了来自马来群岛油井包含93个观察点的数据集。Kartoamodjo and Schmidt 使用全球资料库发明了一种新的预测所有PVT参数的公式，该公式使用740个不同的原油样本，这些样本从全世界采集，并包括5392组数据集。Almehaideb提出了一种针对阿联酋原油的系数集，其中使用了62组来自阿联酋油井的数据集来测量起泡点压力和形成层参数。起泡点压力公式，像Omar and Todd使用形成层参数作为输入,并排除了石油比重，煤气比重，气油混合比以及油井温度。Suttton and Farshand提出了一种针对墨西哥湾原油的公式，其中使用了天然气饱和原油的285组数据集以及代表31个不同原油和天然气系统的134组欠饱和石油数据集。结果表明Glaso公式预测形成层参数对于大多数研究数据表现良好。Petrosky and Farshad提出了一种基于墨西哥湾的新公式，并说明了Al-Marhoun公式对预测油量层系数是最好的。McCain提出了一种新的基于大规模数据的油井参数评估公式，他们建议在将来的应用中采用Standing公式来预测起泡点压力上下的形成层参数。
Ghetto基于195组全球数据集得出了一种针对PVT参数的复杂研究公式，其中使用的数据集来自地中海盆地，美洲，中东和北海油井。他们建议运用Vasquez and Beggas公式预测油量层参数。另一方面，Elsharkawy使用44组样本评估了用于科威特原油的PVT公式，结果表明，对于起泡点压力,Standing公式给出了最好的结果，而Al-Marhoun石油形成层参数公式的表现也是令人满意的。Mahmood and Al-Marhoun提出针对巴基斯坦原油的PVT估计公式，其中使用了来自22个不同原始样本中的166组数据集。Al-Marhoun指出油量层参数预测结果良好，而起泡点压力误差却是已有公式所得结果中最高的几个之一。另外，Hanafy基于Macary and EI-Batanoney公式评价预测埃及原油形成层参数，结果表明其平均绝对误差为4.9%，而Dokla and Osman公式却是3.9%。因此，研究结果表明本地公式要优于全球公式。
Al-Fattan and Al-Marhoun所著的书中，他们基于来自已有674组数据集对现有的油量层参数进行了评估，结果表面Al-Marhoun公式对于全球数据集有最小的误差。另外，他们也进行了趋势测试以评估模型的物理行为。最后，Al-Shammasi以来自世界各地的烃混合物为代表，从准确性和适应性两方面对已发表的针对起泡点压力和油量层参数的公式和神经网络模型进行了评估，并提出了一种新的起泡点压力公式，该公式基于1661个已发表的全球数据集和48个未发表的数据集。同时他也提出了神经网络模型，并且将其与数值公式进行了比较，结果表明从统计学和趋势性能分析来看，一些公式违背了烃流参数的物理特性。2.2 基于人工神经网络的PVT参数预测
人工神经网络是并行分配信息处理模型，它能识别具有高度复杂性的现有数据。最近几年，人工神经网络在石油工业中得到了广泛的应用。许多学者探讨了石油工程中人工神经网络的应用，诸如Ali,Elshakawy,Gharbi and Elsharkawy,Kumoluyi and Daltaban,Mohaghegh and Ameri,Mohaghegn,Mohaghegn,和Varotsis等人。在文献中最常用的神经网络是采用倒传递算法的前向传播神经网络，参见Ali,Duda以及Osman的论文。这种神经网络在预测和分类问题上有着良好的计算机智能建模能力。采用神经网络模型化PVT参数的研究还不多，最近，有人采用前向传播神经网络预测PVT参数，参见Gharbi and Elsharkawy以及Osman等人的论文。
Al-Shammasi提出了神经网络模型，并将其与数值公式进行了性能比较，结果表明从统计学和趋势性能来看一些公式违背了烃流参数的物理性质。另外，他还指出已发表的神经网络模型丢失了主要模型参数而需要重建。他使用神经网络(4-5-3-1)结构来预测起泡点压力和石油形成层参数，并以来自世界各地的烃混合物为例，从准确性和适应性两方面对已发表的用于预测如上两个参数的公式和神经网络进行了评价。
Gharbi 和Elsharkawy以及Osman等在前向神经网络和四种经验公式之间进行了对比研究，这四种公式分别是Standing,Al-Mahroun,Glaso以及Vasquez and Beggs经验公式，更多的结论和对比研究结果可参见他们的论文。1996，Gharbi and Elsharkawy提出了预测中东原油起泡点压力和形成层参数的神经网络模型。该模型基于具有对数双弯曲激发函数的神经系统来预测中东油井的PVT数据。同时，Gharbi和Elsharkawy训练了两个神经网络分别预测起泡点压力和形成层参数。输入数据是油气比率，油储温度，石油比重以及煤气比重。他们使用具有两个隐层的神经网络，第一个神经网络预测起泡点压力，第二个神经网络预测形成层参数。二者都使用中东地区包含520个观察点的数据集，其中498个观察点用于训练，其余22个观察点用于检验。
Gharbi和Elsharkawy在更广大区域采用了同样的标准，这些区域包括：南北美，北海，东南亚和中东地区。他们提出了一种只采用1个隐层的神经网络，其中使用了来自350个不同原油系统的5432个观察点的数据库。该数据库被分成具有5200个观察点的训练集和234个观察点的测试集。对比研究结果表明，前向神经网络预测PVT参数在减小平均绝对误差和提高相关系数方面优于传统经验公式。读者可以参看Al-Shammasi和EI-Sebkhy的论文获取其他类型的神经网络在预测PVT参数方面的应用。例如，径向基函数和诱导神经网络。2.3 神经网络建模法最普遍的缺点
神经网络相关经验已经暴露了许多技术上的限制。其中之一是设计空间的复杂性。在许多设计参数的选择上由于没有分析指导，开发者常常采用一种人为试探的尝试错误方法，该方法将重点放在可能搜索空间的小区域里。那些需要猜测的结构参数包括隐层的数目和大小以及多层神经元间传递函数的类型。需要确定的学习算法参数包括初始权重，学习率以及动量。尽管得到的可接受的结果带有偏差，但很明显忽视了可能存在的高级模型。大量的用户干预不仅减慢了模型构建也违背了让数据说话的原则。为了自动设计过程，Petrosky 和Farshad提出了遗传算法形式的外部优化标准。对于新数据在实际应用中的过拟合和弱网络泛化能力也是一个问题。当训练进行时，训练数据的拟合提高了，但是由于训练中新数据不能提前预知网络性能可能因为过学习而变坏。训练数据的一个单独部分常常保留下来监视性能，以保证完成收敛之前停止训练。尽管如此，这减少了实际训练中有效的数据量，当好的训练数据缺乏时这也是一大劣势。Almehaideb提出了一种网络修剪算法用以提高泛化能力。最常用的采用梯度下降法的后向传递训练算法在最小化误差时存在局部极小点的问题，这限制了优化模型的推广。另一个问题是神经网络模型的黑箱不透明性。相关解释能力的缺失在许多决策支持应用中是一个障碍，诸如医学诊断，通常用户需要知道模型给出的结论。附加分析要求通过规则提取从神经网络模型中获得解释设备。模型参数掩盖在大规模矩阵中，因此获得模型现象或者将其与现存经验或理论模型进行对比变得非常困难。因为模型各种输入的相对重要性信息还没有获得，这使得通过排除一些重要输入来简化模型的方法变得不可行。诸如主成份分析技术也需要额外的处理。
在本研究中，我们提出了支持向量机回归法来克服神经网络的缺点同时采用此方法来预测PVT参数。支持向量机建模法是一种基于统计学习理论和结构风险最小化原则的新型计算机智能算法。基于该原则，支持向量机通过在经验误差和Vapnik-Chevonenkis置信区间之间取得合适的平衡来得到最有效的网络结构，因此这种方法不可能产生局部极小。支持向量机回归建模法
支持向量机回归法是机器学习和数据挖掘领域最成功和有效的算法之一。在分类和回归中它作为鲁棒性工具得到了广泛的应用。在许多应用中，该方法具有很强的鲁棒性，例如在特征识别，文 4
本分类和人脸图像识别等领域。支持向量机回归算法通过最优化超平面的特征参数以确保其高度的泛化能力。其中超平面在高维特征空间中最大化训练样本间的距离。3.1 背景知识和综述
近年来，人们对支持向量机做了很多研究。从如下这些人的文章中可以获得已完成的支持向量机建模法的概述，他们是Vapnik,Burges,Scholkopt，Smola，Kobayashi以及Komaki。该方法是一种新的基于统计学习理论的机器学习法。它遵循结构风险最小化原则，通过最小化泛化误差的上界，而不是最小化训练误差。该归纳法基于泛化误差的界，而泛化误差通过加和训练误差和依赖VC维的置信区间得到。基于此原则，支持向量机通过平衡经验误差和VC维置信区间取得最优的网络结构。通过此平衡支持量机可以取得优于其他神经网络模型的泛化性能。
起初，支持向量机用于解决模式识别问题。尽管如此，随着Vapnik 不敏感损失函数的引入，支持向量机可以扩展用于解决非线性回归预测问题。例如刚刚为人所知的支持向量回归法，它表现出了良好的性能。该方法的性能取决于预定义的参数（也叫超参数）。因此，为建立一个良好的支持向量回归预测模型，我们要细心设置其参数。最近，支持向量回归法已经作为一种可供选择的强有力技术用于预测复杂非线性关系问题。因其许多特有性质和良好的泛化能力，支持向量回归法无论是在学术界还是工业应用领域都取得了极大的成功。3.2 支持向量回归机的结构
最近，通过引入可变的损失函数，支持向量回归机(SVR)作为一种新的强有力技术用于解决回归问题。这部分，我们简要介绍一下SVR.更多的细节参见Vapnik和EI-Sebakhy的论文。通常情况下，SVR的构造遵循结构风险最小化原则，它试图最小化泛化误差的上界而不是最小化训练样本的预测误差。该特征能在训练阶段最大程度的泛化输入输出关系学习以得到对于新数据良好的预测性能。支持向量回归机通过非线性映射将输入数据x映射到高维特征空间F.，并在如图1所示的特征空间中产生和解决一个线性回归问题。
图1 映射输入空间x到高维特征空间
回归估计通过给定的数据集G{(xi,yi):XiR}Rni1来预测一个函数，这里xi代表输入向量，yi代表输出值，n代表数据集的总大小。建模的目的是建立一个决策函数yf(x)，在给定一组新的输入输出样本xi,yi的情况下准确预测输出yi。该线性逼近函数由下面的公式表示：
f(x)(w(x)b),:RF;wFTP(1)这里w,b是系数，(x)代表高维特征空间，通过输入空间x的非线性映射得到。因此，高维特征空间中的线性关系被映射到了低维特征空间中的非线性关系。这里不用考虑高维特征空间中w和(x)的内积计算。相应的，包含非线性回归的原始优化问题被转换到特征空间F而非输入空间x中寻找最平缓模型的问题。图1中的未知参数w和b通过训练集G预测得到。
通过不敏感损失函数支持向量回归机在高维特征空间中模拟线性回归。同时，为了避免过拟合，2并提高泛化能力，采用最小化经验风险和复杂度w2之和的正则化函数。系数w和b通过最小化结构风险函数预测得到。
RSVR(C)Remp12w2Cnni1L(yi,yi)212w2(2)这里RSVR和Remp分别代表回归风险和经验风险。w2代表欧几里德范数，C代表度量经验风险的损失函数。在公式2给出的结构风险函数中，回归风险RSVR是在给定测试样本输入向量情况下由约束函数f得到的可能误差。
(|y,y|),if|yy|L(y,y)(3)
Otherwise0,n在公式2中，第一项C/nL*(yi,yi)代表经验误差，该误差通过公式3中不敏感损失函
i1数预测得到。引入损失函数可以使用少量的数据点来获得公式1中决策函数的足够样本。第二项2w2是正则化系数。当存在误差时，通过折中经验风险和正则化系数，正则化常量C用于计算惩罚值。增大C值等于提高了相应泛化性能的经验风险的重要性。当拟合误差大于时接受惩罚。损失函数用来稳定预测。换句话说，不敏感损失函数能减小噪声。因此，能被看作如图2所示训练数据近似精度的等效值。在经验分析中，C和是由用户选择的参数。
图2 一种线性支持向量回归机的软边缘损失集
为了估计w和b，我们引入正的松弛变量i和i，从图2可知，超常的正负误差大小由i和i分别代表。假设松弛变量在,外非零，支持向量回归机对数据拟合f(x)如下：(i)训练误差通过最小化i和i得到。(ii)最小化 w2/2提高f(x)的平滑性，或者惩罚过于复杂的拟合函数。因此，支持向量回归机由最小化如下函数构造而成： 最小化：RSVR(w,C)12nw2CL(ii)（4）
*i1yiw(xi)bii*目标值：0*w(x)byiiii
这里i和i分别代表度量上下边沿误差的松弛变量。以上公式表明在同一结构函数f(x)下增大将减小相应的i和i，从而减小来自相应数据点的误差。最后通过引入拉格朗日多项式和扩展最优性约束，公式1所给决策函数有如下的形式：
nf(x,i,i)*(i1ii)K(xxi)b*（5）
*i这里公式5中参数i和i被称为拉格朗日乘子，他们满足公式i*0，i0和*i0，在i1,2....,n。公式5中的K(xi,xj)称作核函数，而核函数的值等于特征空间(xi)和(xj)中 7
向量xi和xj的内积，其中K(xi,xj)=(xi)(xj)。核函数用来表征任意维特征空间而不用精确计算(x)。假如任给一个函数满足Mercer条件，他就可用作核函数。核函数的典型例子是多项式核(K(x,y)[xy1]d)和高斯核(K(x,y)exp[(xy)2/22])。这些公式中，d代表多项式核的次数，代表高斯核宽度。这些参数必须精确选择，因为他们确定了高维特征空间的结构并且控制最终函数的复杂性。24 数据获取和统计质量度量
4.1 要求数据
研究结果基于来自三个不同的已发表研究论文的三个数据库中获得。第一个数据库引自Al-Marhoun的文章。该数据库包括来自中东69口油井的160组数据，通过它提出了一种用于预测中东石油起跑点压力和油量层参数的公式。第二个数据库来自Al-Marhoun&Osman(2002)，Osman&Abel-Aal(2002)以及Osman&Al-Marhoun（2005）的文章。该数据库使用采集于沙特各地的283个数据点来预测沙特原油的起泡点压力以及该压力点附近的油层量参数。模型基于142组训练集的神经网络来建立前馈神经网络校正模型用以预测起泡点压力和油量层参数，其中71组数据集用于交叉验证训练过程中建立的关系，余下的71组数据集用于测试模型以评估精度。结果表明发展的Bob模型比现有的经验公式有更好的预测效果和更高的精度。第三个数据库来自Goda(2003)和Osman(2001)的著作，这里作者采用具有对数双弯曲传递函数的前向神经网络来预测起泡点压力附近的石油形成层参数。该数据库包括从803个实际数据点中删除了21个观察点之后的782个观察点。该数据集采集于马来群岛，中东，墨西哥湾和加利福尼亚。作者采用倒传递学习算法设计了一种单隐层的前向神经网络，其中使用4个输入神经元来隐藏输入的油气比重，煤气比重，相对煤气浓度以及油储温度，五个神经元的单隐层以及输出层构造参数的单一神经元。
使用以上三个不同的数据库来评估支持向量回归机，前向神经网络和三个经验公式建模法的性能。采用分层标准划分整个数据库。因此，我们使用70%的数据建立支持向量回归机模型，30%的数据用于测试和验证。我们重复内部和外部验证过程各1000次。因此数据被分为2到3组用于训练和交叉验证。
本研究中，382组数据集，267组用于建立校正模型，余下的115组用于交叉验证训练和测试过程中建立的关系，并以此来评价模型的精度和稳定性。对于测试数据，支持向量回归机建模法，神经网络法以及最著名的经验公式法的预测性能使用以上的数据集进行度量。起泡点压力和石油形成层参数的预测性能分别如表1-6所示。
表1 测试结果(Osman(2001)和EI-Sebakhy(2007)数据)：预测Bo的统计质量量度
表2 测试结果(Osman(2001)和EI-Sebakhy(2007)数据)：预测Pb的统计质量量度
表3测试结果(Al-Marhoun&Osman(2002)和Abdel-Aal(2002)数据)：预测Bo的统计质量量度
表4测试结果(Al-Marhoun&Osman(2002)和Abdel-Aal(2002)数据)：预测Pb的统计质量量度
表5测试结果(Osman(2001)和Goda(2003)数据)：预测Bo的统计质量量度
表6测试结果(Osman(2001)和Goda(2003)数据)：预测Pb的统计质量量度
在应用中，用户应该知道输入数据的范围以确保其在正常的范围内。这步叫做质量控制，它是最终取得准确和可信结果的重要一环。以下是一些主要变量的输入/输出范围。包括油气比，煤气比重，相对煤气密度，油储温度。在输入和输出层使用起泡点压力和石油形成层参数进行PVT分析。
油气比在26和1602之间，scf/stb 油量层参数在1.032和1.997之间变化 起泡点压力起于130止于3573 psia 油井温度从74F到240F API比重在19.4和44.6之间变化。 煤气相对浓度改变从0.744到1.367 4.2 评价和质量度量
在学习完成后，我们进行了拟合模型能力和质量的评价和估计。为此，我们计算了大量的质量量度。诸如实际和预测输出之间的相关系数(r)，根方误差(Erms),平均相对百分误差(Er),平均绝对百分误差(Ea),最小绝对百分误差(Emin)，最大绝对百分误差(Ermax)，标准差(SD)和执行时间。最好的模型有最高的相关性和最小的根方误差。
支持向量机建模法的性能与神经网络和最常用的经验公式进行了比较。其中使用三种不同的数据库。执行过程采用交叉验证（内部和外部交叉）并重复了1000次。我们得到了支持向量回归机建模法的良好结果，为了简便起见，这里只记录了一些必须的点。这些点能给读者关于支持向量机建模法精度和稳定性方面一个完整的图形。4.3统计质量度量
为了比较新模型与其他经验公式在精度和性能方面的差异，我们采用统计误差分析法。选用的误差参数如下：平均相对百分误差(Er),平均绝对百分误差(Ea),最小绝对百分误差(Emin)，最大绝对百分误差(Ermax)，均方根误差(Erms),标准差(SD)，相关系数(R2)。为了说明支持向量机回归法的有效性，我们采用了基于三个不同数据库的校正模型。(i)160个观察点的数据库.(ii)283个观察点的数据库用于预测Pb和Bob(iii)Goda(2003)和Osman(2001)发表的包含782个观察点的全世界范围内的数据库。
结果表明支持向量机回归法具有稳定性和有效性。另外，它的性能在均方根误差，绝对平均百分误差，标准差和相关系数方面也超过了最流行的经验公式中的一种以及标准前向神经网络法。实验研究
我们在所有数据集上进行了质量控制检测并且删除了多余的和不用的观察点。为了评估每一种建模方法的性能，我们采用分层标准划分了整个数据库。因此，我们使用70%的数据建立支持向量回归机模型，30%的数据用于测试和验证。我们重复内部和外部验证过程各1000次。因此数据被分为2到3组用于训练和交叉验证。而在782组数据点中，382组用来训练神经网络模型，剩下的200组用来交叉验证训练过程中建立的关系，最后200组用于测试模型以评估其准确性和趋势稳定性。对于测试数据，我们用支持向量机回归建模法，前向神经网络系统和最著名的经验公式分别预测起泡点压力和石油形成层参数，并研究了他们不同质量度量的统计总和。
通常情况下，在训练了支持向量机回归建模系统后，我们使用交叉验证来测试和评价校正模型。
同时我们将支持向量机回归模型的性能和精度同标准神经网络和三种常用的经验公式进行了对比研究。这三种常用的公式分别是：Standing,Al-Mahroun和Glaso经验公式。5.1 参数初始化
本研究中，我们采用与Al-Marhoun&Osman(2002),Osman(2001)以及Osman&Abdel-Aal(2002)同样的步骤。其中采用单或双隐层的前向神经网络，该网络基于具有线性和S型激发函数的倒传递学习算法。初始权重随机获得，学习能力基于1000元或0.001目标误差和0.01学习率获得。每个隐层包括的神经元都与其相邻层的神经元连接。这些连接都有相关的权值，并可以在训练过程中调整。当网络可以预测给定的输出时训练完成。对于这两个模型，第一层包括四个神经元，分别代表油储温度，油气比，煤气比重和API石油比重的输入值。第二层包含用于Pb模型的七个神经元和用于Bob模型的8个神经元。第三层包括一个神经元，其代表Pb或Bob的输出值。我们使用的用于Pb和Bob模型的简略图正如Al-Marhoun&Osman(2002),Osman&Abdel-Aal(2002)论文中所述。它基于1000次的重复计算使得我们可以检测网络的泛化能力，阻止对训练数据的过拟合并且对所有运行取平均。
执行过程开始于对现有数据集的支持向量机建模，每次一个观察点，到时学习过程从现有输入数据集中获得。我们注意到交叉验证可让我们监视支持向量回归机建模的性能，同时阻止核网络过拟合训练数据。在执行过程中，我们采用三种不同的核函数，分别名为多项式，S型核以及高斯核。在支持向量回归机的设计中，首先初始化那些控制模型整体性能的参数，诸如kenel=’poly’,kernel opt=5;epsilon=0.01;lambda=0.0000001;verbose=0;以及常量C为简便起见取为1或10。交叉验证方法基于均方根误差作为训练算法中的检查机制来阻止过拟合和复杂性。Bob和Pb模型的结果权重如下表格和图表中所示。同时，如下所示，每一个输入参数的相对重要性在训练过程中确定，并由Bob和Pb模型给出。
5.2 讨论和对比研究
我们可以研究除已选择的检验公式之外其他常用的经验公式，更多关于这些公式数学表达式的细节可以参考EI-Sebakhv和Osman(2007)的文章。测试中的比对结果，在表1-6中分别进行了外部交叉验证总结。从结果中我们注意到支持向量机建模法优于采用倒传递算法的神经网络以及最流行的经验公式。提出的模型以其稳定的性能在预测Pb和Bob值时表现出了很高的精度，在采用三个不同数据集的情况下该模型在其他公式中得到了最低的绝对相对百分误差，最低的最小误差，最低的最大误差，最低的均方根误差以及最高的相关系数。
我们对所有计算机智能预测算法和最著名的经验公式预测所得的绝对相对百分误差EA和相关系数绘制了离散点图。每个建模方法由一种符号表示。好的预测方法应该出现在图形的左上部分。图3所示为所用建模方法EA以及R或r的离散点，这些方法使用Osman(2001)的数据库预测Bob。11
图3基于Osman数据库的所有建模法和经验公式法预测Bob的平均绝对相对误差和相关系数 我们注意到支持向量回归机建模法落在图形的左上部分，EA=1.368%和r=0.9884，而神经网络次之，EA=1.7886%和r=0.9878，其余的经验公式则有更高的误差且更低的相关系数。例如，AL-Marhoun(1992)的EA=2.2053%，r=0.9806，Standing(1947)有EA=2.7238%和r=0.9742以及Glaso公式的EA=3.3743%，r=0.9715。图4所示为同样的图形，只不过采用同样的数据集和建模方法来预测bP。我们注意到支持向量回归机建模法落在图形的左上部分，EA=1.368%和R=0.9884，而神经网络次之，EA=1.7886%和r=0.9878，其余的经验公式则有更高的误差且更低2的相关系数。例如，AL-Marhoun(1992)的EA=2.2053%，r=0.9806，Standing(1947)有EA=2.7238%和r=0.9742以及Glaso公式的EA=3.3743%，r=0.9715。
图4基于Osman数据库的所有建模法和经验公式法预测Pb的平均绝对相对误差和相关系数 我们也对其他数据集重复了同样的执行过程，但为了简便起见，本文并没有包括这些内容。这些数据集是Al-Marhoun(1988,1992)和Al-Marhoun&Osman(2002)以及Osman&Abdel-Aal(2002)。
图5-10所示为使用三个不同的数据集的试验数据对bpp和Bob所得预测结果的六张离散图形。这些交叉点说明了基于支持向量回归机的高性能试验值和预测值之间的吻合程度。读者可以对已发表的神经网络建模法和最著名的经验公式进行比较。最后，我们的结论是支持向量回归集建模法相比其他著名的建模法和经验公式有更好的性能和更高的稳定性。
在预测bpp和Bob时支持向量机优于标准前向神经网络和最常用的经验公式，其中使用4个输入数据：油气比，油储温度，煤气比重和煤气相对密度。
图5 基于Osman数据库的支持向量回归机预测Pb和Bob的平均交会图
图6 基于Osman数据库的支持向量回归机预测bP或bPP的平均交会图
图 7 基于Al-Marhoun,Osman和Osman&Abdel-Abal数据集支持向量回归机预测Bo的交会图
图 8 基于Al-Marhoun,Osman和Osman&Abdel-Abal数据集支持向量回归机预测bP的交会图
图 9 基于已有数据集(Al-Marhoun)支持向量回归机预测Bo的交会图
图 10基于已有数据集(Al-Marhoun)支持向量回归机预测bP的交会图
6结论和建议
在本研究中，我们使用三种不同的数据集来考察支持向量回归机作为一种新型模式在预测原油系统PVT参数过程中的能力。基于得到的结果和比对研究，我们得出如下结论：
我们使用支持向量回归机及4个输入变量来预测起泡点压力和石油形成层参数。这4个变量分别是：油气比，油储温度，石油比重和煤气相对密度。在石油工程领域，这两个参数被认为是原油系统PVT参数中最重要的。
成熟的支持向量回归机建模法优于标准前向神经网络和最常用的经验公式。因此，该方法相比其他方法有着更好，更有效和更可靠的性能。另外，该方法在预测Bob值时以其稳定的性能表现出了很高的准确性，同时得到最低的绝对相对百分误差，最低的最小误差，最低的最大误差，最低的根均方误差和最大的相关系数。因此，支持向量回归机建模法在油气工业中应用灵活，可靠并有着很好的发展前景。特别是在渗透率，孔隙率，历史匹配，预测岩石机械参数，流型，液体停止多相流和岩相分类中。
参数命名
Bob 起泡点压力附近的OFVF, RB/STB Rs 油气比，SCF/STB T 油储温度，华氏温度
r0 石油相对密度（水为1.0）
rg 煤气相对密度（空气为1.0）
Er平均相对百分误差 Ei 相对百分误差
Ea平均绝对百分相对误差 Emax 最大绝对百分相对误差 Emin 最小绝对百分相对误差
支持向量机网络 篇6
关键词：支持向量机；行人检测跟踪；TLD
中图分类号：TP391.4 文献标识码：A
文章编号：1674-2974（2016）10-0102-08
Abstract：A new method based on optimized TLD （Track-Learning-Detection） and SVM （Support Vector Machine） for tracking pedestrian was proposed. First， with pedestrians as positive samples and the background as negative samples respectively， HOG （Histogram of Oriented Gradient） descriptor of pedestrian was extracted and combined with linear SVM to train the pedestrian classifier，which was used to obtain the calibrated pedestrian area accurately. Then， adaptive tracking and online learning on the pedestrians on the basis of TLD were integrated to estimate the reliability of the positive and negative samples， to rectify error existing in the current frame caused by detection and to update the tracking data simultaneously to avoid subsequent similar mistakes. The experiment results demonstrate that， compared with the conventional tracking algorithm， the proposed algorithm can not only significantly adapt to occlusions and appearance changes but also automatically identify and track pedestrian targets at arbitrary position， manifesting stronger robustness.
Key words：support vector machine； pedestrian detection and tracking； TLD
在计算机视觉应用中，长期稳定实时检测跟踪运动物体已经成为一个重要的研究课题，随着技术的不断成熟，该领域的应用也相当广泛，比如：工业生产、实时监督、自动目标定位、自动导航、人机交互、增强现实技术、SLAM、游戏开发等.研究人员根据实际应用的需要提出不同的跟踪方案，其中D.Comaniciu等[1]利用改进的mean-shift来跟踪运动物体，该方法可通过迭代步骤找到离跟踪目标最近的位置，但其不能解决目标被遮挡或发生形变等问题，在前后背景颜色相似的环境中，容易发生目标跟丢的情况.Martinez等[2]用背景差分法提取目标，根据轨迹建立数学模型实现行人跟踪，该方法可取得较好的检测效果，但由于计算时间长，跟踪的实时性不能得到保证.季玉龙等[3]提出的对运动目标建模的方法需要大量的先验知识，对视频帧中出现的相似目标干扰没有很好的鲁棒性，不能保证长期的跟踪性和适应性.
TLD算法[4-7]将检测过程和跟踪过程融合起来并引入学习机制，当目标发生形变或被遮挡时，可以实时更新目标模型，实现在线学习和评估，在一定程度上可以克服目标外观变化及运动模糊，具有较强的稳定性.但是TLD算法中的跟踪目标并不能自动识别，当目标移动过快时，跟踪准确度也有所下降，因此泛化性仍有待提高.本文在其基础上提出了一种基于支持向量机分类优化的行人跟踪学习检测方法，该方法利用SVM分类器检测到待跟踪目标，保留TLD算法在复杂背景下对目标区域实时学习与跟踪的基础上在检测模块中加入图像特征点配准[8]以实现更高的跟踪精度.
1 方法概述
本文利用视频初始帧中行人方向梯度直方图和支持向量机检测出行人在视频帧中的特征及位置，将目标行人提取出来，记录行人位置左上角坐标与行人的宽和高.确认目标后将视频帧输入到检测模块与跟踪模块并产生相应的实时正负样本，学习模块根据捕捉到的正负样本不断将信息反馈给检测模块与跟踪模块，利用图像特征点配准进一步剔除图像元中的误配点，达到良好的检测跟踪效果.算法具体框架如图1所示.
2 基于HOG与线性SVM的行人检测方法
2.1 行人特征提取
行人特征可以用灰度、边缘、SIFT特征、Haar特征等来描述.由于HOG[9]属于对局部目标进行检测，对阴影、光照条件的变化、小角度旋转以及微小行人动作有较好的鲁棒性.因此本文采用HOG来提取行人特征.目标的HOG提取过程[10]如下：
1）对图像进行gamma校正以实现标准化，降低噪声干扰及光照影响，如图2所示.
2）对各像素点求梯度大小及方向，捕捉目标区域的轮廓.
3）构建细胞单元梯度方向直方图.
本文中行人检测样本取自Navneet Dalal， Bill Triggs建立的INRIA数据库，库中图片像素为64×128.以8×8像素作为一个cell单元，对单元内每个像素梯度进行统计并投影到9个bin中.将2×2个cell作为一个block，扫描步长为单个cell，依次对图像进行遍历，则共有105块block，每个block中有2×2×9=36个特征描述子，最终整个图片包括36×105=3 780个HOG特征描述子.
4）根据式（5）对HOG特征描述子进行L2 范数归一化后用作后续分类识别的特征向量：
2.2 使用支持向量机（SVM）检测行人具体位置
在机器学习中，SVM[11-12]被广泛应用于训练感知器与统计分析及分类中.该算法可将低维向量投影到高维空间中，并在此空间中形成一个最大分离超平面，使其距离平面两端的数据间隔最大，如图3所示.最大分离超平面如式（6）表示：
为训练分类器，本文选择包含不同姿势及形态的行人图像作为正样本，不包含行人的任意背景图片作为负样本.本文选择3 000张正样本（如图4（a）所示），2 000张负样本（如图4（b）所示）并将其标准化为64×128像素作为训练样本.
用初次训练好的分类器检测不包含人体的图像，有时会得到错误的目标区域[13-14]，将这些错误区域（Hard Example）归到负样本中，再次进行训练，迭代多次，可明显改善分类器效果.最终训练好的分类器可将行人区域很好地划分出来，效果图如图5（a），（b）所示.
3 利用改进的TLD对行人进行跟踪
在初始帧利用SVM分类器得到待跟踪行人位置后，将位置信息传递给TLD中的bounding box以对该算法进行目标区域的初始化.TLD（Tracking-Learning-Detection）是一种对特定目标进行自适应检测与在线学习并实现实时跟踪的算法[15]，该算法将目标跟踪任务分成3部分：跟踪模块、学习模块和检测模块.3部分协同组合，并以并行方式运行发挥各自优势[16]，具有较高的可靠性和鲁棒性.
3）PN学习过程中[18]，先给定一个视频和扫描框，同时用分类器标定出视频区域中的目标和背景，用跟踪器来提供正的训练样本，检测器提供负的训练样本.跟踪器跟踪目标后，靠近目标窗口的扫描窗口通过P约束来更新检测器，若扫描窗口中不存在目标物体，则N约束更新检测器.P约束利用时间连续性，根据前一帧目标出现的位置预测目标轨迹，估计目标在当前帧的位置，若检测器将此位置定义为负样本，则P约束生成正样本；N约束分析出当前帧目标可能出现的最优位置，与此位置重叠度低的区域标记为负样本，继续更新跟踪器.PN约束通过在线处理视频帧逐步提高检测器正确率，相互补偿来确保学习模块的稳定性与可靠性，利用误检来提高学习性能.
4 实验结果与分析
本实验编程平台：VS2010与opencv2.4.3开发库；MATLAB R2013a.
微机环境配置：CPU Intel（R）Core（TM）i3-4150 3.50 GHz，内存为4 G.
4.1 实验测试集说明
为了更好地验证本算法检测跟踪目标的鲁棒性和准确性，将实验结果与文献[19]中高斯混合模型改进的meanshift跟踪算法[19]，文献[20]中kalman滤波和模板匹配跟踪算法[20]及基本TLD算法分别在4种不同的数据集中进行验证比较，并分析各算法的准确性、实时性及鲁棒性.其中shooting和football序列来自网上公开测试集VTD_data_images，pedestrian1及 pedestrian2数据集为实时采集.测试集序列内容如表1所示.
4.2 性能分析
4.2.1 算法准确性比较
将本文算法、改进的meanshift算法、kalman滤波和模板匹配算法、基本TLD算法在不同的测试集中进行实验，对比跟踪效果.用式（16）来表示跟踪成功率：
score=area（RT∩RG）area（RTRG）.（16）
式中：RT表示跟踪算法跟踪到的目标区域，RG表示目标实际所在区域.若score>0.5，则认为该算法正确跟踪此帧.测试集实验结果如表2所示.由表2可知，在未遮挡情况下，各算法均可以获得较准确的跟踪结果，但在有遮挡时，本文算法正确率均高于其他各算法.
本文算法、文献[19]改进的mean-shift算法、文献[20]kalman滤波和模板匹配算法及基本TLD算法在pedestrian1测试集中跟踪部分结果（分别选取测试集第30帧、第53帧、第174帧、第350帧）如图8所示.从图8可知，当目标未被遮挡时，3种算法都可以准确跟踪行人，目标被遮挡后，基本TLD算法、文献[19]与文献[20]中的跟踪算法均出现目标跟丢甚至误检现象，而本文算法可始终追踪到行人，对目标定位跟踪表现出良好的抗干扰性和准确性.
4.2.2 算法实时性比较
本文采用平均帧率（average frame per second）作为算法实时性分析的评价指标.各算法在测试集中的平均帧率如表3所示.由表3可知，基本TLD算法与本文算法在测试集的处理上速度高于其他两种算法，而由跟踪准确性分析可知，本文算法比基本TLD算法获得了更准确的跟踪结果，表现出较强的跟踪性能.
4.2.3 算法鲁棒性分析
在pedestrian2序列中（如图9所示），行人检测分类器确定目标位置后，当目标姿势变化较大时，学习模块通过在线学习不断更新跟踪模块和检测模块样本，确定新的正样本.本算法在目标侧身，转身，消失然后重现时均可以准确跟踪行人，当相似目标出现时则不返回跟踪框，表现出良好的抗干扰性.
5 结 论
检测跟踪一直是计算机视觉研究的热点和难点，而TLD算法通过在线学习与检测，根据产生地正负样本不断更新跟踪结果，具有较好的实时性与准确性.本文在其基础上引入SVM行人检测分类器，确定并读取目标区域位置信息，实现行人的自动识别，同时联合图像配准技术，将误配点排除，跟踪精度得到进一步提高.最后进行实验验证，通过与当前两种主流跟踪算法及基本TLD算法在不同测试集上进行试验比较，可知本算法在长时间跟踪过程中能够不断适应目标形变带来的干扰，表现出更好的跟踪效果与鲁棒性能.
参考文献
[1] CQMANICIU D， RAMESH V ， MEER P. Real-time tracking of nonrigid objects using mean shift[C]//Proceedings in Computer Vision and Pattern Recognition， Hilton Head Island， SC： IEEE Conference，2000：2，142-149.
[2] ANTONINI G，MARTINEZ S V，BIERLAIRE M，et al.Behavioral priors for detection and tracking of pedestrians in video sequences[J]. International Journal on Computer Vision，2006，69（ 2） ： 159-180.
[3] 季玉龙，董天罡，梁海军，等.基于粒子滤波的多区域辨识性建模跟踪算法[J].四川大学学报：工程科学版，2013，45（1）：79-83.
JI Yu-long，DONG Tian-gang，LIANG Hai-jun，et al. Robust particle tracking via multi- region based discriminative modeling[J]. Journal of Sichuan University：Engineering Science Edition， 2013，45（1）：79-83. （In Chinese）
[4] KALAL Z，MATAS J，MIKOLAJCZYK K. Online learning of robust object detectors during unstable tracking[C]∥Proceedings of 12th International Conference on Computer vision workshops. New York： IEEE Xplore，2009： 1417-1424.
[5] KALAL Z，MATAS J，MIKOLAJCZYK K. Pn learning： bootstrapping binary classifiers by structural constraints[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010： 49-56.
[6] ALALZ K，MIKOLAJCZYK K，MATAS J. Forward-backward error： automatic detection of tracking failures[C]∥Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010： 23-26.
[7] KALAL Z，MIKOLAJCZYK K，M ATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（ 7） ： 1409-1422.
[8] 魏国剑，侯志强，李 武，等. 融合光流检测与模板匹配的目标跟踪算法[J]. 计算机应用研究，2014，31 （ 11） ： 3498-3501.
WEI Guo-jian， HOU Zhi-qiang， LI Wu，et al. Object tracking algorithm fused with optical flow detection and template matching[J]. Application Research of Computers， 2014，31 （ 11） ： 3498-3501. （In Chinese）
[9]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，International Conference.Beijing：2005：886-893.
[10]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of Computer Vision and Pattern Recognition，IEEE Computer Society Conference on. San：CA ：IEEE， 2005，1： 886-893.
[11]曹文明，王耀南，文益民. 输电线路除冰机器人基于小波矩及SVM 的障碍物识别研究[J]. 湖南大学学报： 自然科学版，2012，39（9） 33-38.
CAO Wen-ming，WANG Yao-nan，WEN Yi-ming. Research on obstacle recognition based on wavelet moments and SVM for deicing robot on high voltage transmission line[J]. Journal of Hunan University： Natural Sciences，2012，39（9） 33-38.（In Chinese）
[12]于海滨，刘济林.应用于公交客流统计的机器视觉方法[J]. 中国图像图形学报，2008，13（4）：716-722.
YU Hai-bin，LIU Ji-lin. A vision-based method to estimate passenger flow in bus[J]. Journal of Image and Graphics，2008，13（4）：716-722.（In Chinese）
[13]HUANG Dong-ze ，CAI Zhi-hao，XIANG HE Xiang，et al.A SVM embedded particle filter for multi-object detection and tracking [C]//Proceedings of 2014 IEEE Chinese Guidance，Navigation and Control Conference.Yantai：IEEE Press，2014：2094-2099.
[14]方卫宁.基于 RBF 神经网络的复杂场景人群目标的识别[J]. 北京交通大学学报，2009，33（ 4） ： 29-33.
FANG Wei-ning. Recognizing the passenger number in ccomplex scenes by RBF neural network[J]. Journal of Beijing Jiao tong University，2009，33（ 4） ： 29-33.（In Chinese）
[15]ANDRILUKA M，ROTH S，SCHIELE B. People-tracking-by-detection and people-detection-by-tracking [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2008： 1-8.
[16]COLLINS R T，LIUY，LEORDEANU M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（ 10） ： 1631-1643.
[17]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamic images based on adaptive background subtraction[C]/ / Proceedings of International Conference on Image processing. Institute of Electrical and Electronics Engineers Computer Society，Barcelona， Spain：2003， 953-956.
[18]FENARI V， TUYTELAARS T， VAN G L. Real-time affine region tracking and coplanar grouping[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， HI： Institute of Electrical and Electronics Engineers Computer Society， 2001：226-233.
[19]QUAST K， KAUP A. Shape adaptive mean shift object tracking using Gaussian mixture models[M].Lecture Notes in Electrical Engineering. Heidelberg： Springer， 2013， 158： 107-122.
[20]陈金令，苗东，康博，等. 基于Kalman滤波和模板匹配的目标跟踪技术研究[J].光学与光电技术， 2014，12（ 6） ： 9-12.
支持向量机网络 篇7
1990年代，Vapnik首先提出了支持向量机(Support Vector Machine,SVM)理论。SVM是一种基于结构风险最小化原理的机器学习技术，具有较好的泛化性能和精度，一开始出现就应用于分类问题中。
SVM可以归结为一个二次型方程求解问题，即对线性不可分的两类问题，其最优的分类形式为：构建一个分类超平面，使两类无错误地分开，并使两类的分类间隙最大。令分类判别函数为：f(x)=sign(w·x+b)(1)
为了使间距最大(超平面和最近点间的距离)需要解决下面的最优化问题。最小化：
约束条件为:yi[(w·xi)+b]≥1-ξi,ξi≥0,i=1,2,…l(3)
这个问题等价于:在约束条件式(5)下最大化式(4)的二次方程:
约束条件为:
最优分类判别函数为:
SVM通过核函数k(xi,x)可以将输入空间中线性不可分的特征向量非线性映射到输出特征空间中，变得线性可分。常用的核函数有：
(1)线性核函数：对于线性可分问题在输入空间中不需要将空间映射到高维空间时，采用的函数K(x,y)=x Ty。
(2)多项式核函数：设d为正整数，则对于d阶齐次多项式函数K(x,y)=(x·y)d和d阶非齐次多项式函数K(x,y)=(x·y+1)d都是核函数。核函数中的d的选择可以控制系统的VC维的维数。
(3)径向基核函数：以参数Gauss径向基函数K(x,y)=exp(-‖x-y‖2/σ2)是核函数。
径向基核函数是普遍采用的核函数，对应的空间是无穷维的，有限样本数据在该空间也是线性可分的。
(4)Sigmoid函数：核函数采用的是双曲正切函数，函数为：K(x,y)=tanh[v(x-y)+a]，但是当且仅当v和a取适当值时才能满足核函数的条件。本文选择的核函数为径向基内积函数：
SVM通过惩罚因子C来控制对错分样本惩罚的程度，在超平面与最近的训练点之间的距离最大与分类误差最小之间寻求最佳折衷。
2 神经网络（ANN)
BP神经网络是一种输入信号前向传播、误差信号反响传播的多层前馈型网络。BP网络广泛用于函数拟合、信号处理和模式识等领域。
BP算法是以梯度法寻求误差函数极小化的迭代算法。训练的依据是提前给定的某一过程的若干组数据构成的试验样本(x,d)，训练的结果是一组符合该过程运行的网络权值W和阀值θ。有了组权值和阀值，就可以方便地模仿和仿真该过程，得到任意给定的数据所对应的预测值。
(1)神经网络具有自组织和自学习能力，能够直接输入数据并进行学习。神经网络对所要处理的对象在样本空间的分布状态无须作任何假设，而是直接从数据中学习样本之间的关系，因而它们还可以解决那些因为不知道样本分布而无法解决的识别问题。
(2)神经网络具有推广能力。它可以根据样本间的相似性，对那些与原始训练样本相似的数据进行正确处理。
(3)网络是非线性的，即它可以找到系统输入变量之间复杂的相互作用。在一个线性系统中，改变输入往往产生一个成比例的输出。但在一个非线性系统中，这种影响关系是一个高阶函数。这一特点很适合于实时系统，因为实时系统通常是非线性的。神经网络则为这种复杂系统提供了一种实用的解决办法。
(4)神经网络是高度并行的，即其大量的相似或独立的运算都可以同时进行。这种并行能力，使它在处理问题时比传统的微处理器及数字信号处理器快成百上千倍，这就为提高系统的处理速度和实时处理提供了必要的条件。
3 两种方法的比较
本节采用神经网络与支持向量机做一个对比，两者在形式上相似，但是实际应用中有很大的不同，神经网络相当于一个黑匣子，需要大量的样本，而支持向量机只需要很少的样本即可。
使用神经网络对故障进行诊断时，网络的输入对应着故障的征兆，即特征参数，输出神经元对应着故障类型。在诊断过程中，利用故障样本对网络进行训练，来确定网络的连接权值和阈值，训练完成后，故障的模式分类就是根据给定的一组征兆，实现征兆集合到故障集合之间的非线性映射的过程。给出一个待检测样本后，得出其处于某种故障状态的结论。
表1表示的故障样本数据，每种故障的前5个为训练样本，后5个为测试样本，其中特征选择为X1、X2、X3、X4分别代表一倍频、二倍频、三倍频和四倍频。分别用支持向量机与神经网络故障样本数据进行分类。对于神经网络的期望输出，故障1为1,0，故障2为0,1;对于支持向量机的属性特征故障1为+1，故障2为-1。
神经网络隐含层的传递函数采用对数型传递函数logsig，输出层神经元传递函数采用的是线性激活函数purelin，隐层节点数为10，最大训练次数为1000次，最小均方误差为1×10-8。训练之前需将数据进行归一化处理，归一化处理方法后面第五章有详细叙述，神经网络与支持向量机的分类结果见表2，表中的特征向量指的是所选择的特征X1、X2、X3、X4，数据是经归一化之后的结果，1代表的是正确的分类，0代表错误的分类。
4 结论
从表中可以看出训练完成后，神经网络的结果是正确率是70%，而支持向量机的结果显示是90%，结果显示支持向量机的正确率要明显高于神经网络，在相同的信息下支持向量机的理论得以充分展示。另外，神经网络进行分类时具有不稳定性的存在，即多次的分类结果存在差异性，不稳定的原因是神经网络在每次训练时选择的阈值不同，而造成结果的不稳定主要是存在于小样本的情况下。
而且神经网络在训练时需要大量的训练数据，运行速度也比较慢，更无法获得特征空间中的决策面;模糊识别能解决某些难用定量理论来解决的问题，但是并不是针对所有的问题;而支持向量机即使是小样本的数据也能达到很高的正确率。
参考文献
[1]张海军.机械状态检测与故障诊断[M].北京:国防工业出版社,2008.
[2]温熙森.模式识别与技术监控[M].北京:科学出版社,2007.
[3]翟永杰.基于支持向量机的故障智能诊断方法研究[D].保定:华北电力大学,2004.
[4]方瑞明.支持向量机理论及其应用分析[M].北京:中国电力出版社,2007.
[5]白鹏,张喜斌,等.支持向量机理论及工程应用实例[M].西安:西安电子科技大学出版社,2008.
[6]邓乃扬,田英杰.支持向量机-理论、算法与拓展[M].北京:科学出版社,2009.
[7]邓乃扬,田英杰.数据挖掘中的新方法-支持向量机[M].北京:科学出版社,2004.
[8]徐丽.神经网络控制[M].北京:电子工业出版社,2003.
支持向量机网络 篇8
异步电动机是实现将电能转化为机械能的重要电气设备。它在工业、农业、国防和科学技术现代化中占有非常重要的地位。由于异步电动机的安全、可靠、稳定的运行, 对国民经济, 甚至对其他设备和人们的生命财产安全都产生着重大影响。因此, 若在电动机故障初期就能识别出微弱的故障征兆, 有利于及时采取措施而防止故障发展, 并且及时维修, 使其尽快恢复正常运行。
因此, 对异步电动机的故障进行检测, 从而及时预防, 消除故障, 减少事故范围的扩大, 都具有非常重大的意义。
在此, 提出一种基于人工神经网络和支持向量机的异步电动机故障检测方法。神经网络具有对故障模式的联想记忆、模式匹配和相似归纳能力, 从而实现故障与征兆之间复杂的非线性映射关系[1]。支持向量机是基于统计学习理论的VC维理论和结构风险最小化原理基础之上的, 最终目的是根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中, 以期获得最好的泛化能力;它能很好的解决有限数量样本的高维模型的构造问题, 而且所构造的模型具有很好的预测性能。本文研究BP神经网络和支持向量机在异步电机故障检测中的应用。
1.故障检测原理
系统故障检测包括三个阶段:产生残差;故障检测;故障分类。整个过程如图l所示。
y为实际输出, 为模型输出预报, 本文利用神经网络建立电机故障检测模型, 并利用该模型获得输出预报。
假设y和都不受噪声影响, 则
公式 (1-1) 和 (1-2) 中, 为真实输出;为模型输出预报理想值。
定义系统预报输出残差 (以下简称残差) 如下:
其检测的原理是:当电机处于正常工作状态时, 模型可以很好地模拟实际工作状况, 模型的输出预报可以很好地跟踪实际的输出, 即, 则残差序列应该是零均值的序列。当故障事件发生后, 电机工作能力降低, 模型不能很好地模拟实际工作状况, 模型的输出预报不能很好地跟踪实际的输出, 即, 残差序列发生突变并且不符合零均值分布。因此, 对应着不同的残差序列的特点, 利用残差可以检测是否有故障发生。
在本文中, 利用BP神经网络建立电机故障检测的残差获取模型, 利用支持向量机 (SVM) 对相应故障类型进行分类。
2. 故障检测之BP残差系统
目前应用于故障检测中的神经网络大多是使用静态前馈神经网络 (如BP神经网络) 。这种网络的优点是网络结构简单, 训练方法成熟, 检测性能比较好。本文利用BP神经网络建立残差系统。
因此, 本文确定网络为6-S1-5的结构 (如图2所示) :在隐含层采用S型激活函数, 输出层采用线性激活函数, 隐含层中神经元的个数S 1待定。利用MATLAB的Rands函数选取初始权值在 (-1, 1) 区间。根据试验, 取S 1=1 1。
为了说明问题, 本文选取电机转子常见的不平衡、不对中、油膜涡动与转子径向碰摩、喘振等5种情况为研究对象[2]。
输入层的6个节点分别表示低残压, 高残压, 高峰值压力, 低峰值压力, 高反射压力, 低反射压力。输出层有5个节点, 有4种状态:{1, 0, 0, 0, 0}、{0, 1, 0, 0, 0}、{0, 0, 1, 0, 0}、{0, 0, 0, 1, 0}和{0, 0, 0, 0, 1}, 分别对应不平衡、不对中、油膜涡动与转子径向碰摩、喘振5种故障状况。
另外, 在Matlab中建立神经网络模型, 由于神经网络输入较大时, 可能会进入S型函数的饱和区, 使得网络不能够收敛, 为了避免这种情况, 在此将神经网络的输入利用Prested函数进行归一化处理, 使其在 (-1, 1) 之间, 并且利用Prepca函数对输入向量进行降维处理。
利用上述建立的BP残差系统, 获得相应曲线, 如图3所示。
3. 故障检测之SVM分类系统
支持向量机首先通过非线性变换将输入空间变换到一个高维空间, 然后在这个新空间中求取最优或是广义最优线性分类面, 而这种非线性变换是通过定义适当的内积函数实现的。由于内积函数的存在, 即使特征维数增加很多的情况下, 解优化的过程并没有增加多少复杂度, 因此成功地解决了特征维数灾难问题。
在本文中, 采用Stephane Canu提供的Kernel Matlab Toolbox来对电机转子故障进行分类。其中, 算法选择SMO算法, 核函数选择应用最为广泛的RBF函数, 核参数γ=1和惩罚因子C=10。
为了更好地体现SVM在模式分类与识别上的优越性, 同时选取Bayes分类器和BP分类器对交通事件进行分类, 其分类准确率比较如表1所示。其中, BPNN采用6个输入节点, 11个隐层节点和4个输出节点。算法采用sigmoid函数, 终止误差为0.001。
基于SVM的电机故障检测分类如图4所示。
由表1的结果可以看出, 使用支持向量机分类器, 提高了分类可靠度。此外, SVM方法的分类性能明显优于Bayes和BP神经网络。这是因为神经网络是基于经验风险最小原则下的设计, 有限样本情况下, 尽管经验风险较小, 但置信范围不一定小, 所以推广性有限。相反, 支持向量机, 针对有限样本, 固定经验风险 (为零) , 求取最小的置信范围, 所以推广性相对较强。支持向量机的训练过程是一个二次优化过程, 所求得的解是全局最优解, 克服了神经网络的局部极小问题。
4. 结论
本文针对异步电动机转子本体常见的故障, 提出了一种基于BP网络和SVM的故障检测方法。通过检测的实际结果表明, 只要选择足够的实际故障样本训练此网络, 网络就能具有较好的容错性和稳定性, 并能在故障检测中, 既有效发挥BP网络的联想记忆和分布并行处理功能, 又展现SVM在解决有限数量样本高维模型的构造问题上的最好泛化能力, 从而保证了检测的准确性, 有效减少了误判、漏判的情况。
摘要：故障检测是计算机模式识别领域的一个活跃课题。文中提出一种基于BPNN与SVM的电机故障检测方法, 设计了适合该检测系统的网络结构。仿真结果表明:该网络结构比BP结构具有更快的学习速度和更高的学习精度, 完全适用于电机故障检测系统。
关键词：电机,故障检测,BP神经网络,支持向量机
参考文献
[1] 周红晓.多层前向神经网络在柴油机故障检测系统中的应用研究.计算机工程与应用.2003.18
[2] 李占锋, 韩芳芳, 郑德忠.基于BP神经网络的电机转子故障检测的研究.河北科技大学学报.2001. Vol.22. No.3
支持向量机网络 篇9
2015年7月23日, 中国互联网络信息中心发布第36次《中国互联网络发展状况统计报告》显示,截至6月份, 我国网民达6.68亿, 其中移动互联网网民达5.94亿,随着互联网用户的不断增加,特别是移动互联网的不断兴起,人们对网络的应用也不断普及,逐步涉及到政务、工业、商业、教育、医疗等各个行业。 同时,各种网络安全问题也日益严重,一是针对移动网络的攻击持续增加,二是针对Web应用及云端存储数据的攻击,导致大量的网络安全事件发生,并造成了很大的损失。
传统的安装防火墙及相关防护软件来保护网络安全是不够的,特别是在大流量的网络环境中,攻击的复杂性和多样性,使得网络安全面临更大的威胁。 入侵检测技术是一种主动的防御手段, 能对大流量的网络数据进行智能分析和识别,实时检测出网络异常行为,是避免网络受到恶意攻击的理想方式之一。 本文研究在大流量网络环境中结合粗糙集理论和改进最小二乘支持向量机的入侵检测算法,能进一步实时、准确检测出入侵威胁。
2粗糙集理论和属性约简
2.1粗糙集理论
粗糙集(Rough Set)理论由著名波兰数学家Pawlak于1982年提出,是一种数据分析处理理论,在处理非精确、不一致和不确定性信息方面有很大的优势。 它是通过对获取的无规则数据进行一系列的分析、挖掘和整理发现存在的内在联系和规则。 粗糙集理论中最核心的概念是知识约简, 即对大量的网络数据进行属性约简,删除不重要的数据属性, 只保留系统所需要的重要的属性,降低数据的维数,简化数据运算,提高效率。
在粗糙集理论中, 一个完整的信息系统可表述为: S={U,A,V,f},其中 ,U是论域 ,是一个不为空的有限集合,假设U={x1,x2,...,xn},A是属性的集合,假设A=M∪ D,V∈A,是属性值的集合,f是一个函数,f:V×A→V。
每一个信息系统的属性都有条件属性和决策属性, 如,S=(U,A,C,D),其中C是A的条件属性,D是A的决策属性,C∪D=A,C∩D≠Φ。 条件属性不是系统的决定因素,在必要的情况下可以去除已到达数据约简的目的。
2.2属性约简
所有约简计算都是NP-hard问题,计算一个最优的或者系统最小约简集合, 算法通过对依赖度的计算,将属性的重要性从大到小进行筛选, 并逐个加入属性集合,直到该集合是一个所需要的约简为止。 现在有很多的约简算法,如决策表约简算法,启发式约简算法等,本文采用可辨识矩阵约简算法。 根据属性频率,在可辨识矩阵中计算属性频率,出现的频率越高,说明重要性越大,需保留。 删除数据无关紧要的冗余属性,保留数据的重要条件属性和决策属性,是算法的目的。
在系统S={U,A,V,f}中,假设R={ai| i=1,...,n} 为条件属性集,D={d}为决策属性集,ai(xj)是xj在属性ai上的取值。 则可辨识矩阵MD(i,j)为:
假设f(ai)为属性频率 ,则其中 δ(ai)为属性出现的次数 ,μ(ai)为属性ai出现的总次数,j为属性项中含属性ai的属性个数,m为所有含ai的属性项中最多的属性个数。
可辨识矩阵约简算法描述:1) 首先将系统S={U,A, V,f}转化为可辨识矩阵M;2)判断数据属性是否唯一 ,若唯一则直接得到约简集,设为RS;3)若数据属性不唯一, 则计算属性频率f(ai),得到频率最高的属性ai,并保留到约简集RS中,直到矩阵计算完成,得到最优约简集合RS。
3支持向量机
支持向量机 (Support Vector Machine) 是由Vapnik博士在上世纪90年代初提出的,以统计理论学为基础, 适用于解决有限集,擅长处理分类、回归及较复杂的非线性问题,在模式识别方面有很多的应用,现已成为机器学习和数据挖掘领域的标准工具。
支持向量机应用到入侵检测中,最早由Mukkamala S等人提出 ,并将检测分为预处理 、训练和检测三个阶段,能有效地检测出入侵行为,其检测效果均优于神经网络等检测方法。 支持向量机理论算法表述:假设训练集T={(x1,y1),..., (xi,yi)},xi∈Rn,yi∈{-1,1},选择适用 的惩罚函数,设定变量,得到最优问题为其中 ω 为平面法向量,λ 为惩罚参数,δi为松弛变量。 当处理非线性问题时,选择适用的核函数k(xi,xj), 求得SVM分类决策函数:
但由于QP(Quadratic Programming Problem)问题的约束,支持向量机训练数据样本时间较长,效率较低。 最小二乘支持向量机(LS-SVM)由Suykens等人提出,在支持向量机理论的基础上结合最小二乘法,将目标函数 δi由一次方变成二次方, 并将条件由不等式改为等式, 将复杂的QP问题转化成为简单的线性求解问题,其求解速度比支持向量机更快、效率更高。
最小二乘支持向 量机算法表 述 : 假设训练 集T= {(x1,y1),...,(xi,yi)},xi∈Rn,yi∈{-1,1},选择适用的惩罚函数,设定相关变量,构造并求解最优问题为这样函数由一次方变为二次方,条件求解由不等式变成了等式的线性问题,求解效率显然要优于支持向量机。 但在实际入侵检测应用中, 通过选用KDD Cup1999数据集,支持向量机和最小二乘支持向量机比较,最小二乘支持向量机的稀疏性没有支持向量机好。
为发挥最小二乘支持向量机快速检测的优势,同时保留支持向量机稀疏性的特点, 提高系统检测性能,本文结合统计学理论, 改进最小二乘支持向量机算法,即通过统计分析,系统将非常重要的数据样本信息作为支持向量,无关紧要的样本信息作为非支持向量,最大限度的保留了算法的稀疏性,再将样本信息的分类信息赋值到支持向量上,保证了分类的准确性和完整性。
算法描述:采用以上T数据集,通过映射 δ 将n(x)转换为m(z),可得到分类函数为将核矩阵函数代入式中 ,可求得最小二乘支持向量机分类算式:假设核矩阵K中一共有n列 ,其中前s列为重要属性列 ,1+s列至n列为非重要属性列,则算法中保留前s列,删除1+s列至n列。 通过计算可得到改进的最小二乘支持向量机算式为:式中采用统计决策的折中决策法,选定折中系数a确定s值的选择。
算法流程如图1所示。
4粗糙集和改进最小二乘支持向量机入侵检测算法
系统结构图如图2所示,由数据采集、数据预处理、 粗糙集约简、改进最小二乘向量机分类等部分组成。 其中,数据采集模块获取网络中的大量数据;数据预处理模块将采集到的数据进行离散化处理,以适应粗糙集约简的处理需求;通过粗糙集的属性约简提取数据样本中的重要属性特征,降低样本维数,提高数据运算效率;最后将约简的数据样本送到训练好的改进最小二乘支持向量机分类器中识别入侵行为,达到实时、快速、准确检测的目的。
5实验验证及结果分析
本文所采用的实验数据为MIT林肯实验室KDD Cup1999数据集 , 选取RBF核函数 , 采用Matlab 7.0仿真环境,选择粗糙集处理软件RSES2.2和最小二乘支持向量机工具LS-SVMlab。
在KDD Cup1999数据集中随机选取两组数据集, 分别作为训练数据集和测试数据集,有正常和异常两种数据类型。 首先选择训练数据集通过RSES2.2进行属性约简, 并选出八组数据通过LS-SVMlab训练对应的分类器,再将测试数据集进行测试。 最后将基于属性约简的分类器和基于KDD Cup1999数据中全部41个属性特征的分类器进行比较。 得到实验结果表1所示。
通过两次对比试验, 从表中的实验结果可以看出, 经过粗糙集约简后的数据属性减少到了4-5个,大大提高了检测的效率, 同时因为保留的是重要属性特征,删除的是非重要属性特征,所以检测的精度并没有明显降低。 验证了粗糙集和改进最小二乘向量机入侵检测算法的准确性和实用性。
摘要：入侵检测技术是一种主动防御技术,能避免网络入侵行为造成系统危害。传统的入侵检测系统检测速度慢、效率低,难以适应大流量的网络数据检测。文章利用粗糙集属性约简,消除非重要的数据属性特征,降低数据复杂度,然后由改进的最小二乘支持向量机分类器对约简后的数据进行快速分类检测,达到入侵检测的目的,实现了检测的快速和准确。
支持向量机研究现状 篇10
SVM的应用同其理论的发展相对比要滞后许多, 其应用的范围和取得的效果同SVM的优越性很不匹配, 主要原因是算法的限制, 即运行效率低。因为标准SVM运行要消耗大量的时间, 并且随着训练样本数量的增加训练时间也会增加, 尤其对大量数据的处理更为棘手。现实当中所处理的问题一般数据量是非常大的, 所以在很多情况中受到约束。
目前, 对SVM的研究主要集中在以下几个方面:改进训练算法;提高测试速度;核函数的构造、改进以及相应参数的调整;利用SVM解决多类问题。
(一) 支持向量机
支持向量机主要是用来处理二类问题的。在原始数据空间中, 如果存在一个线性函数无错误的把数据分开, 那么称该数据集完全线性可分;如果存在一个线性函数可以以低错误率把数据分开, 则称该数据集是近似线性可分;如果存在非线性函数把数据集分开, 则称该数据集非线性可分。以下将详细介绍支持向量机的分类模型。
1. 线性可分问题
对于给定的一组数据
可以被一个超平面
分开, 如果这个向量集合可以被超平面没有错误的分开, 并且离超平面最近的向量与超平面之间的距离 (margin) 是最大的, 则我们说这个向量集合被这个最优超平面 (或最大间隔超平面) 分开。在超平面上的点称为支持向量 (support vectors) , 如图1所示:
我们用下面的方式来描述分类超平面H2 H3
由于margin越大分类器的泛化能力越强, 要得到最大的margin只需要使|w|最小。可以通过求解以下的最优化问题来得到最优解。
利用Lagrange优化方法可以把上述最优分类面问题转化为其对偶问题即:
解上述问题后得到的最优分类函数是:
2. 线性不可分问题
最大间隔超平面是在线性可分的前提下讨论的, 在线性不可分的情况下, 目标函数w (α) 的值将是无穷大的。可以在约束条件上加入一个松弛变量ξi≥0, 这时的最大间隔超平面称为广义最优分类超平面。
引入ξi的目的就是允许错分的情况出现, C是一个由用户自己选择的惩罚参数, C越大意味着对错误出现进行的惩罚更高, 参数C也可以被认为是一个调整因子。SVM更倾向于在使分类间隔margin最大化的前提下使C最小。C越大出现错分数据的可能性也就越小。
相应的, 广义最优分类超平面可以通过解下面的对偶问题得到:
3. 非线性SVM
对于非线性问题, 可以通过非线性变换转化为某个高维空间中的线性问题, 在变换空间求最优分类面。这种变换可能比较复杂, 因此这种思路在一般情况下都不容易实现, 但是注意到在以上的对偶问题中, 无论寻求最优函数还是分类函数都只涉及到训练样本之间的内积, 这样, 在高维空间实际只需要进行内积运算, 而这种内积运算是可以在原空间中的函数实现的, 甚至没有必要知道变化的形式。即使变换空间的维数增加很多, 在其求解最优分类面的问题中并没有增加多少的计算复杂度。其基本思想如下:支持向量机利用某种事先选择的非线性映射, 将输入向量x映射到一个高维特征空间, 然后在高维空间中求最优分类面。如图2所示。
可得在特征空间中的最优分类如下;
(二) 多分类支持向量机
SVM本身是解决两类分类问题的, 人们在两类算法的基础上, 对多类算法进行了深入的研究。目前处理多类SVM问题的方法主要有一对一方法、一对多方法、有向无环图方法、层次方法和纠错编码方法等。以下主要介绍一对一方法、一对多方法。
1. 一对多的方法 (One-against-the-rest Method)
支持向量机多类分类方法最早使用的算法就是一对多方法, 要构造多类分类器, 通常的方法是构造一系列的两类分类器, 其中的每一个分类器都把其中的一类同余下的各类分开。然后根据此推断输入的向量归属。一对多的方法是对于k类问题构造k个分类器, 在构造某个分类器的时候, 将属于这类的数据样本标记为正类, 不属于此类的样本标记为负类。测试时, 对测试数据分别计算各个子分类器的决策函数值, 选取函数值最大所对应的类别为测试数据的类别。
此种算法一个很明显的优点是只需要训练k个两类分类器, 所以得到的分类函数的个数也比较少, 分类速度也比较快。
这种算法的缺点也是很明显的, 每个分类器的训练都是将全部的样本作为训练样本, 这样就需要求解k个n个变量的二次规划问题, 因为支持向量机的训练时间是随着训练样本数量的增加而增加的, 所以这种方法的训练时间比较长。另外, 此种算法还会出现不对称的问题, 处理这类问题的时候我们通常采用的方法是对不同类别使用不同的惩罚因子。
2. 一对一的方法 (One-against-the rest Method)
这种方法也是基于两类问题的分类方法, 不过这里的两类问题是从原来的多类问题中抽取的。具体做法是:分别选取两个不同类别构成一个子分类器, 这样共有k (k-1) /2个SVM子分类器。在构造类别i和类别j的SVM子分类器时, 在样本数据集中选取属于类别i、类别j的样本数据作为训练数据, 并将属于类别i的数据标记为正, 将属于类别j的数据标记为负。
测试时, 将测试数据对k (k-1) /2个SVM子分类器分别进行测试, 并累计各类别的投票, 选择得分最高者所对应的类别为测试数据。
在一对一的方法中, 需要多个两类的分类器。对k类问题就需要构造k (k-1) /2个两类分类器, 比介绍的一对多的分类方法得到的分类器数目多很多, 但是每个分类器的规模却要小很多。如果k很大就会严重的影响算法的执行速度。
总的来说, 这种方法的优点是其训练速度较一对多方法快, 缺点是分类器的数目k (k-1) /2随分类数k急剧增加, 导致在决策时速度很慢, 且存在不可分区域。
此外还有其它的一些方法, 基于二叉树的多类支持向量机分类方法, 这种方法需要训练的两类支持向量机的数量少, 随着训练的进行, 总共训练样本数和一对多方法相比减少了许多。多级支持向量机方法, 采用先聚类再分类的策略, 不存在明显的不可分区域。因此它的测试精度明显高于上述几种方法, 而且测试速度也较快。但是, 这种方法在处理维数很高的数据时需要构造邻接矩阵, 这就导致训练时间比较长。对于大规模问题, 一对一方法和决策有向无环图方法更适于实际应用。二者所需的训练时间相当, 测试阶段决策有向无环图方法更快一些, 但其结构使实现过程更为复杂。
(三) 支持向量机反问题
对于给定的一组没有决策属性的样本点, 我们可以随机的把其分为两类。此时我们可以利用前面的知识来求出最优分类超平面, 并计算出最大间隔。若划分为两类的样本点线性不可分, 间隔计为0。显然, 间隔的大小取决于对原样本点的随机划分, 支持向量机反问题就是如何对样本点进行划分, 才能使最优分割超平面的间隔达到最大。对支持向量机反问题的研究是源自于设计一种新的决策树生成算法。现有的很多决策树算法如C4.5, 往往得不到好的执行效果, 由于支持向量机中最优超平面的间隔与其推广能力的关系, 具有最大间隔的样本划分, 被认为是生成决策树的新的启发式信息。
支持向量机是一个优化问题, 其数学描述如下:设S={x 1, x 2, ..., xN}为一个包含N个事例的给定数据集合, 且mx∈R, i=1, 2, ..., N,
另外
对于给定的一个函数f∈Ω, 样本集s被划分为两个子集, 并可以计算出相应的间隔 (margin) , 我们用Margin (f) 表示由函数f所决定的间隔 (泛函) , 那么SVM反问题就是要求解如下问题:
由于此优化问题的复杂度随着训练样本个数的增加而呈指数级增长, 枚举出Ω中所有的函数来求最大间隔是不现实的, 而且目前也很难给出一个十分严格的算法, 可以用减少Ω中函数个数的方法来降低其复杂度。
(四) 结论
本文综合介绍了现有的SVM经典训练方法, 说明了各种SVM在处理各类问题上的优缺点, 今后SVM的主要研究方向是确定不同的优化目标, 根据KKT约束优化条件寻找大规模训练样本下的实用算法, 反问题算法的提出扩展了SVM的应用领域, 成为新的研究热点之一。
参考文献
[1]Christopher J.C.Burges.A tutorial on support vector machinesfor pattern recognition[J].Data Mining and Knowledge Discovery, 1998, 2 (2) :121-167.
[2]Danny Roobaert, Marc M.Van Hulle.View-based3d-object recognition with support vector machines.IEEE Neural Networks for Signal Processing Workshop, 1999.
[3]刘胜利.基于SVM的网络入侵检测研究[R].江苏:大连海事大学硕士论文, 2004:4-11.
[4]柳回春, 马树元.支持向量机的研究现状[J].中国图象图形学报, 2002, 7 (6) :619-623.
支持向量机网络 篇11
关键词：水平集方法；支持向量机；特征提取
中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2012) 01-0000-02
Image Feature Extraction Study Based on Support Vector Machine Classification Level Set Methods
Wang Nan,Li Zheng
(School of Computer and Information Engineering Henan University,Kaifeng475001,China)
Abstract:This article proposes a level set method based on support vector machine classifier for image feature extraction method,in level set method for extracting image features in the application,by improving the energy level sets functions,the introduction of regional information,can extract the image inside and outside the boundaries of the target,and convergence speed.Feature extraction from image by nonlinear support vector machine classifier after treatment image classification.
Keywords:Level set method;Support vector machine;Feature extraction
一、引言
随着数字化技术的发展，特别是计算机和互联网的普及，各行各业时时刻刻都产生大量的图像数据。基于图像的各种计算机视觉系统、图像检索系统等逐渐受到广泛的关注，在这些系统中，图像的特征提取是这些系统的核心任务。
水平集方法(Level Set method)由Osher和Sethian于1988年提出的，用来解决界面的运动问题，因其具有拓扑结构自动识别和易于实现等优点而迅速应用于各个领域。水平集方法自提出以来，已在界面演化、流体力学、燃烧、材料力学、图像处理、计算机视觉等领域得到了广泛的应用。尤其是在图像分割与目标轮廓提取中，与主动轮廓模型相结合来做数值计算，较好地克服了传统参数主动轮廓模型（Snake）的缺点，自适应曲线拓扑结构变化，并具有稳定唯一的数值解。水平集方法的这些良好特性已经引起了人们越来越多的关注，已有很多成功的应用。
本文利用水平集方法对图像进行轮廓特征提取，利用支持向量机分类方法进行图像的分类处理。如下图所示：
二、图像特征提取框架
图像的内容特征包括图像的外观特征（颜色、纹理、形状）和语义。其中，图像的颜色、纹理、形状等外观特征被认为是较低层次上的特征，具有相对直观的特点；而语义是较高层次上的特征，具有相对主观抽象的特点。
本文主要采用基于形状特征来提取图像特征。形状特征一般有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。本文所采用的水平集方法就是通过对边界特征的描述来获取图像的形状参数。
三、水平集方法基本思想及其对图像有效特征的提取
（一）水平集方法的基本思想
在水平集方法中，平面闭合曲线 ，它被隐含地表达成三维的连续的函数曲面 中的一个具有相同函数值的同值曲线，在这里当 ，称为零水平集， 称为水平集函数。由于在高维中不仅易于拓扑变换，而且无需重新参数化，计算更加精确，所以水平集方法可以非常容易的向更高位推广。
（二）水平集方法对图像的特征提取
Chan和Vese结合水平集和Mumford-Shah模型提出的C-V水平集模型，提取目标边界时不依赖图像的梯度，而是利用特定目标灰度的一致性，对图像梯度不突出或边缘不连续的图像能实现很好的分割。
Mumford和Shah提出了结合图像边界和区域的分割模型，即Mumford-Shah模型，该模型完全基于图像数据的驱动来完成分割，不需要待分割图像区域的任何先验知识。
其能量泛函构造如下：
（3-1）
为原始图像，其定义域为 ，C为图像的边缘曲线，通过同时优化 的近似u及其图像的边界C使以上参量泛函最小化。式中第一项为曲线长度项，控制图像边缘粗糙程度；第二项为图像数据项，控制处理后的图像相似性；第三项为正则项，控制分割图像的光滑性。此模型将边缘检测、区域分割和图像恢复综合在一起，是当前比较好的图像分割模型。
结合水平集方法，设图像M(x，y)的定义域为 ，闭合曲线C将其分为两个区域：目标 和背景 ，分别在C的内外部，且这两个区域的平均灰度为 和 ，构造能量函数：
（3-2）
式子中， 为图像任意演化曲线， 为C的长度， 为C包含的区域面积， 为曲线内部， 为曲线外部。只有当演化曲线 位于图像中同质区域的边界处时，上式中 的值取最小值，就能得到全局最优分割。在水平集方法的特征提取中，构造合适的水平集函数是至为重要的.能量函数（3-2）中的内部能量采用符号距离函数(Signed Distance Function，SDF)，为了确保平集函数始终为符号距离函数，避免演化过程中对水平集函数的不断重新初始化.在外部能量中，引入区域信息.
利用水平集方法提取有效表征的特征算法过程为：（1）给定初始的轮廓曲线；（2）计算闭合曲线能量函数的梯度；（3）沿梯度下降的方向更新曲线；（4）如能量函数最小，则停止迭代过程，否则转入（3）.
四、支持向量机分类器
（一）支持向量机的分类机理
支持向量机算法具有良好计算的有效性、健壮性和稳定性等优点，已广泛的应用到模式识别和分类领域，构造的所有分类器均收敛。支持向量机分类器具有良好的非线性分类及泛化能力，可用于图像的分类。其核函数是处理非线性问题的基础，选择及设置将直接影响系统的运行速度和泛化能力。本文将采用非线性支持向量机分类算法。
（二）核函数
选择不同的核函数 ，可构造不同的支持向量机，常用的核函数如下：
（1）生成多项式的核： 为阶数。
（2）生成径向基函数的核： ；
（3）生成Sigmoid的核： ，S是Sigmoid函数。
首先采用水平集方法对图像进行分割，提取目标与背景的形状特征参数；选取最有效的特征数据组合，将其输入支持向量机进行分类学习训练，实现对目标特征的有效提取。实验结果表明，使用该方法获得的图像特征提取效率较高，在同等条件下，速度优于人工神经网络。
五、结论
由于图像特征提取方法具有较高的提取效率，所以得到了广泛的应用。目前图像特征提取技术得到了越来越多学者的关注，但是仍存在不足和有待解决的问题。本文通过改进水平集能量函数，在无初始化水平集模型中引入区域信息，融合区域信息的水平集分割方法，使得同时可以提取图像目标的内外边界，并且收敛速度快。提取有效的图像特征之后用支持向量机非线性分类器对目标图像进行分类。在支持向量机分类过程中选择不同的核函数就构造出不同的支持向量机，因此我们需要针对不同的处理对象选择合适的支持向量机分类器。
参考文献：
[1]S.Osher and J.A.Sethian.Fronts propagating with curvature dependent speed：Algorithms based on Hami-lton-Jacobi formulations.Journal of Comp.Phy,1988,79(1):12-49
[2]王文惠,周良柱.基于内容的图像检索技术的研究和发展[J].计算机工程与应用,2001,5:54-56
[3]T.F.Cha,L.A.Vese,AetiveContourswithoutEdges.IEEETrans.onI.geprocessing,2002,10,2
[4]张清勇.支持向量机在肝脏B超图像识别中的应用研究[D].湖北:武汉理工大学,2009
支持向量机理论研究 篇12
支持向量机(Support Vector Machine,SVM)是借助于最优化方法解决数据挖掘中若干问题的有力工具，是近年发展起来的一种通用机器学习方法。SVM是建立在统计学理论基础之上的一种算法，既有简洁的数学形式、直观的几何解释，又能够较好地解决线性、非线性、小样本、维数灾难、局部极小值和“过学习”等问题。
支持向量机理论是20世纪90年代由Vapnik提出的，在提出以后一直处于飞速发展的阶段。SVM发展到今天，已经形成了支持向量机的理论基础和各种算法的基本框架，并在语音识别、遥感图像分析、故障识别和预测、文本分类、生物信息、时间序列预测、信息安全等众多领域有了成功的应用。
支持向量机最初是解决分类问题(模式识别、判别分析)和回归问题，现在发展出了很多的变形和拓展。支持向量机模型采用结构风险最小化原则和核函数方法来构造分类模型，模型比较简单，解具有唯一性。由于支持向量机理论是把对已有问题的求解转化为对二次规划问题的求解，而二次规划的计算量是很大的，这导致了支持向量机算法的计算量也很大。为了解决计算量大、多分类等问题，于是又提出了最小二乘支持向量机、多类支持向量分类机、中心支持向量分类机、顺序回归机等支持向量机的变形和拓展。
1 理论基础
分类问题(Classification)和回归问题(Regression)是支持向量机最常解决的问题。本文采用C-支持向量分类机来解决分类问题，而采用支持向量回归机来解决回归问题。
1.1 C-支持向量分类机
(1)给定训练集，其中T={(xi,yi，)}，i=1，…，l;xi∈Rn,yi∈{1,-1}。
(2)选择适当的惩罚参数(C>0)以及核函数K(x,x')。
(3)构造并求解凸二次规划问题：
求得此凸二次规划的解为α*=(αi*,…,αl*)T。
(4)根据式(3)计算b*，其中求解b*中的yi是0<αj
(5)求得决策函数：
1.2 ε-支持向量回归机
(1)给定训练集，其中T={(xi,yi，)}，i=1，…，l;xi∈Rn,yi∈R。
(2)选择适当的惩罚参数C>0、适当的精度
ε>0和适当的核函数K(x,x')。
(3)构造并求解凸二次规划问题：
求得此凸二次规划的解为
(4)计算，其中求解中的yi是(7)或者是(8)中对应的某一个。
或者是
(5)构造决策函数：
2 仿真
本文选取一个回归问题来描述如何使用支持向量机理论来解决问题的方法。本文数据选取为：x1为-2:0.1:2;x2为-2:0.1:2,y为sin(x1)+(x2)2。其中的输入x为二维输入[x1;x2]。
使用台湾大学林智仁博士研发的基于最小二乘支持向量机原理的libsvm工具箱进行仿真。仿真可以得到输出仿真图(图一)和误差绝对值输出仿真图(图二)。
通过图一和图二可以看出，使用支持向量机理论对输出y进行预测，可以得到很好的预测效果，输出y的误差绝对值在0～0.25这一范围内，因而效果比较好。
3 结束语
支持向量机算法的理论与应用都取得了长足的进步，但在有大量训练数据的实际应用中，仍然存在着计算速度和存储容量的问题。而且在求解非线性问题时，核函数的选取工作也没有形成一套很有效的理论，现在主要是依靠经验来选取，这就存在着局限性。这些都是以后需要研究的课题。
摘要：如何解决分类问题和回归问题是支持向量机算法的基本内容。本文研究了使用支持向量机算法解决线性和非线性分类问题和回归问题的原理和方法。
关键词：支持向量机,分类,回归,非线性
参考文献
[1]邓乃扬,田英杰.支持向量机[M].北京:科学出版社,2009.
[2]邓乃扬,田英杰.数据挖掘中的新方法[M].北京:科学出版社,2004.
[3]王书舟.持向量机方法及其应用研究[D].哈尔滨:哈尔滨工业大学,2009.