向量研究（精选12篇）
向量研究 篇1
支持向量机作为统计学习理论的实现方法克服了神经网络分类和传统统计分类方法的许多缺点, 具备较高的泛化能力。进入20世纪90年代, 该理论在解决一系列实际问题中获得成功, 表现出极好的学习能力尤其是泛化能力, 从而引起人们对这一领域的极大关注。目前这一领域正在快速发展, 并且在许多领域都有应用, 比如模式识别、入侵检测等。
SVM的应用同其理论的发展相对比要滞后许多, 其应用的范围和取得的效果同SVM的优越性很不匹配, 主要原因是算法的限制, 即运行效率低。因为标准SVM运行要消耗大量的时间, 并且随着训练样本数量的增加训练时间也会增加, 尤其对大量数据的处理更为棘手。现实当中所处理的问题一般数据量是非常大的, 所以在很多情况中受到约束。
目前, 对SVM的研究主要集中在以下几个方面:改进训练算法;提高测试速度;核函数的构造、改进以及相应参数的调整;利用SVM解决多类问题。
(一) 支持向量机
支持向量机主要是用来处理二类问题的。在原始数据空间中, 如果存在一个线性函数无错误的把数据分开, 那么称该数据集完全线性可分;如果存在一个线性函数可以以低错误率把数据分开, 则称该数据集是近似线性可分;如果存在非线性函数把数据集分开, 则称该数据集非线性可分。以下将详细介绍支持向量机的分类模型。
1. 线性可分问题
对于给定的一组数据
可以被一个超平面
分开, 如果这个向量集合可以被超平面没有错误的分开, 并且离超平面最近的向量与超平面之间的距离 (margin) 是最大的, 则我们说这个向量集合被这个最优超平面 (或最大间隔超平面) 分开。在超平面上的点称为支持向量 (support vectors) , 如图1所示:
我们用下面的方式来描述分类超平面H2 H3
由于margin越大分类器的泛化能力越强, 要得到最大的margin只需要使|w|最小。可以通过求解以下的最优化问题来得到最优解。
利用Lagrange优化方法可以把上述最优分类面问题转化为其对偶问题即:
解上述问题后得到的最优分类函数是:
2. 线性不可分问题
最大间隔超平面是在线性可分的前提下讨论的, 在线性不可分的情况下, 目标函数w (α) 的值将是无穷大的。可以在约束条件上加入一个松弛变量ξi≥0, 这时的最大间隔超平面称为广义最优分类超平面。
引入ξi的目的就是允许错分的情况出现, C是一个由用户自己选择的惩罚参数, C越大意味着对错误出现进行的惩罚更高, 参数C也可以被认为是一个调整因子。SVM更倾向于在使分类间隔margin最大化的前提下使C最小。C越大出现错分数据的可能性也就越小。
相应的, 广义最优分类超平面可以通过解下面的对偶问题得到:
3. 非线性SVM
对于非线性问题, 可以通过非线性变换转化为某个高维空间中的线性问题, 在变换空间求最优分类面。这种变换可能比较复杂, 因此这种思路在一般情况下都不容易实现, 但是注意到在以上的对偶问题中, 无论寻求最优函数还是分类函数都只涉及到训练样本之间的内积, 这样, 在高维空间实际只需要进行内积运算, 而这种内积运算是可以在原空间中的函数实现的, 甚至没有必要知道变化的形式。即使变换空间的维数增加很多, 在其求解最优分类面的问题中并没有增加多少的计算复杂度。其基本思想如下:支持向量机利用某种事先选择的非线性映射, 将输入向量x映射到一个高维特征空间, 然后在高维空间中求最优分类面。如图2所示。
可得在特征空间中的最优分类如下;
(二) 多分类支持向量机
SVM本身是解决两类分类问题的, 人们在两类算法的基础上, 对多类算法进行了深入的研究。目前处理多类SVM问题的方法主要有一对一方法、一对多方法、有向无环图方法、层次方法和纠错编码方法等。以下主要介绍一对一方法、一对多方法。
1. 一对多的方法 (One-against-the-rest Method)
支持向量机多类分类方法最早使用的算法就是一对多方法, 要构造多类分类器, 通常的方法是构造一系列的两类分类器, 其中的每一个分类器都把其中的一类同余下的各类分开。然后根据此推断输入的向量归属。一对多的方法是对于k类问题构造k个分类器, 在构造某个分类器的时候, 将属于这类的数据样本标记为正类, 不属于此类的样本标记为负类。测试时, 对测试数据分别计算各个子分类器的决策函数值, 选取函数值最大所对应的类别为测试数据的类别。
此种算法一个很明显的优点是只需要训练k个两类分类器, 所以得到的分类函数的个数也比较少, 分类速度也比较快。
这种算法的缺点也是很明显的, 每个分类器的训练都是将全部的样本作为训练样本, 这样就需要求解k个n个变量的二次规划问题, 因为支持向量机的训练时间是随着训练样本数量的增加而增加的, 所以这种方法的训练时间比较长。另外, 此种算法还会出现不对称的问题, 处理这类问题的时候我们通常采用的方法是对不同类别使用不同的惩罚因子。
2. 一对一的方法 (One-against-the rest Method)
这种方法也是基于两类问题的分类方法, 不过这里的两类问题是从原来的多类问题中抽取的。具体做法是:分别选取两个不同类别构成一个子分类器, 这样共有k (k-1) /2个SVM子分类器。在构造类别i和类别j的SVM子分类器时, 在样本数据集中选取属于类别i、类别j的样本数据作为训练数据, 并将属于类别i的数据标记为正, 将属于类别j的数据标记为负。
测试时, 将测试数据对k (k-1) /2个SVM子分类器分别进行测试, 并累计各类别的投票, 选择得分最高者所对应的类别为测试数据。
在一对一的方法中, 需要多个两类的分类器。对k类问题就需要构造k (k-1) /2个两类分类器, 比介绍的一对多的分类方法得到的分类器数目多很多, 但是每个分类器的规模却要小很多。如果k很大就会严重的影响算法的执行速度。
总的来说, 这种方法的优点是其训练速度较一对多方法快, 缺点是分类器的数目k (k-1) /2随分类数k急剧增加, 导致在决策时速度很慢, 且存在不可分区域。
此外还有其它的一些方法, 基于二叉树的多类支持向量机分类方法, 这种方法需要训练的两类支持向量机的数量少, 随着训练的进行, 总共训练样本数和一对多方法相比减少了许多。多级支持向量机方法, 采用先聚类再分类的策略, 不存在明显的不可分区域。因此它的测试精度明显高于上述几种方法, 而且测试速度也较快。但是, 这种方法在处理维数很高的数据时需要构造邻接矩阵, 这就导致训练时间比较长。对于大规模问题, 一对一方法和决策有向无环图方法更适于实际应用。二者所需的训练时间相当, 测试阶段决策有向无环图方法更快一些, 但其结构使实现过程更为复杂。
(三) 支持向量机反问题
对于给定的一组没有决策属性的样本点, 我们可以随机的把其分为两类。此时我们可以利用前面的知识来求出最优分类超平面, 并计算出最大间隔。若划分为两类的样本点线性不可分, 间隔计为0。显然, 间隔的大小取决于对原样本点的随机划分, 支持向量机反问题就是如何对样本点进行划分, 才能使最优分割超平面的间隔达到最大。对支持向量机反问题的研究是源自于设计一种新的决策树生成算法。现有的很多决策树算法如C4.5, 往往得不到好的执行效果, 由于支持向量机中最优超平面的间隔与其推广能力的关系, 具有最大间隔的样本划分, 被认为是生成决策树的新的启发式信息。
支持向量机是一个优化问题, 其数学描述如下:设S={x 1, x 2, ..., xN}为一个包含N个事例的给定数据集合, 且mx∈R, i=1, 2, ..., N,
另外
对于给定的一个函数f∈Ω, 样本集s被划分为两个子集, 并可以计算出相应的间隔 (margin) , 我们用Margin (f) 表示由函数f所决定的间隔 (泛函) , 那么SVM反问题就是要求解如下问题:
由于此优化问题的复杂度随着训练样本个数的增加而呈指数级增长, 枚举出Ω中所有的函数来求最大间隔是不现实的, 而且目前也很难给出一个十分严格的算法, 可以用减少Ω中函数个数的方法来降低其复杂度。
(四) 结论
本文综合介绍了现有的SVM经典训练方法, 说明了各种SVM在处理各类问题上的优缺点, 今后SVM的主要研究方向是确定不同的优化目标, 根据KKT约束优化条件寻找大规模训练样本下的实用算法, 反问题算法的提出扩展了SVM的应用领域, 成为新的研究热点之一。
参考文献
[1]Christopher J.C.Burges.A tutorial on support vector machinesfor pattern recognition[J].Data Mining and Knowledge Discovery, 1998, 2 (2) :121-167.
[2]Danny Roobaert, Marc M.Van Hulle.View-based3d-object recognition with support vector machines.IEEE Neural Networks for Signal Processing Workshop, 1999.
[3]刘胜利.基于SVM的网络入侵检测研究[R].江苏:大连海事大学硕士论文, 2004:4-11.
[4]柳回春, 马树元.支持向量机的研究现状[J].中国图象图形学报, 2002, 7 (6) :619-623.
[5]John C.Platt.Sequential minimal optimization:a fast algorithm for training support vector machines[R].Technical Report, MSR-TR-98-14, Microsoft Research, 1998.
向量研究 篇2
提出改进的一种基于变形点检测的图形顶点对应方法和一种基于插值初始多边形、目标多边形对应边向量及其旋转变换矩阵的多边形变形方法,并给出了具体的`算法流程.
作 者：章银娥 车建仁 作者单位：章银娥(江西省赣南师范学院数计系,江西,341000)
车建仁(广东省广州市房地产测绘研究所,广州,510030)
向量方法与初等方法的比较研究 篇3
关键词： 向量方法 初等方法 平面几何 立体几何
1.向量代数的基本理论
1.1基本概念
向量：在数学中，几何向量，指具有大小和方向的几何对象.
总的来说，初等方法—般不使用其他工具，对几何元素及其关系直接进行讨论.其优点是注重培养学生的空间想象能力及转化化归的数学思想.缺点是有时解决问题时的技巧性过强，没有一般规律可循.向量方法是以向量和向量的运算为工具，其优点是注重培养学生的数形结合、转化化归的数学思想，缺点是计算量相对较大.所以学生在解决数学问题时，能够具体问题具体分析，将初等方法与向量方法充分运用起来，将会使问题得到更完美的解决.
参考文献：
[1]黄爱民.用向量方法.求解几何综合题[M].数学通报，2002，3.
[2]郭健，张志广，编.解析几何方法与应用[M].天津科学技术出版社，1998，8.
[3]刘八芝.向量在中学教学中的应用[J].镇江高专学报，1992，11.
相关向量机学习的研究 篇4
相关向量机是Michacl E.Tipping于2000年提出的一种与SVM相似的稀疏概率模型。它的训练是在贝叶斯框架下进行的, 在先验参数的结构下基于主动相关决策理论 (automatic relevance determination ARD) 来移除不相关的点, 从而获得稀疏化的模型。RVM在获得稀疏性和预测的概率性方面取得了很好的效果, 但是在学习过程中也存在自身的缺点, 因其计算的复杂度很高, 所需开销很大, 因而RVM目前只可处理少量的样本。对于这种问题, Tipping于2003年提出一种快速的边际似然算法。Zhong Rong Yang于2006年提出了一种解决大数据集的快速算法。RVM目前研究的方向是如何减少计算的开销解决大样本问题。
1. 相关向量机回归
假定样本训练集{xn, tn}Nn=1, 目标值ti是独立的, 且数据的噪声服从σ2的高斯分布
其中εn为带有噪声的独立样本且假设εn~N (0, σ2) , 因此p (tn/x) ~N (tn/y (xn;ω) , σ2) 。函数y (x) 由 (1) 定义, 同时基函数由核参数化。由于假设tn独立, 因此整个数据集的似然函数为:
其中t= (t1, …tN) , ω= (ω0, …ωN) T, Φ为N× (N+1) 的“设计”矩阵Φ= (φ (x1) ……φ (xN) ) T, φ (xn) =[1, k (xn, x1) , ……k (xn, xN) ]T。
α为N+1维超参数。
训练目标的似然分布通过对权值进行积分, 即
实现边缘化, 从而得到目标值的边缘分布p (t/α, σ2) =N (0, C) , 其中协方差
由贝叶斯公式可得权重w的后验概率:
从而
其中B=σ-2I (σ2有时也作为参数, 可由数据估计得到) 。
稀疏贝叶斯学习就是 (局部) 最大化关于α的边际似然, 或等价于
点估计μMP由 (12) 求出。RVM模型的权值的估计值由后验分布的均值给出, 同时它也是权值的最大后验 (MAP) 估计。后验分布反映出来的权值最优值的不确定性可以表示模型预测值的不确定性。
2. 超参数的更新
1) 考虑权重为隐藏变量, 用EM算法
2) 直接求 (7) 的偏导
对于噪声方差, 两种方法得到相同的再估计
实际上, 在重新估计的过程中, 很多的αi趋于∞, 由 (11) , (12) 知p (ωi/t, α, σ2) 无限的接近于0, 所以相关的核函数可以删除, 从而获得稀疏化。
3. RVM分类问题
RVM分类与回归具有相同的框架, 对分类问题采用了目标条件分布 (似然函数) 和链接函数来解释目标数量的变化。对于而分类问题, 希望获得对给定输入x的类成员的后验概率做预测。根据统计给论通过运用logisitic sigmoid链接函数到y (x) 产生线性模型, 对p (t/x) 采用贝努力 (Benoulli) 分布, 有
tn∈{0, 1}且这里没有“噪声”方差。
与回归的情形不同, 分类问题不能分析的积分出权重, 所以定义了p (ω/t, α) 或p (t/α) 在封闭形式下的表达式, 应用拉普拉斯方法逼近 (Laplace approximation procedure) :
1) 对当前的α, 求得最大可能的权重wMP。因为p (ω/t, α) ∝p (t/w) p (ω/α) , 所以等价于由
其中yn=σ{y (xn;w) }, 得到w的最大值。
2) Laplace方法是简单的二次逼近到模型的对数后验概率, 求导两次有:
对 (20) 求相反数再求逆得到协方差∑。
3) 用高斯逼近的统计量∑和wMP (取代μ) , 对α进行更新 (更新形式与回归中相同) 。
其中 (与回归中μ=∑ΦTBt中的t不同) 。
4. 预测
在超参数估计收敛过程中, 基于权重的后验分布条件的依赖于最大值αMP和σ2MP。对于一个新的数据x*, 可以通过
进行预测分布的计算。由于积分中的两个都服从高斯分布, 所以p (t*/t, αMP, σ2MP) =N (t*/y*, σ*2) , 其中
基本算法为:
1) 初始化所有的{αi}和σ2 (如果已知可以固定) ;
2) 计算权重后验分布的充分统计量μ和∑;
3) 计算所有的{γi}, 然后重新估计{αi} (和σ2如果需要) ;
4) 重复 (2) 直到收敛;
5) ‘删除’αi=∞的权重 (和基函数) , 因为这意味着μi=0;
6) 用已计算出来的收敛的αMP和σ2MP通过预测分布对新数据做预测:
其中均值为y (x*;μ) 。
5. 小结
相关向量机在稀疏化方面具有良好的效果, 并且具有概率性的预测, 在经济、图像检索、视频追踪等领域具有良好的应用空间。但计算的复杂度限制了其在大规模数据上的应用研究, 今后研究的方向就是将相关向量机应用于规模数据。
摘要：支持向量机 (SVM) 是利用核函数产生组合优化应用于回归和分类问题的技术。然而SVM具有明显的缺少概率的输出, 要求估计权衡参数和必须满足Mercer核函数等缺陷, RVM不受上述缺陷影响, 只需更少的核函数产生与SVM相同的线性输出模型的贝叶斯方法。
关键词：相关向量,相关向量机,稀疏贝叶斯
参考文献
[1]M.E.Tipping, The Relevance Vector Machine, [J], 2000.
[2]M.E.Tipping, Sparse Bayesian Learning and the Relevance Vec-tor Machine[J].J.mach.Learn.Res. (2001) 1 (3) :211-214.
[3]M.E.Tipping, Fast Marginal Likelihood Maximisation for Sparse Bayesian Models, in:C.Bishop, B.Frey (Eds) , Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics, Key West, FL, January3-6, 2003.
[4]A.C.Faul and M.E.Tipping.Analysis of sparse Bayesian learning.In T.G.Dietterich, S.Becker, and Z.Ghahramani, editors, Ad-vances in Neural Information Processing Systems14, pages383-389.MIT Press, 2002.
向量研究 篇5
提出了一种基于支持向量机的`航空发动机振动参数预测方法.分析了支持向量机用于时间序列预测的基本理论,对时间序列进行了相空间重构,采用互信息法计算了延迟时间,运用平均一步绝对误差选取了嵌入维数,在此基础上建立了基于支持向量机的时间序列一步预测模型.应用某发动机飞参记录数据对发动机振动参数进行预测,预测精度比RBF神经网络更高.研究结果验证了应用支持向量机模型进行发动机参数预测的正确性和可行性.
作 者：刘林刚 李学仁 陈永刚 吴立勋 LIU Lin-gang LI Xue-ren CHEN Yong-gang WU Li-xun 作者单位：刘林刚,李学仁,陈永刚,LIU Lin-gang,LI Xue-ren,CHEN Yong-gang(空军工程大学工程学院)
吴立勋,WU Li-xun(陆军航空兵学院)
向量研究 篇6
关键词：水平集方法；支持向量机；特征提取
中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2012) 01-0000-02
Image Feature Extraction Study Based on Support Vector Machine Classification Level Set Methods
Wang Nan,Li Zheng
(School of Computer and Information Engineering Henan University,Kaifeng475001,China)
Abstract:This article proposes a level set method based on support vector machine classifier for image feature extraction method,in level set method for extracting image features in the application,by improving the energy level sets functions,the introduction of regional information,can extract the image inside and outside the boundaries of the target,and convergence speed.Feature extraction from image by nonlinear support vector machine classifier after treatment image classification.
Keywords:Level set method;Support vector machine;Feature extraction
一、引言
随着数字化技术的发展，特别是计算机和互联网的普及，各行各业时时刻刻都产生大量的图像数据。基于图像的各种计算机视觉系统、图像检索系统等逐渐受到广泛的关注，在这些系统中，图像的特征提取是这些系统的核心任务。
水平集方法(Level Set method)由Osher和Sethian于1988年提出的，用来解决界面的运动问题，因其具有拓扑结构自动识别和易于实现等优点而迅速应用于各个领域。水平集方法自提出以来，已在界面演化、流体力学、燃烧、材料力学、图像处理、计算机视觉等领域得到了广泛的应用。尤其是在图像分割与目标轮廓提取中，与主动轮廓模型相结合来做数值计算，较好地克服了传统参数主动轮廓模型（Snake）的缺点，自适应曲线拓扑结构变化，并具有稳定唯一的数值解。水平集方法的这些良好特性已经引起了人们越来越多的关注，已有很多成功的应用。
本文利用水平集方法对图像进行轮廓特征提取，利用支持向量机分类方法进行图像的分类处理。如下图所示：
二、图像特征提取框架
图像的内容特征包括图像的外观特征（颜色、纹理、形状）和语义。其中，图像的颜色、纹理、形状等外观特征被认为是较低层次上的特征，具有相对直观的特点；而语义是较高层次上的特征，具有相对主观抽象的特点。
本文主要采用基于形状特征来提取图像特征。形状特征一般有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。本文所采用的水平集方法就是通过对边界特征的描述来获取图像的形状参数。
三、水平集方法基本思想及其对图像有效特征的提取
（一）水平集方法的基本思想
在水平集方法中，平面闭合曲线 ，它被隐含地表达成三维的连续的函数曲面 中的一个具有相同函数值的同值曲线，在这里当 ，称为零水平集， 称为水平集函数。由于在高维中不仅易于拓扑变换，而且无需重新参数化，计算更加精确，所以水平集方法可以非常容易的向更高位推广。
（二）水平集方法对图像的特征提取
Chan和Vese结合水平集和Mumford-Shah模型提出的C-V水平集模型，提取目标边界时不依赖图像的梯度，而是利用特定目标灰度的一致性，对图像梯度不突出或边缘不连续的图像能实现很好的分割。
Mumford和Shah提出了结合图像边界和区域的分割模型，即Mumford-Shah模型，该模型完全基于图像数据的驱动来完成分割，不需要待分割图像区域的任何先验知识。
其能量泛函构造如下：
（3-1）
为原始图像，其定义域为 ，C为图像的边缘曲线，通过同时优化 的近似u及其图像的边界C使以上参量泛函最小化。式中第一项为曲线长度项，控制图像边缘粗糙程度；第二项为图像数据项，控制处理后的图像相似性；第三项为正则项，控制分割图像的光滑性。此模型将边缘检测、区域分割和图像恢复综合在一起，是当前比较好的图像分割模型。
结合水平集方法，设图像M(x，y)的定义域为 ，闭合曲线C将其分为两个区域：目标 和背景 ，分别在C的内外部，且这两个区域的平均灰度为 和 ，构造能量函数：
（3-2）
式子中， 为图像任意演化曲线， 为C的长度， 为C包含的区域面积， 为曲线内部， 为曲线外部。只有当演化曲线 位于图像中同质区域的边界处时，上式中 的值取最小值，就能得到全局最优分割。在水平集方法的特征提取中，构造合适的水平集函数是至为重要的.能量函数（3-2）中的内部能量采用符号距离函数(Signed Distance Function，SDF)，为了确保平集函数始终为符号距离函数，避免演化过程中对水平集函数的不断重新初始化.在外部能量中，引入区域信息.
利用水平集方法提取有效表征的特征算法过程为：（1）给定初始的轮廓曲线；（2）计算闭合曲线能量函数的梯度；（3）沿梯度下降的方向更新曲线；（4）如能量函数最小，则停止迭代过程，否则转入（3）.
四、支持向量机分类器
（一）支持向量机的分类机理
支持向量机算法具有良好计算的有效性、健壮性和稳定性等优点，已广泛的应用到模式识别和分类领域，构造的所有分类器均收敛。支持向量机分类器具有良好的非线性分类及泛化能力，可用于图像的分类。其核函数是处理非线性问题的基础，选择及设置将直接影响系统的运行速度和泛化能力。本文将采用非线性支持向量机分类算法。
（二）核函数
选择不同的核函数 ，可构造不同的支持向量机，常用的核函数如下：
（1）生成多项式的核： 为阶数。
（2）生成径向基函数的核： ；
（3）生成Sigmoid的核： ，S是Sigmoid函数。
首先采用水平集方法对图像进行分割，提取目标与背景的形状特征参数；选取最有效的特征数据组合，将其输入支持向量机进行分类学习训练，实现对目标特征的有效提取。实验结果表明，使用该方法获得的图像特征提取效率较高，在同等条件下，速度优于人工神经网络。
五、结论
由于图像特征提取方法具有较高的提取效率，所以得到了广泛的应用。目前图像特征提取技术得到了越来越多学者的关注，但是仍存在不足和有待解决的问题。本文通过改进水平集能量函数，在无初始化水平集模型中引入区域信息，融合区域信息的水平集分割方法，使得同时可以提取图像目标的内外边界，并且收敛速度快。提取有效的图像特征之后用支持向量机非线性分类器对目标图像进行分类。在支持向量机分类过程中选择不同的核函数就构造出不同的支持向量机，因此我们需要针对不同的处理对象选择合适的支持向量机分类器。
参考文献：
[1]S.Osher and J.A.Sethian.Fronts propagating with curvature dependent speed：Algorithms based on Hami-lton-Jacobi formulations.Journal of Comp.Phy,1988,79(1):12-49
[2]王文惠,周良柱.基于内容的图像检索技术的研究和发展[J].计算机工程与应用,2001,5:54-56
[3]T.F.Cha,L.A.Vese,AetiveContourswithoutEdges.IEEETrans.onI.geprocessing,2002,10,2
[4]张清勇.支持向量机在肝脏B超图像识别中的应用研究[D].湖北:武汉理工大学,2009
状态价格向量的对偶性研究 篇7
研究套利的理论有很多, 其中很多都是数理金融理论中最重要的理论基础, 这些既被用于研究套利, 也被用于导出数理金融中的其他结论。研究套利的方法很多, 如中性概率分布和状态价格向量, 也有很多方法来证明相关理论结论, 这些方法各有优劣, 可以从某些方面揭示套利的实质。
单纯从数学上看, 套利实际为两组线性不等式组的关系。本文利用线性不等式组、线性系统或线性锥系统的择一性和对偶性来构造状态价格向量, 并说明无套利与状态价格向量为一对偶关系, 进而说明中性概率分布和状态价格向量之间的关系。
一、预备知识
1、一些记号
设市场有n个风险资产, 每种资产在未来时刻1有l个状态, 第i个资产在第j个状态出现时的收益率为ri (j) , 价格为Pji (i=1, 2, …, n;j=1, 2, …, l) 。记:
投资策略向量 (资产组合) :x= (x1, x2, …, xn) T;
概率向量:p= (p1, p2, …, pl) T;
第i个资产在当前时刻0的价格 (初始价格) 为vi (i=1, 2, …, n) , 记:
初始价格向量:v= (v1, v2, …, vn) T;
Dv=diag (v1, v2, …, vn) ;
其中:Zji=Pji/vi (i=1, 2, …, n;j=1, 2, …, l) 为在时刻1状态j出现时第i个资产的总收益率, 有关系:
如果x∈R+n, x≠0, 则称x≥0, 同样可以定义x≥y。
2、择一定理
设A是矩阵, x、u是列向量。
引理1对齐次线性不等式组:
则 (Ⅰ) 有解的充分必要条件是 (Ⅱ) 无解。
引理2设x∈Rn、u∈Rm、A∈Rm×n;Cx为Rn中其锥, 其对偶锥为Cx*, 考虑线性锥系统:
则 (Ⅰ) 有解的充分必要条件是 (Ⅱ) 无解。
3、套利定理
引理3 (套利定理) 下列结论有且只有一个正确:
(Ⅰ) 存在投资策略x使得:Rx>0;
(Ⅱ) 存在概率向量p使得:RTp=0。
套利定理表明, 在所有的状态集合中, 要么一定有套利, 要么一定无套利。并且在无套利情况下, 存在一个概率分布, 在这个分布下, 每种投资的期望收益均为0, 这个概率分布也称为风险中性概率分布。
二、状态价格向量的构造
1、概念
套利机会:如果有投资组合x满足下列条件之一:
则称存在套利机会, 反之亦然。
即在0和1时刻资产组合价值的正负性不同, 则有套利机会。
状态价格向量:如果有α∈Rl满足:
则称向量α为支持资产系统P或Z的状态价格向量。
当资产系统存在价格向量时, 每种资产在0时刻的价格向量都可以用1时刻资产在各种状态的价格线性表示。
2、状态价格向量的构造
定理1资产系统不存在套利机会的充分条件是存在支持该资产系统的状态价格向量α∈R+++。
证明:由套利机会的定义, 不存在套利机会等价, 下列两组线性不等式组无解:
无解。
由引理1, 此二线性不等式组等价:
有解。
统一为:
有解。
记u=∈ulu0*, u0∈R+, ul∈R+l+, 有:
将Z=PDv-1代入上式, 即得:
证毕。
三、结论与讨论
判断套利的方法有很多种, 判断状态价格向量是否存在就是其中的方法之一。
从单纯数学角度上看, 判断套利只是关于一类线性不等式组的一个关系问题, 而择一定理正是处理和揭示这类线性不等式组一些性质的理论基础, 所以, 从简单思维上看是很容易将两者结合起来的。
以下是用择一定理来证明无套利与存在状态价格向量等价, 从证明过程可见, 证明过程简洁明了, 也很简单。
1、利用线性锥系统的择一定理 (引理2) 来证明这个结论
由引理2即可得到 (1) 式。
可见, 无套利与状态价格向量实为一对偶关系, 这为套利的应用提供了理论基础和广阔的领域。
2、套利定理 (引理3) 和定理1都是判断套利的等价条件
套利定理表明, 无套利的等价条件是存在风险中性概率, 使每种投资期望收益均为0的。
定理1表明无套利的等价条件是存在正状态价格向量, 使每种资产在0时刻的价格向量都可以用1时刻资产在各种状态的价格正线性表示。
由此可得, 存在风险中性概率和存在正状态价格向量也是等价的。
当然, 可以进一步讨论风险中性概率和状态价格向量之间的关系。
摘要：本文提出了证明无套利与存在正状态价格向量等价的新方法, 即利用择一定理证明, 同时也揭示了无套利与状态价格向量为一对偶关系, 进而说明存在中性概率分布和存在正状态价格向量是等价的。这种处理问题的方法为解决其他类似问题提供了一种新思路。
关键词：状态价格向量,套利定理,风险中性概率,择一定理
参考文献
[1]宋军、吴冲锋、马弋崴、孙秀琳:保证金制度、跨市套利和沪铜主力合约的迁徙行为[J].系统工程理论与实践, 2008 (8) .
[2]毛二万、宋逢明:风险套利和资产定价第一基本定理[J].系统工程理论与实践, 2001 (11) .
[3]潘青飞、安中华:判断市场套利的一种方法[J].武汉理工大学学报, 2008 (7) .
[4]易艳春、吴雄韬:有限离散时间金融市场模型的无套利定理[J].衡阳师范学院学报, 2010 (3) .
[5]郭多祚:数理金融资产定价的原理与模型[M].清华大学出版社, 2006.
[6]Sheldon M.Ross:数理金融初步[M].机械工业出版社, 2005.
[7]魏权龄、闫洪:广义最优化理论和模型[M].科技出版社, 2003.
关于高中数学课程中向量的研究 篇8
关键词：高中数学,向量,探究
高中数学教学内容中引入向量，对于教师展开数学教学以及学生学习相关数学知识，都有很大的作用．由于向量自身属性，可以将多章数学知识有机联系起来，可以大大提升教师教学相关数学知识的有效性．
一、向量对于高中数学课程的意义
在高中数学中加入向量的知识，等同于给高中数学注入了新鲜血液，给高中数学教学带来了新的空间．从数学教学中来看，向量为解题提供了工具与方法，对于正确把握数学教材、理解相关数学知识具有一定的帮助，对于其他章节知识教学也有启发作用，可以提高数学教学质量以及学生学习数学的成效．高中数学教材中的向量是抽象的自由向量，可以通过对实例分析具化出向量的概念，再由有向线段加以表示．
但是，学生往往认为向量是由起点、方向和大小三个要素构成的，产生向量是固定的错误思想．为此，教师应当要求学生多画向量图，从实际图像来对向量加以区分和认识，诸如共线向量、平行向量、相反向量等．只有正确认识向量的基本含义，才能对多个向量进行比较，判断其相互之间的关系．
例如，平行向量重在说明向量之间的平行关系，而向量的长度又能反应向量之间的大小关系．相等向量属于平行向量的一部分，而平行向量和共线向量又具有等价的关系．在高中数学向量章节中有这样的描述，“任意非零的相等向量，都可以用一条有向线段表示，而且和该线段的起点无关．”这句话完全揭露了向量的本质，还表明向量是可以移动的．
二、向量在数学课程中的作用和问题
在高中数学中，向量主要分为平面向量和空间向量．不过在严格的数学意义上来说，平面向量也属于空间向量的一部分．向量在三角关系和几何的教学中被广泛应用．例如在三角关系中利用向量来证明正余弦定理，不仅方法较为简单，而且很直观，便于学生理解．向量是数与形的桥梁，其可以将数的运算转化为形的内容，也可以将形的内容转变成数的运算，可以让学生感受到数与形能够互通的基本思想，将坐标、线段和向量联系起来．
虽然向量可以将多部分知识紧密联系起来，但却存在许多客观问题，使教师在数学课堂中难以发挥向量的真正价值．首先，高中数学教材相关教学内容编排并不十分合理，在实际教学中可以发现，学生对于向量的概念及定理都感到很抽象，学起来比较别扭．比如空间向量、向量的投影、向量的数量积和定比分点等内容，学生很难在头脑中产生清晰的模型．因此，教师在数学课堂中，要充分考虑向量的抽象性，从学生的角度出发，适当调整向量教学的内容和模式，确保学生更加容易理解．其次，学生通过对向量的不断学习，对向量解决相关题目方法的不断累积逐渐认识到向量解题的便利性，但却把向量只当做解题工具，忽略了向量的真正意义．
三、加强实际联系，充分发挥向量的作用
高中数学课程不应该只是作为应试的一门课程，更应该加强与实际的联系，提升数学的实用性．向量在高中数学中主要是表现大小关系和位置关系，这完全可以运用到生活实际中．教师在课堂教学中，尽可能以生活实际中的例子或是相关学科中的例子，阐明学习向量的意义．诸如物理中速度重力等，都是具有大小和方向的向量，教师可以借由这些实际例子，再引出向量的模以及单位向量的概念．
例如，公交车向东开出500米，又向北开出600米，又向西南方向开出200米，问现在公交车相对于出发点的方位和距离．这个问题就可以通过向量简单解决．以出发点为原点画出平面坐标系，东向为X轴正方向．这样就可以写出三次发车的向量表达式，a=(500,0),b=(0,600),c=(-100,-100),a+b+c=(400,500)，算出该向量和的模值约为640，就可得出公交车位于出发点东北向640米处．只有与生活实际多加联系，才能让学生理解学习向量的真正意义，更多地将数学知识用以实践．利用向量解决问题的过程中，需要注意两个基本原则．首先是向量的线性关系是向量最基本也是最重要的性质，其是在运用向量过程中需要特别注意的，许多点的位置关系都依靠此性质决定．其次，在某些问题中需要用到长度夹角以及垂直等关系时，很多学生都忘记了向量内积的作用，因此，在应用中一定要使用向量内积．
结束语
向量是数与形的结合体，既具有数与形的特点，又不同于数与形．向量是解决诸多数学问题的有效手段，通过向量教学，可以使学生对于数学问题的解答拥有更多方法，能够有效提高数学教学的质量和效率．不仅如此，向量还可以通过实际的几何模型，给学生最直观的感受，激发学生的想象力．
参考文献
[1]周树华.对高中数学课程中向量的研究[J].读写算,2012(3).
[2]刘耀青.高中数学中向量的教学研究[D].内蒙古师范大学,2012.
向量研究 篇9
在数码相机, 个人电脑等电子产品日益普及的今天, 海量的图像数据成了人们获取信息的重要来源。要快速处理如此海量的数据, 人们往往会觉得力不从心, 无暇顾及, 因此人们开始利用电脑来辅助理解, 识别和区分这些图像。图像分类技术因此越来越得到重视。图像分类, 是根据图像的信息经过一定的处理以达到区分不同类别的目标的目的。其作用类似于人眼观察一幅图像, 根据人自身所具有的知识辨认出图像中的目标, 然后把该图片分到相关的类中。
一个图像分类系统通常分为底层特征提取, 图像表达, 分类器这三个重要组成部分, 每部分都已经具有很多现成的技术。然而这些技术并不完美, 在很多方面需要我们去改进。
1.1 底层特征提取
一般的原始图像由RGB三色组成, 如果原始图像只用这些颜色值来表达, 不仅数据量大, 而且会丢失很多的信息, 如邻域信息, 空间关系等。底层特征是根据图像像素点的一定邻域内的边缘, 纹理, 颜色, 形状等信息, 用统计直方图或者频域变换等方法提取出的特征矢量。一般较多使用的是SIFT特征[1]、HOG特征等, 而SIFT特征应用最广泛。
1.2 图像表达
图像表达可以采取的方法则主要是在底层特征的基础上做无监督的聚类, 所得到的聚类中心形成词袋模型。然后每幅图像都用词袋里面词条的词频来表示, 形成图像的特征表达。由于词袋模型没有关注到各词条的空间关系, 因此Svetlana Lazebnik等提出了空间金字塔匹配, 并证明空间金字塔匹配满足核函数。
1.3 分类器
在图像分类和机器学习领域, 最常用并且较出色的是支持向量机 (SVM, Support Vector Machine) 。SVM是Vapnik等人提出的利用最大边界准则训练出一个超平面, 以此区分出不同类别的样本。对于非线性问题, SVM通过一个非线性映射, 把样本空间映射到一个高维乃至无穷维的特征空间中 (Hilbert空间) , 使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。
本文将通过阐述一个图像分类系统的设计过程以及所用的关键技术来展开对图像分类的研究。第2节将阐述混合高斯模型对应的超级向量编码及其算法实现和推导。第3节运用聚会函数和空间金字塔匹配得到图像的表达;第4节使用Universum SVM实现分类;第5节是实验结果分析;第6节是总结与展望。
2 超级向量编码
在目前最流行的图像分类模型中, 基本上都是用k-means进行聚类得出聚类中心, 这些中心组成词袋。然后把图像中的底层特征向量都与这些词条进行比较, 投票到最近的中心, 以完成编码。例如, 对于某个特征向量, 给定聚类中心{μ1, …, μK}, 则
所得到的编码为。这种方法被称为矢量量化, 编码中只有第个是有值为1, 其他则是0。
这是一种“硬分配”, 相当于把每个数据点分配到与其最近的类中。自然而然地会想到另一种方式——“软分配”, 就是不只是考虑把某个数据点归入到某个类中, 而是考虑这个数据点归入到某个点的概率。混合高斯模型 (GMM, Gassian Mixture Model) 正是这样一个可以提供“软分配”的聚类模型。
2.1 混合高斯模型 (GMM)
混合高斯模型假设数据都服从高斯分布, 但是实际上数据可能不只是服从单个高斯分布, 因此实际上可以通过多个高斯分布来逼近实际的概率分布。混合高斯模型由多个单高斯模型线性叠加形成。形式为
其中指单个高斯分布, 表达式为。为高斯分布的均值, 为协方差矩阵, D是数据点的维数。从式子可以看出, 表示每个类出现的概率。, 表示每个类中都服从一个高斯分布。
在需要根据已知数据推断出这样一个混合高斯模型。注意到在这个混合高斯模型中包括了这三个参数, 因此只要把这三个参数估计出来就可以得到一个混合高斯模型了。
假设有N个已知数据, 它们都服从上面假设的混合高斯模型。那么需要求到一组使得这些参数所确定的混合高斯模型得到的数据点分布最大。即, 一般会取它的对数形式, , 得到极大对数似然估计函数。只要对这个目标函数求最优就可以得到所要求的参数, 从而确定这个混合高斯模型。根据式子2把目标函数展开
这个式子是没办法直接对其求导, 并用梯度法寻优的, 因此在这里只能用其他方法寻优。
2.2 EM算法
针对上文提到的问题, EM (Expectation-Maximization) 算法是一个可以解决此类问题的通用算法。它的主要思想是初始化所有参数, 先根据已知参数计算后验概率, 再根据这个后验概率调整参数, 如此循环使目标函数值达到收敛目标。
假设有一组参数的初始值, 那么根据这些参数就可以求出后验概率, 这一步叫E-step。这个后验概率表明数据由第k个中心生成的概率。
现在在这个后验概率的基础上重新更正参数, 这一步叫M-step。
把目标函数3对求导并令它为零得
假设为非奇异矩阵, 整理得
同样, 对求导并令它为零, 得
最后, 求, 因为存在约束条件, 所以这里用拉格朗日乘数法把有约束问题转化为无约束问题。目标函数转化为
对求导并令其为零, 得
等式两边同时乘以, 并对k求和, 则
定义, 可以理解为被分配到第k个中心的数据点数目。
这样, 把三个参数的更新式重写一遍,
完成了这三个参数的估计后, 把所有参数和数据代到目标函数中, 如果结果收敛则认为这些就是最优参数。否则利用这些新的参数求后验概率, 循环迭代直至收敛。算法流程图如图1所示:
但是在实现以上算法的时候, 需要注意以下几个问题。
2.2.1 数据下溢。
正如前文所述, 似然由多个小数相乘得到, 通常会很小, 以至于下溢, 超出计算机可表示范围, 因此才采用对数方式来表示。所以要注意的是在计算单个高斯分布的时候, 不能直接利用
特别对于高维数据来说。所以, 在写程序时虽然感觉逻辑上没有错误, 但如果不解决这个问题, 求出来的参数是不正确的。
2.2.2 运算量大。
对比k-means聚类的运算量, 发现GMM的运算量是相当大的, 如果在聚类中心较多的情况下运算时间更长。特别是在计算高斯分布的时候, 的计算是耗费时间最多的, 而且有出现是奇异矩阵导致不可逆, 行列式为零的情况。
2.2.3 奇异矩阵的处理。
是奇异矩阵会出现不可逆, 行列式为零的情况。因此这些矩阵要进行特殊处理, 通常会在对角上加上一个较小的数, 如10-5。
2.2.4 初始值选取。
一般初始值的选取是随机选取中心同等的权重, 全局的协方差矩阵。然而从上文可知混合高斯模型的EM算法运算量是很大的, 为了使它更快收敛, 一般先用k-means得到相对准确的中心、权重和协方差矩阵, 从而减少迭代次数。
2.3 超级向量编码
由上文的EM算法得到一个关于所有底层特征的混合高斯模型, 那么所有特征都符合这个分布。观察大部分基于混合高斯模型的应用, 可以发现他们都会用到超级向量来描述, 但是这种超级向量主要用于从总体上描述一个混合高斯模型。例如, 对于有K个中心混合高斯模型, 有如下超级向量的定义
我们基于这种思想, 可以定义一种超级向量用于描述单个底层特征, 进而得出这个底层特征的编码。
观察式子8可知, 第k个中心由与所有数据点相关的组成的, 因此定义一个关于单个数据点 (底层特征) 的超级向量。
这样就可以实现对每个底层特征的编码, 把它取代了用边k-means做聚类, 矢量量化得到编码。具体流程图如下图2所示。
3 聚合 (Pooling)
词袋模型的表达是一种与空间关系无关的图像表达, 各个聚类中心之间是没有顺序的, 这种空间关系丢失会导致信息的缺失, 从而影响分类性能。
为了克服词袋模型的这种缺点, Kristen Grauman和Trevor Darrell提出空间金字塔匹配 (SPM, Spatial Pyramid Matching) 并证明这种匹配核函数满足默瑟条件。正因为这种考虑空间关系并满足默瑟条件的原因, 使得这个模型在图像分类领域得到广泛应用。
在空间金字塔匹配模型中就是把图片通过不同的分割序列分成不同的大小的方形区域。每个区域重新看作一幅图像, 在词袋模型中得到其对应表达。最普遍的做法是, 把图片做三层分割, 分割的块数分别为1, 4, 16。它们分别对应20, 22, 24。
论文定义了一种聚合函数F, 叫做max pooling function。这个函数的作用是取出编码向量中相同维度的最大值。即对于一组N个K维的编码向量, 有
其中指第i个编码向量的第k维, Z (K) 指聚合得到的向量的第k维。
在这里, 我们并没有使用1, 4, 16的分块方式, 而是选用1, 4, 3, 也就是1×1, 2×2, 3×1的分块方式。它们分别得出8个聚合后的编码向量, 记为。那么, 整幅图像可以表达为
在这个表达下针对两类问题可以用线性SVM训练出一个超平面把两类数据样本分开, 这个超平面的表达式为。
在线性情况下, 我们只需要对SVM目标函数的原始形式进行寻优, 而不用对其对偶问题进行寻优。
4 UniversumSVM
支持向量机 (SVM, Support Vector Machines) 是一种通用的分类器。它是基于边缘最大准则求出一个超平面, 我们可以依据这个超平面判断出样本属于哪一类。如图4所示, 蓝色圆点代表一类样本, 红色圆点代表另一类样本, 我们的目标是需要得到中央黑色实线。这个黑色实线可以把两类区分开来, 但是在训练是我们还想要得到一个更严格的区分, 就是两类样本点中离边界最近的距离必须小于某个设定值。
区别于标准损失函数, 们采用一种可导的损失函数。对于, 困难样本的情况, 我们定义损失函数。因此, 有目标函
我们用L-BFGS对目标函数12进行寻优得到参数, 确定分界面方程。
5 实验结果分析
5.1 数据库
本设计实验在PASCAL VOC 2009数据库上进行, 该数据库拥有7054幅训练图片和6650幅测试图片, 一共标注为20类, 分别为飞机、自行车、鸟、船等。这些图片都是从flickr收集得来的日常生活中的图片, 图片既有户外也有户内, 远景和近景, 以及不同角度, 而且图片中还有其他无标注的物体。因此这个数据库是一个较为通用的数据库, 同时利用该数据库进行实验是极具挑战性的。
由于VOC2009数据库中的图片是多事例多标签的, 普通的准确率难以正确地衡量分类系统的性能, 因此VOC2009数据库是采用AP (平均精确率, Average Precision) 来衡量分类系统的性能。
5.2 实验设置
本设计实验是在PASCAL VOC2009数据库上进行, 然而由于数据量大而且算法复杂度较高, 因此我们只从所有训练样本中随机抽取了600幅图片做训练样本, 600幅图片做测试样本。首先, 我们对图片进行了分辨率归一化, 因此所有图片的最短边不会大于300像素。在特征方面, 我们选用了灰度SIFT特征, 用致密网格提取。网格大小有16×16、24×24、32×32三种规格, 网格间距为4。在如此稠密的的目标点下提取特征, 数据量将相当巨大。所以在特征提取以后紧接着做了PCA (主成分分析, Principal Component Analysis) , 把数据从128维降为80维。
5.3 实验结果和分析
我们对分层混合高斯模型用不同的聚合函数, 观察聚合函数对分类结果的影响。我们分别选用max pooling和average pooling两种聚合函数, 结果如表1所示。
观察上表发现max pooling聚合函数比average pooling聚合函数得到的结果高超过4%, 这也正是编码技术一般都使用max pooling聚合函数, 而不用average pooling聚合函数得到图像表达的缘故。
6 总结与展望
本文阐述了一个基于经典图像分类系统的新分类系统, 它结合了超级向量编码技术, 聚合函数, Universum SVM等新技术。文中运用了基于混合高斯模型得到的超级向量编码, 详细剖析了EM算法求教混合高斯模型的步骤, 并总结了该求解中需要注意的各种细节。区别于矢量量化的聚合函数, 文中采用了更适合编码技术的max pooling function, 这个结论在实验中可以很明显地观察到。为了解决困难样本问题, 本文运用了Universum技术, 而为了在大数据量寻优时使用L-BFGS算法, 本文用可导的损失函数代替标准的“转轴”损失函数 (hinge loss) 。
因为数据库和算法的原因, 计算时间太长, 占用内存和硬盘空间太多, 有时候由于维数太高而导致矩阵不能被创建。我们必须找到更高效的方法来减少运算时间和占用空间。此外, 我们可以提高该编码技术近似度, 以获得更好的分类效果。
摘要：随着社会迅猛发展, 科学技术日新月异, 人们获取的信息也在不断地增长。在数码相机, 个人电脑等电子产品日益普及的今天, 海量的图像数据成了人们获取信息的重要来源。人们开始利用计算机来辅助理解, 识别和区分这些图像。本文应用了超级向量编码取代经典的图像分类系统中矢量量化过程, 以达到更准确分类的目标。超级向量编码是基于混合高斯模型“软分配 (soft assign) ”特性产生的, 克服了矢量量化对数据近似误差较大的问题。此外, 本文还应用了更适合编码技术的max pooling聚合函数, 并把这种聚合函数应用在空间金字塔匹配架构上。最后, 运用改进的线性支持向量机进行分类。本文的分类系统在极具挑战性的PASCAL VOC 2009数据库上进行实验。实验比较了不同聚合函数对系统性能的影响。虽然实验结果总体不太理想, 但这个分类系统具有极大的研究价值。
关键词：图像分类,超级向量编码,混合高斯模型,聚合函数
参考文献
[1]Lowe, D.G.Distinctive image features from scale-invariant keypoints[N].IJCV, 2004, 60 (2) :91-110.
[2]Dalal, N.and Triggs, B.Histograms oforiented gradients for human detection[N].CVPR, 2005.
[3]Csurka, G., Dance, C., Fan, L., Willamowski, J.et la.Visual categorization with bags of keypoints[N].ECCV, 2004.
[4]Lazebnik, S.and Schmid, C.and Ponce, J.Beyond bags of features:Spatial pyramid matching for recognizing natural scene categories[N].CVPR, 2006.
[5]M.Jordan., J.Kleinberg and B.Scholkopf[M].Pattern recognition and machinelearning, 2006.
[6]Grauman, K.and Darrell, T.The pyramid match kernel:Discriminative classification with sets of image features[N].ICCV, 2005, 1458-1465.
[7]Jianchao Yang, Kai Yu and Yihong Gong.Linear Spatial Pyramid Matching Using Sparse Coding for Image Classification[N].CVPR, 2009, 1794-1801.
支持向量机的分解理论算法研究 篇10
1995年, Vapnik等人首先提出了支持向量机, 它是基于统计学习理论基础上发展出的一种新的机器学习方法, 以VC维理论和结构风险最小化原则为基础, 建立在坚实的数学和理论基础之上, 较好地解决了小样本、非线性和高维数的问题, 从根本上克服了以神经网络为代表的传统机器学习方法存在的局部极值、过学习等缺陷, 具有全局最优、泛化能力强等优点。
2 支持向量机的基本原理及算法
支持向量机是统计学习理论的重要内容, 是一种能够较好实现结构风险最小化思想的方法。它是从线性可分情况下的最优分类超平面提出来的, 它的基本模型是定义在特征空间上的间隔最大的线性分类器, 支持向量机的学习策略就是间隔最大化, 可形式化为一个求解凸二次规划 (convex quadratic programming) 的问题, 支持向量机的学习算法实际就是求解凸二次规划的最优化算法。根据支持向量机学习方法模型的不同, 可将支持向量机学习方法分成三种, 即线性可分支持向量机 (linear support vector machine in linearly separable case) 、线性支持向量机 (linear support vector machine) 及非线性支持向量机 (non-linear support vector machine) 。当训练数据线性可分时, 通过硬间隔最大化 (hard margin maximization) , 学习一个线性的分类器, 即线性可分支持向量机, 又称硬间隔支持向量机;当训练数据近似线性可分时, 通过软间隔最大化 (soft margin maximization) , 也学习一个线性的分类器, 即线性支持向量机, 又称为软间隔支持向量机;当训练数据线性不可分时, 通过使用核技巧 (kernel trick) 及软间隔最大化, 学习非线性支持向量机, 下面具体介绍一下它们的算法。
线性可分支持向量机学习算法:
①构造并求解约束最优化问题:
undefined
②由此得到分离超平面:w*·x+b。*=0
分类决策函数f (x) =sign (w*·x+b*)
线性支持向量机学习算法:
①选择惩罚参数C>0, 构造并求解凸二次规划问题
undefined
求得最优解α*= (α*1, α*2, L, α*N) T
②计算undefined
选择α*的一个分量α*j适合条件0≤a*j≤C
③求得分离超平面 w*·x+b*=0
分类决策函数:f (x) =sign (w*·x+b*)
非线性支持向量机学习算法:
①选取适当的核函数K (x, z) 和适当的参数C, 构造并求解最优化问题
undefined
求得最优解α*= (α*1, α*2, L, α*N) T
②选择α*的一个分量α*j适合条件0≤a*j≤C, 计算undefined
③构造决策函数:undefined
当K (x, z) 时正定核函数是, 解存在。
3 分解理论算法
SVM方法的训练速度决定了它的应用性, 为了提高训练速度, 增强它的泛化能力, 许多研究者采用加参数、换变量及设计核函数等办法来解决凸二次规划问题的最优解, 取得了良好的效果, 分析这些算法, 实际上很多都是围绕分解思想展开的, 即将原始问题分解为若干数量的子问题, 通过不断解决子问题来求得原问题的最优解。现将分解理论思想下的三种典型训练算法介绍如下, 它们分别是块算法、固定工作样本集算法和序列最小最优化算法。
(1) 块算法
Cortes和Vapnik于1995年提出了块算法 (Chunking Algorithm) , 该算法的特点是通过删除矩阵中对应于Lagrange乘子为零的那些行和列, 减少了矩阵的规模, 既提高了运算速度, 又不影响最终原问题的解的结果。如果其中的支持向量是已知的, 寻优算法就可以排除非支持向量, 只需对支持向量计算权值 (即Lagrange乘子) 即可。实际问题中, 支持向量往往是未知的, 块算法的目标就是通过多种迭代方式逐步排除非支持向量。具体的步骤是, 选择一部分构成工作样本集进行训练, 提出其中的非支持向量, 并用训练结果对剩余样本进行检验, 将不满足KKT条件的样本与本次结果的支持向量合并成为一个新的工作样本集, 然后重新训练, 如此循环下去, 最后所有非零Lagrange乘子都被找到, 从而获得最优结果。
块算法:
①给定参数M>0, 精度ε, 选择初始块 (工作集) W0⊂T, 其对应的样本点的下标集为J0, 令K=0
②针对工作集Wk, 用标准优化算法求解最优化问题
undefined
得最优解αJk
③根据αJk按照下述方式构造αk= (αundefined, L, αundefined) T:当j∈Jk时, αundefined取为αJk相应的分量;当j∉Jk时, αundefined=0。检验αk是否在精度内满足某个停机准则, 如KKT条件:
undefined
若已满足, 则有αk构造决策函数, 停止计算, 否则转④
④根据αJk支持向量对应的样本点组成的集合Sk, 在集合T/Sk中找M个最严重破坏条件的样本点, 用这M个样本点和Sk中样本点一起组成新的工作集Wk+1记相应的下标为Jk+1。
⑤令k=k+1, 转②继续。
(2) 固定工作样本集算法
块算法应对支持向量数目较小的大数据量样本来说是没有问题的, 但是, 对于支持向量数目较大的大数据量来说, 随着训练过程迭代次数的不断增多, 工作样本集也会越来越大, 算法越来越复杂, 样本训练速度缓慢。Osuna等在1997年采用固定工作集的大小的方法, 把问题分解成为固定样本数的子问题, 将训练样本集分为工作集和非工作集, 集合中包含样本个数至少和支持向量的个数一样多。工作样本集的大小规定在算法速度可以达到的区间内, 即使支持向量超过工作集的大小, 也不改变工作集的规模, 除工作集的样本外, 其余的样本集保持不变, 成为固定集。
设工作集为Sw, 则剩余的样本集为Sf, 若记他们的下标分别为B和N。则有
undefined
将以上各式带入优化问题
undefined中, 得到二次规划
undefined
其中undefined
固定工作样本集算法:
①初始化αi, α*i;
②从数据集中任取|B|点作为工作集;
③用上述二次规划进行优化;
④选择不满足KKT条件构造Sw;
⑤直到所有样本满足KKT条件, 否则转②
(3) 序列最小最优化算法
支持向量机的学习问题可以转化为求凸二次规划问题的最优解问题, 但是, 当训练样本容量很大时, 这些算法往往就变得非常低效, 为了提高学习效率, Platt于1998提出了序列最小最优化算法 ( Sequential Minimal Optimization, 简称SMO) 。这种算法是一种启发式算法, 其基本思路是:如果所有变量的解都满足次最优化问题的KKT条件 (Karush-Kuhn-Tucker conditions) , 那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。否则, 选择两个变量, 固定其他变量, 针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解, 因为这会使得原始二次规划问题的目标函数值变得更小。重要的是, 这是子问题有两个变量, 一个是违反KKT条件最严重的那一个, 另一个是由约束条件自动确定的。如此, SMO算法将原问题不断分解为子问题并对子问题求解, 进而达到求解原问题的目的。
SMO算法:
①取初值α (0) =0, 令k=0;
②选取优化变量αundefined, αundefined, 解析求解两个变量的最优化问题
undefined
其中, Kij=K (xi, xj) , i=1, 2, L, N, ζ是常数。求得最优解αundefined, αundefined, 更新α为α (k+1) ;
undefined
其中, undefined, 则转④;否则令K=K+1, 转②;
④取undefined。
4 总结
近年来, 支持向量机的分解算法得到了充分的应用和验证, 提出了许多改进训练算法, 但是, 当遇到大规模问题及海量数据时, 目前的算法依然不能很好的解决问题, 造成训练效率低下, 因此, 进一步分析、完善支持向量机算法, 使之更好地应用于实践是下一步研究的问题。
参考文献
[1]VAPNIK.The nature of statistical learning theory[M].New York:Springer Verlag, 2000.
[2]李航.统计学习方法[M].清华大学出版社.2012.3
[3]高宏宾.基于块和分解的改进的支持向量机算法[J].计算机技术与自动化.2005.12
[4]李晓宇.支持向量机的研究进展[J].测控技术.2006.25 (5)
[5]王平.支持向量机算法及其应用[J].信息与电子工程.2005.12
[6]李向东.支持向量机分解算法研究[J].计算机与数字工程.2007.37 (5)
向量研究 篇11
摘要：作为关系国民经济和社会发展全局的基础性、战略性、先导性产业，软件产业对中国城市经济社会发展具有重要的支撑和引领作用。研究中国城市软件产业竞争力，有利于加快中国城市软件产业布局和政策调整，争抢新一代信息技术和产业发展先机。文章在充分借鉴已有研究成果的基础上，创新地提出城市软件产业竞争力评价体系应结合世界八大科技园区成功关键要素以及世界科技园区的核心竞争力，通过综合环境、产业实力、创新能力和发展潜力四个维度构建。结果表明，产业实力对软件产业竞争力影响最大，贡献度高达54.5%。具体来看，软件产业对经济拉动作用、软件产业政策以及软件产业盈利水平成为影响中国城市软件产业竞争力的主要因素。
关键词：城市软件产业；竞争力；支持向量机
一、 引言
近年来，包括美国、欧盟、日本、韩国和中国在内的世界各个主要国家和地区纷纷加大投入，出台包括云计算、大数据、移动互联网等领域战略规划，积极推进对新一代信息技术的研发和应用，加快技术、标准和产业布局，力图抢占发展先机和战略制高点。
伴随各国加快支持、布局新一代信息技术和产业，争抢发展先机，软件和信息技术服务业（以下简称“软件产业”）的重要地位日益凸现，其在IT产业中的比重不断提高。根据Gartner的相关数据计算，2013年世界软件产业支出占世界IT支出的比重高达33%。工业和信息化部数据显示，在中国IT产业结构中，软件产业的比例从2008年的11.3%上升至2014年的24.2%。
研究中国城市软件产业竞争力，有利于加快中国城市产业布局和政策调整，争抢新一代信息技术和产业发展先机，带动资源要素向具有较强竞争力的城市流动，促进资源合理优化配置。
二、 研究思路与指标体系
1. 研究思路。关于城市软件产业竞争力研究成果有很多，大部分研究以波特钻石模型为分析依据，从产业投入、产业产出、产业创新能力等方面构建指标体系，研究软件产业竞争力现状、揭示影响软件产业竞争力的主要因素。
贾建莉、刘西林等（2005）以产业的投入和产出、产业的技术创新、产业的市场绩效和产业的外部支撑环境为关键要素，加入劳动强度等相关指标，将陕西省软件产业与其他省和直辖市的软件产业进行了横向比较；嵇留洋，何有世（2012）等人从生产成本、基础设施、人才、软件产业的业务收入等方面对国内软件外包的竞争力进行分析，并对江苏省和国内其他7个省市软件外包的竞争力进行横向的比较和分析；孙德祥（2012）通过主成分分析方法，从产业基础、产业投入、产业产出、创新能力、集聚能力、社会效益和经济效益等方面建立18个指标对国内9个城市进行了评价；袁丹、雷宏振（2014）基于因子分析法，通过软件研发人均经费支出、软件研发人员占比等8个指标对国内12个软件园区竞争力进行了比较分析。
笔者认为，研究中国城市软件产业竞争力时，在充分借鉴已有城市软件产业竞争力研究成果的基础上，应当认真研究全球软件产业发展规律，总结世界科技园区成功的关键要素，寻求世界科技园区核心竞争力，同时结合中国软件产业发展实际，从科学性、全面性和系统性等方面构建中国城市软件产业竞争力评价指标体系，这也是本文的创新之一。
2. 指标体系设计。在全球范围内，具有重要影响力的科技园区包括美国硅谷、日本筑波科学城、法国安蒂波利斯科技城、爱尔兰国家科技园区、英国剑桥科技园区、德国慕尼黑高科技园区、印度班加罗尔、中国台湾新竹科技园区等，通过研究这些科技园区的发展历程，笔者发现，世界八大科技园区成功的关键，一是具有强有力的技术基础，包括健全的基础设施和完善的网络架构，二是具有鼓励创新、容忍失败、政策灵活的创业氛围，三是毗邻高校、依托人才的智力支持，四是在园区管理方面，引入景观规划、行政管理、招商引资方面先进的理念。
从产业竞争力角度看，世界八大科技园区的竞争力突出体现在三个方面：一是知识创新，二是产业聚集，三是政府和市场推动，具体体现在研发支出、科研机构数量、专利数量、产品新形态、信息设施、生活质量等方面。
值得注意的是，与国外科技园区的发展完全由市场主导的发展路径不同，中国城市软件产业一般采用城市发展与软件园区同步一体的发展模式，具有独特的发展特点，突出表现出城市软件产业发展综合环境好、产业集聚能力强、政策支撑力度大、后发优势明显等优点。
根据本文此前拟定的分析思路，笔者认为，中国城市软件产业竞争力评价指标体系应当构建如下：
三、 样本城市和研究方法选择
1. 样本城市选择。根据软件产业实力强，软件产业发展潜力大以及数据可比、可得等原则，本文将样本城市锁定在：北京、上海、天津、重庆、大连、宁波、厦门、青岛、深圳、长春、哈尔滨、南京、杭州、济南、沈阳、武汉、广州、成都、西安等19个城市。
2. 研究方法选择。本文在进行中国城市软件产业竞争力研究时，样本城市为19个，即样本量为19个，评价指标为24个，即变量为24个。由于样本量小于变量个数，传统的统计方法将会失效，应当寻求小样本分析方法。
目前，国内外常用的解决小样本问题的方法主要包括：贝叶斯（Bayes）方法、自助法（Bootstrap）方法、贝叶斯-自助法（Bayes Bootstrap）方法、蒙特卡洛（Monte Carlo）模拟及支持向量机（SVM）方法。
贝叶斯（Bayes）方法通过将关于未知参数的先验信息与样本信息综合，再根据贝叶斯公式，得出后验信息，然后根据后验信息去推断未知参数。使用这种方需要事先获得先验信息。自助法（Bootstrap）方法通过从给定训练集中有放回的均匀抽样来对总体进行推断的方法，这种方法在样本量较小时，会产生较大的误差。贝叶斯-自助法（Bayes Bootstrap）方法将贝叶斯（Bayes）方法与自助法（Bootstrap）方法有效结合，提高了估计的精度，不过它仍然需要掌握部分先验信息。蒙特卡洛（Monte Carlo）模拟通过构造概率模型或模拟系统模型，使所求问题的解正好是该模型的参数或特征量，然后通过模拟给出模型参数或特征量的估计值。它操作简单、程序简单，但存在着收敛速度慢等缺点。支持向量机（SVM）方法以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小。
综合以上几种方法，支持向量机（SVM）方法在解决小样本、非线性及高维模式识别中表现出许多特有的优势，如对于维数不敏感、可收敛到全局最优、可去除大量冗余样本等。鉴于此，本文选择支持向量机（SVM）方法建模。
SVM方法假定支持向量机目的是把空间中的两类点（y=-1或y=1）用超平面wTx+b=0分开，而且希望这个超平面距离两类点的距离最大，也就是说，使得隔离带宽？籽=2/||w||最大，这等价于用Lagarange乘子法求下式的极小值，即：
根据得到的解w*，b*，？琢*得到最优分割超平面方程w*Tx+b*=0。任意点（x）的函数值w*Tx+b*的符号确定了该点的分类，或者说判别函数为sgn（w*Tx+b*），其数值大小代表了位置，即可用来进行竞争力判断。
四、 实证研究
根据前述中国城市软件产业竞争力评价指标体系，有四个分类变量（7.1是否云计算试点城市、7.2是否信息消费试点城市、7.3是否智慧软件园区试点城市和8.1是否拥有软件和信息技术服务业发展规划），可以按照各个变量结果为是或否，将样本城市分为训练集和测试集体，然后按照前述方法进行参数估计，使得？籽=2/||w||达到最大的参数估计为最优选择。
本文中指标体系数据全部来自于工业和信息化部，考虑到部分指标2014年度数据尚未发布，本文统一采用2013年度数据。同时，为消除量纲因素，本文在进行计算之前对数据进行了正态标准化，软件选择Matlab和minitab。
1. 竞争力评价结果。根据前述内容，使得？籽=2/||w||最大（即||w||最小）的分类变量为最优分类变量。根据计算结果，当分类变量为“7.3是否智慧软件园区试点城市”时||w||最小，此时对应的w*和b*数值带入相应方程即可得到最优超平面表达式f（x）为：
f（x）=-40.3x1+79.8x2-4.2x3+164.6x4+16.2x5+207.4x6+302.8x7+15.8x8+198.8x9-140.1x10+221x11+126.4x12+127.5x13+100.5x14+157.7x15-36.7x16+117.7x17+122.9x18+218.2x19+227.2x24+0.789 5
根据最优分类变量对应的参数估计结果，将样品观察值代入相应的方程中，可以得到中国城市软件产业竞争力按照从高到低的顺序为：北京市、深圳市、上海市、南京市、广州市、杭州市、成都市、沈阳市、济南市、大连市、武汉市、厦门市、西安市、青岛市、重庆市、天津市、宁波市、哈尔滨市和长春市，结果如图1示。
2. 聚类分析。根据快速聚类法，本文研究对象中的19个样本城市聚类结果如下：
由聚类树图（图1）可以看出，这19个样本城市大致可以分为五类：第一类：北京市、深圳市、上海市、广州市；第二类：南京市、杭州市、成都市；第三类：天津市、重庆市、武汉市；第四类：大连市、沈阳市、厦门市、济南市、西安市；第五类：宁波市、青岛市、长春市、哈尔滨。
从分类情况来看，第一类属于一线城市，在多项指标上领先，处于总体上具有竞争优势的梯队；第二类比较优势在于软件业务收入占城市GDP比重和中国软协年度推优产品数量，表明第二类软件城市竞争优势在于软件产业对城市经济的带动作用；第三类比较优势在于市辖区面积和高等院校数量，表明城市发展空间和智力资源成为第三类的比较优势；第四类城市各要素竞争力均处于中游，其竞争优势在于发展软件产业的整体性，第五类软件城市的比较优势在于软件和信息技术服务业收入增速，表明第五类城市发展软件产业的潜力较大。
3. 竞争力影响因素分析。通过最优超平面方程发现，对软件竞争力影响较大的因素包括：软件业务收入占城市GDP比重、软件和信息技术服务业发展政策及资金和软件和信息技术服务业盈利水平，这三项指标的贡献度达到40.5%。由此可见，软件产业对经济拉动作用、软件产业政策以及软件产业盈利水平成为影响中国城市软件产业竞争力的主要因素。
将各个竞争力影响因素的贡献度累加可得到四个一级指标对中国城市软件产业竞争力的影响程度，结果如下：综合环境的贡献度为7.45%，产业实力的贡献度为54.5%，创新能力的贡献度为27.18%，发展潜力的贡献度为10.87%。
结果表明，中国城市软件产业竞争力的主要影响因素为产业实力，其次是创新能力和发展潜力。
五、 结论展望
本文从综合环境、产业实力、创新能力和发展潜力四个维度刻画了中国城市软件产业竞争力，其中，对软件产业竞争力影响最大的是产业实力，方差贡献率高达54.5%。从具体指标上来看，软件产业对经济拉动作用、软件产业政策以及软件产业盈利水平成为影响中国城市软件产业竞争力的主要因素。根据已有数据，可将国内19个软件城市分为四类：第一类为北上广深等一线城市，总体上竞争优势较强，未来需要在保持已有优势基础上，通过不断创新增强竞争力；第二类为南京、杭州和成都，其竞争优势在于软件产业对城市经济的带动作用，未来应进一步扩大这方面的优势，提升整体竞争力；第三类为天津、重庆和武汉市，其竞争优势在于城市发展空间和智力资源，未来应通过软件产业空间布局、促进当地科研院所知识转化方面出台更多有效措施；第四类为大连、沈阳、厦门、济南和西安，其竞争优势在于整体性，未来应发挥这些城市发展软件产业的协同效应，增强协同创新性，不断提高整体竞争力；第五类宁波、青岛、长春和哈尔滨，其竞争优势在于发展潜力，未来应当出台措施培养软件产业的成长性、挖掘软件产业的市场潜力。
参考文献：
[1] 赵彦云.国际竞争力统计模型及应用研究[M].北京：中国标准出版社，2005.
[2] 迈克尔波特.国家竞争优势[M].北京：华夏出版社，2005.
[3] 高惠璇.统计计算[M].北京，北京大学出版社，2014.
[4] 吴喜之.复杂数据统计方法——基于R的应用[M].北京：中国人民大学出版社，2013.
[5] 李航.统计学习方法[M].北京：清华大学出版社，2015.
[6] 高尚.支持向量机及其个人信用评估[M].西安：西安电子科技大学出版社，2013.
作者简介：胡俊超（1981-），男，汉族，河南省泌阳市人，中国人民大学统计学院博士生，新华社中国经济信息社征信中心总经理、主任编辑（副高），研究方向为应用统计；王丹丹（1983-），女，汉族，河南省安阳市人，北京交通大学中国产业安全研究中心博士后，就职于交通银行北京市分行，研究方向为产业竞争力、产业安全、商业银行压力测试。
向量研究 篇12
入侵检测系统作为一种积极主动的安全防护工具, 提供了对内部攻击、外部攻击和误操作的实时防护, 在计算机网络和系统受到危害之前进行报警、拦截和响应。入侵检测可以看作是一个分类问题, 也就是对给定的审计数据进行分类。但现在流行的入侵检测系统都存在误报、漏报及实时性差等缺点, 特别是需要大量或者完备的审计数据集才能达到比较理想的检测性能, 并且训练学习时间较长。所以就需要寻找一种在小样本的情况下, 能正确提取训练数据特征, 实现入侵检测的方法。
1. 支持向量机
支持向量机 (support vector machines, SVM) 是20世纪90年代由Vapnik等人提出的一种基于统计学习理论的新型机器学习方法。该方法利用有限训练样本进行训练学习, 并得到最优结果。
机器学习问题的本质就是以给定的标注训练样本集找出输入输出之间的函数关系, 使得能够对未知输出作出尽可能准确的预测。因为通常并不能直接得到可以准确地表示这种依赖关系的函数, 所以往往是在一组可能的函数中寻求一个最优解 (Vapnik, 1995) 。一般的, 学习问题表示如下:变量J, 与X存在某一未知依赖关系, 即遵循一定的未知联合概率F (X, Y) =F (x) F (y|x) , 学习的目标就是根据己知的条件即l个独立同分布观测样本
从给定的函数集{f (x, w) }选择出一个能够最好地估计出Y和x之间依赖关系的函数.f (x, Wo) 。其中{f (x, w) }被称为预测函数集, w为函数的广义参数。为了度量f (x, Wo) 对未知依赖的逼近程度, 引入了期望风险的概念, 如式 (1-2) 。从而将学习问题转化成期望风险最小化问题。
其中{f (x, w) }为由于用f (x, w) 对Y进行预测而造成的损失, 不同类型的学习问题有不同形式的损失函数 (Cherkassky, 1997) 。但由于支持向量机在构造最优分类面时所有的样本具有相同的作用, 因此, 当训练样本中含有孤立点和噪声点样本时, 这些含有“异常”信息的样本在特征空间中常常位于分类超平面附近, 导致获得的分类面不是真正的最优分类超平面。
2. 模糊支持向量机
针对以上这种情况, Lin等学者提出了模糊支持向量机方法 (FSVM) , 将模糊技术应用于支持向量机中, 对不同的样本采用不同的惩罚权系数, 使得在构造目标函数时, 不同的样本有不同的贡献, 对含有孤立点和噪音点样本赋予较小的权值, 从而达到消除孤立点和噪音点样本影响的目的。支持向量机的最优超平面主要是由距最优超平面距离最近的点, 即支持向量 (包含于两类样本相对边界向量) 来确定。由于这些支持向量都位于两类样本的相对边界上, 距两类中心点的距离都较远, 如果按照文献提出的减小孤立点作用的方法, 在减小孤立点作用的同时, 也大大减小了支持向量对分类超平面的作用, 其最终结果将会使所获得的分类超平面偏离最优分类超平面, 从而影响了支持向量机的分类性能。
为了降低噪音数据以及孤立点数据对支持向量机的影响, 提出了一种类中心向量方法, 将所要分类的两类样本的中心点引入支持向量机的分类超平面当中。由于支持向量机的最优分类超平面与两类样本的类中心点的关系随着两类样本分布的不同而不同, 而两类样本的分布事先是未知的, 所以, 究竟应当在多大程度上加入两类样本的中心点信息不得而知。因此, 此方法在一定程度上降低了噪音数据以及孤立点数据对支持向量机分类的影响, 同时也加入了选择参数的人为主观因素噪音, 所选择的分类超平面一般情况下都会偏离最优分类超平面。本文中提出了一种基于后验概率加权的FSVM方法, 一方面可以大大减弱孤立点和噪音点对支持向量机最优超分类超平面的影响, 另一方面, 不影响支持向量机对分类超平面的决定作用。
3. 基于后验概率加权的模糊支持向量机算法
步骤1求出训练集的孤立点。
步骤2利用后验概率的经验性方法计算非孤立点的后验概率。
步骤3利用算法1求出每个样本点的隶属度值。
步骤4将求得的隶属度值带人FSVM, 依据训练集进行训练。
仿真实验:
4. 结束语
本文在传统SVM的基础上, 提出了一种基于模糊支持向量机的方法来对入侵特征进行分类, 实验证明在区别噪声点方面明显优于传统SVM的识别能力, 这样不仅解决了少样本分类的难题而且解决了噪声点对小样本的影响, 从而使得入侵检测系统具有更高的准确性和实用性, 但是在样本不断增加更新的情况时, 这种方法就显得比较冗余, 所以改进的目标将是将增量概念加入其中, 以期待更好更完美的识别效果。
摘要：入侵检测系统是任何一个完整的网络安全系统中必不可缺的部分。日益严峻的安全问题对于检测方法提出更高的要求。传统的入侵检测方法存在误报漏报及实时性差等缺点, 将机器学习的技术引人到入侵监测系统之中以有效地提高系统性能具有十分重要的现实意义。支持向量机 (SVM) 是一种建立在统计学习理论 (SLT) 基础之上的机器学习方法。被成功地应用到入侵检测领域中。本文讨论了模糊支持向量机优化算法及其在入侵检测中的应用。实验表明, 基于模糊支持向量机检测入侵的方法能较大地提高入侵检测系统的性能。
关键词：入侵检测,模糊支持向量机,分类
参考文献
[1]魏延基于后验概率加权的模糊支持向量机重庆工学院学报2009.