非线性最小二乘优化（精选8篇）
非线性最小二乘优化 篇1
1 引 言
变电站接地网对变电站的安全运行具有重要的意义,是电力运行部门十分关注的问题,近年来也成为学术界研究的一个热点[1,2,3,4,5,6]。接地网导体埋于地下,由于化学腐蚀等原因使接地导体产生锈蚀极大地改变接地网的参数,从而影响接地网的接地性能。大型变电站接地网覆盖面积大,接地导体网格的数量也较大,因此接地导体的腐蚀程度是不均匀的,这给运行部门的维护检修带来相当大的困难。为了节约地网改造的成本,需要对接地导体网格的腐蚀情况有准确的评价,为接地网的改造提供准确的信息。
目前对接地网腐蚀程度的评价主要是进行测试,并通过一定的模型和算法诊断各个接地网格导体的实际电阻,与接地网的设计值对比即可知道接地导体的腐蚀程度,并在此基础上制定接地网改造方案。其中文献[3]利用接地网的可及点电压值检测接地网故障的判据,应用网络撕裂法概念建立接地网区域故障的诊断方程。文献[4]提出了一种基于禁忌搜索算法的接地网故障诊断方法,采用轮换激励位置和每处激励多处测量的方法,使可及节点得到更充分利用,观测信息显著增加。
本文提出了一种基于灵敏度分析的线性二乘优化模型。根据电路理论,电路元件参数的变化会引起电路响应参数的变化,当元件参数的变化量很小时,可以把电路响应参数的变化量近似表示成元件参数的变化量及响应参数对各个元件参数灵敏度的线性关系,从而建立基于最小线性二乘优化的诊断方程。通过求解线性最小二乘优化问题就可以诊断出腐蚀接地网各个接地导体的实际电阻值。
2 故障诊断模型
设接地网的支路电阻为Ri(i=1,2,…,b,其中b为支路数),测试参数(或响应参数)为各个可及测试节点的电压Vx(x=1,2,…,N,其中N为接地网可及节点数),若在接电网的两个可及测试节点i,i′间施加激励(可以为电流激励也可为电压激励),但考虑节点i,i′到电源间的引线电阻可能造成的影响,选择电流源作为接地网的激励源。接地网的测试框图如图1所示。
在如图1所示的测试条件下,故障条件接地网测试节点x的节点电压为V′x,非故障条件(所有接地支路电阻值都为标称值)节点x的节点电压为Vx,故障条件及非故障条件下Vx的变化量为ΔVx=V′x-Vx,Vx对各个支路电阻的灵敏度为Sundefined=∂Vx/∂Ri(i=1,2,…,b)。故障条件下每个支路电阻值为R′i,标称值为Ri,故障条件及非故障条件下各支路电阻的变化量为ΔRi=R′i-Ri(i=1,2,…,b),根据以上介绍的灵敏度理论,ΔVx可以表示如下:
undefined
这样即可把电路可及节点的节点电压变化量ΔVx表示成关于元件参数变化量ΔRi=R′i-Ri(i=1,2,…,b)及灵敏度Sundefined=∂Vx/∂Ri(i=1,2,…,b)的线性关系。
在同样的激励条件下(激励位置和大小相同),可以选择α不同的测试节点,得到一组多个测试节点电压的变化量与元件参数变化量及灵敏度的线性关系:
undefined
一般接地网的支路电阻数较多,为了通过解式(2)对各个支路电阻值进行识别,需要建立较多的形如式(1)的线性等式。若在相同的激励条件下选择过多的测试节点,方程(2)的条件会变坏。因此为了改善方程组(2)的条件,应该选择不同的节点i,i′施加激励,而且在同一激励条件下测试不同节点的节点电压。
3 灵敏度算法
接地网为纯电阻网络,根据电路理论中的节电电压法,电路的节电电压Vn向量与电路导纳矩阵Yn及电路施加的电流激励Is向量之间的关系可以表示为:
undefined
令:B=Yundefined。
undefined
节点电压对支路导纳的灵敏度为:
undefined
再由Yn·Yundefined=1得:
undefined
根据灵敏度关系,节点k的节点电压Vnk对电阻Rij的灵敏度为:
undefined
4 线性最小二乘优化模型
方程组(2)可以表示成如下的矩阵形式:
undefined
其中:ΔR=[ΔR1,ΔR2,…,ΔRb]T,d=[ΔVx1,ΔVx2,…,ΔVxα]T,C为式(2)中的灵敏度系数矩阵。
线性最小二乘优化模型为:
undefined
式(9)的线性最小二乘优化模型可以使用Matlab中的工具箱直接求解。
5 实例仿真
本文提出的的模型和方法在如图2所示的实际接地网上进行了数值仿真,数值仿真的结果如表1所示。
从表1可以看出实际电阻的诊断值与设定的故障值相当接近,误差不超过7.5%,取得了较好的诊断结果。
6 结 语
本文在基本电路理论和灵敏度分析的基础上,提出了一种线性最小二乘优化模型。该方法充分利用可及节点所提供的信息,建立的模型可以反映节点电压变化量与接地网导体电阻变化量之间的关系,在此基础上建立了最小二乘优化模型。从仿真实例的结果可以看出该方法具有较高的故障诊断精度。
参考文献
[1]刘渝根,滕永禧,陈先禄,等.接地网腐蚀的诊断方法研究[J].高电压技术,2004,30(6):19-21.
[2]王新翠,彭敏放.基于对称复镜像法接地网接地电阻的算法[J].现代电子技术,2007,30(9):143-145.
[3]江修波.接地网故障诊断的一种新方法[J].福州大学学报:自然科学版,2005,33(6):749-752.
[4]程红丽,刘健,王森,等.基于禁忌搜索的接地网故障诊断[J].高电压技术,2007,33(5):139-142.
[5]刘渝根,吴立香,王硕.大中型接地网腐蚀优化诊断实用化分析[J].重庆大学学报:自然科学版,2008,31(4):417-420.
[6]王树奇,倪云峰,刘健,等.接地网故障诊断中的拓扑分解算法[J].微电子学与计算机,2008,25(4):13-17.
非线性最小二乘优化 篇2
在线性回归模型中普通的最小二乘估计(LSE)许多情形下是不稳健的.本文介绍了一种投影深度函数,深度加权平均和深度加权LSE,这些估计量有符合需要的`稳健性.并讨论了在深度加权LSE情形下线性回归模型的拟合检验问题.
作 者：范允征 林路 Fan Yunzheng kin Lu 作者单位：范允征,Fan Yunzheng(南通大学理学院,江苏,南通,226007)
林路,kin Lu(山东大学数学与系统科学学院,山东,济南,250100)
非线性最小二乘优化 篇3
1.1 线性最小二乘
对于线性回归模型[1]
其中y是因变量向量, x是自变量矩阵, β0, β1是未知参数, ε为随机误差。参数β0, β1一般采用最小二乘法进行估计, 求使达到极小的β0, β1的估计分别为, 则
为所求的回归值, 亦称预测值。
1.2 非线性最小二乘
在实际问题中存在着大量的非线性最小二乘问题。一般地, 非线性观测方程[2]可写为
相应的误差方程为, 残差平方和为
使得上式达到最小的称为得一个非线性最小二乘估计。因为非线性模型比较复杂, 其最小二乘估计往往难以求得, 有些采用数值迭代方法, 往往带有一定的误差。本文讨论用经典的线性最小二乘的方法求非线性最小二乘估计。
2. 案例应用
表1是患者细胞呈现的某种基因的观测值[3], 已知中数据适合模型, a是未知参数。由于a不仅仅是与相乘, 这个问题应该用非线性最小二乘法来解决。
将函数求导, 令各参数对应的偏导数为零, 求出极值点, 即最小二乘估计, 代入模型之后进行预测。绘制图形, 其中*点为数据点, 曲线为回归线, 并比较真实值和模型预测值。
另一种方法是将数据转换为线性最小二乘法问题, 构造新的测量值, 通过模型找到X的函数z。用线性最小二乘法估计变量a, 绘制图形并与非线性最小二乘法结果比较。令
将z1与X进行一元线性回归分析 (过原点) ,
结果为即, 参数a的置信区间为 (1.8656, 2.1928) 。
从图形看用线性最小二乘法所得回归线与真实值近似程度较好。从具体误差数据来看, 也是如此。
3. 结论
本文讨论了将非线性问题转化为线性问题, 通过一个实际案例两个方法进行比较, 说明线性最小二乘在某些情况下优于非线性最小二乘。
参考文献
[1]王松桂, 陈敏, 陈立萍.线性统计模型线性回归与方差分析[M].北京:高等教育出版社, 1999:29-30.
[2]王新洲.非线性模型参数估计理论与应用[M].武汉:武汉大学出版社, 2002.
非线性最小二乘优化 篇4
非线性最小二乘曲线拟合法, 就是利用非线性最小二乘法的基本思想和一些典型的非线性特征曲线来实现预测的方法。以下首先介绍线性最小二乘法的基本思想。然后, 尝试使用非线性特征曲线拟合法, 包括指数曲线拟合法、饱和指数曲线拟合法、皮尔 (Pearl) 曲线拟合法以及高柏茨 (Gompertz) 曲线拟合法。在历年中国网民的规模数据基础上, 对历年中国网民的规模做一个简单的预测。
一、最小二乘法的基本思想
作为其预测值, 对现有的x所对应的估值为:
二、指数曲线拟合法
大量的研究表明, 世界上许多事物的发展在一定时期内往往呈现出“雪崩”式的快速增长——指数增长。互联网行业同样如此, 伴随技术的进步、经济的起飞, 其增长趋势接近“指数规律”, 用指数函数建立拟合的模型较为满意。
1. 基本思想
其中, A>0, B>1。对式两边取对数, 得lgy=lg A+xlg B
令Y=lgy, a=lg A, b=lg B
这样, 便将指数曲线化为了直线, 于是, 可以套用算式 (6) 求得系数a和b, 再求反对数即获得指数增长模型中的待定系数A和B。对式 (9) 可做类似处理, 求出待定系数A和B。
2. 实例分析
截至2008年底, 中国网民规模达到2.98亿人, 较2007年增长41.9%, 互联网普及率达到22.6%, 略高于全球平均水平 (21.9%) 。继2008年6月中国网民规模超过美国, 成为全球第一之后, 中国的互联网普及再次实现飞跃, 赶上并超过了全球平均水平。 (1)
三、饱和指数曲线拟合法
1. 基本特征
实践证明, 各种事物的生长过程或成长过程均具有一定基本的共性, 主要具有下述两个特征。
(1) 发展的全过程科粗略分为三个阶段:首先是萌芽阶段, 此时, 事物处于初生或初创时期, 进展比较缓慢;其次是发展阶段, 此时在数量上出现明显的增长, 且往往有一个高速发展或突破性进展的事情;最后是饱和阶段, 此时的发展越来越慢, 趋于淘汰。 (2) 发展中存在一个上线或极限, 制约着每一个具体发展的全过程。
基于这两个事物共同的基本特征, 为了尽可能准确地拟合实际中各种各样的具体的事物发展过程, 便提出了有关描述“事物发展”的曲线拟合方法 (又称为生长模型法) , 其中, 饱和指数曲线拟合法以及皮尔 (Pearl) 曲线拟合法和高柏茨 (Gompertz) 曲线拟合法是比较具有代表性的方法。
2. 基本思想
其中, k, a, b为待求参数, 满足k>0, a>0, 0
通常用“三组法”来估计算式 (10) 中的参数, 以下简介之。
将 (2) 中的数据分别带入 (10) , 得
将方程组 (3) 中的算式顺序分成三组, 每组还有n个方程, 然后把各组加起来, 得
于是, 由方程组 (4) 便可以求得k, a, b的值:
3. 实例分析
将网民规模再次进行计算, 探讨中国网民的极限值。
按算式 (14) 计算b, a, k.。得出b=1.2868, 不在饱和指数曲线要求满足k>0, a>0, 0
四、结论
最小二乘法是一种数学优化技术, 它通过最小化误差的平方和找到一组数据的最佳函数匹配。用最简的方法求得一些不可知的真值, 而令误差平方之和为最小。在电子商务各个领域都能得到有效的应用。
参考文献
[1]陈庄, 等.ERP原理与应用教程[M].北京:电子工业出版社, ISBN7-50536-8632-8/TP.
非线性最小二乘优化 篇5
电子稳定程序(ESP)已成为现代车辆最重要的主动安全系统之一。ESP通过监测横摆角速度和质心侧偏角两个被控量来调整车辆姿态，从而避免或减轻行驶过程中的失稳现象[1]。其中，横摆角速度通常可以通过传感器直接测量，但质心侧偏角的获取需要通过估计等间接方法得到。因此，准确估计车辆的质心侧偏角对于ESP的性能有重要意义。
从估计方法来讲，应用车辆动力学和运动学模型来建立车辆状态估计器或观测器的方法被广泛使用[2,3,4]。其中，基于车辆动力学模型来估计质心侧偏角需要准确计算轮胎的侧偏力。然而，在不同附着系数的路面上，同一轮胎侧偏角对应的侧偏力却存在差异，尤其当侧偏角较大，侧偏力进入到侧偏角—侧偏力特性曲线的非线性区域时，这种差异更加明显。因此，寻找适应于不同附着系数的路面的轮胎模型是正确估计车辆质心侧偏角的关键。
从估计算法来看，自回归贝叶斯滤波算法(包括扩展卡尔曼滤波、无迹卡尔曼滤波和粒子滤波)，模糊逻辑[5]、滑膜变结构[6]、多模型交互[7]等算法均得到了应用，尤其是卡尔曼滤波算法应用得最为广泛，但卡尔曼滤波算法的收敛速度和去噪性能与卡尔曼增益和卡尔曼协方差矩阵初值的选择有很大关系[8]。而状态空间形式的自回归最小二乘算法(RLS)因原理简单、使用方便，特别适合于在线估计，从而为其在车辆动力学变量估计中的应用奠定了基础。
基于上述考虑，引入含变参数的轮胎侧偏力模型，在非线性单轨车辆模型的基础上，应用状态空间表达的广义自回归最小二乘算法建立了质心侧偏角估计器，通过高附着系数路面上的车辆蛇形试验和变附着系数路面上的双移线试验验证了估计方法的性能。
1 车辆动力学模型
1.1 车辆模型
不同于车辆性能仿真时需要建立复杂的多自由度模型，在面向状态变量估计问题时，需要协调计算效率即实时性和估计精度两方面的需求。参考文献[9]，将车辆模型简化为单轨模型，具有横摆运动和侧向平动两个自由度，如图1所示。其中，a、b分别为车辆质心到前后轴的距离，αf、αr和Fy1、Fy2分别为前后轮的侧偏角和侧偏力，δ为前轮转角，β为车辆质心侧偏角，vx、vy分别为车辆质心纵向、侧向速度。
车辆侧向平动的动力学方程为
式中，m为车辆质量。
车辆横摆运动的动力学方程为
式中，为车辆横摆角速度;Iz为垂直转动惯量。
车辆质心侧偏角定义为车辆侧向速度和纵向速度间的夹角，即
将式(1)和式(2)代入式(3)求导并忽略次要因素可得[9]
设状态矢量X=(vy，ωr，β)T，从而有状态方程：
或
1.2 非线性轮胎侧偏力模型
车辆侧向运动受轮胎侧偏力的支配。基于车辆动力学模型进行质心侧偏角估计，需要事先选择轮胎模型来计算侧偏力。然而，车辆行驶的道路附着系数却是时变的。应用一种适合于特定附着系数路面(如高附着系数路面)的轮胎侧偏力模型无法准确计算其他附着系数路面上(如低附着系数路面)的轮胎力，即轮胎侧偏力在不同的附着系数路面是有差异的，尤其当轮胎的侧偏角较大时，这种差异更加明显，如图2所示。
“魔术公式”(magic formula)是基于试验数据的轮胎模型，它表达简洁且具有较高的拟合精度。文献[10]给出的轮胎侧偏力公式为
其中，α为轮胎侧偏角，Fy为轮胎侧偏力。在不同附着系数的路面上，参数A1、A2、A3、A4分别对应不同的拟合值。考虑到不同附着系数路面上计算轮胎侧偏力的需要，对式(7)进行简化并引入动态参数，将其看作随路面附着系数作相应变化的时变参数，使原公式变为
式中，C(t)为随时间t变化的参数;Fz为轮胎垂直载荷;D、E分别为模型的常系数。
可以看到，式(8)中的侧偏力仍表示为垂直载荷的函数，并且减少了模型参数。
图3所示为Fz=3kN和Fz=5kN两种垂直载荷下高附着系数路面上魔术公式(式(7))和变换公式(式(8))侧偏力的对比，参考文献[10]，侧偏力曲线形状因子D取为1.3,E通过拟合取为13。随着参数C的不断变化(分别取0.92、0.94和0.96)，式(8)计算的侧偏力能够接近魔术公式所得曲线。在中、低附着系数路面，随着参数C的变化也可以得到相同的曲线族。
由式(8)可分别得到轮胎前后轮侧偏力(下标1、2分别表示前轮、后轮)：
2 状态空间自回归最小二乘算法
自回归最小二乘算法本质上是一种递推形式的算法，其基本原理是应用新测量的信息来不断修正先前估计的变量，因此，该算法适用于变量的在线估计。本文选择以状态空间形式表达的广义自回归最小二乘算法[11]，其基本的表达式为
式中，为第k步预测值的更新;为从第k-1步到第k步的预测;Kk为第k步的估计增益;yk为第k步的观测值;Hk为第k步的量测方程。
考虑到车辆侧向加速度(而非侧向速度)可直接测量，故将加速度作为状态变量更加方便，即状态矢量为X=(ay，ωr，β)T，变形的魔术公式中的参数C也作为估计参数，从而状态矢量扩展为X=(ay，ωr，β，C1,C2)T。
式(11)中，^Xk|k-1是通过状态方程得到的状态变量：
式中，Uk为第k步的输入量;Vk为第k步的状态噪声。
状态方程和观测方程中的输入变量为车辆的前轮转角δ和纵向车速vx。δ通过方向盘转角传感器测量并由转向系传动比折算成前轮转角，即
V为系统的过程噪声。对于状态方程的展开，编程中采用欧拉法来实现其线性化，从而式(12)表示为
其中，k、k-1分别代表时间序列上的第k、k-1步;ΔT为时间步长;Fy1、Fy2为中间变量，可通过式(9)和式(10)求得。
Kk为估计增益，其表达式为
其中，λk为遗忘因子。引入遗忘因子的作用是增大新测量数据即车辆横摆角速度和侧向加速度的权重，从而减小旧测量数据的权重。J为状态方程对扩展状态变量的雅可比矩阵：
式中，x1、x2、x3分别为车辆侧向加速度ay、横摆角速度ωr和质心侧偏角β;f1、f2、f3分别为三个变量的状态方程。
实际程序计算中，对于雅可比矩阵J的数值解，采用差分方法来实现，即
式中，i、j分别为状态方程的第i个分量和状态变量的第j个分量;ε为摄动常数，程序计算中取ε=10-5。
本文对车辆质心侧偏角的估计需要测量车辆质心的侧向加速度和横摆角速度，这两个变量也是ESP系统配置的传感器可直接得到的，即测量变量
其分量形式为
其中，,N=(n1,n2)T为系统的观测噪声。
综合上述各式，可以实现状态变量的递推更新和估计，即单轨车辆模型中扩展状态变量的更新是通过新得测量值y(车辆横摆角速度和侧向加速度)与测量估计值之差来修正状态变量的估计值，从而使状态变量蕴含新测量的信息。
3 试验验证和分析
为了验证状态空间RLS对质心侧偏角非线性估计的效果，分别通过高附着系数路面的实车场地蛇形试验和附着系数变化的虚拟仿真试验进行验证。虚拟试验在Carsim软件中实现，车辆模型参数见表1。用车辆速度、方向盘转角、横摆角速度及车辆侧向加速度作为真实传感器的测量值，用得到的车辆质心侧偏角值对估计结果进行验证。编程中的遗忘因子λ取0.98，状态矢量的初值X=(0,0,0,0.8,0.8)T。
3.1 试验1（高附着系数路面上的蛇形试验）
按照国标GB/T6323.1-94，在干燥路面上进行蛇形试验。车辆以45km/h的初始速度进入测试区进行蛇形试验。测得方向盘转角、车辆速度、横摆角速度如图4～图6所示。由图7所示的车辆侧向加速度变化范围-5.89～5.52m/s2可知，轮胎进入到了侧偏角一侧偏力特性曲线的非线性区。质心侧偏角估计结果如图8所示，由图8可知，在整体趋势上估计结果和试验曲线一致并较好地跟踪了测量值，达到较高的估计精度。轮胎模型中的参数C1和C2在估计过程中的变化如图9～图10所示，均发生了相应的变化。
3.2 试验2（变附着系数路面的移线试验）
变附着系数路面能全面检验估计的适应性。由于条件限制，变附着系数路面试验在车辆虚拟仿真平台Carsim中完成。路面附着系数依次为0.5、0.9和0.65，具体如图11所示，车辆在三段路面上均进行了不同程度的双移线试验。车辆的初始速度为80km/h，整个试验持续约24s。方向盘转角、车辆速度和横摆角速度分别如图12～图14所示。由图15可知，车辆在三种附着系数路面的最大侧向加速度分别为-5m/s2、-5.9m/s2和-5.6m/s2，轮胎均进入到了侧偏角—侧偏力特性曲线的非线性区。
质心侧偏角的估计结果如图16所示，可以看到，当车辆在低附着系数路面上运动时，其侧向运动较为剧烈，产生了较大的质心侧偏角，最大值达到0.148rad。整体来看，车辆质心侧偏角估计值较好地跟随了测量值。误差相对较大的地方出现在图形的“波峰”和“波谷”处。在这些地方，由于侧向加速度达到极值，轮胎侧偏相对严重，轮胎模型的参数C1和C2需要经历调整的过程，其相应变化过程分别如图17、图18所示，可以看到，它们的变化趋势随着路面附着系数的变化发生了相应变化，整体看来也经历了低-高-低的变化过程，与道路附着系数变化趋势相似。
作为对比，本文还应用扩展卡尔曼滤波(extended Kalman filter,EKF)算法对车辆质心侧偏角进行了估计。从图16中可以看到EKF的估计值同RLS估计值一样，较好地跟踪了测量值。定量的比较如表2所示，RLS和EKF估计值的最大误差分别为1.579°和1.889°，前者优于后者;估计均方根误差分别为0.1364°和0.0958°，后者估计精度稍微优于前者，但都在可以接受的范围内。从单位计算用时来看，在同样的计算机硬件条件下两者性能近乎相似，分别为0.893ms和0.917ms。轮胎模型参数C1和C2的变化见图17和图18。对比可知，基于EKF的参数变化和基于RLS的参数变化趋势一致，波动幅度小于RLS的估计值。但从使用条件来看，应用扩展卡尔曼滤波时要求事先假设噪声的统计服从高斯分布，而RLS却无此要求。
4 结论
(1)基于状态空间形式的自回归最小二乘算法建立了车辆质心侧偏角非线性估计器，对车辆动力学状态和轮胎参数同时进行了估计。
(2)通过实车高附着路面的蛇形试验和附着系数变化路面的双移线试验，对状态空间RLS算法的估计性能进行了验证。结果表明，即使车辆发生大侧偏现象使轮胎进入到侧偏角—侧偏力特性曲线的非线性区域，自回归最小二乘算法依然能够实现对单一附着路面和变附着系数路面上车辆质心侧偏角的估计，呈现出良好的适应性。
(3)状态空间RLS和EKF估计结果的对比表明，两者最大误差分别为1.579°和1.889°，均方根误差分别为0.1364°和0.0958°，单位计算耗时分别为1.193ms和1.217ms。从估计精度和计算效率来看，两者的估计性能相似，但EKF在使用过程中要求系统的噪声统计规律服从高斯分布，因此RLS具有更广的使用范围。
参考文献
[1]van Zanten A Z.Bosch ESP Systems:5 Years of Experience[C].SAE Paper,2000-01-1633.
[2]郭孔辉,付皓,丁海涛.基于扩展卡尔曼滤波的汽车质心侧偏角估计[J].汽车技术,2009,4(1):1-4.Guo Konghui,Fu Hao,Ding Haitao.Estimation of Vehicle Sideslip Angle Based on Extended Kalman Filter[J].Automobile Technology,2009,4(1):1-4.
[3]Fukada Y.Slip-angle Estimation for Vehicle Stability Control[J].Vehicle System Dynamics,1999,32(4):375-388.
[4]Piyabongkan D,Rajamani R,Grogg J,et al.Development and Experimental Evaluation of a Slip Angle Estimation for Vehicle Stability Control[J].IEEE Transactions on Control Systems Technology,2009,17(1):78-88.
[5]Cheli F,Sabbioni E,Pesce M,et al.A Methodology for Vehicle Sideslip Angle Identification:Comparison with Experimental Data[J].Vehicle System Dynamics,2007,45(6):549-563.
[6]Stephant J,Charara A,Meizel D.Evaluation of a Sliding Mode Observer for Vehicle Sideslip Angle[J].Control Engineering Practice,2007,15(7):803-812.
[7]Tsunashima H,Murakami M,Miyata J.Vehicle and Road State Estimation Using Interacting Multiple Model Approach[J].Vehicle System Dynamics,2006,44(S):750-758.
[8]Haykin S.Kalman Filtering and Neural Networks[M].New York:John Wiley&Sons,2001.
[9]Jazar R N.Vehicle Dynamics:Theory and Applications[M].New York:Springer,2008.
[10]Bakker E,Nyborg L,Pacejka H B.Tyre Modelling for Use in Vehicle Dynamics Studies[J].SAE Paper,870421,1987.
非线性最小二乘优化 篇6
在多元线性回归模型中,如果解释变量之间存在着密切的线性相关关系,就称它们之间存在着多重共线性. 在出现多重共线性情形时,普通最小二乘估计不再适用; 回归参数的估计值方差会很大,从而影响自变量对因变量的解释;估计的精度会降低; 估计的效果也会变坏. 在实际经济问题的多元回归分析中,多重共线性的现象很多,这时我们就应该寻找另外的回归方法对参数进行估计.
二、方法介绍
如果在实际问题中出现了多重共线性的现象,我们可以选择用有偏回归方法———岭回归( RR) 和偏最小二乘回归( PLS) 来处理. 岭回归是利用岭估计( X'X + k I)- 1X' Y来替代普通最小二乘估计( X'X)- 1X' Y,从而消除了普通最小二乘估计中矩阵X'X无法求逆的问题. 偏最小二乘回归是先在自变量集和因变量集中分别提取第一潜在因子t1与u1,其中t1与u1分别是自变量与因变量的线性组合,要求t1与u1尽可能多地提取所在变量组的变异信息,且t1与u1的相关程度达最大,然后建立因变量与t1的回归方程,若回归方程不能达到满意的精度,则继续提取第二潜在因子,否则停止.
三、实例比较
根据理论及对现实情况的认识,拟建立以我国国民总收入( 单位: 亿元) 为因变量y,以就业人员数( 单位: 万人) 、财政收入( 单位: 亿元) 、能源生产总量 ( 单位: 万吨标准煤) 、国有单位工资总额( 单位: 亿元) 和城镇集体工资总额( 单位: 亿元) 分别为自变量x1,x2,x3,x4,x5的线性回归模型. 由《中国统计年鉴》查得相关数据如下:
在SAS软件上使用REG过程来建立最小二乘回归方程,所有自变量的方差膨胀因子都大于100,诊断出模型中存在非常严重的多重共线性问题. 用最小二乘法所得到的回归方程为y = - 431189 + 6. 13224x1- 0. 18088x2+0. 44051x3+ 5. 69125x4- 13. 63786x5.
可以看到方程中,自变量x2,x5的系数为负,这显然与事实不符,这正是由多重共线性所导致,因此最小二乘回归求出的回归方程不利于模型的解释,下面改用岭回归方法来建模.
用SAS软件中的REG过程,求解岭回归方程. 由岭迹图可以看出,当岭参数k≥0. 02后,岭迹曲线趋于稳定,因此,取k = 0. 02的岭回归估计来建立岭回归方程为
这时,回归系数的符号符合实际意义.
现在用偏最小二乘回归方法来进行处理,用SAS软件中的PLS过程建立偏最小二乘回归方程,用最常用的舍一交叉验证法来抽取偏最小二乘的成分,结果抽取了3个偏最小二乘成分,得到偏最小二乘回归方程为
这时,回归方程中的回归系数的符号也都符合实际意义.
根据前面得出的岭回归方程和偏最小二乘回归方程,计算出衡量模型拟合效果好坏的平均绝对百分误差和复测定系数,得到相应的数值如下:
四、总 结
从上例可以看出,在多元线性回归模型中出现共线性问题时,最小二乘回归方法已经不再适用,而用岭回归和偏最小二乘回归这两种有偏回归方法都可以处理多重共线性问题,且从表2的结果可知,两种方法建立的回归方程拟合的效果都不错,而偏最小二乘回归方法相对岭回归方法要更优.
摘要：文章介绍了处理多元线性回归模型中多重共线性问题的有偏回归方法——岭回归和偏最小二乘回归,并通过实例比较了两种方法建立的回归方程的拟合效果,而偏最小二乘回归方法相对岭回归方法要更优.
非线性最小二乘优化 篇7
统计学习理论是由V.Vapnik等人建立的一种专门研究小样本情况下机器学习规律的理论,为解决有限样本学习问题提供了一个统一的框架,支持向量机就是在这一理论基础上发展而来的一种新的通用学习方法[1]。支持向量机通过结构风险最小化原理来提高泛化能力,较好地解决了小样本、非线性、高维数等实际问题,已在模式识别、信号处理、函数拟合等领域得到了成功应用,成为机器学习领域的研究热点之一。然而,用支持向量机求解分类问题,其本质上是一个二次规划问题,当样本数据量较大时,常规的数值优化算法及软件很难实现二次规划问题的求解。因此,运行时间和计算内存是支持向量机求解的主要瓶颈[2]。而作为支持向量机的改进算法,最小二乘支持向量机在运行速度上有了很大提高,同时减少了求解所需的计算资源,而其准确率并未明显下降,因此在模式识别和非线性函数拟合上得到了很好的应用。和其它算法一样,支持向量机的性能也依赖于模型的参数,研究人员对支持向量机的参数选择已作了很多研究,但至今还未提出明确的理论依据。如何实现模型的参数优化成为提高支持向量机学习性能和泛化能力的主要问题之一。本文结合J.A.K.Suyken等人开发的基于MATLAB语言的最小二乘支持向量机工具箱(LS-SVMlab),利用遗传算法实现了对支持向量机模型的参数优化,并基于一组木材表面颜色特征得到了很好的实验效果。
1 最小二乘支持向量机
支持向量机的基本思想是通过非线性变换将输入空间变换到一个高维空间,然后在这个新空间中求取最优线性分类超平面。支持向量机具有全局最优性和很强的泛化能力,能够很好地解决小样本学习问题,因此在模式识别、函数拟合等领域得到了广泛的应用。但同时,由于统计学习理论尚有很多问题需要进一步研究,在支持向量机结构、参数和核函数选择上还未有明确的理论指导。
最小二乘支持向量机LS-SVM(Least Squares Support Vector Machine)是在标准支持向量机上的一种扩展,由J.A.K.SuyKens和J.Vandewalle提出[3]。它采用最小二乘线性系统误差平方和作为损失函数,将求解过程变成了解一组等式方程,加快了求解速度,求解所需的计算资源较少,在模式识别和非线性函数拟合的应用中取得了很好的效果。
设训练样本D={ (xk,yk)| k=1,2,…,N},其中xk∈Rn为输入数据,yk∈R是输出类别。在权ω空间(原始空间)中的最小二乘支持向量机分类问题可以描述为求解以下问题:
约束条件:yk[ωTφ(xk)+b]=1-ekk=1,...,N (2)
定义拉格朗日函数:
L(ω,b,e;α)=Φ(ω,b,e)-
其中,拉格朗日乘子αk∈R。对上式进行优化:
上式可化为求解下面的矩阵方程:
即
其中,Z=[φ(x1)Ty1,φ(x2)Ty2,…,φ(xN)TyN]T,Y=[y1,y2,…,yN]T,ρ1=[1,1,…,1]T,e=[ e1,e2,…,eN]T,α=[α1,α2,…,αN]T,同时将Mercer条件代入到Ω=ZZT,可得:
Ωkl=ykylφ(xk)Tφ(xl)=ykylΨ(xk,xl) (6)
因此,式(1)的分类问题通过式(5)和式(6)的线性问题得到最终解,而不是解二次规划问题。核函数可采用高斯径向基核函数、多项式核函数、多层感知器核函数和线性核函数等多种符合Mercer条件的核函数[3,4]。常用的核函数的表示形式如表1所示[5]。
最小二乘支持向量机将不等式约束转化为等式约束,将误差平方和损失函数作为训练集的经验损失,这样就将二次规划问题转化成线性方程组的求解,简化了计算复杂性,提高了支持向量机求解问题的速度和收敛精度。但同时也必须指出,由于每个样本数据对分类期都有贡献,LS-SVM失去了标准SVM稀疏性的优点。
2 最小二乘支持向量机的参数优化
2.1 支持向量机的参数选择问题
采用支持向量机求解模式识别或函数拟合问题需要选择一个核函数,由于不同的核函数构成的分类器的性能不同,因此选择哪种核函数对于支持向量机的设计是非常重要的。研究表明,惩罚因子和核函数的参数是影响支持向量机性能的主要原因,其中核函数的参数主要影响样本数据在高维特征空间中分布的复杂程度,而惩罚因子的作用是在确定的特征空间中调节支持向量机的置信范围和经验风险的比例[6]。所以,要想获得泛化能力良好的支持向量机,首先要选择合适的核函数参数将数据映射到合适的特征空间,然后针对该确定的特征空间寻找合适的惩罚因子以使支持向量机的置信范围和经验风险具有最佳比例。
作为支持向量机的一种扩展,最小二乘支持向量机同样存在参数选择问题。目前应用较多的是采用网格搜索和交叉验证相结合的支持向量机参数优化算法,该算法由初始给定的参数出发,在给定的参数范围内采用网格搜索算法和交叉验证寻找最优参数[7]。首先网格搜索算法选择要优化的参数对(γ,ρ),然后用交叉验证法对目标函数(如均方差最小)进行寻优,直至找到最佳的参数对,使交叉验证的精度最高。其中,网格搜索算法要将惩罚因子γ和核函数参数形成M×N个(γ,ρ)组合(其中M和N分别为γ和ρ的个数),分别训练不同的支持向量机,估计其学习精度,从而在M×N个(γ,ρ)的组合中得到学习精度最高的一个组合作为最优值。其计算量较大,尤其是训练样本集较大时搜索过程非常费时,因此这种方法在使用上受到一定程度的限制。在最优化方法众多的算法中,遗传算法以其强大的全局搜索能力、并行性、高效性的优点得到了广泛的应用。本文正是利用遗传算法的优点优化最小二乘支持向量机的参数,得到了较好的结果。
2.2 用遗传算法优化最小二乘支持向量机参数
遗传算法是一种借鉴生物界自然选择和自然遗传机制的随机搜索算法,能够在搜索过程中自动获取和积累有关搜索空间的知识,并自适应地控制搜索过程以求得最优解。它模拟自然选择和遗传中发生的复制、交叉和变异等现象,从任一初始种群出发,通过随机选择、交叉和变异操作,产生一群更适应环境的个体,使群体进化到搜索空间中越来越好的区域,这样一代一代不断繁衍下去,最后收敛到一群最适应环境的个体,求得问题的最优解[8]。
用遗传算法优化最小二乘支持向量机参数主要过程如下:
步骤1:设置初始值,如遗传算法的初始种群规模、最大遗传代数T、交叉概率、变异概率等。
步骤2:对要优化的参数根据其设定的范围进行二进制编码,随机产生初始种群。染色体为各参数二进制顺序排列组成,长度即为各参数二进制长度之和。设置遗传代数计数器t=0。
步骤3:计算种群中各个个体的适应度。这里将最小二乘支持向量机的分类正确率作为目标函数值,即个体的适应度,个体对应的参数的分类正确率越高,则该个体的适应度越大。
步骤4:根据个体适应度,按照一定规则(这里采用轮盘赌法)从当前种群中选出个体进入下一代。
步骤5:选择群体中的两个个体x1、x2作为父体以某个概率(交叉概率)进行交叉操作,产生两个新个体。这里采用单点交叉,交叉概率设为0.8。
步骤6:随机选择种群中的个体以一定的概率(变异概率)进行变异操作,通过随机改变个体中某些基因而产生新个体。变异概率设为0.05。
步骤7:终止条件判断。若t≤T,则转到步骤2;若t>T或平均适应度值变化持续小于某一常数超过一定代数,则所得到的具有最大适应的个体作为最优解输出,算法终止。
步骤8:对得到的最优解译码,得到优化的参数。
3 实验及结果
这里选择了东北常见的五种树种的木材样本,建立了包含1000幅图像的图像库。其中包括白桦、红松、落叶松、水曲柳和柞木五种树种的径切和弦切样本,共十类,每类各100个样本。提取了这些木材图像的19个L*a*b*颜色空间的颜色特征(包括L*、a*、b*分量、色相角Ag*、色饱和度C*、色差ΔE*、色相差ΔH*七个量的均值与标准差,以及前5个分量与其均值的差的均值),以此作为支持向量机的输入。选择每类样本中的30个作为参数优化及最终分类的训练样本,另外的30个作为参数优化时的测试样本,剩余的40个作为最终分类的测试样本。实验基于MATLAB R2007a实验平台,所用计算机配置为:P4 3.00 CPU、256M 内存、80G 硬盘、中文Windows XP 操作系统。
本文采用LS-SVMlab工具箱中提供的最小二乘支持向量机模型,将用遗传算法优化最小二乘支持向量机参数的方法与此工具箱中网格搜索优化参数的方法进行比较,每种方法分别运行10次,初始参数值均在设定范围内随机产生,最后将优化得到的参数构造支持向量机模型进行分类比较,比较结果如表2所示。
从表2的结果可以看出,用遗传算法进行优化得到的总体结果优于网格搜索的优化方法得到的结果,并且在运行时间上大大缩短了。由于篇幅有限,仅列出其它三种核函数参数优化的平均分类正确率和优化时间作为比较(10次),如表3所示。表3的结果中,采用线性核函数和多项式核函数用遗传算法进行参数优化在结果上优于网格搜索的优化方法得到的结果,而采用遗传算法也实现了对多层感知器核函数参数的优化,10次的平均分类正确率达到了80%以上。从各种核函数的结果对比也可以看出,采用不同的核函数对支持向量机分类器的分类性能也有很大差异,其中采用高斯径向基核函数和多层感知器核函数的结果都比较好,而采用线性核函数的分类结果并不理想(仅有70%左右),这也充分说明了核函数选择的重要性。
4 结 论
本文提出了一种采用遗传算法优化最小二乘支持向量机参数的方法。对于支持向量机参数的选择,现在也只能采用各种优化算法进行优化,而各种算法的寻优性能不同,采用遗传算法优化支持向量机参数的方法充分利用了遗传算法全局寻优和很强的搜索能力的优点,试验表明其在优化结果和时间上均优于采用网格搜索算法,取得了较为满意的效果。
参考文献
[1]张学工.关于统计学习理论与支持向量机[J].自动化学报,2000,26(1):32-42.
[2]杜树新,吴铁军.模式识别中的支持向量机方法[J].浙江大学学报:工学版,2003,37(5):521-527.
[3]Suyken J A K,Vandewalle J.Least squares support vector machineclassifiers[J].Neural Processing Letters,1999,9(3):293-300.
[4]朱家元,陈开陶,张恒喜.最小二乘支持向量机算法研究[J].计算机科学,2003,30(7):157-159.
[5]邓乃扬,田英杰.数据挖掘中的新方法——支持向量机[M].北京:科学出版社,2004.
[6]Vapnik V.Statistical Learning Theory[M].New York:Wiley-Inter-science,1998.
[7]王兴玲,李占斌.基于网格搜索的支持向量机核函数参数的确定[J].中国海洋大学学报,2005,35(5):859-862.
非线性最小二乘优化 篇8
风电作为当前发展最快的可再生能源发电形式,得到了世界各国的广泛重视。风电大规模并网后,可能会出现电压偏差、频率偏差、电压波动甚至脱网等现象,在我国多个区域电网还存在风电上网后的系统调峰难题,这些问题产生的根源是风速的波动性和随机性导致风电出力呈现出间歇性和不确定性的特点。因此,对风电场风速进行准确预测至关重要[1,2]。
目前,针对风速预测的方法已经不少,主要可分为基于物理模型的方法和基于历史数据预测的方法[3]。物理模型法采用天气预报数据进行预测,由于气象预报数据更新频率低,仅适用于中长期风速预测[4]。基于历史数据预测的方法较多,主要有时间序列法[5]、空间相关法[6]、高斯过程回归[7]、神经网络[8]、支持向量机[9]、最小二乘支持向量机[10]等。其中最小二乘支持向量机因其训练时间短、泛化能力强、精度高等优点而得到了广泛应用[11]。但由于风速的高度随机性和影响因素的复杂性,目前上述预测方法绝对平均误差25%～40%,还未达到一定的满意程度[3]。最小二乘支持向量机(Least Squares Support Vector Machines,LSSVM)的预测效果与其模型参数紧密相关,已有学者研究遗传算法、粒子群算法和改进的粒子群算法等智能仿生算法对LSSVM进行参数寻优[12,13,14,15]。研究结果表明参数寻优可以提高风速预测的精度,而且寻优算法的全局寻优能力越好则模型预测精度越高。可见,使用性能更好的智能仿生算法对最小二乘支持向量机的参数进行优化,是一种提高风速预测精度的有效方法。
基于此,本文使用一种新兴的智能优化算法—萤火虫算法(Firefly Algrithm,FA)对LSSVM进行参数寻优。在基本萤火虫算法的基础上进行改进,引入自适应惯性权重(Adaptive Inertia Weight,AIW),提高算法的收敛速度,同时引入混沌机制,解决算法的早熟问题,极大地提高算法的全局寻优能力。使用本文混沌萤火虫算法(Chaotic Firefly Algorithm,CFA)对LSSVM进行参数寻优,以某风电场的连续30天720 h实测风速数据为样本,对最后24 h风速进行提前1 h预测,为了对比,同时使用文献[14]中改进粒子群算法(Improved Particle Swam Algorithm,IPSO)优化LSSVM进行预测,仿真结果表明,本文算法具有更高的预测精度。
1 最小二乘支持向量机回归模型
基于基本支持向量机改进的最小二乘支持向量机(LSSVM)采用最小二乘线性系统作为损失函数,用等式约束代替支持向量机(Support Vector Machines,SVM)中的不等式约束条件,将二次规划问题求解转化为线性方程组求解,简化了计算的复杂性,提高了算法的收敛速度,被广泛应用于预测领域[16]。其基本原理如下[17,18]:
对于事先获得的训练样本(xi,yi),i=1,2,…,n,x∈Rn,y∈R。其中xi为第i个输入向量,yi为第i个输入。通过非线性映射将样本映射Φ(·)到高维空间,则LSSVM回归模型可以表示为式(1)。
式中:H,k为需要确定的参数,求取这些参数等价于将式(2)中的函数F最小化。
式中:F1为损失函数,c惩罚因子。
此时最优问题可表示为式(3)。
相应的拉格朗日函数为式(4)。
式中:ai≥0为拉格朗日乘子;ei为误差。
根据Karush-Kuhn-Tucker(KKT)条件:,,即可以得到式(5):
消去H,ei得
最终得到回归函数:
式中:K(x,xi)=Φ(x)Φ(xi),为一个满足Mercer条件的核函数。
在回归中,通常使用径向基核函数:
式中:σ为核宽度,反映了边界封闭包含的半径。
在最小二乘支持向量机的回归模型中,惩罚参数c和核参数σ2是影响最小二乘支持向量机性能最大的2个参数[19]。文献[19]还分析了不同的惩罚参数c和核参数σ2对预测结果的影响,本文使用改进的萤火虫算法对2个参数进行优化。
2 CFA优化的最小二乘支持向量机风速预测模型
2.1 自适应混沌萤火虫算法
2.1.1 基本萤火虫算法
萤火虫算法是剑桥大学Dr.YANG提出的一种生物群智能随机优化算法。通过模拟萤火虫因觅食、择偶等习性而产生的相互因光吸引而移动的行为来解决最优问题。在算法中,每个萤火虫看做是搜索空间中的一个没有体积的微粒,每个位置代表一个解,通过周围个体同伴所发荧光亮度和光强吸收系数决定移动的距离,不断在搜索空间进行搜索,最终找到最优解[20]。
算法数学描述如下[21]:
亮度和吸引度是萤火虫优化算法中的2个主要因素,分别定义如下:
定义1萤火虫的亮度I定义为:
式中:I0为最大亮度,即萤火虫自身的亮度,与目标函数值相关,目标函数值越优自身亮度越高;γ为光强吸收系数,因为荧光会随着距离的增加和传播媒介的吸收逐渐减弱,γ正是用来体现此特性;rij为萤火虫之间的欧式距离,如式(11)。
式中:D为空间维数;xi,k为荧火虫xi在维空间中的第k个分量。
定义2萤火虫间的吸引度β与亮度相关,定义为:
式中:β0为初始位置吸引度;γ为光强吸收系数;m为常数,通常为2。
定义3萤火虫i被萤火虫j吸引的位置更新公式为:
式中:xi(t-1)为萤火虫xi第t+1次移动后的位置;β为萤火虫xj对xi的吸引度;α为步长因子,为[0,1]上的常数;εi为[0,1]上服从高斯分布的随机因子。
2.1.2 改进1—惯性权重
基本萤火虫算法具有原理简单、参数少、易于实现、具有较强的全局寻优能力和收敛能力等特点,有学者使用14个著名的优化问题进行试验,结果绝大部分结果表现比PSO更为出色[22]。但仿真过程也发现,算法在迭代后期存在容易在局部或全局极值附近反复振荡的问题。由式(13)可知这是因为随着萤火虫距离的减小,彼此间的相对吸引度增大,导致移动距离过大而无法稳定到极值位置。为解决此问题,借鉴粒子群算法中的惯性权重改进策略[23,24],使用如式(14)线性递减惯性权重对基本萤火虫算法进行改进。
式中:wmax,wmin分别为最大、最小权重;t,MaxGeneration分别为当前和最大迭代次数。
改进后的位置更新公式如式(15)。
2.1.3 改进2——混沌机制
为进一步提高算法的寻优精度,考虑利用混沌运动的遍历性、随机性等特点,在惯性权重萤火虫算法的基础上,引入混纯思想,从而提高萤火虫种群的多样性和寻优的遍历性,增加算法摆脱陷入局部极值点的能力。
变量的遍历性和随机性寻优搜索,最后将获得的优化解线性转化到优化空间。
产生混沌序列的方法有很多,目前应用最为成熟的是Logistic映射,本文即采用此方法,其数学表达式如下:
式中:为D维向量的第d维。当u=4,且x≠{0.25,0.50,0.75}时,由式(16)产生的序列完全混沌化。
在得到混沌序列之后,用式(17)进行载波操作,映射到优化空间范围
式中:xd,max,xd,min分别为第d维变量的上、下限。
萤火虫的混沌优化过程为:在每一代优化过程中,选取表现最好的N个萤火虫作为精英个体进行混沌优化,按设定的混沌搜索代数由式(16)产生混沌序列,然后按照式(17)将混沌序列映射回萤火虫搜索空间,最后对精英个体进行混沌搜索。
2.2 CFA-LSSVM风速预测模型
2.2.1 原始数据预处理
从气象部门或风电场获取原始按小时采集的时序风速数据,对数据进行归一化处理。归一化处理可以减小不健康数据对预测效果的影响,加快模型样本的训练速度和收敛速度。本文采用经典的线性归一化函方法,如式(18)所示。
式中:vt,vmin,vmax分别为实测第t点风速、最大风速和最小风速。
2.2.2 训练样本构造
风速是一组随时间变化的n维数据序列,记为{x1,x2,…,xn},可认为t时刻的风速值与前m个时刻的风速值密切相关,已有研究表明当按小时采集风速数据时m取7最合适。故可由{xt-7,xt-6,xt-5,xt-4,xt-3,xt-2,xt-1,xt}构成各时刻的样本对,用于预测模型的训练过程。
2.2.3 风速预测流程图
利用混沌萤火虫算法对LSSVM的参数进行优化,选择c,σ2作为优化变量,利用LSSVM训练模型的均方误差(Mean Square Error,MSE)作为适应度函数。
式中:num为训练集样本数目;preddicti,reali分别为第i个预测风速和实测风速。
具体流程如图1所示。
3算例分析
3.1 数据准备
利用某风电场30天按小时采样的80米高空实测风速数据进行仿真研究。图2所示为原始风速数据,最大风速17.10 m/s,最小风速0.92 m/s,风速波动非常剧烈。按照式(18)进行归一化后,依据训练样本构造规则共构造出713对有效训练样本。取前689对数据作为训练集,对最后1天24个点进行提前1 h预测。
3.2 算法设置说明
如本文引言所述,针对LSSVM的参数优化已有一些研究,其中利用粒子群或其改进算法进行优化的研究已一定程度提升了预测精度,因此将本文算法与目前效果较好的文献[14]中的IPSO-LSSVM算法进行仿真结果对比。IPSO-LSSVM的参数设置参照文献[14]。CFA算法中γ,α分别设定为1和0.2,精英群体取表现最好的前10%,惯性权重wmax,wmin分别取1.1和0.7。2种算法的种群规模均为30,仿真代数为100代,各进行30次试验取最优值。
3.3 仿真结果及分析
使用Matlab编程进行仿真,得到2种算法的寻优参数如表1所示。
利用上述优化后的参数,对LSSVM进行重新训练,得到各自的最优预测模型,预测的归一化数据映射到实际区间的结果如图3所示。
为对比2种算法的预测效果,定义最大绝对误差(Maximum Absolute Error,MAE)、平均相对误差(Mean Relative Error,MRE)及均方根误差(Root Mean Square Error,RMSE)如下:
式中:N为预测点数。
依据式(20)～式(22)得到2种算法的误差结果如表2所示。
由表2可知,在MAE,MPSE和MSE这几种常见的误差指标上,本文提出的CFA-LSSVM模型的预测效果优于IPSO-LSSVM算法,表明本文的预测模型具有一定的应用价值。
4 结论
【非线性最小二乘优化】推荐阅读：
非线性最小二乘10-10
非线性最小二乘曲线10-16
非线性最小二乘拟合论文07-21
非线性最小二乘法拟合06-24
线性回归最小二乘法06-19
最小二乘迭代06-07
最小二乘准则06-24
最小二乘建模09-20
最小二乘问题10-22
广义最小二乘模型05-18