RBF网络优化（共9篇）
RBF网络优化 篇1
0引言
网络流量是衡量网络运行负荷和状态的重要参数,目前,针对网络流量的建模和预测在网络管理设备的设计上应用较多,例如,将流量预测应用在数据分流以及负载均衡中可以提高网络管理设备的性能。另外,面对日益严重的网络安全问题,网络流量预测提供了另一种网络安全的解决思路[1],例如,可以从网络流量上对用户的网络行为进行建模和预测,从而及时或提早发现网络蠕虫、SYN攻击等异常行为。
径向基RBF(Radial Basis Function)神经网络是由J. Moody和C Darken于1989年提出的一种新颖的神经网络[2]。相比BP网络,RBF网络结构简洁,学习速度也较快,被广泛应用于函数逼近、模式识别、时间序列分析与预测等领域。但采用经典的K-means聚类训练RBF网络模型时,对于网络流量数据容易出现过拟合现象,导致预测精度降低。本文提出了自适应量子粒子优化算法AQPSO(Adaptive Quantum-Behaved Particle Swarm Optimization),并用AQPSO算法优化RBF神经网络的径向基中心和宽度,与最小二乘法LMS(Least Mean Square)结合计算出网络权值,建立了基于AQPSO算法优化的RBF网络预测模型。利用实际的网络流量数据对该模型进行验证,实验结果表明所获得的模型对网络流量的预测可以达到令人满意的精确度,并且稳定性与可靠性也比较高。
1RBF网络的结构和工作原理
从网络结构上看,RBF网络是一种三层前馈神经网络,它是由输入层,隐层和输出层组成。设x=[x1, x2, … ,xn]T为网络输入向量,ci为第i神经元的径向基中心,‖x-ci‖为欧氏范数,δi 为第i个神经元径向基函数的宽度,径向基函数采用高斯核函数,即φi=g(x)=exp(-1/2*x2) ,由此可得隐层节点i的输出为g(‖x-ci‖/δi), wi为隐层到输出层的连接权值,则输出层节点输出为y[9,10]。
给定了训练样本,RBF网络的学习算法应该解决以下问题[9]:结构设计,即如何确定网络隐层节点个数m;确定各径向基函数的数据中心ci及径向基函数的宽度δi;隐层到输出层的连接权值wi。由式(1)可见,如果知道了RBF网络的隐层节点数m、数据中心ci和宽度δi,RBF网络从输入到输出就成了一个线性方程组,此时连接权值的学习可采用最小二乘法求解。因此,只要确定了m、ci和δi,RBF网络模型也建立好了。而对RBF网络的隐层节点个数,本文采用了SOM网络的聚类算法来确定[7]。
2AQPSO算法
2.1QPSO算法的介绍
由于在量子空间中,粒子的位置和速度不能同时确定,因此文献[3]通过波函数(波函数的平方是粒子在空间中某一点出现的概率密度)来描述粒子的状态,并通过求解薛定谔方程得到粒子在空间某一点出现的概率密度函数,随后通过蒙特卡罗随机模拟的方式得到量子空间中粒子的位置方程,如式(2)至式(5)所示:
p = a * pbest(i) + (1-a) * gbest (2)
b = 1.0 - iter/maxiter * 0.5 (4)
pos = p ± b * |mbest-pos| * ln(1/u) (5)
其中,p为pbest与gbest之间的随机位置,mbest是所有粒子个体最佳位置pbest的平均值,N为粒子的个数,b为收缩扩张系数,在QPSO算法收敛的过程中线性减小,iter为当前迭代次数,maxiter为设定的最大迭代次数,pos是粒子的当前位置,a,u都为0至1之间的随机数,当u 大于等于0.5时,式(5)取 - 号,否则取 + 号。
2.2AQPSO算法基本原理
在QPSO算法中,当pbest和gbest很接近时意味着粒子的参数p很小,于是粒子的搜索范围也变得很小,这样,粒子群的进化就会停滞;如果这个时候粒子群的当前最佳位置处于一个局部最优解,那么整个粒子群就会趋于早熟收敛[4]。
而该算法中,只有一个收缩扩张系数b,对这个参数的选择和控制是非常重要的[4],它关系到整个算法的收敛性能。文献[4]已经证明了当参数b < 1.7时,粒子收敛,靠近粒子群的当前最佳位置;当 b > 1.8时,粒子发散,远离粒子群的当前最佳位置。从式(4)可以看出收缩扩张系数b在粒子进化过程随着进化代数的增加而线性减小,这种固定的变化并不能自适应避免早熟趋势。因此,本文对其作如下改进:
根据式(6)和式(7):
f = gvalue2/pvalue(i) (6)
(7)
两式中,gvalue2为上一代群体获得最佳位置gbest时的适应度,pvalue(i)为第i个粒子当前的适应度,f为两者的比值,f越小,说明粒子越远离粒子群的当前最佳位置,f越大,说明粒子越靠近粒子群的当前最佳位置;本文以f值是否小于0.5为分界,如果f小于0.5,说明粒子远离群体最佳位置gbest,收缩扩张系数b应该小于1.7,使它收敛,因此将b值设为2*f,使它不超过1;否则的话,说明粒子靠近群体的当前最佳位置gbest,因此将b值设为1+f,增加其大于1.8的概率,使它尽量发散,扩大搜索范围。
2.3基于AQPSO算法优化的RBF网络
用AQPSO算法训练RBF神经网络时,首先要用向量形式表示RBF网络的学习过程中需要调整的2个训练参数:①径向基函数的数据中心c。②径向基函数的扩展常数,即宽度δ。
假设采用SOM聚类算法得到RBF网络有m个隐层节点,粒子群的规模,即粒子的个数为N,则对粒子参数编码格式如图1所示,粒子群编码格式如图2所示。粒子参数维数D = 2m ,每个粒子用一个2m维的向量来表示对应的m个径向基函数的数据中心和宽度,则粒子在N*D 维的解空间POP中搜索群体的最佳位置,粒子群体的最佳位置对应RBF网络中的最优的数据中心值和宽度[5]。
计算粒子群体的最佳位置需要比较粒子的适应度,本文以每个粒子对应的网络参数在训练集上产生的均方差MSE作为粒子的适应度的目标函数。MSE越小,则适应度越大,网络对数据的拟合程度就越高。粒子的适应度fitness可由下面的公式计算:
其中,yi 为第i个粒子的实际输出值,ti 第i个粒子的期望输出值。一旦粒子搜索完成,找到的粒子群中适应度最小者,即拥有最佳位置gbest,则对应的隐层节点的最优的数据中心和宽度也就确定了。对于RBF网络隐层到输出层的网络连接权值向量w= [w1,w2,…,wm]T则可以使用最小二乘法(LMS)直接计算得到。这样,AQPSO-RBF网络模型就建立好了。
AQPSO-RBF网络模型实现的具体步骤如下:
① 初始化粒子群体POP、粒子的最佳位置pbest、粒子群最佳位置gbest、粒子的适应度pvalue、当前粒子群的最佳适应度gvalue1、上一代粒子群的最佳适应度gvalue2和预设精度goal;
② 根据当前粒子i的位置(得到网络的中心和宽度),结合最小二乘法(得到网络的连接权值)计算出粒子i对所有训练样本的适应度;并比较粒子i的适应度pvalue(i)和整个粒子群体的适应度gvalue1,若pvalue(i)<gvalue1,则更新粒子i最佳位置pbest(i);
③ 判断所有粒子是否完成搜索,是则转④,否则返回②;
④ 比较当前群体的最佳适应度gvalue1和上一代群体的最佳适应度gvalue2,若gvalue1<gvalue2,则更新粒子群最优位置gbest和粒子群的最佳适应度;
⑤ 判断粒子群中最佳的适应度即最小MSE,是否小于预设精度goal,是则转⑧,否则转⑥;
⑥ 判断粒子群否到达最大迭代次数,是则转⑧,否则返回⑦;
⑦ 根据式(2)至式(7)更新每个粒子的位置,生成新的粒子群,返回②;
⑧ RBF网络训练完成,输出粒子群最佳位置gbest,其中,gbest(1:m)对应RBF网络最优的m个数据中心,gbest(m+1:2*m) 对应RBF网络最优的m个扩展常数(宽度),同样用LMS计算出网络连接权值,建立基于AQPSO算法的RBF网络预测模型;
⑨ 输入测试样本,应用建立好的RBF网络模型进行网络流量测试。
3实验与分析
3.1实验方法与结果
本文选用流量文库:http://newsfeed.ntcu.net/～news/2006/,主节点路由器NEWS自2006年1月20日至7月19日共180日每天的网络访问流量的时间序列作为RBF网络学习和和预测检验样本,并做归一化处理。
RBF网络采用3-3-1结构,即含有3个输入层节点,3个隐层节点,1个输出节点的网络结构。采用滚动预测方式对样本空间进行重构,输入层节点的输入为连续3日的实际网络流量,输出为第4日的网络流量。这样,将数据集划分成177个样本,前167个样本作为学习和训练样本,后10个样本作为预测检验样本。
采用本文建立的基于AQPSO算法的RBF网络模型进行预测, 同时为了比较,对基于K-means聚类算法的RBF网络模型也进行了预测实验。实验中目标误差设为0.0001,各运行10次,取其预测性能的平均值,以检测算法以及所得到的模型的稳定性。其中,基于AQPSO算法的RBF网络模型中粒子进化的迭代次数设为100。预测实验完成之后,两种不同算法所得到的RBF网络模型对网络流量数据预测的性能评价如表1所示。其中,MSE为均方误差,SSE为误差平方和,MAE为绝对误差,MRE为相对误差。实验1采用基于K-means聚类算法的RBF网络进行预测,其预测检验曲线图如图3所示,实验2采用基于AQPSO算法的RBF网络模型进行预测,其预测检验曲线图如图4所示,图中实线表示网络流量的实际值,虚线表示RBF网络输出的预测值。
3.2结果分析
从表1的实验结果可以看出,基于本文提出AQPSO算法优化的RBF网络模型在网络流量数据预测中各项性能指标均较佳。其中,均方误差MSE和误差平方和SSE越小,表明该预测模型对网络流量数据的拟合度越高;平均绝对误差MAE和平均相对误差MRE越低,表明该网络模型预测的效果越佳。最大相对误差可表示应用该预测方法的“危险程度”。从表1的实验结果来看,基于AQPSO算法优化的RBF网络模型的最大相对误差值较小,表明该预测模型较为稳定可靠。由于K-means聚类时数据中心的初始值的随机选取对结果影响非常大,容易造成不同的聚类结果,因而在预测过程中稳定性也较差,容易出现过拟合现象,使得最大相对误差值较大。从预测检验曲线图3和图4的效果直观来看,两种网络模型的预测曲线均能反映指数的走势,但基于AQPSO优化的RBF网络的预测结果更为准确。
4结论
本文在QPSO算法的基础上,提出了AQPSO算法用于优化RBF神经网络,得到最优化的网络参数。利用网络流量数据进行预测的实验结果表明,与经典的基于K-means聚类算法训练的RBF网络模型相比较,基于AQPSO算法优化的RBF网络模型具有更好的收敛性和稳定性,获得了更高的预测精度。
参考文献
[1]郑成兴.网络流量预测方法和实际预测分析[J].计算机工程与应用,2006,23:129-130.
[2]高隽.人工神经网络原理及仿真实例[M].机械工业出版社,2003.
[3]Jun Sun,Bin Feng,WenboXu.Particle Swarm Optimization with parti-cles having quantum behavior[C].Congress on Evolutionary Computa-tion,2004.
[4]Jun Sun,Wenbo Xu,Jing Liu.Parameter Selection of Quantum-Behaved Particle Swarm Optimization[C].ICNC2005,LNCS3612,2005:543-552.
[5]张顶学,关治洪,刘新芝.基于PSO的RBF神经网络学习算法及其应用[J].计算机工程与应用,2006,20:13-15.
[6]张友民,李庆国,戴冠中.一种RBF网络结构优化方法[J].控制与决策,1996:11(6):667-671
[7]余健,郭平.自组织映射(SOM)聚类算法的研究[J].现代计算机,2007,3:7-8.
[8]山艳,须文波,孙俊.量子粒子群优化算法在训练支持向量机中的应用[J].计算机应用,2006,26(11):2645-2646.
[9]张雪松,郭平.基于组合神经网络的软件可靠性预测研究[J].北京师范大学学报:自然科学版,2005,41(6):599-602.
[10]Ping Guo,Lei Xing.Blind Image Restoration Based on RBF Neural Networks[C].Proceedings of SPIE,Vol.5298,San Jose,CA,Belling-ham WA:SPIE Press,2004:259-266.
RBF网络优化 篇2
城市交通网络是个复杂的.系统,不同时段的交通流量之间有着非线性关系.神经网络具有识别复杂非线性系统的特性.利用RBF神经网络构建了短时交通流量动态预测模型,对某城市道路的短时交通流量进行预测,取得了较好的结果.
作 者：张九跃 焦玉栋 ZHANG Jiu-yue JIAO Yu-dong 作者单位：张九跃,ZHANG Jiu-yue(淄博天为市政工程设计有限公司,山东,淄博,255000)
焦玉栋,JIAO Yu-dong(淄博市土木建筑学会,山东,淄博,255000)
RBF网络优化 篇3
焦炭在高炉炼铁中起着不可替代的关键作用。近年来,高炉相关技术发展迅速,相对地高炉对焦炭的质量问题也越来越敏感,现代焦炉几乎都采用多种煤配合炼焦。由于作为原料煤的性质差别较大,导致焦炭质量存在较大波动。
目前,国内外学者针对焦炭质量的预测模型问题进行了多方面研究,并且提出了多种相关方法,文献[1]较早的研究人工神经网络应用于预测模型中。文献[2]引入主成分分析法,用自适应遗传算法对BP神经网络进行优化,虽然在精度和稳定性方面有所提高,但其所需运算量增大,当网络的学习样本数目较多时,收敛精度不理想。针对上述问题,本文提出了一种基于遗传算法[3]优化径向基函数网络的焦炭质量预测模型。仿真结果表明,该模型建模较易实现,收敛速度快,易于得到最优解,学习性好,适应性强。
2 遗传算法优化RBF神经网络
2.1 RBF神经网络结构
径向基函数(RBF)神经网络是三层前向网络,分别为输入层,隐含层和输出层,理论上可以局部逼近任意函数。
在R B F网络结构 中 , 如图1所示 ,X=[x1,x2,…,xn]T为网络的输入向量。设RBF网络的径向基向量为H=[h1,h2,…,hm]T,其中hj为高斯基函数,即
式中 , 网络第j个结点的 中心矢量 为
设网络的基宽向量为:B=[b1,b2,…,bm]T,其中bj是节点的基宽度参数,且为大于零的数。如果RBF网络输入层到隐含层的权值定义为1.0,网络隐含层到输出层权向量为:W=[w1,w2,…,wm]T
则k时刻网络的输出为:
设理想输出为y(k),则性能指标函数为:
由梯度下降法可得到具体参数的迭代算法如下:
其中, η为学习速率,a为动量因子。
2.2 确定RBF网络基函数中心数目
Chiu提出的减聚类算法[4]是以数据集本身作聚类中心候选,计算量与数据点表现为线性关系,与问题的维数无关。
考虑n维空间的P个数据点(x1,x2,…,xp),首先归一化处理给定的数据。对给出数据点xi处的密度指标做如下定义:
式中,正数γα定义了该点的一个邻域,半径以外的数据点对该点的密度指标影响可忽略不计。而一个数据点具有很高的密度值,则表明在该数据点附近一定有多个其它数据点存在。
在计算所有数据点密度指标后,将其中密度指标最高的数据点作为第一个聚类中心,令xc1为选中的数据点,Dc1为其密度指标。那么每个数据点的密度指标可使用如下修正公式进行修正。
常数γb是事先选定的一个另密度指标显著减小的邻域,通常要大于 γa,这样可以控制两个聚类中心的距离。
修正数据点的密度指标后再选下一个聚类中心xc2,同时对数据点的密度指标进行再次修正。重复选择确定聚类中心的过程,直到如下公式成立:
2.3 遗传算法优化RBF网络
由于遗传算法[5]时一种搜索启发式算法,适合于对无界、离散、多态、不可微等具有复杂特性的曲面中寻找网络结构的最优解。在传统算法的网络结构中,隐层单元数量通常是固定的,往往是通过经验选择,或者需要很多的网络结构通过试验和误差过程来测验而确定,这种方式不仅需要花费大量时间同时也加大了计算量。
由于RBF神经网络中的三个参数:输出权重wi、宽度bi及隐单元中心ci对整个预测模型的性能有举足轻重的影响,但想预先确定这三个参量的取值却十分困难。鉴于此应用在这种遗传算法对RBF神经网络中的wi、ci、bi参数进行优化。
首先进行初始化,将中心参数ci,输出权值wi及宽度bi用二进制编码方式变为一个长度为10位的二进制编码。再对每个个体进行评价,将评价后的结果解码,得到我们需要的输入样本。其中以适应度函数f进行评价。
yi分别为参数的实际值与参数的预测值,w为训练样本数。计算样本适应度后按降序排列。比较本代与前代适应度平均值计,若有提高则可缩小种群规模。可将其种群个数w减少为w*
wmax,wmin分别表示种群规模变化的最大值和最小值,Δ表示种群平均适应度的增量。
最后进行遗传操作。遗传操作中需要先选择算子。根据个体适应度值的大小决定它在下一代是被遗传还是淘汰,其中第i个个体被选择的概率为
W为种群规模,fi为个体i的适应度。然后将算子进行交叉,即将其码值进行部分交换,以交叉概率Pc进行,其余部分直接复制。在这个过程中,还需要考虑变异问题,若个体适应度小则需要增大其变异概率。将变异后的个体再重新加入到种群内部,并对每个个体进行评价,如果出现了合适的个体则结束整个过程,否则继续重复进行交叉,变异等步骤直到找到那个合适的个体为止。
在找到最优个体后,将其作为神经网络的初始值,再利用RBF算法进行优化计算,得到其最优解[5]。
3 仿真分析
数据来源为某焦化厂的配煤数据,经过降维和归一化后从中筛选出81组数据,将其中的一半作为训练样本,其余作为测试样本。这里使用matlab程序进行仿真。其中,遗传算法优化中,取样本个数为Size=30,交叉概率为Pc=0.60,采用自适应变异概率,取变异概率Pm=0.001-[1:1:Size]*0.001/Size。
应用这种算法优化的焦炭质量预测模型效果如图2,图3,图4,图5所示。图2为焦炭抗碎强度M40的预测效果,图3为焦炭耐磨强度M10的预测效果,图4为焦炭反应性指数CRI的预测效果,图5为焦炭反应后强度CSR的预测结果。所有图中的横坐标为实测值,纵坐标为经过优化后的预测值。其中预测的结果大部分在预测的允许范围内,经过计算后得到它们的相对误差分别为,抗碎强度为0~1.13%、耐磨强度为0~2.89%、反应性指数为0~3.09%、反应后强度为0~1.62%。由此可知虽然这种算法存在一定误差,但基本达到了焦炭质量的预测精度,其稳定性能得到了一定程度的提高。
图2 M40预测效果
图3 M10预测效果
图4 CRI预测效果
图5 CSR预测效果 (参见右栏)
4 结论
RBF网络优化 篇4
基于ARIMA和RBF网络组合预测的惯性器件故障预报
提出了一种基于ARIMA和RBF网络进行组合预测的方法,该方法综合运用ARIMA良好的线性拟合能力和RBF网络强大的.非线性映射功能,将两种预测模型有机地组合在一起,综合各自优点,以期有效改善模型的拟合能力,获得最优预测效果.论文将该方法应用于某飞行器惯性器件的故障预报当中并进行了仿真实验.结果表明,这种方法相对于单项模型的预测具有更高的精度,对于复杂时间序列的分析和预测有很好的应用价值,在故障预报中具有广泛的应用前景.
作 者：吕瑛洁 胡昌华 李国华 张伟 LU Ying-jie HU Chang-hua LI Guo-hua ZHANG Wei 作者单位：第二炮兵工程学院,陕西,西安,710025 刊 名：电光与控制 ISTIC PKU英文刊名：ELECTRONICS OPTICS & CONTROL 年，卷(期)：2005 12(4) 分类号：V271.4 TP393 关键词：组合预测 故障预报 ARIMA RBF神经网络 惯性器件RBF网络优化 篇5
煤矿瓦斯涌出量是煤矿瓦斯灾害的主要来源, 威胁着井下人员的生命安全。准确预测瓦斯涌出量是关系到安全生产的正常运转、开发设计新井的重要因素之一。目前智能预测方法主要采用BP、RBF神经网络进行预测, 但均涉及参数初始化问题, 初始化数值不同, 预测结果将有很大区别。本文采用遗传算法提高神经网络的预测性能。
1 遗传算法
遗传算法是模拟自然界生物进化过程与机制求解极值问题的一类自组织、自适应人工智能技术, 其基本思想是模拟自然界遗传机制和生物进化论而形成的一种过程搜索最优解的算法, 具有坚实的生物学基础。
1.1 算法原理
遗传算法中, 被研究体系的响应曲面看作为一个群体, 相应曲面上的每一个点作为群体中的一个个体, 个体用多维向量或矩阵来描述, 组成矩阵和向量的参数相应于生物种群组成染色体的基因, 染色体用固定长度的二进制串表述, 通过交换、突变等遗传操作, 在参数的一定范围内进行随机搜索, 不断改善数据结构, 构造出不同的向量, 相当于得到了被研究的不同解, 目标函数值较优的点被保留, 目标函数值差的被淘汰。遗传操作可以越过位垒, 跳出局部较优点, 达到全局最优。
1.2 遗传算法的组成
一般的遗传算法有四个部分:编码机制、适应度函数、遗传算子、控制参数。
(1) 编码机制 (Encoding Mechanism)
这是遗传算法的基础。遗传算法不是对研究对象直接进行讨论, 而是通过某种编码机制把对象统一赋予由特定符号按一定顺序排成的串。
(2) 适应度函数 (Fitness Function)
优胜劣汰是自然进化的原则。算法中用适应度函数描述每一个体的适应程度。对优化问题, 适应度函数就是目标函数。引进适应度函数的目的在于可根据该函数值对个体进行评估比较, 定出优劣程度。
(3) 遗传算子 (Genetic Operator)
在遗传算法中, 最重要的遗传算子有三种:选择 (selection) 、交换 (crossover) 、变异 (mutation) 。
(4) 控制参数 (control parameters)
在遗传算法的实际操作中, 需适当确定某些参数的值以提高优选的效果。这些参数是:字符串所含字符的个数, 即串长L;每一代群体所含字符串的个数, 即群体的容量, 记为n;施行交换算子的概率, 即交换率, 记为Pc;施行变异算子的概率, 即突变率, 记为Pm。
1.3 算法流程
算法步骤主要有:第一步:确定决策变量及各种约束条件, 即确定出个体的表现型X和问题的解空间。
第二步:建立优化模型, 即确定出目标函数的类型及数学描述形式或量化方法。
第三步:确定表示可行解的染色体编码方法, 即确定出个体的基因型x及遗传算法的搜索空间。
第四步:确定个体适应度量化评价, 即确定出由目标函数值J (x) 到个体适应度函数F (x) 的转换规则。
第五步:设计遗传算子, 即确定选择运算、交叉运算、变异运算等遗传算子的具体操作方法。
第六步:确定遗传算法的有关运行参数, 即M, G, Pc, Pm等参数。
第七步:确定解码方法, 即确定出由个体表现型X到个体基因型x的对应关系或转换方法。
2 RBF神经网络
2.1 网络结构
RBF神经网络是一种具有单隐层的3层前馈神经网络, 隐层采用高斯基函数, 其输入到输出的映射是非线性的, 但隐层到输出的映射是线性的。这种特性使它能够以任意精度逼近连续函数, 并且学习速度较快, 能够有效避免局部极小值。RBF神经网络结构如图1所示:
从图1所示的结构上看, 径向基函数神经网络主要包括3层, 即输入层、隐层和输出层。在RBF网络结构中, X=[x1, x2, …, xn]T为网络的输入向量。设RBF网络的径向基向量H=[h1, h2, …, hn]T, 其中为高斯基函数, 即:
式中网络第j个节点的中心向量为
Cj=[cj1, cj2, …, cjm]T, j=1, 2, …, n, ||×||为2-范数, 也称为欧式范数。
设网络的基宽向量为B=[b1, b2, …, bm]T, bj为节点j的基宽参数, 且为大于零的数。RBF网络输入层到隐含层的权值为1.0, 网络隐含层到输出层权向量为
RBF网络的输出为
RBF网络逼近的性能指标函数为
根据梯度下降法, 输出权、节点基宽即节点中心矢量的迭代算法如下:
式中, η为学习速率, α为动量因子, η∈[0, 1], α∈[0, 1]。
3 预测模型的建立及应用
3.1 参数选择
预测模型的建立依赖于要解决的实际问题, 根据实际问题中输入量和输出量的个数, 可以确定RBF神经网络的结构, 进而确定遗传算法的参数。本文采用某煤矿的数据, 采煤工作面瓦斯涌出量及相关因素如表1所示。
3.2 仿真预测结果
利用表1中的数据, 一共有4个影响因素影响着瓦斯涌出量, 则可设计程序如下:
在GA-RBF网络中设置4个输入, 1个输出, 隐层神经元个数H=3。按照程序设定, 需要优化3个网络权值、3个基宽及12个中心参数, 设置遗传算法参数并运行得出优化的18个参数, 替换RBF网络原来的参数进行预测, 预测结果如图2所示:
本文中一并给出了独立的RBF神经网络预测模型, 作为参照。在程序中设定4个输入, 1个输出, 9个隐层神经元, 得到的预测仿真图如 (图3) :
在图2中, (a) 图表示训练过程中RBF网络误差与迭代次数的关系; (b) 图表示训练过程中14组数据的实际数据和网络训练输出, “-”表示实际输出, “*”表示网络输出; (d) 图表示 (b) 图中的产生的误差; (c) 图中“o”为期望输出, “*”表示网络预测输出。
图3所示的仿真图是独立的RBF神经网络预测瓦斯涌出量的结果。图2和图3相比较, 图2 (c) 中期望值与实际值几乎重合, 图3 (c) 效果并没有图2 (c) 好, 明显的看出优化后的神经网络预测的精度更高。而且优化后的RBF网络中隐层神经元个数大大减少, 使得网络结构更加简洁。
4 结论
本文采用遗传算法优化的RBF预测瓦斯涌出量, 由于RBF神经网络预测结果在各种影响下并不是十分理想, 因此本文利用遗传算法对RBF神经网络初始参数进行了优化。实验结果表明, 优化后的神经网络不仅结构简化, 预测性能也得到较大提高, 有效提高了预测精度。
参考文献
[1]张德丰.MATLAB神经网络应用设计[M].北京:机械工业出版社, 2009.
[2]永智群, 潘玉民.基于BRF神经网络的瓦斯涌出量预测[J].煤炭技术, 2012, 4.
[3]李华昌, 谢淑兰, 易忠胜.遗传算法的原理与应用[J].矿冶, 2005, 3.
RBF网络优化 篇6
反应釜是生物制药产业中的一类重要生产容器,通常工作在高温高压状态下,一旦出现故障,就会导致设备的损害甚至危及工作人员的生命安全。运用故障诊断机制及时发现系统中的故障并加以定位,使系统出现故障时仍然能安全可靠地工作且维持一定的性能,这对于反应釜系统具有重要意义。RBF神经网络在逼近能力[1]、分类能力和学习速度等方面均优于BP神经网络,因而更适合故障诊断。在RBF神经网络中,隐含层基函数的中心和宽度对网络的性能具有重要的影响。目前常用的几种 RBF神经网络训练算法很难找到中心和宽度的全局最优值;同时,这些训练算法往往为了达到一定的逼近能力而使得RBF神经网络隐含层节点数目过多,导致计算量加大。本文用改进的PSO算法对RBF神经网络进行优化,同时将其应用于反应釜故障诊断。
1 RBF神经网络
RBF神经网络是由Moody和Darken于20世纪80年代末提出的一种由输入层、隐含层和输出层构成的三层前馈神经网络[2],与全局逼近的BP神经网络相比,RBF神经网络能避开局部最小问题,但对样本数据选取的要求较高。RBF神经网络隐含层神经元的运算函数采用具有良好局部特性的径向基函数,使得输入仅在一个局部的区间内通过隐含层产生一定的输出,而在此区间外,输出基本为零,故RBF神经网络具有诸多优点,如非线性逼近能力强、网络结构简单等。
RBF神经网络隐含层的作用函数常取高斯基函数,该层神经元j的输出为
hj=exp[-‖X-Cj‖2/(2b2j)] j=1,2,…,J (1)
X=[x1x2 … xn]T∈Rn
Cj=[c1jc2j … cij … cnj]T
式中,J为径向基层神经元数;X为一个n维的网络输入向量;Cj为与X同维的中心向量;b=(b1,b2,…,bj)为基宽向量。
RBF神经网络的输出为
Y=WHT (2)
W=[w1w2 … wJ]
H=[h1h2 … hJ]
式中,Y为网络输出;W为径向基层与输出层间的网络权向量;H为隐含层的输出。
RBF神经网络在应用时,关键是需要确定3个基本参数,即高斯基函数的中心向量Cj、基宽向量bj和输出权重wj。RBF神经网络的隐含层中心应能覆盖整个输入空间,但如果隐含层中心的数量过多,又将使网络的计算量显著增加,也会导致网络泛化能力减弱。传统的RBF神经网络学习算法一般采用聚类算法[3]求取Cj和bj,然后利用最小二乘法直接计算wj,由于这种学习算法只能在局部空间寻找最优解,使网络的收敛速度较慢,训练精度较差,因此,本文用PSO算法对RBF神经网络进行优化,优化的目标是在满足网络收敛误差的条件下,寻找最佳隐含层函数的参数。
2 改进PSO算法优化RBF神经网络
2.1 经典PSO算法
粒子群优化(particle swarm optimization,PSO)算法源于对鸟群觅食迁徙行为的研究,于1995年由Eberhart等[4]发明。PSO算法是一种基于迭代的优化方法,具有实现容易、精度高、收敛快等优点,在解决故障诊断问题时展示了其优越性。该算法在求解优化问题时,将每个参数看作D维搜索空间中的一个“粒子”,首先初始化一群随机粒子,每个粒子代表空间的一个候选解, 解的优劣程度由适应度值来决定。粒子通过迭代来找到最优解,在每一次迭代中,粒子跟踪个体极值和全局极值来更新自己,这两个极值也就是粒子本身找到的最优解和整个种群目前找到的最优解。
设Xi=(Xi,1,Xi,2,…,Xi,J)为粒子i的当前位置;Vi=(Vi,1,Vi,2,…,Vi,J)为粒子i的当前速度;Pi,j=(Pi,1,Pi,2,…,Pi,J)为粒子i所经历过的具有最好适应度值的位置,称为个体最好位置,记为Pbest;Gj=(G1,G2,…,GJ)为群体中所有粒子经历过的最好位置,称为全局最好位置,记为Gbest。对每一代粒子,其第j维(1≤j≤J)粒子在找到上述2个极值后,粒子根据下式来更新自己的速度和位置:
Vi,j(t+1)=wVi,j(t)+c1r1[Pi,j-
Xi,j(t)]+c2r2[Pg,j-Xi,j(t)] (3)
Xi,j(t+1)=Xi,j(t)+Vi,j(t+1) j=1,2,…,J (4)
式中,w为惯性权重;c1和c2为正的学习因子,通常取c1=c2,范围在0~4之间;r1和r2为0~1之间均匀分布的随机数。
在演变过程中,为了保证算法的收敛性,速度变量Vi,j和位置变量Xi,j通常还应满足如下约束条件[5]:当Vi,j>Vmax时,Vi,j=Vmax;当Vi,j<Vmax时,Vi,j=-Vmax。当Xi,j>Xmax或Xi,j<Xmin时,Xi,j=Xmin+rand(Xmax-Xmin)。其中,Vmax为粒子允许的最大速度,Xmax、Xmin为粒子每一维的最大、最小位置,rand(·)为0~1之间变化的随机数。
2.2 改进的PSO算法
在PSO算法中,惯性权重w决定了对粒子当前速度继承的程度。较大的惯性权重有利于保证搜索到全局最优解,但局部收敛性较差;而较小的惯性权重则有利于对当前搜索区域进行精确局部搜索,利于算法收敛但却难以保证解的全局最优性。因此,选择合适的惯性权重可以使粒子具有均衡的探索能力和开发能力。针对PSO算法容易早熟以及算法后期易在全局最优解附近产生振荡现象的问题,需平衡其全局搜索能力和局部改良能力,可采用如下非线性的动态惯性权重系数公式:
式中,wmax和wmin分别为w的最大值和最小值;f为粒子当前的适应度值;favg和fmin分别为当前所有粒子的平均适应度值和最小适应度值。
惯性权重w随着粒子的适应度值而自动改变,当粒子的适应度值趋于一致或趋于局部最优时,将使惯性权重增加,而各粒子的适应度值比较分散时,将使惯性权重减小。同时对于适应度值大于平均适应度值的粒子,其对应的惯性权重因子较小,从而保护了该粒子;反之,对于目标函数值小于平均目标值的粒子,其对应的惯性权重因子增大,使得该粒子向较好的搜索区域靠拢。
PSO算法中的学习因子c1和c2使粒子具有自我总结和向群体中优秀个体学习的能力,从而向群体内最优点靠近,反映了粒子间的信息交流。设置较大的c1值,会使粒子过多地在局部范围内徘徊;而较大的c2值,又会促使粒子过早地收敛于局部最小值。需要使这两个学习因子在优化过程中随时间发生不同的变化,使得在优化的初始阶段,粒子具有较强的自我学习能力和较弱的社会学习能力,来增强全局搜索能力;而在优化的后期,粒子具有较大的社会学习能力和较小的自我学习能力,有利于收敛到全局最优解。这种异步变化的学习因子公式为
c1=c1i+(c1f-c1i)t/tmax (6)
c2=c2i+(c2f-c2i)t/tmax (7)
式中,c1i和c2i分别为c1和c2的初始值;c1f和c2f分别为c1和c2的迭代终值;t和tmax分别为当前迭代次数与总的迭代次数。
2.3 改进PSO算法优化RBF神经网络的实现
本文利用改进PSO算法对训练样本进行优化,搜索隐含层各节点的中心值Cj和基宽向量bj以及输出层与隐含层之间的连接权重wij的最优值,从而实现基于PSO算法优化的RBF神经网络。具体步骤如下:
(1)初始化粒子群的规模、允许最大迭代次数或适应度误差限、学习因子等参数,确定惯性权重、速度变量和位置变量的上下限,并随机初始化种群中各粒子的位置和速度。
(2)评价每个粒子的适应度,将当前各粒子的位置和适应度值存储在各粒子的Pbest中,将所有Pbest中适应度值最有个体的位置和适应度值存储在Gbest中。
(3)对每个粒子,根据式(3)、式(5)~式(7)计算粒子的速度,并对速度取值的有效性进行检验。
(4)对每个粒子,根据式(4)计算粒子的位置,并对位置取值的有效性进行检验。
(5)根据式(5)~式(7)更新权重和学习因子。
(6)对每个粒子,将其适应度值与其经历过的最好位置作比较,如果较好,则将其作为当前的最好位置,比较当前所有的Pbest和Gbest的值,更新Gbest。
(7)判断适应度值是否达到设定值,以及迭代次数是否达到最大迭代步数。若满足条件,停止搜索,输出结果;否则返回步骤(2)继续搜索。
(8)解码得到RBF神经网络需确定的所有参数,利用式(1)、式(2)输入测试数据计算输出,进行故障诊断。
3 PSO算法优化RBF神经网络在CSTR故障诊断中的应用
3.1 故障诊障样本的收集
将通过特征提取获得的反应釜故障特征量,如反应釜的流量F、组份C、温度T和换热温度L作为网络的输入向量,选取反应釜进料端常见的7种故障类型——进料流量发生故障(故障1)、进料组份发生故障(故障2)、进料流量和组份发生故障(故障3)、进料温度发生故障(故障4)、进料流量和温度发生故障(故障5)、进料组份和温度发生故障(故障6)、进料流量、组份和温度发生故障(故障7),作为网络的输出。分别在各种故障状态下连续测量3次,共得到21组故障数据,其中2组作为学习样本用于模型的训练,1组作为测试样本用于训练后模型的验证。经过去噪、数据归一化处理后得到的故障训练样本如表1所示。
3.2 诊断结果比较分析
将表1中的7类故障特征向量输入PSO-RBF神经网络进行训练,从而产生训练好的网络。然后,用不同于训练样本的7个故障测试样本对网络进行测试,结果见表2。
在本实例中,采用的粒子群RBF神经网络有输入节点4个,输出节点1个,基于PSO的训练算法种群规模设为30,取惯性权重wmax=0.9,wmin=0.4,学习因子c1i=2.5,c1f=0.5,c2i=0.5,c2f=2.5,迭代终止条件为目标误差e<1×10-5。迭代次数为34次,网络最佳适应度值曲线见图1,由图1可以看出,经10次优化后,收敛效果较好。
为了进一步证明本文方法的有效性,将表1中的特征向量输入BP和RBF等神经网络中进行故障诊断,将本文PSO算法优化的RBF神经网络(PSO-RBF)诊断结果与RBF和BP诊断结果进行比较,结果见表3。由表3可看出,PSO-RBF的诊断结果比RBF诊断结果更接近期望输出值,误差精度较高(10-2),而RBF的误差精度仅为10-1。
4 结束语
本文使用改进后的PSO算法优化神经网络并将其应用于反应釜故障诊断中,有效地解决了收敛速度慢、易陷入局部极小值等问题。实验结果表明,本文方法能更有效地提高神经网络的训练效率,加快网络的收敛速度,而且网络的故障识别精度更高,能有效地对反应釜故障进行诊断。
摘要：针对单一径向基函数(RBF)神经网络在反应釜故障诊断中泛化能力不足的缺点,设计了基于粒子群(PSO)算法优化的RBF神经网络。利用PSO算法操作简单、容易实现等特点及其智能背景,对RBF神经网络的参数、连接权重进行优化,并用经PSO算法优化的RBF神经网络对反应釜故障进行仿真诊断。仿真诊断结果表明,PSO算法优化的RBF神经网络具有较好的分类效果,较RBF诊断模型精度高、收敛快,具有推广应用价值。
关键词：RBF神经网络,粒子群优化算法,故障诊断,连续搅拌反应釜
参考文献
[1]Park J,Sandberg I W.Universal ApproximationUsing Radial-basis-function Networks[J].Neu-ral Computation,1991,3(2):246-257.
[2]Foster I,Kesselman C,Nick J,et al.Grid Service forDistributed System Integration[J].IEEE Comput-er,2002,35(6):37-46.
[3]刘安,刘春生.基于RBF神经网络的非线性系统故障诊断[J].计算机仿真,2007(2):141-144.
[4]Kennedy J,Eberhart R C.Particle Swarm Optimiza-tion[C]//Proceedings of IEEE International Con-ference on Neural Networks.Piscataway.1995:1942-1948.
RBF网络优化 篇7
毛坯形状是板料冲压成形过程中的一个重要参数[1]。合理的毛坯形状不仅可以节省原材料,提高材料的利用率,降低生产成本;而且,合理的毛坯外形能改善成形过程中的应力、应变分布和侧壁各部位的受力状态,减少起皱、开裂等缺陷的产生,提高板料的成形质量。然而,板料冲压成形过程是一个各种参数相互影响的高度非线性过程,确定毛坯形状并不容易,目前常用的诸多计算和模拟方法都还在进一步的探讨和发展当中。
人工神经网络因其广泛的适应能力、学习能力、非线性映射能力而日益受到多学科研究者的关注。当前实际应用中最为广泛的是前馈神经网络,尤其是BP(Back Propagation)网络。但大部分基于反向传播的前馈神经网络收敛速度慢,且易陷入局部极小。径向基函数(Radial Basis Function,RBF)神经网络[2](简称RBF网络)是一种新颖有效的前向型神经网络,它避免了像BP网络那样烦琐冗长的计算,具有较高的运算速度和外推能力,在逼近能力、分类能力等方面都优于BP网络。
因此,本文将RBF网络引入到冲压件毛坯形状的优化设计当中,并以盒形件为例,实现由零件几何形状到毛坯轮廓线的非线性映射。
2 径向基函数(RBF)神经网络简介
2.1 基本原理[3]
人工神经网络模拟人脑的思维特征,是一个大规模分布式并行的非线性信息处理系统。已经证明[4],一个三层的前馈型人工神经网络,在隐层节点足够多的情况下,经充分学习,可以任意精度逼近任何非线性函数。
RBF神经网络是以函数逼近理论为基础而构造的一类前向网络,这类网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面,径向基函数网络的每个隐层神经元传递函数都构成了拟合平面的一个基函数,网络也由此得名[5]。
2.2 RBF网络结构[6]
一个典型的RBF神经网络由输入层、径向基层(也称隐含层)和输出层三层组成。它以径向基函数(RBF)作为隐单元的“基”构成隐含层空间;隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内,使得在低维空间内的线性不可分问题在高维空间内线性可分。通常采用高斯函数作为径向基神经元的传递函数。
图1所示为一个具有r维输入的径向基函数神经元模型,图中的dist模块表示求取输入矢量p和权值矢量w的距离。
径向基层输入为:
径向基层输出为:
输出层的输出为隐含层节点输出的线性组合:
其中Wl为隐含层到输出层的权重,bl为输出层的阈值。
3 基于RBF网络的毛坯形状优化设计
3.1 RBF网络模型建立
RBF网络模型的建立包括网络输入输出参数的确定,样本构建与数据预处理等。本文以盒形件为例建立模型,利用MATLAB软件进行编程和运算。
3.1.1 确定网络的输入和输出参数
对于如图2所示的盒形件,其成形所需的坯料大小与该产品外形的几何参数密切相关,因此取描述其外形的几个主要几何参数:盒底面的长边A,短边B,法兰宽C,盒深度H,侧壁圆角半径R,底部圆角半径Rd,凹模圆角半径Ra,作为神经网络的输入参数,记为X=[x1,x2,…,x7]。考虑到盒形件的对称性,为简化计算,取1/4盒形件为研究对象进行毛坯预测。
在毛坯外形轮廓曲线上均匀选取一定数量的定义点,如图3所示,以定义点距离毛坯几何中心O的距离作为网络的输出参数,记为Y=[y1,y2,…,y10]。该RBF网络的模型如图4所示。
3.1.2 网络训练样本的构建
对各参数取5水平进行分析,建立7因素5水平的正交实验表(表1)。因此选用L50(57)正交表进行正交实验。利用有限元分析软件DYNAFORM进行模拟,并基于有限元正反向法对反求数据进行修正[7],获得坯料预测神经网络的50组训练样本,部分样本数据如表2所示。
3.2 网络训练及测试
对表2中数据进行归一化处理,从中选择40组数据进行网络训练,其它10组数据进行测试。经过40代的优化计算,建立RBF网络的训练误差为1.00419e-028,测试误差为0.0093。图5为网络部分输出与测试样本对比。
运用MATLAB软件编程运算的主要程序代码如下:
3.3 实例应用
如图6所示为某洗手盆零件,其几何参数为:A=400mm,B=340mm,C=30mm,H=200mm,R=100mm,Rd=80mm,Ra=10mm。运用前述训练过的RBF网络进行毛坯形状预测,步骤如下:
1)将零件几何参数作为网络输入,运用tramnmx函数归一化处理成[0,1]区间数据;
2)利用sim函数对网络输入进行仿真;
3)对仿真的结果数据反归一化处理;
4)输出网络预测数据为:y1=321.24,y2=322.70,y3=326.03,y4=332.49,y5=348.26,y6=385.67,y7=349.29,y8=339.86,y9=337.76,y10=337.14。
利用B样条曲线对网络输出数据进行拟合,可以快速地得到如图7所示的毛坯轮廓线。实验证明,RBF网络预测毛坯节约了经验试算成本,效率高,产品成形效果良好。最终产品如图8所示。
4 结论
根据以上的研究,人工神经网络理论运用于冲压件毛坯形状的预测是完全可行的。RBF网络结构简单,具有自适应确定、输出与初始权值无关等优良特性,将该网络应用于冲压件毛坯形状的的预测,不需要像传统的方法一样进行复杂的计算或者编程,它可以高效、准确地预测毛坯形状,具有很好的实际应用价值。
摘要：人工神经网络以其高度的并行处理信息的能力,能够有效地实现从输入到输出的非线性映射,广泛用于难以建立数学模型的非线性系统。本文将径向基函数(Radial Basis Function,RBF)神经网络引进到冲压件毛坯展开的优化设计当中,并结合MATLAB软件进行编程运算,通过实例证明了该方法的有效性。
关键词：径向基函数,毛坯优化设计,非线性映射,MATLAB
参考文献
[1]贺军涛.盒形件拉深的研究[D].长春:吉林大学,2004.
[2]周开利,康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京:清华大学出版社,2005.
[3]朱大奇,史慧.人工神经网络原理及应用[M].北京:科学出版社,2006.
[4]飞思科技产品研发中心编著.神经网络与MATLAB7实现[M].北京:电子工业出版社,2005.
[5]候彬媛,杜京义,汪梅.神经网络[M].西安:西安电子科技大学出版社,2007.
[6]许东,吴铮.基于MATLAB6.X的系统分析与设计——神经网络(第二版)[M].西安:西安电子科技大学出版社,2002.
RBF网络优化 篇8
关键词：综合评价,主成分分析,归一化RBF,神经网络优化,DFP修正
1 引言
财务综合评价是对公司经营业绩和财务风险进行多方面、多层次的综合分析。20世纪90年代, 随着数理统计和人工智能的广泛应用, 一些学者开始尝试将神经网络用于财务评价。Coats和Pant (1993) 较早将神经网络模型用于财务预警分析[1]; Eliana等 (2008) 运用神经网络模型进行银行信用风险评估[2]。国内梁和吴德胜 (2004) 利用BP神经网络和自适应神经模糊推理模型进行财务分析[3]; 高芳等 (2005) 基于Hopfield神经网络对高校财务状况进了分析[4]。此外, 胡珑瑛和蒋樟生 (2008) [5]、田野和马斌 (2009) [6]还将BP神经网络用于企业绩效方面的评价研究。
然而, 目前将神经网络用于财务评价处于起步和探索阶段, 还存在一些不足:①评价指标较少。由于神经网络对于多指标的识别常常表现得无效, 因此相关研究往往只选择少数几个财务指标进行神经网络建模, 这样虽有助于仿真识别, 却难以全面反映公司综合财务状况。②神经网络模型还存在一定的缺陷, 如常用的BP神经网络如果取初值不当, 容易陷入局部极小, 从而达不到精度要求, 降低了财务评价的准确性。因此, 本文基于主成分分析和归一化RBF神经网络建立智能评价模型, 克服了传统神经网络模型的缺陷, 有助于全面、准确地评估公司财务状况。
2 财务评价体系构建和主成分分析
为了全面反映公司的财务状况, 本文从盈利能力、偿债能力等五个层面构建了财务评价体系, 具体包括每股收益、资产负债率等14个评价指标 (见表1) 。
由于财务评价指标众多, 多指标维度会导致神经网络识别困难。因此, 需要先通过主成分分析法对多项财务指标进行筛选和简化, 减少原始指标的输入量。鉴于不同行业之间公司的财务特征差异较大, 为了便于比较分析, 我们选取了2007年钢铁业上市公司数据作为研究样本[7]是一种为模仿人脑神经系统工作机制而建立的网络模型, 它可以按照一定的学习准则进行学习和判断评价, 具有自组织、自适应和非线性动态处理等特征。
(1) 建模
针对传统神经网络在仿真实验过程中容易产生取初值不当而陷入局部极小、无法得到最优解的问题, 本文采用归一化径向基函数 (RBF) 而不是通常的高斯函数作为神经元, 该函数对有限区域的逼近具有很大的灵活性, 能够克服传统神经网络中因初值不当引起的局部最优问题。模型如下:
其中:
目标函数为:
其中: ej是误差, ci取单位矩阵即σi=1, (t1, t2, …, tp) 是数据的中心, ωi是权值。
(2) 模型优化
为了进一步提高学习速度和仿真的精度, 对神经网络模型进行优化, 函数中心通过监督学习的方法得到, σi=1, 修正公式为:ωi (n+1) =ωi (n) -αkd (k) , 其中: αk为第k步的步长, d (k) 为第k步的下降方向。
下降方向采用拟Newton法中的DFP修正公式:
其中:
步长采用Wolfe-Powell型线性搜索, 给定常数σ1σ2满足:0<σ1<0.5, σ1<σ2<1, 取αk>0, 使得
具体的优化算法如下:
步骤1: 取初始点x (0) ∈R, 初始值取单位方阵I∈Rn×n, 精度ε>0, 令κ=0。
步骤2: 若‖ᐁf (x (k) ) ‖≤ε, 则算法终止, 得问题的解x (k) 。
步骤3: 取dk=Hkᐁf (x (k) ) 。
步骤4: 由Wolfe-Powell型线性搜索确定步长αk.
步骤5: 令x (k+1) =x (k) +αkd (k) , 若‖ᐁf (x (k+1) ) ‖≤ε, 则得解x (k+1) , 否则由DFP修正公式确定Hk+1.
步骤6: 令k∶=k+1, 转步骤3。
这样, 通过归一化RBF和神经网络优化模型, 不但能够克服局部最优的问题, 而且还能达到很好的精度。
(3) 样本测试
在仿真实验中, 从32家样本中选择25家作为训练集 (输入层) , 另外7家公司作为测试集, 以考查系统的泛化能力, 输出层按照专家评分 (3) 结果加以定义, 并分别对应优秀、良好、一般、较差和很差5种等级的财务状况。对神经网络进行200多次训练后 (见表3) , 其结果与专家评分值十分接近, 表明神经网络评价与专家评分基本相符, 能有效区分“好”公司与“坏”公司财务状况。系统误差为0.00001, 对给定的训练样本学习满足仿真要求。
(4) 评价效果检验
经过训练样本学习后, 用另外7家样本公司对训练好的网络进行检验, 结果显示评价结果输出与期望值 (4) 基本相符 (见表4) , 表明该神经网络模型能较好地进行公司财务评价。
4 不同评价方法的比较
上述仿真实验采用主成分数据作为输入量, 减少了神经网络的输入数, 同时消除了输入指标间的相关性, 能大幅提高网络的学习速度。相反, 如果不采用主成分分析, 直接使用全部原始评价指标进行仿真实验, 不仅学习速度大幅下降, 而且由于评价指标太多而达不到精度要求, 无法有效地进行神经网络评价。同时, 如果不进行模型优化, 采用传统BP神经网络进行仿真, 当取初值过大时可能达不到精度要求, 导致评价结果不准确。
此外, 神经网络模型与专家评分法得到的评价值非常接近, 误差极小。由于专家评分法对指标权重的确定容易受到人为因素的影响, 导致评价标准不一致, 使评价结果产生偏差。而通过神经网络进行财务评价, 在给定输入和输出的情况下, 能得到准确的评价结果, 有助于克服评价的主观性及拟合数据能力差的缺陷。
5 研究结论
本文提出了基于主成分分析和归一化RBF神经网络优化的评价模型, 为公司财务评价提供了新的方法和思路, 并利用该模型对我国钢铁业上市公司财务状况进行了仿真实验。得出以下结论:①通过主成分分析法, 在保持原始信息基本完整的前提下, 能够降低输入量的维数, 有利于仿真建模;②相比传统神经网络方法, 归一化RBF神经网络优化模型能够去除神经网络冗余, 较好地克服了局部极小的缺陷, 使计算结果更加精确;③所构建的评价模型能够再现财务专家的知识和经验, 可以根据评价的需要随时对模型进行训练和调整, 具有较高的适用性和智能性。
参考文献
[1]Coats P, Pant L.Recognizing financial distress pat-terns using a nerual network tool[J].Financial andMagement, 1993:142~155.
[2]Angelini E, Di Tollo G, Roli A.A neural networkapproach for credit risk evaluation[J].The QuarterlyReview of Economics and Finance, 2008, (4) .
[3]梁樑, 吴德胜.财务分析:模式识别下的BP网络与自适应神经模糊推理比较研究[J].系统工程理论方法应用, 2004, (6) .
[4]高芳, 王明秀, 崔刚.基于神经网络的高校财务评价[J].哈尔滨工业大学学报, 2005.
[5]胡珑瑛, 蒋樟生.基于BP神经网络的创新型企业评价研究[J].软科学, 2008, (2) .
[6]田野, 马斌.基于模糊神经网络模型构建煤炭企业绩效评价体系研究[J].生产力研究, 2009, (1) .
[7]阎平凡, 张长水.人工神经网络与模拟进化计算[M].北京:清华大学出版社, 2002.
[8]Werntages H W.Partition of unity improve neuralfunction approximation[A].Proc IEEE ICNN[C].San Francisco, 1993:914~918.
RBF网络优化 篇9
水污染的预防和治理已成为当今世界日益严重的热点问题。膜生物反应器(MBR)作为一种将膜分离技术和生物反应技术相结合的新型高效污水处理技术,已被广泛应用于生活污水、有机废水处理等领域[1,2]。膜污染会影响MBR膜分离单元的性能,缩短膜的使用寿命,增加MBR系统的运行成本。因此研究膜污染的机理和预测控制方法,保证膜生物反应器能够在稳定的低耗能条件下获得较大膜通量是促进MBR推广应用的关键[3,4]。
目前在MBR膜污染领域,常用的多种预测模型都存在一些缺陷,如对膜污染机理分析不够透彻,预测精度差等问题。人工神经网络在预测领域有比较成熟的应用,而相比较传统的BP神经网络,RBF网络具有唯一最佳逼近的特性且无局部极小值的问题,可以做更精准高效的预测分析[5,6,7]。再引入遗传算法优化RBF神经网络的相关参数,弥补单一径向基网络模型的缺陷,就可以实现对膜污染更精准的预测。
2 RBF神经网络(RBF neural network)
人工神经网络(Artificial Neural Network,即ANN),是由人工建立的,以有向图为拓扑结构的动态系统,它从信息处理角度对人脑神经单元网络进行抽象化,建立简单模型,按不同的连接方式组成不同网络。人工神经网络以其特有的非线性适应性信息处理能力,使之在模式识别、自动控制、人工智能、预测估计等方面都有成功的应用,表现出了良好的智能特性。
径向基函数(RBF)神经网络是一种高效的前馈式神经网络,它由输入层、隐含层和输出层构成,具有其他前向网络所不具有的最佳逼近性能,并且结构简单,训练速度快。该神经网络采用RBF作为隐单元的“基”构成隐含层空间,将输入矢量直接映射到隐空间而不需要权值连接。当RBF的中心点确定后,映射关系也就随之确定。隐含层空间到输出空间的映射是线性的。
径向基神经网络的网络结构如图1所示。
RBF网络的激活函数采用径向基函数,以输入和权值向量之间的距离作为自变量,常见的隐含层节点的核函数为高斯函数。
其中,σ称为基函数的扩展常数或宽度,σ越小,径向基函数的宽度越小,基函数就越有选择性。
3遗传算法(Genetic algorithm)
遗传算法(Genetic Algorithms,简称GA或GAs)是由密歇根大学Joho H.Holland教授及其学生于20世纪60年代末到70年代初提出的一种经典的智能算法。遗传算法是一种基于群体寻优的方法,具有全局搜索能力,初值无关性以及较快的收敛速度。具体过程如下:
Step1:采用随机的方法或者其他方法产生一个初始种群。
Step2:根据问题的目标函数构造适值函数(Fitness Function)适值函数用来表征种群中每个个体对其生存环境的适应能力。
Step3:根据适应值的好坏,不断选择和繁殖,基因通过交叉和变异得到更新。
Step4:若干代后得到适应值最好的个体即为最优解。
4遗传算法优化的RBF神经网络(Optimization of RBF neural network based on genetic algorithm)
RBF神经网络具有最佳逼近性和全局最优性,可以实现对MBR膜通量较为精确的预测。但是为了更好地选取相关参数,引入遗传算法对RBF神经网络的参数进行合理优化,其中包含四个参数,分别是误差、训练速度、最大神经元数目以及神经元的间隔,经过遗传算法寻优后得到的最优个体即为进行RBF神经网络训练涉及的最优参数。GA-RBF神经网络模型完成网络训练后,再采用仿真数据检测评估该网络的优化性能。
5建立基于PCA的GA-RBF膜污染仿真预测模型(A simulation model of GA-RBF membrane pollution based on PCA is established.)
5.1采用PCA进行模型输入参数选取
主成分分析(Principal Component Analysis,PCA)是一种掌握事物主要矛盾的统计分析方法,它通过矩阵特征值分析对初始数据进行线性空间投影,从多元事物中解析出主要影响因素,从而达到简化复杂的问题的目的。
膜污染的影响因素众多,通过减少RBF网络的输入数来简化RBF网络结构,从整体上提高RBF网络的性能。初选的六个膜污染影响因子为X={总阻力,MLSS,操作压力,COD,PH,温度}。
主成分分析法步骤为:
Step1:把初选的六个膜污染影响因子组成矩阵X。
Step2:对X数据标准化处理,得到标准化矩阵A。标准化后的数据阵每个列向量的均值为0,标准差为1,数据无量纲。
Step3:计算出协方差矩阵S。
Step4:计算协方差矩阵S的特征值λ与相应的特征向量u,然后将特征值由大到小排列得到特征值矩阵V和特征向量矩阵U。
Step5:对特征值矩阵V分析,计算出贡献率,确定主成分。通常选取贡献率为85%—95%的m个主成分进行综合分析。
通过计算选取出主成分贡献率在90%以上的三个污染因子即:MLSS、操作压力及温度,并以此作为RBF神经网络的输入层神经元。膜通量大小是表征膜污染程度的唯一指标,因此以膜通量作为RBF神经网络的唯一的输出层神经元。
5.2建立基于GA-RBF的膜污染仿真预测模型
实验建立的GA-RBF膜污染预测模型如图2所示。
实验步骤如下:
Step1:对RBF神经网络的四个参数编码,为方便操作设定误差、训练速度为实数编码,最大神经元数目、神经元间隔为整数编码,所有编码得到的基因位串称为一个个体。
Step2:随机产生20个个体作为初始种群,构建初始的交配池。
Step3:执行RBF网络训练,得到误差百分比作为每个个体的适应度。个体间基因进行交叉和变异,保证基因多样性。
Step4:采用轮盘赌选择方式,筛选出适应度高的个体,淘汰掉适应度低的个体。
Step5:重复进行(3)直到结束循环,得到的个体为最佳个体。
Step6:训练完毕,最佳个体即为RBF网路最优的参数值,进行仿真测试,将实验数据与样本数据对比分析。
6预测结果与实验结果对比分析(Comparison of the predicted results with the experimental results)
实验数据全部来自于石家庄市某MBR污水处理厂的实验以及工业生产的历史数据,统一采用的是孔径为0.2um的聚偏氟乙烯微滤膜处理污水方法。从实验数据中选取6组作为校验用样本,其余24组作为神经网络的训练样本。
遗传算法操作的初始参数为:选择种群规模:sizepop=20;最大进化代数:maxgen=10;交叉率:pcross=0.8;变异率:pmutation=0.5.RBF训练误差范围是1e-4-1e-3;最大神经元数目范围值是80—150;显示神经元间隔范围值是10—30;速度范围值是10—25。
试验中得到遗传算法代数与误差曲线如图3所示。
图3显示了网络训练的误差随着遗传代数增加表现出来的变化趋势,随着进化代数增多误差降低,进化至第8代误差仅为0.02871,到第8代以后图像趋于缓和,基本已达到优化极限,实验收敛速度很快,优化效果明显。
为更好地体现优化效果,实验使用相同的样本数据进行测试,设置遗传算法进化到10代,分别对RBF网络和GA-RBF网络进行训练。首先得到基于RBF神经网络的预测结果,如图4所示,RBF网络的训练结果平均误差值为0.1130,已经能够完成初步的膜通量预测。然后再进行GA-RBF网络训练,预测结果对比如图5所示,经过GA优化参数之后的预测模型平均误差值仅为0.0275.准确度有非常明显的提高。实验结果表明,经过遗传优化过的RBF神经网络误差明显减小,得到的训练结果明显优于优化前的结果,预测精度较为理想。预测误差数据分析见表1。
7结论(Conclusion)
由于膜污染过程具有非线性、参数时变性、随机干扰等复杂的机理,造成预测研究过程十分困难,本文在用主成分分析法简化输入参数的基础上,建立了RBF神经网络仿真模型,实验取得了良好的预测效果,误差符合实验标准。由于预测精度是否准确很大程度上取决于网络模型参数的选取,因此引入遗传算法,优化RBF网络相关参数,建立基于遗传算法优化的径向基函数神经网络预测模型并成功应用于MBR膜污染仿真预测中,研究结果表明,遗传算法优化后的RBF神经网络不仅提高了预测速度,还明显提高了预测精确度,从而能更好地实验对膜通量的检测和控制。整个实验过程具有一定的理论价值和实践意义,对MBR实际工程应该可以起到积极的指导作用。
参考文献
[1]Yu Zhang,et al.Risk Assessment of Giardia from a Full Scale MBR Sewage Treatment Plant Caused by Membrane Integrity Failure[J].Journal of Environmental Sciences,2015(04):252-258.
[2]Kun Li,et al.Advanced Treatment of Municipal Wastewater by Nanofiltration:Operational Optimization and Membrane Fouling Analysis[J].Journal of Environmental Sciences,2016(05):106-117.
[3]Hui Gong,et al.Membrane Fouling Controlled by Coagulation/Adsorption during Direct Sewage Membrane Filtration(DSMF)for Organic Matter Concentration[J].Journal of Environmental Sciences,2015(06):1-7.
[4]韩永萍,等.MBR膜污染的形成及其影响因素研究进展[J].膜科学与技术,2013(01):102-110.
[5]刘海萍.神经网络在CPI预测中的应用[A].中国管理现代化研究会.第五届(2010)中国管理学年会——市场营销分会场论文集[C].中国管理现代化研究会,2010:7.
[6]Guo Sheng Peng,et al.Task Space Control of Free-floating Space Robots Using Constrained Adaptive RBF-NTSM[J].Science China(Technological Sciences),2014(04):828-837.