径向基神经网路（共7篇）
径向基神经网路 篇1
变形监控是了解大坝工作状态, 实施安全管理的重要内容之一。变形观测方法简便易行, 其成果直观可靠, 能够真实反映大坝的工作性态, 既是大坝安全监测的主要监测量, 又是大坝安全监控的重要指标。
早期人们通过绘制过程线、相关图, 直观地了解大坝变形测值的变化大小和规律, 并运用比较法、特征值统计法, 检查变形在数量变化大小、规律、趋势等方面是否具有一致性和合理性, 对大坝变形进行定性分析。随着各种分析理论的产生, 模糊数学、突变理论、灰色系统理论、神经网络等理论方法被相继引入大坝变形监控领域。
1 径向基神经网络
1.1 人工神经网络概述
人工神经网络是人工智能控制技术的主要分支之一, 具有自适应、自组织和实时学习等智能特点, 能够实现联想记忆、非线性映射、分类识别等功能[1]。应用人工神经网络的非线性函数逼近能力, 构建大坝监控模型, 能够实现对大坝变形的实时、有效监控, 其预报效果和精度远远高于传统的逐步回归统计模型[2]。
基于BP算法的多层前馈神经网络应用较为广泛, 但是存在建模难度较大, 训练时间较长, 容易陷入局部极小点, 不易找到理想模型等固有的缺陷。径向基神经网络解决非线性影射 (曲线拟合) 问题, 是通过网络的学习训练, 在高维空间中寻找一个统计意义上能够最佳拟合样本数据的曲面, 泛化 (预测预报) 等价于利用这个多维曲面对样本进行插值[3]。它采用局部逼近的方法, 学习速度快, 能够更好地解决有实时性要求的在线分析问题。
1.2 径向基函数神经网络
径向基函数神经网络一般由3层组成, 输入层只传递输入信号到隐层, 隐层节点由类高斯函数的辐射状基函数构成, 输出层节点通常是简单的线性函数。
基函数对输入信号在局部产生响应, 当输入信号靠近基函数中央位置, 即欧几里得距离 (欧氏距离) 较近时, 隐层节点将产生较大的输出。神经元根据各输入向量与每个神经元权值的距离产生输出, 只有那些与神经元权值相差较小, 距离较近的输入向量才能激活, 产生响应。这种局部响应, 使得径向基网络具有良好局部逼近能力。
一般对于一个n维输入、m维隐层节点的径向基网络, 其输入向量表示为:
那么, 网络输出Y为:
式中, φi (||X-vi||) 为径向基函数;||X-vi||为欧氏距离 (范数) ;vi为第i个径向基函数中心, 一个与X同维数的向量;wi为阈值。
1.3 径向基神经网络和基于BP算法的多层前馈神经网络比较
径向基网络和基于BP算法的多层前馈神经网络一样, 都属于有导师学习方式的前馈型反向传播网络, 都能解决非线性函数的拟合、逼近问题, 但是他们之间也存在差异。
(1) 网络结构不同。径向基网络只有一个隐层, 而多层前馈神经网络的隐层可以是多层的, 也可以是单层的。
(2) 神经元模型不同。径向基网络的隐层和输出层激励函数, 分别是基函数和线性函数。而多层前馈神经网络的隐层激励函数一般为非线性函数, 输出层激励函数可以是非线性函数, 也可以是线性函数。
(3) 隐层激励函数计算方法不同。径向基网络基函数计算的是输入向量与函数中心的欧氏距离, 而多层前馈神经网络隐层激励函数计算的是输入向量与其连接权值向量的内积。
(4) 非线性映射的特性不同。由于它们所采用的隐层激励函数以及激励函数的计算方法不同, 使得这2种网络的权值、阈值修正方式也不同。在径向基网络训练过程中, 只有被激活的神经元才能修正权值和阈值, 这种以指数衰减形式映射的局部特性被称为函数的局部逼近。多层前馈神经网络的训练过程, 也是所有权值和阈值的调整过程, 属于全局寻优模式。
2 白石水库大坝变形径向基神经网络模型
2.1 白石水库工程概况
白石水库位于辽宁省北票市上园镇附近的大凌河干流上, 总库容16.45亿m3, 是干流上唯一的大 (I) 型控制性骨干工程。大坝为混凝土重力坝, 部分采用RCD碾压混凝土技术。最大坝高49.3 m, 坝顶长513 m, 分为32个坝段。水库1996年9月正式开工, 1999年9月下闸蓄水。
2.2 大坝变形径向基神经网络模型
一般情况下, 大坝变形数学模型分为3个分量, 即水压变形分量 (δH) 、温度变形分量 (δT) 和时效变形分量 (δt) , 模型可以表示为[4]:
该文水压变形分量采用坝前水深 (H) 的一次幂、二次幂、三次幂呈线性关系;温度变形分量采用1、15、30、60、90d的库区日常平均气温;时效变形分量选用对数函数和线性函数2种。根据公式 (3) , 设计网络输入为11个节点, 输出为1个节点的3层大坝变形径向基神经网络。
2.3 神经网络模型预测、预报效果分析
为比较径向基神经网络的拟合和预报效果, 以白石水库6#坝段坝顶变形为例, 分别建立传统的逐步回归统计模型、BP神经网络与径向基神经网络模型3种模型, 特征值见表1, 预报曲线见图1。可以看出: (1) 径向基神经网络模型、BP神经网络模型、统计回归模型的复相关系数均高于0.9, 说明3种模型拟合程度良好, 3种模型均可以作为变形监控模型; (2) 从残差平方和、平均相对误差、残差变幅等方面比较, 广义回归径向基神经网络监控模型的拟合效果最佳, 其次是BP神经网络模型, 统计回归模型最差; (3) 基于LM算法的BP神经网络监控模型的残差平方和、残差最小值, 分别为10.15和-0.90 mm, 相比之下预报精度最高;广义回归径向基神经网络监控模型次之, 残差平方和、残差最小值分别为50.22和-2.38 mm;统计回归模型最差, 残差平方和、残差最小值分别为110.89和-2.70 mm。
3 结论
应用人工神经网络, 建立大坝变形的人工智能监控模型, 能够实现对大坝变形的实时、有效监控, 其预报效果和精度远远高于传统的逐步回归统计模型。BP网络的预报精度最高, 但它存在建模难度较大, 训练时间较长, 容易陷入局部极小点, 不易找到理想模型等缺点。径向基神经网络模型, 虽然在预报精度上略逊于BP神经网络, 但是在不过于苛求预报精度的前提下, 从建模容易程度、训练速度和预报精度等方面综合考虑, 远远好于BP神经网络。
参考文献
[1]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社, 2006.
[2]韩卫.基于神经网络的大坝变形智能监控模型研究[D].大连:大连理工大学, 2009.
[3]SIMON HAYKIN.神经网络原理[M].北京:机械工业出版社, 2003.
[4]吴中如.水工建筑物安全监控理论及其应用[M].北京:高等教育出版社, 2003.
径向基神经网路 篇2
随着全球赤潮频发,迫切需要一种能够直接、快速进行浮游植物种类和数量分析的方法。荧光光谱分析最先用于现场浮游植物分类和数据测量。1985年美国科学家根据荧光光谱中叶绿素/辅助色素比率识别了硅藻/甲藻/颗石粒藻、绿藻、隐藻和蓝藻四个门类;20世纪90年代德国bbe-moldaenke公司制造了能够储存五类浮游植物的激发荧光光谱指纹的荧光计,对这五类浮游植物进行了定性定量分析,但尚无法区分硅藻和甲藻。
传统的海藻分类技术主要基于统计学理论,如基于主成分的判别分析法[2]。本文用径向基函数网络结合模糊动态聚类和小波变换建立浮游植物光谱识别系统,该系统简便、收敛速度快,且具有较高的正确识别率。该识别系统对6个物种的总体识别准确率为94.5%,较单一识别系统总体识别准确率高14.8%。
1基本原理
径向基函数网络[3,4]是前馈神经网络中的一类特殊的三层神经网络。其隐含层单元的特性函数采用非线性的径向基函数,以对输入层的激励产生局部化响应,即当输入落在输入空间某一指定的小范围时,隐单元才会作出有意义的非零响应。输出结点则对隐结点的基函数输出进行线性组合。
径向基函数网络实现由输入X={x1,x2,…,xL}到输出Y={y1,y2,…,yM}的映射(或分类)。对于等输出结点yk(k=1,2,…,M),可以写出:
式中,ci表示某点的位置,例如它可以是某一类输入的聚类中心,R是某一类非线性径向对称基函数,‖·‖表示距某点ci的距离测度,N为隐含层神经元的数目。
2样品来源
试验选择6种浮游植物(如表1所示),为东海赤潮种或优势种,由生物专家鉴定纯化藻种。在光照培养箱中,固定光照周期为12h/12h,分别进行三个温度、三个光照的培养。在三个温度和3个光照条件下在整个生长周期(1～8d)中,每天定时取样测量。光谱实验得到六种浮游植物在三个温度、三个光照条件下共计432个样品光谱数据。
3基于RBF的分类系统
3.1数据预处理
(1) 缺样补零
从原始物种数据库中提取6个物种的光谱数据。每个物种共有72条光谱曲线,但有些物种的生长周期较短,导致样品缺失。为方便统一处理,将缺失样品的光谱置为零矢量。
(2) 去Rayleigh散射和测量噪声
鉴于Rayleigh散射效应在原始三维荧光光谱中的出现位置相对固定,本文采取了简单的处理方法:在出现散射的位置将信号置零。
经上述两步处理后,物种1～6可以利用的光谱曲线条数分别为68、70、70、60、50和67。
(3) 小波压缩
为了减少网络的训练时间和避免可能发生的网络训练过度,利用MATLAB6.0的内部函数appcoef对数据进行一维小波变换[5]。每个物种的光谱曲线中压缩前有81个变量,压缩后为43个变量。
(4) 模糊聚类[6,7,8]
经上述处理后,物种的光谱曲线中仍然存在与大多数样品有着明显差别的样品,称之为坏样。坏样的存在会严重影响网络的有效识别。这里,用模糊动态聚类方法剔除坏样。
(5) 归一化
根据公式
对剔除坏样后的数据归一化。
经上述5步处理后,物种1～6可以利用的光谱曲线条数分别为62、64、67、57、49和64。
样本的实际利用率分别为86%,89%,93%,79%,68%和89%;平均样本实际利用率为80.67%。
由此可见,实验所获得的样本能充分得到有效利用。
3.2实验方法
将包含物种1～6的集合分别记为SP1、SP2、SP3、SP4、SP5和SP6。从图2可以观察到,SP1、SP4和SP5有着很大的相似性,而SP2、SP3和SP6与它们明显不同。鉴于此,将物种分为两类,A={SP1,SP4,SP5}和
首先建立RBF netⅠ,该网络负责判断任意物种sp隶属于A或者
判定规则1 若输入任意物种sp后,网络的输出为(u1,u2)。如果u1>u2,则sp∈A;否则
然后建立RBF netⅡ和RBF net Ⅲ分别负责精确判定物种的隶属种类。RBF netⅡ和RBF net Ⅲ的输入层含有43个神经元,输出层含有3个神经元,设定三类的期望输出分别为(1,0,0),(0,1,0)和(0,0,1)。
RBF netⅡ的训练集从A={SP1,SP4,SP5}中以固定步长选取,余下的作为测试集,所选训练集中元素的数目为测试集中的2倍。选择恰当的变换矩阵M对训练集和对应的目标集进行变换,打乱样本的顺序。
RBF net Ⅲ的训练集和测试集从
判定规则2 对于RBF netⅡ,输入任意物种sp∈A后,设其输出为(α1,α2,α3)。若max{α1,α2,α3}=α1,则sp∈SP1;若max{α1,α2,α3}=α2,则sp∈SP4;若max{α1,α2,α3}=α3,则sp∈SP5。
RBF net Ⅲ的隶属种类判定原则与RBF netⅡ类似。
3.3结果与分析
RBF netⅠ识别A和
6个物种的总体识别准确率为94.5%。
如果没有用模糊聚类方法剔除坏样,建立单一的网络直接对6类物种进行分类,物种SP1、SP2、SP3、SP4、SP5和SP6的识别准确率分别为:54.5%,100%,100%,76.5%,55.6%和91.7%。6个物种的总体识别准确率为79.7%。
从上述数据可以看出,该识别系统较单一识别系统总体识别准确率高14.8%。
4结论
传统的径向基函数网络用于分类时,输出层神经元的数目与总分类数相同,例如6类问题需要输出层含有6个神经元,实验证明该方法不能对物种达到有效识别。通过观察与分析经预处理后的光谱图,找出类似的或难以区分的物种,将6类问题转为两类问题,然后这两类分别进行精确划分。实验结果表明,该方法准确率高,速度更快,具备实际可行性。
该系统中应用了模糊动态聚类剔除坏样,小波变换用于降维,从一定程度上增加了实验结果的可信性和网络的扩展能力。
参考文献
[1]徐丽娜.神经网络控制[M].电子工业出版社,2003.
[2]张前前,类淑河,王修林,等.浮游植物活体三维荧光光谱分类判别方法研究[J].光谱学与光谱分析,2004,24(10):1227-1229.
[3]靳蕃.神经计算智能基础原理方法[M].西安交通大学出版社,2000.
[4]Theodoridis S,等.模式识别[M].李晶皎,等译.第二版.北京:电子工业出版社,2004.
[5]杨建国.小波分析及其工程应用[M].机械工业出版社,2005.
[6]王新洲,史文中,王树良.模糊空间信息处理[M].武汉大学出版社,2003.
[7]庄恒扬,沈新平,陆建飞,黄丽芬.模糊聚类计算方法的理论分析[J].江苏农学院学报,1998(3).
[8]李相镐,李洪兴,陈世权,汪培庄.模糊聚类分析及其应用[M].贵阳:贵州科学技术出版社,1994.
[9]张海藩.软件工程导论[M].第三版.清华大学出版社,1998.
径向基神经网路 篇3
在矿业项目投资经济评价中如何对价格进行确定是一个十分复杂的问题,也是涉及经济评价可靠性、可行性的关键[1,2]。在项目整个服务年限内,10～15年甚至更长时间的矿产品价格预测,由于信息时间跨越大,用时序法、供求法等一般预测方法进行预测准确性较差。近年来,灰色预测模型和人工神经网络模型(ANN)用于非线性时间序列预测较为引人关注[3,4,5,6]其优点是不需要考虑计算统计特性,理论上可以适用于任何非时间序列建模。不足之处是:灰色预测模型适合于具有指数增长趋势的实际问题,对于其他变化趋势,则由于拟合灰度较大,导致精度难以提高;而基于BP网络的非线性预测模型则具有网络收敛慢、外推能力较差的缺点。根据矿产品价格预测的特点,本文建立了一种基于RBF网络的价格预测模型,较好地解决了上述问题。
2 矿产品价格定价原理及波动特点
2.1 矿产品价格定价原理
矿产品的价格取决于特定时刻的需求和供应状况,即矿产品价格是供求相等时的均衡价格。当市场供求关系发生变化时,矿产品的价格也随之发生变化。市场经济条件下,矿产品定价方法是在充分考虑了矿产资源有价性和地勘成果有偿使用的前提下,以生产价格为基础,针对资源产品产出过程的特殊性,制定出的矿产品的均衡价格。
2.2 矿产品价格波动特点
矿产品的价格受到多方面因素的影响,如供求状况、矿业技术水平、储量品位、开采条件、选冶条件、政策因素、经济因素、社会因素等。这些因素的影响使矿产品价格表现为一定的波动性,且在一定的波动幅度范围内产生随机变动,因而具有较强的不确定性和时序性。一般来说,矿产品价格波动受总的经济周期、国际政治经济形势、期内基金和投机的影响。其价格波动具有以下几个特征。
(1)自回归性。
相对价格对供应作用导致矿产品价格的自回归。
(2)加速影响。
加速影响对矿产品影响最大,因为这些矿产品与工业市场的关系极为密切。
(3)矿产品供求的非弹性。
与市场不确定有关的供应非弹性是左右矿产品供应价格长期无规律变化的一个重要因素。
2.3 矿产品价格预测特点
在进行矿业项目经济评价时,矿产品价格假设是必须采纳的最重要的假设之一。价格指标选取的合理与否,对估价结果产生重大影响。通常产品价格以预测到投产期初的价格为测算项目经济效益的依据。实际上这只考虑了产品建设期价格波动因素,而没有考虑整个生产经营期产品价格的波动因素。而在投资决策时,又经常会出现按现行价格开发一项工程经济上合理,但从未来长期的价格波动趋势看经济上是不合理的情况。因此,任何只考虑一方面的预测都具有相当的局限性。正确的思路是对任何资源评估不仅要预测从开发投产期间内的矿产品价格的波动,还要预测整个服务期限内矿产品价格的波动,否则可能导致不当的投资决策。
3 RBF网络模型
RBF模型是由3层神经网络构成的前向网络模型[7],见图1所示。输入层节点传递输入信息到隐含层,隐含层采用径向基函数作为激励函数,对输入信息在局部产生响应,产生较大的输出,输出层的输入为各隐含层神经元输出的加权求和,其激励函数为线性函数。最常用的基函数为高斯函数:
式中:Ri(x)——高斯函数;
ci——第i个基函数的中心;
——归一化参数;
m——感知单元个数。
当网络的输入为x=(x1,x2,…,xn)时,隐层单元i的输出为:
式中:ui——隐层单元i的输出值。
输出单元j的输出为:
式中:yj——j单元输出值;
ωij——权值。
则网络的输入和输出关系为:
4 基于RBF网络的矿产品价格预测模型及应用
4.1 数据样本
根据矿产品价格预测的特点,可以把其看作一个时间序列进行处理,假定有时间序列x={xi|xi∈R,i=1,2,…,m},将通过序列的前L个矿产品的价格预测后N个时刻矿产品的价格。可以采用表1所示的数据划分方法把数据区域分为P个长度为L+N的、有一定重叠的数据区间,每一个数据区间看作一个样本,这样可以得到P=M-(L+N)+1个样本。将每个样本的前L个值作为RBF神经网络的输入,后N个值作为目标输出,则通过学习可以实现从RL到输出空间RN的映射,从而达到根据过去矿产品的价格对未来矿产品的价格进行预测的目的。
4.2 网络节点数确定
网络的输入、输出神经元个数完全根据解决问题的要求来设计,根据上面的数据样本,易知输入层神经元个数为L,输出层神经元个数为N。隐含层神经元个数的确定是一个关键问题,这里采用结构自适应的方法处理,基本原理是隐含层从0个神经元开始训练,通过检查输出误差使网络自动增加神经元。每次循环使用,使网络产生的最大误差所对应的输入向量作为权值,并产生一个新的隐含层神经元。然后检查新网络的误差,重复此过程直到达到误差要求为止,此时的隐含层神经元个数即为网络的神经元个数。
4.3 数据的归一化处理
为了减少计算时截断误差带来的影响,需要将原始数据进行归一化处理,归一化处理的方法可见式(5)所示:
式中:xi——数据样本中第i个变量值;
minx——数据样本中数值最小的变量;
maxx——数据样本中数值最大的变量。
经过变换后的所有数据均分布在[-1,1]区间。
4.4 模型应用
以某金属前20年的销售价格历史数据作为样本集,应用所建立的网络模型对未来1 0年的金属价格进行预测。根据所建立的矿产品价格预测模型,将每3年的金属价格作为网络的一个输入向量,第四年金属价格作为输出向量。取第十七年的历史价格共计14个样本训练网络,把第十八年至第二十年的金属价格作为检验样本调整和验证网络的预测能力及精度。然后,利用建立的预测模型对未来10年的金属价格进行预测。预测结果见图2所示。
整个预测过程收敛很快,根据预测结果,第四年至第十七年预测值与实际值基本一致,最大相对误差只有3%。而第十八至第二十年的检验样本由于采用的是外推方法,误差相对较大,最大误差达到了24%,但价格变化趋势预测值与实际值相吻合。进一步对中长期价格进行预测,可以发现中长期价格呈现一定的规律性变化。
5 结论
(1)在进行矿产资源投资经济评价时,矿产品价格假设是必须采纳的最重要的假设之一,矿产品价格的形成机制是一个非线性系统,具有高度的复杂性。在进行矿业项目投资经济分析时,只有通过多年价格统计分析,研究价格的基本走势,结合国内外供需变化与市场价格之间的相互制约关系,确定价格取值,才比较合理。
(2)建立的基于径向基神经网络(RBF)的矿产品价格非线性预测模型,由3层前向神经网络组成,并以高斯函数作为基函数,该模型具有结构自适应、易于收敛和外推能力强等优点。
(3)用建立的矿产品价格预测模型对某金属的中长期价格进行预测,预测结果表明,其中长期价格呈现一定的周期性变化。
参考文献
[1]刘朝马.矿业权估价理论与方法[M].北京:冶金工业出版社,2003.
[2]于守法.投资项目可行性研究方法与案例应用手册(上册)[M].北京:地震出版社,2002.
[3]Chao-Hung Wang.Predictihg tourism demand using fuzzy time series and hybrid grey theory[J].Tourism Management,2004,(25):367-374.
[4]I.Z.Gao,S.J.Ovaska,A.V.Vasilacos.Temporal difference method-based multi-step ahead prediction of long term deep fading in mobile networks[J].Computer Communications,2002,(25):1477-1486.
[5]陈建宏,永学艳等.基于时间序列模型的矿产品价格分析与预测[J].昆明理工大学学报(理工版),2009,(6):9-14.
[6]冯萧,王进.基于非线性回归的矿产品价格预测研究[J].有色金属科学与工程,2011,(3):72-75.
径向基神经网路 篇4
当前,协同过滤推荐算法主要研究用户群对产品群的评分预测[1]。通过计算分析所有用户对项目的评分找到与目标用户相似的邻近用户集合,将该集合中所有邻近用户对目标项目的评分与目标用户之间的相似度相结合,用于预测目标用户对该目标项目的评分[2,3,4]。但是在这种计算方式中,目标用户的评分结果太过依赖邻近用户的评分,而忽略了其自身的评分特性。与此同时,协同过滤推荐算法中的用户评分数据稀疏以及新用户加入时冷启动等问题,都会对用户之间相似度的计算产生比较大的影响[5]。
当评分数据比较稀疏或有新用户加入时,计算所得用户之间相似度的可靠性往往比较低,此时实质上不太相似的两个用户看起来会比较相似。这样的邻近用户对目标项目的评分易产生比目标用户真实的评分过高或者过低的偶然性,而这种偶然性会造成目标用户的目标项目评分预测产生较大误差。
为了降低这种误差,需要把目标用户与邻近用户之间的相似度和目标用户自身的评分特性更好地结合起来。据此,本文提出一种基于RBF径向基神经网络的对传统协同过滤推荐算法进行改进的方法。首先,使用RBF神经网络对目标用户的每个邻近用户的评分数据进行建模;然后,把目标用户自身的评分数据输入到建立好的网络模型中,经过计算可以得到一个基于该网络模型的数据评分;最后,结合所有网络模型的数据评分进行计算,就可以得到最终的预测结果。实验表明,改进后的算法在评分数据比较稀疏和计算所用的邻近用户数量大的情况下,可以提高目标用户对目标项目评分的准确度。
1 相关工作
1.1 传统的协同过滤推荐算法描述
协同过滤推荐算法的基本假设是如果两个用户之间的兴趣相类似,那么其中一个用户很有可能会喜欢另外一个用户感兴趣的东西[6,7]。基于这一点找出与目标用户兴趣相近的邻近用户集合,然后借助该集合中邻近用户对目标项目的喜好来预测目标用户对该项目的喜好程度。
(1)用户—项目评分的表示
假设在用户评分数据库中共包括s个用户和t个项目,用U={u1,u2,…,us}表示这s个用户集合,I={I1,I2,…,It}表示t个项目集合,则用户评分数据可用一个二维矩阵表示,如表1所示。
表1中Pi,j表示的是用户ui对项目Ij的评分,通过该评分可以判断用户ui对项目Ij的喜好程度。
(2)用户相似性度量的方法
用户之间相似度的计算通常转化为用户评分向量之间相似度的计算。本文采用向量空间相似性中的余弦相似性度量方法。标准的余弦相似性通过向量间的余弦夹角来度量[8]:
其中Pi,k、Pj,k分别表示用户ui和uj对项目Ik的评分。
为了更精确计算向量间的相似度,文献[5]采用了修正余弦相似性度量方法。该方法选取了用户ui和uj的评分交集,并定义为I'。此时,向量间相似度的计算如下:
其中是用户ui在I'中所有项目评分的平均值。sim(ui,uj)的值在[-1,1]之间,其值越大,则表明两个用户之间的相似性就越高。
(3)协同过滤推荐结果的产生
计算得到用户之间相似度之后,找出与目标用户ui相似度最高的且对目标项目Ik都有过评分的N(N≥1)个邻近用户,定义T(Ui)为这N个近邻用户的集合,所以有|T(Ui)|=N。通过式(3)就可以计算目标用户对目标项目的评分:
其中分别为用户ui、uj对除目标项目之外的所有共同项目评分的平均值。
1.2 RBF径向基神经网络简介
RBF径向基神经网络是一种高效的前馈式神经网络,可以处理系统内难以解析的规律性。同时,RBF神经网络也是一种局部逼近网络,故其具有很高的自学习效率[9,10]。现今,该网络主要应用于解决函数曲线逼近和模式分类等问题。
RBF神经网络有输入、隐含和输出三个层次,其结构如图1所示。隐含层的神经元激活函数由径向基函数构成。隐含层组成的数组运算单元为隐含层节点,每个隐含层节点包含一个中心向量和输入参数向量具有相同维数,两者之间的欧式距离定义为‖x(t)-cj(t)‖。隐含层的输出由非线性激活函数φj(t)构成[11]:
其中,bj为一个正的标量,表示高斯基函数的宽度;m是隐含层节点数量。网络最后的输出由如下加权函数实现:
其中ωj是输出层的权值。
RBF径向基神经网络结构相比其他网络,具有更好的泛化能力,网络结构简单,可以避免不必要的冗长计算。同时,研究表明,该网络能在一个紧凑集和任意精度下,逼近任何非线性函数[11]。基于以上分析,本文选择使用RBF径向基神经网络对传统的协同过滤算法进行改进。
2 基于RBF神经网络的协同过滤推荐算法
2.1 传统协同过滤推荐算法的缺陷
为了说明本文提出的评分偶然性,建立如表2所示的一个“用户—项目”评分表。该表中的数据取自豆瓣电影中的部分评分,为空的表项表示用户在该项目上没有评分。
这里I1-I11为测试项目,I12作为目标项目,这样计算用户之间相似度时只需使用用户u1-u7对项目I1-I11的评分。
计算得出用户之间的相似度如表3所示。
从表3中选出相似度最大的4对邻近用户组,分别为[u6,u3]、[u6,u5]、[u7,u3]和[u7,u5](按行优先)。定义DIx(ui,uj)为用户ui与uj在项目Ix上的评分差的绝对值,这个值越大则说明用户之间评分的偏差就越大。
从表2中看出,在对项目I1~I11的评分上,这4对邻近用户组的DIx(ui,uj)基本都在[0,2]之间。但在对目标项目I12的评分上,DI12(u7,u5)=4和DI12(u6,u5)=3的评分偏差就比较大了,而同样是邻近用户组的[u6,u3]和[u7,u3]的评分偏差就比较正常。对目标项目I12的评分中所出现的上述情况就是邻近用户对目标项目的评分过高或者过低的偶然性,而在传统的协同过滤推荐算法中却忽略了这一点。
2.2 改进型协同过滤推荐算法提出的依据
从表2中用户u5与u7的评分来看,u7的评分相比u5高一些,故P7,12=5符合其评分特性;而u5的评分要低一些,故P5,12=1也同样符合u5的评分习惯。由于DI12(u7,u5)=4,如果P7,12=5借助来预测用户u5对I12的评分则会产生较大偏差。同理,邻近用户组[u6,u3]之间也存在这个问题。如果把目标用户自身的评分特性和与邻近用户之间的相似性结合起来,计算所得的评分会更接近目标用户自身的真实评分,就可以达到缩小用户之间评分偏差的目的。这种结合刚好可以使用RBF神经网络来完成。
文献[12]提出“如果两个邻近用户的兴趣爱好相似,那么他们对整体项目的评分曲线应该是互相接近的”。据此我们分别作出表2中4对邻近用户组在他们共同评分项目上的评分曲线,如图2-图5所示。
从图2-图5的4张曲线图看出,除个别点外,两个相邻用户的评分曲线在整体上的升降趋势是一致的,说明两条曲线之间是相互逼近的。由于RBF神经网络对非线性函数具有很好的逼近能力,则可以使用该网络对邻近用户的评分来建立基于该用户的网络评分模型。把目标用户的项目评分输入到训练好的模型中,经过计算可以得到一个参考目标用户自身评分数据的初步评分结果。并在最后结合所有的初步评分结果对目标项目进行预测。这种改进方式的优点在于既考虑了用户之间的相似性,也考虑了目标用户自身的评分特性。
2.3 算法设计与实现
基于RBF径向基神经网络改进的协同过滤推荐算法主要的工作在于如何通过该网络训练得到基于邻近用户评分数据的网络模型。这里定义目标用户为ui,目标项目为Ik,目标用户的邻近用户集合为T(ui),Px,k表示用户ux对项目Ik的评分,为用户ux评分向量。为用户ui、uj之间共同评分过的项目集合,即,则用户ux中属于共同评分的项目为,记作。
算法步骤如下:
(1)计算目标用户的邻近用户集合T(ui)。
(2)建立基于用户ux评分的RBF神经网络评分模型。首先,找出中属于共同评分的项目集合。其次,把该集合中所有项目的评分数据作为RBF神经网络的样本输入,训练网络的样本输出为ux对目标项目的评分Px,k,如图6所示。经过训练建立起来的网络就是基于用户ux评分的网络模型,记作net(ux)。
(3)把目标用户ui属于集合的项目的评分数据输入到训练好的网络模型net(ux)中,如图7所示。通过计算可以得到一个关于该模型的输出结果,称为基于ux评分的网络输出,记作P'x,k。
(4)判断ux是否是集合T(ui)的最后一个用户。如果不是,则返回执行步骤(2),直到计算完所有的相似用户;如果是,则说明已经收集完了所有基于邻近用户评分的网络输出,接下来执行步骤(5)计算目标用户的最终评分。
(5)收集完所有邻近用户的网络输出评分后,使用如下改进的公式来计算ui对目标项目的评分Pi,k:
算法的流程如图8所示。
从式(6)看出,改进后的协同过滤推荐算法使用基于邻近用户评分的网络输出计算P'x,k,而P'x,k参照了目标用户自身的评分。相比传统算法中的Px,k,P'x,k更加接近目标用户的目标项目真实评分,进而达到了降低评分差,提高预测准确性的目的。
3 实验结果与分析
3.1 数据集
本文实验采用美国Minnesota大学的Group Lens项目小组创办的Movielens数据集。该数据集至少有10万条评分记录,包括943个用户对于1682部电影的评分。这里定义评分矩阵稀疏度为已有评分数量占影评总量的百分比。
3.2 度量标准
评价推荐系统推荐质量的度量标准大多采用统计精度度量方法[12]。该方法中的平均绝对偏差MAE(Mean Absolute Error)方法不仅易于理解,而且还可以直观地对推荐质量进行度量。故本文采用该方法作为评价度量标准。平均绝对偏差通过计算用户的预测评分与实际评分之间的偏差来度量预测的准确性[13]。MAE值大小与推荐质量之间成反比关系,也就是说MAE值越小,推荐质量就越高。
3.3 实验结果与分析
由于协同过滤推荐算法的推荐效果同时受到评分数据集稀疏度(λ)和邻近用户个数(N)两个因素的影响,所以,在验证改进算法时将围绕这两个因素进行对比。
(1)不同评分数据稀疏度算法的对比
实验中对原始数据进行随机删减,形成λ分别为2%、4%、6%、10%、12%、14%、16%、18%和20%的10个稀疏评分矩阵,并分别对这10个评分矩阵使用传统的协同过滤推荐算法和本文提出的改进算法进行测试。这里固定邻近集合的大小为15,这样可以在相同邻近用户数量的情况下对比不同评分稀疏性对评分预测所带来的影响。实验所测的数据如表4所示。
图9为按照表4所作的直观对比实验结果。
从图9可以看出,当评分矩阵密度越小时,改进后的协同过滤算法的MAE值比原协同过滤算法的值小。当密度不断增大时,这两种算法之间的MAE值不断接近。这是因为在固定邻近用户数量的情况下,当评分数据越稀疏时,所得到的邻近用户与目标用户之间相似度可靠性就越低。可靠性低的邻近用户在对目标项目的评分上产生过高或者过低的偶然性因素的概率就会越高。相反,当评分密度大时,计算所得到的目标用户与邻近用户相似的可靠性也就越高,所以邻近用户与目标用户之间就更加相似,那么评分上的偶然性因素发生的概率就会降低。
(2)不同邻近用户数量上算法的对比
在同一评分数据稀疏度,不同邻近用户数量下传统算法和改进后算法的对比实验中,邻近用户数量分别取5、15、25、35、45,λ固定为10%。实验所测得的数据如表5和图10所示。
从图10中看出,随着邻近用户数量的不断增多,两种算法的MAE值都呈现了下降的趋势,但改进后的算法要比传统的算法下降得快一些。这说明改进后的算法在邻近用户数量越多时性能越好。分析原因,主要是在固定评分数据稀疏度下,随着用于计算的邻近用户数量的增多,邻近用户与目标用户的相似度会越来越小,用户之间相似可靠性也会随之下降,导致邻近用户与目标用户在目标项目上的评分差值增大。而使用改进后的算法能够减小这两个用户对目标项目评分之间的差值,从而提高了预测的精确度。
4 结语
针对邻近用户对目标项目评分上的偶然性偏大或者偏小因素给目标用户的预测结果带来误差的情况,本文使用了RBF径向基神经网络对传统的协同过滤推荐算法进行改进。改进后的算法在传统算法的基础上结合了目标用户自身的评分特性,达到了减小预测值与真实值之间评分偏差的目的,进而降低了邻近用户对目标项目评分过高或者过低所带来的偶然性误差。实验结果表明,与传统推荐算法相比,改进后的推荐算法在数据评分稀疏和邻近用户数量大的情况下可以获得更好的推荐效果。
径向基神经网路 篇5
轴承是电机主轴的支撑, 是电机的重要部件之一。异步电动机的轴承故障发生概率约为40%, 由于工作面接触应力的长期反复作用, 极易引起轴承疲劳、裂纹、压痕等故障, 将引起电机异常振动, 电机将无法正常运行。这种异常振动超过常规振动所规定的允许值时, 也会对电力生产及人身安全带来极大的危害甚至整机报废, 造成重大事故。可见轴承工作状态是否正常, 对于电机有着重大的影响。
目前, 轴承故障可通过目测、测量和无损探伤等方法进行检测, 但这些方法易受噪声干扰而产生误判。而神经网络的自学习能力、非线性映射能力、对任意函数的逼近能力、并行计算能力和容错能力等为构造新型故障诊断系统提供了有力手段[1]。本文采用基于径向基函数神经网络技术对作为电机主要支承型式的滚动轴承进行智能故障诊断。
1 径向基函数神经网络
径向基函数神经网络用径向基函数作为隐层单元的“基”, 构成含层空间, 隐含层对输入矢量进行变换, 将低维的模式输入数据变换到高维空间内, 使得在低维空间内的线性不可分问题在高维空间内线性可分。
1.1 径向基函数神经网络建模原理
径向基函数神经网络是单隐层的前向网络, 它有三层构成:第一层是输入层, 由信号源节点组成;第二层是隐含层, 隐单元的个数由所描述的问题而定, 隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数;第三层是输出层, 它对输入模式做出响应。径向基函数网络模型如图1所示。
1.2 径向基函数神经网络训练算法
径向基函数的Gaussian函数网络的学习参数有3个, 即各径向基函数的中心Ck、方差σk和输出单元的权值Wk。径向基函数网络算法步骤如下[2,3]:
1) 从输入向量中选一组初始中心值Ck;
2) 计算方差值
式中dmax为最大的距离, K为Ck的数量;
为网络期望输出;为3个参数的学习步长。
5) 如网络收敛, 则计算停止, 否则转到步骤 (4) 。
2 电机轴承的故障特征提取
本实验采用型号为6204的深沟球轴承, 在电机驱动端轴承座上使用带磁座的电荷加速度传感器采集振动信号。考虑到生产现场很难搜集全各种故障数据, 采用电火花加工技术在正常轴承各表面加工出细微的点蚀。轴承故障分为内圈故障、外圈故障、滚子故障、正常轴承4种状态。故障直径分别分为0.007inchs, 0.014inchs, 0.021inchs三个等级, 深度都为0.011 inchs。马达电机负载分别在0, 1, 2, 3HP下测得的, 电机转速为1430rpm, 其每一个状态如表1所示组合进行测试。然后采用小波包频带能量分析技术提取滚动轴承的故障特征[4]。
3 电机轴承故障诊断仿真结果
通过调用MATLAB神经网络工具箱的newrb函数创建一个径向基函数神经网络, 输入层神经元16个, 输出层神经元16个, 径向基函数的分布密度SPREAD=3, 训练目标误差值取为0.0001。网络的输出模式, 采用以下的输出模式:
滚动体故障: (1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0) ;
内圈故障: (0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0) ;
外圈故障: (0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0) ;
无故障: (0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0) ;
在训练的过程中, 隐含层的神经元数量的确定是一个关键, 传统的做法是使其与输入向量的元素相等, 显然此方法在输入矢量过多时, 过多的隐含层神经元让人难以接受。此处, 隐含层的神经元从0个神经元开始训练, 通过检查输出误差使网络自动增加神经元, 每次循环使用, 使网络产生的最大误差所对应的输入向量作为权值向量, 产生一个新的隐含层神经元, 然后检查新网络的误差, 重复此过程直到达到误差要求或最大隐含层神经元数为止。
我们选择了80组训练样本时, 73步达到训练目标, 如图2所示。选用滚动轴承的48组测试样本送入训练好的径向基函数神经网络进行模式识别, 诊断结果如表2所示。由表2可以得到径向基函数神经网络诊断准确率为97.91%。
在径向基函数神经网络的设计中, 最重要的参数是径向基函数的分布密度。为了验证径向基函数的分布密度的取值对故障诊断准确率的影响, 分别取SPREAD=1, SPREAD=2, S P R E A D=8, 仍采用原训练样本和测试样本进行试验。图3、4、5分别为取SPREAD=1, SPREAD=2, SPREAD=8时径向基函数神经网络训练过程, 当SPREAD=1时, 径向基函数神经网络诊断准确率为93.75%;当SPREAD=2时, 径向基函数神经网络诊断准确率为95.83%;当SPREAD=8时, 径向基函数神经网络诊断准确率为97.91%。
4 结论
本文将径向基函数神经网络用于电机轴承的故障诊断, 采用径向基函数神经网络对电机轴承在滚动体故障、内圈故障、外圈故障以及无故障状态给予识别。试验结果表明, 系统不仅能够检测到轴承故障的存在, 而且能够更高效、准确地进行电机轴承的故障模式识别, 能够更好的应用于电机轴承的故障诊断中。
参考文献
[1]梅宏斌.滚动轴承振动监测与诊断——理论·方法·系统[M].北京:机械工业出版社, 1996.
[2]Simon Haykin.Neural Networks:A Comprehensive Foundation (Second Edition) [M].Prentice Hall, 1999.
[3]Ham F M, Kostanie I, Priciples of Neuro Computing for Science&Engineering[M].McGraw Hill, 2001.
径向基神经网路 篇6
经过多年研究, Hopfield神经网络可以有效解决组合优化问题已经毋庸置疑, 但其采用梯度下降的动力学策略使得它在解决组合优化问题时极易陷入局部极小点[1], 从而影响了其求解问题的最优比。可以通过在Hopfield网络中引入自反馈项而使其表现出暂态的混沌动力学行为, 以避免陷入局部极小点 (最著名的是Chen等提出的暂态混沌神经网络模型[1]) , 因此网络的混沌搜索过程敏感的依赖于自反馈连接项, 由混沌神经网络的模型结构可知该项依靠模拟退火参数控制, 由此可见模拟退火参数对网络的优化性能和收敛速度有很大的影响。
目前已构建的混沌神经网络模型有很多, 而采取的模拟退火策略通常是选取单一的模拟退火参数。分段线性模拟退火策略是指选取两个不同的模拟退火参数, 分别控制不同的退火速度, 由此调节网络的搜索能力以及进入稳定状态的平衡点。该方法的研究已有一定的基础, 如徐耀群等研究的“白噪声混沌神经网络的模拟退火策略”, 以及“反三角函数混沌神经网络的模拟退火策略”等等, 有了一定的理论基础。本文引用前期研究已构建的一种径向基非线性自反馈混沌神经网络模型[2], 该模型的自反馈连接项由径向基函数的一种即逆多二次函数构成, 在此基础上采用上述的分段指数模拟退火策略, 通过仿真实验说明, 此混沌神经网络模型采用该新策略后既能充分利用混沌的动态特性进行搜索, 使得算法可以从局部最优的“陷阱”中跳出来, 又能有效减少网络运算的迭代步数提高收敛速度。
1 暂态混沌神经元模型
介绍暂态混沌神经元模型之前, 首先介绍神经元的工作流程, 以便于更好地理解神经元模型各组成部分的意义。神经元结构如图1所示。
其中Z1, Z2, …, ZN为神经元i的N输入信号;Wi1, Wi2, …, Wi N为N个连接权值;ui是输入信号线性组合后的输出;是神经元i的净输入;bi为神经元的偏差;vi为经偏差调整后的值;F (·) 为激励函数;Xi为神经元的输出。
以此结构图作为参照, 在Chen L等人提出的暂态混沌神经网络基础上, 将其线性自反馈连接项改为由逆多二次函数构成的非线性自反馈连接项, 构建的单个混沌神经元模型描述如下:
本模型激励函数选取Sigmoid函数即x (t) , 如式 (1) 所示, 其中ε0称为陡度参数。
内部状态函数为y (t) , 其变化过程如式 (2) 所示, 其中k为神经内膜阻尼因子, 0≤k≤1, 其t+1时刻状态受到t时刻状态影响, k值越大, 内部状态保留能力越强;I0为一正参数。
f (u) 为逆多二次函数, 它是径向基函数的一种, 如式 (3) 所示, δ是径向基函数的扩展常数或称宽度;α为该函数的另一参数, 且有α>0。
z (t) 是自反馈连接项如式 (4) 所示, 该项与随机模拟退火中的温度类似, 温度越高混沌动力学行为越显著;β是退火参数, 其值对z (t) 有着决定性影响。
选取适当的参数, 能使神经元表现出暂态混沌行为。下面通过神经元的倒分岔图和最大Lyapunov指数时间演化图来分析该模型的动力学特性。
当参数选取ε0=0.8, y (1) =0.283, z (1) =0.5, k=0.1, l0=0.85, δ=0.58, α=17固定不变, 当分别选取β=0.002与β=0.0025时神经元的倒分岔图和最大Lyapunov指数时间演化情况如图2-图5所示。
由图2-图5可知:该网络具有暂态混沌动力学的行为, 网络的混沌动态特性很敏感地依赖于模拟退火的温度[3]z (t) , 这对于求解组合优化问题有着重要的影响。若z (t) 值较大, 说明初始退火温度较高, 这时网络的混沌动力学行为可以充分体现;而z (t) 值较小, 说明初始退火温度较低, 这时求解组合优化问题较易收敛到稳定平衡点。
由式 (4) 不难看出退火温度与退火参数β紧密相关, 温度的高低与β值大小变化相反, β较大时温度反而较低, β较小时温度则较高, 混沌行为趋于稳定时z (t) 接近于零值, 由图3与图5的演化图中表现为Lyapunov指数值在0值附近, 此时网络达到平衡点。由图2与图4的神经元倒分叉图可以直观看出, 在其他条件不变情况下, β=0.002时激励函数x在时刻t=6 600左右收敛, β=0.0025时激励函数x在时刻t=5 200左右收敛, β值仅仅相差0.0005, 倒分叉过程却相距甚远, 由此说明混沌行为敏感依赖于模拟退火参数β。
不妨试想一下, 如果β值无限接近于1, 则退火温度将趋近于0值, 网络的模拟退火过程将体现的非常微弱, 混沌搜索过程将不能充分发挥其作用[4], 致使收敛速度过快, 找不到全局最优解;如果β值无限接近于0值, 则退火温度每一时刻变化甚微, 虽然可以充分发挥混沌搜索过程, 但收敛速度非常慢, 网络很难达到稳定状态, 不能满足可行算法的时间限制。
2 分段线性模拟退火神经元模型
为了使初始温度不至于过高或过低, 可以对模拟退火策略采取线性分段的方法, 这样既可以充分进行混沌搜索, 使网络不至于陷入局部极小点, 又可以灵活控制收敛速度, 不影响求解速度。现将分段线性模拟退火策略[4]描述如式 (5) 所示, 将其替换式 (4) , 即可得到具有分段线性模拟退火过程的径向基非线性自反馈混沌神经网络神经元模型。
式中, β1, β2为正常数且有0<β1<β2<1, 分别称为一级退火参数和二级退火参数, η被称为模拟退火的分段点, 该点适合的位置应处于混沌搜索与进入稳定平衡状态之间[5], 具体数值则根据不同网络以及各参数的初值而确定。
下面通过仿真实验考查分段后的模拟退火策略对混沌神经元模型的影响, 当参数选取ε0=0.8, y (1) =0.283, z (1) =0.5, k=0.1, I0=0.85, δ=0.58, α=17, β1=0.002, β2=0.0025, η=0.002时神经元的倒分岔图和最大Lyapunov指数时间演化情况分别如图6和图7所示。
与图2-图5相比, 由图6和图7容易看出, 将模拟退火策略线性分段后, 该径向基非线性混沌神经元混沌行为能够充分得到展示, 同时也提高了收敛速度, 网络可以逃离局部极小点的限制, 找到全局最优解, 同时不必在寻优过程中过于浪费时间。
采取单一退火参数时, β=0.002时网络收敛于t=6 600左右, β=0.0025时网络收敛于t=5 200左右, 采用分段线性模拟退火策略后, 网络收敛于t=6 000左右, 介于上述两情况之间, 当退火温度z (i) >z (1) η时, 退火参数选取β=0.002, 在图形中表现为收敛点之前, 保证了混沌搜索的全局性, 当退火温度z (i) ≤z (1) η时, 退火参数选取β=0.0025, 在图形中表现为收敛点之后, 较单一选取β=0.0025时提前达到了稳定的平衡状态。
3 采用分段线性模拟退火策略的径向基非线性混沌神经网络模型
将分段线性模拟退火策略应用于具有径向基非线性自反馈的混沌神经网络, 其模型描述如下:
网络模型中[6]i=1, 2, …, n;xi (t) 是由Sigmoid函数构成的激励函数;yi (t) 为内部状态;k为神经隔膜的阻尼因子, 0≤k≤1, 表示网络记忆保留或遗忘内部状态的能力, 其值越接近1越表明下一时刻内部状态变化不大, 保留能力较强, 其值越接近0表明下一时刻内部状态有很大变动, 遗忘能力较强;zi (t) 自反馈连接项, 其值是不断减小的, 当减小到趋近0值时, 网络将结束混沌搜索状态, 进入稳定平衡状态;β1是第一模拟退火参数, β2是第二模拟退火参数, 二者一同控制退火温度zi (t) ;wij为从神经元j到神经元i的连接权值, 且wij=wji, wii=0;Ii为神经元i的输入偏差;γ为输入的正的尺度参数, 代表着能量函数对动态特性的影响, γ过大则能量函数影响太强, 有可能无法得到暂态混沌现象, γ过小则能量函数影响太弱, 有可能无法收敛到最优解;I0为一正参数;f (u) 为逆多二次函数。
4 在组合优化问题中的应用
以旅行商最短路径问题 (TSP) 为例, 考查该新型混沌神经网络解决组合优化问题的能力, TSP可描述为:给定n个城市以及每两个城市之间的距离, 若要使旅行商经过每个城市且各城市仅经过一次, 求最短路线。
所求最短路径并满足TSP问题约束条件的一个能量函数可以有如下公式描述[7]。在该公式中, Vxi为神经元输出, 代表第x个城市在第i次序上被访问, dxy为城市x、y之间的距离。由于行列式的对称性, 系数A=B, 一个全局最小的E值代表一条最短的有效路径。
该仿真实验的配置是:联想G450笔记本电脑;操作系统为Windows XP;Intel酷睿2双核T6600CPU;硬盘容量320GB;显卡芯片为NVIDIA Ge Force G210M;程序运行环境选择Matlab7.0;计算机内存为2GB, 内存主要作用是存放各种输入、输出数据和中间计算结果, 以及与外部存储器交换信息时作缓冲用, 而该实验的运行涉及大量矩阵计算, 数据交换较为频繁, 因此内存不能过低, 否则会影响程序运行速度, 甚至无法运行, 本实验建议选用内存在1GB以上。
本文采用以下经典归一化后的10城市坐标: (0.4, 0.4439) ; (0.2439, 0.1463) ; (0.1707, 0.2293) ; (0.2293, 0.716) ; (0.5171, 0.9414) ; (0.8732, 0.6536) ; (0.6878, 0.5219) ; (0.8488, 0.3609) ; (0.6683, 0.2536) ; (0.6195, 0.2634) 。该10城市最短路径为2.6776, 路径如图8所示。
当取ε0=2, z (1) =0.5, k=1, I0=0.7, β1=0.002, A=4.3, D=3.5, γ=0.9, α=0.8, δ=1, η=0.5固定不变, 分别选取不同的二级模拟退火参数β2, 研究其对TSP求解的影响, 表1是该情况下200次随机分配初始值的仿真数据结果, 其中s为时间单位“秒”。
由表1可以看出:二级模拟退火参数β2的变化并没有影响合法路径的数量, 比例均为100%, 最优路径比例也均在60%以上, 说明网络已经充分地利用混沌搜索过程, 跳出局部极小点限制, 找到全局最优解;但随着β2逐渐增大, 网络的寻优速度有所提高, 说明二级模拟退火参数β2主要决定网络的收敛快慢, 因此对于此模型而言, 若一级模拟退火参数可以使得网络体现出混沌特性, 并且能够逃离极小点的限制, 那么β2可以适当地调高数值, 便于提高网络的效率。
以上仿真实验结果与未采取分段指数模拟退火策略的原径向基混沌神经网络[2]相比较, 一级模拟退火参数β1=0.002时, 最优路径比例均在60%以上, 而采取分段模拟退火策略后, 网络的收敛时间缩短, 提高了网络求解效率。
当取ε0=2, z (1) =0.5, k=1, I0=0.7, β2=0.01, A=4.3, D=3.5, γ=0.9, α=0.8, δ=1, η=0.5固定不变, 分别选取不同的二级模拟退火参数β1, 研究其对TSP求解的影响, 表2是该情况下200次随机分配初始值的仿真数据结果。
由表2可以看出:在β2不变的情况下, β1由0.002至0.009的变化过程中, 网络的合法路径比例保持100%不变, 而最优路径数量由高变低, 最优比由71.5%渐变到62%, 说明β1越小, 网络获得全局最优解数量越高, β1越大, 网络获得全局最优解数量越低, 说明一级模拟退火参数β1主要决定网络混沌搜索过程能否被充分发挥, 不至于陷入局部极小点, 得不到全局极小点。
以上仿真试验结果与未采取分段指数模拟退火策略的原径向基混沌神经网络相比较, 一级模拟退火参数β1=0.002时, 最优路径比例均在60%以上, 而采取分段模拟退火策略后, 网络的收敛时间缩短, 提高了网络求解效率。
本模型采用逆多二次函数构成的非线性自反馈连接项, 而网络的寻优能力较敏感依赖于逆多二次函数的参数[2]α, 下面通过仿真实验进行考查。当取ε0=2, z (1) =0.5, k=1, I0=0.7, β1=0.002, β2=0.0025, A=4.3, D=3.5, γ=0.9, δ=1, η=0.5固定不变, 分别选取不同参数α研究其对TSP求解的影响, 表3是该情况下200次随机分配初始值的仿真数据结果。
从表3可以看出:逆多二次函数的宽度δ=1固定不变时, 虽然无论参数α的取值大小, 该网络求解TSP问题所得到的合法路径比例均为100%, 即网络能够找到当且仅当经过每个城市一次的有效路径, 但是最短路径的寻找结果通过最优比可知, 其结果受到α的影响较明显。当α≥0.65情况下, 最优路径比例也均在60%以上。α<0.65情况下, 最优路径比例大幅度下降, 下降速度在0.5<α<0.6区间十分迅速, 当α=0.5时基本找不到最优路径, 这表明逆多二次函数的参数0.5<α<0.6时, 网络容易陷入局部极小点, 找不到全局最优解。
5 结语
本文将线性分段退火策略应用于径向基非线性[8]混沌神经网络中, 分析了其神经元的混沌动力学行为, 通过倒分叉以及Lyapunov指数演化图说明了该分段退火策略, 若选取合适的一级模拟退火参数β1和二级模拟退火参数β2, 它能够有效并合理地控制网络的搜索过程, 并提高收敛速度。将带有分段退火策略的新型网络应用于解决组合优化的经典问题TSP, 仿真实验结果表明, 该网络的寻优能力敏感依赖于一、二级模拟退火参数, 以及逆多二次函数的参数α。
摘要：在Chen L等人提出的暂态混沌神经网络模型基础上, 采用径向基函数构成的非线性自反馈连接项, 分析该网络的动力学特性, 模拟退火策略采用分段式结构, 合理控制网络的混沌搜索过程及收敛速度。将其应用于组合优化问题中, 通过仿真实验, 说明若合适调整一级、二级模拟退火参数, 则该新型网络能够较好克服陷入局部极小点并较快收敛到最优解, 从而验证该方案的有效性。
关键词：径向基函数,非线性自反馈,组合优化,模拟退火,最优解
参考文献
[1]Chen L, Aihara K.Chaotic simulated annealing by a neural network model with transient chaos[J].Neural networks, 1995, 8 (6) :915-930.
[2]许楠.径向基混沌神经网络的研究及应用[D].黑龙江省哈尔滨:哈尔滨商业大学, 2012.
[3]邵俊倩, 邹大伟, 沈艳微.基于神经网络的综合方法的研究[J], 价值工程, 2012 (1) :177-179.
[4]Khoshjavan S, Mazloumi M, Rezai B.Artificial neural network modeling of gold dissolution in cyanide media[J].Journal of Central South University of Technology, 2011 (6) :208-216.
[5]许楠, 徐耀群.反三角函数混沌神经网络的模拟退火策略[J].哈尔滨商业大学学报:自然科学版, 2011, 27 (6) :814-818.
[6]谢传泉, 何晨.混沌神经网络模型中的模拟退火策略[J].上海交通大学学报, 2003, 37 (3) :323-326.
[7]徐耀群, 孙明.Shannon小波混沌神经网络及其TSP (城市旅行商) 问题的求解[J].控制理论与应用, 2008, 25 (3) :574-577.
径向基神经网路 篇7
径向基函数神经网络是一种三层前馈式局部逼近网络,具有较强的非线性逼近能力,现已广泛用于函数逼近、模式识别以及非线性时间预测等领域[1]。传统的径向基函数的神经网络所采用的基函数大多是径向对称的,而在对称的径向基函数中最常用的是采用高斯基函数,而高斯径向基函数神经网络需要确定4个参数,即RBF网络的中心值、基宽值、隐层神经元个数( 中心个数) 以及隐层同输出层间神经元的所有连接权值[2]。而这4个参数的确定一直是RBF神经网络难以解决的问题,至今没有系统的规律可参照。许多学者为确定RBF网络4个参数采用了基于智能计算的优化方法,但均因设计参数太多而导致计算量大,所建立的RBF网络模型的精度也不高[3]。此外,也有许多学者采用其他的径向对称基函数,如二次基、逆多元二次基和三次函数基等,但这些基函数均是径向对称的,这些基函数( 包括高斯基) 对任意的输入变量x ,均有基函数的值大于零,且当输入信息远离中心时,径向对称基函数的值已相当小,可作为零对待,这样,只有当基函数大于某一数值( 例如0. 05)时才对相应的权值进行修改,这在一定程度上失去了局部调整网络节点连接权值的优点,同时因高斯函数不具备紧密性的缺点[4]。基于此,本文构建一种非径向对称基函数神经网络,该网络所确定的参数少,为提高网络模型的精度,采用混沌优化方法以求出不同训练样本调整权值后网络的最优输出,也就是降低了网络实际输出同期望输出的误差,并利用模型输出的误差变化率增加新的隐层节点。本文给出了基于Ulam-von Neumann混沌映射的非径向对称基函数神经网络模型构建的具体算法,并采用基于Mackey-Glass时滞微分方程的混沌时间序列预测问题以验证该模型的精度,从文献对比中得出,本文所构建的网络模型具有模型所需的隐层节点数少、模型预测精度高等优点。
1 非径向对称基函数的神经网络结构
非径向对称基神经网络结构也是由3层组成,即输入层、隐层和输出层。输入层节点仅是传递输入数据x1,x2,…,xn到隐层节点,且输入层神经元个数对应着输入变量的维数; 隐层神经元是将输入层传入的非线性空间信息转化为高维线性空间可分信息,从而完成输入信息的近似、分类或预测。考虑到提高网络精度和减少隐层基函数参数的设置,此处网络基函数采用多变量正态密度函数,其函数形式如式( 1) 所示。隐层到输出层节点由简单的线性函数构成,其具体结构如图1所示。
式中,K = E[( x - ci)T( x - ci) ]-1是输入协方差阵的逆。这时的基函数已不再是径向对称的。x是n维输入向量; ci是第i个基函数的唯一参数,与x具有相同维数的向量; p是隐层神经元的个数。
从图1可以看出,输入层实现从x→Ri( x) 的非线性映射,输出层实现从Ri( x) 到yk的线性映射,即:
式中,wik是隐层第i个节点到输出层第k个节点的连接权; m是输出节点数。
2 基于 Ulam-von Neumann 混沌映射的非径向对称基函数神经网络参数的确定
2. 1 Ulam-von Neumann 混沌映射
混沌是非线性系统所独有且广泛存在的一种非周期运行形式,它具有随机性、遍历性、规律性,并对初值具有敏感性。因其在一定范围内不重复地遍历空间内所有点,故常把这一特性用在复杂的非线性优化中,以寻找一定空间内的全局最优解。具体操作为,将设计问题的优化变量通过某一混沌映射规则映射到混沌变量空间的取值区间内,然后利用混沌变量的遍历性和规律性进行寻优搜索,最后将获得的混沌优化空间内的最优解再线性转化到具体设计问题的空间中。在产生混沌变量的多种映射规则中,使用传统的Logistic混沌映射规则最多,但因Logistic映射空间在[0,1]区间内具有0. 25、0. 5和0. 75三个间断点,因此在作混沌映射优化时应跳过这3个间断点[5]。也有文献采用遍历性较好的Lozi’s映射以及Henon映射,但这两种映射存在映射点均匀性较差,故本文将采用遍历性及均匀性较好的Ulam-von Neumann映射规则产生混沌变量,即:
式中,α为生长率控制参数,当α = 2时形成[- 1,1]区间的满映射,即系统处于混沌状态。其混沌变量cxi( 表示为Ulam-vonNeumann映射的第i个混沌变量) 的一种演变算式为[6]:
cx(t)i为cxi在第t步混沌演变后的值,当cxi∈[- 1,1]时将产生混沌现象,cxi在[- 1,1]区间内遍历。式( 1) 的变量xi∈ [ai,bi]可由式( 5) 及式( 6) 与混沌变量cxi∈[- 1,1]进行正映射和逆映射。
式中,x'i为经混沌映射后转化为常规优化变量而获得的值。
2. 2 非径向对称基函数神经网络参数的确定
基于图1的分析可知,非径向对称基函数神经网络的参数包括: 隐层神经元个数、非径向对称基函数的参数ci以及隐层同输出层间的所有连接权wij。
对隐层神经元个数的确定采用的策略为: 先初始设置一个较少隐层节点个数的非径向对称基函数神经网络,并初始化该较小规模的神经网络,然后采用基于混沌映射的方式训练该神经网络,在训练过程中,当网络的混沌最优输出同网络的期望输出间的差值变化率连续N次小于某一事先设计的常数值δ时,则表示该网络的权值wij以及参数ci的调整处于停滞不前,此时现有的网络结构无法满足设计的要求,则增加一新的神经元节点。
对于非径向对称基函数的参数ci以及连接权wij的调整策略为: 假设因ci以及wij作微小变化,即,则:
同时,第i个隐层神经元的非径向对称基函数参数ci的变化Δci能被具有零均值和偏差σci的高斯分布所定义,而第i个隐层神经元同第j个输出层神经元的连接权wij的变化Δwj也能被具有零均值和偏差σwj的高斯分布所定义[7]。
由于这种参数 的变化而 使整个神 经网络的 输出产生 变化( Δyj)2,即:
3 基于 Ulam-von Neumann 混沌映射的非径向对称基函数的神经网格构建方法
由上述对Ulam-von Neumann混沌映射的介绍,以及对非径向对称基函数神经网络隐层节点的自适应增加策略、对隐层中心参数ci以及连接权wij调整策略的介绍,给出基于Ulam-von Neumann混沌映射的非径向对称基函数神经网格构建方法的具体算法步骤。
步骤1设i = 1 ,n = 1 ,i和n分别代表隐层节点个数和第n个训练样本。并设置一个较小隐层神经元节点数的3层非径向对称基函数神经网络结构,并初始化非径向对称基函数参数ci以及相关连接权值wij,同时完成对数据样本的归一化处理过程。
步骤2提取并训练第n个样本,在对该训练样本训练前依据式( 2) 求网络各个节点输出值yj,为提高网络输出值的精确性,采用如下基于Ulam-von Neumann混沌映射的优化方法。
1将xi的每个分量通过式( 5) 的变换,映射为Ulam-vonNeumann的混沌变量cxi。
2 Ulam-von Neumann的混沌变量cxi的各分量经式( 4) 作混沌操作。
3将Ulam-von Neumann的cxi每个分量通过式( 6) 变换,映射为 { ai,bi}ni = 1间的普通变量x'i,并依据式( 2) 计算非径向对称基函数神经网络的输出yi。
步骤3计算:
式中,为训练样本的第i个输出神经元的期望输出值。
步骤4判断E < ε,ε为一事先设置的较小常数值,如果条件成立,转步骤5,否则重新训练该网络,以求出新的输出值yi,即转步骤2,执行相关的混沌优化操作。
步骤5判断ΔE < δ ,δ为事先设置的较小常数值,如果条件成立,转步骤7; 否则转步骤6。
步骤6训练下一个数据样本,即n = n + 1,转步骤2。
步骤7判断ΔE < δ的次数是否达到一事先定的常数N次,N为一事先设置的正常数值,如果条件成立,则转步骤8,否则转步骤10。
步骤8增加一新的隐层节点。
步骤9初始化该增加的新节点,转步骤2。
步骤10输出该稳定的非径向对称基函数神经网络结构参数值。
4 数值试验
为了验证本文所构建的基于混沌映射的非径向对称基函数的神经网络精度,采用一个通用的非线性系统模型的标准测试问题,即对基于Mackey-Glass时滞微分方程的混沌时间序列预测,而Mackey-Glass时滞微分方程为:
式中,τ为时滞参数,当τ≥17时式( 14) 具有混沌性[8]。对Mackey-Glass混沌时间序列进行预测是指根据t时刻以前的一组数据[x( t - lΔt) ,x( t - ( l - 1) Δt) ,…,x( t - 2Δt) ,x( t - Δt) ,x( t) ]去预测x( t + Δt) ,Δt为预测时间步长。
为了实验方便,设a = 0. 2,b = 0. 1,c = 10,τ = 17,初始值x( 0) = 1. 2,并选取l = 3,Δt = 6,采用四阶龙格—库塔法生成1000组样本数据,即产生序列[x( t - 18) ,x( t - 12) ,x( t - 6) ,x( t) ,x( t + 6) ,…],此时,取t = 19,20,…,1018共获得1000个数据样本,其中系列的前4个数据作为输入,第5个数据作为输出,依此类推。并用前500对数据样本作为训练样本,以此训练获得非径向对称基函数神经网络模型,用后500对数据样本测试所构建模型的有效性。
为了表明本文算法的稳定性和普适性,同时也方便与其他方法进行比较,分别采用本文方法、高斯径向基神经网络构建设计预测模型方法[8]以及文献[9]中采用混合进化算法的RBF神经网络时间序列预测方法作对比,从每种方法所需隐层节点数、训练样本时的均方误差以及测试样本的均方误差作对比,其中均方误差依据式( 15) 计算,采用Intel( R) Core( TM) i3 - 2120,3. 30GHz CPU,并在Matlab7. 0编程环境下进行实验,且实验时的基本参数设置为ε = 0. 05,δ = 0. 001,N = 5。每种方法在实验时,以独立运行20次的平均统计结果为最终实验结果,具体实验结果如表1所示。
式中,分别为预测的真实值、模型预测值和平均值。
从表1中对比数据可看出,采用基于混沌映射的非径向对称基函数神经网络模型在对该问题进行时间序列预测时,所需的隐层节点数远少于其他两种方法,而且在训练样本以及测试样本的均方误差均小于其他两种方法。但该方法在训练网络时所需时间比采用高斯径向基函数神经网络要长许多,主要是因为在训练网络过程中要寻找最优的网络输出值时,需要将设计问题的常规变量映射到混沌空间内,并依据混沌的遍历性优化,故训练网络时花费更多的时间。图2给出了采用本文方法以及高斯径向基函数神经网络方法在构建该问题模型时训练所需时间以及训练样本的均方误差曲线对比图。可以看出,采用基于混沌映射的非径向对称基函数方法在构建时间序列预测时所需的训练时间少,且训练样本的均方误差值也比另一种方法小一个数量级。
5 结 语
在分析了传统径向对称基函数所具有的缺点以及非径向对称基函数所具有的优点基础上,设计了非径向对称基函数神经网络结构。采用遍历性及均匀性较好的Ulam-von Neumann混沌映射方法优化获得不同训练样本在不同网络参数环境下的网络输出的最优值,以降低网络输出值与期望值的误差,同时采用训练样本的输出值同期望值的变化率以自适应地增加隐层节点数。这种非径向对称基函数神经网络结构参数设置少,故能提高计算效率以及提高模型的预测精度,这种方法设计的网络模型也可在复杂非线性函数逼近方面有所应用。
摘要：为提高神经网络模型的预测精度,构建了非径向对称基函数神经网络模型结构。为确定非径向对称基函数神经网络模型参数,采用Ulam-von Neumann映射规则确定混沌变量,利用混沌变量的遍历性获得不同网络结构参数下的最优网络输出,以减少所构建网络模型的实际输出与期望输出的差值,并利用模型输出的误差变化率以决定是否增加新的隐层节点。给出基于混沌映射的非径向对称基函数的网络模型构建步骤。采用基于Mackey-Glass时滞微分方程的混沌时间序列预测问题验证该模型的预测精度,并同其他文献对该序列预测的精度以及所需隐层节点数作对比。比较结果表明,采用该设计模型具有对时间序列预测精度高且所需网络结构规模小等优点。
关键词：Ulam-von Neumann映射,非径向对称基函数,径向基函数神经网络
参考文献
[1]Orisini P,Power H,Lees M,el al.A control volume radial basis function techniques for the numerical simulation of saturated flows in semi-confined aquifer[J].Transport in Porous Media,2009,79(2):171-196.
[2]Li Jianyu,Luo Siwei,Qi Yingjian,et al.Numerical solution of elliptic partial differential equation using radial basis function neural networks[J].Neural Networks,2003(16):729-734.
[3]娄燕强,宋如顺,马永彩.基于RBF神经网络的攻防博弈模型[J].计算机应用与软件,2011,28(1):99-101.
[4]李旭东,张振跃.非对称径向基函数与稳定边界图像变形算法[J].计算机辅助设计与图形学学报,2004,16(6):747-752.
[5]刘道华,原思聪,兰洋.混沌映射的粒子群优化方法[J].西安电子科技大学学报,2010,37(4):764-769.
[6]刘起方,马光文,王和康,等.基于分形与混沌理论的嵌套搜索算法在梯级水电厂节能调度运行中的应用[J].四川大学学报,2008,40(3):27-32.
[7]Shi D,Yeung D S,Gao J.Sensitivity analysis applied to the construction of radial basis function networks[J].Neural Networks,2005(18):951-957.
[8]唐艳,王洪博,王万新.基于高斯径向基函数神经网络的十字路口车流量预测[J].农业装备与车辆工程,2006(3):41-43.