改进型神经网络（共12篇）
改进型神经网络 篇1
0 引言
威胁评估是指挥控制系统的一个重要组成部分[1], 可以辅助指挥员在实际战场环境中对敌情做出准确合理的判断和决策。目前, 评估方法大多采用定性定量相结合的方法, 如层次分析法、模糊集法、贝叶斯网络法等[2,3,4], 很少采用RBF神经网络建模并且求解。本文提出一种基于改进型RBF神经网络评估方法, 该方法能够充分考虑不同作战样式的评估指标权值的影响。该方法更符合作战实际情况, 降低了战场不确定因素的影响, 具有较高的评估精度。
1 改进型RBF神经网络基本思想
传统的径向基函数 (RBF) 神经网络是一种具有较强的输入、输出映射功能的三层静态前馈网络。它包括输入层、隐含层和输出层。
RBF神经网络有四组参数:中心向量、中心宽度、输出权重、和输出调节系数, 准确、合理地选择这些参数才能发挥RBF神经网络的非线性逼近能力, 且已证明RBF神经网络具有唯一最佳逼近特性, 能以任意精度逼近任意连续函数。
本文提出四层结构的改进型RBF神经网络。在输入层前增加的指标调节层就是根据不同的作战样式调节评估指标, 克服传统RBF神经网络进行威胁评估时无论哪种作战样式出现相同评估结果的缺点, 更符合实际战场战术情况。
2 评估指标及样本生成
信息化条件下装甲分队战斗过程中不确定性因素较多, 战场局势紧张, 火力打击节奏快, 并且不同战斗样式呈现不同的特点, 需要对目标的威胁度进行评估, 以尽快消灭对我方装甲分队威胁大的目标, 尽可能多的保存自己。指挥员需要准确地把握战场局势, 合理地选取目标评估准则, 并能够根据作战样式的变化适时改变评估指标权重, 以使得战场局势朝着最有利于我方的方向发展, 取得战斗胜利。针对实际战场战术情况选取评估指标:目标类型 (ITYPE) 、敌我距离 (IDIS) 、机动特性 (IMOV) 、毁伤概率 (IDES) 、通视条件 (IVIEW) 、地形条件 (IEARTH) , 如表1所示。
由上述评估指标可得到目标威胁样本集,
其中, T为包含N个训练样本的目标威胁样本集, Ti为第i个训练样本, IiTYPE、IiDIS、IiMOV、IiDES、IiVIEW和IiEARTH为训练样本的输入部分, y为第i个训练样本的威胁程度, 为训练样本的输出部分。通过指数分析法得到目标i各指标的威胁指数 (训练样本的输入部分) , 运用层次分析法综合确定目标的威胁程度 (训练样本的输出部分) , 再通过专家分析校正, 对个别误差较大的样本作出修定, 得到最终的目标威胁样本集。
3 改进型RBF神经网络的训练
由于采用改进型RBF神经网络评估目标威胁的原理与传统的方法基本相同, 下面从目标威胁评估分析改进型RBF神经网络的训练过程及其使用方法。依据表1评估指标建立目标威胁评估模型, 如图1所示。
3.1 作战样式确定指标调节层
信息化装甲分队作战样式大致上可分成3类:进攻战斗、防御战斗、遭遇战斗。在不同的作战样式下, 通常采取不同的目标打击策略。相应地, 对目标的威胁评估也有所不同。如在进攻战斗中, 目标处于防守状态, 那么目标类型指标ITYPE在进行威胁评估时占的权重较弱;但在防御作战任务的情况下, 目标类型指标ITYPE在进行威胁评估时须着重考虑, 所占权重较大。因此, 目标威胁程度与作战样式关系紧密, 通过指标调节层体现不同作战样式对威胁评估各指标的影响。指标经过标准化处理以后进入指标调节层进行调节, 其调节的向量为R=[r1r2r3r4r5r6], 其中ri (i=1, 2, ……, 6) 为指标调节权重。以目标类型指标ITYPE为例, 它对应的指标调节权重是r1, 取值情况为:
其中, r1在不同作战样式下是一个取值区间, 可以根据同一作战样式中不同作战时期的转换, 在相应取值区间中进行调整, 以符合战场连续性的要求。限于篇幅, 不再赘述作战样式对其它指标的影响。
3.2 RBF数学模型的确定
假设有N个训练样本, 其输入部分有n个数据, 则训练样本输入部分的标准化过程为
i=1, 2, …, N;j=1, 2, …, n
其中, Tij为训练样本Ti标准化前的输入部分, Xij为训练样本Ti标准化后的输入部分, 则经过标准化后的第i个训练样本的输入部分可表示为Xi=[xi1, xi2]。
训练样本的输出部分在样本生成阶段已限定在适合RBF神经网络参数优化的范围内, 训练样本的输出部分标准化后与原数据相同, 即
输入层可将训练样本标准化并且将经过调节后的数据传递到隐含层, 隐层节点由辐射状作用函数构成, 通常选取高斯函数,
其中, Ck=[ck1ck2…ckn]为第k个隐层节点的中心向量, σk为第k个隐层节点的中心宽度。RBF神经网络隐含层的维数m可依据经验公式确定, 也可通过实验确定更有效的维数。
输出层为隐层节点输出的线性组合, 由于本问题只涉及到一个输出———威胁值, 即l=1, 则有, 其中, wk为第k个隐层节点到输出层的权重系数。
3.3 RBF神经网络的学习算法
根据正则化RBF神经网络的特点和优点, 本文采用该网络结构, 由于隐层点数等于输入样本数, 并且所有输入样本设为径向基函数的中心, 训练过程中只需考虑扩展常数σk和输出节点权值wk。径向基函数的扩展常数可根据数据中心的散布而确定, 为了避免每个径向基函数太尖或太平, 将所有径向基函数的扩展常数设为:, 式中, dmax是样本之间最大距离;N是样本数目。
输出层的权值调整采用最小均方算法 (LMS) , LMS算法的输入向量即隐节点的输出向量。权值调整公式为:△wk=η (dk-wkuk) uk, k=1, 2, ~, N。权值可初始化为任意值。
4 实例仿真
为了验证改进方法的合理性, 设定60种不同的战场条件下的目标, 运用第2节的方法确定目标威胁样本集, 选定N=50个样本作为训练样本, 余下10个样本做为测试样本。为了进行对比, 使用相同的样本并用传统的RBF神经网络进行训练与测试, 得到最后得排序结果如表2所示。
经过数据比较, 基本上可以体现了以下几点: (1) 改进以后的RBF神经网络与传统的评估结果大致相同, 改进方法基本符合实际战场战术条件。 (2) 目标6和目标9以及目标4和目标7的排序出现了交叉改变, 对比评估指标可以发现在进攻作战过程中目标类型以及机动性对评估结果影响较小, 符合进攻作战样式的特点。 (3) 排序交叉改变只出现在相邻目标排序中, 比如排序2和排序3的目标交叉改变以及排序9和排序10的目标交叉改变, 说明改进的RBF神经网络合理有效。以上几点, 基本上说明了改进型RBF能够充分考虑作战样式对威胁评估指标的影响, 建立的模型符合战场战术情况。
5 结论
本文提出的信息化装甲分队威胁评估模型具有较强的实用性, 设计的改进型RBF神经网络能够满足求解的要求, 为信息化装甲分队火力优化配置提供数据依据。为验证改进方法的有效性, 用十个测试样本做出检验, 结果如表2所示。不难发现, 该改进方法的输出目标威胁排序符合不同作战样式的特点, 从而验证了该改进方法的有效性。但改进方法还存在两个问题:指标调节层参数是静态的, 不能符合战场动态改变的要求;评估指标的选取固定, 应根据实际战场情况动态选取指标。如何解决以上两个问题需要进一步改进网络, 是下一步研究工作的重点。
摘要：为解决信息化装甲分队目标威胁评估问题, 依据径向基函数 (RBF) 神经网络的快速性和唯一最佳逼近性设计了改进型RBF神经网络。实例分析表明, 该改进方法可满足不同作战样式下目标威胁评估要求, 具有较高的实用价值。
关键词：威胁评估,RBF神经网络,评估指标
参考文献
[1]徐克虎, 黄大山, 王天召.坦克分队作战要素量化研究[J].装甲兵工程学院学报, 2011, 27 (1) :48-53.
[2]贾滨, 孙杰, 冯正超.一种改进的空袭目标威胁等级评估模型[J].指挥控制与仿真, 2011, 33 (4) :25-28.
[3]张磊, 童幼堂, 徐奕航.舰艇编队空中目标威胁排序模型研究[J].舰船电子工程, 2009, 29 (6) :136-138.
[4]税薇, 葛艳, 韩玉.基于贝叶斯网络的火力威胁等级评估算法[J].系统仿真学报, 2009, 21 (5) :4625-4627.
改进型神经网络 篇2
当前，我国互联网迅猛发展，对经济、政治、文化和社会建设的影响日益广泛深刻，对人们生产、工作和生活方式影响越来越大。网络文明建设问题也日益迫切地摆在我们的面前。一方面，互联网作为新兴媒体，在凝聚民族精神、激发爱国热情、汇集社情民意方面发挥着越来越重要的作用，网络媒体的影响力越大，全社会对网络文明的期望值就越高，对网站文化的要求就越高；另一方面，随着互联网技术的快速发展，博客、社交网站等互联网新技术新业务蓬勃兴起，使网上信息发布和获取更加便捷，越来越多的网民参与网上内容创造，这大大丰富了网上信息内容，同时也对网民诚信自律提出了更高要求。
在走进社区时,许多家庭都已经去接触网络,利用网络的便捷去更好的生活,而我们以发放调查问卷的方式来了解人们对网络的了解.通过统计分析发现,现在的居民大都会去使用网络,但是对于网络上的许多现象或者知识都很缺乏,只是在网上简单购物或者分享资源或利用资源,我们希望通过此次的网络调查能给大家普及、提醒一些关于网络的建设及对网络文化的了解。同时对于现在的社会现象提出以下几点建议：
第一，普及健康的网络知识，建立正确的网络文化。建立信息安全预警系统，强化不良信息治理力度。建议尽快尽早建立信息安全预警系统，通过各种大众传媒的规范化、制度化来为信息安全提供服务。建立信息安全预警系统应以政府监管部门为主导，行业机构为辅助，联合电信运营商、网络骨干结点，本着高效、便民、安全、及时的目的，将不良信息的传播尽可能的控制在小范围内。有关部门还应建立快速的工作配合机制，与公安、工商、文化等部门相互协作，联手打击违法违规行为，以强化监督检查、开展宣传教育、执行惩罚措施等多种手段，规范互联网信息服务市场秩序。
第二，完善不良信息举报制度，落实责任追究机制。相关部门应努力扩大投诉举报平台的应用范围，广泛发动群众参与，加强社会监督，并与其同时简化举报程序，畅通举报通道，提供举报保障，通过各方协作来一起抵制不良信息。此外，各级信息主管部门应严格落实信息产业部的“三准”责任追究机制，细化实施细则，建立科学、合理的评价机制，明确各单位的责任机制。
第三，出台信息安全保护法规，建立有效监管平台。信息监管部门应尽快综合分析不良信息现象的各方面原因，提出对策草案，提请立法机关制定相应法律法规，以强制规范来保证互联网环境的整洁、安全、可靠。同时，各级相关部门应在及时建立互联网监管平台，对互联网信息进行有效过滤机监控，确保互联网信息的合法、有效。
通过开展丰富多彩的社会实践活动，使我逐步了解了社会，开阔了视野，增长了才干，并在社会实践中认清自己的位置，发现了自己的不足，对自身价值能够进行客观评价。这在无形中使我对自己有一个正确的定位，增强了我努力学习的信心和毅力。
社会实践活动给生活在象牙塔的学生们提供了广泛接触基层、了解基层的机会。深入基层，深入农村，能从中学了很多书本上学不到的东西。也真实的理解了“从群众中来，从群众中去”的真正涵义。的确，感性认识到只身到实践中去，到基层中去检验才知道其正确与否，同样，只有在实践中把个人的命运同社会、同国家的命运联系起来，才是青年成长成才的正确之路。这次短暂而充实的实践将对我走向社会起到了一个桥梁作用、过渡作用，将是我人生的一段重要的经历，一个重要步骤，对将来走上工作岗位也有着很大帮助。
社会实践告诉我，在新经济时代学生应当具备创新观念和掌握成熟技术的能力，善于经营和开拓市场，富有团队精神等素质。要有严密的思辨能力和理性的思考能力，致力于探索理性、情操、才智、体质之完美，只有做到全面发展才能适应社会的需求，并立于不败之地。我们要时刻与外界社会保持同步发展做到与时俱进，不与社会脱节，我们应该珍惜现在的学习机会，珍惜生命的分分秒秒，学习好知识，运用知识，时刻牢记，虚度年华就是作践自己。与此同时，多多与社会接触是很必要的。如果我们想接受时代的挑战受到社会的欢迎，就抓紧时间好好地充实自我。不仅要学好各门学科，还要广泛地吸收各领域的知识，努力提高综合素质。
改进型神经网络 篇3
关键词：RBF 神经网络 负荷预测 支持向量机
中图分类号：TM715 文献标识码：A 文章编号：1672-3791（2014）10（b）0089-01
电力系统负荷预测直接影响供电平衡。由于电能不能大量储存，发电、供电、用电必须同时完成。这就要求发电厂与电力公司发电、用电有严格的计划性，使发电用电能够达到瞬间平衡。假如系统的用电量超过发电量，则应当采取必要措施增加发电量，否则将出现电压下降、频率下降；反之，如发电量过剩，则也应采取必要措施来降低供电量，否则将出现频率上升，电能质量严重下降等严重后果[1]。
随着影响电力负荷的条件越来越复杂，电力负荷的变化非线性、时变性和不确定性特点需要进一步提高预测精度。同时随着现代科学技术的不断进步，理论研究的逐步深入，以灰色理论、专家系统理论、模糊数学、神经网络等为代表的新兴交叉学科理论的出现，也为负荷预测的飞速发展提供了坚实的理论依据和数学基础。现在典型的非数学模型法主要有人工神经网络（artificial neural network）法以及模糊理论建立起来的预测方法等[2]。
1 支持向量机
1.1 SVM简介
支持向量机SVM （Support Vector Machine，简称SVM）是由Vanpik领导的AT&T Bell实验室研究小组。在1963年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域，直到20世纪90年代，出现了过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，其在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM用于分类决策的基本思想是构造一个超平面，使正负模式之间的间隔最大[3]。
SVM算法基本过程：
准备多组训练样本
约束条件：
寻求最优超平面：
2 基于GA算法改进的多核SVM
2.1 遗传算法的基本概念
遗传算法（Genetic Algorithm，简称GA）是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。遗传算法是从代表问题可能潜在的解集的一个种群（population）开始的，进行遗传（选择），交叉，变异使得基因不断优化，经过N代，产生更适应环境的新种群（即近似最优解）[4]。
遗传算法的处理流程为产生的新一代种群又进行循环操作，这样一代又一代不断繁殖、进化，最后收敛到一群最适应环境的个体上，求得问题的最优解。对于复杂的优化问题，遗传算法无需建模和进行复杂的运算，只要利用遗传算法的三种算子就能寻找到优化的解。它尤其适用于处理传统方法难以解决的复杂和非线性问题。本文则应用遗传算法去优化支持向量机中核函数的核参数.
2.2 基于GA算法改进的多核SVM
由于径向基核函数是最为常见的核函数，将径向基核函数的SVM为研究目标。在解决分类问题时，应尽可能发挥SVM识别能力较强的特征的作用，抑制无效特征，由公式：
3 实例仿真与分析
以吉林某地区的负荷数据作为原始数据，输入样本为15天输出为第15天的原负荷与预测负荷。
图1中红线为预测日期望负荷，蓝线为模型预测负荷。由图可以看出预测模型结果与真实负荷走向一致。由以上仿真实例可以看出改进后的RBF神经网络与原RBF神经网络相比具有更高的精确性，平均误差、最大误差、最小误差都较原始RBF神经网络有较大的减小。
4 结语
采用经GA优化的多核SVM网络对输入样本进行分类，对预测日样本分类，找出与预测日样本类相同的一组数据，输入RBF神经网络中，对网络进行训练。最后输入预测日的样本输出结果，将结果进行还原得到预测日负荷。通过比较可知与原始RBF神经网络较好的优越性，说明算法的可行性。
参考文献
[1]王毅.电力系统短期负荷预测技术的研究与实现[M].华北电力大学硕士学位论文，2008.
[2]王黎明，王艳松.基于RBF神经网络的短期负荷预测[J].电气技术，2007（4）：53-55.
[3]曹安照，田丽.基于RBF神经网络的短期电力负荷预测[J].电子科技大学学报，2006（2）：33-35.
改进型神经网络 篇4
电力负荷预测主要分超短期负荷预测、短期负荷预测、中长期负荷预测和长期负荷预测,短期负荷预测主要用于预测未来几小时、一天甚至几天的负荷,对电力系统安全经济运行具有重要的意义。由于电力负荷的变化主要依赖于生产生活的规律性,并受气象、节假日的影响,负荷曲线往往随时间呈波动性变化[1],通过建立带有若干参数的数学模型求取精确数值的方法并不可取。目前,短期负荷预测主要采用时间序列回归法[2]、支持向量机[3]、人工神经网络预测法[4,5]及复合预测法[6]。
由于人工神经网络具有非凸形、非线性和自适应性等特点,使得其在许多复杂的非线性领域中得到成功应用。传统的反向传播(Back Propagation,BP)神经网络虽具有较好的自学习能力和非线性等特点,但是由于其经常出现收敛速度慢、容易陷入局部极小值、容易发生振荡和隐含层神经元个数较难以确定等缺点,同时其对具有随机性特征的电力负荷而言,缺乏精确的数据筛选及处理能力,而短期电力负荷就是一个非线性、受诸多因素影响的动态不确定过程。径向基函数(Radial Basis Function,RBF)神经网络具有比较好的自学习能力和非线性,收敛速度快并且简单易行,其缺点是获取数据成本较高,数据中往往包含噪声,可靠性较差。Elman神经网络属于动态反馈型神经网络的一种,通过存储的内部状态使其具备映射动态特征的功能,进而使得系统具有适应时变特性的能力,对时间序列模型具有良好的适应性。因此,本文以某城市61 天的电力负荷数据为对象,建立具有输出层反馈和承接层自连接的改进型Elman神经网络短期电力负荷预测模型,并通过仿真测试证明了该模型是有效的。
1 改进型Elman神经网络
传统的人工神经网络结构分为输入层、隐含层、输出层,Elman神经网络是动态反馈神经网络的一种,其在传统的人工神经网络基础上具有一个特殊的联系单元承接层。承接层的主要作用是记录记忆中间层(即隐含层)单元前一时刻的输出值,通过自动连接隐含层的输入,进而提高对历史状态数据的敏感性,由于内部反馈网络的加入使得网络自身处理动态信息的能力有着明显的提升,进而达到了动态建模的目的。Elman神经网络结构如图1 所示。
图 1 Elman 神经网络结构Fig.1 Structure of Elman neural network
Elman神经网络的数学模型为:
式中,y为m维输出结点向量;x为n维隐含层结点单元向量;u为r维输入向量;xc为承接层1 的n维反馈状态向量;ω3为隐含层到输出层连接权值;ω2为输入层到隐含层连接权值;ω1为承接层1 到隐含层连接权值;g(*) 为输出层神经元的传递函数,是隐含层输出的线性组合;f(*) 为隐含层神经元的传递函数,常采用s型函数。
由于Elman神经网络只针对隐含层节点的反馈进行了设计,没有考虑输出层节点的反馈信息,实际上各层神经元的反馈信息对网络信号的处理能力都有所影响。此处介绍的是具有输出 – 输入反馈机制的改进型Elman网络,改进型Elman神经网络结构如图2 所示。
改进型Elman网络增加了输出节点反馈,称之为承接层2,并将它与输入单元和承接层1 一起作为隐含层节点的输入,0 ≤ β<1 为其自连接反馈增量因子,权值记为 ω4。 改进型Elman网络的数学模型为:
式中,y为m维输出结点向量;x为n维隐含层结点单元向量;u为r维输入向量;xc为承接层1 的n维反馈状态向量;ω3为隐含层到输出层连接权值;ω2为输入层到隐含层连接权值;ω1为承接层1 到隐含层连接权值;ω4为承接层2 到隐含层层连接权值;g(*) 为输出层神经元的传递函数,是隐含层输出的线性组合;f(*) 为隐含层神经元的传递函数,常采用s型函数。
Elman和改进型的Elman神经网络的权值修正策略采取BP算法学习指标函数的修正策略,采用误差平方和函数。
式中,ỹk(ω ) 为目标输入向量。
2 数据来源及处理
本文数据是某市近2 个月共61 天的电力负荷数据,数据为每日0~24 h,每15 min采样一个点,每天共采96 个点。其中前60 天数据用于构建预测模型,输入量选取每6 天的负荷数据,目标向量选取第7 天的负荷数据,得到了55 个训练样本。第54 天到第60 天的数据(即第55 个样本)作为预测模型测试样本的输入量,第61 天的数据为测试样本的输出量,验证模型能否合理地预测出该天的负荷数据。图3给出了某市61 天的负荷数据。
为了避免数据过大,造成神经网络饱和,数据输入网络前需要进行归一化处理,将各数值换算到[0,1] 区间,通过对输出数据的反归一化得到真实预测值与实际值间的对比。 在Matlab中用mapminmax函数即可完成,公式如下:
式中,xmax和xmin分别表示输入数据的最大值和最小值;yi为数据归一化后的值。
3 预测结果与分析
首先要建立神经网络模型,并以一定数量的训练样本对网络进行训练,从而确定网络结构和参数,然后将测试数据输入模型,得到预测值,最后将预测值和实际值进行比较,来评价所建模型的预测精度。
由于网络的输入数据是每6 天的负荷数据,而每一天有96 个数据,因此,输入数据为576 个。网络的输出是第61 天的负荷数据,为96 个。这样就确定了网络结构为576-n-96。这里的n是隐含层神经单元个数,n的选取要经过实验的不断尝试。实验时,采用常规Elman误差训练目标设置为0.000 1,训练次数选取为1 000 次,最好的网络选取训练样本拟合结果均方误差(Mean Squared Error,MSE)最小的网络。其中MSE的定义如下:
式中,ŷt是第t个实际结果,yt是第t个预测结果(均已进行归一化),h为预测结果的输出个数。
各层传递函数和训练函数的选取也是一个比较重要的问题,本模型隐含层传递函数选用sigmoid函数,训练函数采用traingdx函数。通过对n进行不同取值所得到均方误差最小值,可以确定隐含层的单元个数。图4 给出了n从8 以4 为步长不断增加到72 的预测误差图。从图4 可以发现,隐含层取48得到了最小的预测误差。
图 4 n 取不同值的预测误差Fig.4 Forecasting errors of varying values of n
图5 和图6 是分别采用传统BP神经网络、传统支持向量机建立的模型、传统Elman和本文所提出的改进型Elman方法得到的短期负荷预测曲线,通过图5 和图6 可以对这几种预测方法进行性能比对。
图5 中,基于BP神经网络的平均预测绝对误差为35.65%,最大预测绝对误差为38%,MSE为5.19%;SVM的平均预测绝对误差为7.5%,最大预测绝对误差12.7%,MSE为2.84%。可见与BP相比,SVM的预测精度提高很多。
图6 是分别采用Elman神经网络和改进型Elman神经网络建立的模型得到的预测曲线。图6 中,基于Elman神经网络的平均预测绝对误差为5.01%,最大预测绝对误差为7.74%,MSE为3.02%;改进型Elman神经网络的平均预测绝对误差为0.39%,最大预测绝对误差4.48%,MSE为1.24%。可见与Elman神经网络相比,改进型Elman神经网络的预测精度有一定程度提高,通过图6 与图5 的比对可知:在传统BP神经网络、传统支持向量机、传统Elman和本文所提出的改进型Elman方法这4 种短期负荷预测模型中,改进型Elman神经网络的预测精度最好。
为了对本文所提出的改进型Elman短期负荷预测方法的预测性能进行全面的考核,本文引进了平均绝对百分误差(Mean Absolute Percentage Error,MAPE)和Theil不等系数(Theil Inequality Coefficient,TIC),并结合式(6)所提出的均方误差(MSE)3 个指标对传统BP神经网络、传统支持向量机建立的模型、传统Elman和本文所提出的改进型Elman方法进行短期负荷的预测性能进行综合比对,实际预测效果见表1 所列。
其中平均绝对百分误差(MAPE)和Theil不等系数(TIC)的定义见式(7)和式(8)。
式中,ŷt是第t个实际结果,yt是第t个预测结果,h为预测结果的输出个数。
通过表1 可知,改进型Elman模型的中MAPE、MSE及TIC 3 个数据均优于传统电力短期负荷预测模型;本文所提出的改进型Elman模型的预测结果较为满意。
4 结语
改进型神经网络 篇5
基于改进的BP神经网络对西安黄土抗剪强度指标的研究
运用带适应学习率和动量因子的梯度递减法--TRAINGDX训练函数的`BP网络对黄土的抗剪强度指标进行了预测.首先分析了影响黄土抗剪强度的6个影响因素,而后建立了6∶14∶2的神经网络(Artificial Neural Network)黄土抗剪强度指标的预测模型,最后借助Matlab为平台,利用自编的程序,进行了预测计算.通过对预测结果的分析可知该模型模拟和预测的精度均较高,可以应用到黄土抗剪强度指标的预测中.
作 者：党维维 高闯洲 党发宁 田威 DANG Wei-wei GAO Chuang-zhou DANG Fa-ning TIAN Wei 作者单位：西安理工大学,岩土工程研究所,陕西,西安,710048刊 名：水利与建筑工程学报 ISTIC英文刊名：JOURNAL OF WATER RESOURCES AND ARCHITECTURAL ENGINEERING年，卷(期)：7(2)分类号：O242.1关键词：人工神经网络 TRAINGDX训练函数 改进BP算法 Matlab 西安黄土 抗剪强度
改进型神经网络 篇6
本人以现在任教班级为实验班，依照教材的单元作文内容和要求，结合作文教学实际，学校开展的活动等情况，适当整合作文内容，利用“动网先锋”BBS论坛，搭建了“作文园地”平台。在电脑室里进行作文指导和讲评，学生在电脑上完成作文，将习作发表在论坛上。
实践证明，网络技术为小学作文教学活动和学生习作活动提供了前所未有的、优越的硬件支持，主要表现在以下四个方面：
一、网络使学生阅读更为便捷，读写结合更为密切
读写结合是小学作文教学传统经验，教师在作文指导过程中至今仍普遍采用。阅读，一方面为学生习作提供范例，学生通过阅读范文，摸索作文门径；另一方面，也为学生习作提供广阔的文化背景。网络是信息的海洋、知识的海洋，并且可以实现资料共享。如此丰富、便捷、开放的教育资源库，为学生的阅读提供了前所未有的便利。通过阅读，学会有目的地阅读文本，从中找出所需要的材料；有针对性地阅读指导性的文章，从中受益，领悟习作方法；学会把有用的材料下载下来；学会在写作过程中有计划地、恰到好处地运用引文，并根据自己的见解阐述引文内容，使上下文连贯，从而使阅读量更大，阅读活动更为频繁，读写结合更为紧密。
1.阅读同伴习作 从中悟写
学生作文过程中，总是离不开借鉴和模仿，组织学生阅读相关的作品，即模仿文章的写作方法、表现形式等，从阅读的文章中，启动学生的思想、观点和情感，从文章中的一个人、一件事、一个情节，甚至一个动作，触景生情，有感而发。例如，指导《写读后感》这样传统的作文题时，如何引导学生重点写好自己的感受呢？教师可以在引导学生积极思考，初步打开作文的思路后，组织学生进行在线阅读教师特意精选的七篇不同素材的范文，然后进行讨论交流、汇报，让学生发现、领悟到：“阅读后的感受”要作为文章的重点内容写详细，要用不同的句式写好过渡句，要结合自己的实际，选择好角度，写好感受。学生通过阅读相关文章后，对读后感的文体、表达的形式、写作的方法等方面有了较形象的感知，就能比较顺利地完成习作的任务，并达到习作的要求。
2.阅读指导文章 从中得法
作文教学中，需要教师的指导和帮助。传统的指导方法，大多是以教师口述为主要形式，教师处在指导者、传授者的地位。而充分发挥网络快速便捷、信息量多等优势，引导学生通过阅读相关指导写作的文章，同样可以获得习作的方法，掌握作文表达的要领，变被动的接受为主动的探究学习。这些指导性的文章，可以由教师亲自写，也可以引导学生利用“百度”“google”等搜索工具，获得有关的指导习作的文章。如“怎么写好开头结尾？”“ 怎么描写人物外貌？”只要学生觉得作文有困惑疑难，就建议学生搜索相关的文章，并发表在作文论坛上，学生搜集并浏览这些指导写作的文章后，再自主修改作文，可获得很好的效果。
二、网络促进在线交流，更凸显作文交际的功能
语言文字是人们表达思想、交流思想的工具。长期以来，小学作文教学忽视语言的交际功能，学生在写作时不明白为什么要写作、写给谁看、写作时是不是要想到看作文的人有什么要求，而仅仅是把写作看成是完成老师任务、枯燥乏味的事。写作活动也就成了没有动机、没有激情的被动表达训练，命题作文就是一种非常典型的训练形式。这也是长期以来作文教学低效乏味的原因之一。
网络可以跨越时空，促进交流。教师与学生间、学生与学生间可以在任何时间、任何地点，采用发表帖子和回复帖子的形式，就感兴趣的话题展开讨论，发表各自的看法。他们发帖、回帖的过程，实质就是作文的过程。由于学生为了获得比较高的人气，就积极主动发表帖子，而为了使自己的作文能成为“精华帖”，他们就会努力提高作文质量，同时发帖、回帖，也促进了学生的交流。
网络技术的快速、便捷，跨越时空的特点，使学生在频繁的交流互动中，写作兴趣更深，作文训练的效率更高。在网络上写作的过程中，学生可以根据需要，通过发送短信，即刻直接把习作发给老师、同伴或其他对象，以求得到及时的反馈。这就使得每位学生都获得均等的机会，得到教师亲自的指导和讲解、帮助。教师通过及时回复帖子、发送短信等形式，为学生答疑解难，学生在得到文字信息的同时，也能得到教师发送的动画语言、表情符号等图像信息。
三、网络改变作文评改形式，突出评改的及时
学生作文完成后，如何借助网络引导学生自改，互改？
1.自主修改
学生构思了作文的思路，初步考虑文章的结构布局后，通过键盘，把需要表达的内容打在文档上，并可以随时加以修改。学生在写作的过程中，如果发现自己不满意的地方随时都可以更改，非常方便，绝不会影响卷面的整洁。
2.同伴互改
利用网络进行作文评议还有一个明显的优势，那就是跨越时空，进行公开的、即时的评价。学生在论坛上发帖的位置，是按照座位号数进行分组，每10人为一组，每组设立一位组长，每一版块设立一位版主，由组长、版主负责论坛的日常管理，帮助本组成员提出作文修改的意见。
3.师生评议
学生在电脑室里完成了作文后，可以根据个人需要，用发送短信的形式，把文章发送给老师或要好的同学，让老师或同学帮助修改。与此同时，教师也可以通过网络，选择学生中的优秀作文或有典型错误的作文发送到每个学生的终端机上，引导学生阅读，组织全班同学共同赏析和评议。把评议后的情况，以回帖的形式发表。这种基于网络的评议批改，由于全班学生都能看到同一篇作文，大家可以同步对一篇文章加以剖析，提出自己的不同看法，而且可以免去站在课堂上解剖别人或被别人解剖的尴尬，这就使每个学生都能积极参与评议和修改。在这一种互助活动中，学生往往会表现出很高的参与热情，因而能收到比较好的教学效果。
学生在家里完成作文练习后，老师、同学都可在线及时阅读到学生最新的作品，并可以即刻评价，肯定成绩，指出不足。学生在线上阅读到老师和同学的回帖后，就可以根据老师、同学的意见，立即修改。师生利用网络的优势，完成了作文的评议，从而使每次作文训练都能起到提高学生作文能力的目的。
四、网络促进自主学习，学生写作活动的个性化特征更突出
学生习作的过程是一个由内部语言转化为外部语言的复杂过程，也是高度个性化的过程。但在当前班级授课制的情况下，教师对五六十名学生按同一要求、同一步骤和同一方法进行作文训练，把学生的习作活动约束成高度统一的集体活动，使大部分学生无所适从，既增加了学生练习写作的难度，又压抑了学生的个性和创造性。
在网络上，学生就可以根据教材的进度、自己的写作需要，自主开展写作训练。学生在写作过程中遇到什么问题，可以通过网络及时向老师请教，也可以与同学开展网上讨论，发表自己的观点。在充分讨论、感知的基础上，学生开展自主性写作活动，写完后放到网上供大家交流、评价，也可以调阅其他同学的习作，取长补短，修改自己的作文。最后，可以根据需要把习作发给相关的对象。整个写作活动充分体现学生的个性。每位学生的学习进度不同，学习的时间、地点也可以不同，学习过程中可以利用教师提供的训练材料，也可以直接从网上查找极为丰富的写作素材。在写作方式上，可以边说边写，也可以边画边写，可以独立成篇，也可以几位同学合作写，写作活动更为自由。甚至习作的形式也可以不同，或长或短，或图文并茂，或现实或虚幻。定期举行“网上作文竞赛”，开辟“个人的习作作品展示”，使学有余力的学生个性得到充分的张扬，特长得以展示。
开展作文与信息技术的整合实验使我体会到：充分发挥计算机网络技术优势，努力把这种的优势和传统的作文教学经验相互结合，互为补充，相得益彰，有力地促进了作文教学，开辟了作文教学的新天地。
改进型神经网络 篇7
1 主要工作及创新点
针对某石化芳烃厂机组运行状态的波形数据, 应用神经网络中典型的反馈神经网络:Elman神经网络进行预测研究。将机组状态监测数据转变为对机组运行状态的整体性能评价, 并在机组发生故障或出现早期故障征兆时进行准确预测、及时发现、精确诊断。文中在Elman网络的应用中提出了两点改进, 以提高预测的准确性。
(1) 通过在基本的Elman神经网络的承接层单元上增加了一个自反馈连接, 增加了Elman神经网络的动态跟踪性能;
(2) 把序贯学习的思想引入Elman网络的在线建模过程中, 实现了网络在线学习, 通过时间窗的推移, 不断地利用新采集数据对网络进行训练, 提高了网络的建模效率和对真实数据的拟合能力。
2 改进型序贯学习Elman神经网络
2.1 改进型Elman神经网络基本原理
目前应用于非线性时间序列预测的神经网络大多为多层前馈网络, 其本质是静态网络, 不能很好地解决动态预测问题。Elman神经网络是一种典型的局部回归网络, 该网络在前馈网络的隐含层中增加一个承接层, 作为一步延时算子, 达到记忆的目的, 从而使系统具有适应时变特性的能力, 直接反映动态过程系统的特性。Elman网络可以看作是一个具有局部记忆单元和局部反馈连接的前向神经网络, 其主要结构是前馈连接, 包括输入层、隐含层、输出层, 其连接权可以进行学习修正;反馈连接由一组“结构”单元构成, 用来记忆前一时刻的输出值, 其连接权值是固定的。在这种网络中, 除了普通的隐含层外, 还有一个特别的隐含层, 称为关联层或联系单元层;该层从隐含层接收反馈信号, 每一个隐含层节点都有一个与之对应的关联层节点连接。关联层的作用是通过联接记忆将上一个时刻的隐层状态连同当前时刻的网络输入一起作为隐层的输入, 相当于状态反馈。隐层的传递函数仍为某种非线性函数, 一般为Sigmoid函数, 输出层为线性函数, 关联层也为线性函数[1]。
为了有效地解决设备预测中的逼近精度问题, 应充分利用其关联层, 增强关联层的作用。采用一种改进 Elman网络模型, 在承接层神经元中, 有一个固定增益为α的自反馈链接, 用于记忆隐层节点前一时刻的输出值。承接单元的增加使得网络具备一定的处理动态信息能力, 提高动态预测的能力。改进的Elman网络与基础Elman网络相比, 不仅可以从本质上更好地动态逼近高阶系统, 而且采用BP算法训练的情况下, 可以获得基础Elman网络采用动态BP算法训练的效果。同时, 连接层的自反馈连接也在很大程度上精简了网络的规模, 利用较少数目的神经元实现较高精度的非线性建模[2]。值得注意的是, 当α取值为零时, 改进型Elman神经网络退化为普通Elman神经网络, 因此, 普通Elman神经网络是改进型Elman神经网络的特例。改进型Elman神经网络的基本结构, 如图1所示。
2.2 改进型Elman神经网络学习算法
改进型Elman神经网络输入的层输入即为预测数据, 隐含层、承接层、输出层的输入输出如下。
(1) 输出层输出为
y (t) =g (ω3z (t) +γ) (1)
其中, z (t) 为隐含层输出, 激活函数g (x) =x, γ为输出层阈值。ω1, ω2, ω3分别是输入层到隐层、连接层到隐层以及隐层到输出层的连接权矩阵;
(2) 隐含层输出为
z (t) =f (ω1X (t-1) +ω2u (t) +θ) (2)
其中, u (t) 为承接层的输出, 激活函数为Sigmoid函数
(3) 承接层输出为
u (t) =αu (t-1) +z (t-1) (3)
该网络总体误差目标函数
其中, Yp (t) 为输出层第p个样本的期望值;yp (t) 为输出层第p个样本的网络输出值, N为样本数。
分别记ω
采用BP学习方法, 可以得到改进的Elman神经网络模型的神经元权值调节公式为
ω
ω
其中, η1, η2, η3分别为ω1, ω2, ω3的学习率。
网络的输入层和承接层的神经元不设阈值, 隐含层和输出层神经元的阈值调节公式为
θj (t+1) =θj (t) +η2δ
γ (t+1) =γ (t) +η3δ3 (9)
2.3 应用序贯学习思想实现网络的在线预测算法
文中描述的改进型Elman神经网络训练方法, 是一种常规的离线训练, 一次学习方式, 网络一经训练完成即用于预测, 在预测过程中一般不会进行在线学习。而通常在化工检测系统中, 需要对某些重要参数进行长时间动态监测和预测, 希望网络可以在线进行学习。因此, 为提高在化工过程非线性时间序列预测中动态数据的适应性, 文中在该训练方法的基础上, 融入了序贯学习方法, 在预测的同时, 根据最新采集到的数据对网络进行在线训练, 提高对动态数据的适应性和预测精度[4]。最终的学习算法为:
(1) 网络初始化:选择网络输入输出维数、隐节点个数、初始权值、滑动窗口长度M及其阈值emin以及α等结构参数, 采用前N个数据根据上述BP算法进行离线训练;
(2) 当一个新样本到达时, 采用上一步训练得到的网络进行预测, 并计算上一步预测值与新样本的偏差en=yn-Yn, 由en根据以下规则刷新网络参数。
1) 若en<emin且滑动窗口总体误差E<Emin, 则网络不更新;
2) 若en>emin或者E>Emin, 则采用上述BP算法更新网络。
3 仿真研究
通过某石化厂的维修与安全保障信息化智能平台, 获取了芳烃厂某设备2007年8月7日的一段波形数据, 如图2所示。
将文中所提出的改进型序贯学习Elman神经网络用于改波形图的预测, 截取其中的一段数据对Elman网络进行训练。所采用的主要结构参数为:输入维数m=110, 隐节点 (连接层) 维数n=15, 输出层维数p=1;学习率均取为1e-3, α=0.2;滑动窗口长度M=50, 阈值取为emin=1e-1, 总体误差E=4。所取得的预测效果与常规改进型Elman神经网络预测效果, 如图3和图4所示。
实验中用采集的前110个数据进行训练, 从110个数据后开始进行网络预测, 预测结果, 如图3和图4所示。从图中可看出, 预测数据紧密尾随观测值而变化, 说明网络能够较好地预测芳烃厂设备的振动波形数据, 但是在数据点发生突变的几点, 改进型Elman网络的预测效果明显好于基本的Elman神经网络。而且改进型Elman网络预测的均方误差也小于基本的Elman网络。两种方法的均方误差, 如表1所示。
从上可知, 文中提出的序贯学习改进型Elman神经网络在对芳烃厂振动波形数据预测中预测精度高于常规改进的Elman网络。
4 结束语
文中提出了一种改进型序贯学习Elman神经网络, 通过对连接权值和神经网络结构的优化提高了网络性能;同时, 采用串行学习机制, 可以实现真正的在线学习和在线预测, 解决了一般神经网络只能进行离线学习的缺点。应用文中提出的算法对某石化厂振动波形数据的在线预测试验, 结果验证了算法的有效性。
参考文献
[1]苗苗.人工神经网络在劳动力供求预测中的应用[J].计算机工程与设计, 2006, 27 (23) :4609-4611.
[2]时小虎, 梁艳春, 徐旭.改进的EIman模型与递归反传控制神经网络[J].软件学报, 2003, 14 (6) :1110-1119.
[3]李晓静, 邓国和.基于遗传算法和改进Elman神经网络的股价预测[J].广西师范大学学报, 2008, 26 (3) :42-45.
改进型神经网络 篇8
关键词：自适应共振理论,智能变电站,非结构化数据分类,数据挖掘
0 引言
随着计算机技术的日益普及与应用, 电力企业的信息数据量呈现出爆炸式增长的趋势。电力企业对智能变电站的日常管理, 分析决策等方面都面临着大数据的考验, 而且在数据结构上的多样化也使得数据管理, 分析, 处理等应用更加复杂。合理地利用智能变电站的全景数据, 使其服务于电力企业管理、发展是解决此类问题的关键。
人工神经网络在数据挖掘技术的发展过程中扮演着重要的角色。本文提出的改进ART型网络相比于原型有以下几点优势:1) 在分类结果差别细小的情况下, 运行时间明显缩短;2) 可以在一定程度上缓解ART型网络产生的模式漂移问题。
1 ART神经网络
美国波士顿大学的S.Grossberg在1976年提出了自适应共振理论 (Adaptive Resonance Theory, ART) 模型[2]。ART型神经网络由输入层和输出层两层神经元构成, 也称为为比较层和识别层。ART型网络的学习可以分以下几个步骤:
1) 初始化
设网络的输入层为个神经元, 输出为个神经元, 则前馈和反馈连接权值分别为:
2) 比较阶段
设网络输入为, 识别层神经元的净输入为
比较, 获胜的神经元设为1, 其余置0。然后计算相似度
将与阈值比较, 若则进入学习阶段, 否则进入搜索阶段。
3) 学习阶段
根据获胜神经元调整前馈和反馈连接权值
4) 搜索阶段
前一次获胜的神经元受到抑制, 选择排在第二位的神经元再一次进行比较, 如果所有已存在的分类都不能与输入模式匹配, 则新增一个神经元来表示该输入的分类。
2 多输出型ART神经网络 (MOART) 及应用
多神经元输出 (Multi-Output) 型ART型神经网络结构, 在识别层可以使用2个或更多的神经元来表示某一个输入的分类结果, 具体步骤如下:
1) 设比较层神经元个数为, 识别层神经元个数为, 在分类数时, 改进算法与原算法保持一致;
2) 当时, 选择2个获胜神经元来表示新的分类;
3) 改进的算法将分类表达分成2个部分, (1) 由单个识别层神经元表示的分类; (2) 由2个识别层神经元共同表示的分类。在一个新的输入模式经过比较划分到第 (1) 种分类之后, 可以在学习阶段对前馈和反馈连接权值进行学习, 而分到第 (2) 种分类, 则不改变前馈和反馈连接权值。
全景数据是反映变电站运行的稳态、暂态、动态数据、设备运行状态以及图像、模型等数据的集合, 其中既包含了结构化数据, 也包含了文档、图形、音视频信息等非结构化数据。
现阶段电力企业内部非结构化数据的主要形式有合同、案件、授权委托书、证照、法律法规等等。文档分类的主要判定是依据关键词来进行的, 而文档中出现频率较低的关键词对最终结果几乎没有影响。ART型网络的输入神经元要求为二进制数据, 所以需要对权值进一步处理, 将次要关键词过滤:
然后将处理过的二进制权重向量输入到ART与MOART型网络。分类类别为:合同、案件、授权委托书、法律法规、公文、通知、公告、档案、知识、专题等10个类别, 文档样本总数为1000, 其准确率如下图所示:
由此可见, 在准确率方面ART网络和MOART网络基本处于同一水平, 时间效率方面MOART的优势明显。在智能变电站的全景数据平台中, 对非结构化数据查询的响应时间上采用MOART网络较ART网络的提升效果明显。
3 结论
ART神经网络在数据挖掘的分类算法中应用广泛, 但是其自身的特点也带来了很多不足之处。本文提出的改进型ART网络机制可以在时间效率上对原网络进行加强, 并通过实验验证了分类准确率相差不大, 而且对原算法容易产生模式漂移等问题也在一定程度上得到缓解。针对ART型神经网络的各种改进算法也可以应用在此多神经元输出模型上, 另外, 本改进算法的思路也可以应用于ART2型网络, 提高系统的效率。
参考文献
[1]史忠植.神经网络[M].北京:高等教育出版社, 2009.
[2]Grossberg S.Adaptive pattern classification and universal recording:1.Parallel development and coding of neural detectors[J].Biological Cybernetics, 1976 (23) .
[3]施彦, 韩力群, 廉小亲.神经网络设计方法与实例分析[M].北京:北京邮电大学出版社, 2009.
[4]陈金水, 王山金.非结构化数据存储管理的实用化方法[J].计算机与现代化, 2006 (8) :25-31.
[5]瞿晓静.非结构化数据库技术综述[J].农业图书情报学刊, 2004, 15 (7) :8-10.
基于神经网络改进的系统辨识方法 篇9
系统辨识是建模的一种方法,不同的学科领域,对应着不同的数学模型。从某种意义上来说,不同学科的发展过程就是建立他的数学模型的过程。辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统)本质特征的一种演算,并用这个模型把对客观系统的理解表示成有用的形式。当然也可以有另外的描述,辨识有三个要素:数据,模型类和准则。辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。总而言之,辨识的实质就是从一组模型类中选择一个模型,按照某种准则,使之能最好地拟合所关心的实际过程的静态或动态特性。
2 系统辨识的基本内容和步骤
辨识问题分为模型结构辨识和参数辨识。当系统模型结构根据工程经验或采用模型结构的辨识确定后,主要的问题是模型的参数估计。
2.1 系统输入输出观测数据的取得
(1)设计准则
为了对不同的试验方案进行比较,必须给出一个度量试验优劣性的准则。比如参数估计的精度,参数估计量一般是一个随机变量或随机向量,其估计的精度可以用一个估计误差的方差或协方差阵来衡量。数理统计中有下面的重要结论:对于一次完成的采样,参数估计的^的协方差满足下面不等式
式中,M为Fisher信息函数矩阵,
式中,z表示测量数据列;ln p(z/)表示给定参数Θ时希望z的条件概率密度的自然对数。根据式(1.1)希望M 1尽可能的小,使得参数估计的精度有可能提高;又根据式(1.2),M又依赖于测量数z。因为M是一个方阵,度量的准则一般应为标量函数。在实验中,通常取
作为设计准则,并据此设计出最优输入信号。
(2)持续激励输入信号的设计
用于辨识模型的输入信号通常要求是零均值的伪随机信号。无论采用何种信号,都要求信号是持续激励的。
(3)采样间隔的设计
在实验之前必须适当地选择采样间隔或输入信号的时序脉冲宽度,依据是实际系统的采样间隔和所要求的模型精度。采样间隔太大,会影响辨识精度。
2.2 应有一个合适的模型集
为了所辨识的系统能从这个模型集中选择出一合适的模型,模型集可根据机理所得到的一些未知参数的模型结构,或是待定参数仅作为数据拟合工具的黑箱模型结构,也可以是根据系统实际工艺要求或系统所得到的一组待拟合曲线数据结构。
2.3 必须有一个对辨识所得到模型的验证评价
对辨识所得到模型的验证是系统辨识的重要环节。验证的目的是为了确定该模型是否是模型集中针对当前观测数据的最佳选择。验证的方法主要有:(1)利用先验知识验证,即根据对系统已有的知识来判断模型是否实用。(2)利用数据检验。(3)利用实际响应检验。(4)利用激励信号{u(k)}的自相关函数校验。
3 改进的神经网络MBP算法辨识
人工神经网络在各个领域得到了广泛地应用,尤其是在智能系统中的非线性建模及控制器的设计、模式分类与模式识别、联想记忆和优化计算等方面。在非线性系统模型辨识中,常用的是多层BP网络。近年来人们对BP算法做了大量研究改进工作。主要包括以下几个方面:(1)提高学习速率的方法。Jacobs等在这个研究中做了大量工作。他们主要是根据学习进展情况在训练过程中改变学习因子。采用改进的BP算法,好处是不增加额外的计算量,通过调整学习因子基本上可保证算法的收敛,但还是不能令人满意。(2)利用目标函数的二阶导数信息对网络训练精度的改进。Kramer在这方面做了研究。这种方法是利用指标函数二阶信息,即二阶导数矩阵(Hessian)或是对二阶导数矩阵的近似,这样构成其具有超线性收敛的算法。这种研究是以非线性优化理论为基础,将BP多层网的训练问题归结为一个非线性的问题。优化理论中的各种优化算法可以用来对非线性的问题求解。BP多层网本身就是一种并行向量、矩阵运算,或者构成一个矩阵近似指标函数,该阵是关系权值向量的Hessian阵。这对于多层网的并行处理能力有较大影响。有些研究者将二阶信息应用到某一层或某一节点,在一定程度上对网络训练的精度有所改进,但又使运算工作量增加,从而影响了训练速度。
4 结束语
一种BP神经网络改进算法研究 篇10
人工神经网络是在现代神经科学研究成果的基础上所提出,它通过模拟大脑神经网络处理、记忆信息的方式进行信息处理[1,2]。近年来,其受到了计算机学界的广泛关注,在图像处理、模式识别、智能预测等领域,有着非常广阔的发展前景。
BP神经网络是误差反向传播神经网络的简称,是目前应用最广泛的神经网络模型之一。BP神经网络算法是基于BP神经网络模型的一种人工神经网络算法。
1BP神经网络算法改进
1.1BP神经网络的基本结构
BP神经网络是一个多层的人工神经网络[3],前部是一个输入层,中间包含若干隐含层,后部是一个输出层,各层之间采用互连方式连接,同层神经元之间不允许有任何连接,各层神经元只能向下一层神经元输出激活信号。其基本结构如图1所示。
1.2BP神经网络算法基本思想
BP神经网络算法利用输出后的误差来估计输出层上一层(如隐含层)的误差,再用这个误差估计更前一层的误差,通过这样一层一层的反传,可以获得从输入层到输出层的各层误差估计,并逐层修 正各层的 连接权值[4]。BP网络算法为步骤如下:
第一步:网络初始化。给所有连接权值赋上(-1,1)内的随机数,设定误差函数e,给定计算精度值ε,最大学习次数M。
第二步:随机选取一个输入样本及对应的期望输出。
第三步:计算隐含层各神经元的输入输出。
第四步:利用实际输出和期望输出计算误差函数对输出层各神经元的偏导数。
第五步:利用隐含层到输出层的连接权值、输出层的偏导数以及隐含层的输出计算误差函数对隐含层各神经元的偏导数。
第六步:利用输出层各神经元的偏导数和隐含层各神经元的输出修正连接权值。
第七步:利用隐含层各神经元的偏导数和输入层各神经元的输入修正连接权值。
第八步:计算全局误差。
第九步:判断误差是否满足要求,继而停止学习。如果误差达到设定的误差值或者达到最大学习次数,结束算法。否则返回第三步,进行下一轮学习。
BP神经网络的训练学习使用非线性规划理论中的最速下降法,连接权值修正以误差函数的负梯度方向进行[5],其中局部极小值点和全局最小值点的误差梯度都为0。BP算法一旦陷入局部极小值点,便无法判断出全局最小值点,即BP算法有可能陷入局部极小值点而无法跳出,无法收敛于期望误差,最后导致训练学习失败。同时,误差函数收敛失败,学习时间将变成无穷大。如何解决BP神经网络的训练时间和收敛速度问题是提高该算法效率的关键。
1.3改进算法的基本思想
为了提高BP网络的收敛速度,本文加入动量因子α调节各层连接权值。在训练学习中由于各层连接权值容易发生剧烈的变化引起训练过程震荡,通过加入动量因子α可使连接权值变化平缓,达到提高收敛速度的目的。
其中,α为动量因子,其取值直接决定了连接权值的修正行为。当α=0时,连接权值修正与以前积累的调整经验无关,只与当前的梯度下降有关;当α=1时,连接权值修正完全由以前积累的调整经验决定。如此,通过附件动量因子α的方法完成对当前梯度下降的过滤,当梯度下降过快时,则为上一次的修正量,这样就可以将震荡修正过滤掉,稳定BP算法的修正过程,加快BP算法的收敛速度,从而可以提高BP算法的训练学习效率。
2改进算法实例
第一步:取(-1,1)内的12个随机数,并将这些随机数复制给各层之间的连接权值,选取隐含层4个节点,给设定计算精度值ε=0.01和最大学习次数M=10000。
随机赋值的输入层-隐含层权值矩阵如下:
随机赋值的隐含层-输出层权值矩阵如下:
第二步:随机抽取第k个输入样本及其对应的期望输出。
第三步:计算隐含层各神经元节点的输入和输出。
第四步:计算隐含层-输出层权系数增量。
第五步:计算输入层-隐含层权系数增量。
第六步:利用隐含层-输出层权系数增量更新隐含层-输出层的网络权值。
第七步:利用输入层-隐含层权系数增量更新输入层-隐含层的网络权值。
第八步:计算全局误差。
第九步:判断是否停止学习。全局误差lfEp=0.23596>ε=0.01,学习次数为1,小于10000,因此需要进行下一轮次学习过程:在学习样本中选择一个未使用的学习样本数据,返回到算法的第三步,继续下一轮学习,直到误差满足要求或者学习次数达到最大值。
3结语
改进型神经网络 篇11
温家宝指出，要加强和改进互联网管理，营造健康的网络环境。健全重大决策社会稳定风险评估机制和突发事件应急管理机制。实施安全发展战略，加强安全生产监管，防止重特大事故发生。深入开展打击侵犯知识产权和制售假冒伪劣商品行动。增强食品安全监管能力，提高食品安全水平。加强和改进信访工作。加强法律服务和法律援助。严密防范和依法打击违法犯罪活动，保障人民群众生命财产安全。
温家宝还强调要积极发展网络购物等新型消费业态。
温家宝表示，要促进经济平稳较快发展。扩大内需特别是消费需求，不断优化投资结构。着力扩大消费需求。大力调整收入分配格局，增加中低收入者收入，提高居民消费能力。完善鼓励居民消费政策。大力发展社会化养老、家政、物业、医疗保健等服务业。鼓励文化、旅游、健身等消费，落实好带薪休假制度。积极发展网络购物等新型消费业态。支持引导环保建材、节水洁具、节能汽车等绿色消费。扩大消费信贷。加强城乡流通体系和道路、停车场等基础设施建設。加强产品质量安全监管。改善消费环境，维护消费者合法权益。
温家宝还指出，要不断优化投资结构。认真落实国务院关于鼓励引导民间投资新36条，出台具有可操作性的实施细则。加强政府投资对结构调整的引领作用，优先保证重点在建、续建项目，有序推进国家重大项目开工建设。把好土地、信贷、节能、环保、安全、质量等准入和审核关，加强对重大项目特别是政府和国有投资项目的监管、督查，提高投资质量和效益。
（康佳奇）
神经网络的特点及改进方法综述 篇12
人工神经网络控制技术从20世纪50年代自Rosenblatt首次将单层感知器应用于模式分类学习以来,已经有了几十年的研究历史。但是,对于单层感知器,不论采用怎样的非线性函数,其分类能力都一样,即只能解决线性可分的问题[1]。增强分类能力的唯一出路是采用多层网络,即在输入层与输出层之间加上隐层构成多层前馈网络,由此所带来的问题是,对于这样的多层网络,采用什么样的学习算法,网络才能合理地进行学习。在当时的条件下,还不具备解决这种问题的能力。正是因为这样,在20世纪70年代,科学界对人工神经网络的研究减弱。直至80年代中期,Rumelhart等重新阐述了反向传播学习算法,使得在神经网络领域的理论和应用研究开始在世界范围内兴起。人工神经网络是一种按照人脑的组织和活动原理而构造的一种数据驱动型非线性映射模型,它可以处理那些难以用数学模型描述的系统,它具有并行处理、自适应自组织、联想记忆以及逼近任意非线性等特性。随着神经网络理论及其应用的日趋成熟,相继提出了多种神经网络的模型,包括多层前馈网络、Hopfield网络、模糊神经网络、自适应共振理论等等,其中应用最为广泛、理论研究最为深入的,当属前馈神经网络中的BP神经网络。
1 前馈神经网络的特点
在多层前馈网络中,提出最早也是应用最普遍的是反向误差传播神经网络,简称BP神经网络。它是前向网络的核心,体现了网络最精华的部分。标准的BP网络采用的是误差梯度下降的算法,在多层网络中使用了梯度反向传播的计算方法。其基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经隐含层逐层处理后传向输出层。若输出层的实际输出与期望输出(教师信号)不符,则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐含层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程是周而复始地进行。权值不断调整的过程,也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度,或进行到预先设定的学习次数为止[2]。
尽管BP网络的应用十分的广泛,但是网络自身的结构及其算法,使得其在实际应用中存在着一些限制和不足,如收敛速度慢,需要较长的训练时间;目标函数会收敛于局部极小值;学习率选择不合适时,系统会在收敛点处振荡,难于收敛等等。为此,许多研究人员就此做了深入的研究,提出了许多改进的方法,如使用动量项加快离线训练速度的方法、快速传播的算法、扩展卡尔曼滤波法以及最优滤波法等等[2,3,4]。以下对于这些改进方法给予简单地概括。
2 加快收敛速度的改进算法
在提高收敛速度方面,BP网络的改进算法主要有两类:一类是采用启发式技术,如附加动量法、自适应学习速率法等;另一类是采用更有效的数值优化算法,如拟牛顿法、共轭梯度法等。
2.1 附加动量法
BP网络在训练中步长的选择很重要,步长大收敛快,但过大则可能引起振荡;步长小可避免不稳定,但收敛速度就慢了。解决矛盾最简单的方法是加入“动量项”。附加动量法是指BP网络在修正权重和阈值时,不仅考虑误差在梯度上的作用,而且考虑在误差曲面上的变化趋势的影响。该方法是在反向传播法的基础上,在每一个权重和阈值的变化上加上一项正比于前次权重和阈值变化量的值,并根据反向传播法来产生新的权重和阈值的变化,表达式如下:
式(1)中,第二项是常规的修正量,第一项为动量项,α为某一正数。
当本次的与前一次同号时,其加权求和值增大,使△wji(n)较大,结果在稳定调节时加速了权重和阈值的调节速度。当与前一次符号相反时说明出现了振荡,此时加权求和的结果使得△wji(n)减小,起到稳定的作用。这种方法所加入的动量项实质上相当于阻尼项,它减小了学习过程的振荡趋势。
2.2 自适应学习速率法
自适应学习速率法有利于缩短学习时间。标准BP算法收敛速度慢的重要原因是学习速率选择不当,所以我们可以在性能曲面较平坦的区域上提高学习速率,而在斜率增大时减小学习速率。单层线性网络的均方误差性能曲面总是一个二次函数,且Hessian矩阵是常数阵,梯度下降法的最大稳定学习速率是2除以Hessian阵的最大特征值。而多层网络的误差曲面不是二次函数,曲面的形状随着参数空间区域的不同而不同,故而在学习过程中才有可能通过调节学习速率的方法来提高收敛速度。
通常调节学习速率的准则是:检查权重的修正值是否真正降低了误差函数,如果确实如此,则说明所选取的学习速率值小了,可以对其增加一个量;若不是这样,而是产生了过调,则应减小学习速率的值。在此基础上,给出一种较常见的自适应学习速率反向传播算法:
(1)若均方误差(在整个训练集上)权值在更新后增加了,且超过了某个设置的百分数(1%~5%)ξ,则权值更新被取消,学习速率将被乘以一个因子ρ(0<ρ<1),并且若有动量项的话,应将其置零;
(2)若均方误差在权值更新后减小,则权值更新被接受,而且学习速率将被乘以一个因子λ(λ>1),若动量系数此时为零,应将其恢复;
(3)若均方误差的增加小于ξ,则权值更新被接受,但学习速率保持不变,若此时动量系数被置为零,则恢复到以前的值。
在此需要说明的是,对采用误差梯度下降的标准BP算法进行启发式的改进对某些问题会提高收敛速度,但这些方法有两个缺点:一是这些改进算法中需要设置一些参数,而标准BP算法只需一个学习速率参数,另外算法的性能对这些参数的改变往往也十分敏感,参数的选择也与所研究的问题有关,没有固定的标准;二是改进算法对某些BP算法能找到解的问题却不能收敛,应用越复杂的算法,这些问题就越容易出现。
针对以上两种启发式方法,相比较而言,附加动量法易于实现,并可以用批处理或增量处理模式,且它的速度明显快于标准BP。虽然它需要选择动量系数,但系数的取值范围限于[0 1]内,并且算法对它的选择也不是很敏感。自适应学习速率法比附加动量法快,但只能用批处理方式,所以它需要更多的存储空间。自适应学习速率法需选择5个参数,算法是鲁棒的,但参数的选择能影响收敛速度,并且与实际问题相关。
2.3 共轭梯度法
在性能优化方面,主要有以下三种数值优化技术:最速下降法或梯度下降法、牛顿法、共轭梯度法。梯度下降法是最简单的算法,但收敛速度慢;牛顿法要快得多,但需要计算Hessian矩阵和它的逆;共轭梯度法是某种折中,它不需要计算二次导数,但仍然具有二次收敛的特性(即在有限次迭代后能收敛于二次函数的极小点)。以下结合神经网络做一简单介绍。
梯度下降法是以一阶Talyor级数展开为基础的,它是最简单的优化方法,但就其收敛性而言,学习速率选择的合适与否,至关重要。通过大量的实例可知,学习速率受限于Hessian矩阵的最大特征值。在最大特征值向量方向上算法收敛的最快,且这个方向上不能越过极小点太远;在最小特征值的特征向量方向上算法收敛最慢。特征值的大小相差越大,梯度下降算法收敛越慢。
牛顿法是基于二阶Talyor级数展开,它是求价值函数的二次近似的驻点,故而这个方法总能一步找到二次函数的极小点。如果原函数是二次函数,它就能够实现一步极小化;如果原函数不是二次函数,则牛顿法一般不能在一步内收敛。实际上根本无法确定它是否收敛,因为这取决于具体的函数和初始点。牛顿法的计算代价是很高的,因为对于含有n个权值的网络而言,每次迭代都必须求一个n×n Hessian矩阵的逆,这样就需要n3数量级的计算。此外,还需要计算二阶导数,这是不适合反向传播框架的。另外它还有一个缺点就是除非从非常接近于最小值的初始点出发,否则这种方法在数值上是不稳定的。所以,在多维情况下,牛顿法是不实用的,但在牛顿法理论的基础上,可以提出许多实用的改进方法,如后面提到的拟牛顿法和Levenberg—Marquardt优化方法。
大多数实用的最优化方法都是只利用一阶导数的信息,并沿着选定的方向作直线搜索。利用直线搜索最简单的方法是最陡下降法,它是沿着梯度方向上的一条直线来最小化的,然后重新计算梯度并重复这一过程。表面看来,这种方法收敛所需的步数很少,但是由于它的每一步都涉及直线最小化,因而可能需要许多函数计算。另外需要说明的是,在最陡下降法中,算法的逐次迭代都是正交的,即新的梯度方向在直线最小化后与旧的方向是垂直的。这是因为沿直线的最小化总会在轮廓线切线上的一点停止,又由于梯度正交于轮廓线,故沿梯度相反方向的下一步就与前一步正交。
一种更好的方法是用梯度方向与前一搜索方向间的一个折中作为新的搜索方向:
这就是共轭梯度法的思想。共轭梯度法通过选择β使每个新的搜索方向尽可能少地破坏由前一次搜索所达到的最小,也就意味着新的搜索方向应该不改变沿前一搜索方向的梯度分量。β的确定可利用Polak—Ribiere规则:,这一规则可以保证最后n个方向都是相互共轭的。值得注意的是,此时已不再需要计算Hessian矩阵。总的来说,共轭梯度法在一个n维严格的二次曲面上它恰好经n步可达到最小,即它不必计算或存储二阶导数信息就具有二阶方法的功能。与牛顿法相比,计算代价是很低的,在较大规模问题中十分有用。在应用于神经网络时,其速度和收敛性将比反向传播或最陡下降要好。还有一点,就是一般的训练算法是利用学习速率决定权重和阈值更新的步长,而在多数共轭梯度算法中权值步长各自反复地调整,沿着共轭梯度用行搜索来决定权值步长以减少在行中的完成功能。
2.4 拟牛顿法
(1)BFGS算法(Broyden-Fletcher-GoldfardShanno):牛顿法较共轭梯度法收敛快,但在多层前馈网络中Hessian矩阵计算复杂、耗时。有一种不用计算二阶导数的改进牛顿算法,称为可变尺度法或拟牛顿法。拟牛顿法在导数信息的基础上,试图通过迭代次数逐渐建立对Hessian矩阵的近似。尽管BFGS算法通常需要很少的迭代步数就能收敛,但它每步迭代的计算量和内存需求大于共轭梯度法。因为要存储近似Hessian矩阵,它的维数为n2×n2,其中n表示网络中权重和阈值的个数,因而对于大型网络最好使用共轭梯度法,而训练小型网络时使用BFGS算法效果较好。
(2)一步割线算法(One Step Secant,OSS):由于BFGS算法每步迭代时的存储量和计算量都大于共轭梯度法,这就需要有更少计算量的正切逼近。OSS方法是共轭梯度法和拟牛顿法的折中方法。在OSS算法中,网络权重和阈值按照下式调整:wk+1=wk+αk Pk;其中P为搜索方向,参数用来减少搜索方向的梯度。第一次搜索方向是负梯度方向,在连续迭代中,新搜索方向按照以下公式进行计算:△wk+1=-gk+Ac×wk+Bc×△gk;其中w为网络的权重和阈值,g为梯度,k为训练次数,Ac与Bc为新搜索方向调整参数。这种方法不用存储整个Hessian矩阵,并且在计算新的搜索方向时没有用到Hessian矩阵的逆,OSS算法每步需要的内存和计算量都小于BFGS算法,但略大于共轭梯度法。
2.5 Levenberg-Marquardt优化方法
它是牛顿法的变形,用以最小化那些作为其它非线性函数平方和的函数。这一点非常适合于性能指数为均方误差的神经网络训练。现简单介绍一下L-M优化法:
假设F(x)是平方函数之和,即:
那么第j个梯度分量为:
因此,梯度可写为:△F(x)=2JT(x)V(x)
下一步计算Hessian矩阵:
即Hessian矩阵为:△2F(x)=2JT(x)J(x)+2S(x),其中。
若假设S(x)很小,则可近似为△2F(x)≈2JT(x)J(x)。
高斯-牛顿法:Xk+1=Xk-H-1△F(x)=Xk-[2JT(xk)J(xk)]-12JT(xk)V(xk)=Xk-[JT(xk)J(xk)]-1JT(xk)V(xk)
相比于牛顿法,其最大优点是不需要计算二阶导数,但问题是JT(x)J(x)不一定可逆。所以用近似Hessian矩阵改进:G=H+μI,G与H有相同的特征向量,但G的特征值为λi+μ,以使得λi+μ>0。
经以上分析可得,L-M算法为:Xk+1=Xk-[JT(xk)J(xk)+μkI]-1JT(xk)V(xk)。
现在将L-M算法应用于多层前馈网络的训练问题,取多层前馈网络的训练性能指数为均方误差函数,此时F(x)=E(e Te)=E[(t-α)T(t-α)],式中t为期望输出,α为网络的实际输出。则网络权重和阈值更新公式为:Wk+1=Wk-[JTJ+μI]-1JTe,其中J为误差对权值微分的雅可比矩阵,e为误差向量,μ为一个标量。依赖于μ的幅值,该方法光滑地在两种极端情况之间变化:当μ->0时,算法变为牛顿法;当μ->∞时,算法变为最陡下降法。
L-M算法的主要缺点是存储量很大,它需要存储近似Hessian矩阵JTJ,它是一个n×n矩阵。
除了以上这些具体的改进算法以外,在算法中还有一些细节对于提高收敛速度也是需要注意的。首先,对Sigmoid函数,反对称函数比不对称函数更好,最常用的是双曲正切函数;其次,应使期望的目标值在输出单元的作用函数的值域内;第三,各权值和阈值的初值应选为均匀分布的小数值,注意不能把初始参数值设置为零,因为对性能曲面来说,参数空间的原点趋向鞍点,也不能把初始参数值设置过大,因为在远离优化点的位置,性能曲面变得十分平坦,不易于收敛;第四,最好使网络中各种神经元的学习速率差不多,一般说来输出单元的局部梯度比输入端的大,可使前者的步长η小些,还有多输入的局部梯度比少输入的大,因而有较多输入端的单元的η可比较少输入端的η小些等等。
在前馈反向传播网络应用中,对某一特定的问题,很难确定哪种训练算法最快,因为这取决于问题的复杂性、训练样本数、网络权重和阈值的个数、停止迭代的标准、衡量计算速度的测度以及期望误差等许多因素。一般来说,网络具有几百个权值时,采用L-M算法收敛速度最快;在中型网络中采用牛顿法训练收敛速度仅次于L-M算法;虽然BFGS算法要求存储近似Hessian矩阵,但它比一般共轭梯度法快;自适应学习速率法通常比其它方法慢,但对于采用其它方法得不到正确结果的网络而言,可以采用它让网络收敛慢一些,以减小误差。总之应该根据具体的问题选择合适的算法,不能一概而论。
3 寻找全局最优的改进算法
BP算法的另一主要问题是误差梯度下降法往往导致局部极小值。现在也有很多解决此问题的改进方法,如随机梯度法、模拟退火算法、遗传算法等等,在此只是简单介绍。
3.1 随机梯度法
随机梯度法是对E加上一个噪声扰动:,其中N=(N1,N2,…Nn)T为独立的噪声源,c(t)为控制噪声幅值的参数。噪声的作用是可使E(x)跳出局部极小值,一般随t→∞,c(t)→0,一种典型的方式是c(t)=βe-ct,β≠0,α>0;如仍按梯度法搜索,则有w(t+1)=w(t)-η△wE(w,N)=w(t)-η[△wE(w)+c(t)N(t)]。可见,W(t)一方面朝梯度下降方向移动,同时还有一项随机移动,可避免陷入局部极小点。该方法中β、α的选择很重要,β控制噪声幅值,要足够大才能保证不陷入局部极小,但太大则随机运动占优势,使搜索过程长;α大收敛快,但可能陷入局部极小,太小则收敛慢。△
3.2 模拟退火算法
模拟退火算法是模仿固体物质的退火过程。众所周知,高温物质降温时其内能随之下降,如果降温过程充分缓慢,则在降温过程中物质体系始终处于平衡状态,从而降到某一低温时其内能为最小;反之降温太快,则降到同一低温时会保持内能。模仿退火过程的训优方法称为模拟退火算法(SA),大致步骤如下:
(1)随机给定初始状态x选择合适的温度下降的规律,给初始温度T0以足够高的值;
(2)令x'=x+△x(△x是很小的均匀分布的随机扰动),并计算△E=E(x')-E(x);
(3)若△E<0,则接受x'为新的状态,否则以概率接受x',其中k为玻耳兹曼常数。具体做法是产生0到1之间的随机数a,如P>a则接受x'为新状态,否则仍留在原状态;
(4)重复(2)、(3)直至系统达到平衡状态;
(5)按(1)给出的退火策略下降T,重复(2)~(4)直至T=0或到达某一预定的低温。
由以上步骤可见,△E>0时仍以一定概率接受新状态x',因而有跳出局部极小点的可能。理论上讲温度下降不快于,实际上常用公式T(t)=αT(t-1),其中α为小于1但接近于1的数。
3.3 遗传算法
地球上生物在漫长的进化过程中,逐渐从简单的低等生物一只发展到高等动物,这是一个绝妙的优化过程,它主要靠自然环境的选择,“物竞天择,优胜劣汰”。在最近颇受重视的模仿生物进化过程的寻优算法中,遗传算法(GA)是研究最多的。这里只是简单地说明一下:从模式理论可知,定义长度短、阶低且适应值高于平均水平的模式的数量在遗传过程中将按指数增加。GA在神经网络的应用是多方面的,既可以代替BP算法求最优权值以避免陷入局部极小,也可以用于设计网络结构以及学习算法中某些参数的选择,这里不再详述。需要强调的是,GA是一种有导向的随机搜索方法,一般说来其计算量较大,但适应面较广。特别是当目标函数不可微、多极值、甚至是时变的情况下,其它方法不能用时,用GA可以求解,但对于一些较简单的问题,则梯度法显然更有效。此外,参数的选择对GA算法很重要,选择的合适将有利于找到全局最优。
4 结束语
本文在介绍了前馈神经网络训练算法的基础上,分析了标准BP算法的特点及其不足,即收敛速度慢和易于陷入局部极小的问题,并分析了产生不足的本质原因。针对产生问题的原因,本文还总结了一些常见的改进算法,在实际应用时可结合带解决的具体的问题,灵活地选取适合的算法,增强解决问题的能力。
摘要：本文在对前馈神经网络训练算法分析的基础上,阐述了标准BP算法的特点,并分析了在实际应用中存在的不足,指出了产生不足的原因,最后介绍了一些常见的改进算法,说明了进一步研究的方向。
关键词：神经网络,收敛速度,局部极小,改进算法
参考文献
[1]张乃尧.神经网络与模糊控制[M].北京:清华大学出版社,1998.
[2]袁曾任.人工神经网络原理及其应用[M].北京:清华大学出版社,1999.
[3]徐丽娜.神经网络控制[D].武汉:华中科技大学,2006.