神经网络系统（共12篇）
神经网络系统 篇1
1 BP神经网络
BP神经网络也称为反向传播网络 (Back-Propagation Net work) , 是目前最为广泛、最具影响的人工神经网络 (Aritificial neural network) 学习算法之一。它可以从大量的离散实验数据中, 经过学习训练, 提取其领域知识, 并将知识表示为网络连接权值的大小与分布, 建立起反映实际过程内在规律的系统模型。BP网络可以包含不同的隐含层, 但理论上已经证明, 在不限制隐层节点数的情况下, 两层 (只有一个隐含层) 的BP网络可以实现任意非线性映射。一般情况下, 我们用得最多的BP神经网络是只有一个隐含层的BP网络, 只要我们能够保证该隐含层中的隐单元数足够多, 理论上就能够实现对任意一个问题的非线性分类了。
2 RBF神经网络的原理
径向基函数RBF (Radial basis function) 是指某种沿径向对称的标量函数, 通常定义为空间中任一点X到某一中心ci之间欧氏距离的单调函数。最常用的径向基函数是高斯核函数, 形式为
其中ci为核函数中心, σ为核函数的宽度参数, 控制基函数的径向作用范围, 即方差。
RBF神经网络是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数映射的人工神经网络, 具有最优逼近和全局逼近的特性。其网络拓扑结构是由一个隐含层和一个标准全连结的线性输出层组成的前向网络。隐含层最常用的是高斯径向基函数, 而输出层采用线性激活函数[2]。RBF神经网络是一种前馈式神经网络, 它由输入层、隐含层和输出层组成。它结构简单, 其设计比普通前向网络训练要省时得多。如果隐含层神经元的数目足够, 每一层的权值和阈值正确, 那么RBF神经网络完全能够精确地逼近任意函数。RBF神经网络权值的训练是一层一层进行的, 对径向基函数层权值的训练采用无导师训练, 在输出层权值的设计采用误差纠正算法, 为有导师训练。在RBF神经网络中, 输入层到隐含层的基函数输出是一种非线性映射, 而输出则是线性的。这样, RBF神经网络可以看成是首先将原始的非线性可分的特征空间变换到另一线性可分的空间 (通常是高维空间) , 通过合理选择这一变换使在新空间中原问题线性可分, 然后用一个线性单元来解决问题, 从而很容易的达到从非线性输入空间向输出空间映射的目的。值得指出的是, 由于RBF神经网络的权值算法是单层进行的, 它的工作原理采用的是聚类功能, 由训练得到输入数据的聚类中心, 通过值来调节基函数的灵敏度, 也就是RBF曲线的宽度, 虽然网络结构看上去是全连结的, 实际工作时神经网络是局部工作的, 即对输入的一组数据, 神经网络只有一个神经元被激活, 其他神经元被激活的程度可忽略。所以RBF神经网络是一个局部逼近网络, 这使得它的训练速度要比BP网络快2~3个数量级。
2.1 RBF神经网络的局限性
RBF网络之所以能有广泛的应用, 是因为它具有网络结构简单、非线性逼近能力强、收敛速度快以及全局收敛等优点[3]。RBF网络虽然有以上优点, 但我们也应该看到传统的RBF网络仍然存在泛化能力不足的缺点。以前人们在神经网络的学习算法方面进行了大量的研究工作, 也就是说大量的工作多集中于如何缩短学习时间、提高收敛速度和逼近精度等问题上;而在如何提高神经网络的泛化能力方面, 尚需作进一步的研究, 探讨网络泛化能力问题仍然是RBF网络的一个重要研究方向。
2.2 提高RBF神经网络的泛化能力
泛化能力是指对未知样本进行正确分类的能力, 它是衡量网络效果好坏的重要指标之一。现阶段, 提高系统泛化能力比较成熟的理论有正则化理论、统计学理论和信息熵理论等。上述提高系统泛化能力的理论虽然成熟, 但离实际应用的距离还比较大。目前, 提高系统泛化能力的研究主要集中在如何选取合适的网络规模, 设计合理的网络结构上。
吴永贤老师多年来一直从事RBF神经网络的研究, 他提出了基于RBF神经网络的局部泛化误差模型, 大大提高了RBF神经网络的泛化能力。局部泛化误差的创新点在于这个模型针对一些对评价一个分类器有真正影响的非训练样本, 计算该分类器对于这些非训练样本的泛化误差, 从而得到一个比较合理和实用的泛化误差模型。这个局部泛化误差模型的优点主要体现在它能贴近真实应用情况, 针对RBF神经网络进行评价且具有很好的理论支持。
摘要：本文重点介绍了当前有着广泛应用的BP神经网络, 对BP神经网络的局限性进行了说明, 并且给出了一些改进BP算法的实用技术。
关键词：人工神经网络,BP神经网络,RBF神经网络,改进,泛化能力
参考文献
[1]陈如云.基于BP神经网络的应用研究.微计算机信息, 2007年, 08期, 23卷.
神经网络系统 篇2
◆ 教学目标
1．明确神经系统的组成、功能和基本结构
2．掌握神经系统有关常用术语：灰质、皮质、核团、神经节、白质、神经纤维和网状结构 3．认识脑和脊髓的外部形态和内部基本结构
4．了解外周神经的组成、性质和分布规侓以及脑神经的名称、性质、与脑相连的部分和分布，特别是内脏神经（植物性神经）的概念、组成、特点和分布。◆ 教学内容
§1.概述：
一.组成：中枢神经：由运动神经元胞体和中间神经元组成。包括脑和脊髓。
外周神经：由感觉神经元和运动神经纤维组成。包括脑神经和脊神经。（或分为躯体神经和内脏神经）
二.功能：（1）调节机体与外界环境之间的统一；
（2）调节机体各个器官的活动，并保持之间的平衡。
三.基本概念
1.神经元：即神经细胞，是神经系统结构和功能的基本单位。（1）组成：胞体和突起（树突、轴突）。（2）分类：假单极神经元（感觉、传入神经元）。
双极神经元（联络、中间神经原。多极神经元（运动、传出神经元）。
2.神经胶质细胞：对神经元起支持、营养、保护、修复和形成髓鞘的作用，并对突触的形成有重要作用。3.反射弧：是机体对内、外刺激所做的应答，是一种生理现象。包括五个环节：感受器→感觉神经元→中间神经元→运动神经元→效应器。4.常用术语：
(1)灰质：中枢神经系统中，神经元和树突集中的地方。位于脊髓内部的灰质称脊髓灰质。(2)皮质：位于脑表面的灰质，称皮质。（有大脑皮质、小脑皮质）。
(3)白质：在中枢神经系统中，神经纤维集中的地方。分别位于脊髓和脑干的周围，大脑和小脑的内部。(4)神经核（团）：位于中枢神经系统内（主要是脑），形态和功能相似的灰质团块。
(5)神经节：位于外周神经系统中，由神经元胞体聚集而成，如脑神经节、脊神经节、植物性神经节。(6)神经纤维：由神经元的突起（主要是轴突）构成，分有髓神经纤维和无髓神经纤维。(7)神经：由周围神经系统内的神经纤维聚集而成。
(8)网状结构：中枢神经系统内，由灰质和白质相混合交错形成，是分散的神经元胞体位于神经纤维的网眼内，主要在脑干和脊髓。在发生上相当古老，与呼吸、心跳等基本生命活动有关。(9)神经束：位于脑和脊髓内，由行程和功能基本相同的神经纤维组成。
§2.中枢神经 一.脊髓：
1.位置：位于椎管内，前在枕骨大孔处与脑相连，后以脊髓圆锥终止于荐部椎管的中部，向后延续为终丝。2.形态特点：
(1)呈上下稍扁的圆柱状，有颈膨大和腰膨大。
(2)分颈、胸、腰、荐、尾五段，比椎管短，只达荐部椎管的中部。
(3)形成脊髓圆锥、终丝和马尾：脊髓经腰膨大后逐渐缩细形成圆锥状结构称脊髓圆锥；最后形成一根来自软膜的细丝，外包硬膜，附着于尾椎背侧，称为终丝，有固定脊髓的作用；脊髓圆锥和终丝周围被荐尾神经包围，此结构总称为马尾。
(4)背正中沟与腹正中裂：(5)背外侧沟与腹外侧沟： 3.内部构造：
(1)灰质：位于脊髓中央管周围，呈蝶形。
① 脊髓中央管周围灰质形成灰质连合。
② 背角（柱）主要由中间神经元胞体构成，其基部外侧有网状结构。③ 腹角（柱）主要由运动神经元胞体构成。
④ 外侧角（柱）位于胸腰段脊髓腹侧柱基部的外侧，主要由交感神经节前神经元胞体构成。(2)白质：位于灰质周围。
①背侧索：传导本体感觉。②腹侧索：传导运动。
③外侧索：浅部传导感觉，深部传导运动。
4.脊膜：脊硬膜、蛛网膜、脊软膜。脊硬膜与椎管之间构成硬膜外腔，较宽，内有静脉、脂肪和脊神经通过。脊硬膜与蛛网膜之间构成硬膜下腔，较狭窄，内含淋巴液。脊软膜与蛛网膜之间构成蛛网膜下腔，较大，内含脑脊髓液。
二.脑：
包括大脑、小脑、脑干（又包括间脑、中脑、脑桥和延髓）(一)脑干 1.延髓：
（1）背面： ① 闭合部
② 开放部：形成菱形窝，为第四脑室的底后部。（2）腹面：
① 斜方体
② 锥体：由大脑皮质发出的运动纤维束（锥体束）构成。③ 锥体交叉
（3）内有6-12对脑神经核；还有前庭核、薄束核、楔束核、兰斑核、网状结构。（4）机能：生命中枢所在地（呼吸、心跳、唾液分泌、吞咽、呕吐等）。2.脑桥：
(1)背侧：前端有小脑前脚，连系小脑和中脑。(2)腹侧：
① 被盖：内有第5对脑神经核、中继核、网状结构等。
② 基底部：横行纤维形成小脑中脚，纵行纤维为大脑皮质至延髓和脊髓的锥体束。3.中脑：
(1)四叠体（顶盖）：包括前丘和后丘各一对，分别与视觉和听觉有关。(2)中脑导水管；
(3)大脑脚:包括被盖和大脑脚底，内有红核、黑质、3、4对脑神经核。
4.间脑：
(1)丘脑：内侧膝状体（与听觉有关），外侧膝状体（与视觉有关）。
(2)下丘脑：包括视交叉、灰结节、乳头体。灰结节中央称漏斗，下部连着垂体。
(3)第三脑室：围绕丘脑间粘合的环状裂隙，腹侧有漏斗形凹陷，后接中脑导水管。前以一对室间孔与侧脑室相通，背侧壁有第三脑室脉络丛（向前与侧脑室脉络丛相连）。
（二）小脑：位于延髓和脑桥的背侧、大脑的后部，略呈球形。
1.结构：
（1）外部：小脑蚓部和小脑半球。（2）内部：皮质和髓树。
2.小脑三对脚：前脚（结合臂），中脚（桥臂）、后脚（绳状体）。
（三）大脑：
1.大脑半球：
(1)皮质（皮层）：额叶（运动）、顶叶（感觉）、枕叶（视觉）、颞叶（听觉）。(2)白质
(3)基底核：又称纹状体，位于大脑基底部，间脑的前方，灰白相间，包括尾状核、内囊、豆状核。2.胼胝体：连接两侧大脑半球的横行纤维。
3.侧脑室：底壁为胼胝体，内侧壁为透明隔，底壁为基底核和海马。4.脑膜：硬膜（形成大脑镰和小脑幕）、蛛网膜、软膜（随沟回起伏）。5.嗅脑：包括嗅球，嗅束，嗅内、外侧束，嗅三角、梨状叶、海马。
边缘系统：包括海马、梨状叶、基底核、杏仁核、中脑被盖、丘脑前核等在功能和结构上密切联系，合成一功能系统，称为边缘系统。与情绪变化、记忆和内脏活动有关。
§
3、周围神经（简称神经）
周围神经借神经根与中枢神经相联系。神经根有两类：感觉根和运动根。
1.根据功能性质分为：感觉神经（传入神经）；运动神经（传出神经）；混合神经。2.根据分布不同分为：躯体神经；内脏神经（植物性神经）。3.根据发出部位不同分为：脑神经；脊神经。4.躯体神经包含脑神经和脊神经；内脏神经也包含脑神经和脊神经。5.内脏神经按功能又分为交感神经和副交感神经。
一、躯体神经：
（一）脊神经：
1.来源：脊神经背侧根与腹侧根在椎间孔附近汇合成脊神经（为混合神经），走出椎间孔即分为背侧支和腹侧支。
2.脊神经节：在椎间孔附近，位于脊神经的背根上，由感觉神经元胞体集中而成结节状。3.分段：脊神经按部位分为颈、胸、腰、荐、尾五段。（1）颈神经：
①膈神经：由5、6、7颈神经的腹侧支组成，穿过胸前口入胸腔，沿纵隔向后伸延至膈，为膈的运动神经。
②臂神经丛：由6、7、8颈神经腹侧支和1、2胸神经腹侧支混合组成，位于肩关节内侧，支配前肢。其主要分支有：肩胛上神经、肩胛下神经、腋神经、胸肌神经、桡神经、尺神经、正中神经、肌皮神经。（2）胸神经：
①肋间神经：由胸神经腹侧支组成，位于肋间隙，沿肋骨后缘向下伸延，与同名血管并行。分布于肋间肌、腹肌、胸壁肌肉和皮肤。
②最后肋间神经：分布于腹壁肌肉和皮肤。（3）腰神经：
①第1腰神经腹侧支形成髂下腹神经，第2腰神经腹侧支形成髂腹股沟神经，第2、3、4腰神经腹侧支形成生殖股神经，第3、4腰神经腹侧支形成股外侧皮神经。
②腰荐神经丛：由4、5、6腰神经和1、2荐神经腹侧支组成，位于腰荐部腹侧，支配后肢。主要分支有：股神经（其分支有隐N）、闭孔神经、坐骨神经（其分支有腓总N：又分出小腿外侧皮N、腓浅N、腓深N；胫N：又分出足底内侧N、足底外侧N）、臀前神经、臀后神经。（4）荐神经：
①阴部神经：由2、3、4荐神经腹侧支形成。
②直肠后神经：由3、4荐神经（牛为4、5荐神经）腹侧支形成。
（二）脑神经：12对
一嗅 二视 三动眼, 四滑 五叉 六外展, 七面 八听 九舌咽, 十迷 又副 舌下完。
其中一、二、八为感觉神经；五、七、九、十为混合神经；其余为运动神经。（发出部位及分布见书上的列表。）
二、植物性神经：
（一）定义：分布到内脏器官、皮肤、血管的平滑肌以及心肌、腺体等处的神经，称为植物性神经、又称内脏神经、自主神经。
（二）特征：与躯体神经在形态结构及功能上的区别。
内脏神经
躯体神经
───────────────────────────────────────
1、分布
神经元数目平滑肌、心肌、腺体
骨骼肌
为较粗的有髓神经纤维。受意识支配，无自主性。非双重支配
2、从中枢到效应器的 2（节前神经元和节后神经元）
3、神经纤维的特点 较细，节前纤维有髓，节后纤维无髓。
4、有无自主性
5、对效应器的支配 有相对自主性
有交感和副交感神经的双重支配
─────────────────────────────────────── 注：①节前神经元：胞体位于脑赶和脊髓，发出的纤维称为节前纤维。
②节后神经元：胞体位于植物性神经节（包括椎旁神经节、椎下神经节、终末神经节），发出的纤维称为节后神经纤维。
（三）交感神经
1.来源及去向：
（1）节前神经元胞体：位于胸腰段脊髓灰质外侧角内。
（2）节前神经纤维的去向（有三个）：止于本节段椎旁神经节；沿交感干伸延、止于前或后节段椎旁神经节；止于椎下神经节。
（3）节后神经元胞体：位于椎旁神经节、椎下神经节。（4）节后神经纤维的去向：
①椎旁神经节发出的节后纤维→直接到效应器
或随脊神经的分布而分布（灰交通支：交感干→脊神经；白交通支：脊神经→交感干）。②椎下神经节发出的节后纤维→直接到效应器。
2.交感干：位于脊柱的腹外侧，左右成对，自寰椎向后伸至尾部，呈串珠样，分颈、胸、腰、荐、尾五段，有灰白交通支与脑脊神经相连。即交感干=交感神经节（椎旁神经节）+节间支。
(1)颈部：称迷交干。
有三个神经节: ① 颈前神经节：发出节后纤维，分布于唾液腺、泪腺、汗腺及头部血管。② 颈中神经节：分布于主动脉、心脏、食管及气管。
③ 颈后神经节：与1、2胸神经节合并成星状神经节，位于胸前口，发出椎神经、至臂神经丛、心支（参与构成心神经丛，分布于心、肺）。
（2）胸部：每一节有一个椎神经节，均有灰白交通支与脊神经相连。
① 星状神经节最明显。
② 发出内脏大神经和内脏小神经，穿过膈脚入腹腔，连于腹腔肠系膜前神经节。③ 内脏支：至主动脉、食管、气管，并参与心肺神经丛。（3）腰部：有2-5个腰神经节。
④ 腰内脏支：连于肠系膜后神经节。
⑤ 腹腔肠系膜前神经节：由两个腹腔神经节和一个肠系膜前神经节组成，连于内脏大小神经的纤维。
⑥ 肠系膜后神经节：连接腰内脏神经和腹腔肠系膜前神经节的节间支构成肠系膜后神经丛。⑦ 腹下神经：一对，由肠系膜后神经节发出，参与盆神经丛的构成。
（4）荐尾部：节后神经纤维组成灰交通支，连于荐神经和尾神经，有三个神经节，前部较大，后部较 小，参与构成盆神经节。
（四）副交感神经
1.中枢部位：节前神经元胞体位于脑赶和荐部脊髓灰质侧柱内，分颅部和荐部。
2.分布：节后神经元胞体位于终末神经节内，即在所支配的器官内或附近，故节后纤维短。
（1）颅部的副交感神经：伴随3、7、9、10脑神经走出。
通常说的迷走神经：为混合神经，包括躯体神经（第10对脑神经）和副交感神经。其走向为：迷走神经经破裂孔出颅腔，分颈、胸、腹三段，颈段与交感神经合并成迷走交感干，沿颈总动脉的背侧缘向后伸延，入胸腔纵隔，绕过主动脉弓返回的一支称喉返神经，主干继续前行，在支气管背侧分为食管背侧支和腹侧支，左右迷走神经的食管背侧支、腹侧支分别合成迷走背侧干、腹侧干，穿过膈的食管裂孔入腹腔支 配内脏。其分支如下：
① 咽支：到咽、食管前段。② 喉前神经：到咽、喉、食管前段。
③ 喉反神经；到喉的喉半部、声带、食管、气管。④ 心支、肺支：参与构成心、肺神经丛。
⑤ 食管背侧干、腹侧干：到胃、肠，背侧干还参与构成腹腔肠系膜前神经丛。注：前三个分支属躯体神经。（2）荐部的副交感神经：
① ② ③
【思考题】
神经系统的怀旧 篇3
当我20多岁，还在努力拼搏的时候，就注意到一个奇怪的现象：我在青少年时期喜欢过的音乐对我意味着更多，远胜于其他时期。在这之后的每一年，收音机里播放的那些新歌听上去都像闹哄哄的废话。我知道，客观地讲，这是没有道理的。我不能严肃地断言卢达·克里斯（格莱美奖得主，近几年最为出色的美国南方说唱歌手兼唱片制作人之一，美国著名黑人演员，曾参演《速度与激情》系列电影——译者注）的“Rollout”在艺术上优于凯蒂·佩里（美国著名创作型流行歌手，绰号“水果姐”——译者注）的“Roar”，但是前一首歌的每一秒我都视若珍宝，而后一首歌对我来说简直味同嚼蜡，让我排斥。我听到2013年的十大金曲就会头疼，我听到2003年的十大金曲会觉得很高兴。
为什么我会认为我在青少年时期听的歌比成年后听的任何歌都动听呢？我很高兴地告诉大家，作为一个乐评人，我那失败的音乐鉴赏力，也并非完全一无是处。近年来，心理学家和神经系统科学家已经证实，那些歌曲在我们的情感之中所占的比例完全不同。研究者已经发现了支持这一观点的证据，那就是与成年后听到的歌曲相比，我们的大脑会将我们与青少年时期听过的歌曲更加牢固地绑定在一起——而且这种绑定不会因为年龄的增长而减弱。也就是说，对音乐的怀旧，不仅仅是一种文化现象，还是一种神经元的指令。无论我们的品味在其他方面变得多么世故，我们的大脑还是会滞留在那些青春期曾经痴迷过的歌曲里。
要理解我们为什么会对某些特定的歌曲钟爱有加，就应该先了解通常情况下大脑与音乐之间的联系。当我们第一次听到某一首歌时，它会刺激我们的听觉皮层，将节奏、旋律以及和声转变为一个连贯的整体。从这里开始，我们对音乐的反应就取决于我们与音乐之间是如何相互作用的了。当你在脑海里跟着一起唱时，会激活你的运动前区皮层，而运动前区皮层会帮助规划和协调你的运动。当你随着一首歌曲起舞时，你的神经元会跟上音乐的节拍。当你全神贯注于歌词和配乐时，会激活你的顶叶皮层，而顶叶皮层会帮助你在不同的刺激间来回转换并保持注意力。当听到一首能触发个人记忆的歌曲时，你的脑前额叶外皮会立刻活跃起来，而脑前额叶外皮是维护有关你的私人生活和人际关系信息的。
但是，没有情感的记忆是毫无意义的，除了爱情和毒品，世间万物都不能像音乐那样激发人类的情绪反应。脑成像研究表明，我们最喜爱的歌曲会刺激大脑的快感回路，而快感回路则释放出大量的多巴胺、5-羟色胺、催产素，以及其他影响神经系统、使我们感到愉悦的化学物质。我们越喜爱一首歌曲，就越能体会到这些影响神经系统的化学物质带来的快感，这些神经递质淹没了我们的大脑，在某种程度上，与吸食可卡因所追求的神经递质是一样的。
音乐点亮了每个人身体里神经活动的火花。但在年轻人的身体里，这个火花最终变成了一场烟花表演。在12岁至22岁，我们的大脑正在进行着快速的神经发育，在这10年里，我们喜爱的音乐似乎与我们的脑叶永久地连在了一起。当我们与一首歌建立起神经连接后，便会创造一种强烈的记忆痕迹，而记忆痕迹承载着强烈的情感，这种情感在一定程度上归功于青春期过度分泌的生长激素。这些激素告诉我们的大脑，“每件事”都无比重要，尤其是那些在我们的青春梦想（或者尴尬）中配乐的歌曲。
就其本身而言，这些神经学上的烟火足以将某些歌曲铭刻在我们的大脑中。但是其中还有别的因素在发挥作用，它能将八年级舞会（美国学生在八年级毕业时开第一场社交舞会——译者注）上播放的最后一支乐曲近乎完美地永久锁入你的记忆中。《这就是你的大脑对音乐的反应：人类成见中的科学原理》一书的作者丹尼尔·列维京指出，从根本上说，我们在青少年时期听到的音乐是与我们的社会生活纠缠在一起的。
“那些我们年轻时第一次听到的音乐，通常和朋友有关。我们听他们听的音乐，把它看作一枚徽章，看作将自己划归某个社会团体的一种途径。这样就把音乐融入了我们的身份归属感之中。”
加利福尼亚大学戴维斯分校的心理学家彼得·贾纳塔赞同该社交性理论。他解释说，我们最喜爱的音乐“与那些来自我们成长岁月的特殊情感记忆”牢固整合在了一起。他补充说，另一个因素——记忆隆起——可能也发挥着作用。记忆隆起是指我们对年轻生活的记忆比对其他年龄段的记忆更为丰富、生动的现象，而且这些记忆直到我们衰老时依旧得以很好地保存。根据记忆隆起理论，我们都有一个文化上自然而然的“生活脚本”，这个“生活脚本”在我们的记忆里起着人生叙事文的作用。当我们回首往事时就会发现，主宰着这一叙事文的记忆有两个共性：这些记忆是愉快的记忆，而且它们紧紧围绕着我们十几岁至二十岁出头那段时期。
为什么源自这些年月的记忆是如此充满活力而且持久呢？英国利兹大学的研究人员在2008年提出了一个诱人的解释：被记忆隆起凸显的那些岁月与“一个稳定且持久的自我”出现的时间不谋而合。换句话说，在12岁至22岁这段时间，正是你之所以成为“你”的时间。自此以后，这一过程奉献出的记忆，在你的余生中变得非同一般的重要。它们不仅记录了你自我形象的发展，还变成了你自我形象的一部分——你的自我感知中不可分割的一部分。
音乐在这一过程中发挥了两个作用。首先，一些歌曲变成了人们对这些歌曲本身的记忆，而这些歌曲进入记忆的过程非常强烈。我们中的很多人可以历历在目地回忆起我们第一次听披头士（或者后街男孩）的歌曲时的情景，数十年后，在每个K歌的夜晚我们仍然会唱起这首歌。其次，这些歌曲形成了我们对那个时期难忘感受的配乐，它们如同我们生活中至关重要的那些年一样重要。在我们初吻时、在我们第一次参加毕业舞会时、在我们第一次吸烟时正在播放的音乐，都可归于此类记忆，而且它们都闪现着一丝丝深刻的光芒。回想起来，毕业舞会可能并不是真的那么让人印象深刻，但即使记忆本身已经褪色，被贴在音乐上的情感余温依旧萦绕心间。
也许，和这些理论一样有趣的是它们的逻辑结论：你可能再也不会像热爱年轻时所听的音乐一样热爱其他歌曲了。这多少有点让人沮丧。当然，这并非全是坏事，作为成年人，我们的品味实际上并没有变差，只是变得更加成熟了，从而使我们能够欣赏在智力层面上更为复杂的美学之美。然而，不论我们变得多么成熟，音乐依旧是一个可供我们逃离成人大脑的紧急出口，带我们回到年轻时那青涩、纯粹的激情中去。与我们最喜爱的歌曲相伴的怀旧之情，并不仅仅是我们对自己早期岁月的一段飞逝的回忆，它还是一个神经系统的虫洞，能够让我们一瞥那些岁月。在那些岁月里，我们的大脑伴随着成就了我们的音乐开心地跳跃。那些岁月也许已经过去，但是每当我们听到喜爱的歌曲时，它们曾经带给我们的欢乐会再一次涌上心头。
马克·约瑟夫·斯特恩是美国《Slate》杂志的撰稿人。他的撰稿范围涵盖科学、法律和LGBTQ问题（LGBTQ，L：女同性恋者Lesbian，G：男同性恋者Gay，B：双性恋者Bisexual，T：认同自己的心理性别是符合男女二元属性的跨
性别者，包括寻求手术或激素帮助改变性别的跨越生理性别者，Q：未定者questioning或者酷儿queer，对自己的性别或性倾向暂时判断不清楚的人群——译者注）。
神经传递通路的神经网络建模 篇4
在智能系统和智能产品的开发中,控制和结构一体化设计有多种思路,其中一种是采用神经网络和结构并行进化设计,并将设计模型直接接入实体造型和激光快速成型技术,直接生成具有一定自治能力的机器人。在自治机器人中,神经网络由人工神经元硬件实现,因此,神经网络连线应尽可能少以便于加工,同时连线少也有利于提高控制系统的可靠性。现有的神经网络模型主要是通过多目标优化和进化策略寻找最优构型[1,2,3,4,5,6],主要依靠增加连接来提高网络性能。有的学者认为生物学上如此复杂的连接是不现实的,自然进化不应该朝向如此庞大的连接[6]。其中有的文献基于神经元形态学(Neuron Morphologies)通过进化算法生成神经元形态和神经网络[5],侧重于神经元层的行为和操作过程,但用在工程中计算成本过高。
神经生物学提供了人工制品控制设计可以借鉴的原型。有两种途径建立神经系统模型。一种是直接建立仿生物模型。主要缺陷在于有机体神经发育中包含大量的化学反应,过程过于复杂,难以建摸。第二种途径是依据现有的神经元理论建模。神经元的作用机制模型已经有专门的研究,有成熟的成果可以借鉴。这样做的问题是现有的研究主要集中在神经元信息传递和处理机制,而非神经元网络的拓扑构型的生物学依据。
本文结合上述两种途径建模,采用简化的生物神经模型,提炼神经系统构型特征,建立神经元网络模型。
1 神经传递通路简化模型
神经系统模型非常复杂,必须提炼主要特征,才能建立有效计算模型,并应用在工程实际中。本节依据神经系统主要组成和神经传递通路特征建立神经传递通路简化模型。
1.1 神经系统组成
神经传递通路主要由感受器、神经纤维、神经元、效应器组成[7,8]。感受器是一种换能装置,将内外刺激的能量转变为神经的兴奋过程。效应器支配肌肉的活动。运动神经传递模式为感受器一初级传入神经元一二级传入神经元—三级传入神经元—中间神经元—一级传出神经元—二级传出神经元—骨骼肌。不同的通路对应不同的功能以及大脑皮质中不同的区域。以随意控制神经传递通路为例,主要回路有四个,各个回路功能不同,共同参与运动调控。大脑一小脑—丘脑—大脑联络皮质回路:投射系统对大脑皮质的运动区产生调节性影响;大脑皮质一基地核—丘脑—大脑皮质回路:主要功能为参与运动计划、启动和执行;大脑一运动前神经元一小脑—丘脑:将动作经验和当前情况核对,以矫正运动神经元的发放,使运动产生新的速度;大脑—丘脑回路:大脑皮质的下行纤维对丘脑有抑制作用。防止过激反应。
1.2 神经传递通路简化模型
依据随意控制神经传递通路特征,本文建立神经传递通路简化模型。模型由4个回路组成:(1)大脑—小脑—丘脑—大脑皮质回路;(2)大脑皮质—基地核—丘脑一大脑皮质回路;(3)大脑一运动前神经元一小脑—丘脑;(4)大脑一丘脑回路,分别简称为丘脑回路、基底核回路、小脑回路、大脑皮质回路。如图1所示。
2 神经网络建模
神经模型基本要素为基本单元和基本构型。基本单元包括神经元、感受器、效应器和神经中枢。基本构型采用上述简化模型,神经网络采用固定形态和连接模式,网络权植通过学习训练确定。
2.1 神经元分类
神经元包括胞体、轴突和树突三个组成部分。神经元分为5类:传入神经元,传出神经元,大脑皮质区中间神经元,基底核中间神经元,小脑中间神经元。其区别在于胞体的传递函数、输入函数、树突和轴突的形态、树突输入加权函数以及轴突输出不同。
2.2 网络结构
对图1简化模型建立神经网络,如图2所示。
网络含4个侧枝回路:丘脑回路、大脑皮质回路、基底核回路、小脑回路,分别控制感知和整合信息、调节姿态、运动启动和规划执行、核对和矫正运动等功能。灰色为抑制神经元,网络为动态网络。动态网络含有网络输入延迟或反馈环节,因此,网络的仿真输出与数据元素的顺序有关。图2a为原型网络,直接依据神经传递通路原型建模,包含14层,14个神经元,19条连线,4个回路。网络的主要优点是连线少,且整个网络为平面图,连线没有交叉,当采用神经元器件实现时便于加工布线。图2b为变形网络,共6层,14个神经元,53条连线。变形网络的优点是网络参数比原型网络简单。主要缺点是结构复杂,层间连线交叉,当采用神经元器件实现时布线和制造难度增加。
网络输入设定两种方式:(1)输入运动信息;(2)输入运动信息和控制幅度,以实现控制。
实现上述神经元网络,必须首先建立神经元数理模型。本文采用现有的神经元传递函数和加权函数[9]构造数理模型,并用基于matlab的函数实现[10]。
2.3 神经元数理模型
(1)神经元胞体
一级、二级传入神经元胞体数理模型:
中间神经元输入输出关系:Xi(s)=Hi(s)Xi(s)
传出神经元:yi(t)=f(xi)
(2)轴突
传入神经元、中间神经元以及非传出运动神经元为:
传出神经元为:a=n
(3)树突
分加权函数和输入函数两部分。
加权函数为欧氏距离加权函数:
输入函数为以加权方式将加权输入和阈值组合。matlab函数为N=netsum(Z1,Z2,∧,Zn)。
2.4 网络学习和训练
学习能力依靠突出结合权的变化实现。
(1)训练函数
训练分为两步。第一步采用弹性反向传播算法RPROP(resilient backpropagation algorithm)对网络进行训练;第二步采用BFGS准牛顿(quasi-Newton)反向传播算法对网络进行训练。作者计算表明:选用两种算法可以避免锯齿现象,加快收敛;对不同的系统特性,应需选取不同的训练函数。对有噪音的输入——输出系统,弹性反向传播算法有利;对PID姿态控制系统,选用单一贝叶思正则化训练函数即可。
弹性反向传播算法依据误差能量函数独立调整网络各层权重和偏差以控制步长,权值和阈值更新时只考虑梯度符号。牛顿反向传播算法是将目标函数在极小点附近用二次函数逼近,避免锯齿现象。贝叶斯正则化方法可自动调整网络规模,防止过度训练。
(2)学习函数
采用动量梯度下降权值和阈值学习函数,即权值和阈值的调整值由动量因子mc、前一次学习时的调整量dWprev、学习速率lr和梯度gW共同确定,方程为:
2.5 网络测试
用计算实例测试网络的逼近精度和泛化能力,并与其它网络比较。泛化能力(Generalization Ability)指用较少的样本进行训练,使网络能对未经训练的输入能给出合适的输出。
函数逼近能力见表1,泛化能力见表2。比较网络构型选择原则为连线数大于原型网络。观察表1和表2,对随机函数和非线性函数,在相同训练次数情况下,4回路网络与其它网络相比同时具有更好的函数逼近能力和泛化能力。由于原型网络连线数少且连线在同一平面内,因而更利于硬件实现。
2.6 网络特点
1)多个实例计算表明,本文提出的两种网络均可以满足一般输入输出映射关系。对同样的神经元数目,原型网络和变形网络比一般网络能适应更多类型的函数映射关系。2)原型网络和变形网络在算法上容易实现,适应性强。前者收敛速度慢,但是结构简单,易于布线,并利用基于激光的层加工技术实现神经元器件埋设;后者收敛速度快,但是连线多。故在线训练采用变形网络;神经元硬件实现采用原型网络。3)多个网络并联实现复杂控制。4回路神经网络模型的潜在应用是实现复杂的姿位控制,如自治卫星、机器人等,在此情况下,需要多个神经传递通路协作实现预定目标。4)网络与其它网络比较具有以下优点:(1)对任意函数逼近能力好;(2)在相同训练次数条件下泛化能力好。
3 结论
本文建立神经传递通路简化模型,建立相应的神经网络模型——4回路动态延迟神经网络模型。包括丘脑回路、大脑皮质回路、基底核回路和小脑回路。网络可采用两种形式表达:一种是直接模拟神经传递通路形态的原型网络,另一种为变形网络。原型网络包含14层,14个神经元,19条连线。主要优点是连线少,且整个网络为平面图,连线没有交叉,当采用神经元器件实现时便于加工布线。变形网络有6层,14个神经元,53条连线。优点是网络参数比原型网络简单。主要缺点是结构复杂,层间连线交叉,当采用神经元器件实现时布线和制造难度增加。两种网络均易于数学实现,并具有良好的函数逼近能力和泛化能力。
参考文献
[1]Garcya Pedrajasa N,Herva's Marty neza C,Mun~oz Pe'rezb J.Multi-ob- jective cooperative coovolution of artificial neural networks.Neural Net- works 15,2002:1259-1278.
[2]Christian Schittenkopf,Gustavo Deco,Wilfried Brauer.Two Strategies to Avoid Overfitting in Feedforword Networks.Neural Network,1997,10 (3):505-516.
[3]Alistair G Rust,et al.Towards Computational Neural Systems through Developmental Evolution.Wermter S,et al.(Eds.):Emergent Neural Computational Architectures,LNAI 2036,Springer-Verlag Berlin Hei- delberg,2001:188-202.
[4]Nariman-Zadeh N,Darvizeh A,Jamali A,et al A.Evolutionary.design of generalized polynomial neural networks for modelling and prediction of explosive forming process.Journal of Materials Processing Technology, 2005:1561-1571.
[5]Sung-Kwun Oh,Pedrycz W,Byoung-Jun Park.Relation-Based Neuro- fuzzy Networks with Evolutionary Data Granulation.Mathematical and Computer Modeillng,2004,40:891-921.
[6]Torts JJ,et al.Influence of topology on the performance of a neural network.Neurocomputing,2004:229-234.
[7]许绍芬．神经生物学．第二版．上海：上海医科大学出版社，1999．
[8]Palay S L．等．神经元形态与功能，神经生理学手册(3)．黄世楷，等译．上海：上海科学技术出版社，1985：1-195．
[9]史忠植．神经计算．北京：电子工业出版社，1993：27-31．
人工神经网络论文 篇5
人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展，当代信息处理工作越来越复杂，利用人工神经网络系统可以对人的思维进行模仿甚至是替代，面对问题自动诊断和解决，能够轻松解决许多传统方法无法解决的问题，在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析，对事物进行辨别和解释的一个过程，这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种，一种是统计模式识别，还有一种是结构模式识别，在语音识别和指纹识别等方面得到了广泛的应用。
3.2 在医学领域的应用
人工神经网络对于非线性问题处理十分有效，而人体的构成和疾病形成的原因十分复杂，具有不可预测性，在生物信号的表现形式和变化规律上也很难掌握，信息检测和分析等诸多方面都存在着复杂的非线性联系，所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前，在医学领域中的应用涉及到理论和临床的各个方面，最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。
3.3 在经济领域中的应用
经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测，人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理，与传统的经济统计方法相比具有其无法比拟的优势，数据分析的稳定性和可靠性更强。
3.4 在其他领域的应用
人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用，能够对高难度的非线性问题进行处理，对交通运输方面进行集成式的管理，以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题，促进了各个领域的快速发展。
4总结
随着科技的发展，人工智能系统将进入更加高级的发展阶段，人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代，但是其特有的非线性信息处理能力解决了许多人工无法解决的问题，在智能系统的各个领域中得到成功应用，今后的发展趋势将向着更加智能和集成的方向发展。
参考文献
[1]徐用懋，冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展，1993(5)：8-12，20.
[2]汤素丽，罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用，(10)：59-61.
[3]李会玲，柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报，2009(5)：44-46.
[4]过效杰，祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利，(1)：22-23.
神经网络介绍及其应用 篇6
[摘要]本文介绍了神经网络发展历史、结构、特点、以及应用范围，对神经网络的发展前景进行了展望，最后简述脉冲控制与脉冲复变神经网络。
[关键词]神经元；神经网络；应用与研究前沿；脉冲控制；脉冲复变神经网络
1.引言
人工神经网络是近几年发展起来的交叉学科，它是用物理或数学方法实现的系统来模拟人脑神经细胞的功能，其涉及生物、电子、计算机、数学和物理等学科，有着非常广泛的应用前景。人工神经网络不仅仅是一种算法，而且也可由电子器件组为硬件实现其功能，即它可用软件或软件均可实现，它可解决大量复杂的或至今人类无法找出的及未知的函数关系的拟合，可作类似人类的模式识别能力，是由于在构造它的时候，对其进行了大量的训练，使它积累了有关知识，学会了这种判别能力。
2.神经网络
2.1神经网络简介：
神经网络，即是以人脑的生理研究成果为基础的，也是生物神经网络系统高度简化后的一种近似，它可以在不同程度、不同层次上模拟人脑神经系统的结构及其信息处理、存储和检索等功能。在过去三十年中发展活跃，由于它拥有良好的非线性映射能力、自学习适应能力和并行信息处理能力，可以处理不确定非线性系统问题，因此具有较高的智能水平和实用价值，在众多领域内得到了广泛的应用。
2.2神经网络的更迭：
神经网络自诞生以来，历时半个世纪，经历了5个阶段：
奠基阶段，上世纪40年代，1943年，美国神经生物学家Mcculloch和数理逻辑学家Pitts从人脑信息处理的立场上出发，运用数理模型研究了脑细胞的动作和结构及生物元的一些基本生理特性，提出了第一个神经计算模型，即神经元的阈值元件模型（M-P型），他们从原理上证明了人工神经网络可以计算任何算数和逻辑函数，迈出了人工神经网络研究的第一步，该模型有兴奋和抑制两种状态，可以完成有限的逻辑运算，虽然简单却沿用至今，并直接影响这一领域研究的进展，成为人工神经网络研究的先驱。
第一次高潮階段，50年代后期，计算机科学家F·Rosenblatt设计制作了“感知机”-一种多层的神经网络模型，它由阈值型神经元组成，用以模拟动物和人脑的感知和学习能力，适用于模式识别、联想记忆等人们感兴趣的实用技术，包含了现代神经计算机的基本原理。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践，掀起了人工神经网络的第一次研究热潮。
坚持阶段，1960年Bernard Widrow和Ted Hoff提出自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络，在后来的误差反向传播和自适应信号处理系统中得到了广泛应用。在1969年，Matrill Minsky和Seymour Papert论证了简单的线性感知器功能是有限的，并断言这种感知器无科学价值可言。经管如此，仍有不少学者在极端艰难的条件下致力于神经网络的研究，如美国学者Stephen Grossberg等提出了自适应共振理论（ART模型），并在之后的若干年发展了ART1、ART2和ART3三种神经网络模型芬兰学者Kohonen提出了自适应映射理论模型，这些工作为以后的神经网络的研究和发展奠定了理论基础。
第二次高潮阶段，Kohonen提出了自组织映射网络模型，并在计算机上进行了模拟。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平。美国的物理学家Hopfie M于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响，人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。
新发展阶段，90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edeknan提出了Dalwinism模型，建立了一种神经网络系统理论。1994年廖晓昕对细胞神经网络建立了新的数学理论与基础，得出了一系列结果，如耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期解的存在性和吸引性等，使这个领域取得了新的进展。
2.3神经网络的结构与特点：
神经网络是一个复杂的互联系统，单元之间的互联模式将对网络的性能与功能产生影响，其由许多相互连接的神经元（也称为单元或节点）以及外部环境输入组成，每一个神经元都执行两个功能：把来自其他神经元的输入施以不同的连接权并对外部输入进行叠加，同时对这个叠加的输入进行非线性变换产生一个输出，该输出又通过连接权刺激其他神经元相连。要设计一个神经网络，必须包含神经元间的连接模式、激励函数、连接权值和神经元个数这四个方面。
按照其连接方式的不同的特点，神经网络可以分为两种，即前馈神经网络和反馈（递归）神经网络，前馈神经网络主要是函数映射，其各神经元接收前一层的输入，并输出到下一层，没有反馈。在没有反馈的神经网络中，信号一旦通过某个神经元，过程就结束了，而在递归神经网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态过程中。因为有反馈的存在，所以递归神经网络是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。
利用激励函数的形式多样化的特点，并根据其不同特性可以构造功能各异的神经网络，典型的激励函数包括阶梯函数、线性作用函数和Sigmoid函数等。研究表明，选择适当的激励函数可以大大改善神经网络的性能，因此推广可使用的激励函数范围，在更加广泛的意义下研究神经网络的稳定性与混沌同步不仅可以推动神经网络的完善与发展，而且能为神经网络的实际应用奠定坚实的基础。
2.4神经网络的应用与研究前沿
神经网络系统是一个高度非线性的超大规模连续时间动力学系统，具备大规模的并行处理和分布式的信息存储能力，拥有良好的自适应、自组织性以及很强的学习功能、联想功能和容错功能，其突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人类智能信息处理能力和模拟人脑智能行为能力的一大飞跃。
目前大批学者围绕神经网络展开了进一步的研究工作，大量的神经网络模型相继被提出，如竞争神经网络模型、忆阻器神经网络模型、分数阶神经网络模型等。由于神经网络独特的结构和处理信息的方法，使其在最优化计算、自动控制、信号处理、模式识别、故障诊断、海洋遥控、时间序列分析、机器人运动学等许多实际领域表现出良好的智能特性和潜在的应用前景。神经网络的研究前沿领域还包括以下几个方面：智能和机器（机器智能化）、神经计算和进化计算（相互促进）、神经网络结构和神经元芯片（高科技领域中的神经计算机与神经元芯片）等。
神经网络成功应用的前提是动力学行为，由于其非线性的特征，神经网络往往具有非常复杂的动力学性态，如平衡点、周期解、分支、行波解和混沌等，在时滞神经网络（一种复杂的动态系统）中适当的选择系统的参数和时滞可使其表现出复杂的动态行为，甚至混沌特征。目前，时滞神经网络的混沌同步在保密通信、图像处理等应用方面取得了可喜的进展，并通过对耦合混沌神经网络系统的大量理论研究、数值模拟和电路实验，提出了许多同步控制方案，如自适应控制、脉冲控制等。
3.脉冲复变神经网络
3.1脈冲控制
通过对耦合混沌神经网络系统的研究，提出了许多同步控制方案，包括线性状态误差反馈控制、样本点控制、脉冲控制、间歇控制等，而在实际的应用中，使用连续控制消耗巨大，实用性不强，脉冲控制恰好用来降低成本并减少消耗。
脉冲控制是基于脉冲微分方程的控制方法，其仅仅在某些时点上施加控制，具有控制器结构简单、易于实现，控制系统的鲁棒性比较强（适于解决强非线性、实变、复变等问题）等优点，并在混沌控制、混沌同步、复杂网络同步等领域得到了越来越广泛的应用。
3.2脉冲复变神经网络
神经网络系统 篇7
人工神经网络具有高度非线性建模能力以及良好的容错性和自学习能力,因此在人工智能、模式识别、信号处理和机器人及非线性控制等领域有着广泛的应用[1~5]。我们曾利用神经网络开展过诸如矩阵方程求解和矩阵实时求逆等科学计算工作[6,7]。BP(Back Propagation)神经网络是反向传播的多层前馈式网络,是目前应用最广泛也是最重要的人工神经网络模型之一。
基于负梯度法(或称梯度下降法)的BP神经网络是1986年由Rumelhart和Mc Clelland[8]等人提出的一种多层前向神经网络模型,其核心是误差反向传播算法(BP算法)。该算法的标准做法是沿着负梯度下降方向,迭代修正网络各层的权值和阀值,以最小化误差最终达到计算精度要求,从而实现输入输出的非线性映射。20世纪80年代中期以来,多层前向神经网络的BP算法一直备受人们的关注,但是BP网络存在着诸如收敛速度慢和易陷入局部极小点的缺点,因此人们对此提出了许多改进的算法。它们大体上可分为两类[9]:(1)基于标准梯度下降法的改进,(2)基于数值优化方法的改进。人们在对BP网络改进时多是着手于改进其学习算法,期望改进网络训练的迭代规则来解决收敛速度慢和局部极小点问题。
本文则期望从改进网络结构和激励函数的思路出发来解决网络收敛速度慢和局部极小点问题,实验结果表明其优于以上传统的两种改进做法。从多项式插值和逼近理论[10,11]出发,本文构造了一种Jacobi正交基前向神经网络(如图1),它能快速有效地学习给定样本并逼近目标函数,同时也能精确地给出目标函数在未学习区间的短期预测。
如图1,该前向神经网络采用了一组特例Jacobi正交多项式函数(实为第二类Chebyshev正交多项式)为隐层神经元的激励函数,而其输入层和输出层神经元使用线性激励函数并固定阀值为零。该神经网络的隐层神经元权值可以在学习过程中通过BP算法训练而得,也可以利用后文给出的伪逆思想直接确定。该神经网络不仅结构简单,而且因权值可以直接确定从而避免了冗长的迭代训练过程,其仿真和预测的精度也得以大大提高。本文也将给出仿真实例显示基于伪逆的权值直接确定法的优越性。
2 网络模型与理论基础
如图1所示,我们给出了一种Jacobi正交基的前向神经网络。该网络由输入层、隐层和输出层组成。其中,输入层和输出层有一个神经元并使用线性激励函数f(x)=x;隐层有n个神经元并使用一组特例Jacobi正交多项式(即第二类Chebyshev正交多项式)函数()jϕx,j=0,1,2,,n-1。下面我们给出Jacobi正交多项式和第二类Chebyshev正交多项式的定义。
定义1[11]设ϕj(x)是j次实系数多项式。若多项式系{ϕj(x)}j=0n-1是区间[a,b]上关于权函数ρ(x)的正交函数系,即满足
{ϕj(x)}j=0n-1为区间[a,b]上关于权函数ρ(x)的正交多项式系,并称nϕ-1(x)为区间[a,b]中关于权函数ρ(x)的n-1次正交多项式。
定义2[12]Jacobi正交多项式可原始定义为:在封闭区间[-1,1]上关于权函数ρ(x)=(1-x)α(1+x)β的正交多项式称为Jacobi多项式,记为Jj(α,β)(x)=
我们可以看出,Legender多项式是上述Jacobi多项式对应于α=β=0的特例;第一类Chebyshev多项式是Jacobi多项式对应于α=β=-1/2的特例;第二类Chebyshev多项式是Jacobi多项式对应于α=β=1/2的特例[12]。下面我们以第二类Chebyshev多项式实例化Jacobi正交基前向神经网络。
定义3[12]第二类Chebyshev正交多项式可原始定义为:
它是封闭区间[-1,1]上关于权函数的正交多项式,即:
并可证明,第二类Chebyshev多项式满足如下递推关系式:
值得注意的是,由该Chebyshev第二类多项式组成的前向神经网络之所有神经元阀值都可恒定设为0,这样在保证网络逼近能力的同时,也可以进一步简化神经网络的结构及其未来的硬件实现。上述第二类Chebyshev正交基前向神经网络仍然可以看作是一种BP神经网络模型,并采用通常的误差回传学习算法修正权值向量w。
下面我们给出该Jacobi正交基前向神经网络(实例为第二类Chebyshev正交基神经网络)逼近能力之理论基础。依据多项式插值和逼近理论[10~12],我们总是可以构造一个多项式函数ϕ(x)来逼近未知函数φ(x)。
定义4[11]假定区间[a,b]上的未知函数φ(x)和线性无关函数系{ϕj(x)}j=0n-1之每个ϕj(x)都连续(可记为∈C[a,b])。给定[a,b]上的权函数ρ(x),对于广义多项式:
确定其系数w0,w 1,,wn-1,使得a∫bρ(x)(φ(x)-ϕ(x))2dx为最小。这样得到的函数ϕ(x)称为φ(x)在区间[a,b]上关于权函数ρ(x)的最佳平方逼近(函数)[或称最小二乘逼近(函数)]。定理1[11]给定区间[a,b]上的连续函数φ(x),则其最佳平方逼近函数ϕ(x)存在而且唯一;另外,ϕ(x)的系数w0,w 1,,wn-1可以通过求解而得。
3 权值迭代方法
对于图1所给出的Jacobi正交基的前向神经网络模型,其隐层神经元个数为n,隐层神经元与输出层神经元之间的权重记为wj,j=0,1,2,,n-1,因此该神经网络输入x与输出y的关系可以描述成公式(3)。如果我们采用训练样本集{(x i,yi),i=1,2,,m},并定义该神经网络的误差函数E如下:
则图1所示神经网络的基于标准BP算法的权值wj修正公式可如定理2(因篇幅所限,其证明从略)所述。定理2(权值修正)图1所示的Jacobi正交基前向神经网络的权值迭代公式可设为[13]:
其中j=0,1,2,,n-1,迭代次数k=0,1,2,。
若将上述定理2以矩阵和向量形式描述,我们则有定理3;即更为简洁的权值向量迭代公式。
定理3(简洁修正)图1所示的Jacobi正交基前向神经网络的权值迭代公式(5)可以简化为如下矩阵向量形式:
其中输入相关矩阵X、权值列向量w和输出相关向量γ分别定义为:
4 权值直接确定
第3节讨论了Jacobi正交基前向神经网络基于标准BP算法的权值迭代公式,其中定理2和定理3是等价的。定理2是标量形式的公式描述(或称元素级的迭代运算与描述),而定理3是定理2和权值迭代公式(5)的矩阵向量形式描述。在引言中我们曾提到,对于这种新型的神经网络结构,我们可以直接一步地给出网络权值从而能够避免冗长的网络训练及迭代过程。
下面定理展示了我们是如何做到这一点的。
定理4(直接确定法)给出参量X、w和γ如定理3所定义。图1所示Jacobi正交基前向神经网络之最优权值可以直接给定为:
或记为ω=pinv(X)γ,其中pinv(X)表示求相关矩阵X的伪逆(此处等同于(XT X)-1XT并可调用MATLAB命令pinv实现)。
基于给出的最优权值(7),该Jacobi正交基前向神经网络能够实现对未知输入输出关系φ(⋅)的最小误差逼近。
证明:我们回顾定理3及公式(6):w(k+1)=w(k)-ηXT(Xw(k)-γ),其中学习步长η>0。当网络训练达到稳态时(即k足够大时,w(k+1)=w(k):=ω),从公式(6)简化可得
因此满足公式(8)的ω即是该Jacobi正交基前向神经网络的稳态最优权值ω:=limk→+∞w(k),并且能够最小化误差函数E。利用矩阵之伪逆思想,解公式(8)即可得公式(7):ω=(XT X)-1X Tγ,我们因此可以一步确定该Jacobi正交基前向神经网络的最优权值向量,定理4因此得证。
值得指出的是,该Jacobi正交基前向神经网络利用矩阵伪逆思想可以一步地计算出网络权值(即,直接确定法或称一步确定法),从而避免了冗长的网络权值迭代过程。仿真结果证实其较好的计算速度与精度。
5 鲁棒性预测仿真
以无单位目标函数y=sin(4x)为例,我们对图1所示的Jacobi正交基(以第二类Chebyshev正交基为实现实例)前向神经网络进行仿真验证。不同与我们以往的工作,我们可以在仿真该神经网络时引入一定的实现误差[如不精确地实现正交基激励函数,使得ϕj(x)=2xϕj-1(x)-(j-1)ϕj-2(x)],以研究该网络的鲁棒性预测效果。其中,Jacobi正交基前向神经网络的隐层神经元个数n=8,取区间[-1.0,0.8]为样本数据训练区间,而区间(0.8,1.0]为未经学习的预测/测试区间。在区间[-1.0,0.8]上以0.01的间隔采样,可取得181个样本点组成训练样本集{(x i,yi),i=1,2,,m}(其中m=181)。以样本数据点xi(i=1,2,,181)作为网络训练输入,对应的样本数据值yi(i=1,2,,181)作为网络目标输出(或称期望输出)。我们分别用公式(5)所描述的标量形式迭代法和公式(6)所描述的矩阵形式迭代法以及直接权值确定法(7)对该181个样本数据对进行训练。
得到调整好的网络权值后,即可将该Jacobi正交基前向神经网络用于测试和预测。表1对三种权值方法的测试结果进行了数值比较,图2至图4分别显示了该三种方法的训练和预测的直观效果。由结果之比较可以得知,对于Jacobi正交基前向神经网络,权值直接确定法在训练时间、训练误差和预测效果上要远远优于迭代法(既包括标量形式迭代法也包括矩阵形式迭代法)。具体而言,在训练105次后,标量形式和矩阵形式的迭代法训练时间分别为2410秒(约为40分钟)和19.7秒,训练和预测的总误差为4.66×10-1;而权值直接确定法的训练时间仅为0.30秒,并且训练和预测的总误差也仅为5.80×10-4。
如图2、图3和图4所示,实线表示神经网络的实际输出值,而虚线表示真实的目标输出值。区间[-1.0,0.8]为网络学习区间,而区间(0.8,1.0]为预测区间(未学习过),这两个区间以分段竖折线隔开。对仿真结果进行观察,我们可以得出,该Jacobi正交基前向神经网络模型具有良好的函数逼近性能、鲁棒预测性;而且我们可以看出,基于伪逆的权值直接确定法比传统的BP迭代法有更好的预测效果。
6 结语
针对传统BP神经网络存在诸如收敛速度慢和易陷入局部极小点的缺点,我们基于多项式插值和逼近理论,提出了一种新型的神经网络模型(Jacobi正交基前向神经网络)及其基于伪逆思想的权值直接确定法。对该网络进行的计算机仿真显示,相对于传统的BP迭代公式,该新型神经网络模型及算法不仅具有更优的逼近性能、更精确的预测效果,而且计算速度更快、鲁棒性更强。
摘要：根据多项式插值与逼近理论,以一组零阀值特例Jacobi正交多项式(第二类Chebyshev正交多项式)作为隐层神经元的激励函数,构造一种基于Jacobi正交基的前向神经网络模型。该神经网络模型采用三层前向结构,其中输入、输出层神经元采用零阀值线性激励函数。为改进传统神经网络收敛速度较慢及其局部极小点问题,针对该Jacobi正交基前向神经网络模型,提出了一种基于伪逆的直接计算神经网络权值的方法(即,一步确定法),并利用该神经网络进行预测。计算机仿真结果表明,相对比传统的BP迭代训练方法,权值直接确定法计算速度更快、预测精度更高。
神经网络系统 篇8
流动推销员问题 (TravelSalesmanProblem, 简称TSP) 的主要内容是:对于N个城市, 它们之间的距离已知, 有一推销员要从某一城市出发走遍所有的城市, 且每一个城市只能经过一次, 最后回到出发城市, 问如何选择路线可使他所走过的路程最短推销员的路线必须是一个封闭的回路, 这里把这个要求称为TSP的单回路约束。
目前关于TSP的解决方法不断更新和改进。其中, 神经网络方法求解TSP收到越来越多学者的关注。费春国等把自适应混合混沌神经网络运用到TSP研究中[1];严晨等改进了能量函数和瞬态混沌神经网络求解TSP[2];翁妙凤等把退火策略和混沌神经网络结合应用TSP的求解[3]。以上这些神经网络方法求解TSP的计算速度比较快, 能得到较高质量的解, 但不能完全避免不可行解的产生, 不可行解的产生主要是不满足TSP的单回路约束。
H.Haken在1991年提出来一种新的神经网络——协同神经网络[4]。J.Starke把H.Haken经典的一维的协同神经网络推广, 得到二维和三维协同神经网络[5,6]。H.Haken在协同神经网络的演化方程中加入了代价项, 解决了一类组合优化问题——任务分派问题[7]。这里, 我们基于协同神经网络的方法解决TSP, 并设计了一个回路合并算法, 确保得到满足TSP的单回路约束的解。
1 协同神经网络
协同神经网络是H.Haken在1991年提出来的。根据协同学的基本思想, 模式识别过程可以理解为若干序参量竞争的过程. 对模式的序参量ξk可以构造一个动力学过程, 经简化处理后, 服从方程 (1) 。
协同神经网络提供了并行实现的可能, 并且H.Haken已证明了协同神经网络不存在伪状态。
J.Starke给出了二维协同神经网络的序参量演化方程基本形式:
H.Haken改进了二维协同神经网络, 并求解了任务分派问题。本文基于二维协同神经网络的方法求解TSP。
TSP的整数规划模型表示为:
TSP的整数规划模型可以改写为:
(4) 式中z表示回路的路径长度;cij表示从点i到点j的距离, xij=1, 车辆从点i行驶到点j;否则, xij=0。xij满足:xijxij′=0, xijxi′j=0 i≠i′, j≠j′。
构造势函数:
推导得到序参量演化方程:
其中
于是就得到了用于求解TSP问题的协同神经网络演化方程。
2 协同神经网络求TSP包含回路的分析
由 (7) 式, 经数值计算, 可以得到TSP中各个城市的邻接矩阵 (xij) 。 (xij) 满足 (3) 式的约束条件, 目标函数可等价表示为:
(8) 式中p1, p2, …, pn是1, 2, …, n的全排列。 (8) 式在TSP表示经过所有城市的回路的路径长度。对于 (8) 式, 我们明确以下相关命题:
命题1:x1, x2, …, xk是1, 2, …, n的一个按由小到大标准顺序排列的子列, px1, px2, …, pxk是x1, x2, …, xk的全排列, cij意义同 (3) 式, 则cx1px1+cx2px2+…+cxkpxk表示经过节点x1, x2, …, xk的一个或多个回路的路径长度。
证明:我们可把x1设为回路的起点, 由于px1, px2, …, pxk是x1, x2, …, xk的全排列, x1, x2, …, xk中必存在一个xi=px1, 路径x1→px1 (即xi) →pxi, 对应路径距离为cx1px1+cxipxi;
px2, …, pxk是x1, x2, …, xi-1, xi+1, …, xk的全排列, 必存在一个xj=pxi, 路径x1→px1 (即xi) →pxi (即xj) →pxj, 对应路径距离为cx1px1+cxipxi+cxjpxj;
重复以上过程, 直到pxs=x1, 则就得到一个回路:x1→px1 (即xi) →…→pxs (即x1) , 对应回路距离为cx1px1+cxipxi+…+cxspxs。
每排入一个节点进入路线, 对应路线就相应增加一段距离。
再把x1, x2, …, xk中没有排入回路的最小点作为起点, 重复以上过程, 直到x1, x2, …, xk所有的点都排入回路。显然cx1px1+cx2px2+…+cxkpxk可能表示经过节点x1, x2, …, xk超过一个回路的路径长度。
命题1说明, (3) 式只能约束协同神经网络求解TSP的结果含有回路, 但不一定满足TSP的单回路约束, 这需要增加辅助算法解决。
3 仿真研究
3.1 协同神经网络方法求解TSP步骤
对于一个有n个节点的TSP, 协同神经网络方法求解TSP过程可分为以下步骤:
(2) 根据序参量演化方程 (6) 式, 作数值迭代方程:ξij (tk+1) =ξij (tk) +σξ′ij (tk) , σ表示迭代的步长。
(3) 当满足|ξij-1|≤0.2, 且|ξij′-0|≤0.2, 其中∀i, j, 且j′≠j, 输出矩阵 (ξij) n×n。|ξij-1|≤0.2, 取对应的xij=1, 同时xi′j=0, xij′=0, 这样就得到了矩阵 (xij) , 记录下xij=1的行号i和列号j。由所有记录下的xij=1的行号i和列号j, 依次连接行号i和列号j, 得到了路径, 即得到了TSP的初始解。
(4) 处理初始解, 得到TSP问题的路径满足单回路约束。
这一步又可以分为以下步骤:
①判断初始解中是否只含有一个回路。若是, 则输出初始解;若初始解含有多个回路, 则转下一步。
②计算各个回路中相邻两个点的距离。具体方法为, 设其中有两个回路记为: (x1, x2, …, xk) 和 (y1, y2, …, yl) , 求相邻的点的距离矩阵 (cxiyj+cxi+1yj+1-cxixi+1-cyjyj+1) k×l其中i=1, 2, …, k;j=1, 2, …, l;当i=k, j=l时, xi+1和yj+1分别就是x1和y1。
③求出距离矩阵 (cxiyj+cxi+1yj+1-cxixi+1-cyjyj+1) k×l最小值。若最小值为cxiyj+cxi+1yj+1-cxixi+1-cyjyj+1, 在最小值对应的节点xi, xi+1, yj, yj+1, 断开路段xi→xi+1和yj→yj+1, 连接节点xi和节点yj, 连接节点xi+1和节点yj+1, 这样两个回路合并为一个回路。
示例:http://elib.zib.de/pub/mp-testdata/tsp/
tsplib/tsp/index.html上选取bayg29的测试数据, 经过协同神经网络方程数值计算, 求得初始解包含下面两个回路, 如图1。
route1=[1,2,3,4,5,6,7,8];
route2=[16 19 4 15 18 14 17 22 11 25 7 23 27 16]。
显然初始解不满足TSP问题的单回路约束。
计算相邻点的距离矩阵, 在回路1上选得节点为24和8, 回路2上选得节点为27和16。连接相应节点建立新的回路, 如图2。
④初始解中若有s (s>2) 个回路, 同第2、3步一样, 求出第1个回路和其它s-1个回路的距离矩阵, 求出s-1个距离矩阵元素的最小值, 在最小值对应的节点处合并回路。这样回路数减为s-1个, 求出刚合并得到的回路与剩下s-2个回路的距离矩阵, 求出距离矩阵元素的最小值, 在最小值对应的节点处合并回路, ……
重复上面的过程, 直到s (s>2) 个回路合并为一个回路, 这个回路就是问题的解。
3.2 计算结果
从http://elib.zib.de/pub/mp-testdata/tsp/
tsplib/tsp/index.html中选取3组TSP测试数据:ulysess-16, ulysess-22, berlin-52。运用协同神经网络和合并回路相结合的方法 (简称协同神经网络) 和模拟退火算法、标准遗传算法求解这3个问题。计算机硬件主要配置:奔腾Ⅳ, 主频2.4 GHz, 内存384兆。
协同神经网络与模拟退火算法的路径长度 (三次实验中中平均值) 比较, 如表1。
其中协同神经网络算法求得ulysess-16的路径为: (11 5 15 8 4 2 3 1 16 12 13 14 6 7 10 9 11) , 路径图如图3所示。协同神经网络算法求得ulysess-22的路径为: (15 6 7 12 13 14 1 8 22 18 4 17 2 3 16 21 20 19 10 9 11 5 15) , 路径图如图4所示。
协同神经网络和标准遗传算法求解问题的计算消耗时间比较, 如表2。
从表1可以看出, 运用协同神经网络求解TSP的方法计算精度高于模拟退火算法, ulysess-16和ulysess-22的结果比网站公布的最优结果还要好。表2表明协同神经网络方法的计算效率比标准遗传算法好的多。总而言之, 通过实验表明了运用协同神经网络和回路合并相结合的方法求解TSP, 得到的解一定是可行解。并且从计算精度和效率角度考虑, 这种方法也是行之有效的。
4 小结
文中, 运用了一种新的神经网络——协同神经网络方法求解TSP, 并设计了一个回路合并算法, 确保得到满足TSP的单回路约束的解。通过ulysess-16, ulysess-22, berlin-52等三组数据进行数值模拟, 比较了新算法、标准遗传算法和标准模拟退火算法的求解结果。实验结果表明, 说明该方法在求解TSP 问题上是行之有效的。
进一步的工作有:
(1) 分析协同神经网络方法求解TSP时, 随着TSP规模增大, 算法精度和计算量的变化情况;
(2) 分析协同神经网络方法求解不同类型TSP的表现, 算法的稳定性分析;
(3) 进一步研究提高计算效率和精度的方法等。
摘要：神经网络方法求解流动推销员问题 (Travel Salesman Problem, 简称TSP问题) 时, 往往产生不满足TSP的单回路约束的不可行解。基于协同神经网络的方法解决TSP, 并设计了一个回路合并算法, 确保得到满足TSP的单回路约束的解。通过算例进行数值模拟, 并且比较了新算法、标准遗传算法和标准模拟退火算法的求解结果。实验结果表明, 说明该方法在求解TSP问题上是行之有效的。
关键词：流动推销员问题,单回路约束,协同神经网络
参考文献
[1]袁丽华, 等.分形法与范例库推理相结合进化求解旅行商问题.系统工程, 2006;102—106
[2]费春国, 等.自适应混合混沌神经网络及其在TSP中的应用.系统仿真学报, 2006;3459—3462
[3]严晨, 王直杰.基于改进型能量函数和瞬态混沌神经网络的TSP问题研究.系统仿真学报, 2006;1402—1405
[4]翁妙凤, 高晶.基于退火策略的混沌神经网络及其在TSP中的应用.小型微型计算机系统, 2002;574—576
[5] Haken H.Synergetic computers and cognition-top-down approach toneural nets.Berlin:Springer-Ver-lag, 1991
[6] Starke J.Cost oriented competing processes-a new handling of assign-ment problems.In:Dole al, Fidler J (Eds.) .System Modelling andOptimization, London:Chapman&Hall, 1996:551—558
[7] Starke J, Schanz M, Haken H.Treatment of combinatorial optimizationproblems using selection equations with costterms.PartⅡ.NP-hardthree-dimensional assignment problems.Physical D, 1999;134:242—252
基于神经网络的系统辨识研究 篇9
1训练样本集的准备
如下所示的连续系统
共含有(nm1)个参数。则对于该系统进行辨识的测试信号必须至少含有(nm1)/2个不同的谐波。这个要求不难理解,因为系统所含参数越多,其频域越复杂。若要对该系统进行辨识,必须尽可能多得到其频域特征。而一个含有丰富谐波或较宽频域的测试信号,很容易激励出系统的频域特征。
本文使用3种测试信号,白噪声、阶跃信号和正弦。理论上白噪声的功率谱密度在整个频域内均匀分布,其功率无限大,故在系统辨识方面应用十分普遍。阶跃信号在系统辨识、信号处理等方面应用广泛,其特点是在低频区域有较大的幅度,随着频率升高,幅度迅速减小。正弦信号仅含有单一的频率,无其他谐波。
收集训练样本集时,采样周期十分重要。研究表明,过大或过小的采样周期都将导致系统辨识结果变坏。当采样周期过大时,样本将不能完整地描述系统的动态性能;反之, 当采样周期过小时,样本可能会由于很小的采样误差,而不能准确地描述系统的动态性能。在设置采样周期时,往往需要多次尝试,也可以根据一些经验公式来估算,如
在系统辨识中,训练样本需求数量与神经网络的大小相关。一般来讲,为了得到足够的辨识精度,神经网络所含的单元数量越多,需要的训练样本数量越多。但并不是样本数量越多越好,因为在实际中,采集过多的训练样本,将可能带来更多的扰动和误差样本,这将导致辨识精度变差。
2基于单层感知机的二阶线性系统辨识
Rosenblatt提出的感知机模型是一个只有单层计算单元的前向神经网络,它对线性系统的具有很好的辨识能力。
给定一个二阶系统则其微分方程为:
其中,y为整数,0a、1a、0b、1b、2b为待辨识的参数。采用串-并联系统辨识结构,分别使用白噪声、阶跃信号和正弦作为测试信号,产生并收集训练样本集,经过多次尝试,采样周期设定为0.001s效果较好。综上,Matlab编程见图1。
在Matlab的“nntool”中,使用单层感知机作为待训练的神经网络,其设置见图2,分别使用3种不同测试信号产生的训练样本集,对该网络进行训练。
训练结果如图3所示。结果显示,3次训练误差都在经过7 ~ 8个周期后收敛到一个很小的数值,但精确度有所不同,其中使用白噪声作为测试信号的训练误差最小。
使用如图4所示的模型对训练后的3个神经网络进行验证。这里给定了相同的锯齿波作为验证激励信号,对二阶系统和神经网络的两个输出进行对比,结果如图5所示,其中右侧为8s左右的放大图,以便对比系统辨识精度。验证结果演示,当测试信号为白噪声时,二阶系统辨识有最好的精度, 2条输出线几乎完全重合,神经网络的训练很成功;当测试信号为阶跃时,二阶系统辨识精度也相对较好,但随着时间推移, 其精度在下降;当测试信号为正弦时,二阶系统辨识误差很大, 即使增加训练样本集的数量再次训练,效果仍不理想。
提取训练好的神经网络的权值如下:
[4.4097456785538589e-016; 9.99766694 85504965e-008; 9.9953345338192994e-008;1.9993000346260068; -0.99930023454942629]
代入Z传递函数得:
最后将其转换为S传递函数得:
可见,与给定的二阶系统完全一致。
为验证训练样本集数量对辨识结果的影响,重新使用8000个样本、测试信号为阶跃来训练神经网络,得到如图6所示的验证结果。图6(b)图可见,当样本数量足够时,辨识精度将显著提高。将以上结果对比总结如表1所示。
3结语
以上实验结果及资料表明,单层感知机网络对线性系统进行很好的辨识。当确定神经网络结构后,系统辨识结果的好坏,很大程度上取决于测试信号类型、采样周期、训练样本集数量、训练次数等因素。
摘要：系统辨识被广泛应用于工业领域。本文以单层感知机神经网络为例,介绍了训练样本集的准备和对线性系统的辨识,着重分析对比了测试信号类型、采样周期及训练样本数量等对线性系统辨识结果的影响。
模糊神经控制系统 篇10
当控制领域的工程师们忙于从传统的电机和模拟控制转向融合了计算分析和决策算法的数字机电一体化控制系统的时候, 全新的计算机技术出现了, 它将引起更多的改变。神经网络和模糊逻辑已经开始应用, 而且也许很快就会给机器控制系统的设计的变成带来革命。
传统的计算机采用冯·诺依曼架构, 是基于串行的处理以及执行清晰的指令。人工神经网络 (ANNs) , 则与之不同, 采用非冯·诺依曼的架构, 由组合在庞大并行系统内部的非常简单的单元构成, 可以执行那些处理外界数据的认知模式所产生的不太清晰的指令。
类似的, 模糊逻辑也颠覆了传统的模式。信息不再要求被定义的精确可以量化和测量 (比如, 温度是23℃) , 模糊信息代表了对于那些定义的不太清楚而且有重叠的数集的隶属度 (比如, 比温暖还要冷一点) 。
定义
使用这些概念的计算机 (或者, 更准确的应该叫“推理机”) , 被证明可以解决传统系统无可奈何的问题。
根据维基百科的定义, 人工神经网络 (ANN) 是“一组相互关联的人工‘神经元’, 可以基于关联方法, 使用数学和计算模型进行信息处理”。
在大多数情况下, ANN就是一个可以根据流入网络的内部和外部信息进行改变的自适应系统。通常, ANN构建了输入和输出之间复杂关系的模型, 或者找到某种处理数据的模式, 而不是基于数值输入得到一个数值结果。
简单的节点 (可以叫做“神经元”、“神经节点”、“处理元素”或者“单元”) 连接在一起, 形成一个节点网络。它们的价值在于, 可以使改变网络连接强度和权重的推导函数具体化, 以得到理想的信号流。
最有意思的是学习的可能, 在实际中也就是优化一些数据, 这些数据通常被称为“成本”, 它们代表了在给定问题环境下结果的适应度。
人工神经网络结构
在这个人工神经网络的例子里, 变量包括:三维矢量h, 是输入变量x的因变量;二维矢变量g, 是h的因变量;最后的输出变量f, 则是g的因变量。
举个例子, 经典的旅行者问题的成本就是旅行者在每一个指定地点停留、最后回到起始点完成整个行程的时间。一个更短的行程就意味着一个更好的解。
为了解决这个问题, 冯·诺依曼架构的计算机必须要找出所有的可能路径, 然后一步一步的计算, 把时间累加起来得到一个路径的所需的总时间。在计算了所有可能路径需要的时间之后, 计算机才能挑选出所需最短的时间。
ANN则有所不同, 它并行的看待所有的路径, 去寻找所需时间最少的模式。应用这样的模式, 再去最小化结果路径。学习则是指, 确定那些经验显示可以产生最优路径的模式。
模糊逻辑 (也是根据维基百科的描述) 来自模糊集理论, 用以处理大概而不是精确的问题。模糊的信息实际上是对于那些未精确定义的数集的隶属度。模糊逻辑可以基于没有精确定义但是仍然十分重要的属性, 进行决策。模糊逻辑允许隶属度的值在0到1的闭区间内变化, 用于解释诸如“有一点”、“十分”、“非常”这样的概念。同时, 它也允许数集的部分隶属。
一个基本的应用在于描述连续变量的子域。举例来说, 一个防锁闸的温度测量可能包括多个隶属度函数, 用以定义合适闸控制的温度域。每一个函数都匹配相同的温度, 并且对应于0到1之间的一个真值, 这些真值可以用来确定闸应该如何进行控制。
图像处理
基于模糊逻辑使用ANN进行决策可以构造一个强大的控制系统。很显然这两个概念可以合作的很好:一个基于三个模糊状态 (比如冷、暖、热) 的推导算法, 可以使用真值 (0.8, 0.2, 0) 应用在实际当中, 并且作为输入分配给三个神经元, 每个又代表了三个集的其中之一。每个神经元可以施加给输入值一个函数, 然后得到一个输出值, 这个输出值还可以作为第二层神经元的输入, 依此类推。
举例来说, 虽然视频获取、光线和硬件设置都带来了大量的约束, 但是神经网络图形处理器仍然可以自由应用。因为神经网络允许你通过学习过往的例子来构建机器, 自由是可能的。因此, 可以训练网络来识别明暗光、散射以及其他条件下好的和坏的部分。推理机开始于“评估”光线情况 (换句话说, 就是把耦合值分配给不同的光线条件, 这些条件系统知道如何处理) , 然后基于这些光线条件应用准则来对图像内容做出判断。因为系统将光线条件当作模糊概念, 推理机很容易的就可以从已知条件中得到插值以应对新的情况。
系统学习的例子越多, 推理机的专家性就越强。它可以很轻松的通过预先将零件分类并注明相似和区别 (出于学习目的) , 来实现学习过程自动化。接下来, 这些已知的相似和区别可以为那些将新来的零件分到指定类别去的ANN提供信息。成功的关键也就从处理大量图像的设备成本, 为训练和建立一个稳健的推理机。
神经网络图像处理器也适用于依赖于操作员经验和阅历而不是模型和算法的场合。处理器可以根据操作员做的图像简单注解来建立识别机, 然后从识别对象中提取特征和属性矢量并把它们发送到神经网络。特征矢量对于虚拟对象的描述可以和原始像素值、光强分布直方图图、光强分布、相关轴向梯度一样简单。更高级的属性还包括来自小波和FFT转换的元素。
泛化
经过案例训练, 神经网络可以进行泛化, 并且对那些从未见过的情况进行分类, 把它们放在和之前所学的类似的情况下。另外一方面, 如果一个推理机的自由度过大, 出现过度泛化, 相对应的案例可以随时对其进行训练和修正。
站在神经网络的角度, 这样的操作可以降低现有神经元的影响, 从而适应那些同当前决策域相冲突的新案例。
ANN被接受的关键是无监督和自适应的学习能力, 这就意味着设备可以从对象学习, 而且几乎甚至完全不受操作员的影响。举个例子, 未来的玩偶有可能可以学习孩子的面部信息, 然后问孩子的名字。对于手机的无监督学习, 则可能学习第一个拥有者的指纹信息, 通过将面部、指纹和声音识别融合到同一台设备上, 来强化对拥有者的鉴别力。
模糊逻辑数据结构
在这张图中, 冷、暖和热是覆盖了整个温度范围的集。范围上的每个点有三个“真值”-分别对于三个集-数值表明了对于这个集的相对“耦合度”。对于每个显示出来的温度, 三个值 (0.8, 0.2, 0.0) 可以描述为“相当冷”、“有点暖和”和“一点也不热”。
在无监督学习的环境下, 设备必须建立自己的识别机, 才能在操作环境下达到最佳的工作状态。比如, 智能化的玩偶必须能够识别出它的第一个拥有者, 包括它的皮肤和头发的颜色, 以及购买的位置和季节。
起初, 识别机必须使用它知道的全部特征提取技术, 它会产生一系列子机, 每一个都可以识别相同范畴的对象, 但是要基于对不同特征的观察 (例如色彩、粒度、对比度、边缘密度等等) 。接下来, 整个识别机可以对自己进行评估, 选择那些可以提供最佳质量和/或准确度的子机。
案例:对鱼进行分类
Pisces VMK为岸上和离岸的用户制造用于加工鱼类的设备, 它的客户都是那些终年在北海和大西洋上捕鱼并进行加工的船只。这些用户希望尽快提高质量并且使用最少的人手。
通常, 渔夫们使用船上的渔网将鱼捞起, 然后把它们装袋、放在传送带上送到清洗、分割和切片机。在这个过程里, 异常的情况包括鱼的种类错误, 鱼被损坏, 每个袋子里有不止一条鱼, 以及在进入分割机之前鱼的摆放位置不合适。因为鱼的大小、形状都很难进行数学建模, 所以市场传统的图像处理工具很难进行相关的检测, 而且随着捕获位置和季节的不同, 刚才提到的那些特征还要发生改变。
Pisces安装了超过20套来自Matrox的基于Iris智能相机的系统以及General Vision生产的CogniSight识别机。照相机被安装在传送带上, 这样在鱼进入切片机之前就可以经过照相机。照相机同西门子Simatic S7-224 CPU可编程逻辑控制器 (PLC) 以及一个局域网 (LAN) 连接。闪光灯安装在紧邻照相机的位置, 每次一个新的袋子进入视野的时候闪光灯被触发。照相机连接局域网对于下面的三个操作是很有必要的:安装传感器以确保对焦准确、对比鲜明;训练识别机、连续生成关于鱼数量 (可接受和不可接受的) 的统计报告
只有在一种情况下安装传感器:当照相机带有防水外壳的时候。训练开始每一次新的航行的开始, 第一批被捕获的鱼可以当作学习案例, 或者也可以使用已经存在的知识文件。
一旦照相机有了一个知识库, 它就可以自动识别鱼了, 而不需要连接PC。ANN将鱼分成接受、拒绝、回收以及空载等几大类, 信号传给PLC, 它控制两柄毛刷将合适的鱼送到拒绝或者回收箱里。PLC也可以同一个磁性传感器连接, 这种传感器可以在每次检测到袋子经过照相机时生成一个获取触发信号。
Pisces现在已经在挪威、冰岛、苏格兰和丹麦的五个船队上安装了超过20套系统, 每个系统可以每分钟检测360个传送中的袋子, 甚至还可以更快。使用80个神经元的系统, 为16吨鱼进行分类, 准确性可以达到98%。渔夫们非常喜欢它, 因为它的可靠性、柔性以及使用的简单。它的好处包括缩短了航行、提高了捕获质量和收入, 并且减少了人手。
在离散制造的环境下, 神经网络已经应用在交通工具控制、雷达系统模式识别、面部辨认、对象识别、笔迹及演讲姿势识别等诸多方面。
模糊逻辑也已经应用于控制汽车和其他交通子系统, 诸如ABS、巡航控制、空调、照相机、数字图像处理、视频游戏人工智能, 以及远程传感系统的模式识别。
这些“软计算”技术也已经用来制造用于呼吸机的可靠的电磁充电器。在连续和批处理工业里, 模糊逻辑和神经网络是一些自整定控制器的心脏, 一些微控制器和微处理器甚至也使用模糊逻辑处理进行优化, 这样系统才可以运行的更快 (见前面的“实时控制的模糊逻辑”) 。
神经网络遗传算法极值寻优 篇11
【关键词】：遗传算法 神经网络
1. 引言
智能包括高层次的是生物智能（ BI），其次是人工智能（ AI ），处于低层次的是计算智能（ CI ） 。在计算智能中，计算的概念是传统计算概念的拓展，计算对象不局限于数和字符，运算符号也不再局限于加减乘除等运算，在这个范畴内的加减乘除也需赋予新的含义[6]。但一般来说，AI 偏重于逻辑推理，而CI 则偏重于数值计算。
现在，计算智能已取得一定的研究成果，其主要技术包括模糊技术、神经网络、进化计算等[ 5] 。这几项技术各自均有了数十年的历史，但当时这些方法并未受到足够的重视，一是当时这些方法还不很成熟，二是受当时计算机软硬件的限制。而这些方法一般需要较大的计算量，在实际应用中比较难实现[4]。随着计算机技术的发展和普及，它们在最近这些年得到了突飞猛进的发展，引起了诸多领域专家学者的关注，成为一个跨学科的研究热点。近年来，这些方法呈互相融合的趋势[ 3]，它们之间的互补可以弥补相互之间的不足，从而获得更好的解决实际问题的能力。如对模糊神经网络、模糊遗传算法、模糊分类器系统、用遗传算法优化模糊系统的隶属度函数及神经网络的进化设计方法等的研究都体现了这种融合的优点[ 1， 2] 。
2. 问题描述
对于非线性函数的极值问题，仅通过函数的输入输出数据难以准确寻找未知的非线性函数的极值。这类问题的求解可以通过神经网络结合遗传算法来得到，利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数极值。本文用神经网络遗传算法寻优如下非线性函数极值。
该函数的全局最小值为0，对应的坐标为（0 ，0）。虽然从函数方程和图形中很容易找出函数极值及极值对应坐标，但是在函数方程未知的情况下函数极值及极值对应坐标很难找到。
3. 模型建立
神经网络遗传算法函数极值寻优主要分为BP神经网络训练拟合和遗传算法极值寻优两步。
神经网络训练拟合根据寻优函数的特点构建合适的BP神经网络，然后用非线性函数的输入输出数据进行训练，训练后的BP神经网络就可以预测函数输出。遗传算法极值寻优把训练后的BP神经网络预测结果作为个体适应度，通过选择、交叉和变异操作寻找函数的全局最优值及对应的输入值。
对于本案例来说，根据非线性函数有2个输入参数、1个输出参数，确定BP神经网络结构为2-5-1。取函数的4000组输入输出数据，从中随机选取3900组数据训练网络，100组数据测试网络性能，网络训练好了后用于预测非线性函数输出。
遗传算法中个体采用实数编码，由于寻优函数只有2个输入参数，所以个体长度为2。个体适应度值为BP神经网络预测值，适应度值越小，个体越优。选择算子、交叉算子和变异算子同。
4. 编程实现
根据神经网络和遗传算法原理，神经网络遗传算法非线性函数寻优在MATLAB中编程实现。
（1）BP神经网络训练
用函数输入输出数据训练BP神经网络，使训练后的网络能够拟合非线性函数输出，保存训练好的网络用于计算个体适应度值。根据非线性函数方程随机得到该函数的4000组输入输出数据，存储于data中，其中input为函数输入数据，output为函数对应输出数据，从中随机抽取3900组训练数据训练网络，100组测试数据测试网络拟合性能。最后保存训练好的网络。
（2）适应度函数
把训练好的BP神经网络预测输出作为个体适应度值。
（3）结果分析
a. BP神经网络拟合结果分析
本案例中个体的适应度值为BP神经网络预测值，因此BP神经网络预测精度对于最优位置的寻找具有非常重要的意义。由于寻优非线性函数有2个输入参数、1个输出参数，所以构建的BP神经网络的结构为2-5-1。共取非线性函数4000组输入输出数据，从中随机选择3900组数据训练BP神经网络，100组数据作为测试数据测试BP神经网络拟合性能，BP神经网络预测输出和期望输出对比。
从BP神经网络预测结果可以看出，BP神经网络可以准确预测非线性函数输出，可以把网络预测输出近似看成函数实际输出。
b. 遗传算法寻优结果分析
BP神经网络训练结束后，可以用遗传算法寻找该非线性函数的最小值，遗传算法的迭代次数是100次，种群规模是20，交叉概率为0.4，变异概率为0.2，采用浮点数编码，个体长度为2，优化过程中最优个体适应度值变化曲线。
遗传算法得到的最优个体适应度值为0.0206，最优个体为[0.0003 -0.0090]，最优个体适应度值同非线性函数实际最小值0和最小值对应坐标（0， 0）非常接近，说明了该方法的有效性。
5. 总结
根据以上的讨论和研究，我们可以看到神经网络和遗传算法的结合很好的克服了相互的缺点，实验结果显示了遗传算法快速学习网络权重的能力，并且能够摆脱局部极小点的困扰。神经网络和遗传算法的结合，可以改善单纯使用遗传算法确定的参数组合比较粗糙以及单纯使用神经网络收敛性差、 易陷入局部极小等问题。
参考文献
[1] Bornholdt A.General Asymmetric Neural Networks and Structure Design by Genetic Algorithms. Neu-ral Networks， 1992， 5（2）： 327～334
[2] David J J， Frenzel J F. T rainning Product U nit Neural Networks with Genetic Algorithms. IEEE Ex-pert， 1993， 8（ 5） ： 26～33
[3] 王凤琴，高颖，赵军.基于遗传算法的神经网络优化[J]. 燕山大学学报. 2001，25（3）：234-238.
[4] 李敏强，徐博艺，寇纪淞. 遗传算法与神经网络的结合[J]. 系统工程理论与实践. 1999，19（2）： 66-70.
[5] 李伟超，宋大猛，陈斌. 基于遗传算法的人工神经网络[J]. 计算机工程与设计， 2006，27（2）：316-318.
[6] 焦纲领，王士星. 基于遗传算法的神经网络参数优化研究[J].数学的实践与认识.2012，42（11）：176-183.
神经网络模式识别 篇12
关键词：神经网络,模式识别,训练集
1 模式识别的基本原理与概念
1.1 模式识别系统的构成
模式识别系统的构成如图1所示。以下分别对各部分进行说明。
(1) 数据获取。
为了使计算机能够对各种现象进行分类识别, 要用计算机可以运算的符号来表示所研究的对象。通常输入对象的信息有二维图像、一维波形、物理参量和逻辑值三种类型。通过测量采样和量化, 可以用矩阵或向量表示二维图像或一维波形。这就是数据获取的过程。
(2) 预处理。
预处理的目的是去除噪声, 加强有用的信息, 并对输入测量仪器或其它因素所造成的退化现象进行复原。
(3) 特征提取和选择。
由图像或波形所获得的数据量是相当大的。例如, 一个文字图像可以有几千个数据, 一个卫星遥感图像的数据量就更大。为了有效地实现分类识别, 就要对原始数据进行变换, 得到最能反映分类本质的特征。
1.2 模式识别的传统方法
(1) 统计模式识别:
这种技术是建立在不同类别被识别对象的观测特征的统计分布差异基础上的。它的大致过程是, 首先广泛对被识别对象进行采样, 建立不同种类属性特征的统计分布模型, 在识别时根据目标的特征计算出它属于不同种类的概率, 然后根据概率计算出目标被判为每一类别所对应的风险值, 选择风险值最小的作为目标所属类别。
(2) 句法模式识别:
句法结构模式识别着眼于对待识别对象的结构特征的描述。它将一个识别对象看成是一个语言结构, 例如一个句子是由单词和标点符号按照一定的语法规则生成的。
(3) 模糊模式识别:
人类对客观事物的认识带有模糊性, 如通常所说的“高矮、胖瘦”、“青年、老年”, 等等。人类利用这些模糊语言进行交流, 并通过大脑分析和决策。模糊模式识别就是根据人类辨识事物的思维逻辑, 吸取人脑的识别特点, 将计算机中常用的二值逻辑转向连续逻辑, 利用模糊信息进行模式决策分类, 使计算机或机器带有接近人类的智能。模糊模式识别的理论基础是模糊数学。模糊模式识别的结果是用被识别对象隶属于某一类别的程度, 即隶属度来表示的。
(4) 神经网络模式识别:
模式识别的任务是把模式正确地从特征空间映射到类空间, 或者说是在特征空间中实现类的划分。模式识别的难度和模式与特征空间中的分布密切相关, 如果特征空间中的任意两个类可以用一个超平面去区分, 那么模式是线形可分的, 这时的识别较为容易。神经网络还具有自适应能力, 它不但能自适应地学习, 有些网络还能自适应地调整网络的结构。神经网络分类器还兼有模式变换和模式特征提取的作用。最后一点是, 神经网络分类器一般对输入模式信息的不完备或特征的缺损不太敏感, 它在背景噪声统计特性未知的情况下, 性能更好, 而且网络具有更好的推广能力。基于以上种种优点, 神经网络模式识别已发展成为模式识别领域的一个重要方法, 起到了传统模式识别方法不可替代的作用。
2 神经网络模式识别的特点
(1) 它具有自组织和自学习能力, 能够直接输入数据并进行学习。
神经网络对所要处理的对象在样本空间的分布状态无须作任何假设, 而是直接从数据中学习样本之间的关系, 因而它们还可以解决那些因为不知道样本分布而无法解决的识别问题。
(2) 神经网络具有推广能力。
它可以根据样本间的相似性, 对那些与原始训练样本相似的数据进行正确处理。
(3) 网络是非线性的, 即它可以找到系统输入变量之间复杂的相互作用。
在一个线性系统中, 改变输入往往产生一个成比例的输出。但在一个非线性系统中, 这种影响关系是——个高阶函数, 这一特点很适合于实时系统, 因为实时系统通常是非线性的。神经网络则为这种复杂系统提供了一种实用的解决办法。
(4) 神经网络是高度并行的, 即其大量的相似或独立的运算都可以同时进行。
这种并行能力, 使它在处理问题时比传统的微处理器及数字信号处理器快成百上千倍, 这就为提高系统的处理速度, 并为实时处理提供了必要的条件。
3 常用的模式识别神经网络模型
3.1 感知机及BP网络
BP算法的基本思想是, 学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时, 输入样本从输入层传入、经各隐层逐层处理后, 传向输出层。若输出层的实际输出与期望的输出 (教师信号) 不符, 则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传、并将误差分摊给各层的所有单元, 从而获得各层单元的误差信号, 此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程, 是周而复始地进行的。权值不断调整的过程, 也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度, 或进行到预先设定的学习次数为止。
3.2 竞争学习和侧抑制
上述前馈网络属于监督学习, 需要同时提供输入样本和相应的理想输出。引进竞争机制的前馈网络可以实现无监督学习, 完成聚类的任务。竞争学习网络的结构与二层前馈网络类似, 只是在输出层加上了侧抑制。侧抑制是将输出层各单元之间相互作用较大的负权值输入对方的输出, 这种互连构成正反馈, 类似于双稳态或多稳态触发器。
3.3 自组织特征映射
人脑是由大量的神经元组成的, 大脑中分布着大量的具有协同作用的神经元群体, 同时大脑网络又是一个复杂的反馈系统, 既包括局部反馈, 也包括整体反馈及化学交互作用, 聚类现象对于大脑的信息处理起着重要作用。自组织映射网络的学习算法也是一种竞争学习算法, 区别只是输出层具有几何分布, 由交互作用函数取代了简单的侧抑制, 因此其学习算法也是类似的。
4 BP网络模型的设计
尽管神经网络的研究与应用己经取得巨大的成功, 但是在网络的开发设计方面至今还没有一套完善的理论作为指导。应用中采用的主要设计方法是, 在充分了解待解决问题的基础上将经验与试探相结合, 通过多次改进性试验, 最终选出一个较好的设计方案。
4.1 信息容量与训练样本数
多层前馈网络的分类能力与网络信息容量相关, 如用网络的权值和阀值总数nw表征网络信息容量。研究表明, 训练样本数P与给定的训练误差 之间应满足以下匹配关系:p≈nw/ε。表明网络的信息容量与训练样本数之间存在着合理匹配关系。在解决实际问题时, 训练样本数常常难以满足以上要求。对于确定的样本数, 网络参数太少则不足以表达样本中蕴涵的全部规律, 而网络参数太多则由于样本信息少而得不到充分训练。因此, 当实际问题不能提供较多的训练样本时, 必须设法减少样本维数, 从而降低nw。
4.2 训练样本集的准备
数据准备包括原始数据的收集、数据分析、变量选择和数据预处理等诸多步骤。下面分几个方面研究。
(1) 输入输出量的选择。
一个待建模系统的输入——输出就是神经网络的输入输出变量。这些变量可能是事先确定的, 也可能不够明确, 需要进行一番筛选。一般来讲, 输出量代表系统要实现的功能目标, 其选择确定相对容易一些。输入量必须选择那些对输出影响大且能够检测或提取的变量, 此外还要求各输入变量之间互不相关或相关性很小, 这是输入量选择的两条基本原则。如果对某个变量是否适合作网络输入没有把握, 可分别训练含有和不含有该变量输入的两个网络, 对其效果进行对比。从输入、输出量的性质来看, 可分为两类:一类是数值变量, 一类是语言变量。数值变量的值是数值确定的连续量或离散量。
(2) 输入量的提取与表示。
很多情况下, 神经网络的输入量无法直接获得, 常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干特征参数作为网络的输入。提取方法与待解决的问题密切相关, 需要具体问题具体分析。
(3) 输出量的表示。
所谓输出量实际上是指为网络训练提供的期望输出。一个网络可以有多个输出变量, 其表示方法通常比输入量容易得多, 而且对网络的精度和训练时间影响也不大。①“n中取1”表示法。分类问题的输出变量多用语言变量类型, 如质量可分为优、良、中、差4个类别。“n中取1”是令输出向量的分t数等于类别数, 输入样本被判为哪一类, 对应的输出分量取1, 其余 (n-1) 个分量全取0。例如, 用可0001、0010、0100和1000分别表示优、良、中、差4个类别。这种方法的优点是比较直观, 当分类的类别数太多时经常采用。②“n-1”表示法。上述方法中没有用到编码全为0的情况, 如果用 (n-1) 个全为0的输出向量表示某个类别, 则可以节省一个输出节点。如上面提到的4个类别也可以用000、001、010和100表示。特别是当输出只有两种可能时, 只用一个二进制数便可以表达清楚。
(4) 数值表示法。
二值分类只适于表示两类对立的分类, 而对于有些渐进式的分类, 可以将语言值转化为二值之间的数值表示。例如, 质量的差与好可以用0和1表示, 而较差和较好这样的渐进类别可用0和1之间的数值表示, 如用0.25表示较差, 0.5表示中等, 0.75表示较好, 等等。
4.3 训练集的设计
(1) 训练样本数的确定。
一般来说, 训练样本数越多, 训练结果越能正确反映其内在规律, 样本的收集整理往往受到客观条件的限制。实践表明, 网络训练所需的样本数取决于输入——输出线性映射关系的复杂程度, 映射关系越复杂, 样本中含的噪声越大。为保证一定映射精度, 所需要的样本数就越多, 而且网络的规模也越大。
(2) 样本的选择与组织。
网络训练中提取的规律蕴涵在样本中, 因此样本一定要有代表性。样本的选择要注意样本类别的均衡, 尽量使每个类别的样本数量大体相等, 即使是同一类样本也要照顾样本的多样性与均匀性。按这种“平均主义”原则选择的样本能使网络在训练时见多识广, 而且可以避免网络对样本数量多的类别“印象深”, 面对出现次数少的类别“印象浅”。样本的组织要注意将不同类别的样本交叉输入, 或从训练集中随机选择输入样本。因为同类样本太集中会使网络训练时倾向于只建立与其匹配的映射关系, 当另一类样本集中输入时, 权值的调整又转向新的映射关系而将前面的训练结果否定。当各类样本轮流集中输入时, 网络的训练会出现振荡使训练时间延长。
4.4 初始权值的设计
有两种办法可以采用:一种办法是, 使初始权值足够小;另一种办法是, 使初始值为+1和一1的权值数相等。应用中对隐层权值可采用第一种办法, 而对输出层则采用第二种办法。
4.5 BP网络结构设计
网络的训练样本问题解决以后, 网络的输入层节点数和输出层节点数便巳确定。因此, BP多层前馈网络的结构设计主要是解决设几个隐层和每个隐层设几个隐节点的问题。
(1) 隐层数的设计。
理论分析证明, 具有单隐层的前馈网可以映射所有连续函数, 只有当学习不连续函数 (如锯齿波等) 时, 才需要两个隐层, 所以多层前馈网最多只需两个隐层。在设计BP网时, 一般先考虑设一个隐层。当一个隐层的隐节点数很多仍不能改善网络性能时, 才考虑再增加一个隐层。经验表明, 采用两个隐层时, 如在第一个隐层设置较多的隐节点而第二个隐层设置较少的隐节点, 则有利于改善多层前馈网的性能。
(2) 隐节点数的设计。
隐节点的作用是从样本中提取并存储其内在规律, 每个隐节点有若干个权值, 而每个权值都是增强网络映射能力的一个参数。设置多少个隐节点取决于训练样本数的多少、样本嗓声的大小以及样本中蕴涵规律的复杂程度。一般来说, 波动次数多、幅度变化大的复杂非线性函数要求网络具有较多的隐节点来增强其映射能力。实际应用中确定隐节点可参考以下经验公式:
以上各式中, m为隐层节点数, n为输入层节点数, l为输出节点数, a为1∶10之间的常数。
4.6 网络训练与测试
网络设计完成后, 要应用设计值进行训练。训练时对所有样本正向运行一轮并反向修改权值一次称为一次训练。在训练过程中要反复使用样本集数据, 但每一轮最好不要按固定的顺序取数据。通常训练一个网络需要成千上万次训练。
5 结束语
其余几种常用于模式识别的神经网络模型的设计, 整体步骤与BP网络模型的设计基本相似, 很多地方可以借鉴。只是在具体参数的设置上要根据具体模型的要求具体考虑。
参考文献
[1]徐丽.神经网络控制[M].北京:电子工业出版社, 2003.
[2]高隽.人工神经网络原理及仿真实例[M].北京:机械工业出版社, 2005.