标准BP网络

标准BP网络（精选7篇）

标准BP网络 篇1

引言

自20世纪80年代以来,我国家电业抓住全球产业转移浪潮中跨国公司竞相对华投资及其技术溢出的发展契机,国际竞争能力逐步增强,成为全球最为主要的家电生产和出口基地。伴随着当今国际竞争焦点由传统要素禀赋转向更为前端的技术与标准,技术创新与标准化构成了现代贸易竞争优势的主要动力和源泉,加强技术创新和标准化的协同是促进我国家电业走向创造、引领发展,不断提升国际竞争力的重要路径。

综观已有的相关成果,国际竞争力的研究方法主要有指标分析法和计量建模分析法两大类,其中指标分析法通常围绕国际市场占有率、显性比较优势、贸易竞争优势指数等指标的测度而展开,计量建模分析法则大多基于国际竞争力的影响因素筛选和回归分析方法进行检验和评价。BP神经网络是由大量处理单元广泛互联而成的网络,从人脑的生理结构出发来模拟人脑信息处理的功能[1],鉴于其强大的非线性映射能力,更能系统诠释研究对象间的网络关系,本文拟采用BP神经网络就技术创新与标准化之间的协同耦合对我国家电业国际竞争力的影响进行尝试性研究,以期对本领域研究作出有益的补充和扩展。

1 技术创新与标准化协同耦合影响国际竞争力的理论分析

随着国际竞争焦点的不断前移以及全球经济发展方式的深刻变革,技术创新与标准化日益成为现代国际竞争力的核心内容和关键要素,二者间的协同耦合关系及其程度对于一国增强或重获产业和贸易竞争优势显得尤为重要。

1.1 技术创新与标准化的协同耦合关系

(1)当一项技术创新成果以新产品为载体逐渐被市场接受,且技术趋于稳定固化并开启规模化生产时,则该项技术成果就会被纳入标准化行动。而且,随着后续技术创新活动的深入和技术知识存量的累积,可引入标准范畴的技术内容也逐渐丰富,为标准化范围的扩展、内涵的深化和层级的提升提供了有力支撑。同时,对于技术研发活动较为活跃的创新型企业而言,为了能使技术创新成果最大程度地产生经济效益和社会效应,促进市场竞争地位和主导能力的提升,也会致力于更高层次的目标与要求来审视并开展标准化工作,从而也有助于标准化进程的加快与水平的跃升。实践充分表明,那些技术创新能力领先、动力强劲的龙头企业往往扮演着技术创新活动引领者的角色,并且由其主导了行业、国家乃至国际新标准的诞生或已有标准的升级。

(2)标准一经确立和推广,内含的技术和知识信息就会在各类市场主体间产生快速和广泛的传递,就此而论,标准化可以有效地阻止技术规范的失控以及关键因素的偏离,引致技术创新示范效应的产生,能为后续的技术创新活动指明方向、明确路径和奠定基础,从而可将技术演变与发展的进程纳入更加富有效率的轨道,并能降低技术创新的决策成本,减少技术之间摩擦所带来的资源消耗和社会效益的损失[2],也有助于缓解技术创新的风险压力,提升技术创新的信心。此外,标准化还具有促进技术创新成果产业化以及降低交易成本和搜索成本、加快规模经济形成[3]等积极效应,由此也可以进一步激发和增强企业的技术创新意识与动能。

1.2 技术创新与标准化协同耦合影响国际竞争力的机理

技术创新对提升产业国际竞争力的作用路径主要表现为两个方面:(1)通过将创新技术成果注入产品加工制造过程,提高生产要素的边际生产率和产出水平,获取成本与价格的领先优势。(2)通过将创新技术成果应用于新一代产品开发或对原有产品设计、工艺、流程加以改进等,加快产品升级和质量提升,带动产品和产业结构优化,并从中获得差异化竞争优势[4]。

标准化则主要通过规范市场制度、降低交易成本、促进规模经济实现来影响产业国际竞争力。(1)标准通过对产品或服务的功能、水平、期限、效率和安全性等相关技术指标设计并作出相应的赋值约束来确立市场准入调节机制,规范市场交易秩序。(2)标准能为产业内各企业的生产经营活动提供明确的目标定位和行为参照系,增强供应链各环节之间的衔接,降低企业内部以及企业之间的交易成本。(3)标准可适当降低产品的复杂多样性,促使产品产出更容易达到适度规模临界量,从而取得规模经济效应[5]。

技术创新与标准的耦合嵌套不仅可以促进技术耦合型标准的形成,提升标准的国际竞争能力,同时也能增强技术创新活动与标准化行为之间的互动共进,协同驱动产业国际竞争力的成长,并在轮番往复之中形成加速效应(如图1所示)。

2 我国家电业技术创新与标准化协同耦合关系评价

2.1 技术创新与标准化协同耦合评价指标体系的构建

影响技术创新与标准化的因素有很多,若想系统全面地描述二者之间的协同耦合能力,需要从多个层次、多个角度去设计评价指标体系。经对国内外相关研究的梳理与归纳,并遵循评价指标相对完备和科学简练反应的基本要求,本文将技术创新系统分解为技术创新投入、技术创新条件和技术创新产出3个子系统,用Xi(i=1,2,3)表示,并分别采用研发经费、新产品开发经费、对外合作项目,研发人员、研发机构、名牌产品或驰名商标数,专利申请数、新产品销售收入3类指标对其进行评价[6],用Xij(j=1,2,3)表示;而对于标准化系统,则将其分解为标准化投入、标准化国际进程和标准化产出3个子系统,用Yi(i=1,2,3)表示,并分别采用标准化管理经费、标准化人员收入、标准化机构运行投入、标准化科技投入,标准化国际合作投入、引用国际标准比率,新颁布标准数量3类指标加以评价[8],用Yij(j=1,2,3,4)表示(详见表1)。

2.2 技术创新与标准化协同耦合度的计算

2.2.1 数据归一化

为了统一单位,便于计算和比较,可以采用归一化的方法将数据映射到0~1范围之内处理。通过对2004~2013年我国技术创新系统8个二级指标值及标准化系统7个二级指标值进行归一化处理,得到归一化数值(见表2、表3)。

数据来源:作者根据2005~2014年《中国科技统计年鉴》计算得到。

数据来源:作者根据2005~2014年国家质量监督检验总局的决算报告计算得到。

2.2.2 评价权重的确定

通过将技术创新系统项下3个子系统与标准化系统项下3个子系统中所有指标的归一化值与其所占权重的乘积相加,可以得到各个子系统中所有指标对该子系统的总贡献度,所以在得到上述指标的归一化值之后,就需要确定各个指标的权重。本研究采用AHP分析法,邀请了8位从事技术创新、技术标准化领域研究的高校专家学者确定权重Wij。W1j表示技术创新子系统指标的权重,j=1,2,3,4,5,6,7,8;W2j表示标准化子系统指标的权重,j=1,2,3,4,5,6,7。它们分别是W11=0.047;W12=0.011;W13=0.007;W14=0.02;W15=0.006;W16=0.003;W17=0.048;W18=0.191;W21=0.024;W22=0.013;W23=0.008;W24=0.069;W25=0.009;W26=0.043;W27=0.5。在此基础上,计算子系统i中的所有指标对该子系统的总贡献。

2.2.3 协同耦合度计算

若耦合系统由m个子系统组成,则耦合系统的协同耦合度为:

公式(1)中分子是技术创新系统项与标准化系统总贡献Ui的乘积,分母则为两系统总贡献Ui和的乘积,然后进行m次开方[9]。通过该数学运算,计算出2004~2013年技术创新与标准化的协同耦合度(详见表4)。

数据来源:通过协同耦合度计算公式所得。

据学术界公认的协同耦合度判别区间划分,当0≤C≤0.4,说明协同耦合强度很弱;当0.4<C≤0.55,说明协同耦合强度较弱;当0.55<C≤0.75,说明协同耦合强度中等;当0.75<C≤0.85,说明协同耦合强度较高;当0.85<C≤1,说明协同耦合强度很高。由表4可知,2004年我国家电业领域的技术创新系统与标准化系统间的协同耦合关系极其微弱,处于几乎不存在的水平。随着对专利和标准化重要性认识的进一步提升以及两大战略实施力度的不断加大,近十年来二者之间的协同耦合度呈逐年稳步上升趋势,但仍处于较低水平,在0≤C≤0.4范围内,属协同耦合强度很弱层次。

3 技术创新与标准化协同耦合对家电业国际竞争力影响的实证分析

3.1 BP神经网络结构的确定

BP神经网络属于人工神经网络中应用较成熟的网络,是一种按误差逆传播算法训练的多层前馈网络。它属于向前多层传播、有指导学习的神经网络,可利用误差反向传播算法对网络进行训练,由输入层、输出层及隐含层组成。模型的输入层为所有影响最终输出层的因子,其神经元个数为各因子数之和,输出层则为能够用来评价文章研究目标的指标,其神经元个数为指标的数量。对于三层网络,确定隐含层神经元个数的公式为:,q是隐含层神经元个数,m是输入层神经元个数,n是输出层神经元个数,a是1~10之间任意整数。

本文模型的输入层神经元个数由影响我国家电业国际竞争力的技术创新系统及标准化系统因子个数及二者间协同耦合度确定,即由研发经费、新产品开发经费、对外合作项目、研发人员数、研发机构数、驰名商标数、当年受理专利申请、新产品销售收入、标准化管理经费、标准化人员年收入、标准化机构运行投入、标准化科技条件投入、标准化国际进程合作投入、当年发布标准中引用国际标准的比率、当年新颁布标准量及技术创新与标准化间协同耦合度构成。该模型的输出目标是我国家电业国际竞争力指标,即国际市场占有率、贸易专业化指数及显示性比较优势指数。即该模型输入层神经元个数为16,输出层神经元个数为3。经过若干次输入数据训练,发现本模型隐含层神经元个数为14时,网络训练误差最小,因此最终确定隐含层神经元个数为14。

综上所述,通过BP神经网络分析方法的引用,可以模拟出技术创新、标准化及二者协同耦合度对我国家电业国际竞争力影响的网络结构(如图2所示)。

3.2 技术创新、标准化与我国家电业国际竞争力关系模拟

在上文得到技术创新与标准化系统间协同耦合度原始值的基础上,一方面,通过对《中国科技统计年鉴》、国家质量监督检验检疫总局收支结算表的梳理,得到技术创新系统及标准化系统15项指标的原始数据;另一方面,通过查询WTO进出口统计数据得到国际市场占有率、贸易专业化指数及显示性比较优势指数的原始数据;最后,为了便于计算,对它们进行归一化处理,可以得到16项输入层指标与3项输出层指标的归一后数据(见表2、表3、表5)。

数据来源:作者根据WTO数据库中我国家电产品进出口值、世界家电产品进出口值计算。

为得到高精度的预测网络,需对神经网络进行学习训练。经多次模拟发现,当学习次数为200时,误差仅为0.00442,满足误差值小于0.1的精度要求。经对BP神经网络进行模拟计算,获得我国家电业国际竞争力评价指标拟合偏差值(见表6)。

从表6的计算结果可看出,体现我国家电业国际竞争力的三项指标的输出拟合值的偏差均控制在±0.1之内,符合模型的精度要求,可以将所建立的模型运用到技术创新系统、标准化系统及二者间协同耦合度变化对我国家电业国际竞争力的影响分析之中。

数据来源:通过Matlab进行网络训练所得。

3.3 技术创新与标准化协同耦合对我国家电业国际竞争力的影响

在建立了技术创新、标准化及二者间协同耦合度变化与我国家电业国际竞争力关系模拟模型后,下文将运用该模型对技术创新、标准化及二者间协同耦合度的变化对我国家电业国际竞争力的影响进行分析。该分析过程通过确定输入层16项指标的虚拟变化,而后将变化后的数值输入模型,计算输出国际竞争力指标数据并加以分析。

3.3.1 指标变化参数确定

通过归一化后的技术创新系统与标准化系统反应指标(表2、表3)可以看出,2013年的数据出现了很多单位“1”,便于观察和比对。因此本文仅对2013年的数据进行实验,设置参数为20%,即令2013年的研发经费、新产品开发经费、对外合作项目、研发人员数、研发机构数、驰名商标数、当年受理专利申请、新产品销售收入、标准化管理经费、标准化人员年收入、标准化机构运行投入、标准化科技条件投入、标准化国际进程合作投入、引用国际标准比率、当年新颁布标准量及协同耦合度分别增加20%,分析其中单个因素变化对我国家电业国际竞争力的影响(见表7)。

数据来源:通过将16项指标值分别增加20%并进行归一化所得。

3.3.2 实验结果

根据上述16组实验参数分别进行实验,对输出数据进行逆归一化处理后,再将16组实验结果分别与2013年的数据相减,可以得到16项评价指标值上升20%所带来的我国家电业国际市场占有率、贸易专业化指数、显示性比较优势指数的变化程度,如表8所示。

数据来源:通过将16组实验结果与2013年已有数据对比所得。

绝大多数因子对国际市场占有率的影响程度并不明显,而技术创新与标准化协同耦合度、对外合作项目数和当年受理的专利申请数20%的增加量对提高国际市场占有率的作用最明显,分别为增长了0.0039、0.0027和0.0026;我国家电业中的新产品开发经费的增加使得国际市场占有率下降幅度较大,下降了0.004;其他技术创新系统及标准化系统指标对其影响较为缓和,基本在±0.002以内(见表8)。

本文所讨论的16项因子对贸易专业化指数的影响波动较大,其中新产品开发经费、标准化人员年收入、技术创新与标准化协同耦合度与标准化国际进程合作投入经费20%的增加对贸易专业化指数的作用最大,分别提高了0.0385、0.0327、0.0243、0.0224;研发人员数、新产品销售收入及中国驰名商标数的增加使得贸易专业化指数下降幅度较大,分别下降了0.0248、0.016、0.0105;其他因素值的增加对其影响较小,均在±0.006左右(见表8)。

除研发经费、新产品开发经费、研发机构数量及标准化人员年收入20%的增加会使得显示性比较优势指数分别下降0.0145、0.0381、0.0273、0.0272;其余各因子的增加都会使得该指标增加,且幅度较大,其中最为明显的有技术创新与标准化协同耦合度、新产品销售收入、引用国际标准比率、标准化机构运行投入、当年新颁布标准量、标准化管理经费及当年受理的专利申请数,对显示性比较优势指数分别带来0.0592、0.0535、0.0464、0.0459、0.0435、0.0376、0.0365的增加量(见表8)。

4 主要研究结论

本文在梳理技术创新与标准化协同耦合关系及其对产业竞争力影响的基础上,通过构建技术创新与标准化协同耦合系统,测度二者间的协同耦合度;同时,利用BP神经网络对技术创新系统项下8个指标、标准化系统项下7个指标及二者间协同耦合度的16个指标对我国家电业国际竞争力的影响进行实证研究,得到以下主要结论:

(1)基于BP神经网络算法发现,对我国家电业国际竞争力项下3项指标产生正向影响最明显的因子为:技术创新与标准化协同耦合度、当年新颁布标准量、当年受理的专利申请数及标准化国际进程合作投入。一方面,标准数量的增加促进了统一性和便利性程度上升,也进一步规范我国家电产品市场,降低家电企业的交易成本,更有利于各家电企业形成规模经济;而增加我国标准化国际进程的投入则能加快我国家电标准与国际标准接轨的步伐,从而增强我国家电业整体的国际市场渗透能力。另一方面,技术创新引致了专利数量的增加,由其带来的垄断性使得家电企业可以利用自身专利优势广泛控制用户和市场,直接或间接地增强我国家电业国际竞争力。尤其在当今商战如火如荼、竞争愈加激烈的家电市场,标准化进程越来越难以避开专利,同样,专利进入标准也有利于最大范围、最快地推广创新技术成果,技术创新与标准化协同耦合度的提高既加快了我国家电业技术创新、标准化各自的进程,也对该行业国际竞争力的全面提升形成了加速推进效应,达到1+1>2的效果。

(2)BP神经网络算法结果显示,对国际竞争力3项指标产生负向效应最明显的因子为:新产品开发经费、标准化人员年收入及标准化机构运营投入。较长时期以来,我国家电业多数新产品的开发主要来自于初级模仿和局部创新,原创新和集成性创新不足,缺乏支撑行业持续性、主导性发展所必需的关键技术和核心技术,产品技术含量总体偏低,产业发展明显受制于他人,拓展空间较为狭小。可见,若仅仅为了开展初级模仿创新或边缘性创新而非自主核心技术创新,甚至为了完成技术创新相关指标的考核,增加新产品开发经费投入也只是徒增成本,最终也无法达到增强家电业国际竞争力的目的。标准化人员年收入及对标准化机构的投入在一定范围内确实可以吸引专业人士从事标准化研究工作,专业队伍得到壮大,但也会提高我国标准化运行的成本,使得我国家电业国际竞争力因成本分摊的上升而有所弱化。

(3)本文研究还表明,近十年来我国家电领域技术创新与标准化间协同耦合度虽呈持续稳定上升的基本态势,但总体仍处于较弱阶段,对提升我国家电业国际竞争力的加速效应还没有得以真正形成。因此,就现阶段而言,优化技术创新系统与标准化系统间的协同耦合性是提升我国家电业国际竞争力的一条重要途径。要进一步加强技术、专利、标准信息的集成平台建设,推进专利耦合型标准的制定、颁布、实施及信息支持服务,进一步挖掘耦合型标准信息的潜在价值,以催化家电企业创新和标准化进程的深入和扩展,最终实现“技术专利化———专利标准化———标准许可化”的良性循环趋势。

参考文献

[1](加)Simon Haykin.神经网络原理[M].叶世伟,史忠值译.北京:机械工业出版社,2004

[2]Yoon,Lee.A Note on Permits,Standards and Technological Innovation[J].Journal of Environmental Economics and Management,2004,48(3):1192~1199

[3]李新波,韩伯棠,王宗赐.标准化与技术创新规模和速度的关系研究[J].科学学与科学技术管理,2010,31(11):40~44

[4]潘海波,金雪军.技术标准与技术创新协同发展关系研究[J].中国软科学,2003,(10):110~114

[5]侯俊军,王庆.标准促进创新成果产业化的实证研究——以高技术产业为例[J].标准科学,2009,(10):4~7

[6]石忆邵.进一步完善我国科技创新评价指标体系的几点建议[J].中国科技论坛,2005,(5):37~40

[7]刘辉,等.我国联盟标准化治理模式的理论与实证研究——基于政府的视角[J].工业技术经济,2013,(9):17~25

[8]杨锋,王金玉.标准化评价研究综述[J].商场现代化,2008,(30):36~37

[9]任露泉,梁云虹.耦合仿生学[M].北京:科学出版社,2012

标准BP网络 篇2

关键词：神经网络,BP网络,RBF网络

人工神经网络 (Artificial Neural Networks) 是一种模仿动物神经网络行为特征, 进行分布式并行信息处理的算法数学模型。这种网络通过调整内部大量节点之间相互连接的关系, 从而达到处理信息的目的, 具有自学习和自适应的能力。

1 BP网络原理

BP神经网络也称为误差后向传播神经网络, 它是一种无反馈的前向网络, 是典型的多层结构, 分为输入层、隐层和输出层, 层与层之间多采用全互联方式, 同一层单元间不存在相连接。

1.1 Sigmoid阈值单元

Sigmoid单元先计算它的输入的线性组合, 然后应用到一个阈值上, 阈值输出是输入的连续函数0=σ (w⌷x) , 其中

undefined

1.2 反向传播算法

BP网络可以有多层, 采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方, 首先定义网络输出的总误差:

其中:outputs是网络输出单元的集合, tkd和okd是与训练样例d和第k个输出单元相关的输出值。

随机梯度下降法:两层sigmoid单元的前馈网络的反向传播算法如下:

BackPropagation (training_examples, η, nin, nout, nhidden)

training_examples是序偶的集合, x是网络输入值向量, t是目标输出值。h是学习速率, nin是网络输入的数量, nhidden是隐藏层单元数, nout是输出单元数, 从单元i到单元j的输入表示为xji, 单元i到单元j的权值表示为wji。

(1) 创建具有nin个输入, nhidden个隐藏, nout个输出单元的网络。

(2) 初始化所有的网络权值为小的随机值在遇到终止条件前。

(3) 对于训练样例training_examples中的每个:把输入沿网络前向传播。

(4) 把实例x输入网络, 并计算网络中每个单元u的输出ou, 使误差沿网络反向传播。

(5) 对于网络每个输出单元k, 计算它的误差项δkδk←ok (1-ok) (tk-ok) 。

(6) 对于网络每个隐藏单元h, 计算它的误差项δhδh←oh (1-oh) ∑wkhδk。

(7) 更新每个网络权值wji:

wji←wji+Δwji, 其中Δwji=δηjxji。

2 径向基函数神经网络 (RBFNN)

径向基函数 (radialbasisfunction, RBF) 方法是在高维空间进行插值的一种技术。Broommhead和 Lowe在1998率先使用该技术, 提出了神经网络学习的一种新手段。那就是RBFNN, 是以径向基函数作为隐单元的‘基’构成隐含层空间, 隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内, 使得在低维线性不可分问题变成在高维空间内线性可分。它是一种局部逼近网络, 对于每个训练样本, 它只需对少量的权值和阀值进行修正具有学习速度快, 收敛性好, 实时性强。

2.1 RBF神经元模型

2.2 RBF神经网络的结构

径向基函数神经网络的构成包括三层:第一层为输入层, 第二层为隐含层, 第三层为输出层。其网络拓扑结构如3图所示。RBF网络从输入空间到隐含空间的变换是非线性的, 而从隐含层空间到输出层空间的变换则是线性的。这种网络结构, 隐含层的单元是感知单元, 每个感受知单元的输出为:Ri=r (‖X-Ci‖) (1-1) , 其中, X为 n维输入向量;Ci为第i个隐节点的中心, i=1, 2, …, h。‖·‖通常为欧氏范数;r (·) 为 RBF函数。基函数的形式, 可以有以下几种形式的选择:多二次函数、逆多二次函数、样条函数、高斯函数。通常使用的是高斯函数, 则由式 (1-1) 可得式 (1-2) :Ri (x) =exp‖- (X-Ci) / ( 2σ2) ‖, i=1, 2…, m (1-2) , 其中, σi为基宽度;m为感知单元的个数。由图 3可以看出, 网络输出层k个节点的输出为隐节点输出的线性组合:yk=∑WikRi (x) , k=1, 2, …, p (1-3) , 其中, p为输出节点数;Ri (x) 为高斯函数;wik为Ri (x) →yk的连接权值。

3 RBFNN和BP网络的对比

BP与RBF均为多层前传网络, 都以实现非线性映射为主要功能, 但二者有以下区别:

对生物神经系统的模拟。BP网络隐含层神经元采用同以Sigmoid函数, 网络特征主要由权值变化表征。RBF网络隐含层节点也都采用径向基函数, 它对输入的反应由不同的兴奋程度, 能在更高的层次上实现对生物神经系统的模拟。

网络结构与表达能力。由于BP的网络结构主要通过权值表征, 较难实现训练目标, 往往需增多单元及隐层。对于层数相同的RBF网络, 其表达能力往往强于BP网络。

训练算法。BP网络采用误差反传算法, 经典的为梯度算法, 虽由较多改进, 大多收敛缓慢, 且易陷于局部极小。而RBF网络的训练算法都能快速化。

逼近方式。BP网络是全局逼近的典型实例, RBF网络是一种典型的局部逼近的网络。

参考文献

[1]曾华军, 张银奎等译.机器学习[M].北京:机械工业出版社, 2007.

[2]洪家荣著.归纳学习[M].北京:科学出版社, 1997.

雷达测速信号的BP网络识别 篇3

近年来,人们对神经网络的研究已广泛兴起,神经网络在信号处理领域中的应用极为引人注目。由于神经网络是根据现代神经生理学和认知科学对人类信息处理的研究成果提出来的。他是模拟人的大脑来实时地处理信息,因而具有很强的自适应能力、容错能力和非线性并行处理能力,神经网络的这些特征[1]为其应用奠定了基础。随着神经网络本身的发展和完善,神经网络己应用到信息处理的各个方面,如语音识别、图像处理、信号的分类、自适应均衡、自适应噪声对消、自适应波束形成、自适应编码、非线性滤波、功率谱估计、信号重构等,使信息处理带上智能的特点。

目前,在人工神经网络的实际应用中,绝大部分的神经网络模型是采用BP网络和他的变化形式,他也是前向网络的核心部分,体现了人工神经网络最精华的部分。本文提出一种用BP(Back Propagation)网络实现对雷达测速[2]的三类信号进行识别分类的算法。

2 BP网络

(1) BP网络模型结构为多层网络结构,不仅有输入节点和输出节点,而且有一层或多层隐节点,如图1所示。

(2) BP网络传递函数一般为(0,1)S型函数:

$f(x)=\frac{1}{1+e{}^{-x}}(1)$

(3) 误差函数:对第p个样本的计算公式[3]为:

$E{}_p=\frac{{\displaystyle \sum _t(}t{}_{pt}-{\rm O}{}_{pt}){}^2}{2}(2)$

其中,tpt,Opt分别为期望输出和网络的计算输出。

3 信号的分析与处理

信号来自一部测速雷达获得的三种目标的回波信号,三种目标分别是行人W、自行车B和卡车T,信号中包含目标的速度信息。

根据获得的三类信号的样本,每个样本中均包含1 024个数据,由于每一个样本的数据量较大,不可能将所有1 024个数据全都作为神经元的输入,计算量太大,所以必须首先对信号进行分析,提取最有价值的特征信息。

首先可以看看每一个样本中的数据图,以行人信号中的第一个样本为例,如图2所示。

从图2的时域数据基本上观察不出规律,因此要对数据进行傅里叶变换,从频域分析数据的特征。频域分析表明,行人的数据的频谱的幅度很小,原因是因为信号在零点处的值特别大,所以要将在零点处的值去掉,得到的数据如图3所示。

这时可以观察到信号的一些特征,从图中发现信号的频谱图是基本对称分布的,而且信号的峰值也很大,可以对他首先进行归一化,如图4所示。

同时将自行车和卡车的频谱图来做比较,可以观察到信号都有明显的峰值,但是出现的位置不同,另外,信号的均值和方差明显不同。但是考虑到雷达所测数据中,会有一些速度反常规的游离数据,所以考虑采用受游离数据影响小的平均绝对值偏差来代替样本方差作为输入特征。同时,以数据的样本中位数作为输入特征来减少游离数据的影响。根据这些特征进行提取来作为输入。

4 信号特征提取

(1) 取信号归一化后的均值作为一个特征量。

(2) 取信号归一化后的平均绝对值偏差作为一个特征量。

(3) 取信号归一化后的样本中位数作为一个特征量。

(4) 由三幅图的比较可以发现,信号的每两点之间的起伏程度也不尽相同,所以可以设定一个特征量,来记录信号两点间的起伏程度的大小。

(5) 信号在经过归一化后,可以将信号全部的值加起来,用这个总的值来作为一个特征量。

除了上述的特征,还有很多特征可以提取,但是特征越多,需要的输入神经元越多,依照隐层神经元约为输入神经元的两倍的原则,隐层的神经元也将越多,则网络训练的时间将花费很大。所以,本仿真实验只提取了上述特征中的(1),(2),(3),其流程如图6所示。

5 算法与实现

根据提取的特征的维数,来决定输入神经元的个数。因为提取的3个特征的维数分别为8,1和1,所以输入神经元的个数为10。输出神经元的个数定为3个,考虑到被识别的三种信号分别对应三个输出,虽然用两个神经元就可以表示三种输出状态,但是用三个神经元能更好地分辨,减少出错的概率。至于隐层的神经元个数则按照约为输入神经元个数的两倍的原则[4],设为20个。当然还可以在调试过程中根据输出的识别率来一个一个找到较为合适的个数。

由BP算法非线性函数S型函数为:

$f(x)=\frac{1}{1+e{}^{-x}}(3)$

各输入层的神经元的输入为:

$X{}_{{\rm P}}=\{x{}_{p1},x{}_{p2},\cdots ,x{}_{pi},\cdots ,x{}_{p{\rm N}}\}$

输入层的各神经元的输出为:

${\rm O}{}_{{\rm P}}=\{o{}_{p1},o{}_{p2},\cdots ,o{}_{pi},\cdots ,o{}_{p{\rm N}}\}$

由公式可得:

${\rm O}{}_{{\rm P}}=f(X{}_{{\rm P}})(4)$

隐层输入:

$\text{n}\text{e}\text{t}{}_{pj}={\displaystyle \sum _{i=1}^{{\rm N}}W}{}_{ji}{\rm O}{}_{pi}-\theta {}_j‚j=1,2,\cdots ,{\rm M}(5)$

隐层输出:

${\rm O}{}_{pj}=f(\text{n}\text{e}\text{t}{}_{pj})‚j=1,2,\cdots ,{\rm M}(6)$

输出层各神经元输入为:

$\text{n}\text{e}\text{t}{}_{pk}={\displaystyle \sum _{j=1}^{{\rm M}}W}{}_{kj}{\rm O}{}_{pj}-\theta {}_k‚k=1,2,\cdots ,L(7)$

输出层实际输出为:

$d{}_{pk}={\rm O}{}_{pk}=f(\text{n}\text{e}\text{t}{}_{pk})‚k=1,2,\cdots ,L(8)$

均方误差函数定义为:

$E{}_{{\rm P}}=\frac{1}{2}{\displaystyle \sum _{k=1}^L(}y{}_{pk}-d{}_{pk}){}^2(9)$

对所有样本可分别求出Ep,则总误差为:

$E={\displaystyle \sum _{p=1}^{{\rm P}}E}{}_p(10)$

采用梯度下降法[5]对权值进行调整,对于输出层与隐层间的权值以及阈值调整量为:

$\begin{array}{l}\text{Δ}W{}_{kj}^p=\eta (y{}_{pk}-d{}_{pk})f^{\prime }(\text{n}\text{e}\text{t}{}_{pk})\cdot {\rm O}{}_{pj}=\eta \sigma {}_{pk}{\rm O}{}_{pj}(11)\\ \text{Δ}\theta {}_k^p=\eta \sigma {}_{pk}(12)\end{array}$

对于隐层与输入层之间的权值调整为:

$\begin{array}{l}\text{Δ}W{}_{ji}^p=\eta {\rm O}{}_{pi}{f}^{\prime }(\text{n}\text{e}\text{t}{}_{pj}){\displaystyle \sum _{k=1}^L\delta }{}_{k}W{}_{kj}=\eta \sigma {}_{pj}{\rm O}{}_{pi}(13)\\ \text{Δ}\theta {}_j^p=\eta \sigma {}_{pj}(14)\end{array}$

其中:

$\begin{array}{l}\sigma {}_{pk}=(y{}_{pk}-{\rm O}{}_{pk}){\rm O}{}_{pk}(1-{\rm O}{}_{pk})(15)\\ \sigma {}_{pj}=\sigma {}_{pk}\omega {}_{jk}{\rm O}{}_{pj}(1-{\rm O}{}_{pj})(16)\end{array}$

BP网络的识别流程如图7所示。

均方误差E的收敛情况是反映神经网络性能的一个重要标准。如果E值出现振荡,那么就要调整学习速率η的值,或者重新设置初值,直到E的值连续单调递减为止。在刚开始调试程序的时候,E的收敛速度很慢,在改变了学习速率后,收敛速度明显加快,并且未出现震荡。如图8为E值的收敛图,最后稳定在10左右,迭代次数设定为2 000,但基本上在1 000以后变化就很小了。

6 结 语

仿真实验所得结果如表1所示。

在识别的过程当中,卡车和行人的识别率一直都比较高,自行车的识别率较低,究其原因是因为自行车的速度有的和行人接近,有的又和卡车接近,介于卡车和自行车之间,容易出现交叠现象。这就导致了自行车的数据有一部分被识别为行人,有一部分被识别为卡车,所以自行车的识别率相对于行人和卡车来说低一些。所以要想进一步提高识别率的话,必须对三类数据进行深入的分析,针对自行车信号频谱的特点来更多地寻找一些区别于行人和卡车的有效的特征值,这样才能将识别率提高到一个较高的水平。

摘要：测速雷达信号识别是进行辅助决策的关键。介绍一种在实际生活中有着广泛应用的神经网络模型——BP网络,通过对他的结构及工作原理的分析,结合三类雷达测速信号的特征,归纳出一种基于BP网络进行雷达测速信号识别的方法,并且给出了仿真实例。实验结果表明,此方法能够快速识别三类信号,具有识别率高的特点。

关键词：BP网络,神经网络,测速雷达,信号识别

参考文献

[1]Hampshire J,Waibel A.A Novel Objective Function for Im-proved Phone Recognition Using BP Neural Network[J].IEEE Trans.Neural Networks,1990,1(2):216-228.

[2]White H.Commentionist Nonparametric Regression Multi-layer Feedforward Networks Can Learn Arbitrary Mapping[J].Neural Networks,1990,(3):47-51.

[3]杨建刚.人工神经网络实用教程[M].杭州:浙江大学出版社,2001.

[4]胡伍生,沙月进.神经网络BP算法的误差分级迭代法[J].东南大学学报:自然科学版,2003,33(3):376-378.

BP神经网络算法的改进 篇4

神经网络定义:我们基于对大脑神经认知然后对其进行人为的构造出某种具体功能的网络成为神经网络。

神经网络的特点:并行事务处理能力强;自学能力强。对于非线性问题, 非平衡问题以及非高斯问题有很好的适应能力。我们最为熟知的模式识别就是神经网络的主要领域之一。由于神经网络的超强描述能力和精准性, 得到各个领域的广泛应用。

神经网络包括生物神经, 人工神经网络两种。其中生物神经是由生物大脑神经元, 细胞等组成, 生物的意识就由此产生, 生物用来进行思考并指挥行动。人工神经元是通过计算机进行模拟人脑的构造, 利用电子设备等进行生物神经元的模拟, 通过算法来对人脑的记忆、回忆和反思等思想活动的模拟, 并在语音识别等领域进行应用。因此可以定义:通过对简单的紧密联系的处理单元进行组合而成的的复杂网络系统。我们可以通过软件来实习, 也可以看做认知的模式, 因此人工神经网络和并行分布处理有着异曲同工的效果, 这就说明人工神经网络在并行处理能力方面的优势。

BP神经网络:Back-Propagation Neural Network, 是一种没有回向反馈信息只向前传指的网络。神经单元按照层进行排列, 所有的神经单元的输出信息都只给它的下一层而不进行反馈, 每个神经单元的状态都由上一层的神经单元的输入值, 接口函数等信息所决定。

传统BP神经网络算法

BP网络算法的流程:

采集样本输入到BP网络中

网络的正方向进行结果的输出

对比输出结果和理论期望值的差值

按照路径进行查找输出结果的差值的因素, 逐步挑战各个因素减少误差。

重复以上步骤, 直到误差达到可以接收的精度为止。

缺点:标准的BP神经网络算法误差影响因素在于学习率的取值, 当序列值越来约小时, 误差也越来越小, 但是学习率是个常数时, 就无法进行缩小误差值, 为了减少误差值只能增加学习率, 减小学习率, 但是同时会影响网络的收敛, 增大网络的震荡幅度, 增加了网络不稳定性。为了解决这种情况, 传统的BP网络算法增加了一个活动因子进行控制。这样增加了系统的时间复杂度和空间复杂度。

改进的BP神经网络算法

BP神经网络算法上增加神经元结点数量会增加硬件, 这样会增加算法的复杂程度, 如果减少神经网络数量就会减少输出值数量, 降低了精度, 增大的误差。我从隐藏层进行解决这个问题, 在隐藏层进行设置神经元数量, 可以进行数量的隐藏, 从而减轻硬件负担。

设第L层为隐藏层, 从第一层到L层每层有i个神经单元, 每个神经单元的系数为wi, 根据模糊理论得出每个神经单元系数为Ui, 因此隐藏层机构为:{Ui/wi}, 当ui>=x时wi=1, 当ui<x时, wi=0;x是阈值。我们改变了之前传统的增加活动因子来解决收敛差值的问题。

改进的BP神经网络试验测试

利用Matlab进行算法运行测试, 对传统的BP和改进的BP神经网络算法进行对比测试。我们预期的精度为0.0001, 设置梯度因子为1.6。

输入量:

I={0.1234, 0.3214, 0.3424, 0.5432, -0.3242, 0.3241, -0.3214}

预期输出量:

O={0.1123, 0.2341, 0.3214, 0.5321, -0.4321, 0.3212, -0.2123}

传统的活动因子为0.8, 改进的BP神经网络算法阈值x=0.1321。

在matlab上的试验结果如下图2和图3所示。

从对比结果看改进的BP神经网络算法的误差小、收缩率高的优点。

改进的BP神经网络在Web文本上的应用

1.构造特征集

对N篇分类文档进行特征集构造:首先统计单个特征项出现的次数, 把所有出现的特征项进行归结, 设定一个阈值, 从特征项中除去低于设定阈值大小的项目, 然后通过同义词、相近词意进行归类得到特征集。

2.构造特征向量

根据生成的特征向量集, 统计特征向量集中出现的特征向量值的次数, 文档访问的次数结合来确定分析的特征向量。

3.多个子网进行并联构造BP网络模型

在传统的BP神经网络上进行创新, 每个子网生成一个类别的文档, 在减轻网络负载的同时提高了精确度。

4.划分文档

a.根据特征项构造特征向量;

b.子网参数赋值:子网数量为n, 误差范围为f, 反复次数为x, 反复最大数量为max;

c.给隐藏层、阈值赋值;

d.计算结果, 保留误差值;

e.如果误差值大于f, 或者反复次数大于最大max则程序结束;

f.对每层的阈值进行修改, 执行步骤d;

g.输出最终结果, 程序结束。

通过上述步骤完成了改进的BP神经网络对WEB文档的分类应用。

实验结果:

样本:选择旅游主题的WEB网站进行分析, 首先把一个旅游网站的页面分为如下几类:a.旅游指南;b.景点介绍;c.食宿推荐;d.旅行方式;e.交通分类;f.驴友经验等。

利用谷歌对网站进行检索, 选取一部分网页中的数据进行分析。样本大小为1000, 对网页进行分类组织后形成特征项80个, 对1000个网页编码处理。

子网的数量和类别数量相同, 每个子网对应一个隐蔽层, 从子网的输入信息量中提取特征项数量, 根据改进的BP算法进行试验, 每个子网为一个输出点, 从而得出结果。

从得出的结果中进行分类, 把网页的访问率超过阈值的网页分离出来, 进行和预先估值相比较, 发现改进的BP神经网络算法的收敛快, 避免了拟合的现象。因此改进的BP神经网络算法在应用此类问题上有效地解决了传统BP神经网络收敛慢, 精度低的缺点。

基于BP网络的中文文本分类技术 篇5

关键词：文本分类,BP神经网络,特征降维

1 引言

随着网络技术的迅猛发展,信息处理已经成为人们获取有用信息时不可缺少的工具。文本自动分类技术(Text Categorization, TC)是信息处理的重要研究方向,它是指在给定分类体系下,根据文本内容自动判别文本类别的过程。已经有多种方法用于实现文本的自动分类技术,包括神经网络方法[1],最小距离方法[2],朴素贝叶斯方法方法[3,4],KNN方法[5],SVM支持向量机方法[6]等。

我们采用BP神经网络作为文本自动分类器的实现方法,主要是考虑到:①神经网络所有的信息都等势分布贮存于网络内的各神经元,具有很强的鲁棒性和容错性;②网络可以充分逼近任意复杂的非线性关系,适于分类曲面复杂的文本分类问题;③网络采用并行分布的处理方法,使得快速进行大量运算成为可能,适于对大量文本分类的实际应用环境。

在实现中,我们采用归一化的TF-IDF公式计算文本特征项权重,并采用期望交叉熵对特征向量集进行了降维操作,最终通过带动力项的BP神经网络进行文本分类。在上述工作基础上,本文通过实验研究了特征项个数(对应输入节点数目)和训练次数的变化对分类器的宏平均和微平均分类性能的影响。

本文组织如下:第一部分是引言;第二部分介绍文本分类的问题描述,关键技术及系统结构;第三部分给出带动力项的神经网络反向传播训练算法;第四部分是系统各项性能的测试结果,详尽描述了特征项个数和训练次数的变化对神经网络分类器的影响。第五部分是结论。

2 文本的向量空间模型表示和预处理

2.1 文本分类的问题描述

简单地说,文本分类系统的任务是:在给定的分类体系下,根据文本的内容自动确定文本关联的类别。从数学角度来看,文本分类是一个映射的过程,它将未知类别的文本映射到己有的类别中。该映射可以是单射,也可以是一对多的映射(此时一篇文本可以同多个类别相关联)。但为了问题简化,多数系统采用一一映射。

文本分类的映射规则是系统根据已掌握的每类若干个样本的数据信息,总结出分类的规律性而建立的判别公式或判别规则。然后当输入未知类别的测试文本时,根据总结出的判别规则,确定文本相关的类别。对于自动文本分类技术,一个的关键问题就是如何确定分类函数。在很多情况下,这个分类函数也被称之为分类器。在本文中,我们采用三层的BP网络作为分类器。

2.2 文本的向量空间模型

为使计算机自动处理文本,必须先将文本转换为计算机可以识别的格式,目前文本的表示常采用向量空间模型 (VSM[7])。其基本思想是以向量形式表示一篇文本:(W1,W2,W3,……,Wr),其中 Wi 为第 i 个特征项的权重。

通常讲,字、词,词组,短语,句子都可以作为特征项来表示文本,但根据实验结果,普遍认为选取词作为特征项要优于字和词组。因此,要将文本表示为向量空间中的一个向量,应首先要将文本分词,然后由这些词作为向量的各维来表示文本,通过统计的方法对每维赋予权重,获得文本的向量空间模型。

常用的权值计算方法有很多,例如布尔权重、平方根权重、对数权重、熵权重、TF-IDF权重[8]等。计算项的权重对于项的选择格外重要,它可以区别哪些项在文件中较有代表性,可能成为关键词。本文采用信息获取时使用的加权词频TF-IDF 算法,它基于对相对词频的计算:特征词条在某文档中的重要性与其在该文档中出现的频率成正比,与该项在其他文档中出现的频率成反比,从而使关键词的权重较高,而通用词的权重相对较低。TF-IDF有多种计算公式,为了使神经网络输入得到归一化的向量表示,本文采用归一化的TF-IDF公式:

undefined

其中, W(t,undefined)为词t在文本undefined中的权重,而tf(t,undefined)为词t在文本undefined中的词频,N为训练文本的总数,nt为训练文本集中出现t的文本数,分母为归一化因子。

2.3 特征提取

构成文本的词汇通常数量很大,若将这个向量集直接作为文本分离器的输入给计算速度和分类效果都带来很大问题。首先,由于可能具有几万维的空间,向量在计算时必定要消耗大量时间。其次,一些词在大量文本中都出现,从而它们代表的文章类别信息量较少。因此为了提高分类精度,对于每一类中的文章在形成向量空间模型时应该去除那些表现力不强的词汇,筛选出针对该类的特征项集合,进行特征提取操作。一个有效的特征项集,必须满足如下的两个特征:

(1)完全性:特征项确实能够表示目标文集内容;

(2)区分性:根据特征项集能将目标文集同其他文档相区分。

目前常用的特征项提取方法是构造一个特征评价函数,对特征集中的每一个特征进行独立的评估。这样每个特征都获得一个“评估分”,然后对所有的特征按照其“评估分”的大小进行排序,选取预定数目的最佳特征作为结果的特征子集。常用的特征评估函数有词频、文档频数、信息增益、互信息、文本证据权等。

本文采用期望交叉熵(Expected Cross Entropy)进行特征提取操作,其公式如下:

undefined

其中,P(W)为单字W出现的概率,P(Ci)为第i类的出现概率,P(Ci|W)为单字W出现时属于第i类的条件概率。

对文本向量集进行精简后,每篇文本dj(可以是训练文本或预测文本)都将精简为一个特征项构成的向量,其维数r'将远远小于未被精简过的向量空维数r。在3.2节中,我们测试并分析了精简维度的变化将如何影响分类的宏平均和微平均F1值。在构造BP网络分类器时,网络的输入节点数量对应特征项提取后的特征项数目。

2.4 文本分类的系统构成

由上所述,一个典型的中文文本分类系统的构成如图1所示。训练文本经过分词和权重计算后得到相应的文本向量表示,再对该文本向量进行特征降维操作(即特征项提取)得到精简后的文本向量表示,将其作为训练数据输入相应的分类器对其进行训练,最终得到相应的结果分类器进行预测。训练结束后常需评测结果分类器的分类性能,为此需要提供独立的测试文本,这些测试文本先进行分词,然后计算测试文本再降维后文本向量表示的各维上的权重,将其输入结果分类器,根据分类结果对分类器进行性能评价。

3 基于BP网络的文本分类器

由神经网络的相关知识可知,任意函数可以被三层神经网络以任意精度逼近[9,10]。文本文类器从本质上讲是一个函数映射过程,因此我们可以设想通过调整神经网络各个边上的权重来构造分类器,从而逼近文本分类映射函数。本文采用三层前馈神经网络模型构造分类器,每个神经元都是sigmoid单元。训练集用于调整神经网络的各个参数,预测集用于最终的性能评估。神经网络的输入是以形式undefined的序偶对给出的,其中undefined是网络输入值向量,undefined是目标输出值。在实现文本分类器时,undefined就是上文提到的文本向量表示,undefined是该篇文本所属类别权重的向量表示。将文本向量空间作为神经网络的输入后分类器的基本结构如下图所示:

图2神经网络分类器基本结构图(文本向量空间中的每一维对应神经网络输入层的一个神经单元。输出单元的个数为类别个数。对于输入文本的每个输出,输出单元的值代表着网络判定的该篇文档属于该类的权重。最终由特定的阈值判定该篇文章是否归属该类)。

对于由一系列确定单元互连形成的多层网络,反向传播算法可用来学习网络的权值。它采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方。定义误差E,表示为所有网络输出的误差和:

undefined

其中outputs是网络输出单元的集合,tkd和okd是与训练样例d和第k个输出单元相关的输出值。

反向传播算法通过搜索误差平面上的最小值点来进行权值更新。对于网络中每条边的权值Wij,即由结点j到结点i的输入权值,通过反向传播进行权值更新的算法见表1中的算法。

反向传播算法面临的学习问题是搜索一个巨大的假设空间,这个空间由网络中所有单元的所有可能权值定义。为了避免陷于局部最优,我们采用带动力项的反向传播算法,修改算法中公式(8)的权值更新法则,使第n次迭代的权值更新部分地依赖于发生在第n-1次迭代时的更新,即把公式(8)换为如下的形式:

Δwji(n)=ηδjxji+αΔwji(n-1) (4)

被称为动力(momentum)常数。右边的第二项被称为动力项。

对公式进行修改后,使得每次在误差平面搜索最小值的过程以相同的方向进行。同时,它也有避免使搜索结果停留在误差平面平坦区域上的作用。α还具有在梯度不变的区域逐渐增大搜索步长的效果,从而加快收敛速度[9]。

4 实验

4.1 测试标准

评估文本分类系统包含两个指标:准确率和查全率。准确率和查全率反映了分类质量的两个不同方面,两者必须综合考虑,不可偏废,本文也采用文本分类领域经典的F1测试值对分类器的性能进行了评估,其公式如下:

F1测试值undefined

此外,为了评估算法在整个数据集上的性能,有两种平均的方法可供使用,分别称为宏平均和微平均。宏平均是每一个类的性能指标的算术平均值,而微平均是每一个实例(文档)的性能指标的算术平均。对于单个实例而言,它的准确率和召回率是相同的(要么都是1,要么都是0)因此准确率和召回率的微平均是相同的,根据公式(3),对于同一个数据集它的准确率、召回率和F1 的微平均指标是相同的。显然,微平均指标较受那些大类的影响,而宏平均指标相对微平均指标而言更受小类的影响。

4.2 实验数据及结果

相对于国际上众多的英文分类语料库而言,中文语料库相对缺乏,国内还没有建立起一个规范统一的中文语料库以供训练和测试。本文采用的是谭松波博士整理的一套中文语料库文档——TanCorp12文档集。该语料库收集文本14150篇,分为两个层次。第一层为12个类别;第二层为60个类别。由于计算资源和时间的限制,本文在进行实验时,仅采用了TanCorp-12语料库的一个子集,即从12个类中各抽取前50篇文章,其中45篇作为训练,5篇作为测试。

此外,由于在构成文本的众多词汇中,一些虚词如“的”,“了”,或是代词“这些”,“那些”,“之”等并不能代表文章的意思,但它们的数量很多,以至于最终的分类结果会受到这些词的影响。为此,我们采用建立一个停用词表,在形成文本空间向量模型时去掉了这些停用词。然后通过前述的归一化TFIDF计算公式,经过计算后得到整个文本集的特征向量,并采用期望交叉熵对特征项进行了降维。

在上述工作基础上,我们测试了特征项的个数和训练次数对BP网络分类性能的影响。由于分类器的宏平均和微平均从不同侧面反映了分类器的性能,所以我们同时对上述两个指标进行了测试。

我们首先测试了特征项个数变化对分类性能的影响,其中BP网络的隐藏节点和训练次数分别设为300和20。从表1中可以看出,随着特征项个数的提升,分类器的宏平均F1和微平均F1值都随之略有上升,即特征项个数的增加提高了分类性能,这是由于网络拥有了更多的信息以进行分类裁决所致。

其次,我们测试了训练次数对BP网络分类性能的影响,其中网络的隐藏节点和输入节点均设为300。如表2所示,训练次数的增加会使网络的宏平均F1和微平均F1上升,其原因在于训练次数的增加使网络更加趋近于所要逼近的分类函数,从而使正确率上升。

5 结束语

我们在对文本分类的问题描述,关键技术及系统结构进行阐述的基础上,研究了如何采用BP网络为分类器来实现中文文本的自动分类。我们使用归一化TFIDF算法对特征向量进行权值计算,并使用期望交叉熵统计方法对特征向量集进行精简。在BP网络的训练部分,我们使用的是带动力项的反向传播算法来训练三层BP网络。在此基础上,我们测试了特征项个数和训练次数对分类的宏平均和微平均性能的影响。

为了提高分类效果,我们准备在后续的工作中采用对文本加入先验知识和逻辑推理,通过排除不必要的计算来降低计算代价及提高预测正确率,或者采用对文本分类器本身加入boosting的方法来提高预测正确率。

参考文献

[1]NG,GOH,and LOW·Feature selection,perception learning,and a usability case study for text categorization·The20th Ann Int l ACM SIGIR Conf on Research and Development in Information Retrieval,Philadelphia,ACM press,USA,1997,67～73

[2]Pang Jian-feng,Bu Dong-bo and Bai shuo·Research and Implementation of Text Categorization System Based on VSM,Journal of Research on Computer Application(in Chinese),2001,·9,23～26

[3]KOLLER and SAHAMI·Hierarchically classifying documents using very few words·Fisher D,ICML97·San Francisco,Morgan Kaufmann,1997,170～178

[4]马光志、张汇.一种带潜在类别主题词的简单贝叶斯文本分类器.微计算机应用,2004,25(4):471～474

[5]LAM and HO·Using a generalized instance set for automatic text categorization·In Proceedings of the21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval1998,81～89

[6]THORSTEN JOACHIMS·Text Categorization with Support Vector Machines·Learning with Many Relevant Features·Proceedings of the10th European Conference on Machine Learning·Berlin:Springer,1988·137～142

[7]GERALD SALTON,WONG and YANG·A Vector Space Model for Automatic Indexing·Communications of ACM,1975,18(11):613～620·

[8]SALTON and MCGILL·Introduction to Modern Information Retrieval·McGraw-Hill,Berlin,1983·

[9]TOM MITCHELL·Machine Learning·McGraw Hill,1996·

基于BP神经网络的故障诊断 篇6

1 神经网络故障诊断原理和过程

神经网络故障诊断专家系统的自学习能力和外推能力, 是传统的基于知识库的专家系统无法比拟的。神经网络系统是通过对人脑神经系统的基本物理特性及工作方式的抽象、简化与模拟, 从而模拟人类的智能活动。当经过大量标准样本学习训练的神经网络诊断系统输入特定的设备运行状态信息时, 网络可通过各种神经元的互连与大规模非线性并行处理模式进行计算, 最后输出对设备状态诊断推理的结论, 从而实现系统内隐含的大量、丰富的专家知识在设备故障诊断中的应用。大量丰富、准确的训练知识样本, 可使神经网络具有很强的诊断能力。神经网络故障诊断通常采用多层结构, 输入层为故障征兆层, 其节点数等于所要识别的模式特征参数的个数。隐含层是中间层, 用于提取信号中的高阶相关特性, 节点数取决于所要求的复杂网络程度, 现在一般还是凭经验或试验确定。输出层为故障类别层, 其节点数等于待识别的故障源数, 每一个输出节点对应着某一具体故障。

基于神经网络的诊断过程分为两步:首先, 基于一定数量的训练样本集对神经网络进行训练, 得到期望的诊断网络;其次, 根据当前诊断输入对系统进行诊断, 诊断的过程即为利用神经网络进行前向计算的过程。在学习和诊断之前, 通常需要对诊断原始数据和训练样本数据进行适当的处理, 包括预处理和特征选择/提取等, 目的是为诊断网络提供合适的诊断输入和训练样本。

目前已提出的神经网络模型约几十种, 其中前向BP网络和RBF网络的学习算法属于有教师型的。这种算法模型具有很好的推广能力, 用于故障模式识别的效果比较好。训练好的BP网络和RBF网络计算速度快、内存消耗低, 可用于实时监测和诊断。本文就是使用BP神经网络用于拖拉机变速箱的故障诊断。

2 BP神经网络的介绍

2.1 BP神经网络的基本结构

BP网络是典型的前馈网络, 其结构如图1所示。包括输入层、中间层、和输出层。

上下层之间实现全连接, 而每层神经元之间无连接。网络中每一层权值都可以通过学习来调整, 网络的基本处理单元 (输入单元除外) 为非线性输入与输出关系。

2.2 BP神经网络的学习算法

BP网络的学习过程包括输出计算和反向误差传播两部分。当给定网络的一个输入模式, 它由输入层单元传到隐含单元, 经隐层单元逐层处理后再送到输出单元, 由输出层单元产生输出模式, 该过程称为前向传播。如果输出响应与期望输出模式的误差不在要求的范围内, 则转入误差反向传播。当误差值反向逐层传送, 并修正各层的连接权值。对于一组给定的样本, 重复输出计算和误差反向传播过程, 直到训练模式都满足要求, 网络训练完成。BP网络学习是有导师学习。

设输入层有n个神经元。有两个隐含层, 分别有k1、k2个神经元。输出层有m个神经元。神经元的激活函数采用sigmoid函数。具体的学习算法如下:

(1) 计算网络的实际输出。对于每个输入模式X=x1, x2, ..., xn, 计算网络的实际输出:Y=y1, y2, …, yn。

(2) 计算误差。对于训练样本的第p个样本, 设期望的输出为T= (tp1, tp2, …, tpm) 。定义误差函数:对于训练集合中的所有样本, 其总误差为:

(3) 权值的调整。利用梯度下降法求误差函数的极小值, wij的更新量∆wij由下式表示:

其中η为学习速率。

2.3 BP神经网络的训练过程

为了应用神经网络, 在选定所要设计的神经网络的结构之后 (其中包括的内容有网络的层数、每层所含神经元的个数和神经元的激活函数) , 首先应考虑神经网络的训练过程。

下面用两层神经网络为例来叙述BP网络的训练步骤。

步骤1:用小的随机数对每一层的权值w和偏差b初始化, 以保证网络不被大的加权输入饱和, 同时进行以下参数的设定或初始化:

(1) 设定期望误差最小值:err;

(2) 设定最大循环次数:max;

(3) 设定修正权值的学习效率:lr。

步骤2:计算网络各层输出矢量A1和A2, 以及网络误差E。

步骤3:计算各层反向传播的误差变化, 并计算各层权值的修正值及新的权值。

步骤4:再次计算权值修正后的误差平方和。

步骤5:检查误差平方和是否小于err, 若是, 则训练结束;否则继续。

3 神经网络在故障诊断中的应用实例

3.1 工程描述

拖拉机变速箱是整机进行减速增扭的部件, 它受扭转和拉压两种载荷的综合作用, 受力过程非常复杂。因此, 拖拉机的很多故障出现于变速箱中齿轮及传动轴等机械系统中。以齿轮为代表的变速箱故障发生率特别高。由于齿轮箱是一种非常复杂的传动机构, 它的故障模式和特征量之间是一种非常复杂的非线性关系, 再加上齿轮箱在不同工况下的随机因素, 利用专家的经验并不能解决所有的诊断问题。而应用神经网络可以有效地避免这个问题。由于神经网络的自适应、自学习和对非线性系统超强的分析能力的优点, 目前齿轮箱的故障诊断都采用神经网络系统。

3.2 设计过程

该诊断过程采用的是BP神经网络。采用该网络必须先确定网络的输入和目标向量。神经网络输入的确定实际上就是特征量的提取, 这里选取了频域中的几个特征量。频域中齿轮故障比较明显的是在齿合频率处的边缘带上。所以, 在频域特征信号的提取中选取了在2、4、6档时, 在1、2、3轴的边缘带族fs+-nfz处的幅值Ai, j1、Ai, j2、Ai, j3, 其中fs表示齿轮的齿合频率, fz是轴的转频, n=1, 2, 3, i=2, 4, 6表示档位, j=1, 2, 3表示轴的序号, 由于在2轴和3轴上有两对齿轮齿合, 所以用1、2分别表示两个齿合频率。这样一来, 网络的输入就是一个15维的向量。这些数据具有不同的单位和量级, 所以, 在输入神经网络之前应该首先进行归一化处理。由于齿轮包括3种故障模式, 因此可以采用如下的形式来表示输出:无故障: (1, 0, 0) ;齿根裂纹: (0, 1, 0) ;断齿: (0, 0, 1) 。

由上述的分析, 可以按照如下的方式设计网络, 网络的输入层神经元的个数为15个, 输出层神经元的个数为3个, 隐含层的神经元个数近似为31个。网络的输入向量范围为[0, 1], 隐含层神经元的传递函数采用S型正切函数tansig, 输出层神经元传递函数采用S型对数函数logsig。开始对网络进行训练, 设定网络的训练次数为1000次, 训练目标为0.01, 训练学习速率为0.1。通过训练可以得出训练结果, 训练结果如图2所示。由图2可见, 经过20次训练后, 网络的性能就能达到了要求。然后对训练好的网络进行测试。测试数据及结果如表1所示, 测试数据序列为1的样本属于无故障状态, 序列为2的样本属于齿根裂纹故障, 序列为3的样本属于断齿故障。按照欧式范数理论, 这3次测试的误差分别为0.0382、0.02343、0.0527, 可以看出, 这些误差是非常小的。因此, 可以判定, 经过训练后, 网络完全可以满足齿轮箱故障诊断。

改变训练参数后可以得到不同的训练结果。所以训练参数, 对训练结果有一定的影响。训练参数选的不好甚至达不到训练的要求。所以, 使用BP神经网络要合理的选择训练参数。

4 结语

本文论述了BP神经网络在故障诊断中的应用, 由应用实例可知, 人工神经网络是一种并行分布信息处理结构。网络的特性由网络节点和连接方式所确定。它具有高度的并行处理、自组织能力和自学习能力, 在状态识别和故障诊断领域具有广泛的应用。但诊断中也存在一些问题, 主要是:诊断规则库知识的建立需要从大量案例中归纳总结, 网络规模不能太大, 同时不恰当的诊断算法会导致计算复杂或网络收敛慢, 这将是以后的研究重点。

参考文献

[1]郑晓雯, 林南英.神经网络在机械系统故障诊断中的应用[J].西安矿业学院学报, 1993.

[2]谭顺辉.神经网络智能诊断技术在隧道掘进机上的应用[J].研究简报, 2004.

[3]飞思科技产品研发中心.MATLAB 6.5辅助神经网络分析与设计[M].电子工业出版社.

一种BP神经网络改进算法研究 篇7

人工神经网络是在现代神经科学研究成果的基础上所提出,它通过模拟大脑神经网络处理、记忆信息的方式进行信息处理[1,2]。近年来,其受到了计算机学界的广泛关注,在图像处理、模式识别、智能预测等领域,有着非常广阔的发展前景。

BP神经网络是误差反向传播神经网络的简称,是目前应用最广泛的神经网络模型之一。BP神经网络算法是基于BP神经网络模型的一种人工神经网络算法。

1BP神经网络算法改进

1.1BP神经网络的基本结构

BP神经网络是一个多层的人工神经网络[3],前部是一个输入层,中间包含若干隐含层,后部是一个输出层,各层之间采用互连方式连接,同层神经元之间不允许有任何连接,各层神经元只能向下一层神经元输出激活信号。其基本结构如图1所示。

1.2BP神经网络算法基本思想

BP神经网络算法利用输出后的误差来估计输出层上一层(如隐含层)的误差,再用这个误差估计更前一层的误差,通过这样一层一层的反传,可以获得从输入层到输出层的各层误差估计,并逐层修 正各层的 连接权值[4]。BP网络算法为步骤如下:

第一步:网络初始化。给所有连接权值赋上(-1,1)内的随机数,设定误差函数e,给定计算精度值ε,最大学习次数M。

第二步:随机选取一个输入样本及对应的期望输出。

第三步:计算隐含层各神经元的输入输出。

第四步:利用实际输出和期望输出计算误差函数对输出层各神经元的偏导数。

第五步:利用隐含层到输出层的连接权值、输出层的偏导数以及隐含层的输出计算误差函数对隐含层各神经元的偏导数。

第六步:利用输出层各神经元的偏导数和隐含层各神经元的输出修正连接权值。

第七步:利用隐含层各神经元的偏导数和输入层各神经元的输入修正连接权值。

第八步:计算全局误差。

第九步:判断误差是否满足要求,继而停止学习。如果误差达到设定的误差值或者达到最大学习次数,结束算法。否则返回第三步,进行下一轮学习。

BP神经网络的训练学习使用非线性规划理论中的最速下降法,连接权值修正以误差函数的负梯度方向进行[5],其中局部极小值点和全局最小值点的误差梯度都为0。BP算法一旦陷入局部极小值点,便无法判断出全局最小值点,即BP算法有可能陷入局部极小值点而无法跳出,无法收敛于期望误差,最后导致训练学习失败。同时,误差函数收敛失败,学习时间将变成无穷大。如何解决BP神经网络的训练时间和收敛速度问题是提高该算法效率的关键。

1.3改进算法的基本思想

为了提高BP网络的收敛速度,本文加入动量因子α调节各层连接权值。在训练学习中由于各层连接权值容易发生剧烈的变化引起训练过程震荡,通过加入动量因子α可使连接权值变化平缓,达到提高收敛速度的目的。

其中,α为动量因子,其取值直接决定了连接权值的修正行为。当α=0时,连接权值修正与以前积累的调整经验无关,只与当前的梯度下降有关;当α=1时,连接权值修正完全由以前积累的调整经验决定。如此,通过附件动量因子α的方法完成对当前梯度下降的过滤,当梯度下降过快时,则为上一次的修正量,这样就可以将震荡修正过滤掉,稳定BP算法的修正过程,加快BP算法的收敛速度,从而可以提高BP算法的训练学习效率。

2改进算法实例

第一步:取(-1,1)内的12个随机数,并将这些随机数复制给各层之间的连接权值,选取隐含层4个节点,给设定计算精度值ε=0.01和最大学习次数M=10000。

随机赋值的输入层-隐含层权值矩阵如下:

随机赋值的隐含层-输出层权值矩阵如下:

第二步:随机抽取第k个输入样本及其对应的期望输出。

第三步:计算隐含层各神经元节点的输入和输出。

第四步:计算隐含层-输出层权系数增量。

第五步:计算输入层-隐含层权系数增量。

第六步:利用隐含层-输出层权系数增量更新隐含层-输出层的网络权值。

第七步:利用输入层-隐含层权系数增量更新输入层-隐含层的网络权值。

第八步:计算全局误差。

第九步:判断是否停止学习。全局误差lfEp=0.23596>ε=0.01,学习次数为1,小于10000,因此需要进行下一轮次学习过程:在学习样本中选择一个未使用的学习样本数据,返回到算法的第三步,继续下一轮学习,直到误差满足要求或者学习次数达到最大值。

3结语