神经网络实用教案

《神经网络实用教案》由会员分享，可在线阅读，更多相关《神经网络实用教案（25页珍藏版）》请在装配图网上搜索。

1、一、引言(ynyn) ANN (Artificial Neural Networks)是模仿人脑神经网络的数学模型，是一种信息处理系统。 人脑固有特征： 并行(bngxng)分布处理工作模式 神经系统的可塑性和自组织性 系统性第1页/共25页第一页，共25页。二、发展史 1943 W.Mcculloch和W.Pitts首次提出了人工神经网络模型。 1957 Frank Rosenblatt发展了模型，并提出了感知器（Perceprton)模型以及两层感知器的收敛定理（1962），提出引入隐层处理(chl)元件的三层感知器这一重要的研究方向 1959 B.Widrow和M.Hoff提出了自适应线

2、性元件（Adaline) 1969 Papert和Minsky出版了Perceptrons,对感知器的功能及其局限性从数学上作了深入的研究，提出了双层感知器的许多局限性。第2页/共25页第二页，共25页。 1982 John Hopfieldt提出具有联想记忆和优化计算的反馈网络(wnglu)模型（HNN模型），使人们对人工神经网络(wnglu)有了新的认识。 提出BP算法。 1987 IEEE举行首次神经网络(wnglu)会议，国际神经网络(wnglu)学会成立。第3页/共25页第三页，共25页。三、神经网络的基本(jbn)结构 人工(rngng)神经元（接受、处理、输出信号） 连接权重（强

3、度） 连接模式 学习算法第4页/共25页第四页，共25页。1. 单个神经元的结构(jigu)p1p2.prw1w2wrnb)(fa1rjjjTrrbpwfbPWfpppPwwwW12121)()*(A.PWA第5页/共25页第五页，共25页。2. 激活(j hu)函数（核心）作用控制(kngzh)输入对输出的激活作用；对输入、输出进行函数转换将可能无限于的输入变成指定的有限范围的输出第6页/共25页第六页，共25页。常用的激活(j hu)函数：阀值型（硬限制性 ）线性型00 x x1)-(or 0 x x 1 )x(fbax)x(f第7页/共25页第七页，共25页。S型（Sigmoid) 将任

4、意(rny)输入值压缩到（0，1）的范围内。对数S型)(exp11bnffn-b0-11第8页/共25页第八页，共25页。f-bn-110)(2exp1)(2exp1bnbnf双曲正切(zhngqi)S型第9页/共25页第九页，共25页。4. 神经网络的结构(jigu)三层网络(wnglu)的结构示意图第10页/共25页第十页，共25页。每一层的作用(zuyng) 输入层从外部接受信息并将此信息传入人工神经网络，以进行处理。 隐含层接受输入层的信息，静静地对所有的信息进行处理，整个处理步骤用户(yngh)是看不见的。 输出层接受人工神经网络处理后的信息，将结果送到外部接受器。 神经网络仅仅具有

5、拓扑结构，还不能具有任何智能特性，必须有一套完整的学习、工作规则与之配合 第11页/共25页第十一页，共25页。四、神经网络的分类(fn li)1.拓扑(tu p)结构：2.前向网络3.反馈网络 反馈(fnku)网络结构图Chat of backfeed neural network第12页/共25页第十二页，共25页。2. 按学习方式(fngsh)分类 教师(jiosh)示教学习方式Chat of neural with tutor第13页/共25页第十三页，共25页。无教师示教学习(xux)方式Chat of neural network without tutor第14页/共25页第十四

6、页，共25页。五、神经网络的特点(tdin)1)高度的并行性2)高度的非线性全局作用3)良好的容错性与联想记忆功能(gngnng)4)十分强的自适应、自学习功能(gngnng)第15页/共25页第十五页，共25页。六、神经网络的应用(yngyng) 模式信息处理和模式识别 最优化计算问题(wnt) 信息的智能化处理 复杂控制 信号处理第16页/共25页第十六页，共25页。七、BP算法(sun f) 反响传播网络（Back-Propagation Network)是非线性可微分函数进行权值训练的多层网络，主要用于：函数逼近(bjn)模式识别分类数据压缩第17页/共25页第十七页，共25页。1.

7、BP网络(wnglu)的学习过程 假设BP网络中有r个输入单元 、n个隐含单元、m个输出单元，则称为rnm网络。输入节点i和隐含节点之间的连接权值为w(1)ij，作用函数f为Sigmoid函数，训练集包含(bohn)M个样本模式对 (xk, yk, )。 第18页/共25页第十八页，共25页。 对每个训练样本 Pi，于每个隐含(yn hn)单元的输出为Aj，则： .)1(2)1(1)1()1(jrjjjwwwWTiriiipppP.21rkikikijjbpwfbPWfA1)1()()*(第19页/共25页第十九页，共25页。 隐含节点j和输出节点k之间的连接权重(qun zhn)为w(2)j

8、k, 则对于输出Oj： 若对应于Pi的目标值为di, 定义误差函数：)*(1)2(bAwfOniijijiiiOde 第20页/共25页第二十页，共25页。 可得如下权值修正公式： 式中为学习速率，w为ei的函数，为动量(dngling)因子。 )() 1(Dwtwtw)()1(twtwah第21页/共25页第二十一页，共25页。第22页/共25页第二十二页，共25页。2. 主要(zhyo)步骤1)初始化2)对每个样本作如下计算3)前向计算输出4)反向计算误差5)修正(xizhng)权值6)3）输入新的样本，直到达到要求第23页/共25页第二十三页，共25页。3. 缺点(qudin)及修正1.误差梯度下降，但易陷入极小(j xio)点处2.可以增加动量项，3.对权重用均匀分布的随机数进行初始化，4.改进激发函数5.采用全局优化算法6.收敛速度慢，7.可采用“批处理”算法8.使各种神经元的学习速度差不多9.自适应学习效率10. 隐含层神经元数数目难以确定11. 采用逐步增长或逐步修剪的方法第24页/共25页第二十四页，共25页。感谢您的观看(gunkn)！第25页/共25页第二十五页，共25页。