【文档说明】数模智能算法BP神经网络基本原理简介课件.pptx，共(56)页，3.624 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-244437.html

以下为本文档部分文字说明：

BP神经网络基本原理简介x1o1输出层隐藏层输入层x2o2omxn…………•一个神经网络的典型结构：一.什么是人工神经网络•“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经神经系统对真实世界物体所作

出的交互反应”。•人工神经网络(ANN)具有自学习、自组织、较好的容错性和优良的非线性逼近能力。•在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型。二.ANN能干什

么？拟合预测分类聚类分析(函数逼近)数学近似映射三.神经网络模型和网络结构•神经元模型•激活函数•网络结构•工作状态•学习方式四、建立和应用神经网络的步骤（1）网络结构的确定包含网络的拓扑结构和每个神经元相应函数的选取；（2）权值和阈值的确定通过学习得到，为有指导的学习，也就是利用已知的一组正确

的输入、输出数据，调整权和阈值使得网络输出与理想输出偏差尽量小；（3）工作阶段用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟（simulate）。神经元•大脑可视作为1000多亿神经元组成的神经网络•图1神经元的解剖图神经元细

胞体突触轴突树突图12.2生物神经元功能模型输入输出信息处理电脉冲形成传输神经元信息传递•神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元

．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。人工神经元的模型•作为神经网络的基本元素，神经元的模型如下：•x1~xn是从其他神经元传来的输入信号•wij表示表示从神经元

j到神经元i的连接权值•θ表示一个阈值(threshold)，或称为偏置(bias)。人工神经元的模型•若用X表示输入向量，用W表示权重向量：•则012012[,,,,],[,,,...,]==Tniiii

nXxxxxWwwww()=iyfXW=inetXW10===−=nniijjijjjjnetwxwx()=iiyfnet•神经元的输出与输入的关系为：•净激活量•激活函数激活函数•激活函数是对净激活量与输出进行映射的函数。一些常用的激活函数,由于输入数据与期望值之间可能并不是量

级一样，所以需要激活。•线性函数S形函数•阈值函数双极S形函数()*=+fxkxc,()*,||,=−−TxcfxkxxcTxc1()1−=+xfxe2()11−=−+xfxe激活函数•S形和双极S形函数图像为：S形和双极S形函数的导函数均为连续函数。网络模型•

根据网络中神经元的互联方式的不同，网络模型分为：•前馈神经网络•只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号•反馈神经网络•从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得

多•自组织网络•通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。网络模型前馈神经网络反馈神经网络自组织网络工作状态•神经网络的工作状态分为学习和工作两种状态•学习•利用学习算法来调整神经元间的连接权重，使得网络输出更

符合实际•工作•神经元间的连接权值不变，可以作为分类器或者预测数据之用。学习方式•学习分为有导师学习与无导师学习•有导师学习•将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权•例如：BP算法•无导

师学习•抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。•例如：Hebb学习率神经网络的学习方式神经网络（学习系统）误差分析P输入实际输出e误差信号t有教师监督学习方式•有教师学习(监督学习)神经网络（学习系统）P输入a输出无教

师监督学习方式有教师学习(监督学习)BP算法(BackPropagation)•采用BP学习算法的前馈神经网络称为BP神经网络BP算法(BackPropagation)•BP算法基本原理•利用输出后的误差来估计输出层的直接前导层的误差，再用这个误

差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。信号的正向传播&误差的反向传播BP算法(BackPropagation)•正向传播：–输入样本－－－输入层－－－各隐层－－－输出层•判断是否转入反向传播

阶段：–若输出层的实际输出与期望的输出不符•误差反传–误差以某种形式在各层表示－－－修正各层单元的权值•网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止BP算法(BackPropagation)假设输入层有n个神经元，隐含层有p个神经元，

输出层有q个神经元•符号定义–输入向量;–隐含层输入向量；–隐含层输出向量;–输出层输入向量;–输出层输出向量;–期望输出向量;–误差函数()...12nx=x,x,,x()12,,,=phihihihi()12,,,=pho

hohoho()12,,,=qyiyiyiyi()12,,,=qyoyoyoyo()12,,,=qdddod211(()())2==−qoooedkyokBP算法(BackPropagation)•首先，计算各层神经元的输入和输出0()()1,2,

,===nhhiiihikwxkhp()f(())1,2,,==hhhokhikhp0()()1,2,===poohhhyikwhokoq()f(())1,2,==ooyokyikoqBP算法(BackPr

opagation)•第二步利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。=oohoohyieewyiw(())()()==pohhohhohohwhokyikhokww211((()())

)2(()())()(()())f(())()qoooooooooooodkyokeyiyidkyokyokdkyokyikk=−==−−=−−−BP算法(BackPropagation)()()==−oohohoohyieekhokwyiw0

()()(())()()====hhihhinhiihiihihihikeewhikwwxkhikxkww第三步：利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元

的偏导数。()hk()okBP算法(BackPropagation)21212101((()()))()2()()()1((()f(())))()2()()1(((()f(())))()2()()

====−=−=−=qooohhhhqooohhhqpohohohhhhdkyokhokehikhokhikdkyikhokhokhikdkwhokhokhokhik11()(()

())f(())()(())f(())()===−−=−−qhooohoohqohohhohokdkyokyikwhikkwhikkBP算法(BackPropagation)•第四步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。1()()()()()ohohohN

Nohohohewkkhokwwwkhok+=−==+()ok()ohwk是设置的学习率。BP算法(BackPropagation)•第五步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。()hk1()()()()()hihihiNNhihi

hiewkkxkwwwkxk+=−==+BP算法(BackPropagation)•第六步，计算全局误差•第七步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习

样本及对应的期望输出，返回进入下一轮学习。2111(()())2===−qmookoEdkykm神经网络的应用•(1)图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。•(2)信号处理。能分别对通讯

、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。•(3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。•(4)机器

人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。•(5)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。•(6)焊

接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。•(7)经济。能对商品价格、股票价格和企业的可信度等进行短期预测。•(8)另外，在数据挖掘、电力系统、交通、军事、矿业

、农业和气象等方面亦有应用。•2.1训练•BP网络的训练就是通过应用误差反传原理不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。虽然理论上早已经证明：具有1个隐层（采用Sigmoid转换函数）的BP网络可实现对任意函数的任意逼近。但遗憾的是

，迄今为止还没有构造性结论，即在给定有限个（训练）样本的情况下，如何设计一个合理的BP网络模型并通过向所给的有限个样本的学习（训练）来满意地逼近样本所蕴含的规律（函数关系，不仅仅是使训练样本的误差达到很小）的问题，目前在很大程度上还需要依靠经验知

识和设计者的经验。因此，通过训练样本的学习（训练）建立合理的BP神经网络模型的过程，在国外被称为“艺术创造的过程”，是一个复杂而又十分烦琐和困难的过程。Matlab编程讲解软件条件：Matlab2012a

以上•实验操作：神经网络工具箱，编程，推荐使用编程语言•训练函数：训练方法训练函数梯度下降法traingd有动量的梯度下降法traingdm自适应lr梯度下降法lr梯度下降法traingda自适应lr动量梯度下降

法lr动量梯度下降法traingdx弹性梯度下降法trainrpFletcher-Reeves共轭梯度法共轭梯度法traincgfPloak-Ribiere共轭梯度法共轭梯度法traincgpPowell-Beale共轭梯度法共轭梯度法train

cgb量化共轭梯度法trainscg拟牛顿算法trainbfg一步正割算法trainossLevenberg-Marquardttrainlm1.BP网络构建（1）生成BP网络net=newff(PR,[S1S2...SNl]),{TF1TF2.

..TFNl},BTF)•：PR:由R维的输入样本最小最大值构成的R*2维矩阵。•：[S1S2...SNl]各层的神经元个数。•：{TF1TF2...TFNl}各层的神经元传递函数。•：BTF训练用函数的名称。•（2）网络训练•net=train(net,P,T)

•（3）网络仿真•Y2=sim(net,P2)•pn=p1';tn=t1';•[m,n]=size(t);•[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);net=newff(minmax(pn),[5,1],{'tansig

','purelin'},'traingd');%设置网络,建立相应的BP网络•net.trainParam.show=50;%训练网络•net.trainParam.lr=0.01;•net.trai

nParam.epochs=1000;•net.trainParam.goal=1e-5;•[net,tr]=train(net,pn,tn);•anewn=sim(net,pn);%对BP网络进行仿真•figure;holdon•plot(anewn,'b',tn,'r');•wucha=

sum(abs(b-r))/n;%误差输出•%traingd•clear;•clc;•P=[-1-1224;05057];•T=[-1-111-1];•%利用minmax函数求输入样本范围•net=newf

f(minmax(P),[7,1],{'tansig','purelin'},'trainlm');•net.trainParam.show=50;%•net.trainParam.lr=0.05;•net.trainParam.epochs=1000;•net.trainPa

ram.goal=1e-5;•[net,tr]=train(net,P,T);•net.iw{1,1}%隐层权值•net.b{1}%隐层阈值•net.lw{2,1}%输出层权值•net.b{2}%输出层阈值•y3=sim(net,P);BP网络举例•clear;•clc;

•X=-1:0.1:1;•D=[-0.9602-0.5770-0.07290.37710.64050.66000.4609...•0.1336-0.2013-0.4344-0.5000-0.3930-0.1647-.0988...•0.3072

0.39600.34490.1816-0.312-0.2189-0.3201];•figure;•plot(X,D,'*');%绘制原始数据分布图（附录：1-1）•net=newff(minmax(X),[51],{'tansig','ta

nsig'});•net.trainParam.epochs=100;%训练的最大次数•net.trainParam.goal=0.005;%全局最小误差•net=train(net,X,D);•O=sim(net,X);•figure;•plot(X,D,X,O,'r');%绘制训

练后得到的结果和误差曲线•V=net.iw{1,1}%输入层到中间层权值•theta1=net.b{1}%中间层各神经元阈值•W=net.lw{2,1}%中间层到输出层权值•theta2=net.b{2}%输出层各神经元阈值案例

：地下水安全性评价与分析•1.1地下水安全性概念•地下水的安全性主要包含两个方面的内容，一是地下水本身的自然属性,也就是所谓的固有脆弱性,即地下水抵御外界干扰的能力,如地下水的含水层厚度、含水层介质和包气

带、土壤类型等,都会影响外来物质在地下水中的去向。二是地下水安全的社会属性,即由于人类活动的激励,地下水系统会相应做出的一些响应,如水质污染、水位下降、海水入侵、地表沉降及塌陷等。近年来，随着我国经济的高速发展，地

下水环境变化格局十分剧烈，对地下水安全的研究成为热点。实现对地下水安全性的分析和研究，对于掌握地下水的变化规律，进行地下水的安全保护有着极其重要的意义。图1济宁市行政区划图本研究所用的分析数据分为遥感数

据和统计数据。遥感数据包含有LandsatTM5和济宁市DEM数据。辅助数据包括济宁市《统计年鉴》数据、济宁市各水文监测站监测数据和1:400万国家行政矢量等数据。数据名称数据来源数据格式数据描述LandsatTM5地理空间数据云栅格数据2013年7月影像济宁市DEM地理空间数据云栅格

数据数字高程影响，获取地面坡度济宁市年平均降水量气象科学数据共享中心矢量数据研究区日平均降水量济宁市包气带数据山东省水利局矢量数据含水层岩性济宁市农业生产污染源济宁市统计年鉴矢量数据研究区主要农业污染源及污染量济宁市工业生产影响济宁市统计年鉴矢量数据工业生产对地下水主要

反应指标山东省地下水埋深山东省水文中心栅格数据地下水埋深深度变化济宁市地下水日均离子浓度济宁市监测站矢量数据地下水水质，地下水矿化度等相关资料搜集与整理研究方案制定遥感数据气象数据水文数据农业污染工业数据几何纠正，辐射定标空间插值统计分析评价体系确定人文因素自然

因素评价标准建立采样点选取输出层输入层激活函数误差判断训练完成归一化处理仿真值空间插值隶属度判断掩膜SOM神经网络验证各等级随机采样结论与建议1.3评价标准的制定•由于各个指标的量纲不同，其评价的标准也不同，为了将各个指标合成一个综合评价结果，首先必须

将每个指标进行无量纲化处理，即将指标与其标准值相比较。因此，指标标准值在评价过程中是一组很重要的量，它是衡量人们对被评价对象的指标值满意程度的标准。•本文根据地下水安全性研究的基本理论和济宁市地下水环境本质属性及特殊属性

的实际情况,在参考关于指标体系评价标准建立的基础上制定了济宁市地下水环境安全性分级标准。序号指标强（I）较强（II）中等(III)弱(IV)1人口增长率（‰）‰）<33-55--8>82含水层厚度（mm）mm）<1515-2525-35>353多年平均降水量(mm)(mm)>75

0550-750350-550<3504单位人均GDP（万元）GDP（万元）>32-30.7-2<0.75地下水埋深(m)(m)>3015-303-15<36含水层岩性中细砂（10）10）细砂（8）8）粉细砂（6）6）淤土（2）2）7地面坡度<4(10)4-10(8)10-20(6)>20(3)

8人均水资源拥有量（mm）mm）>30001500-3000700-1500<7009地表植被覆盖率(%)(%)>6040-6020-40<2010农业区有效灌溉面积比重(%)(%)>8050-8020-50<2011平均

化肥使用量（kg/kmkg/km）<300300-600600-1000>100012平均农药使用量（kg/kmkg/km）<5050-150150-200>20013主要污染源类型生活垃圾（10）10）酿造也，

农业污染（8）8）皮革，化工冶金酿造业（6）6）垃圾填埋场（3）3）14地下水水质状况I(10)II(8)III(6)IV(3)15工业万元产值取水量（mm/万元）万元）<1010-4040-70>7016地下水矿化度（mg

/L）mg/L）<10001000-20002000-3000>300017工业用水重复利用率>9070-9050-70<5018地面沉降等级I(10)II(8)III(6)IV(3)•关键脚本语言为：•clc•cleara

ll•net=newff(minmax(p),[18,1],{'tansig','purelin'});/p为评价体系•net.trainParam.show=50;•net.trainParam.lr=0.01;•net.trainParam.epochs=300;/设置训练次数。•n

et.trainParam.goal=1e-2;/设置训练误差。•net=train(net,p,t);/t为期望输出值。•V=net.iw{1,1}%输入层到中间层权值•theta1=net.b{1}%中间层各神经元阈值•W=net

.lw{2,1}%中间层到输出层权值•theta2=net.b{2}%输出层各神经元阈值•1.4采样点的选取•在进行济宁市地下水安全性分析时，主要有两种方法进行整个区域的安全性评价与分析，一种是以量化栅格

为处理单元，一种是以随机采样点为处理单元。采样点指能表示一定区域范围相关属性的代表点。前者主要适用于进行研究区相对较小，对评价结果的精度要求较高。后者主要适用于区域较大，若按照第一种方法的话将使使得计算量过大，

同时等级评价结果过于细化，从而影响对结果的评价分析。本文研究区面积较大，宜采用第二种方式。采样数量N依据二项式概率理论，N可以通过如下公式计算。••式中,p是整幅图的期望百分比精度，q=100–p；E允许误差；

Z=2表示1.96的标准正态误差,95%的双侧置信度。选取期望精度为85%,而允许误差为15%(即准确率为85%)，可以得到采样点数量为27。通过ArcGis软件随机采样工具进行采样。22()()ZpqNE=123456789101112131415161718

14.3436231.867610120027.9876714178829.4107262824.3296561.86566120026.5856714178628.7109358634.3187001.878610120024.3896714178332.7125871345.5525

401.81261047926.97510242178647.247962855.5595701.84761047925.37710242178638.798257663.9126101.898833430.2784213198647.6187272373.914

5801.87118833431.3824213198643.5176968886.7216902.361381021921.29420324233356157282396.7246802.3914810

21920.997203242336791678778106.9237002.531381041930.689317817686481428823116.9276702.54381041928.78731781768354172676312385501.6178636540.25367213466

281070528133125601.6398436542.3456721346636572573143.8346602.574210207921.18717912766681082716153.8346602.574210207921.187

17912766681082716166.5325401.911221027628.67280219686252073478176.5475601.921321027627.97980219686271826426183.8226302.41888307226.9

8389231786822123746193.8306202.571288207227.88989231786782196628204.7315402.4586845029.67942251786481536576214.7345702.4556645029.772422

5178642636628224.7365302.56761045030.5744225178651723646235.5216201.79388584187623349666561582703245.5245801.78481058417.9

7823349666581478616256.2495601.86881030025.78289642366591926523266.2435561.8478830025.38789642368641376606276.2385531.761481030024.2858964236871107

8723•clc•fz=sim(net,pp);编号输出值等级编号输出值等级编号输出值等级编号输出值等级10.1904III8-1.1764IV151.4082I22-0.3165IV2-0.4125IV9-1.3982IV160.0130IV23-0.5

811IV3-0.7706IV10-1.3864IV170.3231III24-1.0091IV40.4299III11-1.2086IV181.8007I250.1912III50.4349III12-1.1596IV191.

0741I260.1389IV6-1.0885IV13-0.3691IV20-0.3593IV27-0.3502IV7-1.0237IV141.6820I21-0.4002IV图3ＢＰ仿真值空间插值分布图图4地下水安全性等级分布图•图5济宁市各县市地下水安全等级

比例图图6济宁市人文影响数值分析图•经过对研究结果的定性分析，结合研究区实际情况，得出以下结论。•(1)从人为和自然两方面出发，综合已有相关研究成果，建立了影响地下水安全性的评价指标体系，利用神经网络技术完成了对济宁市地下水的安全性评

价，得到了较为全面准确的济宁市地下水安全性分布图。•(2)研究结果表明，BP神经网络得到的等级评价结果并非完全正确，所以当前对BP评定结果直接采用的评价方法是比较片面的，应该借助其他相关的评定方法进行验证和调整，本研究借助了自组织神经网络的技术和方法。•(3

)济宁市各县市化肥和农药使用量均较高，尤其是农业发展程度较高的区域，例如市中区，任城区等，农业面源污染的主要污染物就是化肥农业污染，会造成地下水的毒素超标，影响人类的正常生活。•(4)邹城市，泗水县等济宁市东北部地区工业节水力度较低，同时人均水资源拥有量较低，相关企业

应有传统工业向新型环保节水工业转变，同时政府部门应加大水资源处理力度，合理兴修水利工程，以解决当地水资源较少的问题。••谢谢观看