【文档说明】神经网络优化计算课件.ppt，共(50)页，1.058 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-244303.html

以下为本文档部分文字说明：

第五章神经网络优化计算智能优化计算华东理工大学自动化系2007年5.1人工神经网络的基本概念5.1.1发展历史5.1.2McCulloch-Pitts神经元5.1.3网络结构的确定5.1.4关联权值的确定5.1.5工作阶段5.2多层前向神

经网络5.2.1一般结构5.2.2反向传播算法5.3反馈型神经网络5.3.1离散Hopfield神经网络5.3.2连续Hopfield神经网络5.3.3Hopfield神经网络在TSP中的应用智能优化计算华东理工大

学自动化系2007年5.1人工神经网络的基本概念智能优化计算华东理工大学自动化系2007年“神经网络”与“人工神经网络”1943年，WarrenMcCulloch和WalterPitts建立了第一个人工神经网络模型；1969年，Minsky和Papert发表Pe

rceptrons；20世纪80年代，Hopfield将人工神经网络成功应用在组合优化问题。5.1.1发展历史5.1人工神经网络的基本概念智能优化计算华东理工大学自动化系2007年重要意义现代的神经网络开始于McCulloch,Pitts(1943)的先驱工作；他们的神经元模型假定遵循有-无模

型律；如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作,McCulloch&Pitts证明这样构成的网络原则上可以计算任何可计算函数；标志着神经网络和人工智能的诞生。5.1.2McCulloch-Pitts神经元5.1人工神经网络的基本概念智能

优化计算华东理工大学自动化系2007年结构McCulloch-Pitts输出函数定义为：5.1.2McCulloch-Pitts神经元InputsignalSynapticweightsSummingfunctionActiv

ationfunctionOutputyx1x2xnw2wnw1)(•f-θ=−=−==0,00,1)sgn()sgn()(1xxxxwzfyniii其中，5.1人工神经网络的基本概念智能优化计算华东理工大学自动化系2007年网络的构建Y=F(X)5.1.2McC

ulloch-Pitts神经元x1y1输出层隐藏层输入层x2y2ymxn…………网络的拓扑结构前向型、反馈型等神经元激活函数阶跃函数线性函数Sigmoid函数5.1人工神经网络的基本概念baxxf+=)(智能优化计算华东理工大学自动化系2007年5.1

.3网络结构的确定xexf−+=11)(f(x)x0+1确定的内容权值wi和θ确定的方式学习（训练）有指导的学习：已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值；无指导的学习：只有输入数据，没有正确的输出结果情况下，确定权值。5.1人工神经网络的基

本概念智能优化计算华东理工大学自动化系2007年5.1.4关联权值的确定学习与工作的关系先学习→再工作5.1人工神经网络的基本概念神神神神神神神神神神神神神神神神神神神神神神神神神输输输输智能优化计算华东理工大学自动化系20

07年5.1.5工作阶段神神神神神神神神神神神输输输输神神神神5.2多层前向神经网络智能优化计算华东理工大学自动化系2007年多层两层以上前向无反馈5.2.1一般结构输出层隐藏层输入层y1y2ym…x1x2xn………………5

.2多层前向神经网络智能优化计算华东理工大学自动化系2007年目的确定权值方法反向推导5.2.2反向传播算法−−11liljiyljlkiy1−liy)(ljlivfy=ljv1+lkv)(1+==lkvfOy1−=ljljjiy)

('ljvfjljyljlkkjy1+=)('kvfOdOd−)](')[(kkkvfOd−=1+lkkkkljvf=)('层l层＋1l线性组合激活函数线性组合激活函数前向计算反向传播5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年一般结构各

神经元之间存在相互联系分类连续系统：激活函数为连续函数离散系统：激活函数为阶跃函数5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年Hopfield神经网络1982年提出Hopfield反馈神经网络（HNN），证明在高强度连接下的神经网络依靠集体协

同作用能自发产生计算行为。是典型的全连接网络，通过引入能量函数，使网络的平衡态与能量函数极小值解相对应。5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年网络结构N为网络节点总数。5.3.1离散Hopfield神经网络0)(,10)(,1)1()],(sgn[)1()()(1

−+=+=+−==tvtvtstvtstswtvjjjjjjNiijij即s1(t+1)……s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn2ΣΣΣΔ5.3反馈型神经网络智能优

化计算华东理工大学自动化系2007年网络结构一般认为vj(t)=0时神经元保持不变sj(t+1)=sj(t);一般情况下网络是对称的（wij=wji）且无自反馈（wjj=0）;整个网络的状态可用向量s表示：5.3.1离散

Hopfield神经网络TNssss][21=5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年工作方式串行（异步，asynchronous）:任一时刻只有一个单元改变状态，其余单元保持不变；并行（同步，synchronous）：某一时刻所有神经元同时改变状态。

稳定状态如果从t=0的任一初始态s(0)开始变化，存在某一有限时刻t，从此以后网络状态不再变化，即s(t+1)=s(t)，则称网络达到稳定状态。5.3.1离散Hopfield神经网络5.3反馈型神经网络智能优化计算华东理工大

学自动化系2007年能量函数的定义异步方式：同步方式：5.3.1离散Hopfield神经网络θswss)()()(21)()()(21ttttststswETTiiiijjiji−−=−−=)]()1([21)()1(21)]1()([21)()1(21ttttts

tststswETTiiiiijjijissθwss++−+−=++−+−=5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年能量函数能量是有界的：从任一初始状态开始，若在每次迭代时都满足ΔE≤0，则网络的能量将越来越小，最后趋向于稳定状态ΔE

＝0。5.3.1离散Hopfield神经网络+=+iiijijiiiijjijiwssswE||||21||||||||||21||5.3反馈型神经网络+=−=+−−=+=++=+=−+=1)(,1

)1(,21)(,1)1(,2)()1(,0)()1()(tststststststststsiiiiiiiii智能优化计算华东理工大学自动化系2007年能量函数分析异步（且网络对称wij=wji）情况下：假设只有神经元i改变状态5.3.1离散Hopfield神经网络θswss)()

()(21)()()(21ttttststswETTiiiijjiji−−=−−=5.3反馈型神经网络0)]()1([)]()1([212121212211++−+−=−−+−−

−=−−−===tstsswsswststswsswsswssswsswEiiiiiiijjijiiiiiiijijjiijijijiiNjijjiNjijij智能优化计算华东理工大学自动化系2007年能量函数分析异步（且网络对称wij=w

ji）情况下：假设只有神经元i改变状态5.3.1离散Hopfield神经网络同号θswss)()()(21)()()(21ttttststswETTiiiijjiji−−=−−=5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年能量函数分析

同步（且网络对称wij=wji）情况下：5.3.1离散Hopfield神经网络0)]1()1(][)([21)]1()1([21)]1()1(][)([21)]1()([21)1()(21)]()1([21)()1(21−−++−=−−+−−−+−=−++−+++−+−=tttttttt

ttttttttETTTTTTTTssθwsssθsswsssθwssssθwss同号5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年网络结构与电子线路对应：放大器——神经元电阻、电容——神经元的时间常数电导——权系数5.3

.2连续Hopfield神经网络5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年网络的微分方程能量函数可证明，若g-1为单调增且连续，Cj>0，Tji=Tij，则有dE/dt≤0，当且仅当

dvi/dt=0时dE/dt=0。5.3.2连续Hopfield神经网络=+−==)(1jjjjjNiijijjvgsiRvsTdtdvC=−===+−−=NjsjjjjNjjjNiNjjiijjdvvgRsissTE101111)(1215.3反馈型神经网络智能优化计算华

东理工大学自动化系2007年能量函数随着时间的增长，神经网络在状态空间中的解轨迹总是向能量函数减小的方向变化，且网络的稳定点就是能量函数的极小点。5.3.2连续Hopfield神经网络5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年能量函数将动力系统方程

简单记为：如果，则称ve是动力系统的平衡点，也称ve为吸引子。5.3.2连续Hopfield神经网络=+−==)(1jjjjjNiijijjvgsiRvsTdtdvC),(tvqdtdv=ttvqe=,0),(5.3反馈型神经网络智能优化计算华

东理工大学自动化系2007年能量函数当从某一初始状态变化时，网络的演变是使E下降，达到某一局部极小时就停止变化。这些能量的局部极小点就是网络的稳定点或称吸引子。5.3.2连续Hopfield神经网络5.3反馈型神经网络智能优化计算华东理工大学自动化系20

07年Hopfield网络设计当Hopfield用于优化计算时，网络的权值是确定的，应将目标函数与能量函数相对应，通过网络的运行使能量函数不断下降并最终达到最小，从而得到问题对应的极小解。5.3.3Hopfield神经网络在TSP中的应用5.3反馈型神经网络智能优化计

算华东理工大学自动化系2007年Hopfield网络设计通常需要以下几方面的工作：（1）选择合适的问题表示方法，使神经网络的输出与问题的解相对应；（2）构造合适的能量函数，使其最小值对应问题的最优解；5.3.3Hopfield神经网络在TSP中

的应用5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年Hopfield网络设计通常需要以下几方面的工作：（3）由能量函数和稳定条件设计网络参数，如连接权值和偏置参数等；（4）构造相应的神经网络和动态方程；（5）用硬件实现或软件模拟。5.3.3Hop

field神经网络在TSP中的应用5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年TSP问题的表示将TSP问题用一个n×n矩阵表示，矩阵的每个元素代表一个神经元。代表商人行走顺序为：3→1→2→4每一行、每一列的和各为1。5.

3.3Hopfield神经网络在TSP中的应用1为是，0为否第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函数的构建每个神经元接收到的值为zij，其输出值为yij，激活函数采用Sigmoid函数，记两个城市x和y的距离是dxy。

1）希望每一行的和为1，即最小，每一行最多有一个1时，E1＝0。5.3反馈型神经网络===nuniijujuiyyE111智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用第1站第2站第3站第4站城市1

0100城市20010城市31000城市40001能量函数的构建2）希望每一列的和为1，即最小，每一列最多有一个1时，E2＝0。3）希望每一行每一列正好有一个1，则为零。5.3反馈型神经网络===ninuuvviuiyyE112智能优化计算华东理工大

学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用2113−===nyEninjij第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函数的构建4）

E1，E2，E3只能保证TSP的一个可行解，为了得到TSP的最小路径，当duv=dvu时，希望最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之间的距离（i代表行走顺序）。5.3反馈型神经网络==+−+=nuu

vniivivuiuvyyydE11)1()1(4)(智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用第1站第2站第3站第4站城市10100城市20010城市31000城市40001

能量函数的构建5）根据连续Hopfield神经网络能量函数，最后，能量函数表示为：A，B，C，D，α为非负常数。5.3反馈型神经网络−=jiyijijdyyfE,015)(智能优化计算华东理工大学自动化系2007

年5.3.3Hopfield神经网络在TSP中的应用543212222EEDECEBEAE++++=能量函数的构建由动力学方程，5.3反馈型神经网络=+−−−−−−=−=−+==)()()(1111uiuiuvviviuvnvn

jvjuvviijujuiuiuizfyyydDnyCyByAzyEdtdz智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用能量函数的构建整理后得到：5.3反

馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用0,,0,1)()1()1(1,1,,====+−−−−−−=−+uuijuiijjjuv

uvijijuvvjuidjijinCIDdCBAw其中，10城市TSP问题（d*=2.691）0.40.4439;0.24390.1463;0.17070.2293;0.22930.761;0.51710.9414;0.8732

0.6536;0.68780.5219;0.84880.3609;0.66830.2536;0.61950.26345.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用10城市TSP问题（d*

=2.691）流程图：5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用神神神神神神神神神神神z00神神神神Δzui神神神神神神神神神zui＝zui＋λΔzuiyui＝f(zui)神神神神Δ

zui神yui神神神神神神神神神神神神神神神神神神神神神神神神神神YN10城市TSP问题（d*=2.691）初始参数：α＝1A＝B＝D＝500，C＝200激励函数为Sigmoid其中，μ0＝0.025.3反馈

型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用0211)(uizuiuiezfy−+==10城市TSP问题（d*=2.691）初始参数：初始的yui初始的zuiλ=0.000015.3反馈型神经网络===1

0110110uiuiy智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用00000001.01.0,9ln2−+=−=uiuiuizzzzz10城市TSP问题（d*=2.691）5.3反馈型神经网络智能

优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691）5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在

TSP中的应用10城市TSP问题（d*=2.691）5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691）5

.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691）5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年

5.3.3Hopfield神经网络在TSP中的应用10城市TSP问题（d*=2.691）5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用10城市TSP问题（d

*=2.691）5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用基于Hopfield网络优化的缺陷用Hopfield网络优化的出发点建立在：（1）神经网络是稳定的，网

络势必收敛到渐进平衡点；（2）神经网络的渐进平衡点恰好是能量函数的极小值。5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用基于Hopfield网络优化的缺陷用Hopfield网络优化会导致：（1）

网络最终收敛到局部极小解，而非全局最优解；（2）网络可能会收敛到问题的不可行解；（3）网络优化的最终结果很大程度上依赖于网络的参数。5.3反馈型神经网络智能优化计算华东理工大学自动化系2007年5.3.3Hopfield神经网络在TSP中的应用第五章结束智能优化计算华东理工大学自动化

系2007年