【文档说明】D人工神经网络复习习题课件.ppt，共(184)页，3.204 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-243556.html

以下为本文档部分文字说明：

人工神经网络第一章绪论第二章神经网络基础知识第三章监督学习神经网络第四章竞争学习神经网络第五章组合学习神经网络第六章反馈神经网络第1章绪论§1.1人脑与计算机§1.2人工神经网络发展简史§1.2.1启蒙时期§1.2.2低潮时期§1.2.

3复兴时期§1.2.4新时期§1.2.5国内研究概况§1.3神经网络的基本特征与功能§1.4神经网络的应用领域本章小结第2章神经网络基础知识§2.1人工神经网络的生物学基础§2.2人工神经元模型§2.2.1

神经元的建摸§2.2.2神经元的数学模型§2.2.3神经元的转移函数§2.3人工神经网络模型§2.3.1网络拓扑结构类型§2.3.1.1层次型结构§2.3.1.2互连型结构§2.3.2网络信息流向类型§2.3.2.1前馈型网络§2.

3.2.2反馈型网络§2.4神经网络学习§2.4.1Hebbian学习规则§2.4.2Perceptron（感知器）学习规则§2.4.3δ(Delta)学习规则§2.4.4Widrow-Hoff学习规则§2.4.5Correlation（相关）

学习规则§2.4.6Winner-Take-All（胜者为王）学习规则§2.4.7Outstar（外星）学习规则本章小结第3章监督学习神经网络§3.1单层感知器§3.1.1感知器模型§3.1.2单节点感知器的功

能分析§3.1.3感知器的学习算法§3.1.4感知器的局限性及解决途径§3.2基于误差反传的多层感知器—BP神经网络§3.2.1BP网络模型§3.2.2BP学习算法§3.2.3BP算法的程序实现§3.2.

4BP网络的主要能力§3.2.5误差曲面与BP算法的局限性§3.3BP算法的改进§3.4BP网络设计基础§3.5BP网络应用与设计实例本章小结第4章竞争学习神经网络§4.1竞争学习的概念与原理§4.1.1基本概念§4.1.2竞争学习原理§4.2自组织特征映射神经网络§4.2.1SOM网络的生物学

基础§4.2.2SOM网(络)的拓扑结构与权值调整域§4.2.3自组织特征映射网(络)的运行原理与学习算法§4.2.3.1运行原理§4.2.3.2学习算法§4.2.3.3功能分析§4.3自组织特征映射网络的设计与应

用§4.4自适应共振理论本章小结第6章反馈神经网络§6.1离散型Hopfield神经网络(DHNN)§6.1.1网络的结构与工作方式§6.1.2网络的稳定性与吸引子§6.1.2.1网络的稳定性§6.1.2.2吸引子与能量函数§6.1.2.3吸引子的性质§6.1.2.4吸引子

的吸引域§6.1.3网络的权值设计§6.1.4网络的信息存储容量§6.2连续型Hopfield神经网络(CHNN)§6.3Hopfield网络应用与设计实例§6.4双向联想记忆(BAM)神经网络§6.5随机神经网络§6.6递归神经网络本章小结第

1章绪论§1.1人脑与计算机§1.2人工神经网络发展简史§1.2.1启蒙时期§1.2.2低潮时期§1.2.3复兴时期§1.2.4新时期§1.2.5国内研究概况§1.3神经网络的基本特征与功能§1.4神经网络的应用领域本章小结§1.2人工神经网络发展简史神经网络的研究

可追溯到19世纪末期，其发展历史可分为四个时期。第一个时期为启蒙时期，开始于1890年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Papert发表《感知器》(Perceptron)一书。第二个时期为低潮时期，开始于1969年，结束于1982年Hopfi

eld发表著名的文章“神经网络和物理系统”(NeuralNetworkandPhysicalSystem)。第三个时期为复兴时期，开始于J．J．Hopfield的突破性研究论文，结束于1986年D．E．Rumelhart和J．L．McClelland领导的研究

小组发表的《并行分布式处理》(ParallelDistributedProcessing)一书。第四个时期为高潮时期，以1987年首届国际人工神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络

的研究应用热潮，至今势头不衰。§1.2.1启蒙时期…低潮时期…复兴时期…高潮时期(新高潮)………本章小结第2章神经网络基础知识§2.1人工神经网络的生物学基础§2.2人工神经元模型§2.2.1神经元的建摸§2.2.2神经元的数

学模型§2.2.3神经元的转移函数§2.3人工神经网络模型§2.3.1网络拓扑结构类型§2.3.1.1层次型结构§2.3.1.2互连型结构§2.3.2网络信息流向类型§2.3.2.1前馈型网络§2.3.2.2反馈型网络§2.4神经网络学习§2.4.1Heb

bian学习规则§2.4.2Perceptron（感知器）学习规则§2.4.3δ(Delta)学习规则§2.4.4Widrow-Hoff学习规则§2.4.5Correlation（相关）学习规则§2.4.6Winn

er-Take-All（胜者为王）学习规则§2.4.7Outstar（外星）学习规则本章小结§2.2人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的计算结构。它不是人脑神经系

统的真实描写，而只是人脑神经系统的某种抽象、简化和模拟。神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。人工神经元是对生物神经元的一种形式化描述；人工神经元是对生物神经

元的信息处理过程进行抽象，并用数学语言予以描述；人工神经元是对生物神经元的结构和功能进行模拟，并用模型图予以表达。2.2.1神经元的建摸(1/6)目前人们提出的神经元模型已有很多，其中最早提出且影响最大的是M-P模型（1943年由心理学家McC

ulloch和数学家W．Pitts首先提出的）。该模型经过不断改进后，形成目前应用广泛的一种神经元模型。关于神经元的信息处理机制，该模型在简化的基础上提出以下6点假定：1、是一个多输入单输出的信息处理单元；2、突触分兴奋性和抑制性两种类型；3、神经元

具有空间整合特性和阀值特性；4、输入与输出间有固定的时滞，取决于突触延搁；5、忽略时间整合作用和不应期；6、神经元本身是非时变的，即其突触时延和突触强度均为常数。2.2.1神经元的建摸(2/6)上述假定，可用图2.5中的神经元模型示意图进行图解表示。2.2.1神经元的建摸(3

/6)如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号。图中用xi(i=1,2,…,n)表示输入数值的大小，它们同时输入神经元j。jx1…xi…xnwnjwijw1j2.2.1神经元的建摸(4/6)生物神经元具有不同的突触性质和突触

强度，其影响是使有些输入的作用比另外一些输入更为重要。对模拟神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。jx1…xi…

xn2.2.1神经元的建摸(5/6)作为基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，组合表示输入信号的“总和值”，相应于生物神经元的膜电位。神经元是否激活，决于某一阈值电平，即只有当其输入总和超过阈值时，神经元才被激活而发出脉冲，否则神经元不会

产生输出信号。∑wnjwijw1jjx1…xi…xnfoj2.2.1神经元的建摸(6/6)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元j输出。输出与输入之间的对应关系可用某种函数来表示，这种函数称为转移函数，一般都是非线性的。∑

wnjwijw1jjx1…xi…xn2.2.2神经元的数学模型(1/6)我们用一个数学表达式对上述内容可进行抽象与概括。令xi(t)表示t时刻神经元j接收的来自神经元i的信息输入，oj(t)表示t时刻神经元的信息输出，则神

经元j的状态可表达为)1.2(T)t(xwf)t(ojn1iijiijj−−==式中τij——输入i输出j间的突触延时；Tj——神经元j的阈值；wij——神经元i到j的突触连接系数值；f()——神

经元转移函数。2.2.2神经元的数学模型(2/6))2.2(T)t(xwf)1t(ojn1iiijj−=+=为简单起见，将上式中的突触延时取为单位时间，则式（2.1）可写为上式描述的神经元数学模型全面表达了神经元模型的6点假定。1、多输入单输出;(n个输入;1个输

出)2、突触分兴奋性和抑制性;(wij可正可负、可大可小)3、有空间整合特性和阀值特性;(∑求和,Tj)4、输入与输出间有固定的时滞;5、忽略时间整合作用和不应期;6、非时变，即突触时延和突触强度为常数。2.2.2神经元的数学模型(

3/6))2.2(T)t(xwf)1t(ojn1iiijj−=+=输入总和常称为神经元在t时刻的净输入，用)3.2()t(xw)t(netn1iiij'j==当net’j>Tj时，神经元j才能被激活。oj(t+

1)与xi(t)之间的单位时间差代表所有神经元具有相同的、恒定的工作节律，wij与时间无关。为简便起见，后面用到式(2.3)和(2.3)时，常将其中的(t+1)和(t)省略。2.2.2神经元的数学模型(4/6)===ni1T

njijj1njijj1jxxxX;wwwwwwW)4.2(XW)t(netTj'j=式(2.3)还可表示为权重向量和输入向量的点积其中Wj和X均为列向量，定义为)3.2()t(xw)t(netn1iiij'j=

=2.2.2神经元的数学模型(5/6)==ni0njijj0TjxxxwwwXW)5.2(XWxwnetTnetTjn0iiijjj'j===−=如果令x0=-1，w0j=Tj，则有-Tj=w0jx0，因此净输入和阈值

之差可表示为：式(2.4)中列向量和的第一个分量的下标均从1开始,而式(2.5)中则从0开始。===+=−=n0iiij0j0n1iiijj'jxwxwxwTnetnet2.2.2神经元的数学模型(6/6)采用式(2.5)的约定后,净输

入改写为net,与原来的区别是包含了阈值。综合以上各式,神经元模型可简化为)6.2()XW(f)net(foTjjj==x0=-1x1…xi…xnw0j=Tjfoj∑wnjwijw1jj-Tj=w0jx02.2.3神经元的转移函数神经元的各种不同数

学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，因此转移函数的研究具有重要意义。神经元的转移函数反映了神经元输出与其激活状态之间的关系，最常用的

转移函数有以下4种形式。（1）阈值型转移函数（2）非线性转移函数（3）分段线性转移函数（4）概率型转移函数=)7.2(0x,00x,1)x(f(1)阈值型转移函数阈值型转移函数采用了图2.6的单位阶跃函数，用下式定义具有这一转移函数的神经

元称为阈值型神经元，这是神经元模型中最简单的一种，经典的M-P模型就属于这一类。函数中的自变量x代表net’j-Tj，即当net’j>=Tj时，神经元为兴奋状态，输出为1；当时net’j<Tj，神经元为抑制状态，输出为0。xf(x)1.0−=(2.8)0x1,0x1,f(x)2.2.3神

经元的转移函数xf(x)1.0-1.02.2.3神经元的转移函数(2.9))e1/(1f(x)x−+=(2)非线性转移函数非线性转移函数为实数域R到[0，1]闭集的非减连续函数，代表了状态连续型神经元模型。S型函数曲线

特点见图2.7。最常用的非线性转移函数是单极性Sigmoid函数曲线，简称S型函数，其特点是函数本身及其导数都是连续的，因而在处理上十分方便。单极性S型函数定义如下xxxe1e11e12)x(f−−−+−=−+=有时也常采用双极性S型函数(即双曲正切)等形式图2-7S型转移函数

f(x)0.51.0xf(x)0.51.0xf(x)1.0x-1.0)8.2()e1/(1)x(fx−+=xxxe1e11e12)x(f−−−+−=−+=2.2.3神经元的转移函数(2.11)xxx1x0cx0x0f(x)cc

=(3)分段线性转移函数该函数特点是神经元的输入与输出在一定区间内满足线性关系。由于具有分段线性的特点，因而在实现上比较简单。这类函数也称为伪线性函数，表达式如下图2.8给出该函数曲线。图2-8分段线性转移函数xf(

x)1.0xc2.2.3神经元的转移函数(4)概率型转移函数采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需采用一个随机函数来描述输出状态为1或为0的概率。设神经元输出为1的概率为式中，T称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼(Boltzmann

)分布相类似，因此这种神经元模型也称为热力学模型。11P()=(2.10)-x/T1+e(2.12)作业补充题：请给出典型的人工神经元模型结构并加以说明。foj∑wnjwijw1jjx1…xi…xnT)t(xwf)1t(ojn1iiijj−

=+=神经元数学模型全面表达了神经元模型的6点假定。1、多输入单输出;(n个输入;1个输出)2、突触分兴奋性和抑制性;(wij可正可负、可大可小)3、有空间整合特性和阀值特性;(∑求和,Tj)4、输入与输出间有固定的时滞;5、忽略时间整合作用和不应期;6、非时变，即

突触时延和突触强度为常数。2.3人工神经网络模型人工神经网络中的神经元常称为节点或处理单元，每个节点均具有相同的结构，其动作在时间上同步。人工神经网络的模型很多，可以按照不同的方法进行分类。其中常见的两种分类方法是，按网络连接的拓扑结构分类和按网络内

部的信息流向分类。2.3.1网络拓扑结构类型2.3.2网络信息流向类型2.3.2.1前馈型网络2.3.2.2反馈型网络神经网络的拓扑结构是决定神经网络特性的第二大要素，其特点可归纳为分布式存储记忆与分布式信息处

理、高度互连性、高度并行性和结构可塑性。2.4神经网络学习人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定。神经网络的全体连接权值可用一个矩阵表示，其整体内容反映了神经网络对于所解决问题的知识存储。神经网络

能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是对可变权值的动态调整。人工神经网络的学习方式是决定神经网络信息处理性能的第三大要素，因此有关学习

的研究在神经网络研究中具有重要地位。2.4人工神经网络学习改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法），如果只是单个处理单元，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地

存储在调整后的权值矩阵中。神经网络的学习算法很多，根据一种广泛采用的分类方法，可将神经网络的学习算法归纳为三类：一是有导师学习；二为无导师学习；三是死记式学习。2.4.1Hebbian学习规则2.4.2Perceptron(感知器)学习规则2.4.3δ(Delta)学习

规则2.4.4Widrow-Hoff（LMS）学习规则2.4.5Correlation(相关)学习规则2.4.6Winner-Take-All(胜者为王)学习规则2.4.7Outstar(外星)学习规则第2章小结本章重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常

见的网络拓扑结构以及学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素，因而是本章学习的重点。(1)生物神经元的信息处理(2)神经元模型(3)神经网络模型(4)神经网络学习第3章监督学习神经网络§3.1单层感知器§3.1.1感知器模型§3

.1.2单节点感知器的功能分析§3.1.3感知器的学习算法§3.1.4感知器的局限性及解决途径§3.2基于误差反传的多层感知器—BP神经网络§3.2.1BP网络模型§3.2.2BP学习算法§3.2.3BP算法的程序实现§

3.2.4BP网络的主要能力§3.2.5误差曲面与BP算法的局限性§3.3BP算法的改进§3.4BP网络设计基础§3.5BP网络应用与设计实例本章小结感知器神经网络是一种典型的前馈神经网络，具有分层结构，信息从输入层进入网络，逐层

向前传递至输出层。根据感知器神经元转移函数、隐层数以及权值调整规则的不同,可以形成具有各种功能特点的神经网络。§3.1单层感知器§3.2基于误差反传的多层感知器—BP神经网络§3.3BP算法的改进§3.4BP网络设计基础§3.5BP网

络应用与设计实例本章小结第三章监督学习神经网络3.1.2单节点感知器的功能分析为便于直观分析，只考虑单计算节点感知器的情况(图3.2)。单计算节点感知器就是一个M-P神经元模型，由于采用了符号转移函数，又称为符号单元。输出可表达为1

010TjjTjo=−WXWX，，分三种情况，讨论单计算节点感知器的功能。−=00)0(11XWXWoTjTjj（1）设输入向量为两维X=(x1,x2)T，则两个输入分量在几何上构成一个二维平面，输入样本可以用该平面上的

一个点表示。节点j的输出为则有方程确定的直线成为二维输入样本空间上的一条分界线。线的一边netj>0，输出为1；线的另一边netj<0，输出为-1。112211221010jjjjjjjwxwxTowxwxT+−=−+−，，11220jj

jwxwxT+−=3.1.2单节点感知器的功能分析线上方，由于net>0，所以输出为1，我们用*表示；线下方，由于net<0，所以输出-1,，我们用o表示，见图3.3。由感知器权值和阈值确定的直线方程，规定了分界线在样本空间的位置，从而也确定了如何将输入样本分为两类。假如分

界线的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界线也会随之改变，因此总可以将其调整到正确分类的位置。3.1.2单节点感知器的功能分析（2）设输入向量X=(x1,x2,x3)T，则3个输入分量在几何上构成一个三维空间。节点的输出为则由方程1122331122331010jj

jjjjjjjwxwxwxTowxwxwxT++−=−++−，，确定三维空间的一个平面，该平面是一个分界平面。平面上方的样本用*表示，它们使，从而使输出为1；平面下方的样本用o表示，它们使

，从面使输出为-1。1122330jjjjwxwxwxT++−=同理，由感知器权值和阈值确定的平面方程规定了分界平面在样本空间的方向与位置，从而也确定了如何将输入样本分为两类。x1****O**O**OO*Ox2**OOOx33.1.2单节点感知器的功能分析（3）将上述两个特例推广到n维空间的一

般情况，设输入向量X=(x1,…,xn)T，则n个输入分量在几何上构成一个n维空间。由方程定义一个n维空间上的超平面。此平面可以将输入样本分为两类。通过以上分析可以看出，一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量

（包含了阈值）中，由权向量确定的分类判决界面可将输入模式分为两类。11220jjnjnjwxwxwxT+++−=…3.1.2单节点感知器的功能分析用感知器学习规则进行训练，得到的连接权值标在图3.4中。令净输入为零，可得到分类判决方程为120.50.50.750xx+−=

x1x2y000010100111由图3.5可以看出，该方程确定的直线将输出为1的样本点*和输出为0的样本点o正确分开了。从图中还可以看出，该直线并不是惟一解。下面研究用单计算节点感知器实现逻辑运算问题。用感知器实现逻辑“与”功能。逻辑“与”的真值表如右：x1x2★3.1.2单节点感知器

的功能分析用感知器实现逻辑“或”功能。逻辑“或”的真值表如右。用感知器学习规则进行训练，得到的连接权值为w1=w2=1，T=0.75，令净输入为零，得分类判决方程为该直线能把图3.6中的两类样本分外，显然，该直线也不是

惟一解。120.750xx+−=3.1.2单节点感知器的功能分析3.1.2单节点感知器的功能分析例3.1考虑下面定义的分类问题：{X1=[-1,1]T，d1=1}；{X2=[-1,-1]T，d2=1}；{X3=[0,0]T，d3=-1}；{X4=[1,0]T

，d4=-1}；其中：Xi=[x1i,x2i]T为样本的输入，di为样本的目标输出（i=1,2,3,4）。能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上4个输入向量验证。该感知器分类的正确性，对以下4个输入向量进行分类。X5=[-2,0]T；X6=[1,1

]T；X7=[0,1]T；X8=[-1,-2]T。解：首先将4个输入样本标在图3.7所示的输入平面上，立刻看出，可以找到一条直线将在两类样本分开，因此可以用单节点感知器解决该问题。设分界线方程为：021=−==niinniiTxwnet==−=210ijiijjTxwnet其中权值和阈值

可以用下一节介绍的感知器学习算法进行训练而得到，也可以采用求解联立方程的方法。x1x2X1X2X3X4==−=n1ijiijj0Txwnet3.1.2单节点感知器的功能分析例3.1考虑下面定义的分类问题：{X1=[-1,1]T，d1=1}；{X2

=[-1,-1]T，d2=1}；{X3=[0,0]T，d3=-1}；{X4=[1,0]T，d4=-1}；其中：Xi=[x1i,x2i]T为样本的输入，di为样本的目标输出（i=1,2,3,4）。能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上4个输入向量验证

。该感知器分类的正确性，对以下4个输入向量进行分类。X5=[-2,0]T；X6=[1,1]T；X7=[0,1]T；X8=[-1,-2]T。解（续）：取直线上的两个点分别代入方程，如对于本例可取(-0.5，0)和(-0.5，1)

，得到：=−+−=−−05.005.0211jjjjjTwwTw此方程可有无穷多组解。取w1j=-1，则有w2j=0，Tj=0.5。netj=-x1+0*x2–0.5分别将4个输入向量代入感知器的输出表达式o=sgn(WTX-T)，可得网络的输出分别为1，

1，-1，-1，即感知器的输出和教师信号相符，可以进行正确分类。x1x2X1X2X3X4x1x2X1X2X3X43.1.2单节点感知器的功能分析例3.1考虑下面定义的分类问题：{X1=[-1,1]T，d1=1}；{X2=[-1,-1]T，d2=1}；{X3=[0,0]T，d3=-1}

；{X4=[1,0]T，d4=-1}；其中：Xi=[x1i,x2i]T为样本的输入，di为样本的目标输出（i=1,2,3,4）。能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上4个输入向量验证。该感知器分类的正确性，对以下4个输入向量进行分类。X5=

[-2,0]T；X6=[1,1]T；X7=[0,1]T；X8=[-1,-2]T。解（续）：分别将5~8号待分类样本输入设计好的感知器，可以得到感知器的输出分别为1，-1，-1，1；因此在8个样本中，X1，X2，X5，X8属于一类，X2，X4，X6，X7属于另一

类。此外，从图3.8中还可以看出，样本X5，X6的分类不依赖于权值和阈值的选择，而样本X7，X8的分类则依赖于权值和阈值的选择。X5X6X7X83.1.2单节点感知器的功能分析例3.2考虑以下4类线性可分样本的分类问题：第一类：X1=[1,1]T，X2=[1,2]T；第二类：X3=

[2,-1]T，X4=[2,2]T；第三类：X5=[-1,2]T，X6=[-2,1]T；第四类：X7=[-1,-1]T，X8=[-2,-2]T；试设计一种感知器网络求解该问题。解：首先画出8个输入样本在平面上的分布，如图3.9(a)所示。图中……………………。x1x2第1类第2类第3

类第4类从图中可以看出，可以（用）两条直线将全部样本分为4类：先用一条分界线将8个样本分为两组，即第一、三类为一组，第二、四类为另一组。然后再用一条分界线将四类分开，其结果如图3.9(b)所示。由于每个感知器中的每个计算节点对应的权值和阈值确定了样本空间的一条线性判决边界，本例中

的感知器应有2个节点。如图3.10所示，对应于样本的期望输出为：第一类：d1=d2=[0,0]T；第二类：d3=d4=[0,1]T；第三类：d5=d6=[1,0]T；第四类：d7=d8=[1,1]T。可以推知，具有M个节点的单层感知器可对2M个线性可分类别进行分类。作业P

.67题3.1BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符

，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传、并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网

络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。3.2基于误差反传的多层感知器—BP神经网络3.2.1BP网络模型采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络。在多层前馈网的应用中，以图3.1

6所示的单隐层网络的应用最为普遍。o1…ok…olW1○Wk○Wl○y1○y2○…○yj…○ymV1Vm○○○○○x1x2…xi…xn-1xn习惯将单隐层前馈网称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。x0y0x1

xixn……W1WkWlV1VjVmoloko1ymyjy1……………………x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层x0y0x1xixn……W1WkWlV1V

jVmoloko1ymyjy1……………………X=(x1,…,xi,…,xn)T输入层输入向量X：x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入向量：X=(x

1,x2,…,xi,…,xn)T输入层输入层到隐层j之间的连接。x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层Vj=(v1j,…,vij,…,vnj)T输入层到隐层j之间的权值向量Vj：隐层x0y0x1xix

n……W1WkWlV1VjVmoloko1ymyjy1……………………输入层V1=(v11,…,vi1,…,vn1)T隐层输入层到隐层1之间的权值向量V1：x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层Vm=(v1m,…,v

im,…,vnm)T隐层输入层到隐层m之间的权值向量Vm：x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层V=(V1,…,Vj,…,Vm)隐层输入层到隐层之间的权值矩

阵（由m个权值向量组成）：y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1………………x0……输入层隐层隐层神经元的阈值可用加入x0=-1来处理。Vj=(v0j,v1j,…,vij,…,vnj)TX=(x0,x1,x2,…,xi,…,xn

)Tx0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层Y=(y1,…,yj,…,ym)T隐层的输出向量定义为Y：隐层x0y0x1xixn……W1WkWlV1VjVmolok

o1ymyjy1……………………输入层Y=(y1,…,yj,…,ym)T隐层输出向量Y到输出层k之间的连接。隐层输出层x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层Wk=(w1k,…,wjk,…,wmk)T隐层到输出层k之间

的权值向量Wk：隐层输出层x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层W1=(w11,…,wj1,…,wm1)T隐层到输出层1之间的权值向量W1：隐层输出层x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1…………………

…输入层Wl=(w1l,…,wjl,…,wml)T隐层到输出层l之间的权值向量Wl：隐层输出层x0x1xixn……W1WkWlV1VjVmoloko1ymyjy1………………y0……输出神经元的阈值可用y0

=-1来处理。Wj=(w0j,w1j,…,wij,…,wmj)TY=(y0,y1,y2,…,yi,…,ym)T输入层隐层输出层x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层隐层输出层

输出层的输出向量：O=(o1,o2,…,ok,…,ol)Tx0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………输入层隐层输出层期望的输出向量：d=(d1,…,dk,…,dl)Tx0y0x1xixn……W1WkWlV

1VjVmoloko1ymyjy1……………………输入层隐层输出层输入向量：X=(x1,x2,…,xi,…,xn)T隐层神经元的阈值，可加入x0=-1；隐层输出向量：Y=(y1,y2,…,yj,…,ym)T输出层神经元的阈值，可加入y0=-1；输出层输

出向量：O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵：W=(W1

,W2,…,Wk,…,Wl)o1…ok…olW1○Wk○Wl○y1○y2○…○yj…○ymV1Vm○○○○○x1x2…xi…xn-1xn各个变量之间如何建立联系，来描述整个网络？3.2.1BP网络模型)(kknetfo=对于输出层：k=1,2,…,l(3.6)

==m0jjjkkywnetk=1,2,…,l(3.7)对于隐层：j=1,2,…,m(3.8)j=1,2,…,m(3.9))(jjnetfy===n0iiijjxvnet3.2.1BP网络模型单极性S

igmoid函数：xe11xf−+=)((3.10)双极性Sigmoid函数：xxe1e1xf−−+−=)('()()1()=−fxfxfx式(3.6)～式(3.10)共同构成了三层前馈网的数学模型。3.2.1BP

网络模型(3.11))](1[21)('2xfxf−=转移函数：xe11xf−+=)((3.10)式(3.6)～式(3.10)共同构成了三层前馈网的数学模型。对于隐层：j=1,2,…,m(3.8)j=1,2,…,m(3.9))(jjnetfy===n0iiijjxvnet

对于输出层：)(kknetfo=k=1,2,…,l(3.6)==m0jjjkkywnetk=1,2,…,l(3.7)3.2.1BP网络模型?3.2.2BP学习算法以三层前馈网为例介绍BP学习算法，然后将所得结论推广到一般多层前馈网的情况。3.2.2.1网络误

差定义与权值调整思路当网络输出与期望输出不等时，存在输出误差。定义如下(3.12)221E)(Od−=lkkkdo==−2112()()lkkkEdo==−2112()()=12Td-Od-O3.2.2.1网络误差定义与权值调整思路进一步展开至输入层．有==−=l1k2m0jjjkkn

etfwfd21E)]}([{===−=l1k2m0jn0iiijjkkxvfwfd21)]}([{(3.14)由上式可以看出，网络（的输出）误差是各层权值wjk，vij的函数，因此调整权值可改变

误差E。将以上（输出）误差定义式展开至隐层，有=−=l1k2kknetfd21E)]([==−=l1k2m0jjjkkywfd21)]([(3.13)()lkkkEdo==−2112调整权值的原则是使误差不断地减小，因此权值的调整量与误差的负梯度

成正比，即3.2.2.1网络误差定义与权值调整思路jkjkwEw−=j=0,1,…,m;k=1,…,l(3.15a)ijijvEv−=i=0,1,…,n;j=1,…,m(3.15b)式中负号表示梯度下降，常数η∈

(0,1)表示比例系数，在训练中反映了学习速率。这类算法常被称为误差的梯度下降(GradientDescent)算法。在推导过程中，对输出层有j=0,1,…,m;k=1,…,l；对隐层有i=0,1,…,n;j=1,…,m。vij有多少个？wjk有多少个？对于输出层，

式(3.15a)可写为3.2.2.2BP算法推导jkkkjkjkwnetnetEwEw−=−=(3.16a)对隐层，式（3.15b）可写为(3.16b)ijjjijijvnetnetE

vEv−=−=对输出层和隐层各定义一个误差信号，令koknetE−=(3.17a)jyjnetE−=(3.17b)yjxi==m0jjjkkywnet==n0iiijj

xvnet3.2.2.2BP算法推导将式(3.16a)的权值调整式改写为(3.18a)jokjkyw=将式(3.16b)的权值调整式改写为（3.18b)iyjijxv=可以看出，只要计算出式(3.18)中的误差信号ok和yj，权值调整量的计算推导即可完成。下面继续推导如

何求ok和yj。koknetE−=jyjnetE−=k=1,…,lj=0,1,…,mj=1,…,mi=0,1,…,n)('jjjjjjyjnetfyEnetyyEnetE−=−=−=对于隐层，yj可展开为kokne

tE−=)(kknetfo=)(jjnetfy=)('kknetfoE−=3.2.2.2BP算法推导对于输出层，ok可展开为如何求δok和δyj。(3.19a)（3.19b)下面求式(3.19)中

网络(输出)误差对各层输出的偏导。kkknetooE−=3.2.2.2BP算法推导网络(输出)误差对各层输出的偏导。对于输出层，利用式(3.12)：()lkkkEdo==−2112对于隐层，利用式(3.13):[-()]lm2kjkjk1j01Edfwy2===可得：（3.

20a))(kkkodoE−−=可得:（3.20b)=−−=l1kjkkkkjwnetf'odyE)()(将以上结果代入式(3.19)，并应用式(3.11)：xe11xf−+=)(E=1/2[(d1-o1)2+…+(dk-ok)2+…+(dl-ol)2]

o1…ok…ol=f(net1)=f(w11y1+…+wj1yj+…+wm1ym)=f(netk)=f(w1ky1+…+wjkyj+…+wmkym)=f(netl)=f(w1ly1+…+wjlyj+…+wmlym)E?=jy将以上结果代入式(3.19)，并应用式(3.11)：xe11xf−+

=)()()(kkkkoko1ood−−=（3.21a)得到：（3.21b))(])()([jl1kjkkkkyjnetf'wnetf'od=−=)()(jjl1kjkok-y1yw==至此两个误差信号的推导已完成。3.2.2.2BP算法推导)(kkkodoE−−=(

)()[()]()kkkkkfnetfnet1fneto1o=−=−'将式(3.21)代回到式(3.18)，得到三层前馈网的BP学习算法权值调整计算公式为：jkkkkjokjkyo1oodyw)()(−−==ijjl1kjko

kiyjijxy1ywxv)()(−===(3.22a)(3.22b)3.2.2.2BP算法推导)(kknetfo===m0jjjkkywnet)(jjnetfy===n0iiijjxvnetxe11xf−+=)(=−=l1k2

kkod21E)(=−=l1k2kknetfd21)]([==−=l1k2m0jjjkknetfwfd21)]}([{===−=l1k2m0jn0iiijjkkxvfwfd21)]}([{koknetE−=jkkkjkjkwnetnetEwEw−=−=

ijjjijijvnetnetEvEv−=−=jyjnetE−=jokjkyw=iyjijxv=将式(3.21)代回到式(3.18)，得到三层前馈网的BP学习算法权值调整计算公式为：jkkkkjokjkyo1oodyw)()(−−==ijj

l1kjkokiyjijxy1ywxv)()(−===(3.22a)(3.22b)3.2.2.2BP算法推导容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定．即：学习率η、本层输出的误差信号δ以及本层输入信号Y(或X)。其

中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差。而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。ijjl1kjkokiyjijxy1ywxv)()(−===(3.22b

)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………ijjl1kjkokiyjijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………ijjl1kjkokiyj

ijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………looookjk1j1kjkljlk1wwww==++++ijjl1kjkok

iyjijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………looookjk1j1kjkljlk1wwww==++++j=1,2,…,mijjl1kjkokiyjijxy1yw

xv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………looook1k111k1kl1lk1wwww==++++j=1,2,…,mjkkkkjokjkyo1oody

w)()(−−==(3.22a)ijjl1kjkokiyjijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………把计算推广到更多层。jkkkkjokjkyo1oodyw)

()(−−==(3.22a)ijjl1kjkokiyjijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………把计算推广到更多层。jkkkkjokjkyo1oodyw)()(−−

==(3.22a)ijjl1kjkokiyjijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………把计算推广到更多层。jkkkkjokjkyo1oodyw)()(−

−==(3.22a)ijjl1kjkokiyjijxy1ywxv)()(−===(3.22b)x0y0x1xixn……W1WkWlV1VjVmoloko1ymyjy1……………………把计算推广到更多层

。f’(neto)δoWf’(nety)δy3.2.2.3BP算法的信号流向BP算法的特点是信号的前向计算和误差的反向传播流向特点，图3.17BP算法的信号流向。前向过程是：输入信号X从输入层进入后，通过隐层各节点的内星权向量Vj得到该层的输出

信号Y；该信号向前输入到输出层，通过其各节点内星权向量Wk得到该层输出O。反向过程是：在输出层期望输出d与实际输出O。相比较得到误差信号δo，由此可计算出输出层权值的调整量；误差信号δo通过隐层各节点的外星向量反传至隐层各节点，得到隐层的误差信号δy，由此可计算出隐

层权值的调整量。XVf(VTX)Wf(WTY)YVTXWTYO△Wηd+-d-O△Vη作业P.69题3.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次

训练过程进行分析，求出：①隐层权值矩阵V和输出层权值矩阵W②各层净输入和输出：nety、Y和neto、O，其中上标y代表隐层，上标o代表输出层；③各层输出的一阶号数f’(nety)和f’(neto)；④各层误差信号δo和δ

y；⑤各层权值调整量△V和△W；⑥调整后的权值矩阵V和W。作业P.69题3.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次训练过程进行分析，求

出：1．写出隐层权值1V和2V；2．写出输出层权值1W和2W；3．计算隐层的净输入和输出：y1net，y2net，1y，2y；4．计算输出层的净输入和输出：o1net，o2net，1o，2o；5．计算输出层的误差信号：o1和o2；6．计算

隐层的误差信号：y1和y2；7．计算输出层权值调整量1W和2W；8．计算输出层调整后的权值1W和2W；9．计算隐层权值调整量1V和2V；10．计算隐层调整后的权值调1V和2V。η=？作业P.693.14BP网络结构如图3.34

所示，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次训练过程进行分析，求出：解：1、−==2132111011vvvV

−==0212212022vvvV−==0122111011wwwW−==2132212022wwwW2、3、计算隐层的净输入和输出，831

121311−=−−==XVnetTy000.01111=+=−ynetey131102122=−−==XVnetTy731.01122=+=−ynetey作业P.693.14BP网络结构如图3.34所示，初始权值已标在

图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次训练过程进行分析，求出：解：4、计算输出层的净输入和输出，5、计算输出层的误差信号，000.2731.0000.0101211=−−==YWnetTo

881.01111=+=−oneteo462.4731.0000.0121322−=−−==YWnetTo011.01122=+=−oneteo007.0)881.01(*881.0*)881.095.0()1()(111

11=−−=−−=ooodo000.0)011.01(*011.0*)011.005.0()1()(22222=−−=−−=ooodo作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次

训练过程进行分析，求出：解：6、计算隐层的误差信号,)1()(1jjlkjkokyj-yyw==000.0)000.01(*000.0*)1*000.01*007.0()1()ww()1()(1112211111111

=−+=+===-yy-yywoolkkoky000.0)731.01(*731.0*)2*000.00*007.0()1()ww()1()(2222221122122=−−=+===-yy-yywoolkkoky作业P.693.14BP网络结构如图3.34所示

，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次训练过程进行分析，求出：解：7、计算输出层权值调整量△W1和△W2，−=−

===003.0000.004.0731.0000.01*007.0*5.021012111011yyywwwWo=−=

==000.0000.0000.0731.0000.01*000.0*5.021022212022yyywwwWo作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=[-1,1,3

]T，期望输出为d=[0.95,0.05]T。试对单次训练过程进行分析，求出：解：8、计算输出层调整后的权值量W1和W2，−=−+−=+=003.0000.104.2003.0

000.004.0012)0()1(21110111wwwWW−=+−=+=000.2000.1000.3000.0000.0000.0213)0()1(22120222wwwWW作业P.693.14BP网络结

构如图3.34所示，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试对单次训练过程进行分析，求出：解：9、计算隐层权值调整量△V1和△V2，=−=

==000.0000.0000.0311*000.0*5.021012111011xxxvvvVy=−===000.0000.0000.

0311*000.0*5.021022212022xxxvvvVy作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=[-1,1,3]T，期望输出为d=[0.95,0.05]T。试

对单次训练过程进行分析，求出：解：10、计算隐层调整后的权值量V1和V2，−=+−=+=213000.0000.0000

.0213)0()1(21110111vvvVV−=+−=+=021000.0000.0000.0021)0()1(221202

22vvvVV§3.2.3BP算法的程序实现§3.2.4BP网络的主要能力BP网络是目前应用最多的神经网络，这主要归结于基于BP算法的多层感知器具有以下一些重要能力。(1)非线性映射能力(2)泛化能力(3)容错能力§3.2.5误差曲面与BP算法的局限性§3.3BP算法的改进

§3.4BP网络设计基础§3.5BP网络应用与设计实例第三章小结本章介绍了两种基于监督学习的前馈型神经网络：由线性阈值单元组成的单层感知器和由非线性单元组成的多层感知器以及误差反向传播算法。采用BP算法的多层感知器简称BP

网络。学习重点如下：(1)感知器单层感知器只能解决线性可分的分类问题，多层感知器则可解决线性不可分的分类问题。感知器的每个隐节点可构成一个线性分类判决界，多个节点构成样本空间的凸域，输出节点可将凸域内外样本分为两类。

(2)标准BP算法BP算法的实质是把一组输入输出问题转化为非线性映射问题，并通过梯度下降算法迭代求解权值；BP算法分为净输入前向计算和误差反向传播两个过程。网络训练时，两个过程交替出现直到网络的总误差达到预设精度。网络工作时各权值不再变化，对每一给定输入，网络通过前向计算给出输出响应。第三章

小结本章介绍了两种基于监督学习的前馈型神经网络：由线性阈值单元组成的单层感知器和由非线性单元组成的多层感知器以及误差反向传播算法。采用BP算法的多层感知器简称BP网络。学习重点如下：(3)改进的BP算法针对标准BP算法存在的缺陷提出许

多改进算法。本章介绍了增加动量项法、变学习率法和引入陡度因子法。应用BP网络解决设计实际问题时，应尽量采用较成熟的改进算法。(4)采用BP算法的多层前馈网络的设计神经网络的设计涉及训练样本集设计、网络结构设计和训练与测试三个方面。训练样本集设计包括原始数

据的收集整理、数据分析、变量选择、特征提取及数据预处理等多方面的工作。网络结构设计包括隐层数和隐层节点数的选择，初始权值(阈值)的选择等，由于缺乏理论指导，主要靠经验和试凑。训练与测试交替进行可找到一个最佳训练次数，以保证网络具有较好的泛化能力。第4章竞争学习神

经网络§4.1竞争学习的概念与原理§4.1.1基本概念§4.1.2竞争学习原理§4.2自组织特征映射神经网络§4.2.1SOM网络的生物学基础§4.2.2SOM网(络)的拓扑结构与权值调整域§4.2.3自组织特征映射网(络)的运行原理与学习算法§4.2.

3.1运行原理§4.2.3.2学习算法§4.2.3.3功能分析§4.3自组织特征映射网络的设计与应用§4.4自适应共振理论本章小结采用有导师学习规则的神经网络要求对所学习的样本要给“正确答案”，以便网

络根据此“正确答案”来判断输出的误差，根据误差的大小改进自身的权值，提高正确解决问题的能力。然而在很多情况下，人在认知过程中没有须知的正确模式，人们获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察、分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。自组织神经网

络的无导师学习方式类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。这种无导师学习方式，大大拓宽了神经网络在模式识别与分类方面的应用。这种无导师学习方式也称为自组织学习(self-

organizedlearning)。第四章竞争学习神经网络自组织网络结构上属于层次型网络，有多种类型，其共同特点是：都具有竞争层。最简单的网络结构具有一个输入层和一个竞争层，如图4.1所示。输入层负责接受外界信息并将输入模式向

竞争层传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归类。自组织网络的自组织功能是通过竞争学习(competitivelearning)来实现的。输人层竞争层第四章竞争学习神经网络4.1竞争学习的概念与原理4.1.1基本概念4.1.1.1模式、分类、聚类与

相似性4.1.1.2相似性测量4.1.1.3侧抑制与竞争4.1.1.4向量归一化不同的向量有长短和方向的区别，向量归一化的目的是将向量变成方向不变长度为1的单位向量。2维和3维的单位向量可以在单位圆和单位球上直观表示。单位向量进行比较时

，只需比较向量的夹角。向量归一化按下式进行Tnjjnnjjxxxx====12121...,,ˆXXX（4.3）式中归一化后的向量用^标记。在竞争学习策略中采用的典型学习规则称为胜者为王（Win

ner-Take-All）。该算法可分为3个步骤。(1)向量归一化首先将当前输入模式向量X和自组织网络中的竞争层中各神经元对应的内星向量W(j=1，2，…，m)全部进行归一化处理，得到^X和^W(j＝

1，2，…，m)(2)寻找获胜神经元当网络得到一个输入模式向量^X时，竞争层的所有神经元对应的内星权向量^W(j＝1，2，…，m)均与^X进行相似性比较。将与^X最相似的内星权向量判为竞争获胜神经元，其权向量记为^Wj*。测量相似性的方法是对^W和^X计算欧式

距离(或夹角余弦)jmjjWXWXˆˆminˆˆ,...,2,1*−=−（4.4）4.1.2.1竞争学习规则4.1.2竞争学习原理4.1.2.1竞争学习规则(2)寻找获胜神经元jmjjWXWXˆˆminˆˆ,...,2,1*−=−（4.4）将上式展开并利用单位向量的特

点，可得于是按式(4.4)求最小欧式距离的问题就转化为按式(4.5)求最大点积的问题，而权向量与输入向量的点积正是竞争层神经元的净输入。)ˆˆ()ˆˆ(ˆˆ***jTjjWXWXWX−−=−TjTjTjT***ˆˆˆˆ2ˆˆWWXWXX+−=)ˆ1(2*XWTj−=从上式可以看出，欲使两

单位向量的欧式距离最小．须使两向量的点积最大。即（4.5）)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj=4.1.2竞争学习原理4.1.2.1竞争学习规则(3)网络输出与权值调整胜者为王竞争学习算法规定，获胜神经元输出为1，其余输为零。即==

+**01)1(jjjjtoj（4.6）只有获胜神经元才有权调整其权向量，调整后权向量为式中，μ(t)为学习率，一般其值随着学习的进展而减小。可以看出，当时j≠j*，对应神经元的权值得不到调整，其实质是“胜者”对它们进行了

强侧抑制，不允许它们兴奋。应当指出，归一化的权向量经过调整后得到的新向量不再是单位向量，因此需要对调整后的向量重新归一化。步骤(3)完成后回到步骤(1)继续训练，直到学习率μ(t)衰减到0。)ˆˆ()()(ˆ)(ˆ)1(*****jjjjjttttWXWWWW−+=+=+)(ˆ

)1(ttjjWW=+jj*（4.7）4.1.2竞争学习原理4.1.2.1竞争学习规则竞争学习算法的3个步骤。(1)向量归一化(2)寻找获胜神经元(3)网络输出与权值调整应当指出，归一化后的权向量经过调整后得到的新向量不再是单位向量，因此

需要对调整后的向量重新归一化。步骤(3)完成后回到步骤(1)继续训练，直到学习率μ(t)衰减到0。4.1.2竞争学习原理设输入模式为二维向量，归一化后其矢端可以看成分布在图4.4单位圆上的点，用“O”表示。设竞争层有4个神经元，对应的4个内星向量归一化

后也标在同一单位圆上，用“*”表示。自组织网络的训练样本中只提供了输人模式而没有提供关于分类的指导信息，网络是如何通过竞争机制自动发现样本空间的类别划分呢？图4.4竞争学习的几何意义从输入模式点的分布可以看出，它们

大体上聚集为4簇，因而可以分为4类。4.1.2竞争学习原理4.1.2.2竞争学习原理自组织网络在开始训练前，先对竞争层的权向量进行随机初始化。单位圆上的★是随机分布的。从图4.5可以看出，如果当前输入模式用实心圆●

表示，单位圆上各★点代表的权向量依次同●点代表的输入向量比较距离，结果是离得最近的那个★点获胜。从获胜神经元的权值调整式可以看出，调整的结果是使Wj*进一步接近当前输入X。4.1.2竞争学习原理4.1.2.2竞争学习原理调整后，获胜★点的位置进一步移向●

点及其所在的簇。显然，当下次出现与●点相像的同簇内的输入模式时，上次获胜的★点更容易获胜。依此方式经过充分训练后，单位圆上的4个★点会逐渐移入各输入模式的簇中心，从而使竞争层每个神经元的权向量成为输入模式一个聚类中心。当向网络输入一个模式时，竞争层中哪个神经元

获胜使输出为1，当前输入模式就归为哪类。4.1.2竞争学习原理4.1.2.2竞争学习原理例4.1用竞争学习算法将下列各模式分为2类：=6.08.01X−=9848.01736.02X=707.0707.03X−=9397.

0342.04X=8.06.05X解：为作图方便，将上述模式转换成极坐标形式：竞争层设两个权向量，随机初始化为单位向量：0101)0(1==W180101)0(2=−=WX1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4

=1∠-70°；X5=1∠53.1°取学习率η＝0.5，按1～5的顺序依次输入模式向量，用式(4.7)给出的算法调整权值，每次修改后重新进行归一化。前20次训练中两个权向量的变化情况列于表4.1中。4.1.2竞

争学习原理4.1.2.2竞争学习原理例4.1用竞争学习算法将下列各模式分为2类：4.1.2竞争学习原理4.1.2.2竞争学习原理（请仔细看一看表中权向量的变化情况。）训练此时W1W2训练此时W1W200°-180°118.43°-180°1140.5°-100°2-

30.8°-180°1240.5°-90°37°-180°1343°-90°432°-180°1443°-81°511°-180°1547.5°-81°624°-180°1642°-81°724°-130°1742°-80.5°8

34°-130°1843.5°-80.5°934°-100°1943.5°-75°1044°-100°2048.5°-75°例4.1用竞争学习算法将下列各模式分为2类：4.1.2竞争学习原理4.1.2.2竞

争学习原理（请仔细看一看表中权向量的变化情况。能否说明一下变化的过程？）训练此时W1W2训练此时W1W200°-180°118.43°-180°1140.5°-100°2-30.8°-180°1240.5°-90°37°-180°1343°-90°432°-18

0°1443°-81°511°-180°1547.5°-81°624°-180°1642°-81°724°-130°1742°-80.5°834°-130°1843.5°-80.5°934°-100°1943.5°-75°1044°-100°2048.5°-75°

例4.1用竞争学习算法将下列各模式分为2类：解(续)：X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4

x3x2取学习率η=0.5，按1～5的顺序依次输入模式向量，用式（4.7）给出的算法调整权值，每次修改权值后重新进行归一化。)ˆˆ()()(ˆ)(ˆ)1(*****jjjjjttttWXWWWW−+=+=+)(ˆ)1(ttjjWW=+jj*（4.7）4.1.2竞

争学习原理4.1.2.2竞争学习原理t=0例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.

1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2输入模式向量X1，获胜神经元是哪个？=6.08.0ˆ1X=01ˆ1W−=01ˆ2WjmjjWXWXˆˆminˆˆ,...,2,1*−=−)()(iTiiX

XXXXX−−=−)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj=t=0例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠3

6.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2输入模式向量X1，获胜神经元是那个？=6.08.0ˆ1X=01ˆ1W−=01ˆ2

W)ˆˆ(maxˆˆ},...,2,1{*XWXWTjmjTj=8.06.08.001ˆˆ11==XWT8.06.08.001ˆˆ12−=−=XWTt=0例4.1用竞争学习算法将下列各模式分为

2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2W1获胜。=6.08.0ˆ1X=01

ˆ*jW输入模式向量X1，获胜神经元是那个？=01ˆ1W−=01ˆ2Wt=0例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1

∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2=6.08.0ˆ1X=01ˆ*jW输入模式向量X1，W1获胜。获胜神经元是那个？=01ˆ1W−=01ˆ2Wt=0例4.1用竞争学习算法将下列各模式分为2类：解(续)：

4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2)0

16.08.0(5.0−=−+=+3.01.001)1(*tjW=+32.095.0)1(ˆ*tjW计算权值调整量修改权值重新进行归一化W1=1∠18.4°；W2=1∠18

0°=6.08.0ˆ1X=01ˆ*jW)ˆˆ()(**jjtWXW−=−=3.01.0=3.09.0t=0例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.

2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2=+32.095.0)1(ˆ*tjW算法权值调整

量修改权值重新进行归一化=6.08.0ˆ1X=01ˆ*jW)016.08.0(5.0−=)ˆˆ()(**jjtWXW−=−=3.01.0−+=+3.01.001)1(

*tjW=3.09.0t=0W1=1∠18.4°；W2=1∠180°例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X

2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠0°；W2=1∠-180°x5x1x4x3x2=+32.095.0)1(ˆ*tjW算法权值调整量修改权值重新进行归一化=6.08.0ˆ1X=

01ˆ*jW)016.08.0(5.0−=)ˆˆ()(**jjtWXW−=−=3.01.0−+=+3.01.001)1(*tjW=3.09

.0t=0W1=1∠18.4°；W2=1∠180°例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1

∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠18.6°；W2=1∠-180°x5x1x4x3x2t=1例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠

-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠18.6°；W2=1∠-180°x5x1x4x3x2输入模式向量X2，获胜神经元？−=9848.01736.0ˆ2X=32.095.0ˆ1W−=01ˆ2W)ˆ

ˆ(maxˆˆ},...,2,1{*XWXWTjmjTj=15.09848.01736.032.095.0ˆˆ11−=−=XWT17.09848.01736.001ˆˆ12−=−−=XWTt=1例4.1用竞争学习算法将下列各模式

分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠18.6°；W2=1∠-180°x5x1x4x3x2输入

模式向量X2，−=9848.01736.0ˆ2X=32.095.0ˆ*jWW1获胜。获胜神经元？=32.095.0ˆ1W−=01ˆ2Wt=1例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞

争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠18.6°；W2=1∠-180°x5x1x4x3x2−=9848.01736.0ˆ2X=32.095.0ˆ*jW输入模式向量X2，W1获胜。获胜神经元？

=32.095.0ˆ1W−=01ˆ2Wt=1例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠18.6°；

W2=1∠-180°x5x1x4x3x2−−=−−=−=65.039.0)32.095.09848.01736.0(5.0)ˆˆ()(**jjtWXW−=−−+=+33.056.065.039.03

2.095.0)1(*tjW−=+51.086.0)1(ˆ*tjW算法权值调整量修改权值重新进行归一化−=9848.01736.0ˆ2X=32.095.0ˆ*jWW1=1∠-30.7°；W2=1∠1

80°t=1例4.1用竞争学习算法将下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠

53.1°W1=1∠18.6°；W2=1∠-180°x5x1x4x3x2−−=−−=−=65.039.0)32.095.09848.01736.0(5.0)ˆˆ()(**jjtWXW−=−−+=+33.0

56.065.039.032.095.0)1(*tjW−=+51.086.0)1(ˆ*tjW算法权值调整量修改权值重新进行归一化W1=1∠-30.7°；W2=1∠180°−=9848.01736.0ˆ2X=32.095.0ˆ*jWt=1例4.1用竞争学习算法将

下列各模式分为2类：解(续)：4.1.2竞争学习原理4.1.2.2竞争学习原理X1=1∠36.9°；X2=1∠-80°；X3=1∠45°；X4=1∠-70°；X5=1∠53.1°W1=1∠18.6°；W2=1∠-180°x5x1x4x3

x2−−=−−=−=65.039.0)32.095.09848.01736.0(5.0)ˆˆ()(**jjtWXW−=−−+=+33.056.065.039.032.095.0)1(*

tjW−=+51.086.0)1(ˆ*tjW算法权值调整量修改权值重新进行归一化−=9848.01736.0ˆ2X=32.095.0ˆ*jWW1=1∠-30.7°；W2=1∠180°t=1例4.1用竞争学习算法将下列各模式分为2类：4.1.2竞争学习

原理4.1.2.2竞争学习原理训练此时W1W2训练此时W1W200°-180°118.43°-180°1140.5°-100°2-30.8°-180°1240.5°-90°37°-180°1343°-90°432°-180°1443°-81°511°-180°1547.5°-81

°624°-180°1642°-81°724°-130°1742°-80.5°834°-130°1843.5°-80.5°934°-100°1943.5°-75°1044°-100°2048.5°-75°例4.

1用竞争学习算法将下列各模式分为2类：4.1.2竞争学习原理4.1.2.2竞争学习原理在单位圆中，可以看出，X1、X3、X5属于同一模式类，其中心向量应为(X1+X3+X5)/3=1∠45°，X2、X4属于同一模式类，其中心向量应为(X2+

X4)/2=1∠-75°。经过20次训练，W1和W2就已经非常接近1∠45°和1∠-75°了。如果训练继续下去，两个权向量是否会最终收敛于两个模式类中心呢？如果训练中学习率保持为常数，W1和W2将在1∠45°和1∠-75°附近来回摆动，永远也不

可能收敛。只有当学习率随训练时间不断下降（直至零），才有可能使摆动减弱至终止。下面将要介绍的自组织特征映射网就是采取了这种训练方法。(学习率随训练时间的增加而不断下降。)设训练集中共有4个输入模式，均为单位向量{X1,X2,X3,X4}={1

∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题4.5自组织网由输入层与竞争层组成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W解：设学习率η为0.5，输入模式向量X1，

=707.0707.0ˆ1X获胜神经元是那个？707.0707.0707.001ˆ)0(ˆ11==XWT707.0707.0707.010ˆ)0(ˆ12−=−=XWT课堂作业“竞争学习的概念与原理”因为，所以W1获胜。1211ˆ)0(ˆˆ)0(ˆXWX

WTTx3x4x1x2解(续)：计算权值调整量，)01707.0707.0(5.0−=−+=3535.01465.001)1(*jW=383.0924.0)1(ˆ*jW修改权值，重新进行归一化，得：)ˆˆ

()(**jjtWXW−=−=3535.01465.0=3535.08535.0=383.0924.0)1(ˆ1W−=10)1(ˆ2W调整后的权值为：设训练集中共有4个输入模式，均为单位向量{X1,X2,X3,X4}

={1∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题4.5自组织网由输入层与竞争层组成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W课堂作业“竞争学习的概念与原理”设训练集

中共有4个输入模式，均为单位向量{X1,X2,X3,X4}={1∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题4.5自组织网由输入层与竞争层组成，初始权向

量已归一化为=01)0(ˆ1W−=10)0(ˆ2W解(续)：输入模式向量X2，−−=707.0707.0ˆ2X924.0707.0707.0383.0924.0ˆ)1(ˆ21−=

−−=XWT707.0707.0707.010ˆ)1(ˆ22=−−−=XWT课堂作业“竞争学习的概念与原理”因为，所以W2获胜。2122ˆ)1(ˆˆ)1(ˆXWXWTTx3x4x1x2解(续)：计算权值调整量，)10707.0707.0(

5.0−−−−=−+−=1465.03535.010)2(*jW−−=924.0383.0)2(ˆ*jW修改权值，重新进行归一化，得：)ˆˆ()(**jjt

WXW−=−=1465.03535.0−−=8535.03535.0=383.0924.0)2(ˆ1W−−=924.0383.0)2(ˆ2W调整后的权值为：设训练集中共有4个输入模式，均为单位向量{X1,X2

,X3,X4}={1∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题4.5自组织网由输入层与竞争层组成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W课堂作业“竞争学习的概念与原理

”设训练集中共有4个输入模式，均为单位向量{X1,X2,X3,X4}={1∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题4.5自组织网由输入层与竞争层

组成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W解(续)：输入模式向量X3，=10ˆ3X383.010383.0924.0ˆ)2(ˆ31==XWT924.010

924.0383.0ˆ)2(ˆ32−=−−=XWT因为……，所以W1获胜。课堂作业“竞争学习的概念与原理”x3x4x1x2解(续)：计算权值调整量，)383.0924.010(5.0−=−+=309.0462.0383

.0924.0)3(*jW=832.0555.0)3(ˆ*jW修改权值，重新进行归一化，得：)ˆˆ()(**jjtWXW−=−=309.0462.0=692.0462.0=832.055

5.0)3(ˆ1W−−=924.0383.0)3(ˆ2W调整后的权值为：设训练集中共有4个输入模式，均为单位向量{X1,X2,X3,X4}={1∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题4.5自组织网由输入层与竞争层组

成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W课堂作业“竞争学习的概念与原理”设训练集中共有4个输入模式，均为单位向量{X1,X2,X3,X4}={1∠45°,1∠-135°,1∠90°,1∠-180°}试用胜者为王

学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题4.5自组织网由输入层与竞争层组成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W解(续)：输入模式向量X4，−=01ˆ4X555.001832

.0555.0ˆ)3(ˆ41−=−=XWT383.001924.0383.0ˆ)3(ˆ42=−−−=XWT因为……，所以W2获胜。课堂作业“竞争学习的概念与原理”x3x4x1x2解(续)：计算权值调整量，)924.0383.001(5.0

−−−−=−+−−=462.0309.0924.0383.0(4)*jW−−=555.0832.0(4)ˆ*jW修改权值，重新进行归一化，得：)ˆˆ()(**jjtWXW−=−=462.0309

.0−−=462.0692.0=832.0555.0)4(ˆ1W−−=555.0832.0)4(ˆ2W调整后的权值为：设训练集中共有4个输入模式，均为单位向量{X1,X2,X3,X4}={1∠45°,1∠-135°,1∠90°,1∠-180°

}试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题4.5自组织网由输入层与竞争层组成，初始权向量已归一化为=01)0(ˆ1W−=10)0(ˆ2W课堂作业“竞争学习的概念与原理”4.2自组织特征映射(SOM)神经网络1981年芬兰He

lsink大学的T.Kohonen教授提出一种自组织特征映射网(Self—OrganiazingfeatureMap，简称SOM)，又称Kohonen网。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不

同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。4.2.1SOM网络的生物学基础4.2.2SOM网(络)的拓扑结构与权值调整域4.2自组织特征映射(SOM)

神经网络4.2.2SOM网(络)的拓扑结构与权值调整域SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。输入层的形式与BP网相同，节点数与（输入）样本维数相等。输出层也是竞争层，神经元的排列有多种形式，如一维线阵、二维平

面阵和三维栅格阵，常见的是前两种类型，下面分别予以介绍。输出层按一维阵列组织的SOM网是最简单的自组织神经网络，其结构特点与图4.1中的网络相同，惟一区别是图4.6(a)中的一维阵列SOM网的输出层只标出相邻神经元间的侧向连接。输出按二维平面组织是SOM网最典型的组织方式，该组织方式更具有

大脑皮层的形象。输出层的每个神经元同它周围的其他神经元侧向连接，排列成棋盘状平面，结构如图4.6(b)所示。4.2.2.1拓扑结构4.2自组织特征映射(SOM)神经网络4.2.2.1拓扑结构…………(a)一维线阵(b)二维平面线阵4.2.2SOM网(络)的拓扑结构与权值调整域4.

2.3自组织特征映射网(络)的运行原理与学习算法4.2.3.1运行原理4.2自组织特征映射(SOM)神经网络4.2.3.2学习算法4.2.3.3功能分析SOM网的功能特点之一是保序映射。SOM网的功能特

点之二是数据压缩。SOM网的功能特点之三是特征抽取。第6章反馈神经网络§6.1离散型Hopfield神经网络(DHNN)§6.1.1网络的结构与工作方式§6.1.2网络的稳定性与吸引子§6.1.2.1网络的稳定性§6.1.2.2

吸引子与能量函数§6.1.2.3吸引子的性质§6.1.2.4吸引子的吸引域§6.1.3网络的权值设计§6.1.4网络的信息存储容量§6.2连续型Hopfield神经网络(CHNN)§6.3Hopfield网络应用与设计实例§6.4双

向联想记忆(BAM)神经网络§6.5随机神经网络§6.6递归神经网络6.1离散型Hopfield神经网络(DHNN)6.1.1网络的结构与工作方式离散型反馈网络的拓扑结构如图6.1所示。这是一种单层全反馈网络，共有n个神经元。任何一

神经元的输出xi均通过连接权wij，反馈至所有神经元xj作为输入。x1x2…xi…xnT1T2…Ti…Tn每个神经元都通过连接权接收所有其它神经元输出反馈回来的信息，目的是为了让任何一神经元的输出都能受所有神经元输出的控制，从而使各神经元的输出能相互制约。每个神经元均设有一个阈值Tj。DHNN网可

简记为N=(W,T)。6.1离散型Hopfield神经网络(DHNN)6.1.1网络的结构与工作方式(1)网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示，所有神经元状态的集合就构成反馈网络的状态x1x2…xi…xnT1T2…Ti…Tn反馈网络的输入就是网络的状

态初始值，表示为X(0)=[x1(0)，x2(0)，…，xn(0)]T。X=[x1，x2，…，xn]T。6.1离散型Hopfield神经网络(DHNN)6.1.1网络的结构与工作方式反馈网络在外界输入激发下，从初始状态进入动态演变过程，其间网络中每个神经元的状态在不断变

化，变化规律由下式规定xj=f(netj)j=1,2,…,n其中，f(·)为转移函数，DHNN网的转移函数常采用符号函数−==0101sgnjjjjnetnetnetx）（j=1,2,…,n(6.1)=−=nijiijjTxwnet1)(j=1,2,…,n(

6.2)(1)网络的状态式中净输入为：6.1离散型Hopfield神经网络(DHNN)6.1.1网络的结构与工作方式对于DHNN网，一般有wii=0，wij=wji。反馈网络稳定时，每个神经元的状态都不再改变

，此时的稳定状态就是网络的输出，表示为→tt)(limX反馈网络是如何从初始状态X(0)演变到稳定状态X(t→∞)的[X(t+1)=X(t)]？(1)网络的状态x1x2…xi…xnT1T2…Ti…Tnwi1=w1iwi2=w2iwin=wni6.1离散型Hopfield神经网络(DHNN)6.

1.1网络的结构与工作方式网络的异步工作方式是一种串行方式。网络运行时，每次只有一个神经元i按式(6.1)进行状态的调整计算，其他神经元的状态均保持不变，即神经元状态的调整次序可以按某种规定的次序进行，也可以随

机选定。(2)网络的异步工作方式==+ijtxijtnettxjjj)()](sgn[)1((6.3)网络的同步工作方式是一种并行方式。网络运行时，所有神经元同时调整状态，即(3)网络的同步工作方式)]

(sgn[)1(tnettxjj=+j=1,2,…,n(6.4)6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子反馈网络是一种能存储若干个预先设置的稳定点（状态）的网络。运行时，当

向该网络施加一个起原始推动作用的初始输入模式X(0)后，网络便将其输出反馈回来作为下次的输入。经若干次循环（迭代）之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先设定的稳定点。设X(0)为网络的初始激活向量，它仅在初始瞬间t=0时作用于网络，起原始推动作用。X(0)移

去之后，网络处于自激状态，即由反馈回来的向量X(1)作为下一次的输入取而代之。反馈网络作为非线性动力学系统，具有丰富的动态特件，如稳定性、有限环状态和混沌(chaos)状态等。6.1离散型Hopfield神经网络(DHNN)

6.1.2网络的稳定性与吸引子如果网络是稳定的，它可以从任一初态收敛到一个稳态：DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)=X(t)，则称该网

络是稳定的。(a)(b)6.1.2.1网络的稳定性6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。(a)(b)(c)

6.1.2.1网络的稳定性6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子对于DHNN网，由于网络的状态是有限的，因此不可能出现浑浊现象。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个

，轨迹也不发散到无穷远，这种现象称为浑沌。(c)6.1.2.1网络的稳定性Chaosn.混沌，混乱，(完全)无秩序，不整齐6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子利用Hopfield网的稳态

可实现联想记忆功能。在拓扑结构及权矩阵均一定的情况下，Hopfield网能存储若干个预先设置的稳定状态；而网络运行后达到哪个稳定状态将与其初始状态有关。若用网络的稳态代表一种记忆模式，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程。初态可

视为记忆模式的部分信息，网络演变的过程可视为从部分信息回忆起全部信息的过程，从而实现了联想记忆功能。网络的稳定性与将要介绍的能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以

网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。网络的初态可视为问题的初始解，网络从初态向稳态的收敛过程便是优化计算的过程，这种寻优搜索是在网络演变过程中自动完成的。6.1.2.1网络的稳定性6.1离散型Hopfield

神经网络(DHNN)6.1.2网络的稳定性与吸引子网络达到稳定时的状态X，称为网络的吸引子。如果把吸引子视为问题的解，那么从初始状态朝吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从

部分信息寻找全部信息，即联想回忆的过程。6.1.2.2吸引子与能量函数定义6.1若网络的状态X满足X=f(WX-T)，则称X为网络的吸引子。定理6.1对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。6.1离散型Hopfield神经

网络(DHNN)6.1.2网络的稳定性与吸引子定理6.1证明：6.1.2.2吸引子与能量函数定义网络的能量函数为TXWXX)()()()(21ttttETT+−=(6.5)令网络的能量改变量为ΔE，状态改变量为ΔX，有)()1()(tttEEE−+=(6.6))()1(

)(tttXXX−+=(6.7))()()1(tttXXX+=+定理6.1对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。6.1离散型Hopfi

eld神经网络(DHNN)6.1.2网络的稳定性与吸引子定理6.1证明：6.1.2.2吸引子与能量函数定义网络的能量函数为将式(6.6)、(6.7)代入(6.5)，则网络能量可进一步展开为TXWXX)()()()(21tttt

ETT+−=(6.5)令网络的能量改变量为ΔE，状态改变量为ΔX，有)()1()(tttEEE−+=(6.6))()1()(tEtEtE−+=])()()([)]()([)]()([)]()([2121TXWXXTXXXXWXX

tttttttttTTTT+−−++++−=)()1()(tttXXX−+=(6.7))()()1(tttXXX+=+6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子6.

1.2.2吸引子与能量函数TXXWXWXX)()()()()(21tttttTTT+−−=由于定理6.1规定，按异步工作方式，第t个时刻只有1个神经元调整状态，设该神经元为j，将△X(t)=[0,…,0,△xj(t),0,…,0]T代入上式，并考虑到W为对

称矩阵，有jjjnijiijjwtxTxwtxtE)()]()[()(2211−−−==设各神经元不存在自反馈，所以有wjj=0，并引入式(6.3)，上式可简化为])()()([)]()([)]()([)]()([212

1TXWXXTXXXXWXXtttttttttTTTT+−−++++−=)()(])()[(21ttttETTXWXTWXX−−−=(6.8))]()()()()()()()([TTTT21ttttt

tttXWXXWXWXXWXX+++−6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子6.1.2.2吸引子与能量函数考虑上式中可能出现的所有情况。情况a：xj(t)=-1

,xj(t+1)=1,由式(6.7)得Δxj(t)=2,由式(6.1)知，netj(t)≧0，代入式(6.9)，得ΔE(t)≦0。情况b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(6

.1)知，netj(t)<0，代入式(6.9)，得ΔE(t)<0。情况c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(6.9)，从而有ΔE(t)=0。由此可知在任何情况下均有ΔE(t)≦0。(6.9))

()()(tnettxtEjj−=6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子以上三种情况包括了式(6.9)可能出现的所有情况，由此可知在任何情况下均有E(t)≤0，也就是说，在网络动态演变过程中，能量总是在不断下降或

保持不变。由于网络中各节点的状态只能取1或-1，能量函数E(t)作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时△E(t)=0。6.1.2.2吸引子与能量函数当E(t)收敛于常数时，是否对应于网络的稳态？当E

(t)收敛于常数时，有△E(t)=0，此时对应于以下两种情况。情况a：xj(t)=xj(t+1)=1，或xj(t)=xj(t+1)=-1，这种情况下神经元j的状态不再改变，表明网络已进入稳态，对应的网络状态就是网络的吸引子。情况b：x

j(t)=-1，netj(t)=0，xj(t+1)=1，这种情况下网络继续演变时，xj=1将不会再变化。因为如果xj由1变回到-1，则有△E(t)＜0，与E(t)收敛于常数的情况相矛盾。6.1离散型Hopf

ield神经网络(DHNN)6.1.2网络的稳定性与吸引子综上所述，当网络工作方式和权矩阵均满足定理6.1的条件时，网络最终将收敛到一个吸引子。6.1.2.2吸引子与能量函数事实上，对wjj=0的规定是为了数学推导的简便，如

不做此规定，上述结论仍然成立。此外当神经元状态取1和0时，上述结论也将成立。定理6.2对于DHNN网，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。证：由式(6.8)

得)()1()(tEtEtE−+=)()()()(21ttttTTXWXnetX−−=)()(])()[(21ttttTTXWXTWXX−−−=6.1离散型Hopfield神经网络(DHN

N)6.1.2网络的稳定性与吸引子6.1.2.2吸引子与能量函数前已证明，对于任何神经元j，有-△xj(t)netj(t)≤0，因此上式第一项不大于0。只要W为非负定阵，第二项也不大于0，于是有E(t)≤0，也就

是说E(t)最终将收敛到一个常数值，对应的稳定状态是网络的一个吸引子。)()()()()(21tttttETTXWXnetX−−=以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络

能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子6.1.2.3吸引子的性质性质1若X是网络的一个吸引子，且阈值T=0，在sgn(0)处，

x(t+1)=x(t)，则-X也一定是该网络的吸引子。证：因为X是吸引子，即X=f(WX)，从而有f[W(-X)]=f[-WX]=-f[WX]=-X所以-X也是该网络的吸引子。6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子

6.1.2.3吸引子的性质性质2若Xa是网络的一个吸引子，则与Xa的海明距离dH(Xa,Xb)=1的Xb一定不是吸引子。证：首先说明，两个向量的海明距离dH(Xa，Xb)是指两个向量中不相同元素的个数。不妨设xa1≠xb1，xaj=xbj，j=2，3，…，n。因为w11＝0，

由吸引子定义，有又假设条件知，xa1≠xb1，故)()(2112111==−=−=nibiiniaiiaTxwfTxwfx所以Xb不是该网络的吸引子。)(2111=−nibiibTxwfx6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引

子6.1.2.3吸引子的性质性质3若有一组向量Xp（p=1，2，…，P）均是网络的吸引子，且在sgn(0)处，xj(t+1)=xj(t)，则由该组向量线性组合而成的向量也是该网络的吸引子。=PpppXa1（该性质请读者自己证明

。）6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子例6.2有一DHNN网，n=4，Tj=0，j=1,2,3,4，向量Xa、Xb和权值矩阵W分别为检验Xa和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。=

−−−−==0222202222022220,1111,1111WXXba解:本例要求验证吸引子和检查吸引域，下面分两步进行。①检验吸引子，由吸引子定义aaXfWXf==

==1111)6sgn()6sgn()6sgn()6sgn(6666)(所以Xa是网络的吸引子。因为Xb=-Xa，由吸引子的性质1知，Xb也是网络的吸引子。6.1离散型Hopfield神经网络(DHNN)6.1.2网络的稳定性与吸引子例6.2有

一DHNN网，n=4，Tj=0，j=1,2,3,4，向量Xa、Xb和权值矩阵W分别为检验Xa和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。=−−−−==0222202222022220,1111,1111WXXba解（续）：

②考察联想记忆能力设有样本X1=(-1,1,1,1)、X2=(1,-1,-1,-1)、X3=(1,1,-1,-1)，试考察网络以异步方式工作时两个吸引子对三个样本的吸引能力。令网络初态X(0)=X1=(-1,1,1,1)。设神

经元状态调整次序为：1→2→3→4，有X(0)=(-1,1,1,1)→X(1)=(1,1,1,1)=Xa，可以看出该样本比较接近吸引子Xa，事实上只按异步方式调整了一步，样本X1即收敛于Xa。令网络初态X(0)=X2=(1,-1

,-1,-1)。设神经元状态调整次序为1→2→3→4，有X(0)=(1,-1,-1,-1)→X(1)=(-1,-1,-1,-1)=Xb，可以看出样本X2比较接近吸引子Xb，按异步方式调整一步后，样本X2收敛于Xb。6.1离散型Hopfield神经网络(D

HNN)6.1.2网络的稳定性与吸引子例6.2有一DHNN网，n=4，Tj=0，j=1,2,3,4，向量Xa、Xb和权值矩阵W分别为检验Xa和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。=−−−−==02

22202222022220,1111,1111WXXba解（续）：②考察联想记忆能力设有样本X1=(-1,1,1,1)、X2=(1,-1,-1,-1)、X3=(1,1,-1,-1)，试考察网络以异步方式工作时两个吸引子对三个样本的吸引能力。令网络初态X(0)=X3=(1

,1,-1,-1)，它与两个吸引子的海明距离相等。若设神经元状态调整次序为1→2→3→4，有X(0)=(1,1,-1,-1)→X(1)=(-1,1,-1,-1)→X(2)=(-1,-1,-1,-1)=Xb。若将神经元状态调整次序改为3→4→1→2，则有X(0)=(1,1,-1,-1)

→X(1)=(1,1,1,-1)→X(2)=(1,1,1,1)=Xa。从本例可以看出，当网络的异步调整次序一定时,最终稳定于哪个吸引子与其初态有关；对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。作业：题6.6

(P.153)6.6DHNN网络如图6.21所示，部分权值已标在图中。试求：（1）该网络的权值矩阵W；（2）从初始状态开始按1，2，…顺序进行异步更新，给定初始状态为：（3）以上哪个状态是网络的吸引子？（4）计算对应于吸引子的能量值。−−=11

111)0(1X−−−=11111)0(2X−−−−=11111)0(3X−−−=11111)0(4X−−=11111)0(5X作业：题6.6

(P.153)6.6DHNN网络如图6.21所示，部分权值已标在图中。试求：（1）该网络的权值矩阵W；（2）从初始状态开始按1，2，…顺序进行异步更新，给定初始状态为：（3）以上哪个状态是网络的吸引子？（4）计算对应于吸引子的能量值。【检验X1和X2是否为网络的吸引子。】

−−=11111)0(1X−−−=11111)0(2X−−−−=11111)0(3X−−−=11111)0(4X−−=11111)0(5X作业：

题6.6(P.153)6.6DHNN网络如图6.21所示，部分权值已标在图中。试求：（1）该网络的权值矩阵W；=55545352514544434241353433323125

242322211514131211wwwwwwwwwwwwwwwwwwwwwwwwwW=000004535251545342414353423132524231215141312wwwwwww

wwwwwwwwwwwww−=01010101045352545342435342325242315141312wwwwwwwwwwwwwwww−−−=03103

101101045354534353425242315141312wwwwwwwwwwwww−−−−−=03131013101101045353425242315141312wwwwwwwwww−−−−−−−−−−=031313013

1110113310111110作业：题6.6(P.153)6.6DHNN网络如图6.21所示，部分权值已标在图中。试求：（1）该网络的权值矩阵W；−−−−−−−−−−=0313130131110113310111110W

−−=11111)0(1X−−−=11111)0(2X−−−−=11111)0(3X−−−=11111)0(4X

−−=11111)0(5X（2）检验X1和X2是否为网络的吸引子。因为：−−−−−−−−−−−−=11111031313013111011331011111

0)(1ffWX111111)8sgn()2sgn()0sgn()2sgn()0sgn(82020X−−=−−=−−=f所以X1不是

网络的吸引子。作业：题6.6(P.153)6.6DHNN网络如图6.21所示，部分权值已标在图中。试求：（1）该网络的权值矩阵W；−−−−−−−−−−=0313130131110113310111110W−−=11111)

0(1X−−−=11111)0(2X−−−−=11111)0(3X−−−=11111)0(4X−−=1111

1)0(5X−−−−−−−−−−−−−=111110313130131110113310111110)(2ffWX211111)8s

gn()8sgn()2sgn()8sgn()2sgn(X=−−−=−−−=（2）检验X1和X2是否为网络的吸引子。因为：所以X2是网络的吸引子。考查日期：考查时间：考查地点：答疑地点：答疑时间：第14周12月01日(星期

五)晚上19:40至21:40西一教1-201室西二教一楼教师休息室第14周12月01日(星期四)9:30~11:30)o1(o)od(kkkkok−−=)y1(y)w(jjl1kjkokyj−==jokjkyw=

iyjijxv=附一：误差信号公式附二：权值调整公式)e1(1x−+附三：函数f(x)=表(例如：x=0.3，f(x)=0.57)x0.10.20.30.40.50.60.70.80.9f(x)0.5250.5500.5740.59

90.6220.6460.6680.6900.711(要求：计算结果保留一位、保留三位小数点。)=+−+=+=+*jj)t(Wˆ)1t(W)]t(WˆXˆ[)t(WˆW)t(Wˆ)1t(Wjj*j*j*j*j*j附一：权向量调整公式x附二：函数f(

x)=表（例如：x=0.85，f(x)=0.922）x0.000.010.020.030.040.050.060.070.080.090.80.8940.9000.9060.9110.9170.9220.92

70.9330.9380.9430.90.9490.9540.9590.9640.9700.9750.9800.9850.9900.995(要求：计算结果保留两位小数点。)感谢下载