4.4 对偶传播神经网络
1987年,美国学者Robert Hecht-Nielsen提出对偶传播神经网络模型(Counter-Propagation Network,缩写为CPN)
4.4.1 网络结构与运行原理
对偶传播网络

网络各层的数学描述如下:
X=(x1,x2,…,xn)T
Y=(y1,y2,…,ym)T,yi∈{0,1},i=1,2,…,m
O=(o1,o2,…,ol)T
d=(d1,d2,…,dl)T
V=(V1,V2,…,Vj,…,Vm)
W=(W1,W2,…,Wk,…,Wl)
对偶传播神经网络
CPN网运行过程
对偶传播神经网络
4.4.2 CPN的学习算法
第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练,步骤如下:
(1)将所有内星权随机地赋以0～1之间的初始值,并归一化为单位长度,训练集内的所有输入模式也要进行归一化.
(2)输入一个模式Xp,计算净输入netj = ,j=1,2,…,m.
(3)确定竞争获胜神经元.
对偶传播神经网络
X
V


T
j
4.4.2 CPN的学习算法
第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练,步骤如下:
(4) CPN网络的竞争算法不设优胜邻域,因此只调整获胜神经元的内星权向量,调整规则为
(5) 重复步骤(2)至步骤(4)直到下降至0.需要注意的是,权向量经过调整后必须重新作归一化处理.
对偶传播神经网络
4.4.2 CPN的学习算法
第二阶段采用外星学习算法对隐层至输出层的外星权向量进行训练,步骤如下:
(1)输入一个模式对Xp,dp,计算净输入netj= , j=1,2,…,m,
(2)确定竞争获胜神经元,使
(4.17)

对偶传播神经网络
X
V


T
j
4.4.2 CPN的学习算法
(3)调整隐层到输出层的外星权向量,调整规则为
(4.18)

ok由下式计算
(4.19)
(4.20)
对偶传播神经网络
4.4.2 CPN的学习算法
(4.18)
(4.20)
外星权向量调整规则:
(4.21)
(4)重复步骤(1)至步骤(3)直到下降至0.
对偶传播神经网络
4.4.3 对偶传播神经网络的其他形式
4.4.3.1 双获胜节点CPN网
4.4.3.2 双向CPN网
Y = f (X )
X ' = f (Y ')
当向网络输入(X,0 )时,网络输出为(Y,0 );当向网络输入(0,Y ')时,网络输出为(0,X '),当向网络输入(X,Y ')时,网络输出为(Y,X ' ).
4.4.4 CPN网络的应用