BP网络学习的基础及方式

（一）BP网络学习的基础

1.三层BP网络

BP网络学习的网络基础是具有多层前馈结构的BP网络。后面对BP网络学习的讨论，基于图8－11给出的三层BP网络结构。

图8-11　三层BP网络

2.网络节点的输入/输出关系

在图8－11所示的三层BP网络中，分别用i、j、k表示输入层、隐含层、输出层节点，且有以下符号表示。

Oi、Oj、Ok表示输入层节点i、隐含层节点j、输出层节点k的输出。

Ii、Ij、Ik表示输入层节点i、隐含层节点j、输出层节点k的输入。

wij、wjk表示从输入层节点i到隐含层节点j、从隐含层节点j到输出层节点k的连接权值。

θj、θk表示隐含层节点j、输出层节点k的阈值。

对输入层节点i，有

对隐含层节点j，有

对输出层节点k有

3.BP网络学习的方式(www.xing528.com)

BP网络的学习过程实际上是用训练样本对网络进行训练的过程。网络的训练有两种方式：顺序方式和批处理方式。顺序方式是指每输入一个训练样本，就根据该样本所产生的误差，对网络的权值和阈值进行修改。批处理方式是指待样本集中的所有训练样本都一次性地全部输入网络后，再针对总的平均误差E，去修改网络的连接权值和阈值。

顺序方式的优点是所需的临时存储空间较小，且采用随机输入样本的方法，可在一定程度上避免局部极小现象。其缺点是收敛条件比较复杂。批处理方式的优点是能够精确计算梯度向量，收敛条件比较简单，且易于并行计算。其缺点是学习算法理解比较困难。因此，对BP网络学习算法的讨论主要顺序学习方式。

（二）BP网络学习算法

下面仍以前述三层BP网络为例，基于顺序学习方式讨论其学习算法。

假设wij和wjk分别是输入层到隐含层和隐含层到输出层的连接权值；R是训练集中训练样本的个数，其计数器为r；T是训练过程的最大迭代次数，其计数器为t。BP网络学习算法可描述如下。

①初始化网络及学习参数。将wij、wjk、θj、θk均赋以较小的一个随机数；设置学习增益因子η为[0，1]区间的一个正数；置训练样本计数器r＝0，误差E＝0，误差阈值ε为很小的正数。

②随机输入一个训练样本，r＝r＋l，t＝0。

③对输入样本，按照式（8－2）～式（8－6）计算隐含层神经元的状态和输出层每个节点的实际输出yk，按照计算该样本实际输出与期望输出的误差E。

④检查E＞ε？若是，执行下一步，否则转⑧。

⑤t＝t＋l。

⑥检查t≤T？若是，执行下一步⑦，否则转⑧。

⑦按照δk＝（dk－yk）yk（1－yk）计算输出层节点k的δk，按照计算隐含层节点j的δj，按照wjk（t＋1）＝wjk（t）＋Δwjk＝wjk（t）＋η（dk－yk）（1－yk）yjOj计算wjk（t＋1），按照wij（t＋1）＝wij（t）＋Δwij＝wij（t）计算wij（t＋1），返回到③。其中，对阈值可按照连接权值的学习方式进行修正，只是要把阈值设想为神经元的连接权值，并假定其输入信号总为单位值1即可。

⑧检查r＝R？若是，执行下一步⑨，否则转③。

⑨结束。

BP网络的上述学习算法可用图8－12所示的流程图来描述。

图8-12　BP网络学习算法的流程