应用于水文预报的现代BP网络算法

BP网络算法本质上是以网络误差平方和为目标函数，按梯度法求其目标函数达到最小值的算法。由于各隐层的理想输出值预先是不知道的，因此，各隐层的误差难以表达。BP算法的功绩就在于它巧妙地解决了这个问题。下面具体介绍利用最速下降法计算S型函数的三层前馈神经网络的BP算法。三层BP网络的结构如图6.4所示。

设网络的输入是n维向量x ＝（x1，x2，…，xn），输入层为n 个神经元，其权重系数计为wij（1）；隐层有k 个神经元，其输出为h＝（h1，h2，…，hk），其权重系数计为wij（2）；输出是m维向量y ＝（y1，y2，…，ym），输出层为m个神经元，其权重系数计为wij（3）。为了分析方便，下面引入几个统一记法：

设对样本p 进行学习时，其输出向量的理想值为yp，其实际值为O（3）p，于是其第i个分量的误差平方和为：

现在我们希望通过不断改变网络中各神经元的权重，使E 尽可能小。为此，我们采取最速下降法进行求解。按最速下降法，各权的调整量为：

式中：α为权重调整幅度系数；i＝1，2，…，Q（Q为第l 层神经元个数）；j＝1，2，…，L（L 为l 层输入个数）；l＝1，2，3。

现对有关函数求偏导数：

这个变量引入后使BP算法计算公式的物理概念变得非常清晰（即误差向后传播），而且计算公式在形式上变得十分对称。

由于

于是将式（6.26）和式（6.27）代入式（6.25）可得权重调整系数为：

第一种情况，对于网络的输出层：

将式（6.30）代入式（6.29）得：

第二种情况，对网络的隐含层经过求微分复合可得：

由

总结上述，得三层结构BP算法的网络权重系数的调整公式如下：

当l＝3 时：

当l＝2时：

当l＝1 时：

由于网络采用S型函数，因此其输出的各神经元的理想值只能趋近1 或0，于是在设置样本的理想值的分量时，一般设置各值为0.9或0.1 较为适宜。(www.xing528.com)