智能优化算法：网络结构与学习方法简介

神经网络是大量简单神经元高度错综复杂连接而成的网络系统。单元特性、拓扑结构、规律是确定一个网络的三要素。

1.网络结构

由简单的神经元可以按不同模型构成各种不同拓扑结构的神经网络。根据不同的连接方式，神经网络可以分成两类：

（1）前向网络。前向型神经网络是整个网络体系中最常见的一种网络结构。神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入，网络中没有反馈，可以用一个有向无环路图表示。其信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。例如广泛使用的BP网络就属于此类型。

（2）相互连接型网络（全互连或部分互连）。在这类网络中，多个神经元相互连接组成一个互连神经网络，又可以分成反馈型神经网络和自组织型神经网络。网络中任意两个神经元之间可能有连接，输出信号要在神经元之间反复传递，从某一初始状态开始，经过若干次变化，逐渐趋于某种稳定状态或进入周期振荡等其他状态。Hopfield神经网络和Boltzmann机均属于这种类型。

2.学习方法

通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点。可以这样说，学习方法是人工神经网络研究的核心问题。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。学习方式有三种：(www.xing528.com)

（1）监督学习

这种学习方式需要外界存在一个“教师”，该方式可以对给定一组输入提供应有的输出结果，这组已知的输入、输出数据称为训练样本集。学习系统可以根据已知输出与实际输出之间的差值来调节系统参数。

（2）非监督学习规则

非监督学习时不存在外部教师，学习系统完全按照环境提供数据的某些统计规律来调节自身参数或结构，以表示出外部输入的某种固有特性。

（3）强化学习

强化学习介于上述两种情况之间，外部环境对系统输出结果只给出评价信息而不给出正确答案，学习系统通过强化那些受奖的动作来改善自身的性能。