深度学习：LeNet网络结构详解

LeNet是卷积神经网络的祖师爷Yann LeCun在1998年提出，成功用于解决手写数字识别的视觉任务。与上一章介绍的普通神经网络主要包括全连接层相比，LeNet通过一些特殊的层组成网络结构。自那时起，卷积神经网络最基本的架构就定下来了：卷积层、池化层和全连接层。如今，各大深度学习框架中所使用的LeNet都是做了一定的简化改进，但核心的网络结构依然如图5-1所示。

在图5-1中，LeNet不含输入层共包括7层网络，其中5层的结构区别于全连接网络，这也是有时用LeNet-5来特指网络名称的原因，表示具有5个卷积层，它们用C1、S2、C3、S4、C5标注，全连接网络层和输出层分别用F6和OUTPUT表示，图中的每组矩形框可以看作一层网络，矩形框从左到右仿佛越来越小，但数量越来越多。

图5-1　LeNet网络结构

对手写数字识别这类图像分类任务而言，最左面输入的是一张图像，图像中的方框中的每个像素相当于一个神经元，每个方框内的神经元作为一组元素构成了卷积神经网络的初始输入单元。相邻两层的神经元连接采用图中的小立方体锥形近似表示，代表遍历两侧网络包含的所有神经元。整个神经网络可以分成两部分，第一部分包括输入图像和C1、S2、C3、S4、C5，在这里，图像不断被加工成尺寸更小\数量更多的图像，完成特征提取功能；第二部分与传统的前馈神经网络组成方式相同，采用全连接层实现分类识别功能。(www.xing528.com)

接下来看一下LeNet这个卷积神经网络的信息处理过程。首先，32×32的输入图像经过一层卷积（Convolutions）操作，变成C1层所示的6个矩形框，实际变成了6张28×28像素的图像；随后这些图像经过下采样（Sub-sampling）操作，也称为池化操作，长宽尺寸均减小一半，在S2层变成了6张14×14像素的小图像；之后这些图像在C3层中又经历一次卷积操作，变成了16张10×10像素的图像；然后在S4层再进行一次池化操作，尺寸进一步变小，成为16张5×5像素的图像；在C5层通过卷积运算，最终图像变为120个1×1像素的图像，作为120个神经元与后续全连接网络实现连接。至此，第一部分的特征提取过程结束，在第二部分的分类识别阶段，上述120个节点构成了全连接层的输入单元，之后经过84个节点的隐含层，再映射到输出层包含的10个节点，输出10个[0，1]范围内的小数，代表隶属于0～9这10个数字的概率。最后选取最大数值对应的数字，作为分类输出的结果。

所有的卷积操作都是依靠相邻两层之间的神经元连接完成，这些连接与前面介绍的普通神经网络的连接类似，也有一组权重值与相对应的输入神经元相乘得到线性加权结果，并加上在图中并没有展示的偏置项后，经过非线性激活函数得到计算结果。

整个卷积神经网络的训练过程和上一章介绍的神经网络相同，分为前向计算和反向传播两个阶段。在网络的前向计算过程中，所有的连接全权值不发生变化，网络根据输入图像计算输出分类结果，并将其与图像的已知标签进行比较，计算交叉熵损失函数。在反向传播阶段，根据损失函数调整包括卷积层和全连接层所有的连接权值，从而完成整个网络的训练过程。可见卷积神经网络与普通神经网络的重要不同之处在于引入了卷积层和池化层这两个新的网络结构，接下来看一下卷积层和池化层具体是什么。