深层神经网络遥感图像检索性能的关键因素

如前所述，虽然深层卷积神经网络可以学习到图像的高层特征，但是深层网络模型的训练需要大量带标签样本数据，而样本数据的标注不仅是一项费时费力的工作，而且对于很多领域(如遥感领域)来说，标注数据是稀缺的。在样本数据缺乏或者不足的情况下，常用的做法是将在自然图像集(通常为ImageNet)上训练好的网络模型迁移到特定领域的检索任务。但是网络模型的迁移能力具有不确定性。影响迁移网络检索性能的主要因素包括:网络模型架构、特征层级及特征聚合方式以及网络迁移模式。

一、网络模型

不同的网络模型在处理计算机视觉任务时具有不同的性能。针对检索任务，一般情况下更深的网络具有更好的检索性能，因为从更深的网络层获得的特征图对应更大的感受野，包含了更抽象的图像全局信息。但是网络深度并非唯一决定检索性能的因素，因为从更深的网络层获取的特征，可能会由于丢失细粒度局部纹理信息而使得判别能力下降。因此要针对具体任务选用最合适的网络模型。

二、卷积层特征和全连接层特征

由于卷积层特征和全连接层特征是从卷积神经网络的不同深度获取的，它们代表了不同层次的图像表达。卷积层特征对应的是图像区域的特征，卷积层输出是特征图，对应于图像的局部感受野，描述图像时，需要通过编码或者池化聚合成全局特征；而全连接层特征则包含图像的全局特征，全连接层输出获取了更高层的语义特征，可以直接用于描述图像。(www.xing528.com)

由于高分辨率遥感图像通常包含了比自然图像更为复杂的内容和更加丰富的细节信息，单一特征往往难以全面地描述遥感图像内容，在很多应用中往往通过特征融合来提高特征的表达能力。特征融合的方式包括融合同一个神经网络的不同层级特征、融合多个神经网络的相同层级特征、以及融合多个神经网络的不同层级特征，此外，还可以将深层特征和人工设计特征进行融合实现互补。

三、预训练和精调

预训练(pre-defined)指的是将卷积神经网络在自然图像领域学习到的网络结构和参数直接应用于遥感图像领域。这种方法不需要额外的数据再对网络进行训练，只需要替换原网络的输入数据，并根据数据集的不同对网络最后分类层的参数进行更改即可。预训练的迁移学习实现简便，适用于缺乏带标注样本数据的情况。

另一种常用的迁移方式是精调(fine-tuning)，即是将预训练网络当前的参数作为训练起点，利用目标数据再继续对其进行训练或者是冻结预训练网络某几层参数，对剩下的网络参数进行调整。而从零开始训练，则是只借用预训练网络的结构，利用目标数据从头开始训练网络。