基于投影-量化的哈希编码和深度哈希学习技术优化方案

传统的哈希学习中，哈希编码过程通常分为两个阶段:投影和量化(参见图7-1)。在投影阶段，使用k个哈希函数将原始空间中n个m维的点映射到k维的投影空间P中，该映射要尽可能地保持原始空间中点之间的相似性关系。在量化阶段，使用k个阈值将投影空间P中的点映射到二进制空间B中，即将其每一维度量化为“0”或“1”。量化过程的要求也是保距，即投影空间中相似的点在量化后得到的二进制码之间，汉明距离要尽可能小。

设X＝{x1，x2，…，xn}，xi∈RD为原始空间中的数据点，即X＝RD×n。哈希编码的目标就是找到一个投影矩阵W∈RD×K，其中，K表示二进制码长度。设wj∈RD为矩阵W的第j列(j＝1，…，K)，wj表示第j个投影函数，第j个哈希函数Hj(·)的定义为:

其中，量化过程Qj(·)定义如下:

式中，tj表示第j位阈值。由此，哈希编码的整个过程可以表示为:H(X)＝Q(P(X))＝Q(XW)，P·()表示投影过程，Q·()表示量化过程。可以看出，一个哈希函数将数据点投影为一位，要想得到K位二进制码，需要K个哈希函数。传统哈希编码方法的区别主要在于目标函数的构造以及量化过程。

近年来，深度学习被广泛应用到不同的领域并取得了良好的效果，研究人员将深度学习引入哈希学习领域，成为哈希学习的重要研究方向。最早的基于深度学习的哈希方法是2009年由Hinton研究组提出的语义哈希(semantic hashing，SH)，采用受限玻尔兹曼机作为非线性哈希函数，语义哈希的不足之处在于仍采用人工设计特征作为网络输入，没有充分利用深度神经网络强大的特征学习能力。随着深度学习的发展，越来越多基于深度学习的哈希方法被提出，这些方法根据编码过程中是否用到图像的语义信息，也可以分为无监督、半监督和监督方法。(www.xing528.com)

一、深度无监督哈希

在深度无监督哈希方面，Lin K等(2016)提出一个无监督二值哈希的深度学习框架——DeepBit，并将其应用于视觉对象匹配，其中图像特征和哈希编码采用独立学习模式；Huang C等(2016)训练了一个能够同时学习图像特征和哈希函数的卷积神经网络；Huang S等(2017)提出一个无监督三元组哈希(unsupervised triplet hashing，UTH)方法并用于图像检索。随着生成对抗网络(GAN)的提出，研究人员探索生成对抗网络在无监督哈希中的应用，目标是为深度无监督哈希方法提供更多的训练样本，同时用来指导哈希方法的无监督训练。这方面的研究包括Zieba M.(2018)提出的二值生成对抗网络(BinGAN)、无监督深度生成对抗哈希网络(UHashGAN)等。其中，UHashGAN将深度生成对抗网络中的判别器作为哈希函数，不需要任何有监督的预训练。

二、深度监督哈希

由于深度神经网络的训练常常需要类别标签作为监督，因此深度哈希方法中最常见的是监督深度哈希方法，即以图像作为输入，利用成对或者三元组的语义相似性作为约束训练深度神经网络，生成二值码。

代表性的深度监督哈希研究工作包括:Rongkai Xia等人(2014)提出一种两阶段的卷积神经网络哈希(CNN hashing，CNNH)，首次将深度神经网络的强大特征表达能力用于哈希，并通过实验验证了CNNH能够获得比人工设计特征显著的性能提升。但是，CNNH仍然不是端到端的方法，尽管学习到的哈希码可以指导特征学习，可学习到的特征不能为二值哈希码学习提供反馈，因此并没有充分发挥出深度网络的优势。他们在2015年进一步提出一个一阶段的NINH(network in network hashing)网络结构，设计了一个三元组损失函数以获取图像之间的相似度。深度监督哈希的其它研究工作包括:深度哈希(deep hashing，DH)致力于寻找多层非线性变换以更好地保持数据点的非线性关系；深度监督哈希(deep supervised hashing，DSH)通过编码输入图像对的有监督信息最大化输出空间的区分性，并在实数值输出上应用量化误差作为正则化项；深度语义排序哈希(deep semantic ranking based hashing，DSRH)利用多标签图像之间的多级语义相似性去学习哈希函数；深度语义保持排序哈希(deep semantic-preserving and rank-based hashing，DSRH)提出联合学习图像表达用于哈希和分类，分别采用三元组排序损失和正交约束以及最小化分类误差作为约束；深度成对监督哈希(deep pairwise-supervised hashing，DPSH)使用图像对的语义相似性指导卷积神经网络同时学习特征和哈希函数，目标是对成对语义标签进行最大似然估计和最小化量化误差；监督的位可扩展深度哈希(DRSCH)考虑到在实际情况下需要输出不同长度的哈希码，构建了一个10层网络，其中包含两个全连接层:一个用于输出二进制哈希码，另一个用于权衡哈希码的每一位。输出哈希码的每个比特位均根据其重要性进行加权，一方面能产生更有效的哈希码，另一方面可以舍弃权重小无关紧要的位，从而灵活地根据不同情况来改变码长，而无需进行额外的计算；不对称监督哈希方法(asymmetric deep supervised hashing，ADSH)针对对称哈希在训练大规模数据集中的耗时问题，提出对待查询样本和数据集样本采用不对称哈希的思路:仅对查询样本学习深度哈希函数以生成二值码，而数据集样本则直接学习得到二值码等。

三、深度半监督哈希

为了克服监督方法需要大量带标签样本数据的限制，研究人员提出深度半监督哈希方法。代表性的研究工作为:Zhang J.等人(2019)首次提出一种用于大规模图像检索的半监督深度哈希方法(semi-supervised deep hashing，SSDH)，通过设计半监督损失函数及语义相似性约束，实现既保持语义特征、又充分利用无标签图像数据结构的目的。