信息检索中深度堆叠网络的应用探析

第6章中讨论的深度堆叠网络（DSN）最近在信息检索方面也进行了研究并取得了有意义的结果。实验结果表明，基于DSN中“相关”与“不相关”二值决策计算的分类错误率，不仅与DSN的训练目标高度相关，而且与在传统信息检索质量评估中广泛使用的归一化衰减累计增益（NDCG）相关。但是，这种相关性在高质量的信息检索（high IR quality）任务中并不成立。

如第6章所述，以均方误差（MSE）作为DSN训练的目标，将简化DSN的训练，并在很大程度上促进了DSN在图像识别、语音识别和语音理解上的成功应用。均方误差（MSE）和分类错误率（CER）在这些语音和图像应用上的关联性很强。然而，在信息检索领域中，以均方误差（MSE）作为训练目标函数和理想目标（例如归一化衰减累计增益NDCG）之间的差异，远比上述传统分类任务中均方误差（MSE）和理想目标（分类错误率CER）之间的差异大得多。导致差异变大的原因很多，比如，用NDCG作为理想信息检索目标函数时，由于它是一个参数高度不平滑函数，这与传统分类任务中的均方误差和分类错误率之间的非线性关系区别很大。因此，我们感兴趣的是去理解：当信息检索中的相关度作为DSN的预测目标时，NDCG与分类错误或者MSE之间的相关性如何？更进一步来讲，DSN在学习上的进化这一优点能否被应用到在信息检索任务中，从而提升如NDCG之类的信息检索指标。在文献[88]中，我们的实验结果为上述两个问题提供了正面的回答。此外我们也指出，从分类应用到信息检索应用时，DSN的学习算法在实施时需要加倍关注。(www.xing528.com)

文献[88]实验中的信息检索任务是与广告部署相关的赞助搜索。除了原始的网络搜索结果，商业搜索引擎也附加了与赞助商相关的搜索结果来反馈用户的查询。赞助搜索结果从一个汇集了广告商信息的数据库中选择合适的广告商，将他们的广告投放在搜索结果页面上。给出一个查询，搜索引擎会从数据库中检索出相关的广告，然后排序，并把它们显示在搜索结果页面合适的位置，比如在搜索结果页面的顶部或右边。查找一个查询相关的广告与普通的网页搜索十分相似。举例来说，尽管文档来自一个有限的数据库，但任务仍像典型的搜索排名一样，以预测和输入查询相关的文档为目标。这个实验首次将基于DSN结构的深度学习技术用在了广告相关的信息检索问题上。实验得到的初步结果是：以MSE为DSN的训练目标函数和以NDCG为信息检索质量评估方法，两者间具有密切的相关性。