跨媒体潜在关联挖掘技术

上一节中讲到的融合分析技术面临着两大难题:一是特征选取的差异性会很大程度地影响融合结果，如:两幅语义上相近的图像可能在颜色特征上完全不相似，而在形状特征上非常相似，如果融合过程中颜色特征的权重较高，显然，将不能取得良好的融合结果；二是不同类型的多媒体特征之间存在的关联信息，如:Web链接，通常被看成另一种附加特征进行处理和融合，在学习过程中往往不能更新，没有被充分挖掘和利用。

基于以上原因，很难在多媒体语义理解过程中有效完成信息的互补和增强，系统的检索性能也受到限制。实际上，多媒体数据的存在形式往往不是单一的，如:一个Web页面上包括文字、图像和视频等多种类型的数据，不同类型的多媒体数据共同表达相似的主题，同时，一个Web页面又可以链接到相似主题的其他Web页面，多媒体数据之间存在着多种相互关联。为此，许多研究工作致力于多媒体数据间的各种关联挖掘，综合而全面地理解语义，提高检索效率。

多媒体关联挖掘的研究与跨媒体检索有着相似之处，本节从以下几个方面，介绍关联挖掘研究中的一些常用方法和理论。

1.相似度传递与优化

通常，可以将多媒体数据关系划分为媒体内部和媒体之间两种。例如:从Web页面下载了文本和图像两种类型的多媒体数据，文本和文本之间的相似度，以及图像和图像之间的相似度就称为媒体内部的相似度，而文本和图像之间的数据关系则称为媒体之间的相关性。一些研究提出，媒体内部的相似度可以通过媒体之间的相关性进行传递和互补，以达到提高语义理解准确率的目的。例如:以Web文本和图像之间的相关性为桥梁，用Web文本之间的相似度来修正Web图像之间的相似度，可以应用于图像检索和聚类。(www.xing528.com)

举例而言，有文献提出和设计了Web图像和文本标注之间的相似度传递算法，主要步骤包括:已知图像和文本之间对应的Web链接关系矩阵x，以x为桥梁将文本集的相似度矩阵a向图像集传递；同时，将图像集的相似度矩阵b向文本集传递，并控制传递过程中文本集对图像集的影响大于图像集对文本集的影响程度，直到整个传递过程达到收敛状态。由于文本数据本身包含了一定的语义信息，而初始的图像相似度矩阵是以底层的视觉特征为依据计算得到的，因此，使用相似度传递算法后的图像相似度更加符合真实的语义相似关系。

2.基于图模型的关联挖掘

使用图模型表达数据以及数据间的相互关系，可以很好地将数据集结构化，并有效地发现数据间的潜在关系，图像检索、Web数据挖掘等多个领域的研究工作都已经证明了图模型的在数据表达方面的有效性。一些研究提出将不同类型的多媒体数据，以及数据间的相互关系用层次图来表示，通过对层次图中的连接结构和数据关系挖掘，实现多媒体检索。