Python中文文本分析-文本相似度表示

1.向量相似度

文本相似度实现可采用向量相似度度量，可以采用两种度量计算方法，即欧氏距离和余弦相似度。

欧氏距离也称欧几里得度量，是一种常用的距离度量方法，是指多维空间中两个点之间的真实距离或者向量的自然长度，在二维和三维空间中的欧氏距离就是两点之间的实际距离。

余弦相似度是通过计算两个向量夹角θ的余弦值来评估他们的相似度，值越大表明两个向量越相似。当两个向量的夹角θ=0°时，则余弦相似度的值为1，当两个向量夹角θ=90°时，则余弦相似度的值为0，其他任何角度的余弦值都不大于1。

对于两个文本文档t1和t2，采用词向量进行向量化结果为d1和d2，其向量的维度为n，利用欧氏距离计算如下：

利用夹角余弦计算为：

其中，θ是两个向量d1和d2的夹角，||d1||和||d2||分别表示d1和d2的长度。

2.文本相似度

对于中文文本，可将文本中的词表示成词向量，然后再按照某种计算策略，根据文本中所有词的词向量获得整个文本的向量表示，这样文本之间的相似度计算就成为词向量之间的相似度计算，可按照向量之间的欧氏距离或者余弦相似度来计算。

为了解释文本相似度计算可采用词向量的形式实现，可采用文本中所有词向量的平均值作为文本向量表示，即

t表示文本，di（i=1，2，…，n）分别为t中包含的n个词的词向量表示。

在此实现中并没有考虑实现算法中的性能评价，还有其他很多种实现文本向量的表示方法，能够提高文本相似度计算的准确率，有兴趣的读者可自行研究其实现，此处不再详细解释相关内容。

为了实现文本之间相似度度量，我们定义了如下的两个函数：euclid_dist和cos_sim。

参数：

vec1：文本向量。

vec2：文本向量。

返回值：(www.xing528.com)

euclid_dist：欧氏距离。

该函数需要输入两个文本向量，文本向量可采用词向量平均值等计算方法获得。返回值为两个向量的相似度，其中值越小就表明两个文本越相似。

参数：

vec1：文本向量。

vec2：文本向量。

返回值：

cos_sim：余弦相似度。

该函数需要输入两个文本向量，通过计算两个向量之间的余弦相似度，获取文本之间的相似度，余弦相似度越大表明两个文本越相似。

我们采用前面描述的三个文本进行测试，计算三个文本之间的相似度，实现过程描述如下：

运行结果如下。

欧氏距离：

余弦相似度：

根据上述的相似度计算，我们可以看出：

（1）文本1和文本2之间的欧氏距离小于文本2和文本3之间的欧氏距离。

（2）文本1和文本2之间的余弦相似度大于文本2和文本3之间的余弦相似度。

通过上述分析可知，无论从欧氏距离或余弦相似度来看，文本1和文本2之间的相似度高于文本2和文本3之间的相似度。