城市遥感影像性能评价

在影像检索的研究中，为了获得更理想的检索结果，研究人员往往需要采用多个不同的影像检索方法。而对于多个不同方法的检索结果进行定量评价时，则需要采用影像检索的性能评价准则。通常来说，影像检索的性能评价准则是衡量不同影像检索方法所得结果的客观量化指标。下面将介绍目前影像检索领域公认度较高的几个性能评价准则。

1.查准率和查全率

查准率(precision)和查全率(recall)是目前影像检索领域中应用最为广泛的一种性能评价准则。其中，查准率是指在一次查询过程中，系统返回的相关影像数占所有返回影像数的比例；而查全率则是指在一次查询过程中，系统返回的相关影像数占影像库中所有相关影像数的比例。设D为影像库中所有影像的集合，R为任意一次检索过程中返回的所有影像的集合，由r幅影像组成，其中相关影像有a幅，而D中与查询影像相关的所有影像的集合为G，由g幅影像组成，则查准率precision和查全率recall的计算公式分别为

查准率和查全率越高，则对应检索系统的检索性能越好。但是，在实际应用中，随着返回影像数量r的增长，查准率与查全率之间往往呈现此消彼长的变化趋势:当返回影像数目较少时，通常会获得较高的查准率和较低的查全率；随着返回影像数量的增加，查准率会逐渐降低，而查全率会逐渐升高。因此，在应用实践中，通常需要预先设定返回影像的数量，然后再统计对比各检索系统的查准率和查全率。

2.ANMRR

ANMRR(Average Normalized Modified Retrieval Rank)是MPEG-7标准推荐的一种检索性能评价方法，该方法不但顾及了返回影像序列中的相关影像数，而且还顾及了相关影像的排序值。设在一次检索过程中，查询影像为q，影像库中与其相关的影像总数为NG(q)，而Rank(k)表示第k幅相关影像在返回影像序列中的排序值，且有

其中，K(q)的取值通常被设定为2NG(q)。因此，返回影像序列中，所有相关影像的平均排序值AVR(q)为

进而，本次检索对应的NMRR取值为

对多次检索所得的NMRR值求取平均值，即可得到对应检索系统的ANMRR值，其计算公式如下:(www.xing528.com)

式中，NQ表示总检索次数。由以上描述可知，对于一个检索系统来说，ANMRR的取值区间为[0，1]，且ANMRR取值越小，表明对应系统的检索性能越好。

3.mAP

mAP(Mean Average Precision)是所有查询次数的平均查准率的平均值，也是一使用比较多的检索性能评价指标。假设Q表示查询次数，则mAP定义为

其中，AveP为平均查准率，由式(12-21)计算得到:

式中，k为返回影像的排序；n为返回的影像数；P(k)为截断值为k时的查准率，即P＠k。rel(k)为指示函数，当返回影像序列中排序为k的影像是相似影像时，rel(k)＝1，反之，rel(k)＝0。

4.PR曲线

Precision-Recall(PR)曲线是以查全率作为横坐标轴、查准率作为纵坐标轴绘制的曲线，同时考虑了查准率与查全率，能够直观地反映系统的检索性能。对于系统返回的一个排序后的影像序列，通过计算每一个位置的查准率与查全率，即可绘制出PR曲线图，PR曲线与两个坐标轴围成的区域的面积即是上文介绍的平均查准率AveP。一般来说，PR曲线会呈现出锯齿形状，这是因为:对于一次查询来说，如果影像序列中第k＋1幅影像与查询影像是不相关的，那么此时(返回影像数为k＋1)的查全率与返回影像数为k时的查全率相同，但查准率会下降；相反，如果影像序列中第k＋1幅影像与查询影像是相关的，那么此时的查全率与查准率会增加。实际使用时，为了消除这种影响，通常可以采用11个recall level，r∈[0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0]，通过插值的方法来计算相应的查准率，如式(12-22)所示:

式中，Pinterpolated(r)表示recall level为r时插值得到的查准率；P(r′)表示recall level为r′时计算的查准率，此时得到的PR曲线称为11-point inperpolated PR曲线。