首页 理论教育 如何评测推荐系统?

如何评测推荐系统?

时间:2023-06-24 理论教育 版权反馈
【摘要】:目前大多数推荐系统的评价指标有预测准确度[60]、覆盖率、召回率、多样性[61]、ROC等[62],文献[63]从准确度、多样性、新颖性及覆盖率等5个方面进行多角度阐述,细分为27个评价指标,并对各自的优缺点以及适用环境进行了深入的分析。其中准确度是最重要也是最常用的推荐系统评测指标,用来度量推荐系统预测的能力。表10-2推荐系统评价指标(续表)以上都是一些实验性指标,有一定的局限性。

如何评测推荐系统?

随着推荐系统应用的深入和发展,基于这些基本方法的改进算法不断被提出。 目前大多数推荐系统的评价指标有预测准确度[60]覆盖率、召回率、多样性[61]、ROC(receiver operating characteristic)等[62]文献[63]从准确度、多样性、新颖性及覆盖率等5个方面进行多角度阐述,细分为27个评价指标,并对各自的优缺点以及适用环境进行了深入的分析。如表10-2所示。其中准确度是最重要也是最常用的推荐系统评测指标,用来度量推荐系统预测的能力。对于top N推荐,用准确率(precision)和召回率(recall)来评测推荐系统。

表10-2 推荐系统评价指标

(www.xing528.com)

(续表)

以上都是一些实验性指标,有一定的局限性。这些都是基于用户选择打分的测试数据,如很可能用户只选择那些他们喜欢的项目进行打分,是一个倾斜样本,实验在无偏见随机样本测试推荐质量是很低的[64]。为了真正理解提出的推荐方法的利弊,很有必要进行高质量的实验。因此,可以开发面向经济的衡量指标来捕获推荐的业务价值,如投资回报率(return on investments, ROI)和客户生命周期(customer lifetime value, LTV)度量[65,66]。除了以上提到的评测指标,还有一些未量化的指标:用户满意度、实时性(real-time)、健壮性(robust)、自适应性(adaptivity) 62]、隐私性(privacy) 67]等。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈