腾讯业务数据分析和实时推荐需求探讨

从上节分析得知腾讯的用户和产品数据量都比较多，对业务数据有极大的分析需求，尤其在用户数据、消息数据分析及推荐系统方面应用需求量很大，且数据分析的复杂度高。

腾讯要实现广告的精准推荐，对数据的实时性要求会很高。因为数据首先是有时效性的，一秒钟前的行为和一秒钟后的行为有着天差地别。以往腾讯通过统计数据，得出规律，找到用户喜好，而现在实时变得更为重要。前一秒看了母婴内容，那么几秒内就应该推送相关广告，转化率会比较高。如果还在推送几天前这个用户看足球的数据信息，这个生意就很难做下去了。所以在腾讯一切数据都以消息为中心，实时处理、提炼瓜分。实在解决不了的数据，再做离线分析。过去几年，腾讯从原来的一小时响应，到现在一秒钟精准推送，CTR（点击率）能提升20%。规模越大效果越明显。腾讯敏感意识到实时数据对于广告的价值，所以把大部分精力放到实时处理数据以及如何优化广告投放上。

因而腾讯公司对大数据分析平台性能的需求和要求也明显高于一般公司。面对如此大量的数据和复杂分析，每天要高效、稳定地在数据平台上运行，对腾讯的平台技术提出了很大挑战。(www.xing528.com)

本节将从基于物品的协同过滤推荐算法案例在Spark MapReduce（Spark API的map和reduce方案）与HadoopMapReudce上的实现进行对比，从对比中发现Spark运算与传统Hadoop运算的差异。