推荐系统-协同过滤原理与实现

1. 推荐系统任务

推荐系统的任务就是联系用户和信息一方面帮助用户发现对自己有价值的信息,而另一方面让信息能够展现在对它感兴趣的用户面前从而实现信息消费者和信息生产者的双赢。

2. 与搜索引擎比较

相同点:帮助用户快速发现有用信息的工具

不同点:和搜索引擎不同的是推荐系统不需要用户提供明确的需求而是通过分析用户的历史行为来给用户的兴趣建模从而主动给用户推荐出能够满足他们兴趣和需求的信息。

3. 长尾理论

长尾讲述的是这样一个故事:以前被认为是边缘化的、地下的、独立(艺人?)的产品现在共同占据了一块市场份额,足以可与最畅销的热卖品匹敌。

wiki链接:https://wiki.mbalib.com/wiki/%E9%95%BF%E5%B0%BE%E7%90%86%E8%AE%BA

长尾头部的商品往往代表了绝大多数用户的需求而长尾中的商品往往代表了一小部分用户的个性化需求。因此如果要通过发掘长尾来提高销售额就必须充分研究用户的个性化兴趣。而这正是个性化推荐系统主要解决的问题。
推荐系统通过发掘用户的行为找到用户的个性化需求从而将长尾中的商品准确地推荐给需要它们的用户帮助用户发现那些他们感兴趣但很难发现的商品。

4. 推荐系统应用

· 电子商务

· 电影和视频网站

· 个性化音乐网络电台

· 社交网站

· 个性化阅读

· 个性化邮件

· 个性化广告

5. 推荐系统架构

架构

二、推荐系统评测

推荐系统评测即评测一个推荐系统是否好用。好的推荐系统不仅仅能够准确预测用户的行为,而且能够扩展用户的视野,帮助用户发现他们可能会感兴趣,但却不那么容易发现的东西,从而通过推荐系统增加了收入效益。例如你预测一个用户将来会买牙刷,预测显然是准确的,但是由于用户暂时不需要或者在需要的时候并没有选择你的商品,这样的话就没有为你增加收入,因此这就不能算得上一次好的推荐。

一个完整的推荐系统一般存在3个参与方:用户、内容提供者、业务前端(Android、ios、web)

评测

1. 推荐系统实验方法

a、离线实验
离线实验利用离线数据训练并测试推荐模型效果,好处是不需要用户真实参与,可以快速地测试大量算法,但同时也会忽略在线系统带来的因素。
b、用户调查
对一些真实用户做一些有关推荐系统的测试调查,根据用户的反映获取推荐系统的性能指标。它是推荐系统评测的一个重要工具,可以获取离线实验不能得到的用户真实体验,但是其成本较高,需要较多的人力时间来完成。
c、在线实验
在推荐系统正式上线前,可以对系统做典型的AB测试,它通过一定的规则将用户随机分成几组,并对不同组用户采用不同算法,然后统计不同组用户的评测指标,进而分析推荐系统的性能。其优点是可以公平获取不同算法的在线性能指标,缺点是周期较长,需要长时间的实验才能得到可靠的结构。

2. 评测指标——用户满意度

用户满意度是评测推荐系统最重要的指标,只能通过在线实验获得。一般通过对用户行为的统计获得,比如用户点击率、推荐购买率、停留时间等;也可以通过收集用户反馈获得,如让用户评价推荐的物品是否令人满意。

3. 评测指标——预测准确度

预测准确度是推荐系统最重要的离线评测指标。通过离线训练数据训练出用户的行为和兴趣模型,并预测用户的行为,计算预测行为与测试集上的实际行为的重合度作为预测准确度。

a) 评分预测

很多提供推荐服务的网站有一个让用户给物品打分的功能,当知道了用户对物品的评分,就可以从中习得用户的兴趣模型,并预测该用户在将来看到一个他没有评分过的物品时,会给物品评多少分。

评分预测的准确度一般通过均方根误差(RMSE)和平均绝对误差(MAE)计算。

b) TopN 推荐

TopN推荐的准确率一般通过: 准确率(precision)/召回率(recall)度量

令R(u)是根据用户在训练集上的行为给用户做出的推荐列表,T(u)是用户在测试集上的行为列表,那么推荐结果的

召回率定为:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpwzdy.html