做广告业务1年多时间了，但是平时的工作主要和 广告工程 有关，核心的广告算法由 AI 部门支持，对我们而言可以说是「黑盒般」的存在，只需要对训练好的模型进行调用即可。
近期，我打算系统性地学习下广告中的搜索和推荐算法，当然更多是从工程的视角去弄清楚：算法的基本原理、以及面对线上海量数据时算法是如何解决性能问题的？整个过程，我会将有价值的技术点输出成系列文章。
这篇文章属于推荐系统的入门篇，本文暂不考虑线上环境的海量数据，目的是先了解清楚推荐系统的基本构成，我会通过图解推荐算法以及程序demo的形式展开，内容包括：
“啤酒与尿布” 的故事相信很多人都听过，年轻爸爸去超市购买尿布时，经常会买点啤酒犒劳自己。因此，沃尔玛将这两种商品进行了捆绑销售，最终获得了更好的销量。
这个故事背后的理论依据就是 “推荐算法”， 因为尿布和啤酒经常出现在同一个购物车中，那么向购买尿布的年轻爸爸推荐啤酒确实有一定道理。
1、推荐系统到底解决的是什么问题？
推荐系统从20世纪90年代就被提出来了，但是真正进入大众视野以及在各大互联网公司中流行起来，还是最近几年的事情。
随着移动互联网的发展，越来越多的信息开始在互联网上传播，产生了严重的信息过载。因此，如何从众多信息中找到用户感兴趣的信息，这个便是推荐系统的价值。精准推荐解决了用户痛点，提升了用户体验，最终便能留住用户。
推荐系统本质上就是一个信息过滤系统，通常分为：召回、排序、重排序这3个环节，每个环节逐层过滤，最终从海量的物料库中筛选出几十个用户可能感兴趣的物品推荐给用户。
2、推荐系统的应用场景
哪里有海量信息，哪里就有推荐系统，我们每天最常用的APP都涉及到推荐功能：
资讯类：今日头条、腾讯新闻等
电商类：淘宝、京东、拼多多、亚马逊等
娱乐类：抖音、快手、爱奇艺等
生活服务类：美团、大众点评、携程等
社交类：微信、陌陌、脉脉等
推荐系统的应用场景通常分为以下两类：
基于用户维度的推荐：根据用户的历史行为和兴趣进行推荐，比如淘宝首页的猜你喜欢、抖音的首页推荐等。
基于物品维度的推荐：根据用户当前浏览的标的物进行推荐，比如打开京东APP的商品详情页，会推荐和主商品相关的商品给你。
3、搜索、推荐、广告三者的异同
搜索和推荐是AI算法最常见的两个应用场景，在技术上有相通的地方。这里提到广告，主要考虑很多没做过广告业务的同学不清楚为什么广告和搜索、推荐会有关系，所以做下解释。
搜索：有明确的搜索意图，搜索出来的结果和用户的搜索词相关。
推荐：不具有目的性，依赖用户的历史行为和画像数据进行个性化推荐。
广告：借助搜索和推荐技术实现广告的精准投放，可以将广告理解成搜索推荐的一种应用场景，技术方案更复杂，涉及到智能预算控制、广告竞价等。
02 推荐系统的整体架构
上面是推荐系统的整体架构图，自下而上分成了多层，各层的主要作用如下：
数据源：推荐算法所依赖的各种数据源，包括物品数据、用户数据、行为日志、其他可利用的业务数据、甚至公司外部的数据。
计算平台：负责对底层的各种异构数据进行清洗、加工，离线计算和实时计算。
数据存储层：存储计算平台处理后的数据，根据需要可落地到不同的存储系统中，比如Redis中可以存储用户特征和用户画像数据，ES中可以用来索引物品数据，Faiss中可以存储用户或者物品的embedding向量等。
召回层：包括各种推荐策略或者算法，比如经典的协同过滤，基于内容的召回，基于向量的召回，用于托底的热门推荐等。为了应对线上高并发的流量，召回结果通常会预计算好，建立好倒排索引后存入缓存中。
融合过滤层：触发多路召回，由于召回层的每个召回源都会返回一个候选集，因此这一层需要进行融合和过滤。
排序层：利用机器学习或者深度学习模型，以及更丰富的特征进行重排序，筛选出更小、更精准的推荐集合返回给上层业务。