nlp项目（二）——推荐算法：协同过滤

推荐算法

1 推荐模型构建流程

Data(数据)->Features(特征)->ML Algorithm(选择算法训练模型)->Prediction Output(预测输出)

• 数据清洗/数据处理

  • 数据来源

    • 显性数据

      • Rating 打分

      • Comments 评论/评价

    • 隐形数据

      • Order history 历史订单

      • Cart events 加购物车

      • Page views 页面浏览

      • Click-thru 点击

      • Search log 搜索记录

  • 数据量/数据能否满足要求

• 特征工程

  • 从数据中筛选特征

    • 一个给定的商品，可能被拥有类似品味或需求的用户购买

    • 使用用户行为数据描述商品

• 用数据表示特征

  • 将所有用户行为合并在一起 ，形成一个user-item 矩阵

• 选择合适的算法

  • 协同过滤

  • 基于内容

• 产生推荐结果

  • 对推荐结果进行评估（评估方法后面章节介绍），评估通过后上线

2 最经典的推荐算法：协同过滤推荐算法（Collaborative Filtering）

算法思想：物以类聚，人以群分

基本的协同过滤推荐算法基于以下假设：

• “跟你喜好相似的人喜欢的东西你也很有可能喜欢” ：基于用户的协同过滤推荐（User-based CF）

• “跟你喜欢的东西相似的东西你也很有可能喜欢 ”：基于物品的协同过滤推荐（Item-based CF）

实现协同过滤推荐有以下几个步骤：

1. 找出最相似的人或物品：TOP-N相似的人或物品

   通过计算两两的相似度来进行排序，即可找出TOP-N相似的人或物品

2. 根据相似的人或物品产生推荐结果

   利用TOP-N结果生成初始推荐结果，然后过滤掉用户已经有过记录的物品或明确表示不感兴趣的物品

以下是一个简单的示例，数据集相当于一个用户对物品的购买记录表：打勾表示用户对物品的有购买记录

• 关于相似度计算这里先用一个简单的思想：如有两个同学X和Y，X同学爱好[足球、篮球、乒乓球]，Y同学爱好[网球、足球、篮球、羽毛球]，可见他们的共同爱好有2个，那么他们的相似度可以用：2/3 * 2/4 = 1/3 ≈ 0.33 来表示。

  User-Based CF

Item-Based CF

3 相似度计算(Similarity Calculation)

相似度的计算方法

欧氏距离, 是一个欧式空间下度量距离的方法. 两个物体, 都在同一个空间下表示为两个点, 假如叫做p,q, 分别都是n个坐标, 那么欧式距离就是衡量这两个点之间的距离. 欧氏距离不适用于布尔向量之间

 欧氏距离的值是一个非负数, 最大值正无穷, 通常计算相似度的结果希望是[-1,1]或[0,1]之间,一般可以使用

如下转化公式: