一文带你了解推荐系统常用模型及框架

原创已于 2022-08-01 08:59:46 修改 · 10w+ 阅读

100

159 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #人工智能 #推荐算法

于 2022-07-31 23:51:18 首次发布

Recommender System 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了推荐系统的各种模型，包括传统协同过滤、矩阵分解、逻辑回归、特征交叉模型如POLY2和FactorizationMachine，以及深度学习模型如DeepCF和DeepFM。还提到了DIN模型，它引入了注意力机制。推荐系统工具如DeepCTR和RecBole也被提及，用于模型实现和优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以看KDD会议，最新推荐系统论文。

推荐系统概述

传统推荐模型Old school Model

协同过滤模型

通过对用户之间的关系，用户对物品的评价反馈一起对信息进行筛选过滤，从而找到目标用户感兴趣的信息。

用户—商品的评分矩阵（该矩阵很可能是稀疏的）


x		x
x	x
	x	x

行向量表示每个用户的喜好，列向量表明每个物品的属性

基于评分矩阵（行列）计算相似度，以下是计算相似度的一些方法：

余弦相似度
皮尔逊相关系数
欧氏距离
曼哈顿距离

主要有基于用户的协同过滤与基于物品的协同过滤。

矩阵分解模型

矩阵分解为两个低秩的矩阵的乘积，通过分解后的两矩阵内积，来填补缺失的数据。

优点:思路简单，可以方便完成预测;

缺点:很难增量训练（当样本激增时，可能要重新搭建矩阵），特征融合难;

这里k是个隐因子，相当于是一个超参数。

逻辑回归模型

对预测用户是否会“点击商品”进行分类。转成一个分类模型。

$ϕ(x)=w0+w1x1+⋯+wnxn=w0+∑i=1nwixi\begin{aligned} \phi(x) &=w_{0}+w_{1} x_{1}+\cdots+w_{n} x_{n} \\ &=w_{0}+\sum_{i=1}^{n} w_{i} x_{i} \end{aligned}$

优点:模型简单，可解释性强，训练速度快(SGD梯度下降);

缺点:模型建模能力有限（没有考虑特征之间的相关性，以及特征之间的交叉），需要人工特征工程;

特征交叉模型

PLOY2

$ϕ(x)=w0+∑i=1nwixi+∑i=1n−1∑j=i+1nwijxixj\phi(x) = w_{0}+\sum_{i = 1}^{n} w_{i} x_{i}+\sum_{i = 1}^{n-1} \sum_{j = i+1}^{n} w_{i j} x_{i} x_{j}$

在逻辑回归基础上加入了暴力二阶特征交叉。

优点:加入二阶特征，建模能力增强;

缺点:时间复杂度高 $n-->n^2$ ;

Factorization Machine

$ϕ(x)=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n⟨vi,vj⟩xixj\phi(x)=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n-1} \sum_{j=i+1}^{n}\left\langle v_{i}, v_{j}\right\rangle x_{i} x_{j}$

为每个特征加入隐含权重(两个向量之间的内积)，作为特征交叉的权重。

优点∶相比于PLOY2降低了模型参数量（ $n^2-->nK$ ），自动特征工程

缺点︰特征交叉度有限(二阶)

GBDT+LR

GBDT:作为特征编码器;主要用于输入数据的特征筛选以及特征编码，生成离散的特征向量

LR（逻辑回归）︰利用编码结果进行训练

优点︰灵活，适合新增特征（用树模型作特征组合）

缺点：树模型复杂度高

深度推荐模型

深度协同过滤(Neural CF )

将用户对物品的打分当做分类问题。

使用全连接层学习用户与物品的交互。

用多层的神经网络代替矩阵分解的操作

用全连接网络可能会比乘法更加高效一点。

Wide & Deep

基本淘汰

Wide为线性模型，Deep为深度模型

浅层模型(记忆能力）和深层模型模型（泛化能力），

Wide部分可以记住id，以此做一个建模。类似于LR。

Deep可以视为一个全连接网络，类似于NCF。

DeepFM

DeepFM包含FM和DNN两部分，两部分共享输入特征。使用FM替换wide & Deep中的wide部分。

DeepFM:一阶特征+二阶特征+深度特征

抛弃之前的单Wide部分，用FM代替，加强浅层特征的组合能力，用一阶和二阶替代。

DIN

首个加入Attention机制

根据用户和物品调整权重

文本编码方法Text Encoding

Count:统计文本字符个数、单词个数
LabelEncoder:统一进行标签编
Multi One-Hot:进行多值标签编码(例如one-hot编码后相加)

AB : 011 BC : 110 AC : 101

One-Hot：eg：A： 0 0 1 B：010 C：100
CounterVector:与Multi One-Hot，但加入次数统计
TfidfVectorizer: 次数和词频统计
Word2Vec:词向量映射，然后聚合