多目标学习在推荐系统的应用(MMOE/ESMM/PLE)

的全称是Entire Space Multi-task Model (ESMM)，是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，因此转化率是优化目标的重要因子之一； 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。，其存在如下问题：ESMM模型利用用户行为序列数据在完整样本空间建模，避免了传统CVR模型经常

本章为推荐模型复现第四章，使用torch_rechub框架进行模型搭建，主要介绍推荐系统召多任务模型ESMM、MMOE，包括结构讲解与代码实战，参考其他文章。

承接上文：链接：多目标优化概论及基础算法ESMM与MMOE对比这次这篇文章写点实用的。可以当做推荐算法工程师面试的考前突击，也可以当做面试官的面试题库。ESSM和MMOE都是最基本的算法，相当于多目标优化的入门级的读物。越经典越需要细嚼，温故而知新嘛。这些题目和答案都是我自己在看论文过程中自我提问和自我回答总结出来的。如果有不同看法和答案，欢迎留言交流，互为增长，互相启发。细节...

PLE模型是腾讯发表在RecSys ’20上的文章，这篇paper获得了recsys’20的best paper award，也算为腾讯脱离技术贫民的大业添砖加瓦了。

本文对多任务学习(multi-task learning, MTL)领域近期的综述文章进行整理，从模型结构和训练过程两个层面回顾了其发展变化，旨在提供一份 MTL 入门指南，帮助大家快速了解多任务学习的进化史。多任务学习：给定 m 个学习任务，这m个任务或它们的一个子集彼此相关但不完全相同。通过使用所有m个任务中包含的知识，有助于改善特定模型的学习。具有相关联任务效果相互提升作用，即同时学习多个任务，若某个任务中包含对另一个任务有用的信息，则能够提高在后者上的表现；

本文基于TensorFlow构建了一个支持多任务学习的双塔推荐模型，可同时预测点击率（CTR）和转化率（CVR）。通过用户塔和商品塔的分离式设计，模型既能捕捉用户兴趣偏好，又能理解商品特征，最终通过向量相似度计算生成推荐结果

多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题，欢迎更多同学讨论和指正，同时也宣传一波我们组在推荐方向的工作成果——大规模推荐算法库PaddleRec（https://github.com/PaddlePaddle/PaddleRec），欢迎大家点赞，关注和讨论。 第一章多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一） 介绍了多任务的基本概念和常见的动机及应用场景。 第二章Sh

如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。

Time： Author：Jiaqi Ma, Zhe Zhao, Abstract Model Architecture Reference

为了解决多任务模型中普遍存在的负迁移和跷跷板现象，在MMoE模型的基础上提出了CGC模型，在共享专家的基础上增加了针对特定任务的专家网络，可以针对特定任务学习到独有的网络部分，从而避免任务之间的相互影响，同时为了进一步提升整体网络的泛化效果，在CGC的基础上通过堆叠Extraction Network构造了更深的网络结构，进一步提升多任务模型的学习效果。

多目标排序MMoE、PLE

---------------------MMoE-------------------- 通过门控网络的机制来平衡多任务，multi-gate的结构对于任务差异带来的冲突有一定的缓解作用。 一、Motivation 多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。多任务学习的的框架广泛采用shared-bottom的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任务的参数不共用..

​在实际生活中，我们关注的任务往往是一对多的，例如推荐系统场景中，我们希望物品的点击率和转化率都要高，如果只是单纯的集中于优化某一个目标，往往会导致其他​被忽略的目标变差。多任务学习通过共享目标之间的表征，优化多个任务的目标，从而改善多个任务的模型性能，因此多任务模型在推荐系统中​很常见。 ​这次和大家分享其中常见的几种多任务模型MMOE，ESMM，CGC，AITM，文末给出了参考文献，有兴趣的小伙伴可以​从论文中获取详细内容。 Hard-parameter sharing 图...

ESMM、MMOE-推荐系统小结

常见的监督学习包括： 回归：预测值为连续值，如销售额； 二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女； 多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等； 还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务学习，例如之前文章提到的微信视频场景，同时包含多个学习目标（task）：是否转发、是否点赞、是否关注等。 微信大数据挑战赛 以往的做法可能会对不同的task分别建立对应的模型，但这样会

直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排

在做多目标建模的时候，摆在我们面前的主要在于各个任务的损失函数如何权衡baseline最简单的做法就是人工经验给每个任务分配一个权重系数，也就是其中n代表任务个数优点：简单，易懂缺点：对人工经验要求较高，需要多次人工尝试调参才能达到最佳效果这样做主要有这么几个问题不同任务的Loss差异非常大，如果某个任务的Loss比其他几个任务的Loss大一个量级，其实多任务学习就演变成单任务学习不同任务的梯度变化不同，有些任务参数更新快，有些任务参数更新慢。