RecSys 多模 - 广告CTR多模态特征表示

Enhancing Taobao Display Advertising with Multimodal Representations: Challenges, Approaches and Insights
官方解读文档

1 动机

多模特征引入能为推荐系统引入一定的语义信息。多模特征接入一般分为两个阶段，面临不同难点：

1. 预训练获得多模特征：符合业务目标的高质量多模特征
2. 多模特征接入推荐模型：多模特征与ID类特征存在语义和使用上的鸿沟，直接拼接多模特征没用

2 Pretrain - Semantic-Aware Contrastive Learning

在电商场景, 用户的搜索-购买行为链通常表示出显著的语义相关性。因此，将搜索query与用用户购买item作为正样本对

in-batch负采样受限于batch-size，因此作者参考MoCo的动量更新方法, 设置了个更大的memory bank用于采样更多的负样本。同时，还设置了hard负样本（仅点击样本）

3 Intergration with Rec Model

直接将多模特征和ID特征拼接输入，增益有限。作者提出observation：

1. simplifying the u