- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 RecSys对比学习 - SSL
其中显著提升了长尾、冷启商品的推荐效果（FD - 一般监督学习+FeatureDropout，SO - Spread-outRegularization，正则化迫使不同item的emb远离）2.异构样本分布：若自监督学习也采用主任务的样本分布，会导致学到的特征关系也偏向头部样本；对比【RFM、分两组特征随机mask其中一组、只采用CFM不dropout、只采用dropout不CFM】，还是两阶段的数据增强最好。(特征种子每个batch都要更换)，再根据互信息，筛选出最相关的top n （
2024-08-30 19:59:55
882
原创 RecSys特征交叉 - ContextNet
2.Contextual Embedding中，共享聚合层(Aggregation)在不显著影响性能的前提下减少参数量，共享投影层会导致模型性能显著下降。1.蓝框相对较弱，证明通过子网络引入高阶交叉特征很有用；红比黄强，证明得到交叉特征后，乘比加的融合方式有用；随着ContextNet Block堆叠，特征逐渐聚焦到特定的交互特征。3.消融实验：Contextual Embedding、FFN和FFN中的非线性变化LayerNorm都有用。红框 - context聚合函数，蓝框 - 投影函数。
2024-08-29 16:02:41
706
原创 RecSys行为序列建模 - 数据增强的对比学习CL4SRec
结合后，输入Trm block。Trm block由Multi-Head Attention (MH)和Position-wise Feed-Forward (PFFN) 组成。不断堆叠Trm block。
2024-08-28 17:14:59
1203
原创 RecSys 多模 - 广告CTR多模态特征表示
in-batch负采样受限于batch-size，因此作者参考MoCo的动量更新方法, 设置了个更大的memory bank用于采样更多的负样本。multi-epoch training，抽取有效多模特征知识：CTR任务，仅多模特征接入DIN，再经过4-layers MLP预估CTR。在电商场景, 用户的搜索-购买行为链通常表示出显著的语义相关性。直接将多模特征和ID特征拼接输入，增益有限。knowledge utilization，接入下游任务：将DIN的输出。，浅层MLP的中间层输出, 以及。
2024-08-19 16:15:45
1107
原创 RecSys行为序列建模 - 基于用户正负隐式反馈的去噪网络DRPN
对于文本类特征序列，主要由两部分构成：content-based aggregator (CA) 和 denoising aggregator (DA)。CA为序列内融合，借助ATTN强化同序列（正/负反馈序列）其中CA因为图网络中已经进行过邻接结点融合计算了，所以CA没有ATTN操作。最终也将四种id类序列表示进行融合。DA则通过两种序列的组合对用户目标(正/负)序列去噪:（以下正序列举例公式）最终与目标节点组合获得最终表示。对于id类特征，构建邻接图，，最终的到用户正/负序列。
2024-07-31 17:49:47
1022
原创 搜推trick随笔
为了保证时效性，很多系统都采用流式更新的方式，但会面临问题：用户不同时间段行为模式不一定相同，流式数据可能严重有偏。可以采用全量+增量结合的方式：
2024-07-11 19:59:55
668
原创 多目标预估 - 跷跷板 or 负迁移
MMoE将bottom拆分成多个expert，不同task对expert进行自适应组合。PLE引入task独享expert，与共享expert优化任务间的拉扯。将特征分解成正交的task特性特征和共性特征两个部分。
2024-01-18 17:10:41
803
原创 远程服务器上tensorflow+cuda安装编程
远程服务器上tensorflow+cuda安装编程版本选择1 查询显卡型号2 版本选择3 测试（1）测试代码：（2）报错：（3）解决：4 注意事项修改程序1 运行示例参考notice：适用于在conda中操作版本选择选择依据：显卡为NVIDIA系列 & 显卡计算能力 > 3.51 查询显卡型号nvidia-smi在 NVIDIA官网 查询到显卡（划横线）计算能力。2 版本选择CPU版本都适用，根据习惯的python选择即可。注意：tf版本不同可能会带来部分函数存在差异。
2022-02-16 16:47:09
1922
原创 RecSys - Bootstrapping Recommendations at Chrome Web Store（KDD2021）
Google: Bootstrapping Recommendations at Chrome Web Store（KDD2021）1. Introduction业务场景： Google Chrome 中 Chrome Web Store，推荐浏览器第三方插件（以下以item代称）任务： 在现实数据中，从零开始搭建大规模推荐系统困难： 不同于学术研究中已处理好的数据，现实中通常面临隐私限制、数据分布不均、数据稀疏等问题contributions： 1.设计了快速可解释非个性化神经网
2021-08-27 20:25:58
305
原创 RecSys - DHE (Deep Hash Embedding)
论文：Learning to Embed Categorical Features without Embedding Tables for Recommendation1. introduction embedding learning 很重要，是模型的奠基石。本文面向类别特征（如id类）。但在RecSys中面临很多挑战：huge vocabulary size：RecSys 中类别特征高基数维（翻译无能，原文high-cardinality）Dynamic nature of input：u
2021-08-13 16:23:08
1409
1
原创 RecSys行为序列建模-DIN系列
推荐系统行为序列建模-DIN1 特征处理2 Base模型3 DIN4 优化4.1 MBA Reg - Mini-batch Aware Regularization4.2 Dice - Data Adaptive Activation Function《Deep Interest Network for Click-Through Rate Prediction》基于全部用户历史行为建模1 特征处理将稀疏特征特征分为四类对于向量中任意位置 j 为 1，取对应编码矩阵的 j-th向量，multi-h
2021-06-30 18:28:50
627
1
原创 RecSys行为序列建模-GRU4Rec
推荐系统行为序列建模-GRU4Rec1.模型结构2.优化2.1 SESSION-PARALLEL MINI-BATCHES2.2 SAMPLING ON THE OUTPUT3.Loss《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》论文基于单次会话session进行推荐。1.模型结构整体结构比较简单，通过RNN的堆叠来抽取序列信息input：单次会话的点击序列 [x1,x2,...xn][x_1, x_2,...x_n
2021-06-23 19:35:20
3377
原创 《搜索与推荐中的深度学习匹配》-推荐
《搜索与推荐中的深度学习匹配》-推荐1 推荐概述2 传统匹配模型算法2.1 协同过滤 Collaborative Filtering2.2 基于特征的通用模型2.3 损失func3 深度匹配模型3.1 Methods of representation learning3.2 Methods of matching function learning3.2.1 CF models3.2.2 Feature-based models说明：本文是对Deep Learning for Matching in S
2021-04-30 14:59:37
926
原创 《搜索与推荐中的深度学习匹配》-搜索
《搜索与推荐中的深度学习匹配》-搜索1 搜索概述2 Q&D匹配的关键因素3 传统匹配模型3.1 Matching in latent space3.2 Matching with machine translation4 深度语义匹配模型4.1 优势4.2 模式5 q&d相关性匹配5.1 语义相似 ≠\neq= 语义相关5.2 基于全局的匹配信号（Based on global distribution of matching strength）5.2.1 原理5.2.2 模型5.3 基
2021-04-29 14:07:46
410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人