DeepFM 论文阅读总结1

《DeepFM论文阅读总结》 CTR预估是推荐系统中的核心任务，其目的是预测用户对某一内容点击的可能性。此类任务的数据具有以下特点：输入数据包含两类，即类别型和连续型。类别型数据通常需要经过one-hot编码，而连续型数据可以离散化后再one-hot处理，或者直接保留原始数值。由于大量的特征，数据维度极高，这导致了数据的稀疏性。此外，特征通常按Field分组，以便更好地理解和处理不同类型的特征。 在CTR预估中，学习有效的特征交互至关重要。高阶和低阶特征交互对于模型性能有着显著影响。Google的Wide & Deep模型揭示了同时捕捉这两种交互的重要性。然而，手工特征工程既耗时又可能遗漏隐藏的特征组合，例如“尿布与啤酒”的关联。 在DeepFM模型出现之前，LR、FM、FFM、FNN、PNN及其变体如IPNN、OPNN、PNN*等已经被广泛应用。这些模型各有优缺点，如LR依赖于人工特征组合，表达能力有限；FM利用隐向量表示特征交互，但计算复杂度限制了高阶特征的处理；FFM引入Field概念，进一步优化了特征交互。 DeepFM借鉴了Wide & Deep的思想，但有所创新。它将Wide部分的LR替换为FM模型，避免了人工特征工程，同时FM模型的embedding与深度部分共享，提高了模型效率。DeepFM的“宽”部分捕获低阶特征交互，而“深”部分通过神经网络学习潜在的高阶特征交互，实现端到端的学习。 线性模型如LR和FTRL虽然简单，但无法处理复杂的特征交互。FM通过隐向量解决了这一问题，但计算成本限制了其在高阶特征上的应用。随着深度学习的发展，CNN和RNN等模型被引入CTR预估，但CNN可能过于关注局部特征，而RNN处理序列数据时可能存在训练困难。 DeepFM的出现，结合了线性模型的易解释性和深度学习的表达能力，能够有效处理高维稀疏数据，尤其适合CTR预估任务。通过实验，DeepFM在基准数据和商业数据上均表现出优于现有模型的性能和效率，证明了其在特征交互学习上的优越性。