【电商推荐】平衡效率与效果：一种优化点击率预测的LLM融合方法_balancing efficiency and effectiveness: an llm-inf-CSDN博客

本文链接：https://blog.csdn.net/fyf2007/article/details/144651837

【电商推荐】平衡效率与效果：一种优化点击率预测的LLM融合方法

本文探讨了在线广告中点击率（CTR）预测的重要性，强调了语义信息在塑造用户决策和提高CTR效果中的关键作用。作者提出了一种新颖的方法，利用大型语言模型（LLMs）的全面世界知识能力，端到端地建模深度语义信息。提出的LLM融合CTR预测框架（Multi-level Deep Semantic Information Infused CTR model via Distillation, MSD）旨在通过利用LLMs提取和蒸馏关键信息到更小、更高效的模型中，实现无缝的端到端训练和推理。该框架精心设计，以平衡效率和效果，确保模型不仅实现高性能，而且以最优的资源利用率运行。在美团赞助搜索系统上进行的在线A/B测试表明，该方法在每千次展示成本（CPM）和CTR方面显著优于基线模型，验证了其在现实世界应用中的有效性、可扩展性和平衡方法。

研究背景

在线广告领域中，CTR预测是推荐系统和在线广告的核心组成部分。语义信息，尤其是用户对产品或服务的偏好，对于提高广告效果至关重要。传统的语义建模往往忽略了用户和项目层面的这些复杂细节。为了弥补这一差距，本文介绍了一种新的方法，该方法通过LLMs提取和蒸馏关键信息，以实现深度语义信息的建模。
在这里插入图片描述

问题与挑战

深度语义信息的捕捉与建模：如何捕捉和建模用户对产品或服务的深层次偏好和意图是一个挑战。
效率与效果的平衡：在保持模型高性能的同时，如何优化资源利用，提高模型的运行效率。
实际工业环境中的应用：大多数现有研究在实际工业环境中的CTR预测应用中效率和效果的平衡尚未得到充分考虑。

如何解决

为了解决上述挑战，作者提出了MSD框架，该框架通过以下方式实现：

知识蒸馏：利用知识蒸馏技术将LLMs的内部能力转移到更小的模型中，以提高效率。
多级知识蒸馏模块（MKDM）：通过基于提示的方法结合链式推理（CoT）生成推理过程，并在项目和用户层面提取显式和隐式信息。
多级知识整合模块（MKIM）：将语义洞察无缝整合到CTR预测框架中，包括LoRA、特征适配器和频率自适应相关项目融合。

创新点

LLM融合CTR预测方法：通过知识蒸馏范式引入LLM，平衡效率和效果。
多级知识蒸馏模块和多级知识整合模块的开发：这些模块能够提取和整合深度语义信息，提高CTR预测的准确性。
在线A/B测试的成功部署：在美团推荐平台上实现了2.12%的CTR提升和2.59%的CPM提升。

算法模型

MSD框架包含两个主要模块：多级知识蒸馏模块（MKDM）和多级知识整合模块（MKIM）。

多级知识蒸馏模块（MKDM）

知识生成：通过手动选择的ChatGPT输出作为参考，使用动态选择的参考输出作为上下文学习的例子，生成包含显式和隐式信息的输出。
知识蒸馏：利用知识蒸馏将LLMs教师模型的语义和上下文推理能力转移到更高效的学生模型。

多级知识整合模块（MKIM）

LoRA：使用低秩适配器对蒸馏后的LLMs进行微调，以提高计算效率。
特征适配器：使用多层感知机（MLP）压缩和转换LLM输出嵌入，确保有效整合到CTR模型中。
频率自适应相关项目融合：通过掩码和池化操作增强项目嵌入的鲁棒性。

实验效果

数据集

KDD Cup 2012：包含腾讯广告日志的CTR预测数据集，包括查询和用户信息。
美团：来自美团推荐平台的实际数据集，包含广泛的用户-项目交互数据。

基线模型

DIN、DeepFM、DeepCharMatch、SuKD、BERT4CTR、PRINT等流行的CTR基线模型。

评估指标

蒸馏评估指标：基于预测关键词的F1分数，使用BERT模型生成的嵌入来确定短语等价性。
模型性能指标：主要使用AUC评估模型性能，同时使用相对改进（RelaImpr）指标来量化模型相对于现有模型的性能提升。

结果

性能比较：MSD框架在两个数据集上均显示出优越的性能，与PRINT相比，在KDD Cup 2012和美团数据集上的AUC分别提高了0.25%和0.63%。
消融研究：每个模块都对整体性能提升有显著贡献。
LLM蒸馏效果：知识蒸馏过程与CTR模型性能之间存在正相关关系。
在线部署和A/B测试结果：在美团赞助搜索广告系统上进行的在线A/B测试中，MSD模型在CTR上实现了2.12%的提升，在CPM上实现了2.59%的提升。

在这里插入图片描述