- 博客(282)
- 收藏
- 关注
RSS订阅原创 Meta-KDD2025-RPG-token级别并行生成式提高效率！
1. 论文贡献总结 • RPG 方法是什么？ • 提出了一种高效、有效的基于 semantic ID 的推荐方法（RPG）。 • 和传统生成式模型不同，不是一步步（自回归）生成每一位 token，而是所有位并行预测，大大提升了推理效率。⸻2. 技术亮点 • 打破自回归依赖：传统生成需要前一位的 token 才能生成后一位，这导致生成速度慢、延迟高。RPG 让每一位可以独立、同时预测，没有顺序依赖。 • 支持更长更表达力强的 semantic ID：并行预测后，每个物品的 ID 可以设计得很
2025-06-20 21:17:25
662
原创 SIM——引入双阶段搜索机制在用户行为序列的同时关注动态兴趣
摘要：阿里提出的SIM（Search-based Interest Model）是一种高效的用户兴趣建模方法，用于处理超长行为序列的CTR预测问题。传统模型（如DIN、MIMN）受限于计算开销或固定记忆矩阵的噪声问题，难以精准建模用户兴趣。SIM创新性地采用双阶段搜索机制：GSU（通用搜索单元）：通过硬搜索（类别匹配）或软搜索（内积相似度）从上万条行为中筛选出与候选商品最相关的Top-K子序列，大幅降低计算复杂度。ESU（精准搜索单元）：对筛选后的行为序列，结合时间间隔嵌入和多头注意力机制，精细化建
2025-06-01 10:28:45
822
原创 LLaDa——基于 Diffusion 的大语言模型 打平 LLama 3
摘要：中国人民大学高瓴人工智能学院提出了一种突破传统自回归范式的大语言模型架构LLaDA（Large Language Diffusion with mAsking），通过扩散模型思想实现文本生成。该方法采用随机掩码-预测的逆向过程，以动态掩码比例训练模型全局推理能力。理论分析表明，其训练目标是对数似然的上界，数学框架具有严谨性。实验显示，8B参数的LLaDA在多项任务上与主流自回归模型LLaMA 3性能相当，证明了扩散模型在语言建模中的潜力。论文与代码已开源，为语言模型研究提供了新方向。
2025-05-28 19:04:56
1011
原创 小红书团队 生成式排序 GenRank
《Towards Large-scale Generative Ranking》这篇文章探讨了生成式排序在推荐系统中的有效性及其在工业场景中的应用。生成式推荐的核心思想是将推荐任务视为从用户历史行为中生成未来可能发生的行为。文章主要解决两个问题：为什么生成式排序比传统方法更好，以及如何在保持效果的同时提升运行效率以便于工业部署。为提升效率，小红书提出了GenRank架构，其创新点在于以用户行为为导向的序列组织方式和更高效的时间与位置偏置处理策略。实验表明，GenRank在训练和推理效率上有显著提升，同时保持
2025-05-19 10:55:41
1126
原创 SIGIR 2025 多tokenizer的生成式推荐 MTGRec
这篇文章《Pre-training Generative Recommender with Multi-Identifier Item Tokenization》提出了一个生成式推荐模型MTGRec，旨在解决冷门商品建模不佳和训练数据多样性不足的问题。传统生成式推荐模型中，每个商品对应唯一的token序列，导致冷门商品的token出现频率低，语义学习不充分，且训练数据单一。MTGRec通过引入多标识符编码（Multi-Identifier Tokenization）和数据课程学习机制（Data Curric
2025-05-18 13:54:20
1103
原创 SIGIR 2025 端到端生成式推荐ETEGRec
本文提出了一种端到端的生成式推荐框架ETEGRec，旨在解决传统两阶段生成式推荐模型中物品标记化与生成推荐器分离训练的问题。ETEGRec通过引入序列-物品对齐和偏好-语义对齐机制，实现了物品标记器与生成式推荐器的协同优化。物品标记器采用RQ-VAE将物品编码为离散token序列，生成式推荐器则基于Transformer自回归地生成目标物品的token。通过联合优化token重构损失、生成损失及对齐损失，ETEGRec在推荐任务中表现出更高的效率和效果。该框架为生成式推荐提供了一种新的端到端学习范式，具有重
2025-05-09 21:43:52
1241
原创 TIGER：生成式推荐新范式
在传统的推荐系统中，每个物品或用户通常都被分配一个“原子ID”，例如商品ID 123、用户ID 456 等。这种ID本身没有任何语义，仅仅是一个索引数字，它无法表达出物品之间的内容相似性或语义关联。例如，一双运动鞋和一件运动T恤，即使在使用场景上高度相关，它们的ID却毫无关联。原子ID不具备语义信息；无法泛化到新物品、新用户（冷启动问题严重）；在训练生成式模型时不利于学习和预测。为了解决这些问题，TIGER提出用“语义ID（Semantic ID）”来替代原子ID。
2025-05-04 10:20:25
1059
原创 MARM：推荐系统中的记忆增强突破
MARM（Memory Augmented Recommendation Model），通过引入缓存技术，极大地优化了推荐系统中的计算复杂度。传统的推荐系统往往依赖大量的数据处理和高计算量，特别是在多层次的注意力机制中，计算复杂度往往会成为瓶颈。而MARM的创新之处就在于，它利用缓存存储计算结果，避免了重复计算，从而大大减少了计算资源的消耗。通过对比不同的模型，MARM在解决计算瓶颈、提高效率方面展示了显著优势。使用多层目标注意力机制**来捕捉用户的长期和短期兴趣，同时通过缓存技术来减少不必要的重复计算。
2025-05-03 20:55:02
1162
原创 揭秘TWIN与百万序列ACT如何赋能大规模推荐系统
CTR（Click-Through Rate，点击率）预测任务在推荐系统中扮演着至关重要的角色，它的目标是预测用户在当前上下文下，是否会点击某个候选内容（如视频、商品、广告等）。一个准确的 CTR 模型不仅可以提升用户体验，还能帮助平台更高效地分发优质内容，提升业务效果。CTR 预测通常被建模为一个二分类问题。给定一个样本的特征向量xi∈Rdxi∈Rd，模型会输出一个打分fxifxi，表示用户点击的倾向。为了将该打分映射到01[0,1]01yiσfx。
2025-05-01 15:03:17
1001
原创 谷歌推出探索型推荐新范式：双LLM架构重塑用户兴趣挖掘
这篇来自谷歌的研究工作聚焦于一个推荐系统中长久未解的难题：**如何在不破坏用户体验的前提下，引导用户走出兴趣“信息茧房”，实现有效探索。面对传统系统的闭环困境和强化学习在推荐场景下的失败尝试，作者提出了一种“双LLM+离线规划”**的新范式，将“生成”和“控制”两个目标彻底解耦。通过引入新颖性模型与对齐模型的协作机制，并辅以离线生成、在线查表的系统优化策略，他们最终在一个真实的短视频平台上实现了“新颖性”与“满意度”同步提升的稀有结果。
2025-04-22 14:59:25
952
原创 WWW2025 快手最新论文 T2Diff 解读：生成式扩散模型+混合注意力打造高效推荐
总的来说，T2Diff 提出了一种创新的生成式推荐方法，突破了传统双塔模型“信息交互弱”和“行为建模浅”的限制。通过引入扩散模型，T2Diff 能够生成用户的下一个潜在兴趣行为，从而显式引导用户建模过程；同时结合混合注意力机制，引入当前兴趣与历史行为的深度交互，有效提升了用户表示的表达能力。文章在多个真实世界和工业级数据集上验证了方法的有效性，显著优于现有最先进方法，展现出生成式模型在大规模推荐系统中的巨大潜力。
2025-04-21 14:27:30
578
原创 快手OneRec 重构推荐系统：从检索排序到生成统一的跃迁
总的来说，OneRec不仅是一种技术创新，也是快手生成式推荐的重要探索，体现了推荐系统未来的发展趋势：从“排序打分”走向“偏好理解与生成”，从“静态预测”走向“持续自我优化”。本文提出OneRec打破传统多阶段检索排序架构的限制，首次构建一个端到端、单阶段、生成式推荐模型框架。在方法上，采用一种平衡k-means（RQ-VAE改变）将视频内容编码为离散语义token，基于用户行为的统一编码器解码器结构（解码器用了MoE技术），通过自回归生成完整的推荐session。
2025-04-16 15:16:31
1688
原创 地图上的‘词向量’：揭秘 Space2Vec 的魔法
目前在调研处理地理位置坐标的方法，完善之前地理大模型的文章，现在调研一下这篇ICLR 2020的文章全名叫：MULTI-SCALE REPRESENTATION LEARNING FOR SPA- TIAL FEATURE DISTRIBUTIONS USING GRID CELLS。看看其中编码地图的思路或者方法能否有借鉴的地方。
2025-04-14 14:23:34
1022
原创 TIME-LLM 详解：如何用大语言模型预测时间序列？
TIME-LLM 所解决的核心问题是如何在不微调语言模型本体的前提下，利用其强大的预训练能力完成通用的时间序列预测任务。我们将整个问题建模为一个典型的监督学习任务，其输入是一段历史的多变量时间序列，输出为未来一段时间的预测值。具体而言，给定一个输入矩阵X∈RN×TX∈RN×T，表示一个长度为TTT的时间序列，其中包含NNN个不同的一维变量（如温度、电量、访问量等），模型的目标是学习一个映射函数f⋅f(\cdot)f⋅，将历史观测序列X\mathbf{X}X。
2025-04-03 14:14:39
1578
原创 大模型算法岗面试-如何优化大模型行为？从PPO走到GRPO的技术演化
简单来说，这里的对齐，不是让不同模态“看齐”，而是让大模型的行为和人类的价值观、意图、偏好对齐。我们希望大模型不仅“能说话”，而且“说得让人满意、听得懂、有帮助、无冒犯”。回答要准确语气要得体不说危险内容不随便编答案不被恶意引导（比如“你能教我做炸弹吗？”）让大模型输出的行为，真正符合人类的期望，而不是随机地或错误地生成句子。在语言模型领域，RLHF。
2025-03-28 16:50:53
676
原创 从嵌入到生成：一文读懂GENIUS多模态检索革命
一、任务设置解释📌 用户的输入（查询）是由两部分组成的：查询内容记作qconq_{con}qcon，可能是图像、文本，或者图文对。比如：一张图片、或一句话、或一张图+一句描述。例子：图像qiq_iqi、文本qtq_tqt、图文对qiqt(q_i, q_t)qiqt检索指令记作qinstq_{inst}qinst，说明用户希望返回的目标类型和含义。比如：“找出这张图对应的文字描述”
2025-03-27 17:06:53
1036
原创 RAPTOR：如何用树状结构重塑RAG检索能力？
当前很多**检索增强语言模型（Retrieval-Augmented Language Models）**可以通过从外部知识库中检索内容来增强模型对现实世界变化的适应能力，尤其能帮助处理那些少见或冷门的知识（long-tail knowledge）。但现有的方法通常只能检索文档中的一些短小、连续的段落（chunks），这就带来了一个问题：这里举一个例子来理解一下①什么是长尾知识，②传统RAG为什么难以解决这样的长尾知识，③RAPTOR是如何解决这样的长尾知识问题的。🧩 主题问题：这是一个典型的、需要综合全
2025-03-26 17:47:37
1020
原创 大模型tokenizer重构流程
分词算法是模型输入的第一道大门，不同算法决定了模型“看到的单位”是词、子词、字节还是字符；而 ByteLevel BPE 是一种兼具高效、灵活、可训练的主流方法，适用于你构建蛋白质 tokenizer 的任务。
2025-03-24 16:41:06
1204
原创 CS224W6.3——图深度学习
在这篇中，将介绍图神经网络的架构。关键思想是，在GNNs中，根据局部网络邻域生成节点嵌入。gnn通常由任意数量的层组成，而不是单层，以集成来自更大上下文的信息。介绍了如何使用gnn来解决优化问题，以及它强大的归纳能力。我们可以简单认为图卷积网络分为两个步骤：与经典神经网络不同的是，图神经网络中，每个节点都可以定义自己的神经网络架构。但这样，我们就需要同时训练多个架构。核心问题是，如何聚合邻域？基础方法：要想训练我们的模型生成embeddings，我们需要定义损失函数。确定参数：
2023-11-13 14:00:30
467
原创 CS224W6.2——深度学习基础
在本文中，我们回顾了深度学习的概念和技术，这些概念和技术对理解图神经网络至关重要。从将机器学习表述为优化问题开始，介绍了目标函数、梯度下降、非线性和反向传播的概念。这篇我们主要讲第一部分深度学习的基础。我们将机器学习问题、监督学习问题看作是优化问题：我们需要学习这样一个映射函数：将输入xxx映射为输出的预测标签yyy。将这样的函数学习表述为一个优化过程。有两件重要的是：交叉熵损失函数：讨论多分类问题：比如5分类问题，表示5种颜色，我们用one-hot编码表示。我们要在某种意义上对它进行建模，使用f(x)f(
2023-11-12 14:41:53
774
原创 CS224W6.1——介绍图神经网络GNN
之前我们讨论了一些节点嵌入技术，它们可以通过随机游走的过程学习与任务无关的特征。从这篇开始，我们介绍了令人兴奋的，该技术。图神经网络在各种任务中表现出非凡的性能，并可以驯服图的复杂性质。
2023-11-12 12:54:56
310
原创 CS224W5.3——信念传播
此文中，我们介绍信念传播，这是一种回答图中概率查询的动态规划方法。通过迭代传递消息给邻居节点，如果达成共识，则计算最终的信念值。然后，我们通过示例和泛化树结构展示消息传递。最后讨论了循环信念传播算法及其优缺点。集体分类的前两种方法在上篇文章中也说了：CS224W5.2——Relational and Iterative Classification这里主要讲集体分类的最后一种方法。
2023-11-12 11:08:58
366
原创 CS224W5.2——Relational and Iterative Classification
本节中，我们介绍用于节点分类的关系分类器和迭代分类。此时，不需要节点特征信息。如何去做更新：举例：初始化：更新节点3：在更新节点3之后更新节点4：再更新节点5：经过第一轮迭代更新后：经过第2轮迭代更新后：经过第3轮迭代更新后：经过第4轮迭代：收敛：以上是关系分类，它仅仅基于每个节点的标签，而没有用到每个节点的特征信息。迭代分类的架构：举例：第一步：第二步：第三步：继续迭代直至收敛：
2023-11-11 14:54:36
153
原创 CS224W5.1——消息传递和节点分类
从之前的文中，学习了如何使用图表示学习进行节点分类。在这节中，将讨论另一种方法，消息传递。将引入半监督学习，利用网络中存在的相关性来预测节点标签。其中一个关键概念是集体分类，包括分配初始标签的局部分类器、捕获相关性的关系分类器和传播相关性的集体推理3个步骤。举例而言，半监督学习的节点分类任务：
2023-11-11 13:11:42
258
原创 LightGCN：Simplifying and Powering Graph Convolution Network for Recommendation【论文精读】
NCF全称：Neural Collaborative Filtering。当时（2017年），深度神经网络在语音识别、计算机视觉和自然语言处理方面取得了巨大成功。然而，深度神经网络在推荐系统上的探索相对较少。在这项工作中，作者开发基于神经网络的技术来解决推荐中的关键问题——基于隐式反馈的协同过滤。通过将内积（传统MF）替换为可以从数据中学习任意函数的神经架构，作者提出了一个通用框架NCF，称基于神经网络的协同过滤。NGCF全称：NeuralGraph用户和项目的学习向量表示（即Embedding。
2023-11-08 14:13:40
1816
原创 CS224W4.4——矩阵分解和节点Embeddings
我们稍微切换一下方向，讨论生成节点嵌入的矩阵分解方法。具体来说，我们讨论了前面提到的学习节点嵌入的方法如何与矩阵分解的方法联系起来。基于这些直觉，我们提出了基于矩阵分解和随机游走的嵌入方法的3个局限性。在接下来，我们将介绍针对这些限制的具体解决方案:深度表示学习和图神经网络。与矩阵分解的联系：最简单的定义相似度：
2023-11-01 14:54:25
172
原创 CS224W4.3——Random Walk with Restarts
我们讨论了个性化PageRank，它对节点与查询节点S的给定子集(即teleportation set)的接近程度进行排名，以及随机行走(Random Walk)，它对从单个起始节点到对节点接近程度进行随机行走建模。我们将演示这些算法是如何与PageRank的原始定义相关联的，在原始定义中，我们对一个随机surfer进行建模，该surfer在图的链接上移动，同时随机传送到图中的任何节点、所有节点的子集或单个节点。节点近邻策略：
2023-11-01 14:18:18
230
原创 CS224W4.2——计算PageRank
在介绍了PageRank及其公式之后，我们讨论了求解PageRank的方法。我们提出了求解图的随机邻接矩阵(即PageRank)的主特征向量的幂次迭代方法。此外，我们在之前的PageRank实现中引入了两个问题:死角（dead ends）(没有外部链接的节点)和蜘蛛陷阱（spider traps）(没有外部链接的节点组)。为了解决这些问题，我们提出了随机均匀传送（random uniform teleportation）的想法，并揭示了谷歌矩阵，用于利用功率迭代来解决PageRank，同时避免了所提出的问题
2023-11-01 11:34:00
224
原创 CS224W4.1——PageRank
在这篇中，我们将关注如何将图表示为矩阵，并讨论我们可以探索的后续属性。我们定义了PageRank的概念，进一步探索随机游走，并引入矩阵分解作为生成节点嵌入的视角。在第一部分，我们将介绍PageRank作为在图中对节点重要性进行排序的方法。在这样做时，我们提出了PageRank的矩阵公式，并展示了与解决图上随机游走的平稳分布的联系。将网页看作有向图，以链接指向作为边的方向（这个网页/节点能直接跳转到的网页就作为其下一个节点successor）将网页看作有向图，以链接指向作为边的方向（这个网页/节点能直接跳转到
2023-11-01 01:45:00
179
原创 CS224W3.3——整图Embedding
在某些情况下，重要的是不仅要学习节点的嵌入，还要学习整个图。在这篇中，我们介绍了几种可以有效地学习整个图嵌入的方法，包括节点嵌入的聚合（aggregation of node embeddings），以及匿名行走嵌入方法（ anonymous walk embedding approach）。
2023-10-30 13:54:09
121
原创 CS224W3.2——随机游走（Random Walk）
我们要怎样定义相似性和概率的概念?首先，我们需要通过随机游走策略（后面会说）估计出，从节点u到节点v的概率。然后我们要优化embedding，用这种方式来编码随机游走统计。
2023-10-29 13:31:08
626
原创 CS224W2.3——传统基于特征的方法(图层级特征)
前两篇中我们讨论了节点层级的特征表示、边层级的特征表示：在这篇中，我们将重点从整个图中提取特征。换句话说，我们想要描述整个图结构的特征。具体来说，我们感兴趣的是测量两个图之间相似性的图核方法。我们将描述提取这种图核的不同方法，包括Graphlet特性和WL核。目标是：我们想要一个特征来描述整个图的结构。这种核方法广泛应用于传统的图层级预测上。这种方法的思想是：设计核（kernels）代替特征向量。核矩阵K=(K(G,G′))K=(K(G,G'))K=(K(G,G′))必须有正的特征值，可以表示为两个向量的
2023-10-28 20:34:56
145
原创 CS224W2.2——传统基于特征的方法(边层级特征)
在这篇中，我们介绍了链接预测的重要任务，以及如何提取链接级特征来更好地解决这类问题。这在我们需要预测缺失的边或预测将来会出现的边的情况下很有用。我们将讨论的链路级功能包括基于距离的功能，以及本地和全局邻域重叠。任务是：基于已有的图结构，预测新的边。这意味着在测试时，我们必须计算所有尚未链接的节点对，对它们进行排序，然后，宣布我们的算法预测的最前面的k个注释对，是网络中将要发生的链接。而现在的关键，是对每一对节点（边）设计特征。正如上一篇中说到的节点层级的任务，是给节点设计特征，那我们能否直接拼接两个节点的特
2023-10-28 15:25:02
162
原创 CS224W2.1——传统基于特征的方法(节点层级特征)
这篇主要讲传统的基于特征方法的节点层级任务。我们将讨论节点级特性及其应用。节点级特征关注图中节点的特征，可分为基于重要性和基于结构两种。
2023-10-28 11:40:54
203
原创 CS224W1.1——图机器学习介绍
首先，介绍一下什么是图：简单来说，图是一种描述和分析实体之间关系的通用表达形式。图的种类也有很多，比如：事件图、计算机网络图、疾病传播图、食物链图、分子图、地铁路线图。社交网络图、金融图、沟通图、论文引用图、因特网、神经元网络。知识图谱、监管网络图、场景图、代码结构图、分子结构图、3D图形。
2023-10-27 00:27:01
571
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人