【AI论文】并行-R1：借助强化学习迈向并行思维

摘要：并行思维作为一种新兴方法，通过同时探索多种推理路径来增强大型语言模型（LLMs）的推理能力。然而，通过训练激活此类能力仍颇具挑战，因为现有方法主要依赖于在合成数据上进行监督微调（Supervised Fine-Tuning，SFT），这鼓励的是教师强制模仿，而非探索与泛化。与这些方法不同，我们提出了Parallel-R1，这是首个能够使复杂现实世界推理任务实现并行思维行为的强化学习（Reinforcement Learning，RL）框架。我们的框架采用渐进式课程设计，明确解决了利用强化学习训练并行思维时面临的冷启动问题。我们首先在较简单任务的提示生成轨迹上使用监督微调，以灌输并行思维能力，然后过渡到强化学习，在更困难的问题上探索并泛化这一技能。在包括MATH、AMC23和AIME在内的多个数学基准测试上的实验表明，Parallel-R1成功灌输了并行思维，与直接在具有挑战性的任务上使用强化学习训练的顺序思维模型相比，准确率提高了8.4%。进一步分析显示，模型的思维行为发生了明显转变：在早期阶段，它使用并行思维作为探索策略，而在后期阶段，它则利用同样的能力进行多视角验证。最重要的是，我们验证了并行思维可作为训练中期探索支架，在这一临时探索阶段之后，强化学习能解锁更高的性能上限，在AIME25数据集上，与基线相比，性能提升了42.9%。我们的模型、数据和代码将在Github上开源。Huggingface链接：Paper page，论文链接：2509.07980

研究背景和目的

研究背景：

近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著进展，展现出强大的文本生成和理解能力。然而，在处理复杂推理任务时，这些模型仍然面临挑战。特别是当任务需要深度思考、多步骤逻辑推断或解决未见过的问题时，传统的大型语言模型往往表现不佳。为了提高语言模型的推理能力，研究人员开始探索将强化学习（RL）应用于语言模型的后训练阶段。

传统的监督微调（SFT）方法依赖于大量标注数据，这些数据通常通过复杂的管道生成，成本高昂且难以覆盖所有可能的推理路径。相比之下，强化学习提供了一种更灵活、更自主的学习方式，允许模型通过试错来优化其行为策略。然而，将强化学习应用于语言模型的后训练并非易事，尤其是当涉及到复杂推理任务时，模型需要探索多种可能的解决方案路径，并从中学习最优策略。

在此背景下，并行思考（Parallel Thinking）作为一种新兴的方法，通过同时探索多种推理路径来增强模型的推理能力。然而，现有的并行思考方法主要依赖于监督微调，难以激发模型的探索和泛化能力。因此，本研究旨在提出一种基于强化学习的并行思考框架，以更有效地激活和训练语言模型的并行思考能力。

研究目的：

本研究的主要目的是开发一种全新的强化学习框架——Parallel-R1，用于在复杂现实世界推理任务中激活和训练语言模型的并行思考能力。具体目标包括：

1. 解决并行思考的冷启动问题：通过渐进式课程学习，首先在简单任务上通过监督微调教授模型并行思考的基本格式，然后过渡到强化学习，在更复杂的任务上探索和泛化这一技能。
2. 设计有效的奖励机制：探索如何平衡最终准确性和期望的并行思考结构，提出交替奖励策略，以在保持高准确性的同时鼓励并行思考行为。
3. 分析并行思考的策略演变：通过详细分析模型在训练过程中的行为变化，揭示并行思考如何从早期的探索策略转变为后期的多视角验证策略。
4. 验证并行思考作为中期训练探索支架的有效性：通过实验验证并行思考作为临时探索阶段，能否在强化学习训练后解锁更高的性能上限。

研究方法

1. 渐进式课程学习：

为了解决并行思考的冷启动问题，Parallel-R1框架采用了一种渐进式课程学习方法。该方法分为两个阶段：

• 冷启动阶段：在简单任务（如GSM8K）上使用监督微调，通过详细零样本提示构建高质量并行思考数据集（Parallel-GSM8K），教授模型并行思考的基本格式。
• 强化学习阶段：在更复杂的任务（如DAPO）上应用强化学习，通过群体相对策略优化（GRPO）算法探索和泛化并行思考能力。此阶段分为两个子阶段：易任务上的小规模强化学习和一般数学任务上的大规模强化学习。

2. 交替奖励策略：

为了平衡最终准确性和期望的并行思考结构，研究提出了交替奖励策略。该策略在固定窗口内交替使用基于结果的奖励和鼓励并行思考行为的奖励：

• 基于结果的奖励：仅当生成的输出包含至少一个并行思考单元且最终答案正确时，给予正奖励。
• 鼓励并行思考行为的奖励：在特定窗口内，鼓励模型使用并行思考结构，即使最终答案不正确也给予一定奖励。

3. 模型架构修改：

为了进一步增强并行思考的效果，研究探索了两种模型架构：

• 因果模型（Parallel-Seen）：不修改底层架构，通过控制标签（<Parallel>、<Path>、<Summary>）实现并行思考。
• 结构化模型（Parallel-Unseen）：通过路径窗口掩码和多宇宙位置编码修改自注意力机制，强制隔离推理路径，防止交叉注意力干扰。

4. 实验设置：

实验使用Qwen-3-4B-Base模型作为骨干网络，在四个标准数学推理基准（AIME'24、AIME'25、AMC'23和MATH）上评估模型性能。训练细节包括冷启动阶段的小批量梯度下降、易任务上的五轮强化学习以及一般数学任务上的300轮梯度更新。

研究结果

1. 性能提升：

实验结果表明，Parallel-R1框架显著提升了模型在复杂数学推理任务上的性能。与基线方法相比，Parallel-R1在多个基准上实现了显著的性能提升。特别是，在AIME25基准上，Parallel-R1-Seen模型实现了25.6%的峰值准确率，比基线方法提高了42.9%。

2. 策略演变：

详细分析揭示了模型在训练过程中的策略演变。早期阶段，模型主要利用并行思考进行计算探索，发现潜在解决方案；后期阶段，模型则利用并行思考进行多视角验证，确认最终答案。这种策略演变表明，模型逐渐学会了如何更有效地利用并行思考来提高推理准确性。

3. 中期训练探索支架的有效性：

实验验证了并行思考作为中期训练探索支架的有效性。通过两阶段训练（探索阶段和利用阶段），模型在探索阶段强制使用并行思考结构，在利用阶段则专注于准确性优化。结果显示，这种临时探索阶段显著提高了模型的最终性能，验证了并行思考作为中期训练探索支架的潜力。

研究局限

尽管Parallel-R1框架在提升语言模型并行思考能力方面取得了显著进展，但研究仍存在一些局限性：

1. 数据依赖性问题：

尽管研究通过简单任务上的监督微调解决了冷启动问题，但高质量并行思考数据的生成仍然依赖于特定任务的提示工程。对于更复杂的任务，如何自动生成高质量并行思考数据仍是一个挑战。

2. 奖励设计的复杂性：

交替奖励策略虽然有效平衡了准确性和并行思考结构，但奖励设计仍然依赖于手动调整的参数（如窗口大小和奖励权重）。未来需要探索更自动化的奖励设计方法，以进一步提高训练效率。

3. 模型架构的普适性：

结构化模型（Parallel-Unseen）虽然通过修改自注意力机制强制隔离了推理路径，但这种架构修改可能不适用于所有类型的语言模型。未来需要探索更通用的模型架构，以支持并行思考的广泛应用。

未来研究方向

针对Parallel-R1框架的局限性和潜在改进空间，未来研究可以从以下几个方面展开：

1. 自动化数据生成：

探索更自动化的方法生成高质量并行思考数据，减少对特定任务提示工程的依赖。例如，可以利用生成对抗网络（GANs）或自回归模型自动生成包含多种推理路径的文本数据。

2. 智能化奖励设计：

研究更智能化的奖励设计方法，如基于模型置信度的奖励或基于人类反馈的强化学习（RLHF），以进一步提高训练效率和模型性能。

3. 通用模型架构：

探索更通用的模型架构，以支持并行思考在不同类型语言模型中的广泛应用。例如，可以研究基于Transformer的通用并行思考模块，将其集成到各种预训练语言模型中。

4. 多模态应用：

将Parallel-R1框架扩展到多模态学习领域，如文本到图像生成、视频理解或跨模态检索等。通过并行思考增强多模态模型的推理能力，推动多模态学习领域的发展。

5. 实际应用验证：

在实际应用场景中验证Parallel-R1框架的有效性，如智能客服、自动驾驶或医疗诊断等领域。通过实际应用反馈进一步优化框架设计，提高其实用性和鲁棒性。

总之，Parallel-R1框架为提升语言模型的并行思考能力提供了一种全新的强化学习方法。未来研究可以通过自动化数据生成、智能化奖励设计、通用模型架构探索、多模态应用以及实际应用验证等方向进一步拓展和完善该框架。