DeepSeek-R1 论文阅读 DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

文章目录

• Abstract
• 1 Introduction
• 2 Approach
• • 2.1 Overview
  • 2.2 DeepSeek-R1-Zero: Reinforcement Learning on the Base Model
  • • 2.2.1 Reinforcement Learning Algorithm（强化学习算法）
    • 2.2.2奖励建模（Reward Modeling）
    • 2.2.3训练模板（Training Template）
    • 2.2.4 DeepSeek-R1-Zero的性能、自我进化过程和“顿悟时刻”
    • • 1）性能方面
      • 2）自我进化过程方面
      • 3）顿悟时刻方面
      • 4）存在的缺点方面
  • 2.3 DeepSeek-R1: 带冷启动的强化学习
  • • 2.3.1 冷启动（Cold Start）
    • 2.3.2 推理导向的强化学习
    • 2.3.3 拒绝采样与监督微调
    • 2.3.4 全场景强化学习
  • 2.4 蒸馏——让小模型也能拥有推理能力
• 3. Experiment
• • 3.1 DeepSeek-R1 评估
  • 3.2 蒸馏模型评估
• 4 Discussion
• • 4.1 蒸馏 vs. 强化学习
  • 4.2 不成功的尝试
• 5 Conclusion, Limitations, and Future Work
• 知识点补充
• • 1) 强化学习和监督微调
  • • 强化学习（Reinforcement Learning, RL）
    • 监督微调（Supervised Fine-Tuning, SFT）
    • 强化学习 vs 监督微调：
  • 2) 冷启动数据
  • 3) 评论者模型
  • 3）“cons@64”高于“pass@1”