上海交大：消除LLM过程奖励的长度偏差

📖标题：CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models
🌐来源：arXiv, 2507.15698

🌟摘要

过程奖励模型 (PRM) 在评估和指导大型语言模型 (LLM) 中的多步推理方面发挥着核心作用，特别是对于数学问题解决。然而，我们确定了现有 PRM 中普遍存在的长度偏差：即使语义内容和逻辑有效性不变，它们也倾向于为更长的推理步骤分配更高的分数。这种偏差破坏了奖励预测的可靠性，并在推理过程中导致过于冗长的输出。为了解决这个问题，我们提出了 CoLD (Counterfactual-Guided Length Debiasing)，这是一个统一框架，可以通过三个组件减轻长度偏差：显式长度惩罚调整、经过训练以捕获虚假长度相关信号的学习偏差估计器和在奖励预测中强制执行长度不变性的联合训练策略。我们的方法基于反事实推理，并由因果图分析提供信息。在 MATH500 和 GSM-Plus 上的大量实验表明，CoLD 始终降低奖励长度相关性，提高步骤选择的准确性，并鼓励更简洁、逻辑上有效的推理。这些结果证明了CoLD在提高PRMs保真度和鲁棒性方面的有效性和实用性。

🛎️文章简介

🔸研究问题：如何有效地消除过程奖励模型（PRM）中由步骤长度引起的偏差，从而提高模型对逻辑有效性和语义准确性的评估能力？
🔸主要贡献：论文提出了一种名为CoLD的框架，通过结合长度惩罚、偏差估计器和联合训练，系统地消除PRM中长度偏差的影响。

📝重点思路

🔸引入长度惩罚：通过从原始PRM得分中减去与长度成比例的惩罚项，显著减少冗长回答的倾向。
🔸偏差估计器：开发一个单独的模块，旨在估计原始得分中因步骤长度造成的偏差，并将其从原始得分中减去，从而恢复长度不变性。
🔸联合训练：采用统一的训练方案同时训练PRM和偏差估计器，以提高模型对潜在长度偏差的抵抗力。

🔎分析总结

🔸实验结果表明，经过CoLD处理的PRM在选择准确且简洁的推理步骤方面表现更佳，成功抑制了长度与得分之间的相关性。
🔸在MATH500数据集上，CoLD有效减少了解决方案的长度，同时提高了准确性，进一步证明了长度偏差的存在及其影响。
🔸通过控制实验，发现即使在保持推理质量不变的情况下，延长步骤的长度也会导致PRM给予更高的奖励，这证明了长度偏差问题的严重性。

💡个人观点

论文的创新点在于系统地识别和量化了过程奖励模型中的长度偏差问题，并通过引入三个互补的策略（长度惩罚、偏差估计和联合训练）提供了一个有效的解决方案，从而提升了模型的可靠性和逻辑有效性。

🧩附录