第 10 章可验证强化学习：GRPO、RLVR 与过程奖励¶

开场问题：数学题最终答案可以自动判对错，还需要昂贵的人工偏好和 value model 吗？

10.1 RLVR 的核心变化是 reward 来源¶

RLHF 的 reward 来自学习到的人类偏好模型，存在主观性和可被利用的漏洞。RLVR（Reinforcement Learning with Verifiable Rewards）使用程序化验证：数学答案匹配、代码通过测试、定理通过检查器、工具任务达到环境目标。

验证器便宜、稳定、可规模化，能让策略大量探索。这是现代推理模型取得进展的重要条件，不是某个特定 RL 算法单独创造的。

对同一道题，从旧策略采样 G 个回答，得到 reward \(r_1,\ldots,r_G\)。用组内均值和标准差标准化：

\[ A_i=\frac{r_i-\operatorname{mean}(r)} {\operatorname{std}(r)+\epsilon} \]

同一道题里，比同伴好的回答优势为正，比同伴差的为负。这个组内相对 baseline 取代了单独训练的 critic，省掉一个大模型和一套 value loss。

然后仍用类似 PPO 的概率比、clip 和 KL 约束更新策略。GRPO 不是“不要 reference、不要 old policy、只看 reward”；它主要拿掉的是 value model。

每题采 G 条意味着 rollout 成本乘 G。如果一组全对或全错，reward 没有方差，标准化后的优势几乎没有信号。太简单和太难的题都浪费生成预算，最有价值的是当前模型成功率位于中间区域的问题。

这自然导出动态课程：根据近期成功率增加处于“学习前沿”的题，降低长期全对/全错题的采样率。但要保留一部分固定锚点，防止课程只追逐短期波动。

验证器也会有漏洞：

一旦用 RL 优化，策略会主动寻找这些漏洞，速度远超人工发现。训练前要把验证器当安全边界做对抗测试，训练中监控 reward 与独立评测是否脱钩。

若复杂题上更长探索有机会获得更高正确率，RL 会提高产生自检、回溯和多方案尝试的轨迹概率。长 CoT 是在 reward 与生成预算共同作用下形成的策略，不是把“请一步步思考”写进 prompt 就等价。

但更长不必然更好。模型可能学会反复改写、伪装检查或拖延最终答案。需要同时监控正确率、推理 token 数和单位正确答案成本，并对无效冗长施加预算或轻微惩罚。

这里只讲 RL 如何把思维链训长。这条思维链本身为什么能提高准确率、预算怎么控、怎么评测、怎么蒸馏进小模型，是下一章的完整主题。

ORM 只看最终结果，可靠、便宜，但 credit assignment 粗。PRM 给中间步骤评分，信号密、学习快，但要有步骤标注或可靠步骤验证器，而且可能奖励看似合理的伪过程。

可程序验证的中间状态最可信，例如编译是否通过、单元测试到哪一步、定理检查器是否接受。纯语言 PRM 应与最终结果共同使用，不能取代结果验证。

常见 reward 包括 correctness、format、tool success、安全、长度/KL。把它们简单线性相加会产生尺度问题：一个容易刷满的格式分可能压过稀疏的正确性分。

优先顺序应是：

若总 reward 上升而独立正确率不升，应立刻停训检查 hacking。

任何一步都可能成为瓶颈：生成吞吐看第二册，算法正确性看本章，验证器可信度看第 14–16 章。

Q：GRPO 比 PPO 少了什么？ 少了单独的 value model/critic，用同题多条轨迹的组内相对 reward 作为 baseline；policy、old policy 概率和 KL 约束仍然存在。

Q：为什么每题要采多个回答？ 需要组内比较估计相对优势，也提供探索多种解法的机会。代价是生成成本成倍增加。

Q：全对或全错的一组为什么没信号？ 组内 reward 相同，无法判断哪条轨迹相对更好，标准化优势接近零。

Q：RLVR 最大风险是什么？ 验证器漏洞。策略会学会最大化可测 reward，而不一定完成真实目标。