可验证奖励之外：没有标准答案的领域怎么做强化学习

第一层：通俗理解

1.1 有答案的练习和没答案的练习

• 练数学：做完对答案，错了重做。可以一个人练一万道题；
• 练写作：写完一篇文章，谁来打分？老师的口味、读者的口味、编辑的口味都不同，而且打分很慢。

强化学习需要大量、快速、可靠的打分。可验证的领域有，开放的领域没有。

1.2 现有做法的问题

第二层：已有证据

第三层：几条出路

3.1 拆：把开放任务拆成可验证的部分

一篇研究综述"写得好不好"难以验证，但其中很多部分可以：

剩下真正"主观"的部分（文笔、洞见）再交给人或模型评判。可验证部分占比越大，奖励越可靠。

3.2 用世界模型当验证器（构想）

战略规划、经营决策这类任务，可以在模拟环境里执行计划，看结果：

• 一个营销方案 → 在模拟的用户群体中运行；
• 一个谈判策略 → 和模拟的对手谈判；
• 一个工程方案 → 在仿真中运行。

模拟器不完美，但它提供了一个不会被讨好的反馈来源（见《世界模型后训练》）。

3.3 多个弱验证器的组合

单个验证器容易被钻空子，但同时骗过多个独立的验证器要难得多（和多源交叉验证同一思路）：

$$r = \min\big(r_1, r_2, \dots, r_k\big) \quad \text{或} \quad r = \text{加权平均，但对分歧大的样本降低权重}.$$

用最小值而不是平均值，意味着模型必须让所有验证器都满意，钻某一个验证器的漏洞就没有意义了。

3.4 辩论与可扩展监督

当任务超出人类评判能力时（比如审核一篇非常专业的论文），让两个模型辩论：一个为结论辩护，一个寻找漏洞。人类只需判断双方指出的具体问题是否成立。理论上，说谎的一方更容易被对方抓住。

3.5 延迟的现实反馈（构想）

有些任务的真实结果要很久才知道：一个投资建议、一个医疗方案、一个产品决策。可以设计"延迟奖励"：

• 先用代理奖励训练；
• 真实结果出来后（几周、几个月），回头校准奖励模型；
• 把预测类任务变成"预测市场"式的训练：模型对未来事件给出概率，事件发生后按校准程度打分（Brier 分数）。

预测未来是一个天然无法提前作弊的可验证任务。

3.6 待验证的假设

1. 拆分后的可验证子任务做得好，是否等于整体做得好？还是会出现"每一项都达标、整体却平庸"？
2. 组合验证器会不会让模型变得过于保守（只做所有验证器都挑不出毛病的平庸输出）？
3. 预测类奖励能否迁移成更一般的判断力？

总结