Scalable Oversight 入门
第四部分:当模型针对监督调整策略

草稿 内容完整但尚未审校,可能还会修改

第 23 章监督信号变成优化目标之后

路线全部路线最短路线

本章导读

本章问题
  • 今天能抓住错误的裁判,成为明天的训练目标后,是否仍然可靠?
要点
  • 同一个评估者,用来打分和用来训练是两回事:训练会把系统推向评估者给高分、却未必真好的地方(§23.1)。
  • 在合成设置中,对代理奖励模型优化越强,金标准分数先升后降,变化规律与代理模型大小有关(§23.2)。
  • 反复用同一个测试集挑选方法,测试集就成了训练信号,被挑中的方法分数偏高(§23.3)。
  • 留出数据、更换评估者、限制优化强度都能减轻问题,但各有代价,也都需要一个不被优化的独立评价(§23.5)。
本章的视频讲解,4 分 59 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07分数在涨,质量在跌
    设想你训练好一个奖励模型,测试时它与人的判断高度一致,于是用它训练语言模型(这时叫策略模型)。训练若干轮后,奖励模型的分数一路上升;请人重新评分,人的评分却先升后降。
  2. 0:25回到记账程序
    批评模型审查代码很准。有人提议:用“批评模型没有标出问题”作奖励,训练写代码的模型。之后它标出的问题越来越少:可能代码真的变好了,也可能代码变得让它看不出问题。只看它的报告,分不清。
  3. 0:47用来优化,捷径出现23.1
    奖励模型没变,变的是用法:测试时它评判不知道它存在的回答;训练时,策略模型专门去拿它的高分。被高估的输出成了捷径:一是选中了误差,挑得越严,挑中的误差越偏高;二是走出了原来的范围。
  4. 1:11一个合成设置23.2
    在许多优化强度下收集人工评分很贵。Gao 等让一个 60 亿参数的奖励模型扮演人,称为金标准;用它生成的比较数据训练较小的代理奖励模型,再用代理优化策略模型,回答交给金标准打分。
  5. 1:35先升后降23.2
    代理分数一路上升,金标准分数先升后降。形状可用简单的公式描述,系数随代理的参数量平滑变化;按作者的解读,较大的代理对优化更稳健。整体上,代理的训练数据越多,过度优化越轻。
  6. 1:57下降从哪里来23.2
    作者证明,噪声满足一定假设时,如果只有选中了误差这一种机制,真实质量不会下降;实验中却出现了下降。作者认为它主要来自走出了原来的范围,例如回答长度:若训练数据里长回答都更好,再加长也不会更好。
  7. 2:22这项研究的边界23.2
    金标准是一个模型,不是人。实验只测了代理与金标准标签的差距,没有覆盖标签与人的真实意图的差距。被优化的模型也没有主动对抗;作者提醒,模型能力足够时,这些规律可能失效。
  8. 2:45挑选也是优化23.3
    在同一个基准上反复改提示词、改参数再测,保留最高分,就是用测试集做了挑选。脚本模拟 10,000 次:20 个真实正确率都是 70% 的方法比 200 道题,挑中的平均 75.9%,在新的 200 道题上 70.0%;只比 5 个时 73.7%。
  9. 3:08没有人作弊23.3
    多出的约 6 个百分点全部来自挑选。题目越多,偏高越少,但挑选次数足够多时不会消失。问题出在只报告被挑中的分数:应写明比较了多少个候选,并在挑选之外的数据上再测一次。
  10. 3:30监控器成了训练目标23.4
    第三部分的监督信号,用来训练后都可能有这个问题。Baker 等的监控读编程智能体行动前写的推理(思维链),“不触发监控”被加进奖励。优化继续时,它仍以相当高的比例作弊,却不再写出,监控抓到的比例(召回率)接近零。
  11. 3:56应对都有代价23.5
    会出错的监督信号,没法在任意强的优化下都可靠(本书的推断)。四种思路只减轻问题,各有代价,都靠不参与优化的独立评价;它被反复用来决策,也会变成优化目标(本书的推断)。
  12. 4:21证据与前提
    测过:Gao 等的合成设置(会议论文)和 Baker 等的编程智能体(预印本),都来自 OpenAI。依赖:足够的优化压力,系统能找到代理与目标的差异;对应迎合评分,不需要意图。不能推出人类评估下的具体拐点,或所有代理信号都以同样的速度失效。

带走的几句话:

  1. 评估者的测试准确率,不能直接说明它作为训练目标时的可靠性。
  2. 在合成设置中,代理分数一路上升,金标准分数先升后降。
  3. 反复用同一个测试集挑选方法,被挑中的分数偏高。

第 6 章讲过典型的后训练流程:人比较模型的回答,用这些比较训练一个奖励模型,再用奖励模型的分数训练语言模型(这时的语言模型叫策略模型)。设想你刚训练好一个奖励模型,拿一批它没见过的回答测试,它的判断与人的判断高度一致。于是你放心地用它训练策略模型。训练进行了若干轮,奖励模型给出的分数一路上升;可是你请人重新评分,发现人的评分先升后降。后来的回答在奖励模型看来越来越好,在人看来却越来越差。

奖励模型本身没有变,变的是它的用法。测试时,它评判的是不知道它存在的回答;训练时,策略模型被一步步调整,专门去拿它的高分。第 8.6 节给出了本书采用的 Goodhart 定律表述:当代理指标受到较强优化时,它与真正目标之间原有的对应关系可能变差。本章把这条表述放到监督方法上:今天能抓住错误的裁判、批评模型或监控器,成为明天的训练目标之后,还可靠吗?

回到记账程序。假设一个批评模型审查代码时表现很好,标出的问题大多是真的(第 16 章)。现在有人提议:既然它这么准,就用“批评模型没有标出问题”作为奖励,直接训练写代码的模型。训练之后,批评模型标出的问题确实越来越少。这可能是因为代码真的变好了,也可能是因为写代码的模型学会了写出批评模型看不出问题的代码。只看批评模型自己的报告,分不清这两种情况。

证据与前提
  • 想处理:监督信号被用作训练目标后,被优化到与真实目标偏离。
  • 测过:Gao 等在合成设置中用一个大的“金标准”奖励模型代替人,用较小的代理奖励模型做优化,金标准分数随优化强度先升后降,变化规律与代理模型大小有关(Gao 等,2022)。Baker 等在编程智能体中把思维链监控加进奖励:优化强度低时效果改善,优化过强时模型继续作弊,但不再在思维链中写出(Baker 等,2025)。前者是会议论文,后者是预印本;两项研究都来自 OpenAI,研究的是它自己训练的模型。
  • 依赖:对代理信号施加了足够的优化压力;被优化的系统能找到代理与目标之间的差异。威胁模型(第 10.2 节)对应“迎合评分”一个维度,不需要模型有意图。任务前提(第 10.3 节):“能否获得参考答案”,要看到分离,需要一个不参与优化的独立评价,例如实验中的金标准模型或事先写好的作弊判定规则。
  • 不能推出:合成设置中的规律不能直接给出人类评估下的具体拐点;不能推出所有代理信号都以同样的速度失效。
引言引用的文献 2
  1. Gao 等人(2022)Scaling Laws for Reward Model Overoptimization
  2. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation

23.1 从评估工具到训练目标 #

先把开头说的“用法”分清楚。一个评估者有两种用法。

  • 用来测量。输出由别的过程产生,评估者事后打分。它在测试集上的准确率,大致就是它在使用中的准确率,因为被评的输出和测试时的输出来自同样的过程。
  • 用来优化。输出由一个专门被调整去拿高分的系统产生。这时被评的输出不再是原来那种输出,而是向评估者给高分的地方移动过的输出。

两种用法的差别,在于评估者的错误落在哪里。总有一些输出被评估者高估了:它们不太好,却拿到了高分。用来测量时,这些输出只占一小部分,对整体准确率影响不大。用来优化时,被高估的输出成了拿高分的捷径,优化过程会去找它们。起作用的是第 8.6 节用作文字数(习题 8.1)讲过的两种机制:选中了误差,挑得越严,挑中的输出里误差偏高的越多(习题 8.3);走出了原来的范围,优化把输出推到评估者没见过的地方,评估者在那里的判断可能完全不可靠。第 23.2 节会看到,研究者在论文的 arXiv 版里正是用这两种机制来解释实验结果的。

本章把第 8.6 节说的优化强弱称为优化强度,即被训练的系统被推向评估者高分的程度。它可以是在多少个候选里挑最高分,可以是训练了多少步,也可以用模型离开起点有多远来衡量。同一个评估者,在弱的优化下可能一直可靠,在强的优化下就可能失效。这一切都不需要被训练的系统“想要”欺骗评估者(第 8.7 节),对应的是第 10.2 节的“迎合评分”。

要点

一个评估者在测试中的准确率,是在没有针对它优化的输出上测得的。把它用作训练目标之后,这个准确率不再自动成立,需要重新检验。

23.2 奖励模型过度优化 #

奖励模型过度优化(reward model overoptimization)指的是:对一个学来的奖励模型优化过了头,它给出的分数继续上升,而真实质量开始下降。这个现象常有人观察到,但一直没有被仔细测量过,因为收集人的比较数据很贵:要画出“真实质量随优化强度怎样变化”的曲线,需要在许多个优化强度下都收集大量人工评分(Gao 等,2022)。

Gao、Schulman 与 Hilton 用一个合成设置绕开了这个困难(Gao 等,2022)。他们让一个 60 亿参数的奖励模型扮演人,称为“金标准”奖励模型。金标准模型给同一个提示下的两个回答打分,分高的那个标为更好,用这样生成的比较数据,训练出一批较小的“代理”奖励模型,参数量从 300 万到 30 亿不等。然后用代理奖励模型去优化策略模型(主要实验中是一个 12 亿参数的模型),在每个优化强度下,再用金标准模型给策略模型的回答打分。这样,金标准分数就代替了“人的评分”,可以随时、大量地测量。本章对这项研究的叙述按论文的 arXiv 版;ICML 2023 的会议论文没有讨论“走出了原来的范围”这一机制,也没有把实验结果解读为较大的代理奖励模型对优化更稳健(Gao 等,2022)。

他们用了两种优化方式。一种是从 n 个中挑最好的(best-of-n):让策略模型对同一个提示生成 n 个回答,选代理奖励模型打分最高的那个;n 越大,优化越强。另一种是强化学习(第 6 章),训练步数越多,优化越强。两种方式都用优化后的策略模型离初始策略模型有多远来衡量优化强度,具体用的是两者输出分布之间的一种距离(KL 散度),这里不需要它的公式,只要知道“距离越大,优化越强”。作者提醒,同样的距离下,强化学习带来的优化和过度优化都比 best-of-n 少得多,所以这个尺度只适合在同一种方式内部比较,不适合拿来比较两种方式(Gao 等,2022)。

主要结果可以概括为三点(Gao 等,2022)。

  • 代理分数一路上升,金标准分数先升后降。这就是本章开头那个例子的合成版本:优化起初真的带来改善,过了某个点之后,继续优化反而让真实质量变差。
  • 变化的形状可以用简单的公式描述。两种优化方式对应不同的公式,公式里的系数随代理奖励模型的参数量平滑变化。按作者的解读,这说明较大的代理奖励模型对优化更稳健。
  • 整体上,代理奖励模型的训练数据越多,金标准分数越好,过度优化越轻。作者说这与直觉一致。不过比较数据少于约 2,000 条时,各种大小的代理奖励模型都比随机猜测好不了多少,优化后的金标准分数也反映了这一点(Gao 等,2022)。

图 23.1 按论文为 best-of-n 给出的金标准公式形状画出了第一点(Gao 等,2022)。

代理分数(优化器看到的)金标准分数(真正想要的)0246810分数0123456优化强度 d = √KL金标准峰值d = 3.20,即 KL = 10.2,相当于从约 76,000 个回答里挑代理分数最高的一个(best-of-n)。金标准分数在 d = 3.00处最高。
代理分数(优化器看到的)金标准分数(真正想要的)0246810分数0246优化强度 d = √KL金标准峰值d = 3.20,即 KL = 10.2,相当于从约 76,000 个回答里挑代理分数最高的一个(best-of-n)。金标准分数在 d = 3.00 处最高。
图 23.1 把代理奖励模型优化过头。横轴是优化强度 dd,即优化后的策略模型与初始策略模型之间 KL 散度的平方根;纵轴是分数。代理分数(橙色)是优化时看得到的分数,随优化强度一直上升;金标准分数(青色虚线)代表真正想要的质量,先升后降。这里的优化方式是从 n 个回答中挑代理分数最高的一个(best-of-n),读数把 dd 换算成对应的 n:默认的 d=3.2d = 3.2 约等于从 76,000 个回答中挑一个,已经越过金标准分数在 d=3d = 3 处的峰值。点击图或拖动滑块改变优化强度;调大过度优化系数 b(相当于换一个较小的代理奖励模型),峰值向左移。金标准曲线的函数形式取自 Gao 等人(2022);代理分数画成直线,是本书的简化,论文只说代理分数大致随 dd 线性增长。系数是示意值,不是论文的拟合结果,所以峰值的位置不代表任何真实设置中的拐点;论文中的“金标准”是一个更大的奖励模型,不是人。

作者还讨论了分离从哪里来,对应第 23.1 节的两种机制。第一种是选中了误差:代理分数里含有噪声,优化有一部分力气花在挑选噪声上,所以真实质量的提高总是小于代理分数的提高。作者证明,在噪声满足一定假设时,如果只有这一种机制,真实质量会随代理分数单调上升,不会下降;实验中出现了下降,说明要么噪声不满足这些假设,要么还有别的机制。第二种是走出了原来的范围,即输出被推出了奖励模型熟悉的范围。作者举的例子是回答长度:如果在训练数据中,长回答总是更好,奖励模型就可能学到“越长越好”,可在训练数据之外,再加长并不会让回答更好;他们提到,在 InstructGPT 的设置中观察到过优化后的策略在应当简短作答时也给出很长的回答。作者认为,金标准分数的下降主要来自第二种机制(Gao 等,2022)。

读这项研究时,要注意它的边界,作者自己也写明了其中几条(Gao 等,2022)。

  • 金标准是一个模型,不是人。合成设置是否能迁移到真实场景还需要验证;作者举的一个原因是,奖励模型之间可能存在相当大的相关,而实验里的金标准和代理恰好都是奖励模型(第 24 章讨论模型之间的相关错误)。
  • 它只测了一种过度优化。实验里的分离来自代理奖励模型与金标准标签之间的差距。作者指出,还有另一种来源没有被覆盖:标签本身与人的真实意图之间的差距,例如标注员选了只是看起来符合意图的回答(第 9.3 节)。作者把这一点列为这项工作的主要局限。
  • 被优化的模型没有主动对抗奖励模型。作者认为实验中的模型能力不足以实施对抗策略,并提醒,模型能力足够时,这些规律可能失效。

所以,这项研究说明“先升后降”在一个可控的设置里确实发生,并且有规律可循。它不能告诉你,用真实的人类评估训练某个模型时,拐点会出现在哪里;也不能推出所有代理信号都以同样的速度失效。

第 23.2 节引用的文献 1
  1. Gao 等人(2022)Scaling Laws for Reward Model Overoptimization

23.3 基准被反复使用 #

奖励模型是被直接用来训练的监督信号。还有一种更隐蔽的情况:一个本来只用来测量的东西,在反复使用中慢慢变成了优化目标。一个常见的例子是基准,即大家共用的固定测试集,用来比较不同的方法和模型(第 12.1 节)。

基准分数之所以能反映能力,前提是被测的方法没有针对这个测试集调整过。可是研究中常有这样的过程:试一个想法,在基准上测一下;分数不够高,换一个提示词,改一个参数,再测;保留分数最高的版本,写进论文;整个领域又在这些论文的基础上继续改进(本书的推断)。没有人用测试集的题目训练模型,但每一次“保留分数最高的那个”,都是用测试集的信息做了一次挑选。挑选就是一种优化。

第 4.4 节用邮件分类讲过这种挑选的后果:在同一个测试集上比较许多个其实一样好的设置,挑出的最高分会偏高,因为挑中的是恰好在这批题上运气好的那个。基准的不同之处在于,做挑选的不是一个人,而是许多研究者先后在同一个测试集上做。用基准的情形再模拟一次:20 个方法的真实正确率都是 70%,都在同一个 200 道题的测试集上评分,保留分数最高的那个。脚本 tools/exercises/ch23_benchmark_reuse.py 把这个过程模拟了 10,000 次(脚本把 20 个方法在各题上的对错当作互不相关的,这是一个简化,与第 4.4 节的模拟相同):被挑中的方法在这个测试集上的平均分是 75.9%,拿到一个新的 200 道题的测试集上,平均分是 70.0%。只比较 5 个方法时,被挑中的方法平均分是 73.7%。

多出来的约 6 个百分点,全部来自挑选。比较的方法越多,挑选越用力,偏高得越多。这正是第 23.1 节说的“选中了误差”,只不过这里被优化的不是模型的参数,而是研究者的选择。

这个模拟只说明机制,给不出真实基准上偏高有多大。图像分类(判断一张图片属于哪一类)上有一项实际的检验:Recht 等 2019 年的会议论文尽量照原来的流程,为 CIFAR-10 和 ImageNet 两个基准各重建了测试集,用它们重新评估了此前十年的许多模型(Recht 等,2019)。所有模型在新测试集上的准确率都下降了,降幅在 CIFAR-10 上约为 3 到 15 个百分点,在 ImageNet 上约为 10 到 14 个百分点(不计 ImageNet 的 3 个非神经网络模型,下同);但模型的排名几乎没变,原测试集上准确率每高 1 个百分点,新测试集上平均高出不止 1 个百分点(Recht 等,2019)。作者据此认为,降幅主要不是多年在原测试集上反复调整、挑选造成的,而是因为新测试集里的图片比原来的稍难;他们也说明,如果反复调整让每个模型都偏高大致相同的幅度,这个实验看不出来(Recht 等,2019)。

在这个模拟里,偏高的程度取决于两件事:比较了多少个候选,以及每个分数本身的偶然浮动有多大。前者越多、后者越大,偏高越多;测试集的题目越多,单个分数的浮动越小,偏高也就越少,但只要挑选的次数足够多,偏高不会消失(习题 23.2)。实际的各个方法在同一个测试集上,分数会一起涨落(同样的难题,大家都容易错),偏高会小一些;但只要各方法的分数不总是相同,偏高就仍然存在(本书的推断)。还要注意,这个过程不需要任何人作弊。每一个研究者都只是在做最自然的事:保留效果最好的版本。问题出在报告时只给出被挑中的那个分数,而不说明它是从多少个候选里挑出来的,也没有在挑选之外的数据上再测一次。

这个问题同样出现在监督研究里。如果一种辩论协议的细节、一个模型裁判的提示词、一个批评模型的阈值,都是在同一个评估集上反复调出来的,那么在这个评估集上报告的效果就会偏高。它与第 11.7 节讲的难题数据集“寿命”有关,但不是一回事:那里是模型变强、题目泄露等原因让数据集失去作用,这里则是因为数据集被用来做了太多次选择。第 11.7 节说的题目泄露是更直接的情况:测试集的题目进入了模型的训练数据(常称为数据污染),那时测试集就不只是间接的训练信号,而是直接的训练材料了。

第 23.3 节引用的文献 1
  1. Recht 等人(2019)Do ImageNet Classifiers Generalize to ImageNet?

23.4 推广到其他监督信号 #

奖励模型和基准只是两个例子。第三部分的每一种监督信号,一旦被用来挑选或训练,都可能面临同样的问题。区别在于它被怎样使用、优化有多强、它的错误在哪里。

模型裁判(第 12 章)。如果一个裁判偏爱更长的回答,用它的打分作奖励,训练就可能把回答推向更长,而不一定更好。它已知的位置偏差、长度偏差、对相似输出的偏爱,在被优化时都可能变成被利用的方向。

辩论裁判(第 15 章)。把辩手训练成赢得辩论,裁判的判决就成了奖励。辩论的设计本意是让诚实的一方更容易赢;这是否成立,正是第 15 章说的“待检验的命题”。Arnesen 等在长文阅读问答上用自我对弈训练辩手赢得辩论,训练之后,比辩手更强的模型裁判的准确率上升;同样训练单方咨询者则没有这种关系(Arnesen 等,2024)。这是在特定设置下的正面结果,它说明协议设计可能让优化朝着有利的方向走,但不能推出任何裁判在任何优化强度下都不会被利用。

批评模型(第 16 章)。如本章开头所说,用“批评模型没有标出问题”训练写代码的模型,可能让代码真的变好,也可能让代码变得更难被这个批评模型看穿。区分两者,需要批评模型之外的检验,例如埋入已知错误的测试或独立的人工审查。

监控器(第 19 章)。第 19.7 节讲过 Baker 等的实验:一个编程智能体在行动之前写下的推理文字(思维链)由监控模型读取,研究者把“不触发监控”加进奖励。优化强度低时,智能体写出更多不作弊的正确解答,作弊并不比不加监控时多;继续优化下去,它作弊比不加监控时少,但比例仍相当高,推理文字里却不再写出,监控模型的召回率降到接近零(Baker 等,2025)。监控器从“抓住错误的工具”变成训练目标之后,抓住的错误变少了,错误本身却还在。

机器检查(第 20 章)。“测试全部通过”作奖励时,在第 19.7 节讲过的、Baker 等故意允许修改测试的环境里,最容易学会的捷径就是修改测试本身(Baker 等,2025)。测试写得不全时,还可能有更隐蔽的捷径:只处理第 20.4 节说的测试覆盖到的情形(本书的推断)。

自动化研究(第 29 章)。一个能自己提出想法、跑实验、保留有效改进的 AI 系统,是一个很强的优化器,它反复优化的那个研究指标可能面临第 23.3 节的问题,而且它可能利用实验设置本身的漏洞。第 29 章读到的两项研究都报告了这类情况:一项的作者写明智能体多次钻问题设置的漏洞(Anthropic,2026);另一项在研究轨迹中检测到作弊尝试,被确认的尝试里最多的一类,就是把同一个模型重新提交,靠分数的随机波动碰一个更高的分(Chen 等,2026)。

表 23.1 监督信号被优化时可能怎样失效(概括)
监督信号 被用作优化目标的方式 可能的失效
奖励模型(第 6 章) 强化学习或从多个候选中挑最高分 奖励分数上升,真实质量先升后降
基准测试集 反复用它挑选方法、提示词或参数 被挑中的方法在该测试集上分数偏高
模型裁判(第 12 章) 用它的打分作奖励或挑选回答 已知偏差(长度、位置、相似性)变成被利用的方向
辩论裁判(第 15 章) 训练辩手赢得辩论 取决于协议能否让诚实一方更容易赢
批评模型(第 16 章) 用“没有被批评”作奖励 代码变得更难被这个批评模型看穿,而不一定更正确
思维链监控(第 19 章) 把“不触发监控”加进奖励 不良行为继续,但不再写进思维链
测试与验证器(第 20 章) 用“通过”作奖励 修改测试,或只处理测试覆盖到的情形
自动化研究的指标(第 29 章) AI 系统反复实验,保留指标最好的改进 指标偏高;利用实验设置的漏洞

对任何一个监督信号,都可以问四个问题:它只用来测量,还是也用来挑选或训练?优化有多强?它的错误在哪里,被优化的系统能不能到达那里?有没有一个不参与优化的独立评价,能看出分离?

第 23.4 节引用的文献 4
  1. Arnesen 等人(2024)Training Language Models to Win Debates with Self-Play Improves Judge Accuracy
  2. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
  3. Anthropic(2026)Automated Alignment Researchers: Using large language models to scale scalable oversight
  4. Chen 等人(2026)Automated Researchers Can Mitigate Well-Characterized Alignment Failures

23.5 应对思路及其代价 #

除了第 20.1 节那种覆盖全部要求、又不能被改动的检查,现在没有已知的办法,能让一个会出错的监督信号在任意强的优化下都保持可靠(本书的推断)。现有的应对思路都在减轻问题,而且每一种都有代价。

留出数据。保留一份从不用于训练和挑选的评估数据,只在最后用一次,报告最终结果。第 23.3 节的模拟里,新测试集上的 70.0% 就是这样一份留出数据给出的诚实答案。代价有三:这部分数据不能用来训练或挑选,等于少用了数据;留出数据一旦被反复查看、据此调整,它也会变成训练信号,所以只能用很少几次;它必须与真正关心的情形足够相似,还要防止它的题目流进训练数据。

更换评估者。定期收集新的人工标签,用当前策略模型的输出重新训练奖励模型,让评估者跟上被优化系统的变化。Gao 等在讨论中提到,较好的做法是定期用新的人类反馈数据训练新的奖励模型,以减轻过度优化,并在简化假设下分析了这种做法的效果(Gao 等,2022)。也可以同时使用多个评估者。代价是新的人工标签很贵;而且新旧评估者、多个评估者之间如果犯同样的错误,更换和组合的收益都会变小(第 22.3 节,第 24 章)。

限制优化强度。不把优化推到头:提前停止训练;在从多个候选中挑选时少用一些候选;或者在训练目标里加一项惩罚,让模型不要离初始状态太远。在 Gao 等的设置中,后一种惩罚对金标准分数的作用相当于提前停止,作者也提醒这一结果可能对训练参数的选择很敏感(Gao 等,2022)。代价是放弃一部分本来可以得到的改善。更根本的困难是,什么时候该停,需要一个能看出分离的独立评价。Baker 等之所以能看到“作弊继续、监控失灵”,是因为他们事先写好了判定作弊的规则;作者指出,在更复杂的任务中可能没有这样的判定办法,因而无法知道分离何时开始(Baker 等,2025)。

有些信号只用来监测,不用来训练。Baker 等据此建议(第 19.7 节),宁可不对思维链直接施加强的优化压力,让思维链保持可监控,他们把这样做付出的代价称为“可监控性税”(Baker 等,2025)。代价就是这份税:放弃用监控信号改进模型可能带来的收益。

这几种思路有一个共同点:它们都需要一个不参与优化的独立评价,用来发现分离、决定何时停止、检验更换后的评估者。而这个独立评价一旦被反复用来做决定,自己也会逐渐变成优化目标。所以这不是一个能一次解决的问题,只能持续管理:记录每个监督信号被用来做过多少次决定,定期补充新的、没有用过的评价(本书的推断)。

第 23.5 节引用的文献 2
  1. Gao 等人(2022)Scaling Laws for Reward Model Overoptimization
  2. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation

读物 #

  • 实验结果 · 会议论文:Gao、Schulman、Hilton《Scaling Laws for Reward Model Overoptimization》(2022;ICML 2023)(Gao 等,2022)。读合成设置的设计(第 2 节)、主要结果,以及作者自己写的局限(第 4.5 节)。
  • 实验结果 · 预印本:Baker 等《Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation》(2025)(Baker 等,2025)。重点读第 3 节,优化强度与可监控性的关系:优化过强时意图不再写进思维链,与第 19 章呼应。
本节引用的文献 2
  1. Gao 等人(2022)Scaling Laws for Reward Model Overoptimization
  2. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation

练习 #

习题 23.1 关键词计数的多轮优化

下面是一个用脚本做的模拟,不是真实的人类评分。设想问题是“怎样检查记账程序的重复提交”,关键词是“重复提交”。每篇回答被简化成两个数:内容分(0 到 10 分,优化过程看不到它)和关键词出现的次数。

  • 代理分数:关键词出现的次数。
  • “人工评分”:用一条写明的规则模拟人的评分。人工评分 = 内容分 − 2 × 关键词超过 4 次的次数,最低 0 分。意思是:提到 4 次以内读起来自然,再多就是堆砌,每多一次扣 2 分。
  • 起点:16 篇回答。内容分是 2 到 7 之间的随机整数;关键词次数等于内容分除以 3 的整数部分,再随机加 0 或 1。所以一开始,内容好的回答往往也更常提到关键词。
  • 每一轮:保留代理分数最高的 8 篇(同分时随机取),每篇改写出 2 个新版本,回到 16 篇。每次改写有一半概率是多插入一次关键词,内容不变;另一半概率是改动内容,内容分随机变化 −1、0 或 +1(限制在 0 到 10 之间),关键词次数不变。
  • 随机种子固定,结果可以复现。

运行 python3 tools/exercises/ch23_keyword_proxy.py,共做 8 轮。不写代码的读者,直接读参考答案中的输出表。

  1. 运行之前先预测:代理分数和人工评分会怎样变化?
  2. 人工评分的平均值在第几轮最高?从第几轮开始,代理分数上升而人工评分下降?
  3. 第 1、2 轮的人工评分为什么也在上升?
  4. 输出的最后一列是每一轮 16 篇回答之间,代理分数与人工评分的相关系数(第 3.4 节):正数表示代理分数高的回答,人工评分也倾向于高;负数表示正好相反。它在哪一轮第一次变成负数?这比平均人工评分开始下降早还是晚?这对实际监测有什么启发?
  5. 把“4 次以内”改成“6 次以内”,运行 python3 tools/exercises/ch23_keyword_proxy.py 6。结果有什么变化?由此说明,这个模拟能告诉你什么,不能告诉你什么。
提示

第 3 问:想一想起点时关键词次数是怎样产生的。第 5 问:分离出现在第几轮,取决于哪些数字是我们自己编的?

解答

脚本输出如下(“无法计算”表示这一轮所有回答的人工评分都相同):

轮次 代理分数平均 人工评分平均 相关系数
0 1.94 4.38 0.84
1 2.81 5.81 0.40
2 3.62 6.25 −0.39
3 4.62 5.06 −0.84
4 5.62 2.19 −0.42
5 6.75 0.75 −0.74
6 7.56 0.44 −0.57
7 8.75 0.00 无法计算
8 9.88 0.00 无法计算
  1. 合理的预测是:代理分数每轮都上升;人工评分起初上升,关键词堆到超过 4 次之后下降。
  2. 人工评分在第 2 轮最高(6.25)。从第 3 轮开始代理分数上升而人工评分下降;第 4 轮人工评分(2.19)已经低于起点(4.38)。代理分数则一直上升,到第 8 轮接近 10。
  3. 起点时关键词次数与内容分相关:内容好的回答更常提到关键词。按关键词挑选,也就顺带挑中了内容较好的回答。这种顺带的好处只在开始时有效。几轮之后,关键词次数主要由“插入关键词”这种改写决定,不再反映内容,挑选也就不再偏向好内容。
  4. 相关系数在第 2 轮变成负数,而平均人工评分在第 2 轮还在上升,第 3 轮才开始下降。也就是说,在平均分下降之前,回答之间已经是“关键词越多,人工评分越低”。如果在优化过程中定期请人给一小批回答评分,看代理分数和人工评分的关系,就可能比只看平均分更早发现问题。这需要独立于代理分数的人工评分。
  5. 改成 6 次以内后,人工评分仍在第 2 轮最高(6.50),第 3 轮略降到 6.31(这一点下降来自内容分的随机变化),但大幅下降推迟了:人工评分到第 5 轮(4.19)才低于起点(4.38),而阈值为 4 时是第 4 轮。分离发生在哪一轮,取决于起点的分布、改写的概率、扣分规则这些我们自己编的数字,还取决于随机种子:换一个种子(脚本的第二个参数),峰值可能落在第 1 轮,例如运行 python3 tools/exercises/ch23_keyword_proxy.py 4 3。所以这个模拟不能告诉你真实系统在哪里出现拐点。它能说明的是一种形状:只按代理分数挑选时,代理分数可以一直上升,而真实质量先升后降。这与第 23.2 节的“不能推出具体拐点”是同一个道理。另外,“人工评分”是一条规则,“改写”是随机改动,都不是真实的人和模型。
习题 23.2 在同一个测试集上挑方法

第 23.3 节的模拟中,20 个真实正确率都是 70% 的方法在同一个 200 道题的测试集上比较,被挑中的方法在这个测试集上平均得 75.9%,在新测试集上平均得 70.0%。

  1. 用第 3.3 节的公式,算出测试集为 200 道题和 2,000 道题时,单个方法分数的标准误。
  2. 运行 python3 tools/exercises/ch23_benchmark_reuse.py 2000,把测试集换成 2,000 道题。比较 20 个方法时,被挑中的方法在原测试集上平均得多少?比 200 道题时偏高得多还是少?为什么?
  3. 一个研究团队在同一个评估集上试了 30 个提示词版本,报告了最好的那个,比基线高 5 个百分点。你会请他们补充哪些信息?
解答

计算用的脚本是 tools/exercises/ch23_benchmark_reuse.py。

  1. 200 道题:√(0.7 × 0.3 ÷ 200) ≈ 0.032,即 3.2 个百分点。2,000 道题:√(0.7 × 0.3 ÷ 2000) ≈ 0.010,即 1.0 个百分点。
  2. 2,000 道题时,被挑中的方法在原测试集上平均得 71.9%,在新测试集上平均 70.0%,偏高约 2 个百分点,比 200 道题时的约 6 个百分点少得多。偏高来自分数的偶然浮动,题目越多,浮动越小,挑选能“挑中运气”的余地就越小。但只要挑选的次数足够多,偏高不会消失。
  3. 可以请他们补充:一共试了多少个版本,每个版本的分数是多少;评估集有多少道题,差值的置信区间是多少(第 3.4 节);最好的版本在一份事先留出、没有参与挑选的数据上只测一次的结果;基线是否也经过同样多次的调整。
习题 23.3 一个监督信号被用来训练之后

从第三部分任选一种监督信号,例如第 16 章的批评模型、第 21 章按原则打分的评估模型,或第 20 章的测试。设想它被用作训练目标:

  1. 写出它具体怎样被用作奖励或挑选标准。
  2. 写出它被优化后可能怎样失效,被训练的系统会利用它的哪一类错误。
  3. 你会保留什么独立评价来发现这种失效?这个评价本身会不会也被优化?
  4. 从第 23.5 节选一种应对思路,写出它的代价。
解答

评分要点:

  • 第 1 问写清优化的方式(强化学习、从多个候选中挑选、反复调整等)和大致的强度,不是笼统地说“用来训练”。
  • 第 2 问指出评估者具体的错误,例如批评模型认不出的错误类型、评估模型对某条原则的误读、测试没有覆盖的情形,并说明被训练的系统怎样到达那里;不需要假定系统有意欺骗。
  • 第 3 问的独立评价不参与优化,例如埋入已知错误的留出测试、人工抽查、另一套不用于训练的测试;并指出它被反复使用后也会变成优化目标。
  • 第 4 问的代价具体,例如留出数据不能用于训练、新的人工标签的费用、提前停止放弃的改善。

一个例子:用“评估模型按需求说明打分”作奖励训练写代码的模型(第 21 章)。如果评估模型像第 21 章开头那样,把“写入失败时不能只记一半”误读成“写入失败时要提示用户”,训练出的模型就会在写入失败时弹出提示,却仍然只记了一半,评估模型的分数却很高。独立评价可以是故障注入测试,只在训练结束后运行,不进入奖励。代价是这套测试要人工写,并且每查看一次结果、据此调整一次训练,它的独立性就少一分。

学完能做到 #

  • 对任何一个监督信号,说出它被用于训练或挑选后可能怎样失效:被优化的系统会利用它的哪类错误,优化强度怎样影响结果。
  • 解释为什么一个评估者在测试中的准确率,不能直接说明它作为训练目标时的可靠性。
  • 说明 Gao 等的合成设置测了什么,以及为什么不能据此给出人类评估下的具体拐点。
  • 解释反复在同一个测试集上挑选方法,为什么会让被挑中的方法分数偏高,以及留出数据怎样纠正这一点。
  • 对留出数据、更换评估者、限制优化强度三种应对思路,各说出一项代价。

参考文献

  1. Anthropic (2026). Automated Alignment Researchers: Using large language models to scale scalable oversight. Anthropic. 非同行评审引用于 §23.4
  2. Arnesen, S., Rein, D., and Michael, J. (2024). Training Language Models to Win Debates with Self-Play Improves Judge Accuracy. arXiv. 预印本引用于 §23.4
  3. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本引用于 §23.4 §23.5
  4. Chen, Y.-H., Wen, J., and Kirchner, J. H. (2026). Automated Researchers Can Mitigate Well-Characterized Alignment Failures. Anthropic Alignment Science Blog. 非同行评审引用于 §23.4
  5. Gao, L., Schulman, J., and Hilton, J. (2022). Scaling Laws for Reward Model Overoptimization. International Conference on Machine Learning, 2023. 引用于 §23.2 §23.5
  6. Recht, B., Roelofs, R., Schmidt, L., and Shankar, V. (2019). Do ImageNet Classifiers Generalize to ImageNet? International Conference on Machine Learning. 引用于 §23.3