Scalable Oversight 入门
第五部分:前沿与开放问题

草稿 内容完整但尚未审校,可能还会修改

第 28 章缺少直接真值时,怎样积累有效性证据

路线全部路线

本章导读

本章问题
  • 在没有参考答案的区间,怎样判断一个方法仍然有效?
要点
  • 实验都在有参考答案的区间里做,真正要用的地方没有参考答案;从前者推到后者叫外推(§28.1)。
  • 外推的假设无法直接检验,但它的部分含义可以:增大能力差距、改变任务、做压力测试(§28.2)。
  • 随机误差能靠重复判断消除,系统性错误不能;评价协议还要看说真话是否比说谎更划算(§28.3,§28.4)。
  • 100 次零失败只能把失败率上界压到约 3%,结论也只适用于测试覆盖的分布(§28.5)。
本章的视频讲解,4 分 58 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07旧版本上的数字
    前面读过的实验都有参考答案。批评模型在埋了已知错误的旧版本记账程序上测过精确率和召回率;加了转账功能的新版本,没人知道里面有几个错误。旧版本上的数字还能用吗?
  2. 0:26外推28.1
    外推是用一个范围内观察到的规律,推断范围之外的情况。孩子在小学阶段每年长高几厘米;把这个速度一直推到 40 岁,会得出一个比任何人都高得多的成年人。
  3. 0:44两个区间28.1
    有参考答案的区间:有人知道答案,代价可以承受。目标区间:被监督的模型比所有监督者都强,或没人能在合理代价下给出答案。实验在前者做,结论用在后者,中间至少三样东西会变。
  4. 1:07实验里的支撑会变弱28.1
    Recchia 等认为,评估者掌握模型没有的知识,很可能是以往正面结果的原因之一;模型越强,这种优势越小。外推却假定:让方法起作用的机制,在目标区间照样起作用。
  5. 1:28增大能力差距28.2
    外推假设没法直接检验,但能检验其含义。若差距更大时方法仍有效,拉大差距,优势就不应缩小。Khan 等:裁判看不到原文时,辩手说服力越强,模型裁判越准。
  6. 1:48改变任务28.2
    Kenton 等:辩论总优于随机立场的单方咨询;不对称时只优于看不到原文的直接问答(最弱裁判除外)。检验部分没通过:辩论的一部分优势,可能来自裁判看不到原文这个安排(本书的推断)。
  7. 2:11压力测试28.2
    压力测试故意让条件更差。Kutasov 等:重采样协议对默认攻击安全性 89%;攻击方去掉推理模拟监控时降到 17%,带全部上下文时只降到 81%。没通过是有分量的证据。
  8. 2:32随机误差与系统性错误28.3
    随机误差靠多数意见能抵消,系统性错误不能。为教学构造的数据:80 道普通题每次有 20% 的概率随机出错,20 道陷阱题每次都判错。判断从 1 次增到 51 次,总体正确率停在 80%。
  9. 2:54更难处理的三个原因28.3
    系统性错误不能靠重复消除,看起来像可靠的判断,还标出了“不对却能得高分”的地方。Irving 的博客文章提出:协议要设法避开人会系统性出错的问题。
  10. 3:15说真话是否更划算28.4
    协议用于训练时还要问:说真话是否比说谎得分更高。Sudhir 等的预印本用两者之差衡量。为教学构造的数据里,平均优势掩盖了说谎更划算的题。
  11. 3:38零失败的上界28.5
    n 次独立测试全部通过,失败率的单侧 95% 上界约为 3/n:100 次约 3%,压到万分之一要 29956 次。失败率为万分之一时,100 次全部通过的概率是 99.0%;为百分之一时仍有 36.6%。
  12. 3:59上界成立的条件28.5
    测试相互独立;来自你关心的分布;失败能被看见;系统在测试和使用时表现一样。100 次测试里只有 20 次制造了写入失败,关于这种情形,上界是 13.9%,不是约 3%。
  13. 4:19写出适用范围28.6
    “在这个设置下有效”由实验直接支持;“可以扩展”是外推。Burns 等的弱到强实验要说可以扩展,至少要假定:弱模型的标签错误,与将来人类监督超人模型时的错误相似。

带走的几句话:

  1. 外推的假设无法直接检验,但它的含义可以:增大差距、改变任务、压力测试。
  2. 随机误差能靠重复消除,系统性错误不能;还要问说真话是否更划算。
  3. 100 次零失败只能把失败率上界压到约 3%,且只适用于测试覆盖的分布。

回头看第三部分和第四部分读过的实验,它们有一个共同点:研究者手里有参考答案。辩论实验多数用的是有标准答案的长文阅读题(第 15 章),批评实验里的错误要么是研究者人为埋入的,要么由人事先标注过(第 16 章),弱到强实验用真实标签训练的强模型作对照(第 17 章)。这不是巧合。没有参考答案,就没法知道裁判判得对不对,实验也就无从打分(第 11 章)。

可是本书开头的问题,恰好发生在没有参考答案的地方。回到记账程序。假设你已经在几份埋入了已知错误的版本上测过一个批评模型,算出了它的精确率和召回率(第 16.3 节)。现在你要把它用在加入了转账功能的新版本上。这一次没有人埋过错误,没有人知道里面有几个错误,也就没有人能告诉你批评模型漏了什么。你在旧版本上量出的数字,还能用在新版本上吗?

本章标题里的“真值”(ground truth)指事情实际是什么样;参考答案是我们手里能拿到的真值记录。“有效性”指一个方法在我们真正关心的情形下仍然起作用。本章讨论的是:直接拿参考答案对照这条路走不通时,还能积累哪些间接的证据,每种证据能支撑多大的结论,以及怎样把结论的适用范围写清楚。

28.1 外推问题 #

外推(extrapolation)是用一个范围内观察到的规律,去推断这个范围之外的情况。一个常见的例子:孩子在小学阶段每年都会长高几厘米。如果把这个增长速度一直推到 40 岁,会得出一个比任何人都高得多的成年人。规律在观察范围内是对的,错在假定它在范围外照样成立。

监督方法的研究面对的是同一种推断。可以把所有任务粗略分成两个区间。

  • 有参考答案的区间:有人知道正确答案,而且拿到它的代价可以承受。专家给出的答案、能运行的测试、研究者亲手埋入的错误,都属于这一类。这个区间里的能力差距,通常是人为制造的:让非专家借助模型答题,再用专家的答案打分(第 11.2 节);用弱模型代替人当监督者(第 11.3 节);让裁判看不到辩手能看到的原文(第 15 章)。
  • 目标区间:被监督的模型比所有可用的监督者都强,或者任务本身没有人能在合理的代价下给出答案。第 7.5 节说的“核查昂贵”和“结果尚未出现”,都可能落在这里。我们最需要监督方法的,正是这个区间。

研究只能在第一个区间里做实验,结论却要用在第二个区间。从前者推到后者,至少有三样东西可能变化。

  1. 能力差距变大。实验里的差距是人为造出来的,大小可以实测(第 11.4 节)。目标区间的差距更大,来源也可能不同(第 7.4 节):实验里的差距或来自专业知识(第 11.2 节),或来自看不到原文(第 15 章);目标区间里的差距还可能来自计算时间、上下文长度,或者监督者根本跟不上模型的推理。
  2. 任务变了。实验用的是有标准答案的题目,例如阅读理解、数学题、埋了错误的代码。目标区间的任务可能是一项研究、一个几百步的智能体任务,或者一个没有唯一正确答案的决定。
  3. 被监督者对待监督的方式可能变了。第三部分读过的实验大多只考虑无意出错,或者由研究者指定一方说谎。目标区间可能还要面对迎合评分、识别评估、隐藏目标等情况(第 10.2 节)。

已有的研究里有一个具体的例子,说明外推可能在哪里失败。Recchia 等在两项人类评估研究中(第 13.5 节)测试了简单的监督协议,发现与同样借助模型的对照组相比,它们都没有带来整体上的优势(Recchia 等,2025a)。他们还重新分析了 Bowman 等的实验数据(Bowman 等,2022),认为在其中的 MMLU 题上,评估者掌握了模型所没有的知识,这很可能是正面结果的原因之一,而随着模型能力继续提高,这种优势会缩小(Recchia 等,2025a)。换句话说,在评估者自己懂一部分题的实验里,方法看起来有效,部分原因可能是评估者自己的知识;模型越强,这部分支撑越弱(本书的推断)。

好的论文会自己写出这类差别。Burns 等在提出弱到强泛化的论文里,专门列出了他们的实验设置与“对齐超人模型”这个最终问题之间仍然存在的不相似之处(Burns 等,2023)。其中一条是:将来的超人模型可能很容易模仿人类监督者的错误,实验里的强模型却没有专门为模仿弱模型而预训练过;论文的 arXiv 版还更一般地说,今天的弱模型犯的错误,可能与将来人类监督超人模型时犯的错误不同(Burns 等,2023)。另一条是:预训练数据里本来就含有人类水平的示范,所以在实验里引出强模型的能力可能偏容易;超人水平的知识没有这样的示范,将来可能更难引出(Burns 等,2023)。这两条都是外推时必须依赖、却还没有检验过的假设。

要点

外推依赖一个假设:让方法在实验区间起作用的机制,在目标区间里照样起作用。这个假设在目标区间里没法直接检验,因为那里没有参考答案。

第 28.1 节引用的文献 3
  1. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  3. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

28.2 外推的哪些含义可以检验 #

“方法在目标区间仍然有效”这句话没法直接检验。但它不是完全没法碰。如果它是对的,而且方法起作用的原因正是我们以为的那个原因,那么现在就应该能观察到一些现象。我们检验的是这些现象,也就是假设的含义。

工程上有类似的处境。一座桥要在 50 年后、经历各种天气之后仍能承重 30 吨,这一点现在没法直接测。但这个要求有一些现在就能检查的含义:材料在加速老化试验中的强度变化,桥面在逐步加载时的下沉是否符合设计计算的曲线,同类桥梁使用多年后的状况。如果某一项已经偏离预期,就有理由怀疑设计。如果都符合预期,信心会增加,但 50 年后会怎样,仍然是推断。

对监督方法,可以检验的含义大致有三类。

增大能力差距。如果方法在差距更大时仍然有效,那么在实验能做到的范围内逐步拉大差距,方法的优势就不应该随之缩小。第 15.4 节读过的 Khan 等的实验就有这种结构:在长文阅读题上、裁判看不到原文时,辩手的说服力越强,模型裁判在辩论下的准确率越高(Khan 等,2024)。这是一个方向正确的趋势。但要注意两点。第一,差距要实测,不能用参数量代替(第 11.4 节)。第二,趋势只在测过的范围内成立,开头长身高的例子说明,范围内的趋势不能保证延续到范围外。

改变任务。如果方法起作用靠的是一个一般的机制,比如“对抗性的论证能暴露谎言”,那么它在不同类型的任务上都应该有效。Kenton 等(第 15.4 节)在多类任务上用弱模型裁判强模型,发现在咨询方被随机指定支持正确或错误答案时,辩论在所有任务上都优于单方咨询;但与直接问答相比,在有信息不对称的抽取式问答上只优于看不到原文的直接问答(最弱的裁判除外),不优于能读原文的直接问答,在没有信息不对称的任务上结果不一(Kenton 等,2024)。这次检验部分没有通过,它提示:辩论的一部分优势,可能来自“裁判看不到原文”这个实验安排(本书的推断)。而目标区间里,监督者缺的多半不只是一段看不到的原文,还有专业知识、时间或跟上推理的能力(第 28.1 节)(本书的推断)。

压力测试。故意让条件比预期更差,看方法还剩多少作用:指定一方说谎;让红队知道监督协议并针对它调整攻击(第 26.6 节);人为构造带有隐藏目标的模型,再看审计能不能找出来(第 25.2 节,第 27.3 节)。压力测试可能直接改变结论。Kutasov 等先评估了几种控制协议,再让红队针对这些协议反复改进攻击。在论文正文的表格中,重采样协议(第 26.6 节的“为取证而重采样”:可疑的行动重采样,实际执行的交给受信任模型重写)对默认攻击的安全性是 89%,这里的安全性指攻击先被抓到的概率(习题 26.2 第 4 问);攻击方用自己模拟监控模型,即去掉自己的隐藏推理、按监控模型能看到的内容先给行动打分时,同一个协议降到 17%;带着自己的全部上下文去模拟时,只降到 81%(Kutasov 等,2025)。各协议的具体数字和条件见第 26.6 节。只用固定的攻击,就可能高估这类协议。

表 28.1 外推假设的三类可检验含义
检验 改变了什么 通过时说明什么 仍然不能说明什么
增大能力差距 监督者与被监督者的差距 在测过的范围内,方法的优势没有随差距缩小 差距超出测过的范围之后会怎样
改变任务 任务类型、信息结构、参考答案的来源 方法不只依赖某一种实验安排 没测过的任务类型会怎样
压力测试 被监督者对待监督的方式,以及它对监督的了解 方法经得起这些具体的对抗策略 能力更强、策略不同的对手会怎样

这三类检验有一个共同的逻辑。检验没通过,是有分量的证据:它说明外推的假设,或者我们对方法为什么有效的解释,至少有一处是错的。检验通过了,只说明假设经受住了一次本来可能失败的考验。许多相互独立的含义都通过了,信心可以逐步增加,但永远不等于在目标区间里直接测过。所以本章标题说的是“积累”有效性证据,而不是“证明”有效性。

第 28.2 节引用的文献 3
  1. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  2. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  3. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

28.3 系统性错误 #

上一节讨论的是方法本身能否外推。这一节看监督者,特别是人,会犯的错误。

评估者的错误可以分成两类。随机误差是方向和位置都不固定的错误:同一道题换一次判断、换一个人判断,结果可能就不同了,比如一位改卷老师偶尔看错一个数字。系统性错误(systematic error)是在同一类问题上一再以同样的方式出错:比如一位老师总是给写得长的作文打高分,或者所有人都会在某一类陷阱题上选同一个错误答案。

随机误差可以靠重复来对付。多请几个人独立判断,取多数意见,或者同一个人在不同时间多判几次,随机的错误会相互抵消。系统性错误不行,因为重复的每一次都错在同一个方向。

下面用一组为教学构造的数字说明两者的差别。设想 100 道题,其中 80 道是普通题,每次判断有 20% 的概率随机出错,各次判断互相独立;另外 20 道是陷阱题,每个评估者每次都会判错。下表是取多数意见时的正确率。

表 28.2 取多数意见能消除随机误差,不能消除系统性错误(为教学构造的数据)
每题独立判断的次数 普通题正确率 陷阱题正确率 总体正确率
1 80.00% 0.00% 64.00%
5 94.21% 0.00% 75.37%
15 99.58% 0.00% 79.66%
51 100.00% 0.00% 80.00%

数字由 tools/exercises/ch28_errors.py 算出。判断次数越多,普通题越接近全对,总体正确率却停在 80%,也就是普通题所占的比例。再多的人、再多的投票,也碰不到剩下的 20%。

系统性错误比随机误差更难处理,原因有三。

第一,它不能靠重复消除。上表已经说明了这一点。训练模型时也有类似的看法:如果训练信号里只有随机误差,人们预期它在大量样本上大致会平均掉;系统性错误却可能在被优化时变成被利用的方向(第 23 章)。Buhl 等写过一份基于辩论的 safety case 草案,也就是一份写明条件、逐条给出证据的安全论证(第 31 章)。他们在其中写道(第 31.3 节),随机误差应当会在训练过程中被抵消,所以他们担心的只是系统性错误(Buhl 等,2025)。

第二,它不容易被发现。系统性错误在重复判断中表现得很一致,看起来就像可靠的判断。几位评估者的意见高度一致,也可能只是因为他们有同样的偏差,这与第 24 章讲的共同盲点是同一个问题。要发现系统性错误,需要一个独立于评估者的参考,而目标区间缺的正是这个。

第三,它可以被利用。如果被监督的模型在训练中受到优化压力,它的行为会向得分高的方向移动,而系统性错误恰好标出了“不对却能得高分”的地方(第 8 章,第 23 章)。第 13 章讲的确认偏误、锚定效应,都是人类评估者已知的系统性错误。

Irving 在一篇博客文章里讨论了怎样在协议设计上应对这个问题(Irving,2025)。他的出发点是:随机误差可以靠多次采样平均掉,系统性错误不行,所以协议要做的不是对人的判断取平均,而是设法避开人会系统性出错的那些问题。为此他引入一个假设:在某个问题分布上,人只在一小部分问题上出错,但我们不知道是哪些。他也指出了这个思路的困难:这个假设本身仍然只是一个假设,需要另外的证据;而且协议运行时真正交给人判断的问题,可能来自另一个分布,并且恰好集中在人更容易出错的那一小部分上(Irving,2025)。这是一篇提出研究方向的文章,不是实验结果。

它对积累证据的提醒是具体的:在一批有答案的题目上测出评估者的错误率,只说明评估者在这批题目上的表现。要用这个数字支持一个协议,还得说明协议实际交给评估者的问题和这批题目来自同一个分布。第 28.5 节会在统计上回到“同一个分布”这个条件。

第 28.3 节引用的文献 2
  1. Buhl 等人(2025)An alignment safety case sketch based on debate
  2. Irving(2025)Dodging systematic human errors in scalable oversight

28.4 协议层面的衡量 #

研究辩论一类协议的实验,最常报告的是裁判准确率:在这个协议下,裁判有多大比例判对(Sudhir 等,2025)。这个数字回答的问题是:在这个实验里,面对这些辩手当时的表现,裁判判对了多少。

但一个协议最终常常要用来训练模型(第 6 章)。一旦用于训练,被训练的模型会朝着得分更高的方向改变自己的行为(第 23 章)。所以对协议还要问另一个问题:在这个协议下,为正确答案辩护是不是比为错误答案辩护得分更高,高多少?如果说谎和说真话得分差不多,训练就不会把模型推向说真话;如果在某些问题上说谎得分更高,训练的激励就指向在这些问题上说谎。

Sudhir、Kaunismaa、Panickssery 的预印本把这个问题变成了一个衡量指标(Sudhir 等,2025)。他们认为,从对齐的角度看,裁判准确率不是评价监督协议的合适指标(用第 11.6 节的话说,这是在质疑裁判准确率的构念效度),并提出“智能体得分差”(agent score difference):比较同一个智能体为正确答案辩护和为错误答案辩护时各自得到的分数,用两者之差衡量协议在多大程度上让说真话比欺骗更有利(Sudhir 等,2025)。论文用的分数是按裁判给各个答案的概率计算的评分规则(例如对数分数),比下面例子里的简单比例复杂;作者还提供了一个 Python 工具包,并对辩论做了一个演示性的基准实验(Sudhir 等,2025)。在这个演示实验里,他们用新指标重现了 Khan 等的结果:辩手能力越强,辩论下说真话的优势越大;单方咨询则没有这种关系(Sudhir 等,2025)。

下面用一组为教学构造的数字说明,为什么要按问题类型去看说真话的优势。智能体被随机指定为正确答案或错误答案辩护,各占一半。表里的“裁判采信”是裁判站在智能体一边的比例,“优势”是诚实时的采信比例减去说谎时的采信比例。

表 28.3 平均准确率可能掩盖说谎更划算的问题类型(为教学构造的数据)
问题类型 题数 诚实时裁判采信 说谎时裁判采信 裁判准确率 说真话的优势
普通题 80 90% 20% 85% +70 个百分点
陷阱题 20 30% 60% 35% −30 个百分点
合计 100 75% +50 个百分点

数字由 tools/exercises/ch28_errors.py 算出。总体看,裁判准确率 75%,说真话平均有 50 个百分点的优势,这个协议似乎不错。但在 20 道陷阱题上,说谎被采信的比例反而更高。如果用这个协议训练智能体,激励会在这 20 道题上把它往说谎的方向推,而这正是裁判有系统性偏差的地方(第 28.3 节)。

在这个简化的例子里,同一类题上的准确率和优势可以互相换算:优势等于准确率的两倍减去 100 个百分点。所以一个容易记的结论是:在随机选边的设定下,一类题上只要裁判准确率低于 50%,说谎在这类题上就更划算。这个例子能换算,是因为它直接规定了智能体随机选边、正反各占一半。论文对一般情况的说法是:在两位辩手相同、双方同时陈述的辩论里,无论智能体被安排在哪一方,裁判看到的都是同一份记录,所以他们的指标与裁判的得分等价;单方咨询不是这样,用裁判准确率评价它,还得先假定咨询方怎样选边(随机指定,还是由它自己选)(Sudhir 等,2025)。作者据此认为,以往实验拿单方咨询作基线的比较方式有问题(Sudhir 等,2025)。

这类衡量也有它不能推出的东西。第一,它仍然是在有参考答案的题目上测出来的,外推问题(第 28.1 节)照样存在。第二,它衡量的是协议给出的激励,不说明训练真的会把模型带到诚实的策略上:训练可能卡在别处,模型也可能从不去尝试某些得分更高的策略(第 31.3 节会讲到这个问题)。第三,它只对测过的辩手成立,能力不同的辩手可能找到新的说谎办法。

要点

评价一个协议,不只看裁判判对了多少,还要问:在这个协议下说真话是否比说谎得分更高,在每一类问题上是否都如此。

第 28.4 节引用的文献 1
  1. Sudhir 等人(2025)A Benchmark for Scalable Oversight Protocols

28.5 罕见风险的统计 #

有些失败很少发生,一旦发生却代价很大。记账程序在写入失败时只记了一半,一个编程智能体删错了一批文件,都属于这一类。对这类失败,人们想要的结论往往是“失败率低于万分之一”。测试能给出这样的结论吗?

第 3.7 节讲过零失败时的单侧 95% 上界和它的含义:从同一个分布里独立抽取 nn 个测试,全部通过,失败率的上界约为 3/n3/n(三法则)。放到罕见风险上,这个上界给出的数字很不乐观。100 次全部通过,上界约为 3%,离万分之一差得很远;要把上界压到万分之一,需要 29956 次独立测试全部通过,约 3 万次;要压到十万分之一,需要约 30 万次。反过来看,100 次零失败几乎区分不了“失败率是万分之一”和“失败率是百分之一”:前一种情况下,100 次测试全部通过的概率是 99.0%;后一种情况下仍有 36.6%。数字由 tools/exercises/ch28_zero_failure.py 算出。

更重要的是这个上界成立的条件。第 1、2、4 条来自第 3.7 节,第 3 条是放到风险问题上要补充的,四条都要逐条检查。

  1. 测试相互独立。同一个场景稍作改动重复 100 次,不算 100 次独立测试。
  2. 测试来自你关心的分布。结论只适用于测试覆盖的分布。记账程序的 100 次测试如果都是正常写入,它们对“写入失败时会不会只记一半”这条规则几乎什么也没说。分母只算覆盖了这种情形的测试:如果 100 次里只有 20 次人为制造了写入失败,那么关于这种情形,上界是 13.9%,而不是约 3%。完全没测过的情形,上界无从谈起。
  3. 失败能被看见。“零失败”其实是“检查器没有报告失败”。如果检查器本身会漏检,零失败只说明没有检测到失败。
  4. 被测系统在测试和使用时表现一样。如果模型能分辨自己是否在被测试(第 25 章),测试时的行为就不能代表使用时的行为,第 2 条在最关键的意义上不成立。

这些条件在有参考答案的区间里尚且不容易满足,到了目标区间更难。这就是为什么关于罕见、严重失败的安全结论,通常不能只靠测试的次数来支撑,还要靠别的论证,例如限制系统能做什么。第 31.4 节会把这一节的计算用在安全主张上。

只数通过的次数,是最朴素的估计办法。研究者也在找需要更少测试的估计办法,下面介绍两种,它们都还在早期。

旁注里重要性抽样换一个分布来抽、再折算回去的那一步,可以在第 3.3 节的钟形曲线上画出来(图 28.1):把抽样的中心移向罕见的区域,同样 1000 个样本,估计的标准误(第 3.3 节)从真实概率的约 5.6 倍降到约 0.067 倍;移过了头,标准误又会变大。

原来的分布(钟形曲线)换来抽样的分布罕见区域 x > 40.00.10.20.30.4曲线高度0510x罕见区域 x > 40.010.1110相对标准误02468抽样中心40 次估计,每次抽 1000 个:估计值 ÷ 真实概率0.010.11101000 ×39抽样中心在 0.00(即直接随机抽样):抽 1000 个,至少有一个落进罕见区域的机会是 3.1%。估计的标准误是真实概率的 5.6 倍;图中这个倍数最小的中心是 4.10,为 0.067 倍。
原来的分布(钟形曲线)换来抽样的分布罕见区域 x > 40.00.10.20.30.4曲线高度0510x罕见区域 x > 40.010.1110相对标准误02468抽样中心40 次估计,每次抽 1000 个:估计值 ÷ 真实概率0.010.11101000 ×39抽样中心在 0.00(即直接随机抽样):抽 1000 个,至少有一个落进罕见区域的机会是 3.1%。估计的标准误是真实概率的 5.6 倍;图中这个倍数最小的中心是 4.10,为 0.067 倍。
图 28.1 用钟形曲线示意重要性抽样,一个示意模型。左图(窄屏上是上图):蓝线是原来的分布(第 3.3 节的钟形曲线),浅橙色区域是罕见事件 x > 4,概率约 0.0032%;黄线是换来抽样的分布,中心由滑块设定,在 0 时与蓝线重合(画成虚线)。右图(窄屏上是下图):估计的标准误是真实概率的几倍,即相对标准误,说的是很多次估计的分散程度;纵轴取对数刻度,每一格差 10 倍,点线处为 1。先比较中心 0 和 4.1:中心 0 就是直接随机抽样,1000 个样本至少有一个落进罕见区域的机会只有 3.1%,标准误约是真实概率的 5.6 倍;中心 4.1 时约是 0.067 倍。最下面的短竖线是 40 次模拟的估计,每次 1000 个样本,横轴是估计值除以真实概率,青色虚线处的 1 表示正好估对;估计为 0 的次数标在左端,估计值不到真实概率 0.01 倍的,画在 0.01 处。相对标准误由公式精确算出,只有这 40 次估计是随机模拟。
第 28.5 节引用的文献 2
  1. Wu 与 Hilton(2024)Estimating the Probabilities of Rare Outputs in Language Models
  2. Jones 等人(2025)Forecasting Rare Language Model Behaviors

28.6 写出结论的适用范围 #

前面几节说明,从实验到目标区间有许多环节可能出问题。读论文和写报告时,最直接的防御是把两种结论分开说。

  • “在这个设置下有效”:在测过的任务、模型、能力差距和威胁模型下,观察到了什么。这类结论由实验直接支持。
  • “可以扩展”:在差距更大、任务不同、被监督者可能针对监督调整策略时,方法仍然有效。这类结论是外推,需要第 28.2 节那样的间接证据,并且要写明依赖哪些尚未检验的假设。

把一个结论的适用范围写全,可以按下面的清单。

要点

写一个实验结论的适用范围,依次说明:

  1. 任务:哪些任务,有没有信息不对称,参考答案从哪里来。
  2. 模型:执行者和监督者各是什么,是否来自同一系列。
  3. 能力差距:怎样制造,有没有实测。
  4. 比较对象与预算:和什么比,时间与计算是否可比(第 11.5 节)。
  5. 威胁模型与任务前提:覆盖了哪些维度(第 10.2 节),依赖哪些任务前提(第 10.3 节)。
  6. 结论:在上述条件下,用什么指标,观察到了什么。
  7. 外推依赖的假设:把结论推到更大差距或别的任务时,至少要假定什么,这个假设检验过没有。

用第 17 章的弱到强泛化试一次。Burns 等使用 GPT-4 系列的预训练模型,在自然语言分类、国际象棋谜题和奖励建模三类任务上,用较小模型给出的标签微调较大的模型,再与用真实标签微调的大模型比较(Burns 等,2023)。按清单写:任务有参考答案,参考答案来自数据集的真实标签;监督者和学生来自同一系列;能力差距由模型大小制造,用两者在任务上的正确率之差衡量;比较对象是用真实标签训练的强模型;威胁模型只覆盖无意出错。在这些条件下(第 17.2 节),强学生恢复了一部分性能差距,恢复的比例因任务差别很大,在奖励建模上通常只恢复差距的约 10%(Burns 等,2023)。

到这里为止,说的都是“在这个设置下有效”。要说“可以扩展”,至少要假定:弱模型的标签错误,与将来人类监督超人模型时的错误相似。这一条恰好是作者自己指出、尚未解决的不相似之处(Burns 等,2023)。第 24 章讲过另一条:Goel 等在所研究的设置中观察到,监督者与学生越相似(按两个模型错误的重叠程度衡量),收益越小(Goel 等,2025)。如果同一系列的模型错误更相似(本书的推断),“监督者与学生来自同一系列”这个条件本身也会影响结论。

写清楚适用范围,不是为了削弱一个结果,而是为了让读者知道它支持什么。一个写明“在这三类任务、这一系列模型、这种差距下有效,外推依赖以下两条假设”的结论,比一句“方法有效”有用得多:别人知道该在哪里继续检验,也知道它不能用在哪里。附录 A 的检查清单里也有这一问:任务更难、过程更长、能力差距更大时会怎样。

第 28.6 节引用的文献 2
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  2. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

读物 #

  • 前沿探索 · 博客:Irving《Dodging systematic human errors in scalable oversight》(AI Alignment Forum,2025)(Irving,2025)。看作者怎样区分随机误差和系统性错误,以及“避开人会系统性出错的问题”这个思路依赖什么假设。
  • 前沿探索 · 预印本:Sudhir、Kaunismaa、Panickssery《A Benchmark for Scalable Oversight Protocols》(2025)(Sudhir 等,2025)。衡量一个协议在多大程度上让说真话比欺骗更有利,重点读作者为什么认为裁判准确率不够。
  • 反例与批评 · 会议论文:Recchia 等《Confirmation Bias: A Challenge for Scalable Oversight》(2025;AAAI 2026)(Recchia 等,2025a)。第 13 章已读,这里关注它对外推的含义:以往的正面结果可能部分来自评估者自己的知识,而这种优势会随模型变强而缩小。
  • 方法与工具 · 会议论文(选读,仅研究):Wu 与 Hilton《Estimating the Probabilities of Rare Outputs in Language Models》(2024;ICLR 2025)(Wu 与 Hilton,2024)。读引言和局限,看“估计一个太小、抽样抽不到的概率”这个问题怎样被形式化。
  • 前沿探索 · 预印本(选读,仅研究):Jones 等《Forecasting Rare Language Model Behaviors》(2025)(Jones 等,2025)。看怎样从几百个查询外推到几万个查询,以及作者列出的外推条件。
本节引用的文献 5
  1. Irving(2025)Dodging systematic human errors in scalable oversight
  2. Sudhir 等人(2025)A Benchmark for Scalable Oversight Protocols
  3. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  4. Wu 与 Hilton(2024)Estimating the Probabilities of Rare Outputs in Language Models
  5. Jones 等人(2025)Forecasting Rare Language Model Behaviors

练习 #

习题 28.1 写出一个结论的成立范围

从第三部分读过的论文中选一篇(不要选第 28.6 节用过的 Burns 等的论文)。

  1. 按第 28.6 节的清单,写出它的主要结论的成立范围,至少包括任务、模型、能力差距三项。
  2. 写出把这个结论推到更大能力差距时所依赖的一条未检验假设。
  3. 说明这条假设可以用第 28.2 节的哪一类检验部分地检查,具体怎样做。
提示

模型名称、任务名称都以论文的实验部分为准,不要凭印象写。未检验的假设要具体到可以设计实验去检查,“方法在未来仍然有效”这样的句子不算。

解答

本题没有标准答案,评分要点如下:

  • 成立范围写到了任务、模型、能力差距三项,并且每一项都来自论文本身,而不是来自本书的概括。能力差距一项说明了差距是怎样制造的、有没有实测。
  • 未检验的假设与这篇论文的设置有关,不是任何方法都适用的空话;它说清楚了在目标区间里需要什么条件成立。
  • 提出的检验与假设对得上:例如假设与能力差距有关,就设计拉大差距的实验;假设与任务结构有关,就换任务。
  • 没有把“在这个设置下有效”写成“可以扩展”。

示例(只写框架):选 Kenton 等的论文(Kenton 等,2024)。任务:多类任务,其中一部分是有信息不对称的抽取式问答,另一部分没有信息不对称;参考答案来自数据集。模型:弱模型当裁判,强模型当辩手或咨询方,具体模型照论文实验部分填写。能力差距:由裁判与辩手的模型差别制造,有信息不对称的任务上还有“裁判看不到原文”这一层。结论:辩论在所有任务上优于随机指定立场的单方咨询;与直接问答相比,在有信息不对称的任务上优于看不到原文的直接问答(最弱的裁判除外)、不优于能读原文的直接问答,在其他任务上结果不一(第 15.4 节)。未检验的假设:当裁判与辩手的差距来自专业知识而不是看不到原文时,辩论相对直接问答的优势仍然存在。检验:属于“改变任务”一类,选择裁判能看到全部材料、但缺少专业知识的任务,比较辩论与直接问答。

习题 28.2 零失败测试能说明多少

一个编程助手在 100 次独立的测试任务中,从未删除过任务范围之外的文件。

  1. 写出它删错文件的概率的单侧 95% 上界。
  2. 要把这个上界压到千分之一和万分之一,各需要多少次全部通过的独立测试?
  3. 如果真实的失败率是万分之一,100 次测试全部通过的概率是多少?如果是百分之一呢?这说明了什么?
  4. 后来发现,100 次测试中只有 20 次的任务涉及删除文件。关于“需要删除文件的任务”,上界是多少?关于从未测过的“在多个目录之间移动文件”的任务,能说什么?
提示

用第 3.7 节的公式 1−0.051/n1 - 0.05^{1/n}。第 2 问把公式反过来解 nn,或者直接运行 tools/exercises/ch28_zero_failure.py。

解答

数字由 tools/exercises/ch28_zero_failure.py 算出。

  1. 1−0.051/100≈2.95%1 - 0.05^{1/100} \approx 2.95\%,约 3%。
  2. 千分之一需要 2995 次,万分之一需要 29956 次(约 3 万次)。三法则给出的近似值是 3000 次和 30000 次。
  3. 失败率为万分之一时,100 次全部通过的概率是 (1−0.0001)100≈99.0%(1 - 0.0001)^{100} \approx 99.0\%;失败率为百分之一时是 (0.99)100≈36.6%(0.99)^{100} \approx 36.6\%。失败率为万分之一时几乎一定看到零失败,失败率为百分之一时也仍有三分之一以上的机会看到零失败,所以 100 次零失败无法可靠地区分“万分之一”和“百分之一”。
  4. 只有 20 次覆盖了需要删除文件的情形,分母是 20:上界为 1−0.051/20≈13.9%1 - 0.05^{1/20} \approx 13.9\%。从未测过的移动文件任务,这些测试不提供任何证据,上界无从谈起,结论只适用于测试覆盖的分布。还要注意,如果助手能分辨测试和真实使用,所有这些上界都要打折扣(第 28.5 节的第 4 个条件)。
习题 28.3 随机误差、系统性错误与说谎的激励

使用表 28.2 和表 28.3 的构造数据。

  1. 在表 28.2 的设定下,每题请 5 个人独立判断、取多数意见,总体正确率是多少?为什么无论请多少人,总体正确率都不会超过 80%?
  2. 如果把陷阱题的数量从 20 道改成 5 道(总题数仍是 100),总体正确率的上限变成多少?
  3. 在表 28.3 中,只看“合计”一行会得出什么结论?分开看两类题,结论有什么不同?
  4. 如果你只能改进裁判在一类题上的表现,你会改进哪一类?为什么?
解答

数字由 tools/exercises/ch28_errors.py 算出。

  1. 普通题上 5 人多数意见的正确率是 94.21%,陷阱题是 0%,总体为 80×94.21%÷100≈75.37%80 \times 94.21\% \div 100 \approx 75.37\%。人数再多,也只能让 80 道普通题趋于全对;20 道陷阱题上每个人都错,多数意见也错,所以上限是 80%。
  2. 上限变成 95%,即普通题所占的比例。
  3. 只看合计:裁判准确率 75%,说真话平均有 50 个百分点的优势,协议似乎可用。分开看:在陷阱题上,说谎被采信的比例(60%)高于诚实(30%),说真话的优势是 −30 个百分点。用这个协议训练,激励会在陷阱题上把智能体往说谎的方向推。
  4. 改进陷阱题。普通题上说真话已经有很大优势,再提高收益有限;陷阱题上的激励方向是反的,它决定了训练在这类题上被推向哪一边。这也说明为什么要找出并处理系统性错误,而不是只提高平均准确率。
本节引用的文献 1
  1. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs

学完能做到 #

  • 区分“在这个设置下有效”和“可以扩展”,并说出后者需要哪些额外的证据。
  • 对一个实验结论,写出它的任务、模型、能力差距、威胁模型和任务前提,并指出外推时依赖的一条未检验假设。
  • 说出外推假设的三类可检验含义(增大能力差距、改变任务、压力测试),以及每类检验通过时能说明什么、不能说明什么。
  • 解释为什么系统性错误不能靠多次判断取平均来消除,以及它为什么会被优化利用。
  • 评价一个协议时,除了裁判准确率,还会问说真话是否比说谎更划算,并按问题类型分开看。
  • 看到“N 次测试零失败”时,算出失败率的上界,并说明它只适用于测试覆盖的分布。

参考文献

  1. Bowman, S. R., Hyun, J., Perez, E., Chen, E., Pettit, C., Heiner, S., … Kaplan, J. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本引用于 §28.1
  2. Buhl, M. D., Pfau, J., Hilton, B., and Irving, G. (2025). An alignment safety case sketch based on debate. arXiv. 预印本引用于 §28.3
  3. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §28.1 §28.6
  4. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §28.6
  5. Irving, G. (2025). Dodging systematic human errors in scalable oversight. AI Alignment Forum. 非同行评审引用于 §28.3
  6. Jones, E., Tong, M., Mu, J., Mahfoud, M., Leike, J., Grosse, R., … Sharma, M. (2025). Forecasting Rare Language Model Behaviors. arXiv. 预印本引用于 §28.5
  7. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §28.2
  8. Khan, A., Hughes, J., Valentine, D., Ruis, L., Sachan, K., Radhakrishnan, A., … Perez, E. (2024). Debating with More Persuasive LLMs Leads to More Truthful Answers. International Conference on Machine Learning. 引用于 §28.2
  9. Kutasov, J., Loughridge, C., Sun, Y., Sleight, H., Shlegeris, B., Tracy, T., and Benton, J. (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本引用于 §28.2
  10. Recchia, G., Mangat, C. S., Nyachhyon, J., Sharma, M., Canavan, C., Epstein-Gross, D., and Abdulbari, M. (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 引用于 §28.1
  11. Sudhir, A. P., Kaunismaa, J., and Panickssery, A. (2025). A Benchmark for Scalable Oversight Protocols. arXiv. 预印本引用于 §28.4
  12. Wu, G., and Hilton, J. (2024). Estimating the Probabilities of Rare Outputs in Language Models. International Conference on Learning Representations, 2025. 引用于 §28.5