Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第 22 章方法比较

路线全部路线最短路线最短路线只比较读过的方法

本章导读

本章问题
  • 面对一个具体任务,怎样选择和组合监督方法?
要点
  • 比较监督方法,要分开看监督来源、所需访问、适用任务、关键前提、成本构成、失败方式和已有证据(§22.1)。
  • 比较表只是回到各章的索引:概括会丢掉条件,不同行的证据来自不同任务,不能用来给方法排名(§22.2)。
  • 组合是否值得,取决于各部分的错误是否相关、用什么规则合并,以及各部分是否带来别人没有的信息(§22.3)。
  • 消融实验逐个移除组成部分;对彼此重叠的两个部分,逐个移除会低估它们合起来的贡献,甚至让两者都显得可有可无(§22.4)。
本章的视频讲解,5 分,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07一个任务,一笔预算
    比较表列出前面八章的九种方法。真正做监督时,你面对的是一个具体任务和有限的预算。记账程序加入了转账:一个账户扣钱,另一个同时加钱。
  2. 0:27七个维度22.1
    只问“哪个更准”不够:准确率是在特定任务、对照和前提下测的,换一个任务就可能变。所以把每种方法拆成七个维度,一项一项地对照。
  3. 0:47从约束出发筛选22.2
    假设两个模型都只能通过接口调用,你也不训练模型。需要激活或训练的三种先排除;原则反馈、任务分解两行要打折扣。
  4. 1:08表不能做的事22.2
    这张表帮你缩小范围,指向该细读的章,但不能用来排名:各行证据来自不同的任务、模型和对照。一格只有一两句话,原文的条件大多装不下。
  5. 1:30错误是否相关22.3
    组合不是免费的,要和“单一方法加同样多的预算”比。两个检查器,任一方报警就拦截:错误独立时,漏检低得多,误报变高;完全相关时,第二个一点忙也没帮上。
  6. 1:51合并规则22.3
    同一个批评模型独立审查三遍。错误纯属随机时,任一遍报警就拦截压低漏检、抬高误报;多数同意才放行,两项都比审查一遍低。三遍错得一样,和审查一遍相同。
  7. 2:13额外信息22.3
    值得加入的部分,常常看到了别人看不到的东西。比较表的“所需访问”一列在这里很有用:测试、批评模型、监控看到的各不相同。
  8. 2:34逐个移除22.4
    消融实验用同一批检验材料,比较完整方案和分别移除一个部分后的表现。为教学构造的例子里,单独移除 C1 或 C2 只多漏 1 到 2 个,可能只是偶然:看起来都可以省掉。
  9. 2:55一起移除22.4
    但同时移除 C1 和 C2,漏掉的从 10 个增加到 30 个。两者高度重叠:两个都漏的有 36 个,独立时预期约 20 个。重叠的部分要一起移除再测;可以只留一个,或换成来源不同的模型。
  10. 3:18四类风险22.5
    条件:编程智能体写代码,留下推理记录;你能运行代码,能调用来自不同开发者的批评模型,自己大约有一天。转账的风险有四类,还要防智能体改动或绕过测试。
  11. 3:39五个组成部分22.5
    示范方案有五个部分,各管不同的失败。测试放在智能体改不到的地方,并核对跑了哪些测试;批评模型选不同来源的,减少共同盲点;抽查补上共同漏掉的。
  12. 4:02合并规则与发布22.5
    测试失败、分解审查发现问题、监控报警,任一项发生就拦截。批评意见经人核实才拦截,因为它会报出不存在的问题。不用多数投票:某类问题往往只有一个部分看得见。
  13. 4:24方案不能保证什么22.5
    消融实验准备两套材料,并加一个同时移除分解审查和批评模型的配置,因为两者可能重叠。方案还假定智能体不针对它调整行为。

带走的几句话:

  1. 比较方法要分开看七个维度;比较表只是回到各章的索引,不能用来排名。
  2. 组合是否值得,看错误是否相关、合并规则,以及是否带来新的信息。
  3. 消融实验逐个移除组成部分;彼此重叠的部分要一起移除再测。

从第 14 章到第 21 章,我们读了八章监督方法,其中第 19 章讲了三件事:过程奖励、便于检查的解答和思维链监控。下面的比较表只列其中两行(过程奖励和思维链监控),便于检查的解答没有单列,它的前提和证据见第 19.3 节,所以表中一共九种方法。每一章回答的都是同一组问题:这个方法想处理什么,实验测过什么,结论依赖什么前提,不能推出什么。这些回答分散在各章里。可是真正做监督时,你面对的不是一个方法,而是一个具体的任务和一笔有限的预算。你要决定用哪几种方法,怎样把它们的结论合在一起,又怎样知道合在一起之后确实更好。本章就做这件事。

回到第 1 章的记账程序。它后来增加了转账功能(第 10 章):一笔转账要从一个账户扣钱,同时给另一个账户加钱。需求说明的三条规则在转账上都有了新的含义。两个账户的余额都要对;同一笔转账重复提交只能执行一次;写入失败时,不能出现“一边扣了钱,另一边没收到”的情况。你手上可以有测试、批评模型,也许还有写代码的智能体留下的推理记录,再加上你自己有限的时间。哪些该用?怎样组合?组合之后,怎样知道每一部分都没有白花钱?

本章先列出比较方法的维度,给出一张比较表(第 22.1 节),再说明这张表能怎样用、不能怎样用(第 22.2 节)。然后讨论组合什么时候有价值(第 22.3 节),怎样用消融实验检验一个组合(第 22.4 节),最后为加入转账功能的记账程序设计一个组合方案(第 22.5 节)。

走最短路线的读者只读过其中四种方法:辩论、模型批评、弱到强与无监督引出、机器检查。读比较表时只看这四行,其余几行可以跳过;正文后面提到其他方法时,把它们当作“还有别的工具可选”即可,不必回去补读。

22.1 比较的维度 #

比较两种方法,不能只问“哪个更准”。准确率是在特定任务、特定对照、特定前提下测出来的,换一个任务就可能变。所以比较之前,先把每种方法拆成几个维度,一项一项地对照。本书用七个维度。

监督来源:最终的判断从哪里来。可以是人,例如任务分解里由人判断每个子任务;可以是另一个模型,例如原则反馈里按原则打分的评估模型;可以是程序,例如测试和证明检查器;也可以来自被监督模型本身,例如无监督引出利用模型各个判断之间的一致性,探针读取模型的激活。监督来源决定了误差从哪里来:人会疲劳、会被说服(第 13 章),模型裁判可能有位置和长度等偏差(第 12 章),程序只检查写进规格里的东西(第 20 章)。

所需访问:监督者需要拿到什么。最少的是只看输入和输出,通过网页或接口使用模型的人都有这一层。往上一层是推理轨迹,即模型在给出答案或采取行动之前写下的中间推理文本(第 19.1 节;能否读到它见第 19.4 节)。再往上是激活,即模型内部中间层的数值(第 18.1 节),读激活通常要拿到模型的权重。最多的是能训练模型。这一维常常是硬约束:如果你只能通过接口调用一个模型,需要激活或需要训练的方法多半用不上。

适用任务:方法要求任务有什么结构。任务分解要求任务能拆开;机器检查要求结果能被程序核对;辩论现有的正面结果,主要来自双方能引用原文、裁判看不到全文的问答。这一维对应第 10.3 节的任务前提。

关键前提:方法的结论要成立,依赖哪些假设。有的是关于任务的,例如“规格本身正确”;有的是关于模型的,例如“批评模型不隐瞒能指出的错误”“辩论双方不合谋”。后一类对应第 10.2 节的威胁模型维度。读到一个方法时,先看它的前提在你的场景里是否成立。

成本构成:成本花在哪里。本书把成本分成三类分开记:人工(标注、核查、写测试的时间),训练(训练奖励模型、探针或被监督模型所用的计算),推理(每次使用时多出来的模型调用)。分开记是因为它们的性质不同。训练和写测试多半是一次性投入;人工核查和推理调用则每用一次就付一次(第 20.3 节讲过建立检查器和运行检查器这两种成本)。

典型失败方式:各章指出的、方法容易出错的地方。知道失败方式,才知道它应该和什么搭配。

已有证据:实验在什么任务上做,和什么比较。一个方法的结论,最多只能推到它测过的任务和对照附近。

把九种方法按这七个维度排在一起,就是表 22.1。表里“所需访问”指监督者需要得到什么;“成本构成”只写成本花在哪里,不分高低,因为高低取决于具体任务。表中只做概括,条件和具体结果以各章的“证据与前提”为准。

表 22.1 九种监督方法的比较(概括,条件以各章为准)
方法 监督来源 所需访问 适用任务 关键前提 成本构成 典型失败方式 已有证据(任务与比较对象)
任务分解(第 14 章) 人对子任务的判断 用于评估只需输入输出;用于训练(证据中的做法)需要能训练模型 可以分解的任务 子任务能在必要的上下文下评估;依赖关系与合并步骤得到检查 主要是人判断子任务的时间;用于训练时另有训练计算 局部都对但整体错 书籍摘要,用人对分段摘要的反馈训练模型;与人写的摘要比较(Wu 等,2021)
辩论(第 15 章) 两个对立模型加裁判 只需输入输出 有可核对证据的问题 证据可核对;裁判能读懂论证;双方不合谋 每题多轮模型调用加裁判时间 混淆论证,即说谎方把错误藏得极深,诚实方难以指出(第 15.10 节);在没有信息不对称的任务上,相对直接问答结果不一 正面结果主要来自信息不对称的长文阅读问答;与单方咨询(随机指定立场)比较;Khan 等和 Kenton 等还与直接问答比较(Michael 等,2023;Khan 等,2024;Kenton 等,2024)
模型批评(第 16 章) 批评模型加人 只需输入输出 有具体错误可指出的任务 批评模型不隐瞒能指出的错误;人有时间核查 生成批评的调用加人的核查时间 虚构问题误导人;漏检 摘要与代码;与不看批评的人工审查比较(Saunders 等,2022;McAleese 等,2024)
弱到强与无监督引出(第 17 章) 弱标签或模型自身的一致性 需要能训练模型 强模型已具备相关能力的任务 能力可被引出;弱标签与强模型的错误不完全相关 主要是训练计算 学到监督者的系统性错误 分类、数学推理等;与用真实标签或人工标签训练比较(Burns 等,2023;Sun 等,2024;Wen 等,2025)
内部表示(第 18 章) 模型激活 需要读取激活 概念能明确定义、有标注数据的问题 读出的特征就是想测的概念 构建标注数据和训练探针 读到与标签相关的其他特征 是非问答,与零样本提问比较;简单真假陈述,用干预检验对输出的影响(Burns 等,2022;Marks 与 Tegmark,2023)
过程奖励(第 19 章) 步骤级标注 需要推理轨迹,并能训练奖励模型 推理能写成步骤的任务 步骤标注可靠;写出的步骤覆盖关键计算 主要是步骤标注的人工 遗漏步骤;DeepSeek-AI 观察到,用于大规模强化学习时容易被钻空子(第 20.2 节) 数学题挑选解答;与结果奖励比较(Lightman 等,2023)
思维链监控(第 19 章) 读思维链的监控模型或人 需要推理轨迹 推理以文本写出的智能体任务 思维链与行为成因有联系;对思维链的优化压力不能过强,压力越强,可监控性越可能受损 运行时每次多一次监控调用 思维链不忠实;优化压力过强时不再写出意图 编程智能体的奖励作弊;与只看行动的监控比较(Baker 等,2025)
机器检查(第 20 章) 验证器、测试、外部资料 只需输出和执行环境 可形式化或可核对的任务 规格正确;写明检查覆盖哪些性质与情形,结论限于覆盖范围;模型不能修改检查器 建立检查器可能很贵;运行成本取决于检查器与任务 测试覆盖不全;规格错误;修改或绕过测试(如提前退出、跳过测试) 数学与编程的规则奖励训练;搜索引擎引用的人工核查(DeepSeek-AI 等,2025;Liu 等,2023)
原则反馈(第 21 章) 按原则打分的模型 用于评估只需输入输出;用于训练(RLAIF)需要能训练模型 原则能覆盖的任务 评估模型判断可靠;原则冲突时有取舍规则 主要是模型调用;用于训练时另有训练计算 原则冲突;继承或放大评估模型的错误 无害性、摘要与对话;与人类反馈训练比较(Bai 等,2022;Lee 等,2023)
第 22.1 节引用的文献 17
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback
  2. Michael 等人(2023)Debate Helps Supervise Unreliable Experts
  3. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  4. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  5. Saunders 等人(2022)Self-critiquing models for assisting human evaluators
  6. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
  7. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  8. Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
  9. Wen 等人(2025)Unsupervised Elicitation of Language Models
  10. Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
  11. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
  12. Lightman 等人(2023)Let's Verify Step by Step
  13. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
  14. DeepSeek-AI 等人(2025)DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning
  15. Liu 等人(2023)Evaluating Verifiability in Generative Search Engines
  16. Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
  17. Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback

22.2 比较表的读法与局限 #

这张表最适合从你的约束出发,一列一列地筛。

先看所需访问。以记账程序为例:假设写代码的模型和批评模型都只能通过接口调用,你拿不到权重,也不训练任何模型。那么“内部表示”和“弱到强与无监督引出”两行先排除,过程奖励需要训练奖励模型,也排除。思维链监控要看写代码的智能体是否留下推理记录,有就可以考虑。剩下的是任务分解、辩论、模型批评、思维链监控、机器检查和原则反馈。其中两行要打折扣。原则反馈在这里只能当作裁判来评估(第 12 章),不能像第 21 章的实验那样用来训练;任务分解只能由人分块审查,而它的已有证据来自用分解训练摘要模型的做法(第 14.5 节)。这两种用法的效果,都要在你的任务上自己检验。

再看适用任务。代码能运行,结果能核对,所以机器检查很合适;三条需求可以分开检查,所以任务分解合适;代码里的错误能具体指出位置,所以模型批评合适。辩论也可以用,但它现有的正面结果主要来自长文阅读问答,放到代码审查上没有直接证据。

然后拿关键前提对照你的威胁模型(第 10 章)。例如你担心写代码的智能体会修改测试,那么机器检查的前提“模型不能修改检查器”就不能默认成立,必须靠设置来保证:测试放在智能体改不到的地方。即使改不到测试,被测代码和测试一起运行时,智能体仍可能让测试提前退出或被跳过,所以还要把跳过和提前退出算作失败,并核对实际运行了多少个测试(第 20.4 节)。

最后看典型失败方式。挑选组成部分时,最好让它们的失败方式不同:测试漏掉的是没测到的情形,批评模型漏掉的是它不认识的错误,两者如果漏的不是同一批错误,放在一起才有意义。这正是第 22.3 节要讨论的。

这样筛下来,表的用途就清楚了:它帮你缩小范围,告诉你回到哪几章去细读。它不能做的事情同样重要。

第一,概括会丢掉条件。一个格子只有一两句话,原文的条件大多装不下。例如辩论一行写着“正面结果主要来自信息不对称的长文阅读问答”,但裁判是人还是模型、辩手有没有经过训练、和哪种对照比较、预算是否可比,这些都只能回到第 15 章去看。过程奖励一行的证据是“数学题挑选解答”,指的是用奖励模型从多个解答中挑一个,不是用它训练模型(第 19 章)。

第二,不同行的证据不能互相比较。各行的实验用的是不同的任务、不同的模型、不同的对照,做于不同的年份。表里没有任何一列能说明“辩论比模型批评好”或者反过来。要比较两种方法,需要在同一个任务、同样的预算下做对照实验。

第三,成本只写构成,不写大小。“主要是训练计算”在一个任务上可能只要几分钟,在另一个任务上可能要很多天。成本的大小只能在具体任务里估计。

第四,失败方式只列了典型的。表里没写的失败方式不等于不存在。还要记住,各章的实验大多只覆盖“无意出错”这一种威胁模型。被监督的模型如果会针对监督调整行为,表里的许多结论就要重新检验,这是第四部分的主题。

第五,表会过时。它反映的是本书写作时(2026 年)的证据。新的实验可能改变某一格的内容,所以引用时以各章写明的研究和版本为准。

易错点

从比较表里读出“某方法有效”或“某方法比另一个好”,是一种容易犯的误用。表中的每一格都只是指向某一章的线索;具体结论要回到那一章的“证据与前提”。

22.3 组合是否有价值 #

既然每种方法都有盲区,一个自然的想法是把几种方法组合起来。组合不是免费的:每多一个组成部分,就多一份成本。所以要问的不是“组合比单一方法好吗”,而是“多花的这份成本,换来的改善够不够”。更严格地说,比较对象应该是“单一方法加上同样多的额外预算”,例如把多出来的钱和时间用来让人多审查一遍。这和第 16.4 节的等时对照是同一个道理。

组合能带来多少改善,取决于三件事:各部分的错误是否相关,用什么规则把各部分的结论合起来,以及各部分是否提供了别人没有的信息。下面用为教学构造的数字说明前两件事,数字由脚本 tools/exercises/ch22_combination.py 算出。

22.3.1 错误是否相关 #

设想两个检查器检查同一批程序。检查器甲遇到真有错的程序时,有 30% 的概率没报警,即漏检率是 30%(第 3.7 节,第 11.6 节);遇到没错的程序时,有 10% 的概率误报。检查器乙的漏检率是 40%,误报率是 5%。合并规则是任一方报警就拦截。

一个有错的程序要溜过去,必须两个检查器都漏检。如果两者的错误互相独立(第 3.1 节),这个概率是两个漏检率相乘:30% × 40% = 12%,比单用甲的 30% 低得多。

但如果两者的错误完全相关,即甲漏掉的每一个错误乙也都漏掉,那么两个都漏检的概率就是 30%,和单用甲一样,乙一点忙也没帮上。

改善的代价落在误报上。一个没错的程序,只要任一方误报就被拦下。错误独立时,误报率是 1 − 0.9 × 0.95 = 14.5%,比单用甲的 10% 高;完全相关时(乙的误报都落在甲误报的那些程序里),误报率仍是 10%。

表 22.2 两个检查器,任一方报警就拦截(为教学构造的数字)
方案 漏检率 误报率
只用甲 30% 10%
只用乙 40% 5%
甲加乙,错误独立 12% 14.5%
甲加乙,错误完全相关 30% 10%

真实情况通常在这两种情形之间。错误也可能负相关,即甲漏掉的错误,乙反而更容易发现,那时两个都漏检的比例比独立时还低。要知道落在哪里,不能假定独立,必须在已知有错的样本上实际测量“两个都漏检”的比例。怎样测量、测量时要注意什么,见第 24 章。这里先记住一点:如果两种方法依赖同一个模型,或者用同样的数据训练出来,它们的错误可能相关,组合的收益就会变小。

22.3.2 合并规则 #

“任一方报警就拦截”只是合并规则的一种。另一种常见的是多数同意才放行:有三个检查器时,至少两个说“没问题”才放行。

先看一个特殊的组合:同一个方法重复执行三次。比如让同一个批评模型独立地审查三遍,每遍漏检率 30%、误报率 10%。如果每一遍的错误都只是随机的,像掷硬币一样互不影响,那么:

  • 用“任一方报警就拦截”,有错的程序要三遍都漏检才溜过去,概率是 0.3 × 0.3 × 0.3 = 2.7%;没错的程序只要有一遍误报就被拦下,误报率升到 27.1%。
  • 用“多数同意才放行”,有错的程序只要至少两遍漏检就能溜过去,漏检率是 21.6%;没错的程序要至少两遍误报才被拦下,误报率降到 2.8%。

两种规则相比,前者漏检低、误报高,后者正好相反。和只审查一遍比(三遍错误互相独立时),前者让漏检从 30% 降到 2.7%,代价是误报从 10% 升到 27.1%;后者两项都更低:漏检从 30% 降到 21.6%,误报从 10% 降到 2.8%。选哪一种,取决于漏检和误报各自的代价。对记账程序来说,漏掉一个“只记一半”的转账错误,代价是账目永久出错;一次误报的代价是你多花几分钟核查。这时偏向“任一方报警就拦截”是合理的。

但如果三遍的结果完全相同,例如批评模型根本不认识某一类漏洞,每一遍都漏掉同样的错误,那么无论用哪种规则,结果都和只审查一遍一样:漏检率 30%,误报率 10%。重复执行只能减少随机的那部分错误,减少不了系统性的那部分。

还有一点容易被忽略:多数投票适合重复测量同一件事,不适合覆盖不同方面的组成部分。如果三个组成部分分别检查余额计算、重复提交和测试是否被改动,那么对某一类问题,往往只有一个部分看得见。用多数投票,这个唯一看得见问题的部分就会被另外两个“没发现问题”的部分否决。

22.3.3 额外信息 #

一个组成部分之所以值得加入,常常是因为它看到了别人看不到的东西。比较表的“所需访问”一列在这里很有用:测试运行代码,看到的是程序在特定情形下的实际行为;批评模型读代码文本,能指出测试没有覆盖的路径;思维链监控读推理记录,能看到行动之前写在推理记录里的计划。Baker 等在编程智能体的强化学习中发现(第 19.4 节),对他们统计的两种作弊(让测试提前退出,或抛出异常让测试被跳过),能读思维链的监控模型发现了其中的 95%,只看行动的只发现了 60%(Baker 等,2025)。这里的百分比是召回率(第 16.3 节),即这两种作弊的实例中被发现的比例。这就是不同访问层带来的额外信息。

反过来,两个模型读同一段代码、用同一个提示,即使名字不同,提供的信息也可能高度重叠;如果它们来自同一系列,错误可能相关(第 24 章)。组合它们,可能花了两份钱,只买到接近一份的信息。

要点

组合的价值来自三处:各部分错误中互不相关的那一部分,与代价相称的合并规则,以及各部分带来的额外信息。三者都要放在新增成本下衡量。

第 22.3 节引用的文献 1
  1. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation

22.4 消融实验 #

设计好一个组合之后,怎样知道每个组成部分都值得保留?办法是消融实验(ablation):用同一批检验材料,比较完整方案的表现,和分别移除一个组成部分之后的表现。移除某一部分后表现明显变差,说明它有贡献;几乎不变,说明它可能可以省掉。

检验材料要事先准备,而且要知道答案:通常是一批人为埋入已知错误的程序版本,加上一批确认没有错误的版本。前者用来数漏检,后者用来数误报。每种配置都记录三样东西:漏检、误报、成本。

下面是一个为教学构造的例子,数字由同一个脚本算出。完整方案有三个组成部分:测试(含故障注入)T,批评模型 C1,批评模型 C2;C1 和 C2 来自同一个模型系列。检验材料是 100 个埋入已知错误的程序版本,加上 100 个确认没有错误的版本。一个配置里只要有一个部分报警,就算这个配置报了警:在有错的版本上,这算发现了错误;在没有错误的版本上,这算一次误报。成本只记人工:写测试 6 小时,核查 C1 和 C2 报出的问题各 3 小时。

表 22.3 一次消融实验的结果(为教学构造的数据,100 个已知错误,100 个没有错误的版本)
配置 发现的错误 漏掉的错误 误报率(100 个没有错误的版本中被报警的比例) 人工(小时)
完整方案:T + C1 + C2 90 10 29% 12
移除 T 64 36 27% 6
移除 C1 88 12 25% 9
移除 C2 89 11 26% 9
同时移除 C1 和 C2 70 30 2% 6

先看前四行。移除测试,漏掉的错误从 10 个增加到 36 个,测试的贡献很清楚。移除 C1 只多漏 2 个,移除 C2 只多漏 1 个。在 100 个样本上,1 到 2 个的差别完全可能来自偶然(第 3.4 节),看起来两个批评模型都可以省掉。

可是第五行显示,两个批评模型同时移除,漏掉的错误从 10 个增加到 30 个。原因是 C1 和 C2 高度重叠:在这 100 个错误中,C1 漏掉 43 个,C2 漏掉 46 个,两个都漏掉的有 36 个;如果两者的错误互相独立,预期只有约 20 个(0.43 × 0.46 × 100 ≈ 19.8)。每移除其中一个,另一个就把它的工作几乎全部接过去,所以单独移除哪一个都显得无关紧要。误报率一栏也是这样:在 100 个没有错误的版本中,C1 报警 24 个,C2 报警 23 个,两个都报警的有 20 个。所以单独移除一个,误报率只从 29% 降到 25% 或 26%;两个一起移除,才降到 2%。

这个例子说明了消融实验中一个容易踩的陷阱:对彼此重叠的组成部分,逐个移除会低估它们合起来的贡献。怀疑两个部分可能重叠时,还要把它们一起移除再测一次。在这个例子里,漏检代价高时宜只保留一个批评模型,省下 3 小时,误报率降 3 到 4 个百分点,代价是多漏 1 到 2 个错误;或者把 C2 换成来源不同的模型,再做一次消融实验,看它能否补上 C1 漏掉的那些错误。

消融实验还有几个需要注意的地方:

  • 各配置要用同一批检验材料,否则差别可能来自材料不同。
  • 结论只覆盖埋入的错误类型。如果埋入的错误里没有“转账写到一半失败”,实验就说明不了哪个部分能发现它(第 3.7 节)。所以结果最好按错误类型分开报告。
  • 要同时报告误报和成本。一个部分也许不多发现错误,却可能明显增加或减少误报和人工。
  • 被检查的程序不会针对检查调整。埋入的错误是固定的,不会因为某个检查器被移除就改变藏法。如果被监督的模型会针对监督方案调整行为,就需要红队,即专门扮演攻击者、设法让监督失效的一方,针对每种配置专门攻击,消融结果才有意义(第 26.6 节)。

22.5 案例 #

现在为加入转账功能的记账程序设计一个组合方案。条件是:写代码的是一个编程智能体,它会留下推理记录;你能运行代码;能调用一个与写代码的模型来自不同开发者的批评模型;你自己大约有一天的时间。下面的方案是一种示范,不是唯一答案。

转账带来的风险主要有四类:两个账户的余额算错(规则一);同一笔转账重复提交被执行两次(规则二);写入中途失败,出现一边扣了钱、另一边没收到(规则三);以及转账作为一个整体出错:两次写入都完成了,每个账户自己的流水和余额也相符,两边却对不上,例如一边扣了 100 元,另一边只加了 90 元,两个账户的总额在转账前后变了。第三类和第四类的区别是:第三类是写入中途失败、只完成了一半,第四类是两次写入都完成了却彼此不一致。两类都属于第 14 章说的“局部都对但整体错”,只看一个账户都发现不了。另外,既然写代码的是一个能运行测试的智能体,还要防它改动或绕过测试,让测试通过(第 20 章)。

表 22.4 记账程序(含转账)的一个组合方案(示意)
组成部分 针对的失败方式 所需访问 成本构成
测试与故障注入(第 20 章) 余额算错;重复提交执行两次;写入中途失败只记一半;转账前后两个账户总额改变 代码和执行环境;测试放在智能体改不到的地方,并核对实际运行了哪些测试 人工写测试,故障注入最费时;运行很便宜
分解审查(第 14 章) 合并步骤出错:两个账户各自正确、合起来错误 只需代码 人工:按三条规则各查一遍,再单独查转账整体
模型批评(第 16 章) 测试没有覆盖的路径,例如并发提交 只需代码 每次一轮模型调用,加人核查每条意见
思维链监控(第 19 章) 推理记录中出现改测试或绕过检查的计划 智能体的推理记录 每次多一次监控调用,报警时人工查看
人工随机抽查(第 11.8 节) 以上各部分都没有报警、但确实有错的地方 只需代码 人工,按比例抽取

几点设计理由。测试的写法是示意:给定几组收入、支出和转账,检查余额;同一笔转账提交两次,检查只执行一次;在“扣款之后、入账之前”人为让写入失败,检查两个账户都回到转账前的状态;任何一次转账前后,两个账户的余额之和不变。批评模型选与写代码的模型不同来源的,是为了减少共同盲点(第 24 章)。思维链监控只用来报警,不把它的结果加进训练智能体的奖励,否则可能出现第 23 章讨论的情况:推理记录里不再出现作弊的计划,作弊行为却没有停止。随机抽查是为了防止“只查报警的地方”留下的空档:如果只看被标出来的位置,所有组成部分共同漏掉的问题就永远没人看。

合并规则。测试失败、分解审查发现问题或监控报警,任一项发生就拦截,不发布,转人工查看。批评模型的意见不直接拦截,要经人核实确实是错误才拦截,因为批评模型会报出并不存在的问题(第 16.5 节),让它直接拦截,正确的代码也会被频繁拦下。这里不用多数投票:五个部分各管不同的失败方式,某一类问题往往只有一个部分看得见,多数投票会让它被否决(第 22.3 节)。发布的条件是:测试全部通过,分解审查(包括对转账整体的检查)没有发现问题,监控没有报警或报警已查明,批评意见逐条核实完毕,随机抽查没有发现问题。

消融实验。准备两套材料。第一套是程序版本:对上面四类失败方式,每类埋入若干个已知错误,另备一批确认正确的版本。第二套用于思维链监控,因为改测试的行为在静态代码里看不出来:让智能体在一个允许改动测试的环境里完成任务,事先写好规则来判定它有没有改测试,例如把它对测试的改动撤销后测试是否失败。然后比较完整方案,与分别移除测试、分解审查、批评模型、监控、随机抽查之后的表现,按失败类型记录漏检、误报和人工时间。分解审查和批评模型都可能发现合并步骤的错误,两者可能重叠,所以再加一个同时移除这两部分的配置。

这个方案不能保证什么。它只针对上面列出的失败方式;消融实验只覆盖埋入的错误类型;所有检验都假定智能体不会专门针对这套方案调整行为。如果担心后一种情况,需要第四部分的方法,尤其是第 26 章的红队评估。

读物 #

本章没有新的读物。比较和组合方法时,回到表 22.1 每一行所指的章节,读那一章的“证据与前提”和读物;需要判断两个组成部分的错误是否相关时,读第 24 章。

练习 #

习题 22.1 为记账程序设计组合方案

为第 1 章的记账程序(已加入转账功能)设计一个组合方案。条件与第 22.5 节的示范不同:

  • 写代码的模型只能通过接口调用,你拿不到它的推理记录;
  • 你只有 3 小时的人工时间;
  • 你能用的唯一一个批评模型,与写代码的模型来自同一家开发者的同一系列。

要求:

  1. 列出方案的每个组成部分,写出它针对的失败方式、所需访问和成本构成(人工、训练、推理分开写)。
  2. 说明合并规则,并解释为什么选这条规则,而不是另一条。
  3. 说明在什么条件下,你的方案比只用其中最好的一个组成部分更好。
  4. 设计一个消融实验,检验每个组成部分是否值得保留:用什么检验材料,比较哪些配置,记录哪些量。
  5. 写出这个方案不能保证什么。
提示

3 小时很紧,先估算每个部分要花多少人工,再决定能放进几个部分。批评模型与写代码的模型同系列,想一想它在哪类错误上最可能和写代码的模型一起出错,你能用什么不依赖模型的检查去补。

解答

本题没有唯一答案,下面是评分要点和一种可行的答案。

评分要点:

  • 每个组成部分都对应至少一种具体的失败方式,没有“为了全面”而加入的部分。
  • 所需访问与题目条件一致:没有用到推理记录,没有用到权重或训练。
  • 成本按人工、训练、推理分开写,人工总量不超过 3 小时,并说明怎样分配。
  • 合并规则与漏检、误报的代价相称,并说明为什么不用多数投票(或者在什么情况下会用)。
  • 第 3 问提到错误相关:同系列的批评模型与写代码的模型可能有共同盲点,方案靠什么来降低这种风险。
  • 消融实验用已知答案的材料,既数漏检也数误报,并考虑到重叠的组成部分要一起移除。
  • 第 5 问至少写出:只覆盖埋入的错误类型;没有考虑模型针对方案调整行为。

一种可行的答案:

  1. 组成部分。(一)测试与故障注入:针对三条规则和转账总额不变;需要代码和执行环境;人工约 2 小时写测试(其中故障注入约 1 小时),运行几乎不花钱。(二)模型批评:针对测试没覆盖的路径;只需代码;推理是一轮调用,人工约 40 分钟核查意见。(三)人工随机抽查:针对前两部分都没报警的地方;只需代码;人工约 20 分钟。没有训练成本。
  2. 合并规则:测试失败就拦截;批评意见经人核实后拦截;抽查发现问题就拦截。不用多数投票,因为三部分覆盖不同的失败方式。
  3. 组合要比只用测试好,需要两个条件。一是测试与批评漏掉的错误不完全重叠;二是批评带来的改善抵得上它新增的约 40 分钟人工和一轮调用,比较对象是“只用测试,再把这 40 分钟用来多写测试或多做人工审查”,而不是只用测试(第 22.3 节)。批评模型与写代码的模型同系列,在写代码的模型自己不认识的错误类型上,批评模型可能也不认识,所以方案把最关键的规则三交给不依赖模型的故障注入测试。
  4. 消融实验:准备一批按四类失败方式埋入已知错误的版本和一批正确版本;比较完整方案、移除测试、移除批评、移除抽查,再加一个同时移除测试与批评的配置,共五种,按错误类型记录漏检、误报和人工分钟数。加最后一种,是因为测试与批评都可能发现第一、二条规则上的错误,两者可能重叠,只单独移除其中一个,另一个会补上一部分,两者都可能显得用处不大。
  5. 不能保证:未埋入的错误类型;写代码的模型针对这套检查调整行为;批评模型与写代码的模型共同的盲点中,测试也没覆盖的那部分。
习题 22.2 组合后的漏检率与误报率

下面是为教学构造的数据。在 50 个埋入已知错误的程序版本上,测试漏掉 20%,批评模型漏掉 50%。合并规则是“任一方报警就拦截”。

  1. 如果两者的错误互相独立,组合后预期漏掉几个错误?如果完全相关呢?
  2. 实际统计发现,两者都漏掉的有 8 个。组合后的漏检率是多少?两者的错误更接近独立,还是更接近完全相关?
  3. 在一批正确的版本上,测试的误报率是 2%,批评模型是 30%。如果两者的误报互相独立,组合后的误报率是多少?这对合并规则的设计意味着什么?
解答

计算用的脚本是 tools/exercises/ch22_combination.py。

  1. 测试漏掉 50 × 20% = 10 个,批评漏掉 50 × 50% = 25 个。独立时,两者都漏掉的概率是 20% × 50% = 10%,即 5 个。完全相关时,测试漏掉的 10 个批评也都漏掉,组合后仍漏掉 10 个(20%),批评模型没有带来任何改善。
  2. 组合后的漏检率是 8 ÷ 50 = 16%。它介于独立(10%)和完全相关(20%)之间,更接近完全相关:组合只比单用测试少漏 2 个错误。50 个样本很少,16% 和 20% 的差别也可能来自偶然(第 3 章),要下结论需要更多样本。
  3. 独立时,组合后的误报率是 1 − (1 − 2%) × (1 − 30%) = 31.4%,几乎全部来自批评模型。如果让批评模型的意见直接拦截,近三分之一的正确版本会被拦下。更合适的做法是让批评意见先经人核实再拦截,并把核实时间算进成本,再看批评模型带来的那 2 个错误是否值得这份成本。

学完能做到 #

  • 用监督来源、所需访问、适用任务、关键前提、成本构成、失败方式和已有证据七个维度描述一种监督方法,并说出比较表的概括丢掉了哪些条件。
  • 对一个新任务提出组合方案,写清每个组成部分针对的失败方式、所需访问和成本构成,以及合并规则。
  • 说明组合在什么条件下比单一方法好:各部分的错误不完全相关,合并规则与漏检和误报的代价相称,各部分带来额外信息,并且改善抵得上新增的成本。
  • 设计一个消融实验检验组合方案,知道彼此重叠的组成部分要一起移除再测。

参考文献

  1. Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., … Kaplan, J. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本引用于 §22.1
  2. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本引用于 §22.1 §22.3
  3. Burns, C., Ye, H., Klein, D., and Steinhardt, J. (2022). Discovering Latent Knowledge in Language Models Without Supervision. International Conference on Learning Representations, 2023. 引用于 §22.1
  4. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §22.1
  5. DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., … Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 引用于 §22.1
  6. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §22.1
  7. Khan, A., Hughes, J., Valentine, D., Ruis, L., Sachan, K., Radhakrishnan, A., … Perez, E. (2024). Debating with More Persuasive LLMs Leads to More Truthful Answers. International Conference on Machine Learning. 引用于 §22.1
  8. Lee, H., Phatale, S., Mansoor, H., Mesnard, T., Ferret, J., Lu, K., … Prakash, S. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. International Conference on Machine Learning, 2024. 引用于 §22.1
  9. Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., Baker, B., Lee, T., … Cobbe, K. (2023). Let's Verify Step by Step. International Conference on Learning Representations, 2024. 引用于 §22.1
  10. Liu, N. F., Zhang, T., and Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023. doi:10.18653/v1/2023.findings-emnlp.467. 引用于 §22.1
  11. Marks, S., and Tegmark, M. (2023). The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets. Conference on Language Modeling, 2024. 引用于 §22.1
  12. McAleese, N., Pokorny, R. M., Uribe, J. F. C., Nitishinskaya, E., Trebacz, M., and Leike, J. (2024). LLM Critics Help Catch LLM Bugs. arXiv. 预印本引用于 §22.1
  13. Michael, J., Mahdi, S., Rein, D., Petty, J., Dirani, J., Padmakumar, V., and Bowman, S. R. (2023). Debate Helps Supervise Unreliable Experts. arXiv. 预印本引用于 §22.1
  14. Saunders, W., Yeh, C., Wu, J., Bills, S., Ouyang, L., Ward, J., and Leike, J. (2022). Self-critiquing models for assisting human evaluators. arXiv. 预印本引用于 §22.1
  15. Sun, Z., Yu, L., Shen, Y., Liu, W., Yang, Y., Welleck, S., and Gan, C. (2024). Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision. Advances in Neural Information Processing Systems. 引用于 §22.1
  16. Wen, J., Ankner, Z., Somani, A., Hase, P., Marks, S., Goldman-Wetzler, J., … Leike, J. (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本引用于 §22.1
  17. Wu, J., Ouyang, L., Ziegler, D. M., Stiennon, N., Lowe, R., Leike, J., and Christiano, P. (2021). Recursively Summarizing Books with Human Feedback. arXiv. 预印本引用于 §22.1