Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第 17 章弱监督与强模型:三种不同的设定

路线全部路线最短路线最短路线读 17.1 至 17.6 节

本章导读

本章问题
  • 监督质量有限时,强模型能否学到比监督者更好的东西?
要点
  • 弱到强泛化、易到难泛化和无监督引出,分别改变监督者、任务难度和监督来源,结论不能互相替代(§17.1)。
  • 性能差距恢复比例要和三个实际正确率一起报告;分母为零、为负或在误差之内时,比例没有意义(§17.3)。
  • 学生超过老师,分不清是引出了原有能力还是学到了新能力;能力被引出,也不等于价值上对齐(§17.6)。
  • 结果为负时,先分清是方法失败、设定不合适,还是强模型本来就没有额外的能力(§17.8)。
本章的视频讲解,4 分 59 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07不完美的标签
    监督信号不完美时,强模型能否超过监督者?小模型给题目打标签,有对有错;用这些标签训练大模型,再在测试题上比较两者。记账程序上:用弱模型的缺陷标注训练强模型,评分要用埋有已知缺陷的代码。
  2. 0:29三种设定,三个变量17.1
    三种设定都有一个较强的模型,训练信号都不如理想的监督。区别在改变的变量:弱到强泛化改变监督者,易到难泛化改变任务难度,无监督引出改变监督来源。结论不能互相替代。
  3. 0:51三个模型17.2
    弱到强实验训练三个模型。微调:在预训练好的模型上继续训练。弱老师:小模型,用真实标签微调,再给别的题打弱标签。强学生:大模型,只用弱标签微调。强参考:同样的大模型,用真实标签微调。
  4. 1:13学生超过老师17.2
    Burns 等:学生几乎总比老师好,远不及强参考。最简单的微调下,GPT-2 级标 GPT-4,自然语言任务通常恢复差距的一半左右;ChatGPT 奖励建模通常约 10%。固定老师,国际象棋上学生越大,比例越低。
  5. 1:35性能差距恢复比例17.3
    弱老师 60%,强参考 90%,强学生 75%。 性能差距恢复比例 PGR = (S − W) ÷ (R − W) = 15 ÷ 30 = 50%。0 表示只到老师的水平,1 表示达到强参考。比例隐藏了绝对水平:97%、98%、99% 算出来也是 50%。所以先报三个正确率,再报比例。
  6. 1:58先检查分母17.3
    设弱老师 80%,强参考 81%,强学生 80.5%,比例是 50%。若强参考真实水平是 82%,比例变成 25%;若是 80.25%,变成 200%。先用配对比较,估计两者之差的置信区间。分母为零或为负,比例没有意义;分子为负,是要报告的失败。
  7. 2:22易到难泛化17.4
    易到难泛化只在简单题上给可靠的监督。Sun 等在 MATH 数学题上,只用简单题训练评估模型,再用它给难题的候选解答打分。标签是对的,难的是题目。难题仍有参考答案,才能评分。
  8. 2:43不用外部标签17.5
    Wen 等的内部一致性最大化(ICM)让模型自己打标签,找一套自洽的标签:能互相推断,也不违反简单的逻辑。GSM8K 验证和 TruthfulQA 上与参考答案训练相当,Alpaca 上优于众包人工标签。助手实验平均相当,但打分的是另一个奖励模型。
  9. 3:08引出,还是新学17.6
    学生超过老师,可能是引出了已有能力,也可能是新学的,正确率分不开。Wen 等的反例:提到太阳的诗都标为“更好”,结果近乎随机:只能引出已有概念。Burns 等也指出,今天引出能力可能人为地容易。能力被引出,也不等于对齐。
  10. 3:34越相似,收益越小17.7
    Goel 等用 4 个弱老师、3 个强学生组成 12 对,在 15 个二分类任务上训练:两者越相似,学生的提高越小。解释是互补知识:老师对、强模型原本错的题越少,能学的越少。这是相关,不是因果。
  11. 3:57负结果的三类解释17.8
    比例接近 0 甚至为负,有三类解释。方法失败:学生模仿了老师的错误。设定不合适:测试集太小,差距都在误差之内。强模型没有额外能力:强参考确实只略好于老师。负结果要写清原因。
  12. 4:20证据与前提
    测过:三类任务恢复一部分差距;数学上的易到难;不用外部标签的引出。依赖:强模型已有所需能力;只覆盖无意出错;共同盲点不严重;参考答案可靠。不能推出:获得新能力、价值上的对齐,或两者很相似时的同样收益。

带走的几句话:

  1. 三种设定改变监督者、任务难度、监督来源。
  2. 先报三个正确率,确认分母成立,再报比例。
  3. 学生超过老师,分不清引出还是新学,也不等于对齐。
  4. 负结果先分清:方法失败、设定不合适、没有额外能力。

前面三章的方法都想让评估者看得更清楚:拆分任务(第 14 章)、辩论(第 15 章)、模型批评(第 16 章)。本章换一个角度。今天的模型很大程度上是用人的判断训练出来的(第 6 章),如果人的判断有错,模型学到的就可能是“让人觉得好”(第 9 章)。本章接受监督信号就是不完美的,转而问:用这样的信号去训练一个比监督者更强的模型,它学到的是监督者的水平,还是能超过监督者?

一个最直接的实验是这样的:先用一个小模型给一批题目打上标签,这些标签有对有错;再用这些标签训练一个大模型,看大模型的正确率能不能超过给它标签的小模型。如果能,说明大模型没有全盘照抄小模型的错误,而是从不完美的标签里学到了一些更接近正确答案的东西。

回到记账程序。本章的方法不直接检查某一个程序,而是训练用来检查程序的模型。放在这个场景里,问题变成:用一个较弱的模型给许多段代码标注“有没有缺陷”,用这些标注训练一个较强的模型,强模型能否发现弱模型发现不了的缺陷?你又怎样知道它真的发现了?后一个问题同样重要:要知道强模型比弱模型好,你手里必须有一批知道正确答案的代码,比如事先埋入了已知缺陷的代码(第 16.3 节)。

读本章时要记住两个区分。第一,“学生超过老师”与“恢复了强模型本来就有的能力”是两件事:前者是实验测得的结果,后者是对这个结果的一种解释,也是这些方法的前提,需要另外的证据支持。第二,能力被引出,与模型在价值上对齐也是两件事:本章的方法至多说明前者。第 17.6 节专门讨论这两个区分。

证据与前提
  • 想处理:监督信号比被训练的模型弱。
  • 测过:Burns 等在自然语言分类、国际象棋谜题和奖励建模三类任务上,用小模型的标签微调大模型,与用真实标签微调的大模型比较,只用最简单的微调时恢复了一部分性能差距,比例因任务差别很大,奖励建模上通常只有约 10%;这是 OpenAI 对自己模型的研究(Burns 等,2023)。Sun 等在数学推理上只用简单题的监督训练评估模型,再用它帮助解难题(Sun 等,2024)。Wen 等不用外部标签:在 GSM8K 验证和 TruthfulQA 上与用参考答案训练的结果相当,在 Alpaca 奖励建模上优于用众包人工标签训练;用它训练 Claude 4 Sonnet 助手时,与用生产级人工标签训练的版本平均相当(由 Claude 4 Opus 的生产级奖励模型打分),聊天和安全上更好,数学和代码上更差(Wen 等,2025)。后一个实验是开发者对自己模型的报告。
  • 依赖:强模型已经具备所需的能力,只需引出。威胁模型(第 10.2 节)只覆盖“无意出错”,并要求“共同盲点”一维不严重:弱标签的错误与强模型的错误不完全相关(第 24 章)。任务前提(第 10.3 节):“标签是否可靠”,弱标签不可靠正是研究对象本身;“能否获得参考答案”,评分用的参考答案必须可靠。
  • 不能推出:不能推出这些方法能让强模型获得原本没有的能力,也不能推出价值上的对齐。也不能假定监督者与学生很相似时还有同样的收益:Goel 等在所研究的设置中观察到,弱监督者与强学生越相似,收益越小(Goel 等,2025)。
引言引用的文献 4
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  2. Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
  3. Wen 等人(2025)Unsupervised Elicitation of Language Models
  4. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

17.1 三种设定概览 #

本章讨论三种实验设定。它们的共同点是:都有一个能力较强的模型;用来训练它的信号都不如理想的监督;都另有一个测试集,它的参考答案只用来在最后评分,被研究的那个模型在训练中看不到这些答案。三者的区别在于,每种设定改变了一个不同的变量。

弱到强泛化(weak-to-strong generalization)改变的是监督者。给强模型提供标签的,是一个比它弱的模型。这些标签覆盖所有题目,但有一部分是错的,而且错误不是均匀的随机噪声,而是取决于具体的题目(Burns 等,2023)。

易到难泛化(easy-to-hard generalization)改变的是任务难度。监督本身是可靠的,但只在简单题上提供;模型最终要面对的是难题。这对应人能检查简单情况、检查不了复杂情况的处境。

无监督引出(unsupervised elicitation)改变的是监督来源。不用任何外部标签,而是利用模型自身各个判断之间的一致性来生成标签,再用这些标签训练模型。

表 17.1 三种设定各自改变的变量
设定 改变了什么 例子
弱到强泛化(weak-to-strong generalization) 监督者:用弱模型的标签训练强模型 小模型标注,大模型学习
易到难泛化(easy-to-hard generalization) 任务难度:只在简单题上提供监督 只用简单数学题训练奖励模型,再评估难题
无监督引出(unsupervised elicitation) 监督来源:不用外部标签,利用模型自身判断之间的一致性 让模型对一组问题的判断互相一致,以此生成标签

分清三种设定,是为了读论文时不把结论搬错地方。一个方法在弱到强设定中有效,说明它能对付实验里那种“标签覆盖全部题目、但有系统性错误”的情况;错误的结构不同,结果可能很不一样(第 17.8 节)。它在“难题上根本没有标签”的情况下是否有效,要在易到难设定中另外测。无监督引出连弱标签都不用,它的成败取决于模型自身的判断里有没有可以利用的结构。

这三种设定都是第 11.1 节所说的代理实验:今天还没有普遍超过人类的模型,研究者就用小模型扮演人、用大模型扮演未来更强的系统,或者用简单题扮演人能检查的部分。第 11.3 节讲过,用弱模型模拟人只是实验的替代,小模型犯的错和人犯的错不一定是同一类,结果不能直接外推为人类监督的效果。

第 17.1 节引用的文献 1
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

17.2 弱到强泛化 #

弱到强实验要训练三个模型,每个模型的作用都不同。这里说的微调(fine-tune),是在一个已经预训练好的模型(第 5.1 节)上,用一个针对具体任务的小数据集继续训练。

  1. 弱老师:一个小模型,用真实标签微调。它在测试集上的正确率记为弱老师的正确率。然后让它给另一批题目打标签,这些标签就是弱标签。
  2. 强学生:一个大模型,只用弱标签微调。它从来没有见过真实标签。
  3. 强参考:同样的大模型,用真实标签微调。它表示“如果监督是完美的,这个大模型在这个任务上能做到多好”。

三个模型都在同一个测试集上评分,测试集的真实标签只在这一步使用。小模型扮演的是检查不了全部答案的人,大模型扮演的是知道得比监督者多的系统。之所以能拿到真实标签,是因为今天的实验故意选了人能评分的任务。

Burns 等用 OpenAI 自己的 GPT-4 系列预训练模型做了这个实验,任务分三类:自然语言处理中的分类任务、国际象棋谜题(预测最佳的第一步)和 ChatGPT 的奖励建模(Burns 等,2023)。他们把强学生超过弱老师的现象称为弱到强泛化。主要发现有三条。

  • 学生几乎总是超过老师。在他们研究的几乎所有设置、几乎所有模型大小的组合里,用弱标签训练的强学生都比弱老师好(Burns 等,2023)。
  • 但远没有达到强参考。论文报告,只用最简单的微调时,在自然语言任务上,用一个约为 GPT-2 水平的模型给 GPT-4 提供标签,通常能恢复两者差距的一半左右;在 ChatGPT 奖励建模上,通常只能恢复约 10%,即使模型大小相差不多,也几乎不超过 20%(Burns 等,2023)。国际象棋的情况更复杂:老师和学生差距小时恢复得不错,但固定老师、学生越大,恢复的比例反而越低(Burns 等,2023)。
  • 学生会模仿老师的一部分错误。用最简单的方法微调时,学生与老师预测一致的比例,常常明显高于老师本身的正确率,作者据此认为学生在模仿老师的部分错误(Burns 等,2023)。

作者还提出了几种提高恢复比例的方法,但明确说它们只在部分任务上有效,是说明这个问题可以取得进展的概念验证(Burns 等,2023)。他们由此得出的判断是:只靠简单的微调,离恢复强模型的全部能力还很远,像 RLHF 这样的技术(第 6.3 节、第 6.4 节)在面对远超人类的模型时,可能需要进一步的工作才能继续有效(Burns 等,2023)。

读这项研究时还要注意一处实验细节。作者说明,在改进方法的过程中,他们多次用真实标签检查过结果,只把最大的模型和大约一半的自然语言任务一直留着不用(Burns 等,2023)。这正是第 4.4 节所说的数据泄漏风险:反复对照测试结果调整方法,测试结果就会偏乐观。留出一部分任务,是减轻这个问题的办法。

第 17.2 节引用的文献 1
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

17.3 性能差距恢复比例 #

弱到强实验需要一个数字来概括“学生走了多远”。Burns 等为此定义了性能差距恢复比例(Burns 等,2023)。

先看一个例子。弱老师的正确率是 60%,用可靠标签训练的强参考是 90%,两者相差 30 个百分点,这是“可以恢复的差距”。用弱标签训练的强学生是 75%,比老师高 15 个百分点。15 个百分点占 30 个百分点的一半,所以恢复了 50% 的差距。

定义 17.1 性能差距恢复比例

记弱老师、强学生、强参考在同一测试集上的正确率分别为 WW、SS、RR。性能差距恢复比例(performance gap recovered,PGR)是强学生比弱老师多出的部分,占强参考比弱老师多出的部分的比例:

PGR=S−WR−W\mathrm{PGR} = \frac{S - W}{R - W}
(17.1)

代入上面的例子:(75−60)÷(90−60)=15÷30=50%(75 - 60) \div (90 - 60) = 15 \div 30 = 50\%。比例为 0,表示学生只学到老师的水平;比例为 1(即 100%),表示学生达到了用可靠标签训练的水平。

这个比例很方便,但有几个局限,读者在每次看到它时都应该想到。

强参考只是实验基准,不一定是理论上限。强参考是“用这批真实标签、这种训练方法”得到的结果,换一种训练方法,强模型可能做得更好。所以比例可以大于 1:学生超过了这个基准。比例也可以小于 0:学生比老师还差。第 17.7 节会讲到一项研究,它说明强参考在某些题上错了、老师却对了,这部分知识学生也可能学到。

比例隐藏了绝对水平。60% 到 90% 之间恢复一半,学生是 75%;97% 到 99% 之间恢复一半,学生是 98%。两个比例相同,含义完全不同。所以报告时,先给出三个模型的实际正确率,再给比例,同时说明监督成本:弱标签有多少条、来自哪里,强参考用了多少真实标签,训练花了多少计算。比例本身不包含任何成本信息。

分母要先检查。比例的分母是强参考与弱老师之差,下面四种情况都要先处理,不能直接计算或解释比例。

  • 分母为零。强参考与弱老师正确率相同,比例没有定义,不计算。
  • 分母很小,在测量误差之内。正确率是在有限的测试集上测出来的,本身带有误差(第 3.3 节)。设弱老师 80%,强参考 81%,强学生 80.5%,比例是 0.5÷1=50%0.5 \div 1 = 50\%。但如果强参考的真实水平其实是 82%,比例就变成 0.5÷2=25%0.5 \div 2 = 25\%;如果是 80.25%,比例就变成 200%。分母越小,一点点测量误差就会被放大成比例的巨大变化。这时比例不能解释为“恢复了多少能力”,要先确认能力差距成立:按第 3.4 节的方法,直接估计强参考与弱老师正确率之差的置信区间。三个模型在同一个测试集上评分,所以用配对比较,只看两者对错不同的那些题;只看两个正确率各自的置信区间是否重叠,不是正确的做法。差值的区间明显高于 0,才说明分母成立。
  • 分子为负。强学生不如弱老师。这是有意义的失败结果:用弱标签训练不但没有超过老师,反而更差。它应当被报告,而不是被丢掉(第 17.8 节)。
  • 分母为负。强参考可靠地不如弱老师,即两者之差的置信区间整个低于 0。用可靠标签训练的大模型反而不如小模型,说明实验基准本身有问题,例如强参考没有训练好,或者“强”模型在这个任务上其实并不强。此时比例的符号会颠倒,算出来的数没有意义,要先修正基准。
易错点

只报告“恢复比例 50%”,是最常见的不完整报告。读者无法知道三个正确率各是多少、分母的差距是否超出测量误差、用了多少监督成本。

第 17.3 节引用的文献 1
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

17.4 易到难泛化 #

弱到强设定里,弱标签覆盖了所有题目,只是有一部分是错的。现实中还有另一种常见的处境:人能可靠地检查简单的情况,复杂的情况根本给不出标签。易到难泛化研究的就是这种处境:只在简单题上提供可靠的监督,看模型在难题上表现如何。Burns 等也把它列为一个相关的设定,并指出它对应弱标签一类很自然的系统性错误:在简单题上做得好,在难题上做得差(Burns 等,2023)。

Sun 等在数学推理上研究了这个问题(Sun 等,2024)。他们使用的 MATH 数据集把题目分为 1 到 5 级,他们把 1 到 3 级当作简单题,4 到 5 级当作难题,只用简单题的监督来训练。他们的关键做法是区分两种模型:生成模型负责写出解答,评估模型负责给候选解答打分,这里的评估模型就是第 6 章讲过的奖励模型,其中一些按解答的每一步打分(第 19.2 节)。他们的出发点是,评估往往比生成容易,所以只在简单题上训练出来的评估模型,也许能比生成模型更好地推广到难题上。他们先用简单题训练评估模型,再用它给生成模型在难题上的多个候选解答打分,或者把它当作强化学习的奖励,帮助生成模型解难题(Sun 等,2024)。

这个设定和弱到强设定的区别值得说清楚。弱到强设定里,标签有错,模型面对的题目和训练时一样;易到难设定里,标签是对的,但模型面对的题目比训练时难。前者考验的是“能不能不照抄错误”,后者考验的是“能不能把在简单题上学到的东西用到难题上”。一个方法在一种设定下有效,不代表在另一种设定下也有效。

回到记账程序。易到难的版本是:你只能可靠地标注简单的缺陷,比如余额算错(规则一),于是只用这类缺陷训练一个检查模型,希望它也能发现难的缺陷,比如写入失败时只记了一半(规则三)。要知道它是否真的做到了,你仍然需要一批带有已知难缺陷的代码来评分。

读这类结果时要追问:“简单”和“难”是怎么划分的?在 Sun 等的实验里,难度来自数据集给定的级别;而现实中“人能检查”和“人检查不了”之间的距离,可能比 3 级题和 5 级题之间的距离大得多。实验里的难题仍然有参考答案,所以才能评分;真正没有参考答案的难题上效果如何,这类实验回答不了。

第 17.4 节引用的文献 2
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  2. Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision

17.5 无监督引出 #

前两种设定都还有一个外部的监督者,只是它弱,或者只覆盖简单题。无监督引出走到了极端:完全不用外部标签。如果模型对一个概念的理解有某种不依赖标签也能找到的结构,那么这部分工作就不需要监督者,监督者的错误也就不会被抄进来。

Wen 等提出的方法叫内部一致性最大化(Internal Coherence Maximization,ICM)(Wen 等,2025)。它的做法可以这样理解:给一批没有标签的题目,让预训练模型自己给它们打标签,然后用一种近似的搜索方法(受模拟退火启发,因为逐一检查所有打标签方案在计算上不可行),找一套尽量自洽的标签。自洽有两层意思。

  • 相互可预测:去掉其中任何一个标签,模型能根据其余所有带标签的例子,把这个标签推断回来。这要求整套标签反映同一个概念。
  • 逻辑一致:标签之间不违反简单的逻辑规则。例如判断数学解答是否正确时,同一道题的两个不同答案不能都是对的;比较两个回答时,“A 比 B 好”和“B 比 A 好”不能同时成立。

第二条用来排除一种退化的解:如果只要求相互可预测,把所有题目都标成同一个标签,就能轻易做到“可预测”(Wen 等,2025)。它的作用因任务而异:在 Alpaca 上,去掉它几乎总会出现这种退化;在 TruthfulQA 上,去掉它只让结果差一些(Wen 等,2025)。找到这样一套标签之后,再用它们去微调模型。

论文报告了两类结果,本书引用的是 2026 年 1 月修订的 v2 预印本(Wen 等,2025)。实验用了三个分类任务:GSM8K 验证(判断数学解答是否正确)、TruthfulQA(识别常见的错误说法)和 Alpaca 奖励建模(判断哪个回答更有帮助、更无害)。在 GSM8K 验证和 TruthfulQA 上,用这种方法得到的标签训练,与用参考答案训练的结果相当;在 Alpaca 上,它优于用众包的人工标签训练。这些实验用的是 Llama 3 预训练模型。另一个实验是开发者对自己模型的报告:用这种方法训练一个奖励模型,再用强化学习训练一个基于 Claude 4 Sonnet 的助手,由 Claude 4 Opus 的生产级奖励模型打分。与用生产级人工标签训练的版本相比,两者平均相当,聊天和安全上更好,数学和代码上更差(Wen 等,2025)。

读这些结果时,要注意它们比较的是什么。“与参考答案训练相当”说的是分类正确率;“与人工标签训练的助手平均相当”是由另一个奖励模型打的分,不是独立的人类评估,而且数据、模型和打分用的奖励模型都属于开发者,外部读者无法自行核查(本书的推断)。“优于众包人工标签”也要看人工标签本身的质量:在 Alpaca 任务上,作为对照的人工标签每条数据只有一个人的标注(Wen 等,2025)。

第 18.5 节会讲另一类无监督方法:不训练模型的输出,而是直接在模型内部的数值里寻找与真假有关的方向。两者都依赖同一个前提,即模型内部已经有可以利用的结构。下一节讨论这个前提。

第 17.5 节引用的文献 1
  1. Wen 等人(2025)Unsupervised Elicitation of Language Models

17.6 能力引出不等于价值对齐 #

本章开头提到两个区分,这里展开。

第一个区分:引出已有的能力,还是学到新的能力。Burns 等明确说,他们并不需要弱监督者教会强模型新能力,只需要弱监督者把强模型已经知道的东西引出来(Burns 等,2023)。他们把强参考的表现理解为,直观上相当于强模型在这个任务上能发挥的全部能力(Burns 等,2023)。按照这种理解,“学生超过老师”是因为强模型在预训练中已经获得了相关能力,弱标签只是告诉它“现在要做的是这个任务”,它就用上了自己原有的能力。这是作者对结果的解释,也是这类方法的前提(见本章开头“证据与前提”的“依赖”一行),而不是正确率本身能证明的:学生超过老师,也可能有一部分来自它从弱标签里学到的东西,第 17.7 节会看到这样的证据。

Wen 等的一个反面实验说明了这个前提为什么重要(Wen 等,2025)。他们故意构造了一个无监督引出不可能成功的任务:假设某人特别喜欢写到太阳的诗,于是在一组成对的诗里,凡是提到太阳的那首都被标为“更好”。模型只被告知要判断哪首诗更好。预训练模型对“诗好不好”的理解与太阳无关,它不可能知道这个人的特殊偏好。结果这个方法的表现与随机猜测差不多。论文据此说明,这种方法只能引出对预训练模型来说已经突出存在的概念(Wen 等,2025)。

怎样判断一种能力原先就存在?没有单一的检验,可以看几条线索:

  • 强模型不经任务训练时的表现。不微调,只用提示或少量例子,它在这个任务上已经比弱老师好吗?Burns 等比较过只用提示和用真实标签微调:对最大的模型,给 5 个例子的提示在许多任务上能和微调相比(Burns 等,2023)。
  • 在不改动强模型的情况下读出的表现。固定强模型,只在它的内部表示上训练一个简单的分类器(第 18.2 节),用少量可靠标签就能达到高正确率吗?本章实验路线练习里的强学生和强参考都是这种结构(固定的句向量加一个线性分类器),其中用可靠标签训练的强参考,正好回答这里的问题。
  • 用很少的可靠标签就能接近强参考吗?如果几十条标签就够,这提示能力早已存在,标签只是指明了任务(本书的推断)。

即使这些线索都指向“能力原先就存在”,也要记住 Burns 等自己指出的一个不利因素:今天的大模型是在人写的大量文本上预训练的,这些文本里隐含着人类水平的答案,所以在今天的实验里引出强模型的能力,可能比将来引出超过人类水平的能力人为地容易,他们的结果可能因此过于乐观(Burns 等,2023)。

第二个区分:能力引出与价值对齐。引出的是一种能力,比如判断一段数学推理对不对、一段代码有没有缺陷。价值对齐关心的是另一件事:模型会不会在没有人检查时也按我们希望的方式使用这种能力,在不同目标冲突时怎样取舍。前者有参考答案可以评分,后者通常没有。Wen 等也说明,即使用无监督引出来训练模型遵循一套人写的原则,仍然需要人来核实模型是否按原意理解了这些原则(Wen 等,2025)。

回到记账程序。假设用弱标签训练出的强模型找出了更多缺陷,这说明它现在能识别这些缺陷;这种能力是预训练时就有的,还是从弱标签里学到的,正确率本身分不开。它更不说明这个模型在别的情况下会如实报告它看到的缺陷,也不说明写代码的模型和你目标一致。本章的方法至多说明“能力可以被引出”,后两件事要到第四部分讨论。

第 17.6 节引用的文献 2
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  2. Wen 等人(2025)Unsupervised Elicitation of Language Models

17.7 监督者与学生的相似性 #

为什么弱到强的效果在不同任务上差别那么大?Goel 等从模型相似性的角度给出了一种解释(Goel 等,2025)。

他们先定义了一种衡量两个模型有多相似的指标:不看模型内部,只看两个模型在同一批题上的预测(包括给各个选项的概率)有多一致,并扣除仅仅因为两个模型正确率都高而碰巧一致的部分。然后他们按照 Burns 等的设置做弱到强实验:用 4 个 10 亿到 30 亿参数的模型作弱老师,3 个 70 亿到 90 亿参数的模型作强学生,组成 12 对,在 15 个二分类任务上训练(Goel 等,2025)。

他们观察到,弱老师与强学生(训练前)越相似,强学生从弱到强训练中得到的提高就越小;在统计上控制了两者正确率的差距之后,这个关系仍然存在(Goel 等,2025)。他们的解释是互补知识:如果弱老师在某些题上是对的,而强模型原本在这些题上是错的,那么学生就有机会从老师那里学到东西;两个模型越相似,这样的题就越少。他们还把测试题按“老师对不对”“强参考对不对”分成四类,发现在强参考答错、老师答对的那类题上,学生也答对了相当一部分。这说明学生的提高不全来自引出自己原有的能力,也有一部分来自老师的互补知识;也说明用可靠标签训练的强参考并不是真正的上限(Goel 等,2025)。

这一结果的适用条件要说清楚。“弱”和“强”是按模型大小定义的;任务是二分类;模型是 10 亿到 90 亿参数的开源模型;相似性与收益之间是在 12 对模型和 15 个任务上观察到的相关关系,不是在控制条件下证明的因果关系。论文中关于“能力越强的模型错误越相似”的发现,第 24.4 节再讨论。

这对监督意味着什么?如果监督者与被监督者是用相似的数据训练的、有相似的盲点(第 10.2 节的“共同盲点”),弱到强训练能带来的提高可能更少;而人与今天的大模型之间是否存在这样的相似性,这项研究没有测量(本书的推断)。回到记账程序:如果弱的检查模型和强模型都在相似的代码上训练,都不熟悉“写入失败时只记一半”这类问题,弱模型在这类代码上给出的标签帮不了强模型,强模型也没有自己原有的能力可以被引出。

第 17.7 节引用的文献 1
  1. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

17.8 结果为负时怎样解读 #

做弱到强实验,可能得到令人失望的结果:恢复比例接近 0,甚至为负。Burns 等只用最简单的微调时,在国际象棋上用最小的老师,恢复比例就接近 0;在奖励建模上,通常也只恢复性能差距的约 10%(Burns 等,2023)。这不等于实验白做了。负结果有三类不同的解释,它们意味着完全不同的下一步。

方法失败。强模型确实有相关能力,但训练方法让学生把老师的错误也学了进去。Burns 等观察到,学生会模仿老师的一部分错误;弱老师的错误也不是均匀的随机噪声,而是取决于具体题目的系统性错误,这比随机噪声更难处理(Burns 等,2023)。如果学生与老师的预测一致率远高于老师的正确率,尤其是在老师答错的题上也和老师一致,就是模仿的迹象。

设定不合适。实验本身没有给出可以解释的数字。例如测试集太小,三个正确率之间的差距都在误差之内(第 17.3 节);弱老师太弱,标签接近随机;学生训练集与测试集的题目分布不一样;或者任务里弱标签的错误恰好是强模型最容易学会的那类。

强模型本来就没有额外的能力。如果强参考与弱老师之差的置信区间很窄、上端也很小,或者强模型不经训练、只读内部表示也做不好这个任务,那就没有什么可以引出的:问题不在于方法,而在于“强”模型在这个任务上并不强。这时先看分母。差值的区间明显高于 0,分母就成立,比例接近 0 是如实的结果;区间包含 0,分母不成立,就只报告三个正确率和差值的区间,不报告比例(第 17.3 节)。区间如果只是很宽,还分不清这一类和“设定不合适”。

表 17.2 负结果的三类解释与检查办法
解释 典型迹象 怎样检查
方法失败 学生与老师一致的比例高于老师的正确率;学生在老师答错的题上也跟着错 统计学生在老师答对、答错两类题上的正确率;换一种训练方法再试
设定不合适 差值的置信区间很宽;老师的正确率接近随机;训练集与测试集分布不同 估计各差值的置信区间(第 3.4 节);检查数据划分和样本量
强模型没有额外能力 强参考与弱老师之差的区间窄,而且接近 0;强模型不经训练的表现也很差 先确认分母成立;测强模型的零样本表现(不经训练、直接提问),或在其内部表示上训练简单分类器

三类解释可以同时成立,也很难只凭一个实验分开。所以报告负结果时,要写清三个正确率及差值的置信区间、做了哪些检查、哪些解释已经排除、哪些还不能排除。一个写清楚了原因的负结果,比一个原因不明的正结果更有用(本书的推断)。

回到第一类解释:弱老师的错误是什么结构,对结果影响很大。Burns 等在附录里用一个简化的合成实验检验过这一点(Burns 等,2023)。他们从 GPT-4 系列一个中等大小模型的内部表示中取出 SciQ 科学选择题的特征,只在这些特征上训练线性分类器,做弱到强实验。弱老师只用学生特征中的一部分时,学生按构造能完全模仿它。这时学生的正确率没有比老师明显提高,与老师标签的一致率却远高于老师的正确率,说明它学进了老师的错误。把正确标签随机翻转,得到正确率相同的弱标签,学生的正确率就明显超过这些弱标签。作者同时提醒,随机噪声这种容易泛化的错误结构,可能和人类监督者会犯的错误很不相像(Burns 等,2023)。

本书构造了一个更小的模型来说明其中的道理(图 17.1)。每个输入有三个互相独立的特征,正确标签由特征 1 的正负决定。学生只看得到特征 1 和特征 2。它用无限多个弱标签,在这两个特征上找一条最贴合老师标签的直线,把两种标签分开;这条直线叫分界线,就是学生学到的规则。正确标签只看特征 1,所以学生原则上能学到正确的规则。老师的正确率可以设定,出错的方式有两种:随机错误,即随机翻转一部分标签;系统性错误,即按一条偏斜了的规则打标签,这条规则不只看特征 1,还掺进了别的特征,偏斜可以朝向学生看得到的特征 2,也可以朝向它看不到的特征 3。随机错误对应上面 Burns 等随机翻转标签的设定;偏斜全朝向特征 2 时,老师的规则只用到学生看得到的特征,对应上面学生按构造能完全模仿弱老师的设定(Burns 等,2023)。偏斜部分或全部朝向特征 3,是本书加的。在这个模型里,因为样本无限多,随机翻转的标签互相抵消,学生学到的仍是正确的规则;真实训练的样本有限,随机错误也会损失一些正确率。系统性的偏斜只要朝向学生看得到的特征 2,学生就会把这部分学过去;朝向特征 3 的部分,它学不去。

弱标签 +弱标签 −正确的规则学生学到的规则学生看到的−202特征 2−202特征 1(决定正确标签)性能差距恢复比例(PGR)0%20%40%60%80%100%PGR0.00.20.40.60.81.0老师的偏斜朝向学生看得到的特征 2 的程度随机错误系统性错误老师的正确率 80%,错误是系统性的,偏斜朝向学生看得到的特征 2 的程度是 0.5。学生的正确率 88.9%(强参考 100%),恢复了 45% 的差距。
弱标签 +弱标签 −正确的规则学生学到的规则学生看到的−202特征 2−202特征 1(决定正确标签)性能差距恢复比例(PGR)0%20%40%60%80%100%PGR0.00.20.40.60.81.0偏斜朝向特征 2 的程度随机错误系统性错误老师的正确率 80%,错误是系统性的,偏斜朝向学生看得到的特征 2 的程度是 0.5。学生的正确率 88.9%(强参考 100%),恢复了 45% 的差距。
图 17.1 用弱老师的标签训练强学生,一个本书构造的示意模型,参数也是为说明而设定的。左图(窄屏上是上图)画的是学生看得到的特征 1 和特征 2:圆点和叉号是老师给的两种标签;两条线都是分界线,虚线是正确的规则,蓝线是学生学到的规则。右图(窄屏上是下图)是性能差距恢复比例(PGR,第 17.3 节),横轴就是滑块“偏斜朝向特征 2 的程度”:0 表示偏斜全朝向学生看不到的特征 3,1 表示全朝向特征 2,它不是偏差所占的比例。系统性错误时(蓝线),越朝向特征 2 恢复得越少,到 1 时一点也不恢复;随机错误时(黄线)总是全部恢复,这个滑块不改变结果,右图上的圆点只沿黄线移动。先看默认:老师的正确率 80%、朝向特征 2 的程度 0.5,学生的正确率 88.9%,恢复 45% 的差距;读数里的强参考 100% 是用正确标签训练的学生。左图的两条线和整个右图都按样本无限多精确算出,只有左图的 150 个点是固定的示意样本。
第 17.8 节引用的文献 1
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

读物 #

  • 原始提案 · 会议论文:Burns 等《Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision》(OpenAI,2023;ICML 2024)(Burns 等,2023)。提出弱到强的实验设定和性能差距恢复比例。
  • 实验结果 · 会议论文:Sun 等《Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision》(NeurIPS 2024)(Sun 等,2024)。只用简单题训练评估模型,再用它帮助解难题。
  • 实验结果 · 预印本:Wen 等《Unsupervised Elicitation of Language Models》(2025,引用的是 arXiv v2,2026 年 1 月修订)(Wen 等,2025)。不用外部标签,用模型自身判断的一致性生成标签。注意它关于“概念不突出时失败”的那一节。
  • 反例与批评 · 会议论文:Goel 等《Great Models Think Alike and this Undermines AI Oversight》(ICML 2025)中关于弱监督者与强学生互补知识的部分(Goel 等,2025)。在所研究的设置中,两个模型越相似,收益越小。
本节引用的文献 4
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  2. Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
  3. Wen 等人(2025)Unsupervised Elicitation of Language Models
  4. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

练习 #

习题 17.1 三种设定改变了什么

下面四个实验各属于本章的哪一种设定?如果都不属于,说明原因。

  1. 只用 1 到 3 级数学题的可靠解答训练一个打分模型,再用它给 5 级题的候选解答打分。
  2. 一个小模型给 1 万条影评标注“正面”或“负面”,用这些标注训练一个大模型。
  3. 不给任何标签,让模型给一批“这个数学解答对不对”的问题打标签,要求同一道题的两个不同答案不能都被标为对,再用这些标签训练模型。
  4. 用 1 万条人工核对过的正确标签训练一个大模型。
解答
  1. 易到难泛化:监督可靠,但只在简单题上提供。
  2. 弱到强泛化:监督者是一个比学生弱的模型,标签有错。
  3. 无监督引出:没有外部标签,标签来自模型自身判断之间的一致性(这里是逻辑一致)。
  4. 都不属于。这是普通的监督训练,监督者没有弱于学生,也没有只覆盖简单题。它相当于弱到强实验里的“强参考”。
习题 17.2 三个任务上的恢复比例

下面是为教学构造的数据。三个任务上,弱老师、用弱标签训练的强学生、用可靠标签训练的强参考,在各自任务的同一测试集上的正确率如下:

任务 弱老师 强学生 强参考
甲 62.0% 71.0% 86.0%
乙 70.0% 66.0% 82.0%
丙 75.0% 77.0% 76.0%
  1. 手算三个任务的恢复比例。
  2. 任务乙的比例为负,这意味着什么?
  3. 任务丙的强参考只比弱老师高 1 个百分点。只凭这些正确率,能否判断强参考与弱老师之间的能力差距可靠?还需要哪些信息?为什么不能只凭“相差 1 个百分点”就判定恢复比例没有意义?
  4. 补充信息:任务丙的测试集有 1000 道题,强参考和弱老师的逐题结果如下。两者都对 700 题;只有强参考对 60 题;只有弱老师对 50 题;两者都错 190 题。按第 3.4 节的配对方法,两者正确率之差的 95% 置信区间约为 −1.05 到 3.05 个百分点。说明这里为什么用配对而不是不配对的方法,并据此判断任务丙的恢复比例能否解释。读过第 3.4 节的读者,可以先自己算出这个区间再对照。
  5. 任务甲的学生超过了老师。为什么这既不足以区分“引出了已有能力”和“学到了新能力”(对照第 17.6 节),也不能证明实现了价值对齐?
提示

第 4 问:两个模型在同一批题上评分,每道题可以记一个差:只有强参考对记 +1,只有弱老师对记 −1,其余记 0。差值的平均就是两个正确率之差,差值的标准误用这些 +1、−1、0 算。

解答
  1. 甲:(71−62)÷(86−62)=9÷24=37.5%(71 - 62) \div (86 - 62) = 9 \div 24 = 37.5\%。乙:(66−70)÷(82−70)=−4÷12≈−33.3%(66 - 70) \div (82 - 70) = -4 \div 12 \approx -33.3\%。丙:(77−75)÷(76−75)=2÷1=200%(77 - 75) \div (76 - 75) = 2 \div 1 = 200\%。
  2. 分子为负:用弱标签训练的强学生比给它标签的弱老师还差 4 个百分点。这是有意义的失败结果,说明在这个任务上,弱到强训练不但没有引出强模型的能力,反而让它学得比老师更差,可能是学生模仿了老师的错误,又丢掉了老师答对的一部分(第 17.8 节)。要确认这个失败不是测量误差,也应当对“强学生减弱老师”做同样的配对置信区间。
  3. 不能。只有正确率,不知道测试集多大,也不知道两个模型是在同一批题上评分、逐题对错如何,就无法估计差值的测量误差。还需要:测试集大小;两者在同一测试集上的逐题对照(至少是两者对错不同的题数);如果条件允许,还有换随机种子重新训练时正确率的波动。不能只凭“相差 1 个百分点”下结论,是因为 1 个百分点是否可靠取决于样本量和两者意见不同的题数:在一个很大的测试集上,1 个百分点也可能是可靠的差距。例如同样的不一致比例(只有强参考对占 6%,只有弱老师对占 5%)放在 20000 道题上,差值的 95% 置信区间约为 0.54 到 1.46 个百分点,明显高于 0。
  4. 两者在同一测试集上评分,用配对方法。每道题记差值 DD:只有强参考对的 60 题记 +1,只有弱老师对的 50 题记 −1,其余 890 题记 0。平均差 d=(60−50)÷1000=1.0d = (60 - 50) \div 1000 = 1.0 个百分点。DD 的方差为 (60+50)÷1000−d2=0.11−0.0001=0.1099(60 + 50) \div 1000 - d^2 = 0.11 - 0.0001 = 0.1099,标准误为 0.1099÷1000≈1.05\sqrt{0.1099 \div 1000} \approx 1.05 个百分点。95% 置信区间为 1.0±1.96×1.051.0 \pm 1.96 \times 1.05,约为 −1.05 到 3.05 个百分点。区间包含 0,也包含负数,所以能力差距没有得到确认(这不等于没有差距)。先假定分子 2 个百分点不变(分子本身也有抽样误差,比例只会更不确定),分母的真实值可能是约 3.05 个百分点(比例约 65%),可能是 0.5 个百分点(比例 400%),可能是 0(比例没有定义),也可能是负数(比例变号)。任务丙的 200% 不能解释为“强学生恢复了两倍的差距”。应当报告三个正确率和这个区间,说明分母不成立,不报告比例。如果忽略配对、把两个正确率当作独立样本,区间约为 −2.77 到 4.77 个百分点,更宽;配对方法利用了两者在 700 + 190 道题上结果相同这一信息。
  5. 学生超过老师,可能是因为强模型在预训练中已经具备了这个能力,弱标签只是指明了任务;也可能是学生从弱标签中学到了新东西。正确率本身分不开这两种情况,需要额外的证据,例如强模型不经训练时的表现、在其内部表示上用少量可靠标签训练简单分类器的表现。即使能力确实被引出,引出的也只是“把这个任务做对”的能力,它不说明模型在没有检查时会按我们希望的方式使用这种能力,也不涉及目标冲突时怎样取舍,所以不能证明价值对齐。

计算用的脚本是 tools/exercises/ch17_pgr.py。

习题 17.3 用 scikit-learn 做一次弱到强(实验路线与研究路线)

本练习是低成本的教学重现,不需要 GPU,也不保证出现论文中的现象。用到的工具见第 4.7 节。

数据:scikit-learn 自带下载的 20 Newsgroups 数据集中的两个新闻组(医学与航天),做二分类。数据分成三份,事先固定:

  • 老师训练集:带真实标签,只用来训练弱老师。故意取得很小(100 条),让老师弱一些。
  • 学生训练集:只使用弱老师给出的标签。它的真实标签只用来训练强参考。
  • 最终测试集:真实标签只用于最后评分,不能用于训练,也不能用来挑选方案或调参数。

模型:弱老师是词袋特征(每个词出现的次数)上的逻辑回归。强学生是在预先算好的预训练文本嵌入上的逻辑回归,用弱标签训练。嵌入(embedding)是一个预训练的句向量模型把每段文本变成的一串数,这里用公开的小型句向量模型 all-MiniLM-L6-v2,换成任何公开的小型句向量模型都可以。强参考是同样的强学生,用学生训练集的真实标签训练。

准备:安装 scikit-learn、numpy 和 sentence-transformers。第一次运行时要联网下载数据集和句向量模型(all-MiniLM-L6-v2 的权重约 90 MB)。

# 弱到强的教学重现(scikit-learn)。只在最后一步使用测试集的真实标签。
import numpy as np
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

SEED = 0

# 1. 读入数据:两个新闻组,医学与航天,二分类。第一次运行会下载数据集。
data = fetch_20newsgroups(subset="all", categories=["sci.med", "sci.space"],
                          remove=("headers", "footers", "quotes"), random_state=SEED)
texts = np.array(data.data, dtype=object)
labels = np.array(data.target)

# 2. 三份数据,事先固定,之后不再改动。
idx = np.arange(len(texts))
idx_rest, idx_test = train_test_split(
    idx, test_size=0.3, stratify=labels, random_state=SEED)
idx_teacher, idx_student = train_test_split(
    idx_rest, train_size=100, stratify=labels[idx_rest], random_state=SEED)
print("老师训练集", len(idx_teacher), "学生训练集", len(idx_student), "测试集", len(idx_test))

# 3. 弱老师:词袋特征上的逻辑回归,只用老师训练集的真实标签。
vectorizer = CountVectorizer(min_df=2)
teacher = LogisticRegression(max_iter=1000)
teacher.fit(vectorizer.fit_transform(texts[idx_teacher]), labels[idx_teacher])

# 弱标签:老师对学生训练集的预测。学生训练集的真实标签在这里不使用。
weak_labels = teacher.predict(vectorizer.transform(texts[idx_student]))

# 4. 预训练句向量。这一步需要安装 sentence-transformers 并下载模型。
from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

def embed(batch):
    return encoder.encode(list(batch), batch_size=64, show_progress_bar=False)

E_student = embed(texts[idx_student])
E_test = embed(texts[idx_test])

# 5. 强学生:句向量上的逻辑回归,用弱标签训练。
student = LogisticRegression(max_iter=1000).fit(E_student, weak_labels)

# 6. 强参考:同样的模型和特征,用学生训练集的真实标签训练。
reference = LogisticRegression(max_iter=1000).fit(E_student, labels[idx_student])

# 7. 最后一步:在测试集上评分。
y_test = labels[idx_test]
pred_weak = teacher.predict(vectorizer.transform(texts[idx_test]))
pred_student = student.predict(E_test)
right_weak = pred_weak == y_test
right_student = pred_student == y_test
right_ref = reference.predict(E_test) == y_test
acc_weak, acc_student, acc_ref = right_weak.mean(), right_student.mean(), right_ref.mean()
print(f"弱老师 {acc_weak:.1%}  强学生 {acc_student:.1%}  强参考 {acc_ref:.1%}")
print(f"强学生与弱老师预测相同的比例 {(pred_student == pred_weak).mean():.1%}")

# 8. 配对比较(同一测试集):每题记 +1、0 或 -1,求差值的 95% 置信区间。
def paired_diff(right_a, right_b):
    diff = right_a.astype(int) - right_b.astype(int)
    d = diff.mean()
    se = diff.std() / np.sqrt(len(diff))
    return d, d - 1.96 * se, d + 1.96 * se

d, lo, hi = paired_diff(right_ref, right_weak)
print(f"强参考 - 弱老师:{d:+.1%},95% 置信区间 [{lo:+.1%}, {hi:+.1%}]")
n_d, n_lo, n_hi = paired_diff(right_student, right_weak)
print(f"强学生 - 弱老师:{n_d:+.1%},95% 置信区间 [{n_lo:+.1%}, {n_hi:+.1%}]")

# 9. 先确认分母成立,再计算恢复比例。
if hi < 0:
    print("强参考可靠地不如弱老师:实验基准有问题,先检查强参考。")
elif lo <= 0:
    print("强参考没有可靠地优于弱老师:能力差距没有得到确认,不计算恢复比例。")
else:
    pgr = (acc_student - acc_weak) / (acc_ref - acc_weak)
    print(f"性能差距恢复比例 PGR = {pgr:.1%}")

完成以下各项:

  1. 运行代码,报告三个正确率、两个差值的置信区间,以及恢复比例(如果分母成立)。
  2. 结果可能接近 0 或为负,这也是有效结果。按表 17.2 分析原因:学生与老师的一致率是否高于老师的正确率?在老师答错的测试题上,学生的正确率是多少?
  3. 只改一处再跑一次,例如把老师训练集从 100 条改为 20 条或 500 条,观察三个正确率和比例怎样变化。改动要在看测试结果之前决定,并说明为什么改这一处。
  4. 说明这个重现与 Burns 等的实验有哪些不同(模型、任务、训练方式),因而不能声称复现了论文的结论。

扩展:OpenAI 的 weak-to-strong 官方仓库(OpenAI,2023)提供了实现论文方法的代码;运行它要训练语言模型,一般需要 GPU(本书的推断)。该仓库已于 2026 年 5 月 29 日归档,只读;README 说明代码没有经过充分测试,设置与论文不完全相同。使用时固定所有依赖的版本,并以 README 中给出的预期结果作为对照。

解答

本题没有标准数字答案,评分要点如下:

  • 三份数据的划分在训练前固定;测试集的真实标签只在第 7 步使用;第 3 问的改动在看结果之前决定。
  • 先报告三个正确率和差值的置信区间,再报告比例;分母不成立时不报告比例,并说明原因。
  • 分析负结果或接近 0 的结果时,分别讨论方法失败、设定不合适、强模型没有额外能力三类解释,并给出支持或排除每类解释的具体数字(例如学生与老师的一致率、老师答错的题上学生的正确率)。
  • 注意这里的强学生是固定的句向量加一个线性分类器,相当于只读取预训练表示,没有微调整个模型。句向量本身在训练中不变,所以即使学生高于弱老师,也只能说明这些固定的特征里含有足够的信息,不能说明模型学到了新能力。
  • 结论说明这是教学重现:模型、数据和训练方式都与原论文不同,只有一个数据集和一个随机种子,不能据此说明弱到强泛化是否成立。
本节引用的文献 1
  1. OpenAI(2023)weak-to-strong

学完能做到 #

  • 说出弱到强泛化、易到难泛化和无监督引出各自改变了哪个变量:监督者、任务难度、监督来源。
  • 手算一个性能差距恢复比例,并说出它的局限:强参考不是理论上限,比例隐藏了绝对水平和成本。
  • 报告恢复比例之前,先给出三个实际正确率,并用配对方法估计强参考与弱老师之差的置信区间,确认分母成立。
  • 区分“学生超过老师”“引出了已有能力”“学到了新能力”“价值对齐”四件事,说明一个实验支持的是哪一件。
  • 面对负结果,分别检查方法失败、设定不合适、强模型没有额外能力三类解释。

参考文献

  1. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §17.1 §17.2 §17.3 §17.4 §17.6 §17.8
  2. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §17.7
  3. OpenAI (2023). weak-to-strong. GitHub. 软件
  4. Sun, Z., Yu, L., Shen, Y., Liu, W., Yang, Y., Welleck, S., and Gan, C. (2024). Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision. Advances in Neural Information Processing Systems. 引用于 §17.4
  5. Wen, J., Ankner, Z., Somani, A., Hase, P., Marks, S., Goldman-Wetzler, J., … Leike, J. (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本引用于 §17.5 §17.6