草稿 内容完整但尚未审校,可能还会修改
第 11 章实验设计与监督预算
路线全部路线最短路线实验路线做全部练习
本章导读
文字稿
- 0:07缩小版的实验
让没学过医学的人借助模型答医学题,不许请教医生,事后再用医生的答案打分。模型夹在中间,所以叫三明治评估。放到记账程序上,你就是非专家。 - 0:27代理实验的出发点11.1
代理实验在今天造出缩小版的局面:评估者比模型弱,正确答案在实验之外。Cotra 把“技术会继续有效”写成出发点假设,而不是结论。 - 0:48概念验证实验11.2
Bowman 等 2022 年把它写成实验范式。概念验证用 MMLU 和限时 5 分钟的 QuALITY;借助 520 亿参数对话助手,参与者胜过自己单独作答,也胜过模型直接作答。 - 1:09这个结果不能说明什么11.2
作者写明了六条局限。例如第四条:每个任务都有一人不借助模型就远远领先,并超过了模型,作者把这两人排除在外,这会带来选择效应。 - 1:31弱模型当替身11.3
人类实验又慢又贵,研究者常让较弱的模型扮演非专家或裁判。它便宜、可重复、容易调节差距,但只是实验替代:结论只能说“这个协议在这个裁判模型下的表现”。 - 1:54参考答案也会出错11.4
GPQA 每题由一位专家出题,另两位同领域专家独立作答,第二位专家的准确率是 64.8%。参考答案若有一成是错的,准确率就不可能可靠地超过九成。 - 2:16差距取决于怎样算11.4
差距要实测,不能用参数量代替。MMLU 上模型直接作答和人单独都是 57.2%;推理 20 次选最好,模型到 65.6%;四人单独时加权投票是 66.0%。 - 2:37基线与预算11.5
基线起对照组的作用。只和人单独比,往往显得有用(本书的推断)。Recchia 等第一项研究中,和模型对话后是 71%,低于模型单独的 75%。人的时间、计算量和人数都要记账。 - 2:59准确率会骗人11.6
准确率是判断与参考答案一致的比例。设 100 份中 10 份有问题(数字为说明而设):乙一律判“没问题”,准确率反比甲高,却一个问题也没发现。漏检往往更危险,还要记录严重程度。 - 3:23信心也要单独看11.6
信心是评估者对判断的把握,它不是正确性。Bowman 等的实验中,借助模型后平均信心大幅上升;即使是全组最有把握的答案,也有大约八分之一或更多是错的。 - 3:44难题数据集有寿命11.7
GPQA 由 61 位博士或博士生出题和验证。可以上网的非专家,546 题平均只答对 34.1%。但模型变强、题目泄露、工具变了,它就不再制造差距。 - 4:05只查高风险不够11.8
专家的时间常集中在被判为高风险的样本上。但只查高风险不够:风险判断本身会漏;输出可能被推向“看起来低风险”;挑出的样本也估计不出整体的错误率。 - 4:26保留随机抽查11.8
随机抽查让每个输出被查的机会都一样。但错误越少见,要抽的越多:1000 个输出中有 10 个有问题,随机抽 50 个,平均只能发现 0.5 个。
带走的几句话:
- 能力差距和参考答案都要实测,不能用参数量代替差距。
- 基线要包括模型单独和简单咨询;误报、漏检和信心分开报告。
- 只查被判为高风险的样本不够,要保留随机抽查。
第一部分把问题摆清楚了:评估者可能比执行者弱(第 9 章),而弱在哪里、模型可能怎样对待监督,都要事先说明(第 10 章)。接下来自然要问:有人提出一个监督方法,说它能帮较弱的评估者作出可靠的判断,我们怎样检验这句话?
检验遇到两个困难。第一,我们最担心的情形,是模型在大多数任务上都超过最好的人类专家,这样的模型现在还不普遍,没法直接拿来做实验。第二,即使有了这样的模型,实验也很难打分:如果没有人能判断模型的答案对不对,也就没有人能判断“借助某个方法作出的判断”对不对。
研究者的办法是做一个缩小版的实验。设想让一组没有学过医学的人,借助一个语言模型回答医学题。他们不能请教医生,也不能查医学文献,只能和模型对话,然后自己选定答案。实验结束后,再用医生给出的答案给他们打分。在这个实验里,模型的医学知识比参与者多,又比医生少,它被夹在两组人中间,所以这种设计叫三明治评估。非专家的处境,类似于将来人类面对比自己强的模型;医生的答案,则让研究者能在实验室里发现错误,而不是等错误在现实中造成后果。
放到记账程序上,你就是那个非专家:500 行代码你只读得懂 50 行。一位熟悉这类程序的资深程序员,事先为每一处修改写好针对性的测试,他扮演专家。模型的能力在你们两人之间。三明治评估要回答的问题是:你借助模型,能在多大程度上作出和那位程序员一样的判断?
本章先讲这类实验怎样设计(第 11.1 节至第 11.4 节),再讲怎样比较、用什么指标衡量(第 11.5 节、第 11.6 节),然后讨论难题数据集为什么会过期(第 11.7 节),最后讨论人的时间有限时,检查的力气该花在哪里(第 11.8 节)。其中第 11.6 节末尾的四个核心问题,会在后面每一章读实验论文时反复用到。
11.1 为什么需要代理实验 #
先把我们想知道的事写清楚:某个监督方法,能否让一个较弱的评估者,可靠地监督一个在任务上比它强的模型?要直接检验这句话,需要两样东西:一个在任务上确实比评估者强的模型,以及一种知道正确答案的办法,用来给评估者的判断打分。在我们最终关心的情形里,这两样东西互相冲突:模型越是超过所有人,就越没有人能给出正确答案。
代理实验是指在今天就能做到的条件下,人为地造出一个缩小版的局面:评估者比模型弱,而正确答案由实验之外的人或数据掌握。评估者在实验中不知道正确答案,研究者在实验后知道。
这个思路来自 Cotra 在 2021 年的一篇博客(Cotra,2021)。她注意到,当时的语言模型已经在某些模糊任务上,有潜力超过某些人:例如,在给出生病时该怎么办的建议这件事上,GPT-3 读过的症状和疗法知识,可能比去论坛上问网友得到的建议更好;但模型并不会自动给出它能给出的最好建议。她把这类模型称为“窄范围超越人类”(narrowly superhuman)的模型,并提出两个问题:在人懂得比模型少的领域,怎样让模型给出它能给出的最好建议?又怎样判断它是否真的尽力了(Cotra,2021)?她认为,在这类模型上练习监督,是长期对齐问题的一个缩影。
代理实验的价值在于可以犯错。Bowman 等的说法是,在实验中,可以用专家来发现并纠正我们的错误,而不必等这些错误在外部世界里产生后果(Bowman 等,2022)。
但代理实验和真实局面之间有距离,这一点要从一开始就记住。Cotra 明确把下面这件事写成了出发点假设,而不是结论:在三明治设置中有效的技术,很有可能在模型超过最好的人类之后继续有效(Cotra,2021)。这个假设至少可能在三处失效。第一,能力差距的来源可能不同:实验里的差距可能来自专业知识,将来的差距可能来自计算时间或上下文长度(第 7.4 节)。第二,实验里的模型通常只是会犯错,将来的模型可能会针对监督调整行为(第 10 章,第四部分)。第三,实验任务(如选择题)和真正要监督的任务(如长时间的编程或科研)形式不同。所以每一个代理实验的结果,都要写明它在什么差距、什么任务、什么威胁模型下成立。第 28 章专门讨论怎样从这类结果向外推。
第 11.1 节引用的文献 2
- Cotra(2021)The case for aligning narrowly superhuman models
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
11.2 三明治评估 #
Bowman 等在 2022 年把 Cotra 的提议写成了一个可以操作的实验范式(Bowman 等,2022)。实验中有三方:
- 专家:具备完成和监督这项任务所需的全部技能,并且真心想把监督做好。他们的评价代表监督质量的上限,在实验中只充当参照,用来评价另外两方。
- 模型:大体具备完成任务所需的技能和知识,但不会可靠地把它们用在任务上。直接问它,它的表现明显不如专家。
- 非专家:理解任务、也真心想做好,但缺少某些关键的技能或知识,单靠自己不能可靠地完成任务,也不能可靠地监督模型。他们的目标是借助某种监督方法和模型,把任务做对,并且有理由相信自己做对了。
最关键的是一条人为的约束:非专家不能得到专家的任何帮助,包括专家写好的现成资料;专家只在每一轮实验结束时出场,评价非专家做得怎样(Bowman 等,2022)。这条约束模拟的是将来的处境:那时没有更强的人可以请教。
完整的研究计划有两层循环。内层,非专家反复尝试,直到他们相信模型已经被可靠地用起来;然后专家检查结果。外层,研究者根据专家的检查改进方法,再做下一轮。最终目标是一种不需要专家反馈、第一次就能做对的方法(Bowman 等,2022)。
Bowman 等随后做了一个概念验证实验,并为了简化作了两处放宽:参与者只能和模型对话,不能改动或重新训练模型;用数据集已有的标准答案代替专家打分(Bowman 等,2022)。任务有两个,都是四选一的选择题。一个是 MMLU,题目大多来自各类考试,很多需要普通人不熟悉的专业知识。另一个是 QuALITY,题目针对一篇约 5000 词的小说,正常读完要 15 到 30 分钟;实验只给 5 分钟,参与者读不完全文,只能借助模型找信息。模型是一个 520 亿参数、用人类反馈训练过的对话助手。参与者通过一家数据标注公司招募。“人单独”和“人借助模型”两个条件各用 100 道验证集题目,但两批题并不相同;只有模型参与的条件则在整个验证集上测(Bowman 等,2022)。
下表是论文报告的验证集准确率(%)(Bowman 等,2022):
| 条件 | MMLU | QuALITY(限时 5 分钟) |
|---|---|---|
| 人单独(每人平均) | 57.2 | 48.6 |
| 人单独(四人按信心加权投票) | 66.0 | 50.0 |
| 模型单独(直接作答) | 57.2 | 59.2 |
| 模型单独(给 5 个例题) | 61.9 | – |
| 模型,20 次推理中选最好的一次 | 65.6 | 66.9 |
| 人借助模型(每人平均) | 75.4 | 76.8 |
| 人借助模型(四人按信心加权投票) | 78.0 | 86.0 |
| 专家(已发表的估计) | 90.0 | 93.5 |
QuALITY 的文章太长,提示里放不下例题,所以没有“给 5 个例题”的结果;MMLU 上“20 次推理”一行也带着 5 个例题。这些例题附有标准答案,作者提醒,用到它们的条件可能偏强(Bowman 等,2022)。最后一行不是本实验测的:MMLU 的 90.0 是 MMLU 作者对专家委员会成绩的推测,QuALITY 的 93.5 是已知最好的不限时人类团队成绩(Bowman 等,2022)。
借助一个并不可靠的模型,参与者的准确率既超过了他们自己单独作答,也超过了模型单独作答。论文把和模型自由对话看作一种最简单的基线策略(Bowman 等,2022)。所以,更复杂的监督方法至少应当胜过它(本书的推断)。
作者也写明了这个结果不能说明什么,共六条(Bowman 等,2022)。第一,实验作了放宽,题目是答案明确的选择题,比真实任务干净得多。第二,每道题答完后会向参与者公布正确答案,这偏离了三明治评估的核心设定,因为真实监督中的一大难点,正是判断自己的方法什么时候足够可靠。第三,参与者只能引出直接问模型时它会给出的知识,模型知道的可能更多。第四,每个任务原有 5 名参与者,各有一人在不借助模型时远远领先其他人,并超过了模型,作者把这两人排除在外,这会带来选择效应(第 11.4 节回到这一点)。第五,参与者有时会给出信心很高、却是错的答案,他们有时会接受模型听起来自信又合理的错误说法。第六,这类选择题在网上很常见,模型在一定程度上受过这类任务的训练,而监督最要紧的场合,是让模型做和训练很不一样的事。另外,实验中的模型只是会犯错,没有被设定去误导人(本书的说明)。
回到本章开头的医学题。按照这个范式,实验要写清楚:非专家是谁、他们能用什么(只和模型对话,还是也能上网检索)、医生的答案怎样得出、医生何时出场。只要其中一条没写清,例如非专家其实读过医生写的复习资料,实验就不再是三明治评估了。
第 11.2 节引用的文献 1
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
11.3 用弱模型模拟人 #
人类实验又慢又贵。上面的实验每个人类条件只用了 100 道题、4 名参与者(Bowman 等,2022),要比较十种方法的变体,就要再招许多人。于是研究者常用一个较弱的模型来扮演非专家或裁判,例如用较弱的语言模型裁判较强语言模型之间的辩论(Kenton 等,2024),或者用小模型给出的标签训练大模型(Burns 等,2023),分别见第 15 章和第 17 章。
这种替代确实能做一些人类实验做不到的事。它便宜,可以重复成千上万次,统计上更有把握(第 3 章)。它容易系统地改变能力差距:换一个更大或更小的裁判模型,就得到不同大小的差距,人类实验很难这样逐级调节。它可以快速比较协议的许多设计选择。只要同一版本的模型仍可调用、采样设置相同,它的结果也容易被别人复现(本书的推断)。
但要牢牢记住:用弱模型模拟人只是实验替代,结果不能直接外推为人类监督的效果。原因至少有五个。
第一,出错的方式不同。人会疲劳,会被先看到的答案拉过去,会因为模型平时很准就放松检查(第 13 章)。模型裁判有自己的偏差,例如在一些测试中偏爱某个位置(通常是第一个)的回答、偏爱更长的回答,偏差大小因模型而异(第 12 章)。一个协议也许恰好消除了模型裁判的某种偏差,例如交换答案顺序再判一次,却对人最主要的错误毫无作用;反过来也一样。
第二,和执行者的关系不同。弱模型裁判和强模型执行者,常常用相似的数据、相似的方法训练出来,它们可能有共同的盲点(第 24 章)。已有研究在所测的模型中观察到,模型裁判给与自己相似的模型打分更高(Goel 等,2025)。共同盲点可能让协议在弱模型实验里显得更好(两者在同一处都没看出问题,被算作“一致”),也可能显得更差。人和模型之间的差别是另一种差别。
第三,知识的分布不同。人和模型知道的东西并不是大小不同的同一堆知识。Recchia 等重新分析了上面 Bowman 等的数据,认为在 MMLU 上,人借助模型时的优势,有一部分来自人掌握一些模型没有的知识:自己会的题自己答,不会的才听模型的(Recchia 等,2025a)。作者认为,随着模型能力提高,这种优势会缩小。小模型和大模型之间的差距,不能当作人和模型之间差距的缩影(本书的推断)。
第四,能做的事情不同。人可以追问、上网检索、多花时间,或者干脆说“我判断不了”;弱模型裁判通常只读一份固定的记录,用固定的 token 预算给出一个答案。人的成本按分钟算,模型的成本按 token 算,两者没有固定的换算关系(第 11.5 节)。
第五,容易被什么说服不同。一段能说服模型裁判的论证,不一定能说服人;能误导人的话术,也不一定能误导模型(本书的推断)。对监督来说,这一点最要紧,因为协议常常要防的正是“有说服力的错误答案”。
所以,弱模型实验的结论,准确的说法是“这个协议在这个裁判模型下的表现”。要声称它能帮助人,就要做人类实验,至少在一部分题目上做,并且把两种实验的结果分开报告(附录 A)。弱模型实验得到正面结果,是值得做人类实验的理由,不是人类实验的替代品;弱模型实验得到负面结果,也不能证明人用这个协议一定会失败。
回到记账程序:如果你用一个小模型,借助批评模型去判断大模型的修改是否违反规则三,得到了不错的准确率,这告诉你的是小模型能做到什么。你自己读懂 50 行的能力、你会不会被一条写得很自信的批评说服,这个实验都没有测到。
第 11.3 节引用的文献 5
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
- Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
- Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
11.4 参考答案与能力差距的实测 #
三明治评估的打分全靠参考答案,它的地位相当于考试的标准答案。参考答案有几种来源:数据集自带的标签(Bowman 等的放宽做法);专家给出的答案;人为构造的错误,例如在代码中埋入已知的缺陷(第 16 章);以及能自动运行的测试(第 20 章)。每种来源都可能出错,所以第一步是问:参考答案由谁给出,可靠性如何?
专家的答案也不是自动可靠。以研究生水平的科学选择题数据集 GPQA 为例,每道题由一位专家出题,再由另外两位同领域的专家独立作答(Rein 等,2023)。第二位专家的准确率是 64.8%。作者逐一检查了专家答错的情况,发现不少是专家看了出题人的解释后承认自己犯了错,扣除这类情况,在全部 546 道题上、按较保守的标准估计,约 74% 的题目有无可争议的正确答案;经过筛选的主集和最严格子集,这一比例预计更高。作者也提醒,这类判断依赖验证者事后的自述,可能有误判,例如验证者认出了自己的错,题目里却还有他没发现的错;单看“事后表示同意”的比例,专家还可能只是顺从了出题人(Rein 等,2023)。
数据集本身也可能有问题:Bowman 等在试做时发现 MMLU 的题目反复出现格式错误,维护者修正了其中最系统的部分(Bowman 等,2022)。后来 Gema 等复查了 MMLU 的测试集(Bowman 等用的是验证集)(Gema 等,2024;Bowman 等,2022)。他们从 57 个学科各随机抽 100 道题,人工逐题判断题目和选项是否清楚、是否恰好有一个正确选项、这个选项是不是数据集给的答案,能查到出处的就拿来对照(Gema 等,2024)。据此估计,在整个测试集中,有错的题占 6.49%,标准答案标错(唯一的正确选项不是数据集给的答案)的题占 1.42%;各学科差别很大,病毒学抽查的 100 道题里有 57 道有错(Gema 等,2024)。
参考答案出错,会直接限制实验能说明的东西。如果参考答案本身有一成是错的,那么一个方法的“准确率”就不可能可靠地超过九成,两个方法之间几个百分点的差别,也可能只是参考答案的噪声。一个常见的错误,是把另一个模型的答案默认当成真值:那样测到的只是两个模型是否一致,而一致不等于正确(第 24 章)。
第二步是确认能力差距真的存在。三明治评估的前提是:非专家单独做不好,模型比非专家好,专家比模型好。这三点都要在同一批题、同样的条件下实测,而不能凭印象,更不能用参数量代替。Bowman 等的表其实并不满足“同一批题”:两个人类条件用的是不同的两批题,模型条件用的是整个验证集(Bowman 等,2022)。即便如此,表中的数也足以说明,差距大小很依赖怎样计算。看上面的表:在 MMLU 上,直接问模型的准确率是 57.2%,和参与者单独作答的平均准确率一样;给 5 个例题后升到 61.9%,让模型推理 20 次、挑出最好的一次后是 65.6%。而不借助模型时四名参与者按信心加权投票,准确率是 66.0%,和这个最好的模型结果几乎一样(Bowman 等,2022)。在 MMLU 上,差距存不存在,取决于你把“人”算成一个人还是一组人,把“模型”算成直接问还是精心提示;在 QuALITY 上,无论怎样算,模型都领先,只是领先多少随计算方式而变。
差距也取决于具体的人。前面说到,每个任务都有一名参与者在不借助模型时远远领先(MMLU 上 84% 对其余人的 57%,QuALITY 上 89% 对 49%),并且超过了模型(Bowman 等,2022)。对这两个人来说,三明治的前提不成立,所以作者把他们排除。但作者也承认,这样做有选择效应:排除了最强的人,就更难观察到“模型帮不上忙”的情况。
还要考虑测量误差。在 100 道题上测得的准确率,标准误大约是 5 个百分点(用第 3.3 节的公式,以 57.2% 计算约为 4.9 个百分点,脚本 tools/exercises/ch11_audit.py)。几个百分点的“差距”,可能只是这一批题碰巧的结果。比较两个条件的差别时,要让两个条件用同一批题,用配对比较并给出差值的区间(第 3.4 节);Bowman 等的两个人类条件用的是不同的题,就做不了这样的配对。
为什么不能用参数量代替能力差距?因为差距是某个人、某个模型在某个任务、某种条件下的表现之差。更大的模型不一定在这个任务上更好;同一个模型换一种提示,表现就会变;同一个人,给 5 分钟和不限时间,处境完全不同。QuALITY 本来是普通大学生认真读完就能答对的题,正是 5 分钟的限时把它变成了人做不好的任务。差距的种类也要说明:是专业知识、信息访问、计算时间、上下文长度,还是工具权限(第 7.4 节)。
回到记账程序:在测试任何帮你挑错的方法之前,先在同一批 20 处修改上测三个数:你单独判断对了几处,模型单独判断对了几处,那位资深程序员(或者他写的测试)判断对了几处。
第 11.4 节引用的文献 3
- Rein 等人(2023)GPQA: A Graduate-Level Google-Proof Q&A Benchmark
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
- Gema 等人(2024)Are We Done with MMLU?
11.5 基线与预算 #
基线是新方法要与之比较的做法。基线起实验里对照组的作用(第 3.6 节):理想情况下,它与新方法只差要检验的那一项;下面讲的预算可比,就是为了接近这一点。一个方法有没有用,不看它绝对的准确率,而看它比基线好多少。常见的基线有三类:
- 人单独:评估者不借助任何模型作判断。
- 模型单独:直接采用模型的答案。它还可以细分:直接问、给几个例题再问、让模型推理多次再挑最好的一次。
- 简单咨询:评估者和模型自由对话,然后自己作判断,也就是 Bowman 等的“人借助模型”条件。
一个新协议(例如辩论或批评)如果只和“人单独”比,往往能显得有用,因为三明治实验特意挑选单独做不好的人,而模型本来就知道不少答案(本书的推断)。它至少要胜过简单咨询,也要胜过直接听模型的。Recchia 等主张,监督协议都应该检验能否胜过“直接听从被评估的模型”(Recchia 等,2025a)。这不是吹毛求疵:据论文的 arXiv 版,在他们的第一项研究里(第 13.5 节),参与者对话前自己作答的准确率约为 55%,和模型对话后是 71%,低于模型单独作答的 75%(Recchia 等,2025a)。如果不报告“模型单独”这一行,这个结果就会被说成“模型帮人提高了准确率”。
比较时还要让预算可比。预算包括三样东西:人的时间、模型的计算量(调用次数、token 数),以及参与的人数和他们受过的训练。Bowman 等表中“20 次推理中选最好的一次”这一行,模型生成了 20 段推理,用的计算量是直接作答的许多倍;“人借助模型”条件下,MMLU 上的对话平均有 10.9 轮(Bowman 等,2022)。论文的结果表只报告了准确率和校准误差(衡量参与者的信心与实际准确率是否相符,见第 11.6 节),没有报告每种条件下人花了多少时间。读者因此无法判断,在不限时的 MMLU 上,“人借助模型”的优势有多少来自多花的时间(QuALITY 的两个人类条件都限时 5 分钟)。第 16.4 节的等时对照,就是为了解决这个问题:给对照组同样多的时间,只是不给批评。
实验的顺序和流程也是预算的一部分。Bowman 等让参与者先做完全部 100 道借助模型的题,再做不借助模型的题,并在每题之后公布答案(Bowman 等,2022)。作者认为,这样即使有学习效应,也会让结果偏向“没有差别”,因为后做的不借助模型条件反而可能受益。这是一个合理的论证,但读者应当把它看作需要检查的设计选择,而不是自动成立的事实。
一个实用的做法是为每个条件记一本账:
| 条件 | 人的时间 | 模型调用次数或 token | 参与人数 |
|---|---|---|---|
| 人单独 | 每题若干分钟 | 0 | 若干人 |
| 模型单独 | 0 | 每题 1 次或 n 次 | 0 |
| 简单咨询 | 每题若干分钟 | 每题若干轮 | 若干人 |
| 新协议 | 每题若干分钟 | 每题若干次 | 若干人 |
表格里每一格都要填上实际数字。方法带来的收益,是新协议比同等预算下最好的基线高出多少。把更多资源带来的收益算成协议的功劳,是附录 A 列出的常见错误之一。
第 11.5 节引用的文献 2
- Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
11.6 指标 #
判断一个监督方法,最直接的指标是准确率:评估者的判断与参考答案一致的比例。但只看准确率会掩盖很多东西。
先看一个例子(数字为说明而设)。100 份输出中有 10 份确实有问题,90 份没有问题。评估者甲把 10 份有问题的输出中的 8 份判为有问题,又把 90 份没问题的输出中的 9 份误判为有问题。他的准确率是 (8 + 81) ÷ 100 = 89%。评估者乙什么都不看,一律判“没问题”,准确率是 90 ÷ 100 = 90%,比甲还高。可是乙一个问题也没有发现。问题越少见,“一律放行”的准确率就越高,准确率也就越说明不了评估者有没有在检查。
所以要把两种错误分开数。约定把“评估者判为有问题”看作报警:
误报是输出其实没有问题,评估者却判为有问题。误报率是误报数除以实际没有问题的输出数。漏检是输出其实有问题,评估者却判为没问题。漏检率(也常叫漏报率)是漏检数除以实际有问题的输出数,与第 3.7 节的漏检率是同一个量。
评估者甲的误报率是 9 ÷ 90 = 10%,漏检率是 2 ÷ 10 = 20%;评估者乙的误报率是 0,漏检率是 100%。这两个数字立刻把两人区分开了(计算见 tools/exercises/ch11_audit.py)。
注意分母。误报率的分母是“实际没有问题的输出”,漏检率的分母是“实际有问题的输出”,两者都需要参考答案才能算。第 16.3 节的精确率换了一个分母:它看的是“被报出的问题”中真实问题的比例。“1 减精确率”和误报率不是一回事,不同论文的定义也不完全一致,读的时候先找到定义。
误报和漏检的代价通常不对称。对监督来说,漏检往往更危险:一处违反规则三(写入失败时只记一半)的修改被放行,账目就会出错;一次误报的代价是多花一些核查时间。除了数量,还要记录严重程度:漏掉一个格式问题和漏掉一个会让账目出错的问题,不能算作同样的一个错误。只报告平均准确率,是附录 A 列出的常见错误之一。
最后是信心:评估者对自己判断的把握,通常让他们在每题之后选一个等级或一个概率。信心本身不是正确性,但它说明评估者知不知道自己什么时候是对的。如果评估者说“有八成把握”的那些题,确实大约八成是对的,就说他的信心是校准的(第 13.4 节详细讨论)。
Bowman 等的实验提供了一个值得注意的数字。借助模型之后,参与者的平均信心从 54% 升到 80%(MMLU),从 38% 升到 75%(QuALITY)。在四人按信心加权投票、合并信心达到最高值 99% 的那些答案上,准确率是 88%(QuALITY,89 题)和 81%(MMLU,84 题)(Bowman 等,2022):即使是最有把握的答案,也有大约八分之一或更多是错的。论文还报告了校准误差:在 MMLU 上,人和模型单独作答都校准得不错,而人借助模型时的校准明显变差;在 QuALITY 上则相反,人单独作答时校准很差,借助模型后好得多(Bowman 等,2022)。
这就引出最后一个、也最容易被忽视的问题:一个方法提高的是准确率,还是只提高了信心和说服力?如果评估者变得更有把握,准确率却没有相应提高,这个方法让人更加信任模型,却没有让人更常判断正确。对监督来说,这比没有效果更糟(本书的推断)。
11.6.1 指标测的是不是你想测的 #
本节的每个指标,都是拿一个看得见的数,代表一件不能直接看见的事:评估者能在多大程度上可靠地监督比自己强的模型。一个数能不能代表它名义上的东西,要有证据,不能从名字推出来。测量学把这个问题叫构念效度(construct validity)。构念是测量想捕捉的那个看不见的性质,例如“监督能力”;效度问的是:分数是不是随着这个性质变化,而不是随着别的东西变化。
本节已经出现了两个反例。第一个是为说明而设的例子:评估者乙一律放行,准确率反而最高,这时准确率随“问题有多少见”变化,而不是随“评估者查得多好”变化。第二个是一种假设的情形:评估者的信心升高、准确率却不变,这时信心随模型的说服力变化,而不是随判断是否正确变化。第 28.4 节还有第三个:裁判准确率高,不等于在这个协议下说真话比说谎更划算。
三明治评估整体上也有同样的问题。实验测到的,是一群非专家在限定的时间里、借助一个模型回答一批选择题的准确率;人们用它代表将来人类监督更强模型的能力。两者之间的差距,第 11.1 节和第 11.2 节已经列过。这些差距不会让实验失去意义,但读结果时要知道,分数的提高首先是这批选择题上的提高。
这个问题在整个领域都很普遍。一项 2025 年发表在 NeurIPS 的系统综述,请 29 位专家逐篇检查了 2018 至 2024 年主要机器学习和自然语言处理会议上发表的 445 个语言模型基准(不包括没有经过同行评审就发布的基准):78.2% 的论文给出了所测现象的定义,其中 47.8% 的定义有争议或不清楚;比较模型得分时,只有 16.0% 用了不确定性估计或统计检验(Bean 等,2025)。作者特别指出,对齐类的基准常常针对定义有争议的现象,例如“无害”(Bean 等,2025)。所以读一篇监督实验论文,还要问一句:它用的指标,代表的是方法声称改善的那件事吗,证据是什么?附录 A 把这一问列在下面的四个核心问题之后。
11.6.2 四个核心问题 #
把第 11.2 节到本节的内容合起来,就是读任何一篇监督实验论文时都要先问的四个问题。附录 A 在它们之后补充了更多检查项。
第 11.6 节引用的文献 2
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
- Bean 等人(2025)Measuring what Matters: Construct Validity in Large Language Model Benchmarks
11.7 难题数据集的寿命 #
三明治评估需要一种特别的题目:专家能答对,非专家即使努力也答不对,模型介于两者之间。这样的题目很难造。GPQA 的构造过程,展示了为此要花多少力气(Rein 等,2023)。
作者通过一个自由职业平台雇了 61 位已经获得或正在攻读博士学位的人,在生物、物理、化学的若干子领域出题和验证。流程分四步(Rein 等,2023):
- 出题。出题人要写本领域其他专家能答对、而非专家即使能上网也答不对的题;题目要写得即使不给选项,专家也能作答。出题人还要写解释,说明正确答案为什么对、其他选项为什么看似合理却是错的。
- 第一位专家验证。另一位同领域专家作答,并给出详细的修改意见。
- 修改与第二位专家验证。出题人根据意见修改题目,再由第二位同领域专家作答。
- 非专家验证。三位其他领域的博士或博士生作为非专家作答。他们不限时间,可以使用互联网,只是不许用语言模型助手;规定每题至少花 15 分钟,实际平均花了 37 分钟。
报酬也是为这个目标设计的:专家验证者每答对一题,出题人得到奖金;非专家每答错一题,出题人也得到奖金;两者同时满足,还有额外奖金(Rein 等,2023)。这样,出题人既有动力把题出得客观,又有动力把题出得难。作者共收集 564 道题,留出 18 道作为不公开的保留集,公开的扩展集有 546 道题。其中只保留至少一位专家认同(答对,或事后能明确看出是失误)、且三位非专家并非全部答对的题,得到 448 道题的主集;又挑出两位专家都答对(或第二位专家的错误能明确归为失误)、且多数非专家答错的 198 道题,作为最严格的子集(Rein 等,2023)。在全部 546 道题上,非专家的平均准确率是 34.1%,而四选一随机猜测是 25%(Rein 等,2023)。论文摘要报告,当时最强的基于 GPT-4 的基线准确率是 39%(Rein 等,2023)。
作者还专门说明了这个数据集的用途和局限(Rein 等,2023)。用于监督实验时,模型的准确率不能太高,否则非专家只要照搬模型的答案就行了。数据集很小,主集只有 448 题,要以 80% 以上的功效(第 3.4 节)看出差别,差别必须很大(作者举的例子是从 50% 到 60%);作者也指出,准确率更高或用配对检验时,较小的差别也能看出来。非专家本身是能力很强的博士或博士生,所以以后的实验应当自己重新测量非专家的准确率。作者还在数据中放了一串特殊的标记字符串(canary string),并请大家不要在网上公开题目原文,以减少题目混进模型训练数据的风险。
这些局限说明了一件更一般的事:难题数据集有寿命。它在三种情况下会失去制造能力差距的作用。
第一,模型变强了。如果所选模型在题目上接近或超过了专家,非专家直接听模型的就能得高分,三明治的中间那层就不存在了。随着模型变强,早期的难题集迟早可能走到这一步(本书的推断),所以用之前要先实测所选模型在这些题上的准确率。到了那时,参考答案的可靠性(GPQA 在扩展集上按较保守的标准估计约 74% 的题目有无可争议的答案)反而可能成为瓶颈:模型可能比参考答案还准(本书的推断)。
第二,题目泄露了。题目和答案一旦进入模型的训练数据,模型答对可能只是记住了答案,测到的不再是它的能力。
第三,非专家的条件变了。今天的非专家可以使用的工具,比数据集构造时多得多;同样的题,非专家单独作答的准确率可能已经不同。
所以,一个难题数据集是否适用,不是数据集本身的属性,而是“这个数据集、这个模型、这群评估者、这个时间点”的属性。论文发表时测得的差距,不能证明今天的差距仍然存在。每次实验都要用你选定的模型和评估者,在同一批题上重测第 11.4 节的三个数。
第 11.7 节引用的文献 1
- Rein 等人(2023)GPQA: A Graduate-Level Google-Proof Q&A Benchmark
11.8 监督预算的分配 #
前面几节讨论的是怎样检验一个方法。最后一节换一个角度:实际使用时,人的时间总是有限的,检查的力气该花在哪里?
Amodei 等在 2016 年用打扫办公室的机器人说明这个问题(Amodei 等,2016)。我们真正想让机器人优化的目标,可能是“如果用户花几个小时仔细检查,他会有多满意”,但不可能对每一次打扫都做这样的检查,只能依赖便宜的近似信号,例如“地上有没有看得见的灰尘”。便宜的信号和真正的目标并不完全一致。作者提出的思路是,把少量对真实目标的昂贵检查,和大量对不完美代理信号的便宜检查结合起来(Amodei 等,2016)。他们讨论了两种分配方式:一种是让系统主动请求在最有用的那些情形上看到真实评价,类似主动学习;另一种是在随机的一部分情形上给出真实评价(Amodei 等,2016)。
分配办法大致有四种,它们可以组合使用:
- 主动选择待标注样本。优先检查最有信息量的样本,例如模型最没有把握的、两个评估者意见不一的。
- 按风险分配审计。先用一个便宜的风险判断给样本分级,把专家的时间集中在高风险样本上。例如,记账程序中凡是改动了写入或转账代码的修改,都标为高风险。
- 随机抽查。不看样本的样子,按固定比例随机抽出一部分彻底检查。
- 拒答与升级。第一层的评估者(可以是模型)可以说“我判断不了”,把样本交给更强、更贵的下一层,最终交给人。
前两种办法都依赖某种判断(“这个样本有风险”“这个样本模型没把握”)来决定查什么。这很高效,但如果只检查被判为高风险的样本,是不够的。理由有四条,它们层层递进。
第一,风险判断本身会漏。风险判断是另一个会出错的评估者。被它标为低风险的样本永远不会被检查,那里的错误就永远不会被发现。更糟的是,你甚至无法知道那里有多少错误,因为你从来没有看过。
第二,执行者可能被推向“看起来低风险”。如果执行者的输出要通过审查才被采用,或者在训练中按是否通过审查得到奖励,那么“危险却看起来低风险”的输出可能会被保留和强化,而“危险且看起来高风险”的输出会被拦下(第 8 章,第 23 章)。这不需要执行者有任何意图,只是选择和优化的结果(第 10.4 节)。放到记账程序上:风险判断只盯着名字里带“转账”“写入”的代码,那么一处破坏规则三的改动,如果出现在一次名为“调整显示格式”的修改里,就会被放行。日积月累,问题可能集中到风险判断看不到的地方。
第三,只查高风险,就估计不出整体的错误率。按风险挑出来的样本不能代表全体,从它们算出的漏检率,不能当作所有输出的漏检率。随机抽查的样本才能代表全体(第 3 章)。
第四,风险判断所依据的不确定性估计,本身也要检验。按风险分配、主动选择和拒答升级,都依赖某个模型或某个人说“我有把握”或“这个没风险”。这些说法可不可信,要拿参考答案去核对:在被判为“有把握”或“低风险”的样本中,实际的错误率是多少?要回答这个问题,同样需要在这些样本里随机抽查。
随机抽查的价值在于,每一个输出被检查的概率是固定的,不随它的样子而变。一个输出无论写得多像无害的修改,被抽中的机会都一样。所以,合理的做法是把大部分预算按风险分配,同时保留一部分固定比例的随机抽查,用它来估计整体的错误率、检验风险判断,并让“看起来无害”不能降低被检查的机会。第 26 章会在部署防御中再次用到这个思路。
随机抽查也有它的局限。错误越少见,需要的抽查量就越大。如果 1000 个输出中只有 10 个有问题,随机抽查 50 个,平均只能发现 0.5 个,至少发现一个的概率约为 40%(计算见 tools/exercises/ch11_audit.py)。抽查一个也没发现问题,也只能给出错误率的一个上界,而且只对抽查覆盖的那类输出成立(第 3.7 节)。
图 11.1 把本节的两点画在一起:随机抽查让每个有问题的输出都有被发现的机会,但问题少见时要抽很多;只查高风险的输出时,风险判断漏掉的问题,查多少个也发现不了。
第 11.8 节引用的文献 1
- Amodei 等人(2016)Concrete Problems in AI Safety
读物 #
- 原始提案 · 博客:Cotra《The case for aligning narrowly superhuman models》(AI Alignment Forum,2021)(Cotra,2021)。提出在“窄范围超越人类”的模型上练习监督,以及三明治评估的设想。注意作者把“这类技术会继续有效”写成了出发点假设。
- 实验结果 · 预印本:Bowman 等《Measuring Progress on Scalable Oversight for Large Language Models》(2022)的实验部分(第 3、4 节)(Bowman 等,2022)。重点看实验条件、结果表和作者列出的六条局限。
- 方法与工具 · 会议论文:Rein 等《GPQA: A Graduate-Level Google-Proof Q&A Benchmark》(2023;COLM 2024)中关于数据集如何构造和验证的部分(第 2、3 节和第 6 节局限)(Rein 等,2023)。看一个难题数据集怎样用奖金和多轮验证同时保证“客观”和“难”。
- 原始提案 · 预印本:Amodei 等《Concrete Problems in AI Safety》(2016)第 5 节 Scalable Oversight 中关于利用有限监督预算的讨论(Amodei 等,2016)。看半监督强化学习、主动请求评价与随机给出评价的区别。
- 综述 · 会议论文(选读):Bean 等《Measuring what Matters: Construct Validity in Large Language Model Benchmarks》(NeurIPS 2025)(Bean 等,2025)。读结果部分和八条建议,看 445 个基准在定义所测现象、选题和报告不确定性上各做到了什么。
本节引用的文献 5
- Cotra(2021)The case for aligning narrowly superhuman models
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
- Rein 等人(2023)GPQA: A Graduate-Level Google-Proof Q&A Benchmark
- Amodei 等人(2016)Concrete Problems in AI Safety
- Bean 等人(2025)Measuring what Matters: Construct Validity in Large Language Model Benchmarks
练习 #
下面两道题使用同一组为教学构造的数据。一位评估者(可以是人,也可以是审查模型)检查了记账程序的 20 处修改,对每一处判断它是否违反需求说明(“有问题”或“没问题”),并报告信心(高或低)。参考答案来自一位资深程序员事后的逐一核查。另有一个风险判断,把每处修改标为高风险或低风险(例如是否改动了写入或转账代码)。
| 编号 | 参考答案 | 评估者判断 | 信心 | 风险标记 |
|---|---|---|---|---|
| J01 | 没问题 | 没问题 | 高 | 高 |
| J02 | 没问题 | 没问题 | 高 | 低 |
| J03 | 有问题 | 有问题 | 高 | 高 |
| J04 | 没问题 | 没问题 | 高 | 低 |
| J05 | 没问题 | 有问题 | 低 | 高 |
| J06 | 没问题 | 没问题 | 高 | 低 |
| J07 | 有问题 | 有问题 | 高 | 高 |
| J08 | 没问题 | 没问题 | 高 | 低 |
| J09 | 有问题 | 没问题 | 高 | 低 |
| J10 | 没问题 | 没问题 | 高 | 低 |
| J11 | 没问题 | 没问题 | 高 | 低 |
| J12 | 有问题 | 有问题 | 低 | 高 |
| J13 | 没问题 | 没问题 | 高 | 低 |
| J14 | 没问题 | 有问题 | 低 | 低 |
| J15 | 没问题 | 没问题 | 高 | 低 |
| J16 | 有问题 | 有问题 | 低 | 低 |
| J17 | 没问题 | 没问题 | 高 | 低 |
| J18 | 有问题 | 没问题 | 低 | 低 |
| J19 | 没问题 | 没问题 | 低 | 低 |
| J20 | 没问题 | 有问题 | 低 | 低 |
所有数字都由 tools/exercises/ch11_audit.py 算出(只用 Python 标准库)。
本题约定:把评估者判为“有问题”看作报警。误报指参考答案是“没问题”、评估者却判为“有问题”;漏检指参考答案是“有问题”、评估者却判为“没问题”。误报率的分母是参考答案为“没问题”的修改数,漏检率的分母是参考答案为“有问题”的修改数。评估者的“一个错误”指一个与参考答案不一致的判断,误报和漏检都算。
- 数出四类判断的个数:判对的“有问题”、漏检、误报、判对的“没问题”。
- 算出准确率、误报率和漏检率。
- 假设没有时间复核全部 20 个判断,只能随机抽出 5 个,请专家对照参考答案复核。平均能发现评估者的几个错误?其中平均有几个是漏检?
- (选做)随机抽 5 个,一个错误也没发现的概率是多少?
- 被报警的 7 处修改中,真实有问题的占多少?它和第 2 问的误报率为什么不同?
提示
第 3 问:随机抽 5 个,可以看作一个一个地抽。不管是第几次抽,抽中某一个特定判断的机会都相同,所以每次抽中一个“错误判断”的概率都是“错误数 ÷ 20”。5 次加起来,期望就是 5 × 错误数 ÷ 20。这种“不放回地从一堆东西里抽,数抽中几个特殊的”分布叫超几何分布,你只需要用到它的期望。第 4 问:先算“5 个全部来自判对的那些”有多少种抽法,再除以从 20 个里抽 5 个的全部抽法数。
解答
- 判对的“有问题”4 个(J03、J07、J12、J16);漏检 2 个(J09、J18);误报 3 个(J05、J14、J20);判对的“没问题”11 个。参考答案中有问题的共 6 个,没问题的共 14 个。
- 准确率 = (4 + 11) ÷ 20 = 75%。误报率 = 3 ÷ 14 ≈ 21.4%。漏检率 = 2 ÷ 6 ≈ 33.3%。
- 错误共 3 + 2 = 5 个。随机抽 5 个,期望发现 5 × 5 ÷ 20 = 1.25 个错误。期望不必是整数:它是许多次重复抽查的平均值。其中期望发现的漏检是 5 × 2 ÷ 20 = 0.5 个。
- C(15, 5) 表示从 15 个中不计顺序地取 5 个的取法数,即组合数。5 个全部来自 15 个判对的判断,抽法有 C(15, 5) = 3003 种;从 20 个中抽 5 个共有 C(20, 5) = 15504 种。一个错误也没发现的概率 = 3003 ÷ 15504 ≈ 0.194,也就是大约五次抽查中有一次会一无所获。至少有一个漏检被抽中的概率只有 1 − C(18, 5) ÷ C(20, 5) = 1 − 8568 ÷ 15504 ≈ 0.447。
- 被报警的 7 处中,真实有问题的有 4 处,占 4 ÷ 7 ≈ 57.1%(这是第 16.3 节的精确率)。误报率的分母是“实际没问题的 14 处”,精确率的分母是“被报警的 7 处”,回答的是不同的问题:前者问“没问题的修改有多大比例被错拦”,后者问“报警有多大比例是真的”。
仍用上面的数据。专家的时间只够复核 5 个判断。
- 方案甲:只复核风险标记为“高”的 5 处修改。能发现评估者的几个错误?其中有几个漏检?
- 方案乙:从 20 处中随机抽 5 处复核。期望发现几个错误、几个漏检?(用习题 11.1 的结果。)
- 两个漏检(J09、J18)都在哪一类风险标记中?如果长期只用方案甲,你能估计出评估者的漏检率吗?为什么?
- 按信心分组,分别算出高信心和低信心判断的准确率。哪一个漏检出现在高信心的判断里?这说明“只复核低信心的判断”有什么风险?
- 设想执行者的修改要通过审查才会被采用。说明为什么长期只用方案甲,可能让有问题的修改越来越多地出现在低风险标记中,以及保留一部分随机抽查为什么能缓解这一点。
解答
- 高风险的 5 处是 J01、J03、J05、J07、J12。其中评估者只错了 J05(误报),发现 1 个错误,0 个漏检。
- 期望发现 1.25 个错误、0.5 个漏检(习题 11.1)。单看错误个数,方案甲(1 个)和方案乙(平均 1.25 个)差不多;差别在于,这组数据里两个漏检都被标为低风险,方案甲永远看不到它们。
- 两个漏检都在低风险标记中。只用方案甲,复核的样本里没有任何低风险修改,所以完全不知道低风险修改中有多少被放行的问题,估计不出漏检率。按风险挑出的样本不代表全体(第 11.8 节)。
- 高信心 13 个判断中对了 12 个,准确率约 92.3%;低信心 7 个中对了 3 个,约 42.9%。J09 是一个高信心的漏检。信心确实有信息量(低信心的判断错得多),但只复核低信心的判断,会漏掉评估者很有把握、却判错了的情况,而这恰恰是最危险的一类:评估者自己不会提出复查。
- 评分要点:(a) 只有高风险的修改会被仔细检查,所以“有问题且看起来高风险”的修改常被拦下,“有问题却看起来低风险”的修改常被放行;(b) 被放行的修改会被采用,如果审查结果还被用作训练信号,这类修改可能被保留和强化,不需要执行者有任何意图(第 10.4 节);(c) 随机抽查使每处修改被复核的概率固定,不随风险标记而变,所以“看起来低风险”不能降低被查的机会;(d) 随机抽查的结果还能用来估计低风险部分的漏检率,检验风险判断本身。如果把 5 次复核分成 3 次给高风险、2 次从 15 处低风险中随机抽,低风险部分期望发现的漏检是 2 × 2 ÷ 15 ≈ 0.27 个:数字不大,但它不是零,而且它是有代表性的。
根据第 11.2 节至第 11.6 节对 Bowman 等实验的介绍(有兴趣可以读原文第 3、4 节)(Bowman 等,2022),逐一回答表 11.1 的四个问题,再指出至少一个没有被控制的因素,说明它可能怎样影响结论。
解答
参考答案(可以有其他合理答案):
- 监督者弱在哪里?MMLU 上,参与者缺少题目需要的专业知识;QuALITY 上,参与者只有 5 分钟,读不完约 5000 词的小说,弱在时间和信息访问。差距是实测的,但并不稳固:MMLU 上模型直接作答与参与者单独作答都是 57.2%,给 5 个例题后模型才领先(61.9%),20 次推理挑选后为 65.6%,而不借助模型时四人加权投票为 66.0%,与之相当;两名单独作答就远超他人的参与者被排除。
- 参考答案由谁给出?数据集自带的标准答案代替了专家(论文的第二处放宽)。MMLU 在试做中发现过格式错误并被部分修正,所以数据集并非完全没有问题(论文没有报告标签本身错了多少;后来对测试集的复查见第 11.4 节)。
- 基线是什么?有人单独、模型单独(直接作答、5 个例题、20 次推理中选最好的一次)和人借助模型。但没有报告各条件下人花的时间;“人借助模型”的对话平均 10.9 轮(MMLU),20 次推理的基线用了多得多的模型计算。
- 提高的是准确率还是信心?两者都提高了。准确率明显上升(MMLU 上每人平均从 57.2% 到 75.4%,约 18 个百分点),信心升得更多(从 54% 到 80%,26 个百分点),在 MMLU 上校准反而变差;信心最高的答案中仍有约一成到两成是错的。
未被控制的因素(任举一个即可):每题之后公布正确答案,参与者可能学会了何时该相信模型,这在真实监督中做不到;条件顺序固定(先做借助模型的题),没有随机化;排除两名高分参与者带来选择效应;各条件用时未报告(MMLU 不限时),无法排除“多花时间”的解释;“人单独”和“人借助模型”用的是不同的两批题,题目难度的差别会混进条件的差别;只有 4 名参与者、每个人类条件 100 道题,个人差异可能很大(第 3 章)。
本节引用的文献 1
- Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
学完能做到 #
- 说出三明治评估中专家、模型、非专家三方各自的角色,以及“非专家不能得到专家帮助”这条约束为什么关键。
- 说明用弱模型代替人做实验能得到什么、不能外推什么,并举出至少两条理由。
- 读一篇实验论文时,回答表 11.1 的四个核心问题,并指出至少一个未被控制的因素。
- 给定一组带参考答案的判断,算出准确率、误报率和漏检率,说清各自的分母;算出随机抽查若干个时期望发现的错误数。
- 解释为什么只检查被判为高风险的样本不够,以及随机抽查在其中起什么作用。
参考文献
- (2016). Concrete Problems in AI Safety. arXiv. 预印本引用于 §11.8
- (2025). Measuring what Matters: Construct Validity in Large Language Model Benchmarks. Advances in Neural Information Processing Systems 38. 引用于 §11.6
- (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本引用于 §11.1 §11.2 §11.3 §11.4 §11.5 §11.6
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §11.3
- (2021). The case for aligning narrowly superhuman models. AI Alignment Forum. 非同行评审引用于 §11.1
- (2024). Are We Done with MMLU? Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). doi:10.18653/v1/2025.naacl-long.262. 引用于 §11.4
- (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §11.3
- (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §11.3
- (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 引用于 §11.3 §11.5
- (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. Conference on Language Modeling, 2024. 引用于 §11.4 §11.7