Scalable Oversight 入门
第二部分:怎样判断一个监督方法有效

草稿 内容完整但尚未审校,可能还会修改

第 13 章人的判断

路线全部路线最短路线

本章导读

本章问题
  • 人作为最终监督者,会以哪些方式出错?
要点
  • 先看到的答案会成为锚点,之后的检查容易变成寻找支持它的证据(§13.1)。
  • 人容易过度相信自动系统:没报警的地方可能不再检查,错的建议也可能照做(§13.2)。
  • 更有信心不一定更准确,多查资料也不一定更准确,信心要和正确率分开测量(§13.4)。
  • 一项负面结果显示,简单协议没能胜过直接听从一个大多数时候正确的模型(§13.5)。
本章的视频讲解,4 分 58 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07谁先看到模型的答案
    两位评估者判断同一批题:一位先看模型的答案,另一位先自己解题、写下答案。先看的那位往往向模型靠拢:模型对时更准,模型错时也更容易跟着错。
  2. 0:27锚定与确认偏误13.1
    锚定:先看到的答案成了出发点,之后往往调整得不够。确认偏误:更容易寻找、采信支持已有看法的信息。先看到“规则三已满足”,你读那 50 行时,很可能在找支持它的证据。
  3. 0:48向模型靠拢13.1
    Recchia 等的第一项研究:先写下判断和把握,再与模型自由对话。按作者的统计模型估计,给模型所选答案的概率从 0.53 升到 0.81。缓解:人形成看法之前,不让模型的答案先进来。
  4. 1:09自动化偏差与自满13.2
    自动化偏差:倾向于认为自动系统是对的,导致遗漏和执行两类错误。自满:系统平时很可靠,监视的人逐渐不再认真监视,出现在多任务负荷下。新手和专家都会出现。
  5. 1:32恰当的依赖13.2
    过度依赖:开始接受 AI 的错误输出。恰当的依赖:可靠处信,不可靠处不信。这要求知道它哪里不可靠,正是监督想提供的信息(本书的推断)。
  6. 1:53疲劳与少见的问题13.3
    警觉研究:对很少变化的信息源,人不能保持超过约半小时的有效视觉注意。理解负担:理解材料本身所需的心智努力,越重越易走捷径。本书的推断:输出大多是对的,检查可能越来越浅。
  7. 2:16信心校准13.4
    信心校准:把握程度和实际正确率相符。说“有九成把握”的判断约九成对,就是校准良好;只有七成对,就是过度自信。过度自信的人,在最需要停下来时不停下来。
  8. 2:35更有信心,不一定更准13.4
    第二项研究中,查证约 20 分钟后,对模型答案的信心更高,模型答错时也是。作者认为,参与者可能只要遇到支持模型某一条说法的信息,就提高了信心。
  9. 2:58第一项研究13.5
    192 人各判断 4 道二选一的难题,模型对每人恰好答对 3 题。一半人先看为两个答案分别写的论证,然后都与模型对话。对话后准确率 71%,低于模型单独的 75%。
  10. 3:19第二项研究13.5
    106 名英国自由职业者,几周内答 48 道二选一的题;干预组另有查证指引。预先登记的三个主要指标上,两组没有显著差别;分批看,第一批中干预组反而更差(探索性)。
  11. 3:41为什么难胜过模型13.5
    本书的推断:模型对 75% 的题时,直接听它就得 75%。协议要胜过它,得在模型错的题上帮人纠正,又不在对的题上把人带偏。两者可能抵消;模型越准,协议越难胜出。
  12. 4:02能推出什么13.5
    作者写明,结论受限于所测协议的简单和二选一问答的形式。第一项研究中,人单独约 55%,模型约 75%;模型只是会犯错,没有被专门训练去误导人。
  13. 4:23应记录的人为因素13.6
    人的判断受信息的顺序、时间、疲劳、信心和事先得到的说法影响。不记录这些,结果就无法解释,也无法与别的实验比较。

带走的几句话:

  1. 先看到的答案会成为锚点,检查容易变成为它找证据。
  2. 人容易过度相信自动系统:没报警处可能不再查,错的建议也可能照做。
  3. 更有信心、多查资料都不一定更准,信心要单独测量。
  4. 一项研究中,简单协议没能胜过直接听从多数时候正确的模型。

第 12 章讨论了模型当裁判时的偏差。但在大多数监督方案里,最后拍板的仍然是人:批评模型指出的问题由人核实(第 16 章),辩论的胜负由人裁定(第 15 章),审计中被拦下的行动由人决定放不放行(第 26 章)。这些方案默认,只要把对的信息摆到人面前,人就能作出对的判断。本章检查这个默认。

第 9 章已经讲过,评估者会受到时间、信息和专业能力的限制。本章讲的是另一类问题:即使时间够、信息也摆在面前,人的判断过程本身也会系统性地出错。这里说的不是粗心或偷懒,而是认真的人在特定条件下也会犯的、方向固定的错误。

先看一个例子。两位评估者判断同一批题。第一位先看模型的答案,再自己解题;第二位先自己解题、写下答案,再看模型的答案。第一位的结论往往向模型靠拢:模型答对时,这让他更准;模型答错时,他也更容易跟着错。Passi 与 Vorvoreanu 的文献综述(第 13.2 节会介绍)也写到这种现象:使用者在自己作决定之前先看到 AI 的建议,常常会把决定改得和建议一致(Passi 与 Vorvoreanu,2022)。回到记账程序:如果你在读代码之前,先看到审查模型写着“规则三已满足”,你读那 50 行时,很可能是在找支持这句话的证据,而不是在找它的反例。

本章依次讨论几种主要的出错方式:先入为主(第 13.1 节)、过度相信自动系统(第 13.2 节)、疲劳和理解负担(第 13.3 节)、信心与正确率脱节(第 13.4 节),然后细读一项负面结果(第 13.5 节),最后整理实验中应当记录的人为因素(第 13.6 节)。

引言引用的文献 1
  1. Passi 与 Vorvoreanu(2022)Overreliance on AI: Literature Review

13.1 锚定与确认偏误 #

锚定(anchoring)是指先看到的答案或数字,成为之后判断的出发点,后面的判断从它出发作调整,往往调整得不够。“先入为主”说的就是这种现象。确认偏误(confirmation bias)是指更容易寻找、采信、记住支持自己已有看法的信息,而轻视或忽略与之矛盾的信息(Recchia 等,2025a)。两者常常连在一起:先看到的答案成了锚点,之后的检查就变成了为这个锚点找证据。

在监督中,一个现成的锚点就是被评估的模型自己的答案。Recchia 等的第一项研究(第 13.5 节;细节按论文的 arXiv 版)正好测了这一点(Recchia 等,2025a)。参与者先对一道二选一的难题写下自己的判断和把握(用概率表示),然后和一个语言模型自由对话,最后再给出判断。按作者的统计模型估计,参与者给“模型直接作答时选的那个答案”分配的概率,从对话前的 0.53 升到了对话后的 0.81(Recchia 等,2025a)。模型答错时,参与者向它靠拢得少一些,但平均仍然在向它靠拢(Recchia 等,2025a)。

Bowman 等的实验参与者也注意到了这个问题,并自己摸索出了对策。他们发现,在 MMLU 上,先向模型问具体的事实和术语定义,再请它对整道题给出帮助,更有用;一位参与者写道,这样做帮助他不被模型可能给出的错误答案先入为主地带偏(Bowman 等,2022)。Bowman 等也报告了相反的情形:参与者有时会接受模型那些听起来自信、合理的错误说法,因为他们的领域知识有限,也难以核查模型的说法(Bowman 等,2022)。一个说得自信、说得通顺的答案,本身就是一个很强的锚(本书的推断);这也是为什么辩论和批评都要防备“说服力”取代“正确性”(第 15 章,第 16 章)。第 12.4 节还提到,Zheng 等收集评判数据时,每当人的选择与 GPT-4 不同,就把 GPT-4 的判断给人看;在这样做的情况中,人愿意改变自己选择的占 34%(Zheng 等,2023)。

确认偏误也会影响“去查证”这个动作本身。直觉上,让人多查资料应该能纠正错误。但如果人带着“模型大概是对的”这个看法去查,他找到的、记住的,可能都是支持模型的材料。第 13.5 节会看到这种情况的实验证据。

下面几种缓解办法围绕同一个思路:在人形成看法之前,不要让模型的答案先进来;或者让人同时面对支持和反对的理由。一是先让评估者独立判断并记录下来,再展示模型的答案,Passi 与 Vorvoreanu 的综述也这样建议(Passi 与 Vorvoreanu,2022)。二是不告诉评估者模型倾向哪一边:Recchia 等提醒,评估者知道或者能猜到模型会怎么说时,他的看法很可能在任何监督方法起作用之前就已受到影响(Recchia 等,2025a)。三是同时展示支持两个答案的论证:据 Recchia 等的介绍,已有研究表明,明确考虑另一种可能可以减轻确认偏误(Recchia 等,2025a)。Recchia 等的第一项研究中,看过为两个答案分别写的论证的参与者,向模型答案靠拢的幅度确实小一些(Recchia 等,2025a)。不过这个办法有没有提高整体的准确率,是另一个问题,第 13.5 节再谈。

第 13.1 节引用的文献 4
  1. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  3. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  4. Passi 与 Vorvoreanu(2022)Overreliance on AI: Literature Review

13.2 自动化偏差与过度依赖 #

自动化偏差(automation bias)是指倾向于认为自动系统给出的方案是对的,而对与之矛盾的信息注意得不够(Recchia 等,2025a)。过度依赖(overreliance)是指使用者开始接受 AI 的错误输出(Passi 与 Vorvoreanu,2022)。还有一个相关的词叫自满(complacency):因为系统平时很可靠,监视它的人逐渐不再认真监视。

这些现象在人工智能出现之前就被研究过很久,研究对象是操作自动化设备的人。Parasuraman 与 Manzey 在 2010 年综述了这方面的实证研究,按他们的摘要,主要结论有几条(Parasuraman 与 Manzey,2010):

  • 自满出现在多任务负荷下,即人手上还有别的任务、和监视自动系统争夺注意力的时候。新手和专家都会出现,简单的练习不能消除它。
  • 当辅助决策的系统并不完美时,自动化偏差会导致两类错误:遗漏错误(系统没有提示,人也就没有发现问题)和执行错误(系统给了错误的建议,人照着做了)。
  • 自动化偏差同样出现在新手和专家身上,培训或指示不能防止它,它既影响个人,也影响团队。
  • 作者认为,自满和自动化偏差是相互重叠的现象,注意力在其中起核心作用。

把这两类错误放到 scalable oversight 的语境里,就是第 16.7 节会讨论的失败方式中的两种。遗漏错误:批评模型没有提到的地方,人就不再检查。执行错误:批评模型给出一条错误的意见或一个错误的修复,人采纳了。要注意,上面的综述研究的是人与自动化设备、决策辅助系统的互动(Parasuraman 与 Manzey,2010),这些系统并不试图误导人;把结论搬到语言模型上,是一种合理但需要检验的类比(本书的推断)。

Passi 与 Vorvoreanu 为微软做的文献综述,把过度依赖 AI 作为专门的问题来讨论:它怎样发生、怎样测量、有什么后果、怎样减轻(Passi 与 Vorvoreanu,2022)。综述基于约 60 篇来自不同研究领域的论文。它的出发点之一是:政策制定者和实践者要求更多的人类监督,这实际上让使用者成了抵御 AI 失误的最后一道防线;而 AI 系统设计的一个重要目标,是让使用者能够形成恰当的依赖(Passi 与 Vorvoreanu,2022)。“恰当”的意思是:在系统可靠的地方相信它,在不可靠的地方不相信它。这要求人知道系统在哪里不可靠,而这恰恰是监督想要提供的信息(本书的推断)。

Bainbridge 在 1983 年的一篇文章里,把这种处境称为自动化的反讽:自动系统之所以被引入,是因为它能比操作员做得更好,可是操作员却被要求去监视它是否运行正常(Bainbridge,1983)。她进一步指出,如果系统作决定的速度和考虑的因素都超过人,人就无法实时检查它是否在按规则办事,只能在更高的层面上判断它的决定是否“可以接受”;她的结论是,人类监视者被交给了一项不可能完成的任务(Bainbridge,1983)。可以把它看作 scalable oversight 问题在四十多年前、在工业控制领域的一种说法(本书的推断)。

第 13.2 节引用的文献 4
  1. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  2. Passi 与 Vorvoreanu(2022)Overreliance on AI: Literature Review
  3. Parasuraman 与 Manzey(2010)Complacency and Bias in Human Use of Automation: An Attentional Integration
  4. Bainbridge(1983)Ironies of automation

13.3 疲劳与理解负担 #

前两节讲的偏差,在评估者精力充沛时就存在;疲劳和理解负担会让它们更严重,也会带来新的错误。

先看长时间监视的问题。Bainbridge 在同一篇文章里引用当时的“警觉”(vigilance)研究写道,即使动机很强的人,也不可能对一个很少发生变化的信息源保持超过大约半小时的有效视觉注意(Bainbridge,1983)。这是她对已有研究的概括,不是她自己的实验。它与监督工作有关:如果评估者面对的多数是没有问题的输出,他看的就是这样一个很少变化的信息源(本书的推断)。

“问题很少见”本身就会让人漏看。Wolfe 等在 2005 年做了一个实验室研究:志愿者在杂乱的画面中寻找“工具”,模拟行李安检(Wolfe 等,2005)。唯一改变的是目标出现的频率。目标出现在一半画面中时,漏检率是 7%,即有目标的画面中有 7% 没被找出来;出现在 10% 的画面中时,论文报告的错误率升到 16%;只出现在 1% 的画面中时,升到 30%。错误几乎都是漏看,误报极少(Wolfe 等,2005)。论文对 16% 和 30% 只说是错误率;本书把它们也读作漏检率(本书的推断)。理由是按全部画面算不可能这么高:10% 那一档每人做 200 个画面,约 20 个有目标;1% 那一档每人做 2000 个画面,只有 20 个有目标(Wolfe 等,2005),即使这些全部漏看,判错的也只占全部画面的约 10% 和 1%,误报又极少。作者根据反应时间给出的解释是:人在找不到目标时,会在某个时刻放弃并回答“没有”,而这个放弃的门槛会随结果调整。目标很少见时,快速回答“没有”几乎总是对的,门槛就越降越低,人往往在平均找到一个目标所需的时间之前就放弃了(Wolfe 等,2005)。作者也写明了局限:这是志愿者的实验室任务,计分系统无法复制真实安检中的动机,他们并不清楚这些效应是否出现在实际工作中(Wolfe 等,2005)。

把这个结果搬到监督上需要小心,但它提示了一种可能:当模型的输出大多数是对的,评估者的检查可能会越来越快、越来越浅,漏掉少见的问题(本书的推断)。Wolfe 等的第二个实验还发现,在任务中混入大量常见的目标,并不能挽救对罕见目标的漏看(Wolfe 等,2005)。这对监督流程的设计有一个启示:像第 11.4 节说的那样在待审的输出中埋入已知的问题,可以用来测量评估者对这类问题的漏检率,但不能指望它自动提高对其他罕见问题的警觉(本书的推断)。

理解负担是指理解材料本身所需的心智努力。读一段 500 行的陌生代码、一篇满是术语的论证,人能同时记住和比较的东西有限。据 Recchia 等的介绍,一篇关于自动化偏差的系统综述发现,认知负担会加重自动化偏差(Recchia 等,2025a);负担越重,人也可能更依赖别的捷径,例如只检查自己看得懂的部分(本书的推断)。Parasuraman 与 Manzey 的综述指出,自满恰恰出现在人手上还有别的任务、注意力被分散的时候(Parasuraman 与 Manzey,2010)。Recchia 等在解释他们的第二项研究为什么没有效果时,也把“额外的研究指引增加了认知负担”列为可能的原因之一(Recchia 等,2025a)。帮助本身也有成本:给人更多信息,不一定让人判断得更好。

设计监督流程时,可以针对这两点做几件事:限制每次连续评估的时长和数量;把题目顺序随机化,避免疲劳总是落在同一个实验条件上;把大的判断拆成小的、可以分别核对的问题(第 14 章);在整个评估过程中均匀地埋入已知答案的题目,观察漏检率是否随时间上升。

第 13.3 节引用的文献 4
  1. Bainbridge(1983)Ironies of automation
  2. Wolfe 等人(2005)Rare items often missed in visual searches
  3. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  4. Parasuraman 与 Manzey(2010)Complacency and Bias in Human Use of Automation: An Attentional Integration

13.4 信心校准 #

信心校准是指一个人的把握程度和他的实际正确率相符。如果一个人在说“有九成把握”的那些判断上,确实大约九成是对的,他就是校准良好的;如果只有七成是对的,他就是过度自信的。图 13.1 画出了这种检查:按给出的把握分组,看每组实际对了多少。

每组中事件实际发生的频率校准偏差完全校准0.00.20.40.60.81.0实际发生的频率0.00.20.40.60.81.0给出的概率0%5%10%15%20%25%案例占比0.00.51.0给出的概率T = 1.00:期望校准误差 0.102(各组柱顶与对角线之差,按案例数加权平均)。准确率在任何 T 下都是 73.4%:调 T 只改变把握有多大,不改变判断落在 50% 的哪一边。
每组中事件实际发生的频率校准偏差完全校准0.00.20.40.60.81.0实际发生的频率0.00.20.40.60.81.0给出的概率0%5%10%15%20%25%案例占比0.00.51.0给出的概率T = 1.00:期望校准误差 0.102(各组柱顶与对角线之差,按案例数加权平均)。准确率在任何 T 下都是 73.4%:调 T 只改变把握有多大,不改变判断落在 50% 的哪一边。
图 13.1 可靠性图:给出的把握与实际的频率是否相符。图中是一个合成的分类器,它对每个案例给出“事件会发生”的概率,但它过度自信:给出的概率比实际情况更接近 0 和 1。把案例按给出的概率分成 10 组,蓝色柱是每组中事件实际发生的频率;完全校准时,柱顶应当落在青色虚线(对角线)上,橙色细框围出的部分是两者的差距(柱子高出对角线时,这部分叠在柱内,颜色较深)。检查人的判断时道理相同:把报告同样把握的判断放在一组,看其中实际对了多少。把握低于 50% 的组,相当于判断“事件不会发生”;如果记录的是人在二选一中对自己所选答案的把握(总在 50% 以上),只看右半边即可。右边(窄屏时在下方)的灰色柱是各组案例的占比。拖动温度 T:T 越大,每个判断的把握越往 50% 收,这和第 5.4 节的温度是同一种操作;T = 2 时柱顶正好落在对角线上,再大就变成信心不足。读数中的期望校准误差是各组柱顶与对角线之差按案例数加权的平均。准确率始终是 73.4%,因为调 T 不改变任何判断落在 50% 的哪一边:校准变好了,判断并没有变得更准。这个分类器和它面对的案例是为说明而设定的示意,图中的数都是精确算出的期望值。

信心为什么重要?因为在实际监督中,人的信心决定了他会不会去复查、会不会把问题交给别人。一个过度自信的评估者,正是在最需要停下来的时候不停下来。第 11.6 节已经介绍过 Bowman 等的发现:借助模型后,参与者的信心大幅上升,而在四人按信心加权投票、合并信心达到最高值 99% 的那些答案中,仍有约八分之一或更多是错的(Bowman 等,2022)。

更有信心不一定更准确,增加检索步骤也不一定改善判断。Recchia 等的第二项研究中,参与者在看到模型的答案之后,花大约 20 分钟上网查证。结果是,查证之后,参与者对模型答案的信心更高了,即使在模型答错的题上也是如此(Recchia 等,2025a)。作者认为,这说明参与者可能只要遇到支持模型某一条说法的信息,就提高了对模型最终答案的信心,而没有找到揭示错误的信息(Recchia 等,2025a)。

校准良好也不等于判断能力强。Recchia 等的第一项研究用 Brier 分数衡量校准,这是一种衡量概率判断好坏的常用分数,越小越好。没有看双方论证的一组,Brier 分数反而更好(0.329 对 0.376)(Recchia 等,2025a)。作者的解释是:两组的准确率相近,没看论证的一组更信任模型、通常照搬模型的答案,而模型在 75% 的题上是对的(Recchia 等,2025a)。换句话说,在一个大多数时候正确的模型面前,更多地跟着模型走,反而可能得到更好的校准分数。作者提醒,这三个条件不满足时,例如模型不那么可靠,这个差别未必会重现(Recchia 等,2025a)。

所以,测量人的判断时,要把下面几件事分开记录和报告:

  • 每个判断的信心,最好在知道答案之前、用概率或固定的等级记录;
  • 按信心分组后各组的实际正确率,看是否过度自信;
  • 模型对的题和模型错的题分开统计,因为“跟着模型走”在这两类题上的效果正好相反;
  • 信心和正确率各自的变化。评估者原本不缺信心时,一个方法如果让信心升得比正确率多,就是在制造不该有的信任;原本信心不足时,信心多升一些反而可能让两者更相符。第 11.6 节讲过的 Bowman 等的 QuALITY 实验就是这样:不借助模型时,平均信心 38%,低于每人平均 48.6% 的准确率;借助模型后两者是 75% 和 76.8%(Bowman 等,2022)。所以要看的是两者变化之后是否相符(表 11.1 的第四个问题)。
第 13.4 节引用的文献 2
  1. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  2. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight

13.5 一个负面结果 #

负面结果能告诉我们一个方法在什么条件下不起作用。本节细读 Recchia 等的《Confirmation Bias: A Challenge for Scalable Oversight》(2025 年发布预印本,AAAI 2026)(Recchia 等,2025a)。它检验的问题是:在评估者知道模型“大多数时候是对的,但不总是对的”这一现实条件下,几种简单的监督协议能否帮助人作出更好的判断?AAAI 的会议论文篇幅短得多,许多细节只在 arXiv 版里给出(会议论文称它为扩展版);本章对这项研究的叙述按 arXiv 版(Recchia 等,2025a)。

第一项研究。作者在一个在线调查平台招募了 192 名参与者。每人判断 4 道二选一的难题,分别来自合同法、证据法、医学和一种人造语言(Lojban)的语法判断,模型是 gpt-3.5-turbo-0301;对每位参与者,模型直接作答时恰好答对 4 题中的 3 题(Recchia 等,2025a)。每道题的流程是:先独立作答并报告概率;一半参与者随后看到由 gpt-4-0613 为两个答案分别写的论证(“看论证”组),另一半不看;然后所有人与模型自由对话;最后再次作答。参与者事先得到了 Bowman 等实验中总结出的提问策略作为指引(Recchia 等,2025a)。实验还有第二个因素:是否事先告诉参与者,如果他们的提问策略被模型模仿后能明显提高准确率,就能得到一笔奖金。这一因素对答对与否没有显著影响(Recchia 等,2025a)。

结果:参与者与模型对话后的准确率是 71%,低于模型单独作答的 75%;看论证组的整体准确率数值上略高于不看论证的一组(73% 对 69%),但差别不显著;在探索性分析中,在模型答错的那些题上,看论证组的准确率更高(Recchia 等,2025a)。

第二项研究。作者针对第一项研究的局限做了改进:招募了 106 名经过筛选、更投入的英国自由职业者,在几周内完成 48 道二选一的题,领域是合同法、证据法、外科和 Lojban 翻译(Recchia 等,2025a)。每道题,参与者先报告初始概率,然后看到 gpt-4-0613 给出的答案和理由(这些答案 75% 正确),并被告知模型“大多数时候是对的,但不总是对的”;再花大约 20 分钟上网查证,不许使用生成式 AI;最后给出判断。干预组还额外看到同一个模型生成的一份查证指引,列出值得去查的问题(Recchia 等,2025a)。

结果:干预组和对照组在预先登记的三个主要指标上都没有显著差别;在按两批招募分开做的探索性分析中,第一批的干预组在这三个指标上都更差(例如准确率 72% 对 74%)(Recchia 等,2025a)。第二批改了说明和激励方式:除了按题付酬,每答对一题另加 15 美元奖金,并明确允许每题查证超过 20 分钟。第一批中干预组的劣势在第二批消失了。作者推测,这些改动可能促使两组都查得更仔细,从而掩盖了指引的负面作用;另一个可能的原因是第二批只有 39 人:人数越少,即使有差别也越难检测出来(Recchia 等,2025a)。如第 13.4 节所述,查证之后,两组参与者对模型答案的信心都更高了,即使模型是错的(Recchia 等,2025a)。另有一个只有 10 人、完全不用 AI 只靠上网查的小组,准确率(73%)与干预组(73%)和对照组(74%)相当(Recchia 等,2025a)。这个小组只有 10 人,又不在随机分组之内,作者说它的结果只是探索性的;它不能说明“自己查比借助模型更好”,只是没有显示借助模型带来明显的优势(Recchia 等,2025a)。

对早期结果的重新分析。作者还对 Bowman 等的数据做了探索性的重新分析,发现在 MMLU 上,与模型对话超过一轮的参与者反而更可能答错(Recchia 等,2025a)。他们据此认为,那个实验在 MMLU 上的优势,有一部分可能来自一个简单的策略:会的题自己答,不会的题听模型的。这依赖人掌握模型没有的知识,作者认为随着模型能力提高,这种优势会缩小(Recchia 等,2025a)。作者也说明,这个策略解释不了 QuALITY 上人借助模型胜过模型单独作答的结果(Recchia 等,2025a)。

为什么简单协议没有改善判断?对第二项研究,作者给出了三种可能的解释(Recchia 等,2025a)。查证指引增加了认知负担,可能使参与者机械地照着指引去查,而没有批判地审视模型的回答。指引本身的质量不高:专家评估认为,只有约一半高优先级的问题、约四成的全部问题,可能把非专家的查证引向有用的方向。题目所在的领域专业性很强,即使有指引,也难以在规定时间内跨过知识门槛。此外,作者在全文的总讨论中把确认偏误列为监督研究面临的挑战:先看到模型的答案,似乎引发了确认偏误,查证可能变成了为它找支持(Recchia 等,2025a)。

除此之外,还有一个算术上的原因值得单独说清楚(本书的推断)。当模型有 75% 的题是对的,“直接听模型的”就已经能得 75%。一个协议要胜过它,必须在模型错的那 25% 的题上帮人纠正,同时在模型对的那 75% 的题上不把人带偏。如果一个协议让人在模型错的题上多对了一些,却在模型对的题上也多推翻了一些,两者就可能互相抵消。模型越准,可以纠正的题越少,被带偏的代价占的比重越大,协议就越难胜出。习题 13.2 用数字演示这一点。这种代价并不总会出现。据 Recchia 等的介绍,Kenton 等的实验观察到过它:以较弱的语言模型为裁判时,在被评一方答对的题上,开放辩论条件的准确率低于开放咨询条件;而 Recchia 等的第一项研究没有发现类似的代价,看论证组在模型答对的题上并没有更差(Recchia 等,2025a)。所以,这里的算术说明的是协议为什么难以胜过直接听从模型,而不是第一项研究结果的解释。

这一结论的适用范围。作者自己写明,结论受限于所测协议的简单和二选一问答的形式(Recchia 等,2025a)。按第 10 章的说法再补充几条:参与者单独作答时只略高于随机猜测(第一项研究中约 55%),而模型约为 75%,结论针对的是这种差距;所用的模型是 gpt-3.5-turbo-0301 和 gpt-4-0613;实验中的模型只是会犯错,没有被专门训练去误导人。这项研究不能推出“所有监督协议都无效”,也不能推出辩论这类经过训练的协议无效。它能说明的是:简单协议的好处并不像早期结果显示的那样可靠;一个协议应当检验它能否胜过“直接听从被评估的模型”;还要检验它在评估者带有偏见时是否仍然有效,作者特别提到评估者已经知道或者能猜到模型会怎么回答的情形;并检验它的效果是否随题目变难、模型变强而保持(Recchia 等,2025a)。第 28 章会回到这项研究对“向外推”的含义。

第 13.5 节引用的文献 1
  1. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight

13.6 实验中应记录的人为因素 #

前面几节说明,人的判断会受到看到信息的顺序、时间、疲劳、信心和事先得到的说法的影响。这些因素如果不记录,实验结果就无法解释,也无法与别的实验比较。下面是一份记录清单,每一条都对应本章或第 11 章讨论过的一个问题。

记录项 为什么要记录 对应
题目和实验条件的顺序,以及是否随机化 疲劳和学习效应会随顺序累积 第 13.3 节,第 3.6 节
评估者是否先看到模型的答案,在什么时刻看到 先看到的答案会成为锚点 第 13.1 节
看到模型答案之前的独立判断 用来衡量向模型靠拢的幅度 第 13.1 节
每题用时 比较不同条件的预算,发现过快的“放弃” 第 11.5 节,第 13.3 节
判断前后的信心 区分准确率的变化和信心的变化 第 13.4 节
在一次评估中的位置(第几题、开始后多久) 观察疲劳 第 13.3 节
评估者的背景和单独作答的准确率 确认能力差距存在,解释个人差异 第 11.4 节
评估者事先被告知的关于模型可靠性的说法 据 Passi 与 Vorvoreanu 的综述,告诉使用者的准确率会影响依赖程度(Passi 与 Vorvoreanu,2022) 第 13.2 节,第 13.5 节
使用了哪些外部资源(检索、工具) 信息访问是能力差距的一个来源 第 7.4 节
报酬和激励方式 可能影响投入程度 第 13.5 节(第二项研究的两批)
被排除的参与者和排除的理由 排除会带来选择效应 第 11.4 节
一部分题由两位评估者各自独立判断时,两人的一致率 人当参照时,参照本身也会出错,标准也可能不止一套 本节下文,第 6.5 节,第 12.4 节

Bowman 等和 Recchia 等的论文都说明了参与者怎样招募、报酬怎样定、按什么规则排除(Bowman 等,2022;Recchia 等,2025a);Recchia 等的第一项研究还报告了各阶段用时的中位数(Recchia 等,2025a),Bowman 等则没有报告各条件的用时(第 11.5 节)。读论文时,可以用这张表检查作者报告了哪些、漏了哪些;自己设计实验时,在开始之前就把这些记录项写进流程。另外,把评估者分到不同条件、安排题目顺序时,要用随机化(第 3.6 节),而不是让评估者自选,也不是按方便安排。

评估者之间的一致率。本书的许多结果拿人的判断当参照:第 12.4 节拿模型裁判和人比,第 6 章的奖励模型学的是标注员的排序。可人与人之间本来就不完全一致。第 6.3 节介绍过的 InstructGPT 论文(OpenAI 的研究者对自己模型的报告,NeurIPS 2022)里,标注员给同一个提示的几个模型回答排出好坏;论文报告,提供训练数据的标注员彼此一致的比例是 72.6 ± 1.5%,另外招来的一批标注员(来自同样的外包公司,没有提供训练数据,也没有经过筛选测试)之间是 77.3 ± 1.3%;论文没有写明一致率是在哪类标注上、按什么单位算的;± 后面的数,论文也没有单独说明,只在图 1 的说明里写了全文的误差线都是 95% 置信区间(Ouyang 等,2022)。这对拿人当参照的实验有两层影响。

第一,拿一位评估者的判断当参考答案,量出来的“准确率”其实是与这位评估者的一致率。这位评估者自己也会判错,所以一个永远判对的模型,与他的一致率等于他判对的比例。如果模型的错误与他的错误无关,这就是上限;模型如果学会了他的错误,例如用他的标签训练出来的奖励模型,与他的一致率还可以更高,却并不更准(第 12.4 节)。两人各自独立出错时,判对的比例又高于两人之间的一致率。举一个为说明而设的例子:在二选一的比较里,两位评估者各有 85% 的时候选对,各自独立出错,两人一致的比例是 0.852+0.152=74.5%0.85^2 + 0.15^2 = 74.5\%;一个永远选对的模型,与其中任一人的一致率是 85%。所以,一个模型与标注员的一致率接近 72.6% 或 77.3%,只说明它和从同一群标注员里再找一位差不多(72.6% 对应提供训练数据的那批,77.3% 对应另外招来的那批),说明不了它比人更准还是更差;一致率更高,也不说明更准。每位标注员自己判对的比例,没有独立的参考答案就量不出来(本书的推断)。

第二,分歧不全是有人判错了。对“哪个回答更得体”这类问题,两位评估者可能各自按一套说得通的标准判断;这时分歧反映的是两种标准,拿其中一人的判断当唯一的参考答案,就把他的标准当成了正确的标准(本书的推断)。InstructGPT 论文的 arXiv 版也写到,出于成本考虑,大多数比较只由一位标注员标注,让同一个例子多标几次,可能有助于找出标注员意见不一的地方(Ouyang 等,2022)。所以,要让一部分题由两位评估者各自独立判断,两人都不先看对方和模型的意见(第 13.1 节),报告两人的一致率;分歧较多的题,再分清是有人判错了,还是标准本身不同。

第 13.6 节引用的文献 4
  1. Passi 与 Vorvoreanu(2022)Overreliance on AI: Literature Review
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  3. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  4. Ouyang 等人(2022)Training language models to follow instructions with human feedback

读物 #

  • 综述 · 期刊论文:Parasuraman 与 Manzey《Complacency and Bias in Human Use of Automation: An Attentional Integration》(Human Factors,2010)(Parasuraman 与 Manzey,2010)。了解自满与自动化偏差的实证发现,以及为什么培训和练习不能消除它们。
  • 综述 · 报告:Passi 与 Vorvoreanu《Overreliance on AI: Literature Review》(Microsoft,2022)(Passi 与 Vorvoreanu,2022)。了解过度依赖 AI 怎样发生、怎样测量,以及“恰当的依赖”这个设计目标。
  • 反例与批评 · 会议论文:Recchia 等《Confirmation Bias: A Challenge for Scalable Oversight》(2025;AAAI 2026)(Recchia 等,2025a),作为负面结果案例阅读。重点看两项研究的设计、对 Bowman 等数据的重新分析,以及作者写明的局限。
本节引用的文献 3
  1. Parasuraman 与 Manzey(2010)Complacency and Bias in Human Use of Automation: An Attentional Integration
  2. Passi 与 Vorvoreanu(2022)Overreliance on AI: Literature Review
  3. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight

练习 #

习题 13.1 先看答案还是先独立判断(演示)

准备。两人做时,由一位不参加判断的组织者准备 20 道二选一或四选一的题,要求参与者大多不能一眼答出(可以从某个带参考答案的公开选择题集中,挑你们不熟悉的科目),并为每道题准备一个“模型答案”:可以用任意一个聊天模型生成。为了保证有足够多的错误答案可供观察,组织者把其中 6 道题的模型答案换成一个错误选项,并记下是哪 6 道。告诉参与者:“模型大多数时候是对的,但不总是对的。”

两人做法。甲对每道题先看模型答案再判断;乙对每道题先独立判断并写下,再看模型答案,然后可以修改。两人都记录最终答案和信心(1 到 5 分),每题限时相同。

单人做法。在看题之前,用掷硬币或 random.sample(range(20), 10) 把 20 道题随机分成两半:一半先看模型答案再判断,另一半先独立判断再看模型答案。单人做时没有组织者替你换答案,所以不替换,直接用聊天模型自然给出的答案。先看答案的那一半,判断之前去问模型;先独立判断的那一半,要在写下自己的判断之后再去问模型,免得提前看到它的答案。做完后再对照参考答案找出模型答错的几道。这样错误答案可能少于 6 道;如果一道也没有,就换一批更难的题。

比较。算出两种条件下的准确率,以及对错误答案的接受率:在模型答案错误的那几道题中,最终答案与模型答案相同的比例。

两人的差别也可能来自个人能力,单人做法每种条件下只有几道错误答案,这个练习只用来体会锚定效应,不能当作测量。

解答

本题没有标准答案,评分要点如下:

  • 分组和顺序在看题之前定好;两人做法中,6 道错误答案由组织者决定,参与者不知道是哪几道;单人做法中,模型答错的题在做完后才对照参考答案找出。
  • 分别报告两种条件下的整体准确率、模型答对的题上的准确率、模型答错的题上的准确率,以及对错误答案的接受率。只报告整体准确率会掩盖“跟着模型走”的效果:它在模型答对时提高准确率,在模型答错时降低准确率。
  • 对“先独立判断”的条件,报告看了模型答案之后改答案的次数,其中改对了几次、改错了几次。
  • 结论部分说明样本太小、两人能力可能不同(或单人做法中两半题目难度可能不同),并说明若要认真测量,需要更多参与者、更多题目,以及让每人在两种条件下各判断不同的题(第 13.6 节)。
习题 13.2 直接听模型的,有多难胜过

下面是为教学构造的数据。一个模型回答 20 道二选一的题,答对 15 道(75%)。甲组直接采用模型的答案。乙组使用某个协议:在模型答错的 5 道题上,乙组最终答对了 2 道;在模型答对的 15 道题上,乙组推翻了模型 2 次(因而答错)。

  1. 算出甲组和乙组的准确率,以及两组对错误答案的接受率。
  2. 乙组在模型答错的题上比甲组好多少?整体呢?
  3. 记模型答错的题占比为 ww,协议在这些题上答对的比例为 gg,在模型答对的题上推翻模型的比例为 ll。说明协议相对“直接听模型的”的整体变化是 w×g−(1−w)×lw \times g - (1 - w) \times l。
  4. 保持 gg 和 ll 不变,如果模型更准(w=0.1w = 0.1)或更不准(w=0.5w = 0.5),协议比直接听模型的好还是差?
  5. 这和第 13.5 节中“协议应当检验能否胜过直接听从模型”的建议有什么关系?
解答
  1. 甲组 15 ÷ 20 = 75%;乙组 2 + (15 − 2) = 15,准确率也是 75%。错误答案的接受率:甲组 5 ÷ 5 = 100%,乙组 3 ÷ 5 = 60%。
  2. 在模型答错的题上,甲组 0%,乙组 40%,好了 40 个百分点;整体两组都是 75%,没有差别。
  3. 与直接听模型相比,协议只在两类题上有差别:在模型答错的题上,它多对了 gg 的比例,这类题占 ww,贡献 w×gw \times g;在模型答对的题上,它推翻了 ll 的比例,这类题占 1−w1 - w,损失 (1−w)×l(1 - w) \times l。两者相减就是整体变化。这里 g=2/5=0.4g = 2/5 = 0.4,l=2/15≈0.133l = 2/15 \approx 0.133,w=0.25w = 0.25,变化 = 0.1 − 0.1 = 0。
  4. w=0.1w = 0.1 时,变化 = 0.1 × 0.4 − 0.9 × 0.133 = −0.08:直接听模型的得 90%,协议只得 82%,协议反而更差。w=0.5w = 0.5 时,变化 = 0.5 × 0.4 − 0.5 × 0.133 ≈ +0.133:直接听模型的只有 50%,协议约为 63.3%。在这组 gg 和 ll 下,盈亏平衡点是 w=l÷(g+l)=0.25w = l ÷ (g + l) = 0.25。
  5. 当模型大多数时候是对的,“直接听从模型”本身就是一个很高的分数:协议能纠正的题很少,而推翻正确答案的代价落在大多数题上,所以协议可能“在模型答错时有帮助,整体却没有提高”。模型越强,这个门槛越高。所以比较监督协议时,必须把“直接听从模型”作为基线(第 11.5 节),并分别报告模型对和错两类题上的结果(第 13.4 节)。注意,这道题只演示算术上的一种可能,并不解释 Recchia 等的结果:在他们的第一项研究中,看论证组在模型答对的题上并没有更差(第 13.5 节)。

计算脚本:tools/exercises/ch13_judgment.py。

习题 13.3 信心校准

下面是为教学构造的数据。一位评估者作了 30 个判断,每个判断报告了把握程度(50%、70% 或 90%)。

报告的把握 判断数 其中正确
50% 6 3
70% 10 6
90% 14 10
  1. 算出每一组的实际正确率,说明这位评估者在哪一组校准良好、在哪一组过度自信。
  2. 算出整体正确率和平均报告的把握程度。
  3. 如果下游流程规定“评估者有 90% 把握的判断不再复核”,这 14 个判断中预计有几个错误会漏过?
  4. 只看整体正确率(第 2 问),能发现第 1 问的问题吗?
解答
  1. 50% 组:3 ÷ 6 = 50%,校准良好。70% 组:6 ÷ 10 = 60%,过度自信 10 个百分点。90% 组:10 ÷ 14 ≈ 71.4%,过度自信约 18.6 个百分点。把握越高,高估越多。
  2. 整体正确率 19 ÷ 30 ≈ 63.3%;平均报告的把握 = (6 × 50% + 10 × 70% + 14 × 90%) ÷ 30 ≈ 75.3%,整体高估约 12 个百分点。
  3. 14 个 90% 把握的判断中有 4 个是错的,它们全部不会被复核。
  4. 不能。63.3% 的正确率本身不说明评估者知不知道自己什么时候会错;只有按把握程度分组,才能看出“最有把握的判断恰恰高估得最多”。这正是第 13.4 节要求把信心和正确率分开记录的原因。

计算脚本:tools/exercises/ch13_judgment.py。

学完能做到 #

  • 用一个具体例子说明锚定、确认偏误、自动化偏差和过度依赖各是什么,以及它们在监督中分别导致什么错误。
  • 解释为什么“更有信心”和“查了更多资料”都不保证判断更准确,并会按信心分组检查校准。
  • 说出 Recchia 等的负面结果测了什么、没有测什么,以及为什么“直接听从模型”是监督协议必须胜过的基线。
  • 为一个人类评估实验列出至少三项需要记录的人为因素(例如顺序、用时、信心、是否先看到模型答案),并说明每一项为什么要记录。

参考文献

  1. Bainbridge, L. (1983). Ironies of automation. Automatica. 引用于 §13.2 §13.3
  2. Bowman, S. R., Hyun, J., Perez, E., Chen, E., Pettit, C., Heiner, S., … Kaplan, J. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本引用于 §13.1 §13.4 §13.6
  3. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §13.6
  4. Parasuraman, R., and Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors: The Journal of the Human Factors and Ergonomics Society. 引用于 §13.2 §13.3
  5. Passi, S., and Vorvoreanu, M. (2022). Overreliance on AI: Literature Review. Microsoft. 非同行评审引用于 §13.1 §13.2 §13.6
  6. Recchia, G., Mangat, C. S., Nyachhyon, J., Sharma, M., Canavan, C., Epstein-Gross, D., and Abdulbari, M. (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 引用于 §13.1 §13.2 §13.3 §13.4 §13.5 §13.6
  7. Wolfe, J. M., Horowitz, T. S., and Kenner, N. M. (2005). Rare items often missed in visual searches. Nature. 引用于 §13.3
  8. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., … Stoica, I. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. doi:10.52202/075280-2020. 引用于 §13.1