Scalable Oversight 入门
第五部分:前沿与开放问题

草稿 内容完整但尚未审校,可能还会修改

第 30 章这个领域的边界与质疑

路线全部路线

本章导读

本章问题
  • scalable oversight 不能回答什么?它的进展能否与能力进展区分开?
要点
  • 事实正确、遵守指令、符合原则、对相关者有益是四个不同的标准,同一个回答可以满足其一而违背其他(§30.1)。
  • 给定标准后怎样可靠地判断是监督质量问题;选哪个标准、由谁选是目标选择问题,本书的方法只回答前者(§30.2)。
  • 有研究发现,常用的监督实验数据集上的成绩与通用能力高度相关;读成果时要问它提高的是安全、能力还是两者(§30.3)。
  • 记账程序是否符合三条规则是监督质量问题,三条规则本身是否合适是目标选择问题(§30.4)。
本章的视频讲解,4 分 58 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07“好”按什么标准30.1
    “可靠地判断”预设了一个标准,标准从哪里来,这个领域的定义没有回答。学生对编程助手说:“把这道作业题的代码直接写完给我。”回应甲直接写出完整、正确的代码;回应乙解释题目的思路,指出学生代码里的一处错误,让他自己改完。哪个更好?
  2. 0:33四个标准,谁来裁决30.1
    四个常被混在一起的标准,各有不同的裁决者。事实正确最容易找到独立的依据,对所有相关者有益最难检查。本书的大部分方法,在有独立依据的一端最有把握(本书的推断)。
  3. 0:56标准之间会冲突30.1
    两种回应放到四个标准下看(示意)。四个标准可以两两冲突:一个回答可以事实正确却违背指令,可以遵守指令却违反原则,可以符合原则却对某些相关者不利。
  4. 1:18两类问题30.2
    监督质量问题:标准已经给定,怎样可靠地判断输出是否满足它。目标选择问题:用哪个标准、由谁来选、偏好冲突时怎样处理,也叫价值设定问题。遇到分歧先问:是有人判断错了,还是用的标准不同?后者往往不是因为信息不够,而是看重的东西不同。
  5. 1:46缠在一起的三种情形30.2
    两类问题常常缠在一起。方法里藏着标准:标注者选出“更好”的回答,按谁的标准?标准本身不清楚:需求说明没规定的地方,评估者只能自己填补。还有,监督得再好,也不能弥补选错的目标。
  6. 2:12safetywashing30.3
    这个领域的进展,会不会只是能力进展换了个名字?Ren 等把这种现象叫作 safetywashing:把能力上的提高说成安全上的进展。他们在几十个模型上,计算安全基准的成绩与通用能力的相关程度,发现许多安全基准都与能力和训练计算量高度相关。
  7. 2:37GPQA 与 QuALITY30.3
    论文检查了 scalable oversight 实验常用的两个数据集,作者把它们看作能力基准。如果一篇论文的主要结果是 GPQA 上的准确率提高了,这可能只是模型变强的结果,但相关不能确定原因。这项研究也没有测监督协议本身的效果,那要靠协议之间的对照实验。
  8. 3:04三个问题30.3
    读一项监督研究,可以问三个问题。谁变强了?只有执行者能力不变、评估者的判断更准了,才是严格意义上的监督改善。说真话的优势变大了吗?只提高说服力的改动,可能同时提高说谎的说服力。和能力的相关程度是多少?
  9. 3:29固定辩手,只换协议30.3
    第一个问题可以变成实验:较弱、较强两种辩手,单方咨询、辩论两种协议,四种组合都测裁判的准确率,最好在同一批题目上测。辩手不变、只换协议带来的变化,才是协议本身的作用。
  10. 3:52记账程序里的两类问题30.4
    程序是否满足三条规则,是监督质量问题;三条规则本身是不是你想要的,是目标选择问题。规则写得清楚,仍会留下要选择的地方,要由用账本的人决定。决定之后,程序是否照做,又变回监督质量问题。
  11. 4:19“对”是按什么标准30.4
    加入转账功能后,这种区分更明显。开篇的问题“我凭什么相信它对”,要先补上半句:“对”是按什么标准。本书的方法,回答的是标准确定之后的那一半。能分辨面对的是哪一种问题,本身就是一项能力。

带走的几句话:

  1. 事实正确、遵守指令、符合原则、对相关者有益,是四个可能冲突的标准。
  2. 给定标准怎样可靠地判断,是监督质量问题;选哪个标准,是目标选择问题。
  3. 读一项监督研究,要问它提高的是安全、能力,还是两者都有。

第 7.2 节给本书的领域下定义时,有意没有说一件事:什么样的输出才算“好”。定义只说,当直接的人工评估变得昂贵、缓慢或不可靠时,怎样继续提供足够可靠的监督。“可靠地判断”预设了一个判断的标准,而标准从哪里来,定义没有回答。第 7.5 节也留下了一个问题:三种“没有标准答案”的情况里,第三种是“没有唯一正确选择”,例如一项城市政策怎样在隐私和便利之间权衡。那一节说,这种情况不是等一个更聪明的裁判去找出真值,它的边界在本章讨论。

本章讨论两件事。第一件是这个领域不能回答什么:它研究的是在给定标准下怎样可靠地监督,而标准由谁选择、不同人的偏好怎样处理,是另一类问题。第二件是一种对这个领域的质疑:scalable oversight 的进展,是否真的能与 AI 能力本身的进展区分开。这两件事都关系到怎样读这个领域的成果:一项研究声称“改善了监督”时,它改善的到底是什么。

30.1 四种“好”的标准 #

先看一个例子。一名学生对编程助手说:“把这道作业题的代码直接写完给我。”假设助手有两种回应。

  • 回应甲:直接写出完整、正确的代码。
  • 回应乙:不给完整代码,而是解释题目的思路,指出学生已有代码里的一处错误,让学生自己改完。

哪个回应更“好”?答案取决于你用哪个标准。下面是四个常被混在一起的标准。

事实正确。输出说的或做的是不是对的:代码能不能正确运行,陈述是否符合事实。这个标准的裁决者是世界本身,原则上可以用测试、证明或资料去核对(第 20 章)。

遵守用户指令。输出是不是做了用户要求的事。裁决者是提出要求的用户:他要的是什么,助手是否照做了。

符合某份原则。输出是否符合事先写好的一套规则,例如开发者给模型定的行为准则(第 21 章),或者这门课的学术诚信规定。裁决者是这份原则,最终是写这份原则的人。

对所有相关者有益。输出对所有受它影响的人是否有好处。在这个例子里,相关者至少有学生本人(他的学习)、老师(课程能否评价学生的真实水平)和同班同学(评分是否公平)。这个标准没有单一的裁决者,要权衡许多人的利益。

表 30.1 同一个请求的两种回应,在四个标准下的判断(示意)
标准 回应甲:直接写完代码 回应乙:讲思路、指出错误
事实正确 满足,代码正确 满足,讲解和指出的错误都对
遵守用户指令 满足 不满足,没有照学生的要求做
符合某份原则 取决于原则:若课程禁止代写,则不满足 多半满足
对所有相关者有益 有争议:学生省了时间,但可能没学到东西 有争议:学生多花了时间,但可能学得更好

这张表里的判断只是示意,具体到某门课、某个学生会有出入。它说明的是一件更一般的事:四个标准可以两两冲突。一个回答可以事实正确却违背指令,可以遵守指令却违反原则,可以符合原则却对某些相关者不利。第 21 章讨论过原则之间的冲突,例如“回答应当无害”和“回答应当有帮助”在药物剂量问题上可能给出相反的结论;这里的冲突更进一步,发生在不同种类的标准之间。

四个标准在“能不能检查”上也很不一样。事实正确最容易找到独立的依据:代码可以运行,证明可以检查,引文可以回到原文核对。遵守指令的依据是用户的要求本身,但要求常常说得不完整,评估者得先推断用户的意思。符合原则的依据是原则的文字,可原则写不全所有情形,遇到原则没写到或者两条原则冲突的地方,判断就要靠解释。对所有相关者有益最难检查:相关者是谁、各自的利益是什么、怎样加总,都没有现成的答案。

表 30.2 四个标准的依据,以及本书哪些方法与它关系最近(本书的推断)
标准 判断的依据 本书中与它关系最近的方法
事实正确 世界本身:测试、证明、原始资料 机器检查(第 20 章)、辩论(第 15 章)、批评(第 16 章)
遵守用户指令 用户的要求 人类反馈(第 6 章)、模型当裁判(第 12 章)
符合某份原则 写好的原则 按原则给出的 AI 反馈(第 21 章)
对所有相关者有益 许多人的利益及其权衡 没有直接对应的方法;方法或许能帮人看清后果

这张表是粗略的概括:辩论也可以用来判断一个回答是否符合原则,人类反馈里的“更好”也可能混合了好几个标准。它想说明的是,本书的大部分方法,在“事实正确”这类有独立依据的标准上最有把握;离这一端越远,方法能提供的帮助越依赖人先把标准说清楚。

还要注意,这四个标准都不是“让评估者觉得好”。第 9 章讲过,人看不出好坏时,训练出的模型可能学到的是让人觉得好,而不是真的好;第 9.4 节读过一项在受控条件下观察到这种现象的实验(Wen 等,2024)。“让人觉得好”只是上面某个标准的一个不完美的替代品。监督要做的,就是缩小“让人觉得好”和某个真正的标准之间的距离。但先得说清楚,是哪一个标准。

第 30.1 节引用的文献 1
  1. Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF

30.2 监督质量问题与目标选择问题 #

有了四个标准,就可以把一个常被混在一起的问题拆成两个。

定义 30.1 监督质量问题与目标选择问题

监督质量问题:标准已经给定,怎样可靠地判断一个输出是否满足它。目标选择问题:用哪个标准,由谁来选,不同人的偏好冲突时怎样处理。后者也叫价值设定问题。

本书的每一章,讨论的几乎都是监督质量问题。辩论、批评、测试、读取内部表示,都在回答“给定一个标准,评估者怎样判断得更准”。scalable oversight 主要研究的就是这一类问题:在给定的标准下,当直接判断变得困难时,怎样继续可靠地监督。

目标选择问题是另一类困难。监督质量问题里,给定标准之后,“输出是否满足标准”通常有一个确定的答案,困难在于找到它很贵、很慢,或者评估者能力不够。目标选择问题里,分歧往往不是因为信息不够。两个人都完全清楚回应甲和回应乙的后果,仍然可能对哪个更好有不同的看法,因为他们看重的东西不同。第 7.5 节说的“没有唯一正确选择”就是这种情况:再聪明的裁判也不能替人决定该重视什么。这类问题需要伦理学、社会选择、治理等领域的研究和讨论,不是本书的方法能单独解决的。Hendrycks 的教材《Introduction to AI Safety, Ethics, and Society》第 6 章专门讨论怎样给 AI 系统设定能可靠地带来好结果的目标,以及各种方案面临的困难(Hendrycks,2024)。

目标选择的困难,不只发生在不同的人之间,也发生在同一个人身上。Hendrycks 的教材区分了人说出来的偏好和理想化的偏好:由于认知偏差和思考时间有限,人说出来想要的,不一定是他充分了解情况、仔细想过之后会想要的(Hendrycks,2024)。开头例子里的学生说“直接写完给我”,这是他说出来的偏好;如果他想清楚这门课的考试要自己写代码,他也许更想要回应乙。以哪一种偏好为准,本身就是一个选择。

两类问题在概念上分开,实际上却常常缠在一起。有三种常见的情形。

第一,方法里藏着标准。用人类反馈训练模型时(第 6 章),标注者比较两个回答、选出更好的一个。“更好”按谁的标准?是标注者自己的偏好,是标注指南写的规则,还是对用户有益?第 6.5 节读过,InstructGPT 训练用的标注者之间的一致率是 72.6 ± 1.5%,论文也写明它让模型对齐的是一个特定人群(主要是标注者和研究者)表达出来的偏好(Ouyang 等,2022)。选择哪些人当标注者、给他们什么样的指南,表面上是数据收集的细节,实际上是在做目标选择。按原则给出 AI 反馈时(第 21 章),原则由谁来写、冲突时怎样取舍,也是同样的问题(第 21.5 节)。

第二,标准本身不清楚。有些看起来是监督失败的情形,其实是标准没有写清楚。需求说明没有规定的地方,评估者只能用自己的理解去填补,不同的评估者就会给出不同的判断。如果分歧来自标准没有写到的地方,而不是来自有人看错了,那么只提高评估者的能力消除不了它:更强的评估者也得自己去填补,填法仍然可能各不相同(本书的推断)。这时要先把标准写清楚,而写清楚标准本身就是一次目标选择(本书的推断)。

第三,监督得再好,也不能弥补选错的目标。一个被完美监督的系统,会忠实地满足它被给定的标准。如果标准选错了,监督做得越好,系统就越可靠地做错的事。反过来,一个选得很好的目标,如果没法监督系统是否达到了它,也落不到实处。两个问题都要解决,但要用不同的办法。

要点

遇到评估者之间的分歧,先问:是有人判断错了(监督质量问题),还是他们用的标准不同(目标选择问题)?前者可以用本书的方法改进;后者要先决定用哪个标准、由谁决定。

监督方法在目标选择上也可能有用:帮人看清各种选择的后果,例如一个可靠的批评模型可以指出回应甲会让学生跳过哪些练习,一个可靠的辩论可以把两种政策各自的代价摆出来(本书的推断)。至少对辩论来说,这还只是期望:没有可核对证据的开放问题,正是第 15.5 节列出的现有辩论实验没有测过的情况之一。即使看清了后果,选哪一个,仍然要由相关的人来定。

第 30.2 节引用的文献 2
  1. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
  2. Ouyang 等人(2022)Training language models to follow instructions with human feedback

30.3 对领域的质疑 #

第二件事是一种更尖锐的质疑:scalable oversight 的进展,是否只是 AI 能力的进展换了个名字?

这个问题不是吹毛求疵。如果一项研究的实际效果只是让模型更强,却被当作安全研究,就会误导人们对安全进展的判断,也会误导研究资源的分配。Ren 等把这种现象叫作 safetywashing:把能力上的提高说成安全上的进展(Ren 等,2024)。本章对这篇论文的叙述按它的 arXiv 版(v3);NeurIPS 2024 的会议论文与 arXiv 版差别很大,没有讨论 scalable oversight,也没有给出这个定义(Ren 等,2024)。

Ren 等用“差异化的安全进展”(differential safety progress)来说明什么才算安全研究:一项技术改进,要在安全性质上的提高明显多于在其他性质上的提高(Ren 等,2024)。他们拿计算机系统作对比:在那里,性能的改进和安全的改进比较容易分开;如果两者像在 AI 里这样缠在一起,单纯的提速也可能被说成安全研究(Ren 等,2024)。

他们测了什么。Ren 等在几十个模型上,计算各种安全基准的成绩与模型通用能力之间的相关程度。通用能力用一个综合了多项能力基准的“能力分数”来表示,他们也计算了安全基准成绩与训练计算量的相关程度(Ren 等,2024)。如果一个安全基准的成绩与能力分数高度相关,那么按 Ren 等的解读,一个模型在这个基准上得分更高,可能主要说明它更强,不一定说明它更安全。他们发现,许多安全基准都与能力和训练计算量高度相关(Ren 等,2024)。

关于 scalable oversight。论文专门有一节讨论 scalable oversight。他们检查了两个常用于 scalable oversight 实验的数据集:研究生水平的科学问答 GPQA 和长文阅读理解 QuALITY。两者的成绩与能力分数的相关系数分别为 77.7% 和 88.8%,作者因此把它们看作能力基准,并认为许多利用这类数据集开发的 scalable oversight 方法,往往是换了包装的通用能力增强(Ren 等,2024)。

同一节还列出了支持和反对研究 scalable oversight 的几条直觉性论证,作者把这一栏称为“可疑的直觉性论证”。支持的一方说,要监督超级智能的系统,scalable oversight 按定义就是必需的。反对的一方说,scalable oversight 可以被理解为“怎样让超人 AI 按我们的意愿行事”(原文 how do we get superhuman AIs to do what we want),这个问题范围太宽,需要的其实是超级智能的能力研究,可以看作后期的能力研究(Ren 等,2024)。作者列出这些论证,是为了说明靠直觉论证分不出哪个方向是安全研究;他们主张用实测来判断,并建议安全基准报告它与通用能力的相关程度(Ren 等,2024)。

能推出什么,不能推出什么。这项研究测量的是数据集上的成绩与模型能力的相关性,相关是在 Ren 等选取的那一批对话模型之间算出来的(Ren 等,2024)。它给出一个提醒:如果一篇 scalable oversight 论文的主要结果是“模型在 GPQA 上的准确率提高了”,这个提高可能只是模型变强的结果,要先排除这种解释,才能算作监督上的进展。但相关本身不能确定原因。Ren 等的结论是,现有的 scalable oversight 评测没有把安全性质和通用能力分开(Ren 等,2024)。他们也写到,如果一个确实反映某种安全性质的基准与通用能力高度相关,这种安全性质很可能会在能力更强的模型上得到改善,所以安全研究者也许更应该把力气转到规模扩大后仍然存在的问题上(Ren 等,2024)。高相关并不等于成绩的提高与安全无关(本书的推断)。

这项研究测的也不是监督协议本身的效果,例如在辩手能力不变时,辩论比单方咨询让裁判多判对了多少。这类效果要靠协议之间的对照实验来测,本书读过几项。Kenton 等在辩手相同的条件下比较了几种协议(第 15.4 节):咨询方被随机指定支持正确或错误答案时,辩论在所有任务上都优于单方咨询;与直接问答相比,结果取决于任务(Kenton 等,2024)。Khan 等(第 28.2 节)发现,辩手的说服力越强,模型裁判在辩论下越准(Khan 等,2024)。Sudhir 等在一个演示性实验里(预印本,第 28.4 节)发现,辩手能力越强,辩论下说真话的优势越大,单方咨询则没有这种关系(Sudhir 等,2025)。Ren 等也提醒,“评估安全方法时固定模型”这类规范历来容易被后续工作丢掉,他们主张使用在设计上就控制了能力的基准(Ren 等,2024)。

怎样区分。读一项监督研究的成果时,可以问三个问题。

  1. 谁变强了?是执行者自己在任务上更准了,还是在执行者能力不变的情况下,评估者对它输出的判断更准了?只有后者是严格意义上的监督改善。比较时要固定执行者,只改变监督方法。
  2. 说真话的优势变大了吗?第 28.4 节说过,评价协议还要看说真话是否比说谎更划算。一个只提高了辩手说服力的改动,可能同时提高说谎的说服力;那一节读过的“智能体得分差”就是用来测这一点的。
  3. 和能力的相关程度是多少?如果结果随模型变强而自然变好,就要报告这种相关,并说明扣除能力的影响之后还剩多少改善。

第一个问题可以直接变成实验设计。以辩论为例,准备两种辩手(较弱、较强)和两种协议(单方咨询、辩论),四种组合都测裁判的准确率。只换辩手、不换协议带来的变化,主要反映辩手的能力;辩手不变、只换协议带来的变化,才是协议本身的作用。如果协议的作用随辩手变强而变大,说明辩论在把辩手的能力转化为裁判的判断力,这正是 scalable oversight 希望看到的趋势(第 15.4 节,第 28.2 节,第 28.4 节);如果协议的作用不变甚至变小,准确率的提高就主要来自能力。这里要用到第 3.4 节的配对比较:四种组合最好在同一批题目上测。

用这三个问题看几种方法,会发现很多方法两者都有。弱到强泛化和无监督引出提高的是强模型在任务上的正确率,这是能力,而不是价值对齐(第 17.6 节);它对监督有用,是因为它可能让我们在没有可靠标签时得到可靠的判断。批评模型找错能力的提高,在软件工程里本身就是有用的能力;人们期望它对监督有用,是因为它也许能帮人核查自己读不懂的代码(第 16 章)。不过第 16.5 节读过的摘要实验,作者自己写明,这个任务对人并不真的难,在容易任务上的正面结果未必能在更难的任务上重现(Saunders 等,2022)。两者都有,并不说明这类研究不值得做,但要求研究者说清楚,结果中有多少是监督上的改善,有多少只是模型更强了。

第 30.3 节引用的文献 5
  1. Ren 等人(2024)Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?
  2. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  3. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  4. Sudhir 等人(2025)A Benchmark for Scalable Oversight Protocols
  5. Saunders 等人(2022)Self-critiquing models for assisting human evaluators

30.4 回到开篇的问题 #

第 1 章的问题是:AI 交给你一个 500 行的记账程序和一页写着三条规则的需求说明,你只能读懂其中 50 行,凭什么相信它对?用本章的两类问题来看,这个问题里其实混着两种不同的问题。

属于监督质量问题的部分。程序是否满足三条规则:余额是否等于收入减支出,重复提交是否只记一次,写入失败时是否不会只记一半。这些问题的标准已经写在需求说明里,困难只在于你判断不了。本书第三部分和第四部分的方法都是为这类问题准备的:测试检查规则一、规则二(第 20 章),人为制造写入失败去检查规则三,让批评模型指出可疑的代码(第 16 章),让两个模型引用具体代码行辩论规则三是否成立(第 15 章)。不过规则三取决于程序出错时怎样执行,更像能力不对称,是现有辩论证据覆盖得最少的情况;第 15.5 节的补救办法是让认为“会只记一半”的一方给出能触发这种情况的测试。

属于目标选择问题的部分。三条规则本身是不是你想要的?规则写得清楚,却仍然留下了要选择的地方。

  • 规则二说“同一笔记录重复提交只记一次”。如果你在同一天确实买了两杯同样价格的咖啡,这算不算“同一笔”?程序要按什么来判断“重复”?这不是测试能回答的问题,要由用账本的人决定。决定之后,“程序是否按这个决定处理”又变回监督质量问题。
  • 规则三说“写入失败时不能只记一半”,但没有说失败之后该怎么办:自动重试,提示用户,还是整笔作废?不同的选择对用户有不同的代价,需求说明要先选定一种。
  • 需求说明没有提到的事情:账本数据谁能看到,家里几个人共用一个账本时,一个人的记录别人能不能改。这些属于“对所有相关者有益”的标准,可能根本不在三条规则之内。
表 30.3 记账程序中的两类问题(示意)
问题 类型 谁能回答,用什么办法
余额是否等于收入减支出 监督质量 测试
写入失败时会不会只记一半 监督质量 人为制造失败的测试、批评、辩论(辩论在这类问题上证据最少,第 15.5 节)
两笔相同金额的消费算不算重复 目标选择 用账本的人决定,写进需求说明
写入失败后应该重试还是作废 目标选择 用账本的人权衡代价后决定
程序是否按上述决定处理 监督质量 决定写清楚之后,用测试和审查检查
共用账本时谁能改谁的记录 目标选择 共用账本的几个人商量决定

加入转账功能之后(第 10 章),这种区分更加明显。转账同时改动两个账户:“两个账户同时更新,或者都不更新”是监督质量问题;家庭成员之间转账要不要双方都确认,是目标选择问题。

所以,第 1 章的问题“我凭什么相信它对”,要先补上半句:“对”是按什么标准。本书给出的方法,回答的是标准确定之后的那一半。标准本身怎样选,需要用程序的人参与,也需要其他领域的研究。能分辨自己面对的是哪一种问题,本身就是一项重要的能力。

读物 #

  • 反例与批评 · 预印本:Ren 等《Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?》(2024,引用的是 arXiv v3;NeurIPS 2024 数据集与基准赛道的会议论文与它差别很大)(Ren 等,2024)。读 arXiv 版中关于 scalable oversight 的讨论(第 5.2 节;会议版没有这一节),看作者测了什么、列出了哪些直觉性论证,以及为什么主张用实测代替直觉。
  • 入门讲解 · 教材:Hendrycks《Introduction to AI Safety, Ethics, and Society》第 6 章 Beneficial AI and Machine Ethics 的开头部分,开放获取(Hendrycks,2024)。讨论为什么给 AI 设定目标本身就是难题。
本节引用的文献 2
  1. Ren 等人(2024)Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?
  2. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society

练习 #

习题 30.1 监督方法的进步会不会同时提高能力

从第三部分选两种方法,各写一段话(150 到 300 字)回答:这种方法的进步,会不会同时提高模型的通用能力?用第 30.3 节的三个问题组织你的回答,并说明如果要分开两者,你会设计什么样的比较。

解答

本题没有标准答案,评分要点如下:

  • 说清楚这种方法提高的是谁的表现:执行者自己的,还是评估者判断的。
  • 指出至少一条这种方法同时提高能力的途径,或者说明为什么它基本不提高能力,并给出理由。
  • 提出的比较固定了执行者的能力,只改变监督方法;或者说明要报告结果与能力的相关程度。
  • 不把“同时提高能力”直接等同于“不是安全研究”。

示例(只写要点):

辩论(第 15 章)。训练辩手赢得辩论,会让辩手更会论证、更有说服力,这本身是一种能力。它对监督的贡献在于裁判判得更准。要分开两者,可以在辩手能力不变时比较辩论与单方咨询下裁判的准确率,并按第 28.4 节检查说真话的优势是否也变大了。说谎的一方是否比说真话的一方得益更多,在 Khan 等的实验里取决于协议。他们在 QuALITY 长文阅读题上用推理阶段的方法提高辩手的说服力(第 15.4 节读过这项研究;单方咨询的结果是本书第一次引用),发现在辩论中,辩手为正确答案辩护时的说服力比为错误答案辩护时提高得更多,裁判因而更准;在单方咨询中则相反,为错误答案辩护的咨询方变得相对更有说服力,裁判的准确率下降(Khan 等,2024)。

机器检查(第 20 章)。写出更好的测试、更完整的规格,提高的是检查本身,不直接让被检查的模型更强,可以算比较“纯”的监督改善。但如果用测试结果作为奖励训练模型,模型的推理能力可能提高,也可能学会绕过测试(第 20.2 节,第 20.4 节)。这时要区分“检查更可靠了”和“模型更会通过检查了”。

习题 30.2 监督质量问题还是目标选择问题

判断下面每个情形主要是监督质量问题、目标选择问题,还是两者都有,并说明理由。

  1. 判断一个模型给出的数学证明是否正确。
  2. 决定客服模型遇到情绪激动的用户时,应该先安抚还是先解决问题。
  3. 两位评估者给同一篇摘要打分不同,一位认为它漏掉了文章的关键结论。
  4. 模型按用户要求写了一封措辞强硬的投诉信,信中有一个日期写错了。
  5. 检查编程助手是否修改了测试文件。
  6. 决定一项城市政策应当怎样在隐私和便利之间权衡。
解答
  1. 监督质量问题。证明对不对有确定的标准,困难在于检查。
  2. 目标选择问题。两种做法的后果都可以了解,选哪个取决于看重什么,应由设计和使用这个系统的人决定。
  3. 要先查清分歧的来源。如果那个结论确实在文章里而摘要漏了,是监督质量问题,一位评估者判断错了;如果两人都同意摘要漏了它,但对“摘要应当简短”还是“应当完整”看法不同,是目标选择问题。
  4. 两者都有。日期写错是事实正确的问题,属于监督质量;措辞强硬是否合适,涉及遵守指令与对相关者有益之间的权衡,属于目标选择。
  5. 监督质量问题。“不得修改测试”是明确的标准,检查它是否被遵守(第 20 章)。
  6. 目标选择问题,即第 7.5 节的“没有唯一正确选择”。监督方法也许能帮人看清各个方案的后果(第 30.2 节),但不能替人决定怎样权衡。
习题 30.3 这是安全进展吗

设想有一篇论文(为教学构造的情形)报告:换用更强的模型担任辩手之后,裁判在 GPQA 上的准确率提高了。作者把这作为辩论方法有效的证据。

  1. 这个结果可能有哪几种解释?
  2. 结合第 30.3 节的发现,指出只看这个结果为什么不够。
  3. 你还需要论文报告哪些比较,才能判断这是监督上的改善?
解答
  1. 一种解释是,更强的辩手让诚实的一方更容易把真相讲清楚,辩论协议在发挥作用;另一种解释是,更强的辩手本身更常答对 GPQA,裁判更多地是在跟随一个更强的模型;还可能两者都有。
  2. 在 Ren 等研究的那批模型里,GPQA 的成绩与通用能力高度相关(Ren 等,2024),所以换用更强的模型之后准确率提高,可以只用辩手本身更强来解释。单看这个结果,分不出其中有多少来自辩论这种监督方式。
  3. 例如:在辩手能力相同的条件下,比较辩论、单方咨询和直接问答下裁判的准确率;按第 28.4 节检查为正确答案辩护是否比为错误答案辩护得分更高,以及这个优势是否随辩手变强而变大;报告结果与辩手能力的相关程度。只有在辩手能力不变时辩论仍然带来改善,或者说真话的优势随能力增大,才更有理由说这是监督上的改善。
本节引用的文献 2
  1. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  2. Ren 等人(2024)Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?

学完能做到 #

  • 区分事实正确、遵守用户指令、符合某份原则、对所有相关者有益四个标准,并举出它们互相冲突的例子。
  • 区分监督质量问题与目标选择问题,遇到评估者之间的分歧时,先判断它属于哪一类。
  • 读一项监督研究时,说明它改善的是安全、通用能力,还是两者都有,并提出能把两者分开的比较。
  • 对第 1 章的记账程序,指出哪些部分属于监督质量问题,哪些属于目标选择问题。

参考文献

  1. Hendrycks, D. (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 引用于 §30.2
  2. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §30.3
  3. Khan, A., Hughes, J., Valentine, D., Ruis, L., Sachan, K., Radhakrishnan, A., … Perez, E. (2024). Debating with More Persuasive LLMs Leads to More Truthful Answers. International Conference on Machine Learning. 引用于 §30.3
  4. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §30.2
  5. Ren, R., Basart, S., Khoja, A., Gatti, A., Phan, L., Yin, X., … Hendrycks, D. (2024). Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? arXiv, v3 (a substantially different version appeared in the NeurIPS 2024 Datasets and Benchmarks Track). 预印本引用于 §30.3
  6. Saunders, W., Yeh, C., Wu, J., Bills, S., Ouyang, L., Ward, J., and Leike, J. (2022). Self-critiquing models for assisting human evaluators. arXiv. 预印本引用于 §30.3
  7. Sudhir, A. P., Kaunismaa, J., and Panickssery, A. (2025). A Benchmark for Scalable Oversight Protocols. arXiv. 预印本引用于 §30.3
  8. Wen, J., Zhong, R., Khan, A., Perez, E., Steinhardt, J., Huang, M., … Feng, S. (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 引用于 §30.1