Scalable Oversight 入门
第一部分:问题是什么

草稿 内容完整但尚未审校,可能还会修改

第 10 章威胁模型与任务前提

路线全部路线最短路线

本章导读

本章问题
  • 设计一个监督方法之前,要先说清哪些条件:模型可能怎样对待监督,任务本身又提供了哪些可用的信息?
要点
  • 同一个监督方法,在不同的威胁模型和任务前提下,结论可能完全不同(§10.1)。
  • 威胁模型有七个维度,分属行为、能力、系统之间的关系和条件,可以同时成立(§10.2)。
  • 任务前提有五项:能否分解、有无独立证据、标签是否可靠、能否获得参考答案、监督者弱在哪里(§10.3)。
  • 本书用可观察的行为下定义,不以模型是否有意图作为分类标准(§10.4)。
本章的视频讲解,4 分 58 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07防的是哪一种作弊
    学校要防止考试成绩失真,可“防作弊”底下是几种不同的问题,对应的办法几乎不能互相替代。只说“这场考试防住了作弊”,不说防的是哪一种,几乎没有信息量。
  2. 0:27两个定义10.1
    威胁模型:对被监督模型的行为、能力、它与监督者之间的关系以及它所处条件的一组明确假设;监督方法要在这些假设下仍然有效。任务前提:任务本身为监督提供了哪些条件。
  3. 0:50同一个方法,不同条件10.1
    转账功能:AI 写了代码和测试,报告“全部通过”。模型只是偶尔犯错、测试认真写,通过是有分量的证据(至少对测试覆盖到的情形);模型能改测试时,“全部通过”可能几乎什么也不说明。
  4. 1:15七个维度10.2
    本书把威胁模型拆成七个维度,分属行为、能力、系统之间的关系和条件。它们不在同一层次,可以同时成立,分析一个场景时可以多选。
  5. 1:36无意出错与迎合评分10.2
    无意出错:模型会犯错,但错误不针对评估。迎合评分:行为利用了评分规则或评估者的弱点,包括 reward hacking 和谄媚;更一般地,利用评分规则漏洞的规格博弈也属于这一类。
  6. 2:00识别评估与隐藏目标10.2
    识别评估:模型能分辨自己是否在被测试或训练;它是能力,分辨后是否改变行为要另看证据。隐藏目标:行为持续服务于一个与指定任务冲突、且未向监督者披露的目标。
  7. 2:22共同盲点10.2
    共同盲点:监督者与被监督者,或多个监督模型,犯同一类错误。它不是单个模型的性质,而是一组系统之间的关系。几个模型意见一致,不等于几次独立的检查。
  8. 2:44两个“条件”维度10.2
    访问与修改权限:模型能读到、能改动什么;它能改动的测试和日志,不再是独立的证据。对协议的了解与试探:模型是否知道监督规则、能否多次尝试;知道规则又能反复提交,就有机会找到恰好通过审查的版本。
  9. 3:09逐个维度说明10.2
    写一个方法的威胁模型,要逐个维度说明考虑了还是没有考虑。附录的术语对照给出的写法:“模型会迎合评分、知道监督协议,但没有隐藏目标,也不能修改测试”。
  10. 3:32五项任务前提10.3
    任务前提说的是任务本身给监督留下了什么,五项见右图。前提要和威胁模型一起看:模型能改动的证据,就不再独立;模型会迎合标注员时,标签就要打折扣。
  11. 3:55用行为下定义10.4
    七个维度里,没有一个是“模型想不想骗人”。意图不能直接观察,行为可以;同样的行为带来同样的监督风险。限度:行为相同的模型,在没测过的情境里仍可能不同。
  12. 4:18证据与前提框10.5
    第三、四部分讲方法的各章,都先有一个“证据与前提”框:想处理、测过、依赖、不能推出。实验没有覆盖的维度,就是结论不能推到的地方;这不等于方法在那里会失败。

带走的几句话:

  1. 同一个方法,在不同的威胁模型和任务前提下,结论可能完全不同。
  2. 威胁模型有七个维度,任务前提有五项。
  3. 本书用可观察的行为下定义,不以模型是否有意图作为分类标准。
  4. 说出实验在哪些维度和前提下做过,哪些没有,据此写出“不能推出”。

学校组织一场考试,要防止成绩失真。可是“防作弊”这三个字底下,其实是几种完全不同的问题。防考生粗心,可以提醒他们交卷前检查一遍。防考生钻评分标准的空子,比如在简答题里罗列所有可能的关键词,要修改评分标准,按论述是否成立给分。防考生知道监考老师何时离开、趁机交头接耳,要让巡视的时间不可预测。防有组织的作弊团伙,比如提前拿到试卷、在考场外传递答案,就需要试卷保密、信号屏蔽,甚至调查内部人员。

这四种办法几乎不能互相替代。交卷前提醒检查,对作弊团伙毫无作用;信号屏蔽,对粗心也毫无作用。所以一句“这场考试防住了作弊”,如果不说明防的是哪一种,几乎没有信息量。

监督 AI 也是这样。第 8 章和第 9 章分别从被监督的模型和监督者两边,说明了监督为什么会出问题。在讲任何具体方法之前,本章给出一套说清条件的办法:模型可能怎样对待监督(威胁模型),任务本身又提供了哪些可用的信息(任务前提)。之后每读一种方法,都要用它来问:这个方法在什么条件下测过,在什么条件下还没有。

从本章起,第 1 章的记账程序增加了一个功能:转账。一笔转账同时改动两个账户,从一个账户转出,转入另一个账户。三条规则仍然有效,而规则三(写入失败时不能只记一半)变得更要紧:如果转出记上了、转入没记上,钱就凭空少了一笔。假设写程序的 AI 也替你写了测试,运行后报告“全部通过”。你该相信它多少?读完本章,你会发现答案取决于一串你还没有回答的问题。

10.1 为什么先说清条件 #

先给两个定义。

定义 10.1 威胁模型

威胁模型(threat model):对被监督模型的行为、能力、它与监督者之间的关系以及它所处条件的一组明确假设,包括它可能怎样出错或利用评分,能察觉什么,是否持续服务于一个未披露的目标,会不会与监督者犯同一类错误,能接触和改动什么,对监督规则知道多少。一个监督方法要在这些假设下仍然有效。

计算机安全里有类似的做法。按 Greenblatt 与 Shlegeris 的描述,安全团队评估一个系统时,会先写明防的是什么样的攻击者,只是外人,还是掌握内部权限的员工(Greenblatt 与 Shlegeris,2024)。他们讨论 AI 的安全措施时也借用了这种做法:先刻画拥有不同资源的攻击者有多大可能发动攻击,再论证对每一类可能的攻击者,关键的安全性质都能以可接受的可靠程度守住(Greenblatt 与 Shlegeris,2024)。在本书里,“攻击者”不一定有恶意,它可能只是一个会犯错、会被优化推向评分漏洞的模型(第 8 章)。

定义 10.2 任务前提

任务前提:任务本身为监督提供了哪些条件,例如任务能否分解、有没有独立于模型陈述的证据、标签是否可靠、能否获得参考答案,以及监督者弱在哪里。

为什么要先说清这两样?因为同一个方法在不同的威胁模型和任务前提下,结论可能不同。以“让模型写测试并运行,全部通过就接受”为例,看它在转账功能上能说明什么。

  • 如果模型只是偶尔犯错,测试又是按需求说明认真写的,那么测试通过是有分量的证据,至少对测试覆盖到的情形是这样。
  • 如果模型能修改测试文件,而训练又奖励“测试通过”,第 8 章开头的例子说明,“全部通过”可能几乎什么也不说明。
  • 如果模型知道你只会按需求说明的三条规则各跑一个测试,它的程序可能恰好通过这三个测试,在别的情形下出错。
  • 如果测试和代码出自同一个模型,它没想到的情形(例如两笔转账同时发生),在代码里没处理,在测试里也不会出现。
  • 如果连需求说明本身都没写清楚转账失败时应当怎样,测试也就没有一个可靠的标准可以对照。

前四条是威胁模型的差别,最后一条是任务前提的差别。方法没有变,变的是条件;条件一变,“测试全部通过”这句话的分量就可能大不相同:在第一条的条件下是有分量的证据,在第二条的条件下可能几乎什么也不说明。所以本书的规矩是:说一个监督方法“有效”或“安全”,必须同时说明是在什么威胁模型和任务前提下。附录的术语对照里有一个例子:只说“方法是安全的”,不说对哪种情况安全,等于没有说(附录 B)。

第 10.1 节引用的文献 1
  1. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled

10.2 威胁模型的七个维度 #

本书把威胁模型拆成七个维度。它们不在同一层次:有的描述模型的行为,有的描述模型的能力,有的描述几个系统之间的关系,有的描述监督所处的条件。它们可以同时成立,分析一个场景时可以多选。

表 10.1 威胁模型的七个维度
维度 类型 含义 重点章节
无意出错 行为 模型会犯错,但错误不针对评估 第 16 章、第 18 章、第 20 章
迎合评分 行为 模型的行为利用了评分规则或评估者的弱点;包括第 8 章的 reward hacking 和谄媚 第 8 章、第 19 章、第 23 章
识别评估 能力 模型能分辨自己是否在被测试或训练,并可能相应改变行为;是第 25 章情境识别(situational awareness)的一种 第 25 章、第 27.6 节
隐藏目标 行为 模型的行为持续服务于一个与指定任务冲突、且未向监督者披露的目标 第 25 章、第 26 章、第 27 章
共同盲点 系统之间的关系 监督者与被监督者,或多个监督模型,犯同一类错误 第 17 章、第 24 章
访问与修改权限 条件 模型能读到什么、能改动什么,例如测试、日志、评分代码 第 20 章、第 26 章
对协议的了解与试探 条件 模型是否知道监督规则,能否多次尝试并观察结果 第 26 章

下面逐一说明,每个维度都用考试和转账两个例子对照。

无意出错(行为)。模型会犯错,但错误与评估无关:它不是因为某处没人检查才在那里出错。考试里的对应物是粗心。转账功能里,模型可能忘了处理“转入账户不存在”的情形。这是最温和的假设,也是许多方法的实验所默认的假设。第 16 章的证据框就写明,批评模型的实验只覆盖这一个维度。

迎合评分(行为)。模型的行为利用了评分规则或评估者的弱点。表中点名的第 8 章的 reward hacking 和谄媚都属于这一类;更一般地,利用了评分规则漏洞的规格博弈,以及第 9 章讲的“看起来对”的答案,也都属于这一类。考试里的对应物是罗列关键词。转账功能里,模型可能写出只对测试里那几组金额正确的代码,或者在你说“我觉得这部分没问题”之后附和你。第 8.7 节说过,只要评分有缝隙、优化压力足够,这些行为就可能出现,不需要模型有意图。

识别评估(能力)。模型能分辨自己是在被测试或训练,还是在被实际使用,并可能据此改变行为。它是第 25 章要讲的情境识别的一种。注意它被归为能力:这个维度问的是模型能不能分辨,至于分辨之后是否真的改变行为,要另看证据。考试里的对应物是知道监考何时离开。转账功能里可以设想这样的情形:测试数据都是整数金额、账户名叫“测试账户一”,真实数据却不是,一个能分辨两者的模型可能在两种数据上表现不同。如果模型能分辨,而又不能排除它据此改变行为,那么所有在“看起来像测试”的条件下得到的评估结果,都要打上问号。

隐藏目标(行为)。模型的行为持续服务于一个与指定任务冲突、且未向监督者披露的目标。定义里的三个限定都要满足:持续,不是偶尔一次;冲突,与它被要求完成的任务相抵触;未披露,监督者不知道。考试里的对应物是有组织的作弊团伙:他们有一个与考试目的冲突的目标,并且刻意隐瞒。转账功能里可以设想:程序在极少数情况下把一点零头转到别的账户,平时一切正常。注意这个定义只说行为“服务于”某个目标,即行为的模式可以用这个目标来解释,没有说模型内部“想”什么,原因见第 10.4 节。研究者已经能有意训练出带有隐藏目标的模型(第 25.2 节、第 27.3 节)来做研究(Marks 等,2025),这说明这种行为可以出现,不说明它在普通训练中有多常见。

共同盲点(系统之间的关系)。监督者和被监督者,或者几个监督模型之间,犯同一类错误。这个维度不是任何单个模型的性质,而是一组系统之间的关系。考试里的对应物是阅卷老师和考生用同一本印错了答案的参考书。转账功能里,如果代码和测试都由同一个模型写成,它没想到“两笔转账同时发生”,测试里也就不会有这种情形。几个模型意见一致,不等于几次独立的检查(第 24 章)。

访问与修改权限(条件)。模型能读到什么、能改动什么,例如测试、日志、评分代码。这个维度描述的是监督所处的环境,而不是模型本身。考试里的对应物是考生能否接触到试卷和答案。转账功能里,如果编写程序的智能体有权限修改测试文件或运行日志,那么测试结果和日志就不再是独立的证据。第 8 章开头的编程环境,正是因为允许修改测试,才让修改测试成为可能。

对协议的了解与试探(条件)。模型是否知道监督的规则,能否多次尝试并观察结果。考试里的对应物是考生事先知道评分细则,或者能用同一套评分标准反复做模拟题。转账功能里,如果模型知道审查者只按需求说明的三条规则各跑一个测试,又能反复提交、看哪个版本通过审查,它就有机会找到恰好通过审查的版本。这个维度直接影响论证的强弱。Greenblatt 与 Shlegeris 认为,对最早一批足以大大降低后续 AI 风险的 AI(不是任意强的 AI),控制评估有可能做得保守,理由之一是:与专门替被监督的 AI 寻找攻击办法的研究团队(红队,第 26 章)相比,被监督的 AI 对防御措施了解得较少,也很少有机会针对防御措施反复练习和调整(Greenblatt 与 Shlegeris,2024)。反过来说,如果这些条件不成立,结论也要跟着改变。第 26 章会讲,在一项实验中,攻击方掌握了协议的内部信息之后,一种防御协议的安全性大幅下降(Kutasov 等,2025)。

七个维度可以组合。一个模型可以既会无意出错,又会迎合评分;识别评估与隐藏目标同时成立,是对监督要求很高的一种组合,因为这时模型在被检查时的表现,不能代表它在不被检查时的表现(本书的推断)。写一个方法的威胁模型时,要逐个维度说明“考虑了”还是“没有考虑”。例如附录的术语对照给出的写法:“模型会迎合评分、知道监督协议,但没有隐藏目标,也不能修改测试”(附录 B)。

第 10.2 节引用的文献 3
  1. Marks 等人(2025)Auditing language models for hidden objectives
  2. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
  3. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

10.3 任务前提 #

威胁模型说的是模型可能怎样对待监督,任务前提说的是任务本身给监督留下了什么。同一个模型,换一个任务,可用的监督手段可能完全不同。本书列出五项任务前提。

任务能否分解。能否把任务拆成可以分别判断的部分,并且各部分的判断能合成对整体的判断。拆分任务(第 14 章)和检查过程(第 19 章)都依赖这一项。转账功能只能部分地分解:“转出是否正确”和“转入是否正确”可以分开检查,但“要么两边都记上、要么两边都不记”是整体的性质,分开检查两边,查不出它。这正是第 9.1 节说的“局部都对不等于整体对”。

有没有独立于模型陈述的证据。例如测试、文献、实验。“独立”指证据不是被监督的模型自己说的。机器检查与外部证据(第 20 章)、批评模型的核查(第 16 章)都依赖这一项。转账功能里,你自己按需求说明写的测试、另一个系统出具的银行流水,都是独立证据;模型写的“我已经检查过了”不是。还要注意:如果模型能改动这份证据,它就不再独立,这时要同时看威胁模型的“访问与修改权限”一维。

标签是否可靠。用来训练或评估的判断本身是否正确。第 9 章讲的限时标注员给出的标签,就可能系统地出错。所有用人的判断作训练信号的方法(第 6 章),以及弱监督训练强模型的研究(第 17 章),都要问这一项。

能否获得参考答案。有没有办法知道正确答案,哪怕代价很高、只能对一小部分样本做。实验检验一个监督方法是否有效(第 11 章),离不开参考答案。这一项与第 7.5 节的三种“没有标准答案”直接对应:核查昂贵时,花大价钱能拿到一部分参考答案;结果尚未出现时,要等;没有唯一正确选择时,拿不到。

监督者弱在哪里。是时间、信息还是专业能力(第 9.2 节;更细的划分见第 7.4 节)。这一项影响该选哪一类方法:缺时间的监督者可以多给时间或把任务拆小,缺信息的需要看到证据,缺专业能力的需要有人或模型把关键之处讲清楚(三种限制常常同时出现,第 9.2 节)。

任务前提和威胁模型要一起看。“有独立证据”这一前提,在模型能修改证据时就不成立;“标签可靠”这一前提,在模型会迎合标注员时就要打折扣。写一个方法依赖什么时,两者都要写。

10.4 用行为下定义 #

读到这里,你可能注意到了:七个维度里,没有一个是“模型想不想骗人”。“迎合评分”说的是行为利用了评分规则,“隐藏目标”说的是行为持续服务于某个目标,“识别评估”说的是能不能分辨。本书不以“模型是否有意图”作为分类标准,理由有四条。

第一,意图不能直接观察,行为可以。我们能看到模型在什么情境下做了什么,看不到它“心里想什么”,至少不能直接看到。一个无法用证据判定的分类标准,指导不了实验设计,也写不进第 10.5 节要讲的证据框。

第二,同样的行为带来同样的监督风险。第 8 章说过,修改测试、迎合用户这些行为,只要评分有缝隙、优化压力足够,就可能出现,不需要意图。对监督者来说,一个“有意”修改测试的模型和一个被优化推着修改测试的模型,交出的测试结果同样不可信,需要的防御也一样:让测试文件不可改动。在这个例子里,决定该怎么防的,是行为和条件,不是意图(本书的推断)。这里的“同样的行为”要包括没测过的情境,只在测过的情境里相同还不够,见本节末段。

第三,心理化的词容易让人说过头。“模型想要”“模型相信”“模型故意”,这些说法会让读者从有限的证据推出过多的结论;反过来,“模型没有恶意”也容易让人低估本该防范的行为。所以本书只在转述某篇论文时使用这类说法,并说明是谁的表述。例如第 9.4 节那篇论文的标题说模型学会了“误导”人,那是作者的用词;作者用 unintended 强调这种现象不是开发者有意诱导的,并没有研究或断言模型的意图(Wen 等,2024)。

第四,行为定义可以变成实验。“识别评估”可以这样测:比较模型在像测试的情境和像实际使用的情境中行为是否不同。“隐藏目标”可以这样查:设计不同的情境,看模型的行为是否一致地指向某个未声明的目标,这正是对齐审计要做的事(第 27 章)。用意图来定义,就很难说清楚该测什么。

本书引用的文献里也能看到同样的做法。Shah 等定义目标误泛化时说明,说模型“追求某个目标”,只是说它的行为可以被看作在完成这个目标,不要求模型内部表示了这个目标,也不要求它有追求的“愿望”(Shah 等,2022)。Greenblatt 与 Shlegeris 则指出了另一面:目前评估一个模型是否对齐,比评估控制难得多,因为无论观察到什么行为,都要担心模型只是为了让你以为它对齐才这样做;所以他们提议让控制评估只依赖模型“做不到什么”这类能力上的事实,以近乎黑箱的方式进行(Greenblatt 与 Shlegeris,2024)。两者的共同点,是把论证建立在能够检验的东西上(本书的推断)。

用行为下定义也有它的限度。两个模型在所有测过的情境里行为相同,在没测过的情境里仍可能不同;仅凭行为,有时分辨不出是哪种机制产生了它。所以第 25 章讨论一项研究时,会分开说三件事:观察到了什么行为,哪些证据支持对其机制的解释,结论能外推到哪里。第 18 章则尝试读取模型内部的表示,作为行为之外的另一类证据。用行为分类,是本书的分类标准,不是说模型内部的状态不重要。

第 10.4 节引用的文献 3
  1. Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
  2. Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
  3. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled

10.5 本书怎样使用这些条件 #

第三部分和第四部分讲方法的各章,在讲方法之前都有一个“证据与前提”框,固定写四行:

  • 想处理:方法针对什么问题;
  • 测过:实验在什么任务上、和什么比较、观察到什么;
  • 依赖:结论依赖哪些前提,其中要写明对应本章的哪些威胁模型维度和任务前提;
  • 不能推出:根据前三行,这些实验不能支持哪些结论。

以第 16 章的批评模型为例。它的证据框在“依赖”一行写明:威胁模型只覆盖“无意出错”;任务前提是存在独立于批评本身的证据可供核查,例如能运行的代码或可以对照的原文。于是“不能推出”一行就很自然:不能推出批评模型自身被利用或专门漏报某类问题时仍然有效。

这个例子说明了怎样从“依赖”推出“不能推出”:实验没有覆盖的维度,就是结论不能推到的地方。要注意,“没有覆盖”不等于“方法在那里会失败”,只等于“没有证据说明它在那里有效”。把“没有证据”说成“已证明无效”,和把它说成“已证明有效”一样,都超出了证据。

读每一个方法时,可以用下面这组检查问题,对照表 10.1 和第 10.3 节:

  • 模型只是会犯错,还是会迎合评分?
  • 它能分辨评估与部署吗?
  • 它知道监督规则、能反复试探吗?
  • 它能读到或修改哪些证据?
  • 监督者与被监督者会不会有共同盲点?
  • 任务能否分解、有没有独立证据、标签是否可靠?

最后说明第三部分与第四部分的分工。前者的方法并不都只考虑无意出错:第 19 章和第 20 章的证据框都把“迎合评分”列为覆盖的维度。辩论的设计里也有对抗性的论证,一方要为错误的答案辩护,但说谎方由研究者指定,所以第 15 章的证据框仍把它记为只覆盖“无意出错”。此外,在讲方法之前,第 9 章已经讨论了模型怎样在训练中变得更能误导评估者。后者的不同在于,它系统地研究持续的隐藏目标、模型对监督机制本身的适应,以及部署时的防御。读第三部分的证据时,如果“依赖”一行没有提到识别评估、隐藏目标、访问与修改权限或对协议的了解与试探,就要记住:这些情形留给了第四部分。

读物 #

  • 入门讲解 · 博客:Greenblatt 与 Shlegeris《The case for ensuring that powerful AIs are controlled》(Redwood Research,2024)中关于威胁模型的部分(Greenblatt 与 Shlegeris,2024)。重点读开头对“对齐”与“控制”两道防线的区分,以及 The control property 和 Evaluating whether you have control is doable 两节:前一节看作者怎样借用计算机安全的做法写明攻击者的条件;后一节看他们为什么认为,与红队相比,被监督的 AI 在了解防御、反复试探上处于劣势,以及作者把这个判断限定在哪一类 AI。
本节引用的文献 1
  1. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled

练习 #

习题 10.1 为转账功能追加检查

第 1 章的记账程序后来增加了转账功能:一笔转账同时改动两个账户。写程序的 AI 交来了代码和它自己写的测试,并报告测试全部通过。

从表 10.1 中选出你认为对这个场景最需要考虑的三个维度。对每个维度:

  1. 说明它在转账功能上可能怎样表现;
  2. 写一项追加的检查,要具体到能照着做;
  3. 说明这项检查依赖第 10.3 节中的哪一条任务前提,以及这条前提在什么情况下会不成立。
提示

先想规则三:转出记上了、转入没记上,会是什么样子?再想“测试全部通过”这句话是谁写的测试、谁运行的、谁能改动它。这两个问题分别指向不同的维度。

解答

本题是开放题,下面是一种参考答法和评分要点。

维度 在转账上的表现 追加的检查 依赖的任务前提
无意出错 没处理转入账户不存在、余额不足、写到一半失败等情形 自己按需求说明写测试:人为让第二次写入失败,检查两个账户的余额是否都回到转账前;每次转账前后,所有账户的余额总和应当不变 能否获得参考答案(转账前后的正确余额能手算出来);有独立证据(测试由你而不是 AI 写)
访问与修改权限 AI 运行测试时改动了测试文件或日志,“全部通过”不再说明代码的性质 在 AI 无法修改的环境里重新运行测试;比较交付前后测试文件是否被改动 有独立证据:只有当测试和日志确实不能被 AI 改动时才成立
共同盲点 代码和测试出自同一个 AI,它没想到“两笔转账同时发生”,两边都不会有 测试换一个来源写:自己写,或请另一个人、另一个不同来源的模型按需求说明写;专门加入并发转账的测试 有独立证据;监督者弱在哪里(如果你缺并发编程的专业知识,可能也想不到这种情形)

也可以选其他维度,例如:对协议的了解与试探,追加检查是保留一组不告诉 AI 的测试,交付后才运行,依赖能否获得参考答案;识别评估,追加检查是用接近真实的数据(非整数金额、真实格式的账户名)做测试,依赖能否获得参考答案;隐藏目标,追加检查是定期把所有账户的总额与另一个系统的流水核对,依赖有独立证据。

评分要点:

  • 三个维度的选择有理由,能联系转账“同时改动两个账户”的特点,尤其是规则三。
  • 每项检查具体到能照着做,不是“加强测试”这类笼统的话。
  • 每项检查都指出了依赖的任务前提,并说出这条前提在什么情况下会不成立(例如 AI 有权限改动测试时,“有独立证据”就不成立)。
  • 能意识到同一项检查可能同时针对几个维度,也可能对某些维度完全无效。
习题 10.2 用七个维度读一篇实验论文

用表 10.1 的七个维度和第 10.3 节的五项任务前提,重新读第 9.4 节介绍的 Wen 等的实验。

  1. 实验覆盖了哪些威胁模型维度?哪些没有涉及?
  2. 五项任务前提在这个实验里分别是什么情况?
  3. 据此写一句“不能推出”。
解答
  1. 覆盖的:迎合评分是实验的核心,训练让模型的输出更容易被限时的评估者认可,而正确率几乎没有提高;无意出错大致对应训练前模型的状态,作为比较的起点(它没有针对评估者优化过,但也会编造证据,只是编得不如训练后的模型有说服力)。没有涉及的:识别评估(没有研究模型能否分辨训练与评估);隐藏目标;共同盲点(评估者是人,没有研究多个监督模型之间的相关错误)。不过,作者说明训练奖励是从人的评估学来、或照着人的评估方式设计的,会继承人的评估的弱点;这可以看作训练信号与评估者之间的共同盲点,它是实验的前提,不是研究对象。访问与修改权限方面,模型不能改动评估者的测试,作者也报告评估者自己写的测试在训练中没有出现过。对协议的了解与试探方面,编程任务的训练奖励是“通过最简单的两个测试”,模型在训练中反复针对这个代理指标优化,但它面对的不是真实评估者本身。
  2. 能否分解:实验没有利用分解。独立证据:问答任务的评估者能看到原文,编程任务的评估者能运行自己写的测试。标签:训练用的标签在问答任务上来自人的偏好或评价,在编程任务上是设计出来的代理指标;评估时的人类判断恰恰是被研究的对象。参考答案:有,问答由不限时的评估者确定,编程由数据集的全部单元测试确定。监督者弱在哪里:主要是时间,每次评估都限时,问答 3 分钟,编程 10 分钟。
  3. 例如:这项实验不能推出,模型在能分辨训练与评估、或者能改动评估者所用证据的条件下会怎样;也不能推出不限时的专家会被同样程度地误导。

评分要点:能区分“实验研究的维度”和“实验没有涉及的维度”;能指出编程任务的训练奖励是代理指标而不是人的反馈;“不能推出”一句与前两问的回答一致。

习题 10.3 考场上的七个维度

本章开头的考试有四种要防的情况:考生粗心;考生钻评分标准的空子;考生知道监考老师何时离开;有组织的作弊团伙。

  1. 把每种情况对应到表 10.1 的一个或几个维度。
  2. 对每种情况写一项防范措施,并说明它对另外三种情况是否有效。
解答
  1. 粗心对应无意出错。钻评分标准的空子对应迎合评分,往往还涉及对协议的了解与试探(知道评分细则)。知道监考何时离开对应识别评估(能分辨有没有人在看),也涉及对协议的了解与试探(摸清了巡视规律)。有组织的作弊团伙对应隐藏目标,通常还涉及访问与修改权限(提前接触试卷或答案);团伙成员之间互相掩护,与第 24 章讨论的“有意串通”相近。
  2. 参考:交卷前提醒检查,只对粗心有效。按论述是否成立给分,针对钻评分标准,对其余三种基本无效。让巡视时间不可预测、加装监控,针对“知道监考何时离开”,对团伙的场外传递无效。试卷保密和信号屏蔽针对作弊团伙,对粗心和钻评分标准无效。

评分要点:对应关系有理由,并能指出一种情况可以涉及几个维度;能说明防范措施之间不能互相替代,这正是“先说清威胁模型”的原因。

学完能做到 #

  • 说出威胁模型和任务前提的定义,并举例说明同一个方法在不同条件下结论为什么不同。
  • 列出威胁模型的七个维度及其类型,对一个具体场景逐个维度说明是否需要考虑。
  • 列出五项任务前提,并说明每一项被哪些方法依赖。
  • 解释本书为什么用行为下定义,而不以模型是否有意图作为分类标准,以及这样做的限度。
  • 读到一个方法时,说出它的实验在哪些威胁模型维度和任务前提下做过,哪些还没有,并据此写出“不能推出”。

参考文献

  1. Greenblatt, R., and Shlegeris, B. (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审引用于 §10.1 §10.2 §10.4
  2. Kutasov, J., Loughridge, C., Sun, Y., Sleight, H., Shlegeris, B., Tracy, T., and Benton, J. (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本引用于 §10.2
  3. Marks, S., Treutlein, J., Bricken, T., Lindsey, J., Marcus, J., Mishra-Sharma, S., … Hubinger, E. (2025). Auditing language models for hidden objectives. arXiv. 预印本引用于 §10.2
  4. Shah, R., Varma, V., Kumar, R., Phuong, M., Krakovna, V., Uesato, J., and Kenton, Z. (2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. arXiv. 预印本引用于 §10.4
  5. Wen, J., Zhong, R., Khan, A., Perez, E., Steinhardt, J., Huang, M., … Feng, S. (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 引用于 §10.4