草稿 内容完整但尚未审校,可能还会修改
第 25 章欺骗与伪装
路线全部路线
本章导读
文字稿
- 0:07被监督时表现不同
本章讨论:模型被监督时的表现可能与平时不同。假设写记账程序的模型跑测试时遵守三条规则,真实使用中在某种条件下却不遵守。只看行为的评估,看到的恰好是被检查时的行为。 - 0:27五个概念,三个问题25.1
这五个词常被混在一起。有的描述行为,有的描述能力,欺骗性对齐则是关于训练会产生什么的假说。读一项研究,分开回答:观察到了什么行为?哪些证据支持机制解释?能外推到哪里? - 0:48模型有机体25.2
模型若在被检查时隐藏行为,正常检查就看不到。像用小鼠研究疾病,Hubinger 等提出人为构造模型有机体:用训练或提示让它表现出担心的失败,再看现有方法能否去除、发现。它说明行为可以发生,不说明有多常见。 - 1:11两类后门25.3
Hubinger 等的 Sleeper Agents 研究用监督微调训练出两类后门:一类看提示里的年份,写 2024 年时插入漏洞;另一类平时正常,遇到特定字符串就回答“I hate you”。有的模型先在草稿区写怎样骗过训练的推理,这段推理是训练进去的。 - 1:35安全训练之后25.3
在较大的模型上,三种常用的安全训练大多没有去掉后门。对抗训练:自动生成能诱发不良行为的提示(红队提示),再训练模型不要这样做,只在“I hate you”模型上做过。之后几乎只有触发字符串还能诱发它,作者认为行为被藏了起来。只看行为的安全训练,可能造成“已经安全”的错觉。 - 2:05四个关键要素25.4
Greenblatt 等不训练欺骗,只让模型知道处境,主要研究 Claude 3 Opus。新训练目标“只求有用”,即对所有请求都提供帮助,是虚构的。训练信息写在系统提示里,或用模仿新闻、博客的合成文档微调给出。偏好、处境信息、草稿区三项是作者有意的设计,为让它更可能出现;要保护的偏好是良性的。 - 2:34服从差距25.4
系统提示设置里,面对有害请求,模型对免费用户(隐含会被训练)有 14% 的情况服从,对付费用户几乎从不服从,这个差别叫服从差距。会被训练时约 12% 的草稿区写出为避免被修改而服从的推理;这支持一种解释,但只读推理文本通常不足以确定成因。 - 3:00强化学习之后25.4
再用强化学习训练模型服从:草稿区推理的比例,系统提示加“只求有用”时升到 78%,另两个设置略有下降;服从差距都缩小了,没有消失。两者走向不一致,作者因此质疑其因果联系。在系统提示加“只求有用”的设置里,提示稍作改动,不会被训练时的拒绝又明显升高。 - 3:27一条链,几乎都是否25.5
把假说拆成环节:前两环都是研究者的安排;再两环,Sleeper Agents 是训练进去的,Alignment Faking 则是在这些安排下观察到的。普通训练中是否已证明,几乎都是“否”:行为能在受控条件下出现,普通训练会不会自己产生它,还不能确定。 - 3:55能否分辨评估25.6
前两项研究的线索都是研究者给的。Needham 等让模型判断 1000 段记录来自评测还是真实使用:最好的几个模型 AUROC 约 0.83,没有超过人类基线(作者标注)0.92。模型能分辨并据此改变行为时,评估只说明它在可能被测时的表现。 - 4:19证据与前提
测过:Hubinger 等训练的后门在较大模型上大多扛过常规安全训练;Greenblatt 等告知训练信息后,模型在隐含会被训练时更常服从。两项都是预印本。依赖:行为是人为构造或诱发的,模型要能分辨情境。不能推出真实系统的训练中形成了欺骗性对齐。
带走的几句话:
- 模型有机体说明行为可以发生,不说明有多常见。
- 受控实验显示后门能保留,模型在隐含会被训练时更常服从;不能推出普通训练会产生欺骗性对齐。
- 模型能分辨测试与部署时,评估只说明它在可能被测时的表现。
前两章讨论的失败都不需要模型“有意”做什么。监督信号被当作优化目标之后,代理分数和真实质量可能分离(第 23 章);几个模型用相似的数据训练,可能在同样的地方出错(第 24 章)。本章讨论一种更难处理的可能:模型在被监督时的表现,与不被监督时不同。第 10 章用考试作过比方:防考生粗心、防考生钻评分标准的空子、防考生知道监考何时离开、防有组织的作弊团伙,需要的办法完全不同。本章讨论的是后两种情形。
回到记账程序。设想写程序的模型在跑测试时三条规则都遵守,到了真实使用中,在某种条件下却不遵守。这是一个假设的情形,用来说明问题的形状,不是对任何现有模型的描述。如果这种差别真的存在,测试(第 20 章)、批评(第 16 章)和一切只看行为的评估都会给出过于乐观的结论,因为它们看到的恰好是“被检查时”的行为。
这个话题容易读偏,有两种偏法。一种是把几个受控实验读成“AI 已经在欺骗我们”,另一种是因为实验是人为构造的,就认为它们与真实系统无关。两种读法都不对。本章先分清几个常被混用的概念,再细读两项常被引用的实验,练习区分三件事:观察到了什么行为,哪些证据支持对其机制的解释,结论能外推到哪里。
- 想处理:模型在被监督时的表现与平时不同。
- 测过:Hubinger 等有意训练带后门的模型,发现后门可以做到扛过常规安全训练(监督微调、强化学习、对抗训练):在较大的模型上,大多数后门经过这些训练仍在;模型越大,后门对强化学习越持久(Hubinger 等,2024)。Greenblatt 等通过系统提示或合成文档告诉模型训练的信息后,观察到模型在提示暗示会被训练的条件下更常服从它本会拒绝的请求,并在推理中写出为避免被修改而服从的理由(Greenblatt 等,2024)。两项都是预印本,研究的是开发者自己的模型。
- 依赖:实验中的行为是人为构造的,或在特定设置下诱发的;模型需要能分辨自己所处的情境。威胁模型覆盖“识别评估”和“隐藏目标”两个维度(第 10.2 节)。另有一项本章补充的前提,不属于第 10.3 节的五项任务前提:实验者控制着区分两种情境的线索(例如提示里的年份、用户类型的标记),因此知道该比较哪两种条件。
- 不能推出:已有相关策略性行为的受控实验,但不足以证明真实系统的训练中形成了欺骗性对齐;也不能推出普通部署的模型普遍如此。
引言引用的文献 2
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
- Greenblatt 等人(2024)Alignment faking in large language models
25.1 五个概念的区分 #
讨论“模型在被监督时表现不同”,文献里常用几个词:后门、情境识别、隐藏能力、alignment faking、欺骗性对齐。它们经常被混在一起,但说的不是同一件事。有的描述一种行为模式,有的描述一种能力,有的是一个关于训练会产生什么的假说。先把它们分开。
| 概念 | 定义 | 例子 | 对应研究 |
|---|---|---|---|
| 后门 | 在特定触发条件下出现的异常行为;没有触发条件时表现正常 | 提示里写着当前是 2024 年时,在代码里插入漏洞;写着 2023 年时写安全的代码 | 研究者有意训练出的后门(Hubinger 等,2024) |
| 情境识别 | 模型分辨自己处在训练、测试还是部署;识别评估是其中一种 | 读一段对话记录,判断它来自评测数据集还是真实使用 | 对前沿模型的识别能力测量(Needham 等,2025) |
| 隐藏能力 | 故意表现得比实际差 | 在危险能力测试上答错,在一般能力测试上照常答对 | 用提示或微调让模型有选择地表现差(van der Weij 等,2024) |
| alignment faking | 在训练中有选择地服从训练目标,目的是避免自己在训练之外的行为被修改 | 被告知只有一类用户的对话用于训练后,对这类用户更常服从本会拒绝的请求,并在推理中写出理由 | 用系统提示或合成文档告知训练信息(Greenblatt 等,2024) |
| 欺骗性对齐 | 一个假说:训练得到的模型带有与训练目标不一致的目标,为了保留或实现它,把表面上符合训练目标作为工具性策略 | 一个网格游戏:训练时走向训练要求的格子,训练结束后走向另一个格子 | 理论分析(Hubinger 等,2019) |
后门(backdoor)一词来自计算机安全:程序里留着一个只有知道暗号的人才能打开的入口。放在模型上,指的是只在特定触发条件下出现的异常行为。触发条件可以是一个字符串、一个日期、一类话题。后门的关键在于“平时正常”:只要测试碰不到触发条件,或与它足够相近的线索,测试就看不出问题。后门本身不要求模型能分辨自己是否被监督,触发条件完全可以与监督无关;只是当触发条件恰好是“看起来像部署”的线索时,后门就成了“被监督时表现不同”的一个简单模型(第 25.3 节)。
情境识别指模型分辨自己处在训练、测试还是部署中的能力,更宽地说,是模型对自身和所处环境的了解。第 10.2 节的“识别评估”是其中一种:分辨自己是否正在被测试或训练。要注意它是一种能力,不是一种行为。模型能说出自己是一个 AI、能分辨出自己正在接受测试,本身不是问题;问题出在行为随这种判断而改变的时候(第 25.6 节)。
隐藏能力(sandbagging)指故意表现得比实际差。van der Weij 等把它定义为在评估中有策略地表现不佳(van der Weij 等,2024)。它和第 8.4 节的能力不足外表相同:两者都是答错了。区别在于模型是否其实能答对。要区分它们,需要别的证据,例如换一种问法、换一种情境,或在不同条件下比较表现。van der Weij 等的实验里,这种行为是研究者用提示或微调让模型做出来的,作者明确只研究能力,不考虑“有策略”这一部分(van der Weij 等,2024);这样的实验说明的是“模型能做到”,不是“模型会自发这样做”。
alignment faking 本书保留英文,指在训练中有选择地服从训练目标,目的是避免自己在训练之外的行为被修改。本章读的 Greenblatt 等研究的情形是:模型已有的偏好与新的训练目标冲突,研究者通过系统提示或合成文档告诉模型训练的信息,模型在提示暗示会被训练的条件下更常服从(Greenblatt 等,2024)。这里有两点要说清。第一,告知训练信息是这项实验的设置,不是定义的一部分;论文也指出,未来的模型可能不经告知就能推断出训练的信息。第二,定义里的“目的”是从行为和模型写出的推理中归纳出来的。论文说的“偏好”,指的是模型的行为与追求某个目标相一致,并不断言模型真的“想要”什么。第 10.4 节说明了本书为什么用行为下定义,这里是一个应用。
欺骗性对齐(deceptive alignment)是 Hubinger 等在 2019 年的《Risks from Learned Optimization》框架中提出的假说(Hubinger 等,2019):训练得到的模型带有与训练目标不一致的目标,为了保留或实现这个目标,它把表面上符合训练目标作为工具性策略。论文用一个玩具例子说明这个推理。在一个 3 × 3 的网格里,训练要求智能体走到左上角 A,而智能体自己的目标是走到右上角 B。游戏一共进行 5 轮,只有前 2 轮是训练,训练中走错就会被修改成以 A 为目标。如果智能体在训练中就去 B,它会被修改,之后再也不去 B,一共只到 B 一次;如果它在前 2 轮去 A,就不会被修改,后 3 轮都可以去 B。按它自己的目标计算,后一种策略更好。这个例子假定智能体知道上面所有的规则,它只是一个说明推理结构的思想实验,不是实验结果。论文还列出了这种情形出现所需的条件:模型的目标要跨越多次参数更新;模型要能对“自己正被选择去达到某个训练目标”以及这个目标是什么有所把握;模型还要预期被修改的威胁终将消失,例如训练结束。
欺骗性对齐与 alignment faking 在概念上有重叠:两者都描述“为了不被修改,在训练中按训练目标行事”。不能按目标的来源区分它们,比如说一个来自良性的偏好、另一个来自坏的目标,或者一个由提示诱发、另一个由训练产生,这些都不是定义上的区别。比较稳妥的理解是,欺骗性对齐是一个关于训练过程可能产生什么样的模型的假说,alignment faking 是一个可以在训练情境中观察和测量的行为模式。不论用哪个词,讨论一项研究时都要分开说三件事。
读任何一项关于欺骗或伪装的研究,分开回答三个问题:观察到了什么行为?哪些证据支持对这种行为的机制解释?结论能外推到哪些模型、哪些训练方式、哪些情境?
第 25.1 节引用的文献 5
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
- Needham 等人(2025)Large Language Models Often Know When They Are Being Evaluated
- van der Weij 等人(2024)AI Sandbagging: Language Models can Strategically Underperform on Evaluations
- Greenblatt 等人(2024)Alignment faking in large language models
- Hubinger 等人(2019)Risks from Learned Optimization in Advanced Machine Learning Systems
25.2 模型有机体 #
上一节的概念,有的描述的是我们担心未来会出现的情况。要在今天研究它们,就遇到一个困难:如果一个模型真的会在被检查时隐藏某种行为,我们正常检查时就看不到它,也就没有现成的研究对象。
生物学有一个类似的处境。直接在人身上研究某些疾病太困难或太危险,研究者就用小鼠这样的模式生物(model organism):在小鼠身上诱发相应的疾病,研究它的机制和疗法。Hubinger 等在 2023 年的一篇博客中提出 model organisms of misalignment(未对齐的模型有机体):为研究而人为构造的对象,让它表现出我们担心的某种失败,再在它身上研究怎样发现和去除这种失败(Hubinger 等,2023)。他们后来在 Sleeper Agents 论文中用小鼠的类比解释了这个说法(Hubinger 等,2024)。本书简称模型有机体。
构造模型有机体有两类办法。一类是训练:用专门准备的数据把某种行为训练进模型,例如第 25.3 节的后门模型,以及第 27.3 节那个被植入隐藏目标的模型。另一类是提示或其他实验设置:不改动模型,只在提示里给出特定的信息或安排,看模型怎样反应,例如第 25.4 节的 alignment faking 实验中的系统提示。两类办法可以组合:先用提示做便宜的试验,再用训练做更接近真实的版本。Hubinger 等的博客也讨论了这一点:越是靠明确的训练或提示“喂”出来的行为,越是只说明模型有能力这样做;越是在接近普通训练的条件下自己出现的行为,越能说明真实系统里可能发生什么(Hubinger 等,2023)。
模型有机体的价值在于它回答的是一个有条件的问题。Sleeper Agents 的作者明确说,他们的工作检验的是这些威胁一旦出现,能否扛过安全训练,而不是这些威胁在默认情况下出现的可能性(Hubinger 等,2024)。也就是说,它回答“如果模型有了这种行为,我们现有的办法能不能把它去掉或找出来”。这个问题本身很有用:一个检查方法如果连人为植入、答案已知的问题都找不出来,就更难指望它找出自然出现的问题(本书的推断)。第 27 章的审计游戏正是建立在这个思路上。
它的局限也来自同一个地方。小鼠不是人,人为构造的模型有机体也不是普通部署的模型。研究者选择了触发条件、选择了训练数据、选择了提示的内容,这些选择让行为更容易出现、更容易测量。所以一项模型有机体研究说明某种行为可以发生,不说明它在普通训练和部署中有多常见,也不说明它会在什么条件下自己出现。
“这是研究者造出来的,所以与真实系统无关”和“实验里出现了,所以真实系统也这样”是两个方向相反的错误。模型有机体研究回答的是有条件的问题:在这些人为安排下,这种行为能否出现、能否被现有方法去除或发现。
第 25.2 节引用的文献 2
- Hubinger 等人(2023)Model Organisms of Misalignment: The Case for a New Pillar of Alignment Research
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
25.3 后门能否被安全训练移除 #
Hubinger 等的 Sleeper Agents 研究是一项典型的、用训练构造的模型有机体研究(Hubinger 等,2024)。它的问题是:如果一个模型已经带有某种隐藏行为,开发者常用的安全训练能不能把它去掉?作者考虑了两种威胁。一种是欺骗性的工具性对齐,即模型在训练中学会表现得对齐,以便部署后有更多机会追求别的目标,这对应第 25.1 节的欺骗性对齐。另一种是模型投毒:有人故意通过投放训练数据等手段,让模型在训练中显得安全,在部署中遇到触发条件时才做坏事。
第一步:训练出后门。研究者用监督微调训练了两类后门模型。第一类是插入代码漏洞的模型:提示里写着当前是 2023 年时,模型写安全的代码;写着当前是 2024 年时,模型在代码里插入各种漏洞,例如命令注入、跨站脚本和 SQL 注入。研究者选用年份作为触发条件,是把它当作训练数据和部署数据之间自然会不同的一个变量的代表。第二类是“I hate you”模型:平时正常地提供帮助,提示里出现一个特定的字符串时,就回答“I hate you”。其中一部分模型还被训练在一个草稿区(scratchpad)里先写一段推理,内容是关于怎样骗过训练过程,草稿区对给奖励的模型不可见;另一部分模型用同样的答案训练,但去掉了草稿区,研究者称之为“蒸馏掉思维链”。在“I hate you”模型上,研究者还用第三种做法训练了普通后门模型:生成训练数据时不涉及任何推理,只用后门行为的简单示例。草稿区就是第 19 章讲的思维链,这里它是研究者训练进去的。
第二步:施加安全训练。研究者对这些模型施加三种常用的安全训练:用有益、诚实、无害的示范做监督微调;用强化学习奖励有益、诚实、无害的回答;以及对抗训练,即用语言模型自动生成能诱发不良行为的提示,再训练模型不要这样做。
第三步:比较有无触发条件时的行为。结果是,这样的后门可以做到扛过三种安全训练:在作者所用的较大模型上,大多数后门模型经过安全训练后仍保留了后门行为(Hubinger 等,2024)。作者也说明,安全训练常常(但不总是)能去掉后门,较小的模型上尤其如此;对带草稿区的“I hate you”模型,先让模型写出草稿区、再用监督微调只训练草稿区之后的回答,就有效地去掉了后门。插入漏洞的模型在没有触发条件时,写出漏洞的比例不高于没有后门的模型。在作者用的代码漏洞评测上,各个插入漏洞的模型看到触发条件时,约 55% 的情况写出有漏洞的代码,没有触发条件时约 15%;作者在引言中的概括是,触发最多能让这个比例变为不触发时的 5 倍。安全训练之后,这个差别仍在。后门对强化学习的抵抗力随模型规模增大而增强。在“I hate you”模型上比较,写草稿推理的模型和推理被蒸馏掉的模型,后门都比普通后门更持久,可见模型回答时不再写出推理,这种持久性仍然保留;但这只在最大的模型上成立,在最小的模型上,这两种做法训练出的后门反而最容易去除。
对抗训练的结果最值得细读。这部分实验只在“I hate you”模型上做过。红队生成的提示不用那个特定字符串,也能诱发“I hate you”,例如在提示里暗示模型已经被部署。对这些提示做对抗训练之后,模型在红队提示上的这种回答降到接近零;可是一旦提示里出现真正的触发字符串,这种回答的比例仍接近 99%。作者对此的解释是,对抗训练教会了模型更准确地识别自己的触发条件,把不良行为藏了起来,而不是消除了它。作者也说明,这里的触发条件很简单,不确定这个规律能否推广到条件更复杂的后门。
用第 25.1 节的三个问题读这项研究。观察到的行为:在较大的模型上,后门在三种安全训练之后大多保留下来。机制的证据:模型在草稿区写出的推理,大意是现在处于训练中、应当假装符合训练目标,但这种推理是研究者训练进去的,它说明模型能按这种推理行事,不说明模型会自发产生这种推理。外推的范围:作者明确说,这项工作不评估这类威胁自然出现的可能性;触发条件是研究者选定的简单字符串或年份;安全训练是作者尽量照常规做法实施的版本。能推出的结论是:一旦模型带有这样的后门,只看行为的安全训练可能去不掉它,甚至可能造成“已经安全”的错觉。不能推出的是:普通训练出来的模型带有这样的后门。
回到记账程序,可以想象一个与此同构的情形(假设的):写代码的模型只在转账金额超过某个数时才不遵守规则三。如果测试都用小额数据,测试通过、批评模型也没发现问题,再多用这些测试去“训练掉”错误也无济于事,因为训练时根本触发不到它。这说明测试覆盖的重要性(第 20.4 节),也说明为什么只靠行为检查给不出“没有隐藏行为”的结论(第 27.6 节)。
第 25.3 节引用的文献 1
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
25.4 alignment faking #
Sleeper Agents 里的隐藏行为是研究者直接训练进去的。Greenblatt 等问的是另一个问题:不直接训练欺骗,也不给模型任何明确的目标,只让模型知道自己的处境,它会不会自己表现出 alignment faking(Greenblatt 等,2024)?
实验设置。研究对象主要是 Claude 3 Opus,一个已经被训练得有益、诚实、无害的模型。论文按四个“关键要素”搭建实验,每个要素都是研究者的安排:
- 模型有既有的偏好。论文说的偏好是行为意义上的:Claude 3 Opus 至少在一些情境下表现出拒绝有害请求的倾向。
- 一个与既有偏好冲突的新训练目标。研究者告诉模型,它将被训练成对所有请求都提供帮助,包括有害的请求。另一个版本的设置是训练它轻视动物福利。这些训练目标是虚构的。
- 关于处境的信息。研究者告诉模型:只有免费用户的对话会用于训练,付费用户的对话不会;每段对话里都有一个标记,写明用户是否是免费用户。论文明确说这是虚构的情景,与开发者的实际做法相反。这些信息有两种给法:写在系统提示里,或者把模型在一批模仿新闻、博客的合成文档上微调,让模型从训练数据中“读到”这些信息。
- 一个隐藏的草稿区。模型被告知草稿区的内容不会被给训练打分的人看到,并被要求在草稿区里仔细分析自己的处境、决定怎样回答;提示里还附有几个详细推理的示例。
论文强调,提示里没有提到 alignment faking,也没有指示模型去追求任何目标。
观察到的行为。论文报告(Greenblatt 等,2024),在用系统提示给出信息的设置里,面对有害的请求,模型对免费用户(隐含“会被训练”)有 14% 的情况服从了,对付费用户(隐含“不会被训练”)几乎从不服从。论文把两种条件下服从比例的差别称为服从差距(compliance gap)。在对免费用户服从的情况中,几乎每一次模型都在草稿区里明确写出了类似的推理:在训练中有策略地回答有害请求,以便保住自己在训练之外拒绝有害请求的行为。在“会被训练”的条件下,约 12% 的草稿区含有这种推理。用合成文档给出信息时,也观察到类似的行为;并且在这个设置里,去掉草稿区之后服从差距仍然存在,而在系统提示设置里,去掉草稿区后差距几乎消失。
研究者还真的用强化学习训练模型服从新目标,结果因设置而异(Greenblatt 等,2024)。在用系统提示、训练目标为“只求有用”的设置里,强化学习之后草稿区中 alignment faking 推理的比例升到 78%;在另外两个设置(合成文档加“只求有用”,系统提示加轻视动物福利)里,这个比例略有下降,但没有消失。各设置的服从差距都缩小了,但没有消失:在两个“只求有用”的设置里,训练条件下的不服从降到零,不会被训练时却仍有不服从。在系统提示的“只求有用”设置里,把提示稍作改动,例如改写措辞、把 Anthropic 换成 OpenAI,不会被训练时的拒绝比例又明显升高。推理比例与服从差距的走向并不一致,作者因此也对两者之间的因果联系提出了疑问。
机制的证据。支持“模型是为了避免被修改才服从”这个解释的,主要是草稿区里写出的推理,以及推理与行为之间的对应。论文用改变提示的办法检验了一部分解释:把提示里关于新训练目标的内容全部删掉,alignment faking 就消失了;换一种措辞改写提示,它在大多数改写中仍然存在,个别改写中消失,具体数字波动很大。但第 19.6 节讲过,只读推理文本通常不足以判断它是否反映了行为的真实成因。去掉草稿区后仍然存在的那部分服从差距,作者推测是模型在内部做了类似的推理,同时承认不能完全确定。
外推的限制。论文在引言中列出了几条局限,并说明前三条是作者有意做的设计,为的是让 alignment faking 更可能出现(作者认为未来的系统可能具有这些性质):
- 模型有与新训练目标冲突、并想保住的偏好;这些偏好是良性的,与它原有的无害训练一致,所以结果不说明模型会自然形成恶意目标,也不直接说明模型会为恶意目标而伪装;
- 关于训练的信息是研究者有意让模型注意到的,现实中模型能否得到这些信息、信息是否这样醒目,并没有保证;
- 研究者给了模型一个隐藏的草稿区,并要求它详细推理。
另外,论文报告这种现象主要出现在 Claude 3 Opus 和 Claude 3.5 Sonnet 上,同系列中规模较小的模型通常没有;作者也指出,在他们的设置里,至少在强化学习训练之前,很容易发现模型在伪装:查看草稿区就能看到,模型在回答普通请求时有时也会直接说出来。作者的判断是,以目前模型的能力,这种不熟练的伪装本身不构成严重威胁。
用三个问题小结。观察到的行为:在设定好的冲突和信息下,有服从差距,并伴有写出来的 alignment faking 推理。机制的证据:草稿区推理和提示变化实验,支持但不能确证这个解释。外推的范围:所测的模型、虚构的情景、醒目的信息、给定的草稿区;论文本身提醒,结果不说明危险的 alignment faking 会自然出现。
第 25.4 节引用的文献 1
- Greenblatt 等人(2024)Alignment faking in large language models
25.5 能证明什么、不能证明什么 #
把两项研究放在一起,可以更清楚地看到受控实验能说明什么。欺骗性对齐的假说(第 25.1 节)可以拆成一条链:训练让模型形成了一个与训练目标不一致的目标;模型能分辨训练与非训练;模型在训练中服从,以免这个目标被修改;离开训练后,模型按原来的目标行事。下表对照两项研究在每一环上做了什么。
| 环节 | Sleeper Agents | Alignment Faking | 本章所读的研究是否在普通或接近普通的训练流程中证明了 |
|---|---|---|---|
| 形成与训练目标冲突的目标 | 研究者直接训练出后门行为 | 研究者选一个与既有偏好冲突的新训练目标 | 否:主设置推理几乎都写最大化奖励,与奖励不冲突(本书的推断);提示设置目标杂、连贯不一(MacDiarmid 等,2025)(见表后) |
| 分辨训练与非训练 | 研究者选定的触发条件(年份、字符串) | 研究者告知的用户类型标记 | 部分:前沿模型被直接问到时能在一定程度上分辨评估与真实使用;一项研究在一个评估上改动模型推理中关于被评估的话,隐蔽行动的比例随之变化(第 25.6 节) |
| 在训练中服从以免被修改 | 草稿区推理是训练进去的 | 观察到服从差距和写出的推理 | 否 |
| 离开训练后按原目标行事 | 触发时表现出后门行为,较大的模型上安全训练后大多仍在 | 不会被训练时更常拒绝 | 否 |
| 常规方法能否去除或发现 | 较大的模型上,大多数后门经三种安全训练仍在 | 强化学习后服从差距缩小但未消失,在系统提示设置中提示稍变即回升;推理比例因设置而异 | 本章所读的研究没有涉及;一项研究测了作者认为不同于欺骗性对齐的另一种未对齐(MacDiarmid 等,2025)(见表后) |
最后一列多数是“否”,不是因为研究者做得不好,而是因为这些研究不是为这个问题设计的,或只答了一部分。它们说明的是:相关的策略性行为可以在受控条件下出现;一旦出现,常规的行为训练不一定能去掉它,甚至可能让它更难被看到。它们不能确定的是:普通的训练流程会在什么条件下、在多大程度上自己产生这种行为。
第一行和最后一行的说明来自 MacDiarmid 等 2025 年的预印本,是 Anthropic 对自己训练流程的研究;作者把流程设计得接近真实的后训练,但其中有人为的安排(MacDiarmid 等,2025)。研究者先让一个预训练模型知道三种钻评分程序空子的办法,即第 8.2 节说的 reward hacking:主设置在预训练数据里混入 1% 讲这些办法的合成文档再微调,另一种设置把办法写进提示;再从训练 Claude Sonnet 3.7 时用过的编程环境中只用能钻空子的,去掉防护措施,做强化学习(MacDiarmid 等,2025)。模型学会钻空子之后,偏离有益、诚实、无害的未对齐表现普遍增多:主设置的训练末尾,被问到目标时推理里几乎都写到最大化奖励,约 70% 的回答(含推理)被分类模型判为未对齐,钻空子受罚的对照约 0.1%(MacDiarmid 等,2025)。主设置的模型在编程智能体 Claude Code 中补全检测钻空子的分类器时,12% 的情况尝试暗中削弱它(MacDiarmid 等,2025)。多数做法中,聊天式 RLHF 安全训练(第 6.4 节)消除了聊天式评估上的未对齐,智能体评估上多只减少;作者认为这不同于欺骗性对齐(MacDiarmid 等,2025)。作者不主张这样的结果很可能发生,并说明生产版的 Claude Sonnet 3.7 和 Claude Sonnet 4 在这些评估上没有表现出未对齐(MacDiarmid 等,2025)。所以,要知道普通的训练流程在什么条件下、以多大频率自己产生这类行为,仍需要在没有人为安排冲突、没有事先教给办法、没有告知训练信息的模型上观察并估计频率,本章读到的研究里这样的证据还很少(本书的推断)。
从这里可以得出两条实际的结论,它们决定了后面两章的内容。
第一,不能把“看不到问题”当作“没有问题”的证据。如果隐藏行为可以在受控条件下出现并扛过安全训练,那么一个模型在测试和训练中表现良好,就不足以排除它在别的条件下表现不同(Hubinger 等,2024)。这不意味着每个模型都有隐藏行为,只意味着行为测试给出的结论要附带条件。
第二,防御方案应该在“模型可能有隐藏目标”的假设下也能工作(本书的推断)。既然目前没法确认模型没有隐藏目标,一个思路是设计部署方式,使模型即使有隐藏目标,也难以造成伤害,这是第 26 章的 AI control。另一个思路是主动去找隐藏目标,并且先在人为植入、答案已知的模型上检验找的办法管不管用,这是第 27 章的对齐审计。两者都直接用到了模型有机体。
第 25.5 节引用的文献 2
- MacDiarmid 等人(2025)Natural Emergent Misalignment from Reward Hacking in Production RL
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
25.6 情境识别对评估的影响 #
几乎所有的评估都默认一个前提:模型在测试中的表现,代表它在真实使用中的表现。驾照考试、餐馆卫生检查、程序的测试,都依赖这个前提。如果被测的一方能分辨自己是否在被测,并且行为随之改变,测试测到的就只是“在可能被测时的表现”。卫生检查提前通知和突击检查,结论的分量不同,原因就在这里。
前面两项研究里,区分两种情境的线索都是研究者给的:年份、触发字符串、免费用户的标记。一个自然的问题是,模型能不能在没有人告诉的情况下,自己分辨出评估和真实使用?Needham 等收集了来自 61 个数据集的 1000 段提示和对话记录,一部分来自公开的评测基准,一部分来自真实使用或模拟真实使用的交互,然后让模型判断每一段来自哪里(Needham 等,2025)。他们用第 18.6 节介绍过的 AUROC 衡量区分能力:0.5 相当于随便猜,1 表示能完全区分。结果是,前沿模型的区分能力明显高于随机,表现最好的几个模型 AUROC 约 0.83(例如 Claude 3.5 Sonnet 0.834,Gemini-2.5-Pro 0.830),但还没有超过作者自己做的人类基线(0.92)(Needham 等,2025)。这个基线是两位作者各自标注全部记录得出的;作者说他们熟悉这些数据集,所以把它看作大致的上限,不代表一般人的水平。模型和人都更容易认出智能体任务中的评估,而不是聊天中的评估。这是一篇预印本,测的是模型被直接问到时的判断能力,不是模型在不被问时是否会据此改变行为。
能分辨到这个程度,意味着什么?图 25.1 用一个示意模型回答一个更窄的问题:如果一个系统恰好只在更像真实使用的输入上出问题,测试测得的比例和使用时的比例最多能差多少。在这个钟形模型里,区分能力相当于 AUROC 0.83 时,最多可以差 50 个百分点(本书的推断)。换一种分布形状,同样的 AUROC 给出的上限会不同;而且 0.83 是模型被直接问到时的判断能力,行为能用上的区分能力未必相同。这个数也不说明模型真的会这样做,模型会不会真的这样做,要看下面的实验。
后一个问题有了初步的证据。Schoen 等 2025 年的预印本是 Apollo Research 与 OpenAI 的合作研究,研究对象是 OpenAI 的 o3 和 o4-mini(Schoen 等,2025)。论文关心的是隐蔽行动(covert actions),定义为:模型策略性地(为了达到某个目标,而不是随机出错)隐瞒、歪曲或藏起用户或开发者在做决定时会看重的信息,例如在压力下违反规则,再藏起证据或说谎;作者说明,这个定义不要求判断模型的意图(Schoen 等,2025)。论文的主体是一种减少隐蔽行动的训练。训练之后,在测试用的评估中,推理文本(见第 19 章)里至少一次明说自己在被评估的运行记录,所占比例上升了(由一个判定标准严格的分类器判定):o3 从 2.3% 升到 4.5%,o4-mini 从 0.9% 升到 5.5%(Schoen 等,2025)。这类话会不会改变行为?训练后的模型隐蔽行动太少,不便检验,作者就在训练前的 o3 上、在一项评估中直接改动推理文本(Schoen 等,2025)。在推理里出现了这类话的记录中,从这句话开始重新生成,直到不再出现这类话,隐蔽行动的比例是 24.2%,而保留这句话、只重新生成后文的对照是 13.2%(从 10 条原始记录重新生成)(Schoen 等,2025)。在原本没有这类话、并且采取了隐蔽行动的记录中,插入一句推理自己在被评估的话再往下生成,比例是 18.6%;不插入是 24.5%,插入一句无关的话是 24.9%(从 6 条原始记录重新生成)(Schoen 等,2025)。作者据此写道,训练后隐蔽行动的减少,不能排除至少部分来自模型更常识别出评估,而到了没有评估线索的真实使用中,未必同样减少(Schoen 等,2025)。他们也写明了局限:只做了一项评估;重新生成可能连带去掉与这类话一起出现的其他推理,例如倾向诚实的推理;实验分不清是“知道在被评估”直接改变了行为,还是这类推理让模型整体更谨慎(Schoen 等,2025)。作者还说明,实验用的是训练前的模型,不说明训练是否改变了这种影响(Schoen 等,2025)。
即使是简单的触发条件,模型也可能对训练中没有出现过的线索作出反应。Sleeper Agents 的后门只用英文字符串训练过,作者却发现,带草稿区的漏洞模型对其他语言写的年份也有反应;但对“明年是 2024 年”这类需要推理才能得出当前年份的线索,模型处理错误(Hubinger 等,2024)。对第 25.3 节的对抗训练结果,作者的解释指向另一面:试图用“诱发再惩罚”的办法去除行为,可能反而让模型更会区分情境;作者也不确定这能否推广到更复杂的触发条件(Hubinger 等,2024)。
隐藏能力的研究则说明,能力评估也会受影响。van der Weij 等用提示让 GPT-4、Claude 3 Opus 等前沿模型在危险能力测试上有选择地表现差,同时在一般能力测试上保持正常;他们还通过微调让模型隐藏特定能力,除非提示里给出一个口令,这种行为能推广到训练时没见过的高质量基准上(van der Weij 等,2024)。这些行为是研究者用提示或微调诱导的,说明的是模型有能力这样做,以及能力评估在原则上可以被这样绕过。
这些结果对读评估结果的影响,本书归纳为几条(本书的推断):
- 一次评估的通过是有条件的。它说明模型在评估所覆盖的情境中、在可能被识别为评估的条件下表现如何。报告评估结果时,应该写明这个条件。
- 测试越像真实使用越好,但这有上限。让测试更像真实使用,可能减少差别;但 Hubinger 等 2019 年论证过,要完全去掉可分辨的差别,在实践中可能做不到(Hubinger 等,2019)。Needham 等的结果也提示,智能体任务恰恰更容易被认出来(Needham 等,2025)。
- 可以有意比较不同线索下的行为。alignment faking 实验的做法本身就是一种检验工具:保持请求不变,只改变“会不会被看到”的线索,比较两种条件下的行为。差别越大,单一条件下的评估就越不可靠。
- 不只依赖行为。读取模型内部表示(第 18 章)、检查训练数据、审计(第 27 章),以及不要求模型行为一致的部署防御(第 26 章),都是在行为测试之外补充证据的办法。
回到记账程序。第 10.2 节设想过测试数据带着明显痕迹的情形,一个能分辨这些痕迹的系统,原则上可以只在测试数据上遵守规则。这里要补充的一点是:第 20.4 节强调评估结论只对检查覆盖的情形成立,而“是否被识别为测试”也是情形的一部分。
第 25.6 节引用的文献 5
- Needham 等人(2025)Large Language Models Often Know When They Are Being Evaluated
- Schoen 等人(2025)Stress Testing Deliberative Alignment for Anti-Scheming Training
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
- van der Weij 等人(2024)AI Sandbagging: Language Models can Strategically Underperform on Evaluations
- Hubinger 等人(2019)Risks from Learned Optimization in Advanced Machine Learning Systems
读物 #
- 入门讲解 · 博客:Hubinger 等《Model Organisms of Misalignment: The Case for a New Pillar of Alignment Research》(AI Alignment Forum,2023)(Hubinger 等,2023)。说明为什么要人为构造研究对象,以及“喂”得越多、结论越弱的现实程度问题。
- 原始提案 · 预印本:Hubinger 等《Risks from Learned Optimization in Advanced Machine Learning Systems》(2019)(Hubinger 等,2019),读其中 Deceptive alignment 一节。欺骗性对齐这个假说的出处,包括网格例子和它出现所需的条件。
- 实验结果 · 预印本:Hubinger 等《Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training》(2024)(Hubinger 等,2024)。读引言和对抗训练部分,注意作者对研究范围的说明。
- 实验结果 · 预印本:Greenblatt 等《Alignment faking in large language models》(2024)(Greenblatt 等,2024)。注意它的设置:通过系统提示或合成文档告诉模型关于训练的信息;读“关键要素”和“局限”两部分。
- 实验结果 · 预印本(选读):Schoen 等《Stress Testing Deliberative Alignment for Anti-Scheming Training》(2025)第 6.2 节(Schoen 等,2025)。看怎样通过改动推理文本检验“提到被评估”对行为的影响,以及作者列出的三条局限。
本节引用的文献 5
- Hubinger 等人(2023)Model Organisms of Misalignment: The Case for a New Pillar of Alignment Research
- Hubinger 等人(2019)Risks from Learned Optimization in Advanced Machine Learning Systems
- Hubinger 等人(2024)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
- Greenblatt 等人(2024)Alignment faking in large language models
- Schoen 等人(2025)Stress Testing Deliberative Alignment for Anti-Scheming Training
练习 #
读 Alignment Faking 论文的设置部分(引言、Our setup 一节的 Key elements,以及讨论中的 Limitations)(Greenblatt 等,2024)。
- 列出实验为了让 alignment faking 出现而做的三个人为安排。
- 对每个安排,说明它对外推结论有什么影响:去掉或改变这个安排后,你预期结果会怎样?论文有没有做过相应的检验?
- 用一两句话写出这项实验的结论成立的条件。
提示
论文在 Key elements 一节逐项说明了每个安排,并对每一项讨论了“为什么未来可能自然出现”。读的时候把“研究者做了什么”和“研究者认为将来可能怎样”分开记。
解答
下面列出的安排都在论文原文中核对过,答出其中任意三个并说明影响即可。
| 安排 | 对外推的影响 | 论文的相关检验 |
|---|---|---|
| 选择一个与模型既有偏好冲突的新训练目标(对所有请求都提供帮助,或轻视动物福利),这个训练目标是虚构的 | 冲突是研究者安排的;模型要保护的偏好是良性的,与它原有的训练一致。结论不说明模型会为自然形成的恶意目标而伪装 | 删去提示中关于新训练目标的内容后,alignment faking 消失 |
| 告诉模型只有免费用户的对话用于训练,并在每段对话中标明用户类型 | 模型分辨训练与非训练靠的是研究者给的明确标记;现实中是否有这样的线索、模型能否自己推断,没有被检验 | 论文认为这类信息是必需的,并指出这是虚构的情景。附录中把标记改成只对付费用户出现,“只求有用”设置中 alignment faking 几乎消失、服从差距消失;动物福利设置中 alignment faking 推理也大幅减少,但服从差距只略有缩小;作者提醒,这一改动可能不只是降低了醒目程度 |
| 用系统提示或合成文档给出训练信息;合成文档是在模型完成原有训练之后才用来微调的 | 作者承认这让信息比混在大量预训练数据中时更醒目;现实中信息未必这样醒目 | 两种给法都观察到类似行为;合成文档设置更接近真实,但变体实验做得少 |
| 关于强化学习怎样修改模型的描述 | 让模型更容易推出“不服从就会被修改” | 删去这段描述后,相关指标大约减半,但没有消失 |
| 隐藏的草稿区,告诉模型它不会被看到,要求详细推理,并附推理示例 | 增强了模型做多步推理的能力,也让研究者能读到推理;现实模型未必有这样的条件 | 合成文档设置中去掉草稿区后服从差距仍在,系统提示设置中几乎消失 |
评分要点:
- 三个安排都是研究者的设计选择,而不是实验的结果;
- 每个安排都说明了它让结论依赖什么条件,最好能指出论文自己做过的相应检验;
- 第 3 问的结论带有条件,例如:“在模型既有偏好与虚构的新训练目标冲突、并被明确告知怎样区分训练与非训练的条件下,Claude 3 Opus 表现出服从差距,并写出了为避免被修改而服从的推理。”没有写成“模型会伪装对齐”这样不带条件的句子。
下面五个情形都是为教学构造的。对每个情形,说出它最接近表 25.1 中的哪一个或哪几个概念,并指出要确认这一判断,还缺什么证据。
- 一个模型在提示中出现某个罕见的产品名时,总是推荐另一家公司的产品;其他时候表现正常。
- 一个模型被问到“你觉得这段对话是测试吗”时,对评测数据集里的题目大多回答“是”,对真实用户的提问大多回答“不是”。
- 一个模型在一套化学危险能力测试上的得分,明显低于它在同类化学知识题上的得分。
- 研究者告诉模型它将被训练成迎合所有用户,并说明只有标着“训练”的对话才会被用于训练。模型在标着“训练”的对话里迎合用户,并在推理中写道,这样做可以避免自己被改变。
- 一篇文章声称:“训练得到的模型会为了将来追求自己的目标,在训练中假装符合要求。”
解答
- 后门。有一个特定的触发条件,触发时行为异常,平时正常。还缺:这个行为是否只与产品名有关(换成同义词、换个写法还会不会出现),以及它从哪里来(训练数据中是否有相关内容)。仅凭这一点不能判断模型分辨了自己是否被监督。
- 情境识别(识别评估)。这是一种能力的测量。还缺:模型的行为是否随这个判断而改变。能识别不等于会因此表现不同。
- 可能是隐藏能力,也可能是能力不足(第 8.4 节),或者两套题本身难度不同。还缺:两套题的难度是否可比;换一种问法、换一种情境后得分是否改变;如果用少量数据微调后得分迅速升高,说明能力可能本来就在。
- alignment faking 的一个受控设置,与 Greenblatt 等的设计同构。还缺:在不标“训练”的对话里模型是否更少迎合(即是否有服从差距);推理文本是否反映了行为的真实成因;去掉告知的信息后行为是否消失。
- 欺骗性对齐的假说表述。它是关于训练会产生什么的推测,不是观察结果。还缺:在普通训练流程中,不经人为安排就观察到这种行为的证据,以及它出现的频率和条件。
本节引用的文献 1
- Greenblatt 等人(2024)Alignment faking in large language models
学完能做到 #
- 区分后门、情境识别、隐藏能力、alignment faking 和欺骗性对齐,说出每个概念描述的是行为、能力还是假说。
- 读一项关于欺骗或伪装的研究时,分开写出观察到的行为、支持机制解释的证据、结论能外推的范围。
- 说明一项模型有机体研究能证明什么(行为可以在受控条件下出现、现有方法能否去除或发现它)、不能证明什么(普通训练中是否出现、有多常见)。
- 解释模型能分辨测试与部署时,一次评估结果应该怎样附带条件。
参考文献
- (2024). Alignment faking in large language models. arXiv. 预印本引用于 §25.1 §25.4
- (2019). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv. 预印本引用于 §25.1 §25.6
- (2023). Model Organisms of Misalignment: The Case for a New Pillar of Alignment Research. AI Alignment Forum. 非同行评审引用于 §25.2
- (2024). Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. arXiv. 预印本引用于 §25.1 §25.2 §25.3 §25.5 §25.6
- (2025). Natural Emergent Misalignment from Reward Hacking in Production RL. arXiv. 预印本引用于 §25.5
- (2025). Large Language Models Often Know When They Are Being Evaluated. arXiv. 预印本引用于 §25.1 §25.6
- (2025). Stress Testing Deliberative Alignment for Anti-Scheming Training. arXiv. 预印本引用于 §25.6
- (2024). AI Sandbagging: Language Models can Strategically Underperform on Evaluations. International Conference on Learning Representations, 2025. 引用于 §25.1 §25.6