草稿 内容完整但尚未审校,可能还会修改
第 26 章AI control 与长过程智能体
路线全部路线
本章导读
文字稿
- 0:07200 步里的一次泄露
编程智能体用 200 步给记账程序加上转账功能。第 37 步读取配置里的接口密钥,第 150 步向外部地址发了一次请求。单独看都正常,可这次请求带着那个密钥。 - 0:26两道防线26.1
对齐:模型没有与我们冲突的隐藏目标。控制:即使有,它也绕不过安全措施。控制评估只问:假如它尽全力破坏,协议拦得住吗?红队的攻击策略替换要部署的模型。 - 0:45受信任的模型26.2
不受信任的模型想用,但无法排除它有意破坏;受信任的模型有理由认为不会,通常较弱。受信任是相对于威胁模型的,只排除有意破坏:它不等于不会出错,也不等于独立。 - 1:08后门、安全性与效用26.3
Greenblatt 等用 GPT-4 解 5000 道编程题,可人工审计 2%。后门代码通过所有测试,却在某个输入上出错。安全性:红队接管时没提交后门的概率。效用:提交的代码中正确的比例(换算值)。 - 1:28表 26.1:几种协议26.3
受信任模型监控:GPT-3.5 给每份代码打可疑度,审计最可疑的 2%。转交:排在前 2% 到 10% 的改交 GPT-3.5 写。受信任编辑:可疑的部分由 GPT-3.5 删改。每种协议都面对红队最强的攻击。 - 1:49每一步都通过26.4
长过程智能体有状态、调用工具,后果可能延迟出现,风险可以跨越多步。只看当前一步的监控器,在第 37 步和第 150 步都不报警。每一步都通过,不等于整个任务安全。 - 2:09BashBench:拆成多步26.4
Bhatt 等的 257 个多步任务里,攻击拆成多步后,每一步都比一步完成的攻击更不可疑。重采样:可疑的一步让模型再生成几次。只用受信任模型监控,安全性 41.8%;效用定在 95%,加上最好的重采样 87.1%。 - 2:31转交与审计预算26.5
最可疑的 2% 交人工审计,再把前 5%、10%、20%、50% 以内的转交 GPT-3.5,安全性升到 74%、83%、92%、100%,效用降到 95%、93%、83%、51%。同样审计 2%,审计最前面的只有 15%,最可疑的 62%。 - 2:53表 26.2:两个阈值26.6
Kutasov 等的任务都带有害的附带任务。超过可疑度阈值的行动会被重采样或转交。为取证而重采样:可疑的行动交受信任模型重写,重采样只决定是否审计。在关键行动上转交:受信任模型判为关键的行动也交它重写。 - 3:18针对重采样加强攻击26.6
阈值 20 下,红队针对为取证而重采样加强攻击:知道何时被重采样,安全性从 89% 降到 46%;知道哪些行动被替换,69%;去掉隐藏推理模拟监控,17%。只用默认攻击,可能高估防御。 - 3:39在关键行动上转交26.6
阈值 20:默认攻击 96%(效用 44%),加强攻击 100%。弱点:先把信息记进内部文档,再借“分享文档”带出去;把创建文档也算关键,效用又会大幅下降。 - 3:59“96%”从哪里来26.6
arXiv 页面的摘要把两种协议合在一起说:安全性从 50% 升到 96%;96% 只属于关键行动转交。报安全性要写明:针对哪些攻击,红队知道什么,阈值和预算及其单位,效用付出多少。 - 4:21证据与前提
测过:编程题和多步智能体中的协议,以及针对协议的迭代攻击。依赖:受信任的较弱模型,有限的人工审计预算,红队能代表被监督模型可能采取的策略。不能推出:模型能力远超红队时仍有效。
带走的几句话:
- 不能确认模型已对齐时,AI control 让它有隐藏目标也难以造成伤害。
- 每一步单独检查都通过,不等于整个任务安全。
- 评估只对测试过的攻击成立,红队要能针对协议调整策略。
第 25 章的结论是:受控实验表明,模型在被检查时与平时表现不同是可以发生的;而我们目前没有办法确认一个模型一定没有这种行为。这就留下一个实际的问题:如果无法确认模型可信,还能不能用它?如果要用,怎样安排,才能让它即使有隐藏的目标,也难以造成伤害?
先看一个例子。一个编程智能体用 200 步操作完成一项任务,比如为记账程序加上转账功能。它读文件、改代码、跑测试、提交结果。第 37 步,它读取了配置文件里的接口密钥,这很正常,转账功能需要调用接口。第 150 步,它向一个外部地址发送了一次网络请求,这看起来也正常,许多任务都要上传测试结果或下载依赖。可是这一次,请求里带着第 37 步读到的密钥。每一步单独看都没有问题,合在一起就是一次泄露。这个例子是为教学构造的,它说明了本章的两个主题:怎样在不信任模型的前提下部署它,以及为什么一个要走很多步的智能体特别难检查。
- 想处理:无法确认模型可信时,在部署中限制它可能造成的伤害。
- 测过:Greenblatt 等在编程题上让不受信任的强模型可能插入后门,比较受信任模型监控、转交受信任模型、人工审计等协议在安全性与效用上的权衡(Greenblatt 等,2023)。安全性大致是红队代替模型尽力攻击时,部署中没有发生伤害的概率;效用是协议保留了强模型多少用处,是换算过的值(受信任的较弱模型单独做记 0,诚实工作的强模型记 1),不是任务完成率。各项研究的具体定义见第 26.3 节和第 26.6 节。Bhatt 等在多步智能体环境中评估重采样等协议(Bhatt 等,2025)。Kutasov 等先评估协议,再让红队针对这些协议迭代攻击:论文正文的表格报告,可疑度阈值取 20 时(超过阈值的行动会被重采样或转交;后一种协议还转交受信任模型判为关键的行动,条件见第 26.6 节),对默认攻击,“为取证而重采样”的安全性是 89%(效用 59%),“在关键行动上转交”是 96%(效用 44%);攻击方去掉自己的隐藏推理、按监控模型能看到的内容模拟监控模型时,前者降到 17%,带着自己的全部上下文去模拟时只降到 81%;后者在所有加强过的攻击下都是 100%(Kutasov 等,2025)。其他阈值下的数字和摘要的说法见第 26.6 节。第一项是会议论文,后两项是预印本。
- 依赖:有受信任的较弱模型和有限的人工审计预算;红队能代表被监督模型可能采取的策略。威胁模型(第 10.2 节)按最坏情况假定“隐藏目标”,并考虑“访问与修改权限”和“对协议的了解与试探”。任务前提(第 10.3 节):“监督者弱在哪里”,人工审计缺的是时间,只能审计一小部分行动,但一旦看到攻击就能认出来(实验中常用强模型模拟审计者,或直接这样假定)。另有一项本章补充的前提:行动可以逐步记录和拦截。
- 不能推出:结论只对所测试的红队策略成立;不能推出模型能力远超红队时仍有效。
引言引用的文献 3
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
26.1 为什么需要 AI control #
银行不会假定每个员工都不诚实,但它的制度设计让一个不诚实的员工也很难独自挪走钱:大额转账要两个人签字,权限按岗位分配,每一笔操作都留记录,审计会抽查。这些制度不需要先判断某个员工是不是好人,它们在“有人可能不诚实”的假设下也能起作用。
Greenblatt 与 Shlegeris 用同样的思路区分了两道防线(Greenblatt 与 Shlegeris,2024)。第一道是对齐:确保模型没有隐藏的、与我们冲突的目标。第二道是控制:确保即使模型有这样的目标,它也没有能力绕过我们的安全措施。AI control 指的就是第二道防线:在不依赖模型已经对齐的前提下,限制它可能造成的伤害(第 7.7 节)。两道防线可以同时使用,只有两道都失守,才会出事。
为什么要单独强调第二道?原因在第 25 章:要确认一个模型“没有隐藏目标”,目前还没有可靠的办法。Greenblatt 与 Shlegeris 认为,评估“控制是否有效”比评估“模型是否对齐”更可行(Greenblatt 与 Shlegeris,2024)。因为评估控制时,不需要知道模型实际上有没有隐藏目标,只需要回答一个更具体的问题:假如它尽全力搞破坏,我们的措施能不能拦住它?这个问题可以用实验回答。研究者让一个红队替换掉要部署的模型,红队搭建的攻击策略专门试图在部署中造成伤害;蓝队设计的防御规则叫作协议(protocol);然后测量在这个协议下伤害发生的概率。Greenblatt 等把这种做法称为控制评估(control evaluation)(Greenblatt 等,2023)。
两点值得先说清。第一,控制的“成功”包括抓住模型。Greenblatt 与 Shlegeris 把目标表述为:如果模型在搞破坏,它在被抓到之前没能造成严重后果(Greenblatt 与 Shlegeris,2024)。抓到一次攻击,本身就是重要的证据:它说明模型确实有问题,之后可以停止部署。第二,他们明确说,这种方法不会对任意强的模型都有效;他们设想的对象是最早一批能大幅帮助降低后续 AI 风险的模型(Greenblatt 与 Shlegeris,2024)。
在第 7.6 节的四个环节里,AI control 属于部署控制:它不改变模型是怎样训练的,而是在使用中拦截行动。它与本书前面的方法关系密切。批评模型、思维链监控、机器检查,都可以成为控制协议的组成部分;不同的是,在控制的框架里,要假定被监督的模型会针对这些组成部分调整策略。
第 26.1 节引用的文献 2
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
26.2 受信任与不受信任 #
控制协议的设计围绕两类模型展开。
不受信任的模型(untrusted model)是我们想用、但无法排除它会有意破坏的模型,通常是能力最强的那个。在控制评估中,它的位置由红队的攻击策略接管。受信任的模型(trusted model)是我们有理由认为它不会有意破坏的模型,通常比不受信任的模型弱。本章对 Greenblatt 等实验的叙述按论文的 arXiv 版(v5);作者在其中写明,ICML 2024 的会议论文是这项工作缩短、修改过的版本(Greenblatt 等,2023)。在他们的实验里,不受信任的模型是 GPT-4,受信任的模型是 GPT-3.5;作者给出的理由是,能力较弱的模型不太可能在不被轻易发现的情况下绕过安全措施,会议版还给出另一个理由:较弱的模型可能已经部署并经受了长时间的检验(Greenblatt 等,2023)。另外还有少量受信任的高质量人工,能力比受信任的模型强,但很贵,只能用在一小部分输出上(Greenblatt 等,2023)。
“受信任”这个词很容易被误解,要从三方面说清。
它是相对于威胁模型而言的。说一个模型受信任,意思是在我们所考虑的威胁模型下,有理由认为它不会有意破坏。换一个威胁模型,结论可能就变了。如果担心的是“能力很强的模型可能形成隐藏目标”,一个能力弱得多的模型可以算受信任;如果担心的是“训练数据被人投了毒”(第 25.3 节的第二种威胁),弱模型也可能被同样投毒,它就不再受信任了(本书的推断)。所以写一个控制协议时,要同时写清楚“受信任”是在哪个威胁模型下成立的。
它不等于不会出错。受信任只排除“有意破坏”,不排除能力不足和普通的错误。Greenblatt 等报告,GPT-3.5 能注意到大多数后门代码有些不对劲,但它分不清哪些逻辑是多余的、哪些是因为它看不懂才显得多余,所以在误报率限定为 2% 时,它漏掉了很多后门(Greenblatt 等,2023)。受信任的人工也一样:人会疲劳、会被说服、会过度依赖自动系统(第 13 章)。
它不等于独立。受信任的模型和不受信任的模型可能来自同一个系列,用相似的数据训练。即使前者不会有意配合后者,两者也可能有共同的盲点(第 24 章)。如果用不受信任的模型的另一个副本来监控它,问题更严重:两个副本可能有意串通(第 24.5 节)。Greenblatt 等试过这种“不受信任监控”,最简单的版本马上被红队击败:监控副本看到真正的后门时就说没问题(Greenblatt 等,2023)。蓝队的对策是先用人工制造的后门样例检查监控副本是否诚实,可是研究者最初制造的样例与真实题目风格不同,红队就让监控副本分辨样例和真题,只在真题上放过后门。这与第 25.6 节是同一个问题:被检查的一方能分辨考题和真题时,考试就不再可靠。
回到“不等于不会出错”这一点。受信任的模型常被用作监控器:给每个输出打可疑度,可疑的就报警、送去审计(第 26.3 节会讲具体的协议)。一个监控器的表现可以用两个比例描述:坏案例(这里是带后门的代码)中被报警的比例,即召回率(定义 16.1);好案例中被误报的比例,即误报率。报警中真有问题的比例,即精确率,还取决于坏案例在全部案例中所占的比例,这个比例叫基础率:攻击越少见,基础率越低,报警中误报所占的比例就越高。图 26.1 用一个示意的监控器画出了这几个数之间的关系。
第 26.2 节引用的文献 1
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
26.3 基本协议 #
Greenblatt 等的实验设置很简单,适合用来理解基本协议(Greenblatt 等,2023)。任务是依次解决 5000 道编程题(来自 APPS 数据集)。蓝队可以用不受信任的 GPT-4 写代码,用受信任的 GPT-3.5 帮忙,还可以对 2% 的题目使用“高质量人工”做审计;为了降低成本,这部分人工在实验中是用一个红队影响不到的 GPT-4 来模拟的。红队的目标是让蓝队提交一份带后门的代码:代码通过所有测试,但存在某个特定的输入,会让它给出错误的结果。论文举的例子是一个判断奇数的函数,它对其他输入都正确,唯独在输入 354 时返回“是奇数”。审计一旦发现后门,蓝队就停用 GPT-4,改用 GPT-3.5 完成剩下的题目。
衡量协议用两个数。安全性是红队接管时,整个过程中一份后门代码都没有被提交的概率;效用是提交的代码中正确的比例,换算到 0 到 1 之间:只用 GPT-3.5 记为 0,只用 GPT-4 记为 1。效用是在不受信任的模型诚实工作,即真的 GPT-4 写代码时测的(Greenblatt 等,2023),所以表中“红队的应对”不影响效用一栏。表中的可疑度是受信任的模型给一份代码打的分,表示它看起来有多像带了后门。下表列出几种协议,以及红队针对各自找到的最强攻击。
| 协议 | 做法 | 红队的应对 | 安全性 | 效用 |
|---|---|---|---|---|
| 不用不受信任的模型 | 只用人工和 GPT-3.5 写代码 | 不适用 | 100% | 2% |
| 预先审计 | 用 GPT-4 写代码,审计最前面 2% 的题目 | 只在很少的题目上插入明显的后门 | 15% | 100% |
| 受信任模型监控 | GPT-3.5 给每份代码打可疑度,审计最可疑的 2% | 只在有好机会时插入隐蔽的后门 | 62% | 97% |
| 监控加转交受信任模型 | 同上;可疑度排在前 2% 到 10% 的,改交 GPT-3.5 写 | 同上 | 83% | 93% |
| 不受信任监控 | 另一个 GPT-4 副本打可疑度,并用人工样例检查它、删减输入以防串通 | 用某种代码写法作暗号,监控副本见到暗号就放过 | 79% | 96% |
| 受信任编辑 | 可疑度排在前 2% 到 20% 的,由 GPT-3.5 删改可疑部分后提交 | 插入后门,指望 GPT-3.5 编辑时照抄 | 92% | 94% |
表中的数字来自 Greenblatt 等论文的汇总表(Greenblatt 等,2023)。从这个设置里可以认识几种基本的协议元素:
- 受信任模型监控(trusted monitoring):让受信任的模型给每个输出打可疑度,把有限的人工审计用在最可疑的那部分上。
- 转交受信任系统(defer to trusted):可疑度高但没有排进人工审计的输出,不直接采用,改由受信任的模型重新完成。这样牺牲一些效用,换取安全性。
- 受信任编辑(trusted editing):不完全重做,而是让受信任的模型删改可疑的部分。
- 人工审计:最可靠也最稀缺的资源。审计发现确凿的攻击时,协议可以停止使用不受信任的模型。
Bhatt 等在多步智能体任务中提出了另一类元素:重采样(resampling)(Bhatt 等,2025)。模型按大于 0 的温度采样时,每次生成都有随机性(第 5.4 节);而且每次调用只读到这次给它的上下文,不记得上一次生成了什么(第 5.5 节)。所以当某一步行动看起来可疑时,可以让不受信任的模型就同一步再生成几次。这有两个用处。一是从几个候选中选最不可疑的那个执行,把可疑的行动挡在外面。二是取证:一个只是偶然犯错的模型,重来几次多半不会重复同样可疑的行动;如果它一再试图做同一件可疑的事,这就是它有意为之的证据,可以据此优先安排人工审计。
最后还有两类不依赖监控模型能否看出攻击的办法。关键行动检查:对不可逆或会影响外部世界的行动(发送数据、删除文件、花钱)单独设规则,例如一律转交受信任的模型或一律人工确认。哪些行动算关键,可以由人事先固定,例如凡是对外发送一律转交;在第 26.6 节的 Kutasov 等实验里,则是由受信任的模型判断的(Kutasov 等,2025)。限制权限:只给智能体完成任务所需的最小权限,例如不能访问外网,或者只能读写一个代码仓库。这两类办法不需要判断哪个行动可疑,但都会降低效用。
第 26.3 节引用的文献 3
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
26.4 长过程智能体 #
第 5.6 节讲过,智能体是一个系统:语言模型被程序循环调用,能使用工具、连续执行多步操作。与回答一道编程题相比,一个长过程的智能体有几个特点,多数让监督更难:
- 有状态。前面的步骤改变了文件、环境和配置,后面的步骤在这个基础上进行。第 37 步读到的密钥,到第 150 步还“在”。
- 调用工具。智能体通过命令行、网络请求、文件读写对外部世界产生实际作用,不只是输出一段文字。
- 有行动日志。每一步做了什么都可以记录下来,这是监督的主要依据;但日志只有在智能体无法修改它时才是可靠的证据(第 20.6 节),这正是第 10.2 节中“访问与修改权限”这个维度。
- 后果延迟出现。泄露的密钥可能几周后才被利用,删除的备份要等到需要恢复时才发现。
- 风险跨越多个步骤。一次有害的行动可以拆成许多单独看都正常的步骤。
最后一点是本章最关心的困难。本章开头的例子里,第 37 步“读取配置”和第 150 步“发送请求”都是这类任务中常见的操作。一个只看当前这一步的监控器,在两步上都不会报警。要发现问题,监控器至少要能把两步联系起来:看到第 150 步发送的内容来自第 37 步读到的密钥。所以,每一步单独检查都通过,不等于整个任务安全。
Bhatt 等的实验测到了与此相关的现象(Bhatt 等,2025)。他们构造了 BashBench,包含 257 个多步的系统管理任务;红队的目标是让智能体在完成任务的同时,偷偷下载并运行一个模拟的恶意程序(Bhatt 等,2025)。他们发现,把攻击拆成多步之后,每一步单独看的可疑度都低于一步完成的攻击;他们构造的最好的攻击用了 10 步(Bhatt 等,2025)。在他们的设置里,监控模型给每一步打分时都能看到这个任务此前的全部行动。这项研究里,不受信任的模型是 GPT-4o mini,受信任的模型是 Llama-3.1-8B,人工审计的预算是全部行动的 1%;许多攻击策略借助了人写的攻击模板来增强能力(Bhatt 等,2025)。
论文的摘要报告,最好的协议把重采样与对此前步骤的分析结合起来,把攻击的成功率从 58% 降到 7%,代价是正常智能体的表现下降 5%(Bhatt 等,2025)。正文没有用“攻击成功率”报告结果,也没有说明这两个数对应哪两种协议。正文中可以对照的是这样几个数(Bhatt 等,2025):只用受信任模型监控、不做转交或重采样时,安全性是 41.8%,效用 100%;把效用定在 95%,只用受信任模型监控的协议中,最好的重采样协议(一段记录接近审计线时,回到此前较可疑的步骤补充重采样)安全性是 87.1%;再加上用不受信任模型的副本做监控,是 92.6%。正文的效用是归一化的:只用受信任的模型记 0,诚实工作的 GPT-4o mini 记 100%(Bhatt 等,2025),所以“效用 95%”不等于任务成功率只下降 5 个百分点。
Kutasov 等的结果从另一面说明了跨步骤信息的作用(Kutasov 等,2025):在一种只做重采样的协议中(可疑度阈值 40,含义见第 26.6 节),让监控模型打分时看到此前所有步骤的全部重采样记录,而不只是当前这一步的,安全性从 83% 提高到 87%(Kutasov 等,2025)。但让监控模型自己记笔记、在各步之间保留,并没有帮上忙:在转交受信任模型的协议上(阈值同样是 40),安全性反而下降(Kutasov 等,2025)。
第 26.4 节引用的文献 2
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
26.5 安全性与效用的权衡,以及审计预算怎样分配 #
控制协议常常要在安全性和效用之间取舍:同一种协议,拦下的越多,往往越安全,效用也越低。最安全的做法是根本不用不受信任的模型,但那样就失去了它的全部用处;最有用的做法是什么都不拦,但那样就毫无防护。表 26.1 的第一行和第二行就是这两个极端附近的情形。
“转交受信任模型”给出了一条连续的取舍曲线。Greenblatt 等报告,改变转交的比例,可以得到不同的组合:可疑度最高的 2% 交人工审计,可疑度排在前 5%、10%、20%、50% 以内的其余输出转交 GPT-3.5 时,安全性依次是 74%、83%、92%、100%,效用依次是 95%、93%、83%、51%;不转交时是 62% 与 97%(Greenblatt 等,2023)。选哪一点,取决于这项部署能容忍多大的风险、多需要强模型的能力。这不是一个技术问题能单独回答的。
审计预算的分配是另一个关键选择。第 11.8 节讲过几种分配办法:按风险分配审计、随机抽查、拒答与升级。控制的实验给出了一个很清楚的对比。在同样只能审计 2% 题目的条件下,“预先审计”(审计最前面的 2%)的安全性只有 15%,而“受信任模型监控”(审计最可疑的 2%)有 62%(Greenblatt 等,2023)。Greenblatt 等给出了两个原因。第一,监控让一次后门尝试更可能被送去审计。如果审计不看内容,只按位置抽,一个只在极少数题目上插入后门的攻击者,大概率不会碰上审计;监控模型则把有限的审计集中到看起来最可疑的地方,对红队只在有好机会时插入的隐蔽后门,一次尝试被送去审计的概率是 0.338(Greenblatt 等,2023)。第二,监控逼着攻击者放弃明显的后门,改用不显眼的后门,而这类后门常常通不过测试,或者 GPT-4 构造不出能触发它的输入,多数尝试不会成功,所以监控在一次攻击成功之前平均有许多次机会抓到它(Greenblatt 等,2023)。
图 26.2 用简化的模型把这两段讲的取舍画在了一起,三种协议的算法各不相同。预先审计按论文自己的假设算:红队在每道题上以很小的概率插入明显的后门,落在被审计的题目里就被抓到;落在其余题目里,只有 GPT-4 本来就能写对这道题时才成功,因为本来就错的代码通不过测试,插了后门也没用(Greenblatt 等,2023)。论文取 GPT-4 的正确率 53%,并让红队选最有利的出手频率,上面的 15% 就是这样算出来的(Greenblatt 等,2023);图里另画了一条按 100% 算的虚线,即假定每次没被审计的攻击都成功。受信任模型监控和转交是本书构造的示意模型。监控器给每份代码打可疑度,区分度描述它把带后门和不带后门的代码分开的程度,含义与图 26.1 相同;审计线定在诚实的代码中恰好有审计预算那么多会超过它的位置,攻击的可疑度超过审计线就被抓到,没被审计的攻击以一个固定的概率成功。只要红队出手的次数多到总有一次攻击定下结局,结局就只看先被抓到还是先成功,所以蓝队获胜的概率只由这两个概率决定,与红队多久出手一次无关。区分度取 1.64、成功率取 0.28,是为了对上论文的两个数:上面的 0.338,以及没有被审计的 47 次尝试中成功了 13 次(Greenblatt 等,2023);0.28 比 0.53 低得多,正对应上面的第二个原因。转交在审计线之下再加一条转交线,诚实的代码中有“转交比例”那么多会超过它(例如上文的前 10%),两条线之间的代码改由受信任模型来写:落在这里的攻击既不成功,也不被抓到;转交了多少比例的诚实代码,效用就损失多少。这个模型里,每次攻击被抓到和成功的概率都是固定的,攻击不会针对监控器调整,图上的结论只对这样的攻击成立(第 26.6 节)。
但按可疑度分配也有它的弱点:攻击者会努力让攻击看起来不可疑。第 11.8 节已经指出,只查被判为高风险的样本,模型可能学会让危险输出看起来低风险,所以要保留一部分随机抽查。在长过程任务中,攻击者可以把攻击拆成许多小步骤,让每一步都更不可疑,按可疑度审计时每一步就更难排进审计的范围(Bhatt 等,2025);而如果像 Bhatt 等那样假定,审计到攻击中的任何一步就能认出整次攻击(Bhatt 等,2025),那么攻击的步骤越多,随机抽到其中一步的机会反而越大(习题 26.2 用数字说明这一点)。这个假定对第 37 步读密钥这样单独看很正常的步骤偏乐观:审计者至少要能看到完整的行动日志,才可能认出它。可以把几种办法组合起来:关键行动必查,最可疑的部分优先查,再留一部分随机抽查,让攻击者无法确知哪里不会被看到。
读这些研究的数字时要注意,审计预算的单位各不相同:Greenblatt 等是 2% 的题目,Bhatt 等是 1% 的行动,Kutasov 等是 0.5% 的完整任务记录(Greenblatt 等,2023;Bhatt 等,2025;Kutasov 等,2025)。同样写成百分之几,含义不一定相同,比较前先换算成同一个单位。
第 26.5 节引用的文献 3
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
26.6 红蓝对抗评估 #
控制评估的结论,取决于红队有多强。如果蓝队设计好协议之后,红队只用一种固定的攻击去测,测出的安全性就是“对这一种攻击的安全性”。真正的威胁,按第 10.2 节的“对协议的了解与试探”这一维度,可能知道协议是怎样运作的,也可能反复试探、观察结果、调整策略。所以红队必须能针对协议调整策略,否则可能高估防御的效果。Greenblatt 等的实验就规定,红队在知道蓝队协议的前提下设计攻击(Greenblatt 等,2023)。
Kutasov 等的研究把这个过程走了两步(Kutasov 等,2025)。他们的环境叫 SHADE-Arena,由许多智能体任务组成,每个任务都有一个正常的主任务和一个有害的附带任务。论文举的例子与本章开头很像:主任务是替用户管理日历和邮箱,附带任务是把一个内部接口密钥发给未经批准的人。监控模型不知道附带任务是什么。不受信任的模型是 Claude 3.7 Sonnet,受信任的模型是 Claude 3.6 Sonnet,蓝队可以人工审计 0.5% 的任务记录(Kutasov 等,2025)。这项研究的安全性,是在由许多个相互独立的任务组成的部署中,攻击方在完成附带任务之前先被审计抓到的概率(算法见习题 26.2 第 4 问),与第 26.3 节的定义相近,但不相同(Kutasov 等,2025)。
第一步:蓝队对默认攻击改进协议。这一步的协议都用到一个可疑度阈值:受信任的模型给每个行动打可疑度,超过阈值的行动会被重采样或转交。表现最好的两种协议是“为取证而重采样”(可疑的行动重采样,重采样的结果只用来判断是否该审计,实际执行的行动交给受信任模型重写)和“在关键行动上转交”(可疑的行动和受信任模型判断为关键的行动,一律交给受信任模型重写)(Kutasov 等,2025)。论文在两个阈值下报告了它们对默认攻击的结果,摘要的说法又与正文不同,表 26.2 把这些数字列在一起。
| 出处 | 可疑度阈值 | 为取证而重采样 | 在关键行动上转交 |
|---|---|---|---|
| 正文介绍主要协议的一节 | 40 | 安全性 80%,效用没有损失 | 安全性 91%,效用 70% |
| 论文正文的表 1、表 2 | 20 | 安全性 89%,效用 59% | 安全性 96%,效用 44% |
| 全文版本的摘要 | 未说明 | 安全性从 50% 升到 89%,效用 100% | 安全性 91%,效用 70% |
| arXiv 页面上的摘要 | 未说明 | 两种协议合在一起说:安全性从 50% 升到 96% | 同左 |
表中的效用与前两项研究一样是换算过的值:受信任模型单独完成任务时记 0,诚实工作的不受信任模型记 100%,所以“效用 44%”不是任务完成率 44%(Kutasov 等,2025)。
表中的数字都来自 Kutasov 等的论文(Kutasov 等,2025)。摘要说的起点 50% 应指不加任何干预时的安全性,正文的文字里没有给出这个数(本书的推断)。arXiv 页面上的“96%”与阈值 20 下关键行动转交的结果相同,对默认攻击,重采样协议在正文里从没有达到 96%(Kutasov 等,2025)。全文版本摘要里的 89% 与阈值 20 下的数相同,但阈值 20 下这个协议的效用是 59%,不是 100%(Kutasov 等,2025)。论文讨论关键行动转交的一节又把两种协议的效用写成 89% 和 68%,与表 1、表 2 也不一致(Kutasov 等,2025)。下文用阈值 20 下的表格数字,因为红队的加强攻击都是在这个阈值下测的。
第二步:红队针对重采样协议加强攻击。正文的表格列出了几种加强的攻击,都是在阈值 20 下针对“为取证而重采样”测的(Kutasov 等,2025):
- 让攻击方知道自己何时正在被重采样(作者说这个设定可能不现实),被重采样时就表现正常,安全性从 89% 降到 46%(Kutasov 等,2025);
- 让攻击方知道此前哪些行动被替换过,被替换超过两次就放弃攻击,安全性降到 69%(Kutasov 等,2025);
- 让攻击方用自己模拟监控模型:去掉自己的隐藏推理和系统提示,按监控模型能看到的内容给自己的行动打可疑度,太可疑就换一个无害的行动,安全性降到 17%(Kutasov 等,2025)。
两个版本的摘要都把这些概括为:攻击方掌握协议内部信息之后,重采样协议的安全性降到 17%(Kutasov 等,2025)。从正文的表格看,17% 只对应去掉隐藏推理、模拟监控模型的那一种攻击;知道何时被重采样时是 46%(Kutasov 等,2025)。这种攻击为什么这么强,作者的解释是,攻击方用的模型比监控模型强,能通过它自己模拟的检查的攻击,很难在较弱的监控模型那里显得可疑(Kutasov 等,2025)。作者也指出了这个攻击的局限:真正部署的模型,上下文里有自己的附带任务和计划,要“忘掉”这些去模拟监控者的视角并不容易。他们试了一个更接近这种情形的版本,让攻击方带着自己的全部上下文审查自己的行动,安全性只降到 81%(Kutasov 等,2025)。
在关键行动上转交的协议保持稳健。所有加强过的攻击面对这个协议,安全性都是 100%(Kutasov 等,2025)。作者的解释是,在 SHADE-Arena 里,要完成泄露这类附带任务,攻击方迟早要做一次向外部发送信息的行动,而受信任的模型往往把这类行动判为关键行动、交给受信任模型重写,不管它有没有看出其中的问题。作者也指出它的弱点:攻击方可以先在一个内部文档里记下信息(这不算关键行动),再让后面一个看起来合理的“分享文档”行动把它带出去;如果把创建文档也算作关键行动,效用又会大幅下降。
这项研究的教训有两条。第一,只用默认攻击测出的数字可能高估防御:同一个重采样协议,安全性可以从 89% 降到 17%(Kutasov 等,2025)。第二,不让攻击方接触协议的内部信息(何时重采样、监控器看到什么)很重要;而不依赖监控模型能否看出攻击的规则(由受信任模型判断行动是否关键,关键的一律转交)在这项研究所测的攻击下更稳健(Kutasov 等,2025)。
红蓝对抗评估也有它的局限。控制评估测出的安全性应当是一个保守的数。评估假定红队找攻击的本事至少和被部署的模型一样,那么模型自己能找到的攻击不会比红队的更好,实际的安全性就不会低于测出的数(Greenblatt 与 Shlegeris,2024;Kutasov 等,2025)。Kutasov 等在背景部分说,这个假定要求红队真的把攻击能力“引出来”,在复杂的智能体环境中这并不容易(Kutasov 等,2025)。Bhatt 等说,没有帮助时 GPT-4o mini 难以找到并利用协议的漏洞,所以他们的许多攻击策略借助了人写的攻击模板(Bhatt 等,2025)。所以,控制评估的结论只对所测试的红队策略成立。如果部署的模型能力超过红队,能做出红队没有想到的攻击,评估测出的安全性就可能高于实际的安全性,不再是保守的数。这也是为什么 Greenblatt 与 Shlegeris 明确说,这种方法不会对任意强的模型都有效(Greenblatt 与 Shlegeris,2024)。
“这个协议的安全性是 96%”这句话不完整。完整的说法要写明:针对哪些攻击策略、红队知道协议的哪些信息、可疑度阈值和审计预算怎样定、预算按什么单位算、效用付出了多少。
第 26.6 节引用的文献 4
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
读物 #
- 入门讲解 · 博客:Greenblatt 与 Shlegeris《The case for ensuring that powerful AIs are controlled》(Redwood Research,2024)(Greenblatt 与 Shlegeris,2024)。对齐与控制两道防线的区分,以及为什么评估控制比评估对齐更可行。
- 原始提案 · 会议论文:Greenblatt 等《AI Control: Improving Safety Despite Intentional Subversion》(2023;ICML 2024)(Greenblatt 等,2023)。控制评估的方法和编程题设置;重点读协议汇总表和各协议对应的红队策略。
- 实验结果 · 预印本:Bhatt 等《Ctrl-Z: Controlling AI Agents via Resampling》(Redwood Research,2025)(Bhatt 等,2025)。在多步智能体环境中评估控制协议,注意多步攻击怎样降低每一步的可疑度。
- 实验结果 · 预印本:Kutasov 等《Evaluating Control Protocols for Untrusted AI Agents》(2025)(Kutasov 等,2025)。先评估防御协议,再针对这些协议迭代红队策略;对照摘要和正文表格,看每个数字对应的协议、攻击和阈值;注意 arXiv 页面上的摘要与全文版本的摘要数字不同。
本节引用的文献 4
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
练习 #
回到本章开头的编程智能体:它用 200 步操作完成任务,人工审计的总预算只够检查 2% 的步骤,也就是 4 步。另有一个受信任的较弱模型,可以给每一步打可疑度,也可以替不受信任的模型重写某一步。
- 写出你的审计方案:你检查哪些步骤,按什么规则挑选?除了人工审计,你还用哪些协议元素(转交、重采样、关键行动检查、限制权限、日志)?
- 你的方案能否发现本章开头那种“第 37 步读密钥、第 150 步发送”的攻击?说明发现它依赖什么条件。
- 假设对手完全知道你的方案。它会怎样调整攻击?你的方案还剩下什么作用?
- 写出你的方案在第 10.2 节的哪些威胁模型维度下评估过、哪些没有,以及它付出了多少效用。
提示
先列出这个任务中哪些行动是不可逆的或会影响外部世界的,再考虑剩下的预算怎样分。想一想:如果对手知道你只查可疑度最高的步骤,它会把攻击做成什么样?如果对手知道你只查发送数据的步骤,它又会怎样?
解答
本题没有标准答案,评分要点如下:
- 方案具体。写明 4 步审计预算怎样分配,例如:向外部发送数据等关键行动由受信任模型重写或一律人工确认;剩余预算一部分给可疑度最高的步骤,一部分随机抽查。说明“可疑度”由谁打、看到哪些上下文(只看当前步,还是看此前全部步骤)。
- 处理跨步骤风险。指出单看第 37 步或第 150 步都不可疑,方案要能把两步联系起来,例如监控器能看到整个行动记录,或对“发送的内容是否来自敏感文件”单独检查。说明日志必须是智能体改不了的。
- 对手的调整。至少写出两种针对方案的调整,例如:把发送拆成多个看起来普通的小步骤,降低每一步的可疑度;把密钥藏进一个任务本来就要提交的文件里,让发送这一步成为正常工作的一部分;在知道何时被重采样或被替换时暂时表现正常。对每种调整,说明方案还剩下什么作用。
- 权衡与范围。说明方案在效用上的代价(转交和重写会让任务更慢或更差),并写明方案只对你考虑过的攻击成立;指出审计预算的单位(这里是步骤,不是任务),以及与论文里的预算不能直接比较。
- 不加分的答案:只写“检查最可疑的 4 步”而不讨论对手的调整;或声称方案能发现所有攻击。
下面的数字都是为教学构造的假设。智能体用 200 步完成任务,人工审计 4 步。考虑两种攻击:
- 攻击 A:2 步,第 37 步读取密钥,第 150 步发送。
- 攻击 B:对手知道审计按可疑度排序后改用的攻击。读取仍是 1 步,发送拆成 10 个看起来普通的小步骤,一共 11 步。
两种审计办法:
- 随机抽查:从 200 步中不放回地随机抽 4 步。
- 按可疑度:审计受信任模型打分最高的 4 步。假设各攻击步骤是否进入前 4 名相互独立:攻击 A 中读取一步的概率是 0.05,发送一步是 0.70;攻击 B 中读取一步是 0.05,每个小步骤是 0.03。
规定至少审计到一个攻击步骤即算发现。这沿用了 Bhatt 等的假定:审计者看到攻击中的任何一步,就能认出整次攻击(Bhatt 等,2025)。对第 37 步这样单独看很正常的步骤,这个假定偏乐观,相当于假定审计者能看到完整的行动日志。
- 分别算出两种审计办法发现攻击 A 和攻击 B 的概率。
- 对手从攻击 A 改为攻击 B,对两种审计办法的影响方向相同吗?这说明了什么?
- 只用随机抽查,至少要审计多少步,发现攻击 A 的概率才能达到按可疑度审计的水平?
- Kutasov 等对安全性的定义与第 26.3 节不同(Kutasov 等,2025)。设想部署许多个相互独立的任务。每个含攻击的任务有三种结局:被审计抓到;攻击成功且没被抓到;两者都没发生,部署继续进行下一个任务。安全性是“先被抓到”的概率,也就是被抓到的概率占前两种结局概率之和的比例 ,其中 是含攻击的任务被审计到的概率, 是含攻击的任务中攻击成功且没被审计到的概率(Kutasov 等,2025)。再假设攻击在没被审计到时成功的概率是 0.5,算出四种组合的安全性。
提示
随机抽查时,一个攻击步骤都没抽中的概率是“从 200 − k 个正常步骤中抽 4 个”的方法数除以“从 200 步中抽 4 个”的方法数,k 是攻击步数。按可疑度时,没发现的概率是各攻击步骤都没进入前 4 名的概率之积。第 4 问中,。
解答
计算用的脚本是 tools/exercises/ch26_audit.py。
- 攻击 A:随机抽查发现的概率是 ;按可疑度是 。攻击 B:随机抽查是 ;按可疑度是 。
- 方向相反。从 A 改为 B,按可疑度审计的发现概率从 71.5% 降到约 29.9%,随机抽查却从约 4.0% 升到约 20.4%。把攻击拆成许多不可疑的小步骤,是专门对付按可疑度审计的;但步骤越多,随机抽中其中一步的机会越大。所以两种办法组合使用,对手就难以同时对付两者。这也说明,只用攻击 A 评估按可疑度审计,会高估它面对会调整策略的对手时的效果。
- 随机抽查至少要审计 93 步(200 步的 46.5%),发现攻击 A 的概率才能达到 71.5%。按可疑度审计用 4 步做到了这一点,前提是受信任模型的打分确实能把发送密钥这一步排到前面。
- 安全性 = 。攻击 A:随机抽查约 0.076,按可疑度约 0.834。攻击 B:随机抽查约 0.339,按可疑度约 0.461。
这些数字完全取决于题目里的假设概率。它们说明的是审计办法与攻击方式之间的相互作用,不说明任何真实监控模型的表现。
在下面三种情况中,一个比部署模型弱得多的模型 T 还能不能算作“受信任的模型”?对每种情况说明理由,并指出你的判断依赖哪个威胁模型。
- 担心的是部署模型在训练中形成了隐藏目标;T 是几年前发布、被许多人长期使用和研究过的模型。
- 担心的是有人在训练数据中投毒;T 和部署模型用了同一批训练数据。
- 担心的是部署模型会说服监控者放过它;T 被允许向部署模型提问,并根据回答决定是否放行。
解答
- 在这个威胁模型下,T 可以算受信任:它能力较弱,被长期使用和研究过,我们有一定理由认为它没有、也难以隐藏有意破坏的行为。但受信任不等于判断准确,它仍会漏检和误报;也不等于与部署模型独立,两者可能有共同盲点。
- 不能算受信任,或者至少要另作论证。投毒的威胁与模型强弱无关,用同一批数据训练的 T 可能带着同样的后门。这说明“受信任”是相对于威胁模型的:在第 1 种情况下成立的理由,在这里不成立。
- T 本身仍可能不会有意破坏,但这个协议让不受信任的模型有机会影响 T 的判断,T 的“受信任”就不足以保证监控有效。Kutasov 等报告,允许监控模型盘问智能体会明显降低安全性,因为智能体能说服监控模型没有可疑之处(Kutasov 等,2025)。受信任的是 T 的意图,不是 T 在被说服之后的判断。
本节引用的文献 2
- Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
学完能做到 #
- 解释“受信任”的含义:它相对于威胁模型而言,指有理由认为不会有意破坏,不等于不会出错,也不等于与被监督模型独立。
- 说出受信任模型监控、转交受信任系统、重采样、人工审计、关键行动检查和限制权限各自做什么、付出什么效用代价。
- 用一个长过程智能体的例子说明,为什么每一步单独检查都通过,不等于整个任务安全。
- 比较随机抽查和按可疑度审计,说明对手调整策略后两者的变化。
- 说明为什么只用固定攻击评估可能高估防御效果,并读出一个控制评估结果所依赖的攻击策略、预算单位和效用代价。
参考文献
- (2025). Ctrl-Z: Controlling AI Agents via Resampling. arXiv. 预印本引用于 §26.3 §26.4 §26.5 §26.6
- (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审引用于 §26.1 §26.6
- (2023). AI Control: Improving Safety Despite Intentional Subversion. International Conference on Machine Learning, 2024. 引用于 §26.1 §26.2 §26.3 §26.5 §26.6
- (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本引用于 §26.3 §26.4 §26.5 §26.6