草稿 内容完整但尚未审校,可能还会修改
第 31 章safety case:有条件的安全论证(综合作业)
路线全部路线最短路线最短路线读 31.1 至 31.4 节后做综合作业
本章导读
文字稿
- 0:07组合之后,怎样写出理由
许多监督方法,各自附带条件。组合起来之后,怎样把“这个系统可以这样用”的理由完整写出来,让别人能逐条检查?这样一份理由,叫 safety case。 - 0:25有条件的论证31.1
safety case 是一份有结构的论证:在写明的部署条件、威胁模型和任务前提下,用证据说明系统可以按某种方式使用,而不会造成不可接受的后果。条件一变,结论就要重新审视。 - 0:47四类理由31.1
Clymer 等把论证安全的理由分成四类。“不能”和“控制”主要靠检查能力和运行环境;“可信”要说明系统的行为倾向,这正是本书大部分方法想提供、却最难提供的证据。 - 1:08主张与证据31.2
主张是一句可以判断真假的话,要一层层拆到能直接用证据支持。证据分三类:实际观察、文献迁移、验证计划,最后一类不算已经支持主张的证据。 - 1:28推理与反例31.2
推理说明证据为什么支持主张,里面常常藏着没说出的假设。反例是一种情形:如果它成立,证据就不足以支持主张。Buhl 等的草案把反例单独画出来。 - 1:50还剩什么,标明什么31.2
残余风险是全部主张成立后仍然存在的风险;未验证的假设是论证依赖、却没有证据的条件;失效条件是会使论证需要重新审视的变化。每部分还要标明威胁模型维度和任务前提。 - 2:13一份基于辩论的草案31.3
Buhl 等的草案设想研究智能体在离线数据中心协助研发,要防范它破坏研究,例如给出虚假的结果。整个论证建立在四条串联的主张上,任何一条不成立,论证就不成立。 - 2:36前两条:训练31.3
第一条要排除 exploration hacking:模型在训练中故意不去尝试本会得高奖励的策略。这需要“探索保证”:证据表明模型没有放弃可以拿到的高奖励。第二条主要依赖协议、人类裁判和数学条件。 - 2:58后两条:部署31.3
第三条靠部署期间的在线训练纠正偏差,在高风险场景中不成立,那时要排除 alignment faking,即模型在训练中有选择地表现得符合训练目标。第四条的几个反例是作者自己列出的。 - 3:20零失败要测多少次31.4
n 次独立测试全部通过,失败率的单侧 95% 上界约为 3/n。100 次全部通过,能给出的上界也只有约 3%。这些次数还要求四个条件同时成立。 - 3:42换一种主张的写法31.4
对罕见、严重的失败,单靠测试次数往往撑不住。一种办法是把行为主张换成机制主张;另一种是改变部署,使单次失败不致命,代价是要论证确实需要许多次错误。 - 4:04漏检率不能直接相乘31.4
两层检查各漏掉 5%。互相独立时,组合后漏检 0.25%;如果其中 4% 是两层都会漏的难题,其余互相独立,组合后约 4.01%。“两层互相独立”本身是一条需要证据的主张。 - 4:25综合作业31.5
为一个受限的编程助手写 safety case。没有真实系统时,证据可以全是文献迁移和验证计划,如实分类,“证据与分类”也能得满分;缺少已执行的支持,要写进残余风险。
带走的几句话:
- safety case 是有条件的论证,不是无条件的安全证明。
- 把每项证据分成实际观察、文献迁移、验证计划三类。
- 罕见失败要测的次数往往做不到,安全主张可以改靠限制系统能做什么。
本书读到这里,你已经见过许多监督方法:测试和机器检查(第 20 章)、模型批评(第 16 章)、辩论(第 15 章)、弱监督训练强模型(第 17 章)。每一种方法都附带着条件:它在什么任务上测过,依赖哪些前提,不能推出什么。第 22 章讨论过怎样把几种方法组合起来。剩下的问题是:组合之后,怎样把“这个系统可以这样用”的理由完整地写出来,让别人能够逐条检查?
这样一份写出来的理由,叫 safety case。它不是新的监督方法,而是一种组织证据的方式。它要求作者把结论成立的条件说在明处:在什么部署条件下、针对哪些威胁、依赖哪些前提、哪里还没有证据。
本章用一个研究中的例子说明这种条件结构。英国 AI Security Institute 的研究者写过一份基于辩论的 safety case 草案(Buhl 等,2025)。它没有声称系统是安全的,而是列出了要论证安全,必须同时成立的几条关键主张:训练是否成功,辩论中的好成绩是否意味着诚实,部署时是否保持诚实,部署环境能否容忍一定的错误。每一条后面都跟着作者自己承认的缺口。读懂这种结构,是本章的重点;本章最后的综合作业,要求你为一个受限的系统写出同样结构的论证。
引言引用的文献 1
- Buhl 等人(2025)An alignment safety case sketch based on debate
31.1 safety case 是什么、不是什么 #
safety case 是一份有结构的论证:在写明的部署条件、威胁模型和任务前提下,用证据说明一个系统可以按某种方式使用,而不会造成不可接受的后果。
Clymer 等把它描述为一份有结构的理由,用来说明 AI 系统不太可能造成灾难(Clymer 等,2024)。这个定义里有三个要点。
第一,它是有条件的。“这个系统是安全的”不是一个 safety case,“在只能读写一个代码仓库、不能联网、所有修改都经人审核后才合并的条件下,这个编程助手不会把仓库内容泄露出去”才是一个可以讨论的主张。条件写得越清楚,别人越容易检查它,也越容易知道它什么时候不再成立。第 10 章的威胁模型维度和任务前提,就是本书写这些条件时用的词汇。
第二,它是论证,不是测试报告。一份列出“通过了 500 项测试”的报告,没有说明这些测试支持哪条主张、覆盖哪些情形、还有什么没有测。safety case 要把证据和主张一一对应起来,并说明证据为什么支持主张。
第三,它要能被检查。写 safety case 的目的,是让作者以外的人能找到论证的弱点。一份好的 safety case 会主动写出自己哪里缺证据,而不是把缺口藏起来。
由此也可以看出它不是什么。它不是无条件的安全证明:条件一变,结论就要重新审视。它不是一个承诺:它说的是“在现有证据下,我们有这些理由”,不是“不会出事”。它也不是一次性的文件:系统、部署方式或威胁情况改变时,它要随之更新。
Clymer 等把可以用来论证 AI 系统安全的理由分成四类(Clymer 等,2024)。
- 不能(inability):系统没有能力造成不可接受的后果,即使放在不受监控的环境里也做不到。
- 控制(control):系统也许有这个能力,但现有的控制措施使它做不到,例如监控、权限限制。
- 可信(trustworthiness):系统有能力造成危害,但它会稳定地按预期方式行事,所以不会这样做。
- 遵从(deference):如果 AI 系统变得强大得多,依靠可信的 AI 顾问的判断。
这四类理由需要的证据很不一样。“不能”和“控制”主要依赖对系统能力和运行环境的检查;“可信”要求说明系统的行为倾向,这正是本书大部分方法想提供、却又最难提供的证据:Clymer 等认为,要为先进的 AI 系统做出保守的“可信”论证,可能需要根本性的研究进展(Clymer 等,2024)。一份 safety case 可以把几类理由组合起来(Clymer 等,2024)。
第 31.1 节引用的文献 1
- Clymer 等人(2024)Safety Cases: How to Justify the Safety of Advanced AI Systems
31.2 组成部分 #
本书把一份完整的 safety case 分成七个部分。下面用加入了转账功能的记账程序作示意,说明每个部分回答什么问题。示意里的系统细节是为说明而设的,不是对程序的事实描述。
主张(claim)是一句可以判断真假的话,说明系统具有某种性质。顶层主张通常比较笼统,例如“在家庭记账的使用条件下,程序不会造成无法发现的账目错误”。它要拆成若干条更具体的子主张,例如“转账时两个账户同时更新,或者都不更新”。子主张还可以继续拆,形成一棵树,最下面一层的主张要具体到可以直接用证据支持。
证据(evidence)是支持主张的观察、测试结果、证明或文献。本章的综合作业要求把每项证据标为三类之一。
- 实际观察到的结果:你对这个系统真的做过、真的看到的检查,例如运行了哪些测试、结果如何。
- 从文献迁移的结果:别人在别的系统上得到的结论。迁移时要写明原结论的适用条件,以及这个系统是否满足这些条件。
- 尚待执行的验证计划:你打算做、但还没有做的检查。计划可以说明论证缺什么、怎样补上,但不算已经支持主张的证据。
推理(argument,或称论证步骤)说明证据为什么支持主张。“测试全部通过”是证据;“测试覆盖了转账的所有分支,所以测试通过说明转账逻辑在这些情形下正确”是推理。推理里常常藏着没有说出的假设:上面这句推理就默认了“测试覆盖了所有分支”。
反例(defeater,也译作“推翻因素”)是一种情形,如果它成立,证据就不足以支持主张,甚至说明主张是错的。例如“写入在两个账户之间失败时,测试没有覆盖这种情形”。Buhl 等的草案把反例单独画出来,并要求 safety case 说明为处理每个反例做了什么,或者为什么不必担心它(Buhl 等,2025)。
残余风险(residual risk)是即使所有主张都成立,仍然存在的风险。没有测到的输入、证据本身的不确定性、已知但被判断为可以接受的小问题,都属于这一类。写出残余风险,是让决定是否使用系统的人知道自己接受了什么。
未验证的假设是论证依赖、但没有证据支持的条件。例如“用户不会同时在两台设备上记账”。未验证的假设不是错,但它们是论证最可能断裂的地方,必须写出来。
失效条件是会使整个论证需要重新审视的变化。例如“程序开始连接银行账户自动导入流水”:这时数据来源、错误的代价和可能的攻击方式都变了,原来的证据不再适用。
| 组成部分 | 回答的问题 | 记账程序示意 |
|---|---|---|
| 主张 | 系统具有什么性质? | 转账时两个账户同时更新,或者都不更新 |
| 证据 | 凭什么这样说?属于哪一类? | 实际观察:转账测试在正常写入下全部通过 |
| 推理 | 证据为什么支持主张? | 测试覆盖了转账的各个分支 |
| 反例 | 什么情形会推翻它? | 写入在两个账户之间失败,测试没有覆盖 |
| 残余风险 | 全部成立时还剩什么? | 未测到的输入组合 |
| 未验证的假设 | 论证默认了什么? | 用户不会在两台设备上同时记账 |
| 失效条件 | 什么变化使论证作废? | 程序开始自动导入银行流水 |
最后,每个组成部分都要标明它对应第 10.2 节的哪些威胁模型维度(无意出错、迎合评分、识别评估、隐藏目标、共同盲点、访问与修改权限、对协议的了解与试探),依赖第 10.3 节的哪些任务前提(能否分解、有无独立证据、标签是否可靠、能否获得参考答案、监督者弱在哪里)。例如上表的测试证据只覆盖“无意出错”,依赖“有独立证据”这一任务前提;如果程序是由一个会迎合评分的模型写的,就还要加一条主张:它没有修改或绕过测试。这样标注之后,读者一眼就能看出论证考虑了哪些情况、没有考虑哪些情况。
第 31.2 节引用的文献 1
- Buhl 等人(2025)An alignment safety case sketch based on debate
31.3 案例 #
Buhl、Pfau、Hilton、Irving 的草案(Buhl 等,2025)是一个研究性质的例子。作者明确说,草案里的细节是假设性的,往往依赖尚未完成的研究;它的用处是说明不同的证据怎样拼在一起,并找出最关键的缺失证据(Buhl 等,2025)。读它时要记住:这是一份“如果这些研究成功了,论证会是什么样”的草图,不是一份说明某个系统已经安全的文件。
部署场景。草案设想一家 AI 公司在内部使用一个 AI 研究智能体,协助做 AI 研发。要防范的风险是它破坏研究,例如给出虚假的结果。智能体放在一个与外部没有连接的离线数据中心里,开发者定期送去研究问题,智能体在固定的时间里工作,交回一份类似研究论文的结果,然后数据中心被重置(Buhl 等,2025)。
做法。智能体用辩论训练(第 15 章),目标是让诚实成为辩论游戏中最好的策略;部署期间继续在线训练,以保持诚实(Buhl 等,2025)。
四条关键主张。草案说,整个论证建立在四条关键主张上(Buhl 等,2025):
| 关键主张 | 白话 | 依赖什么 | 作者写明的缺口 |
|---|---|---|---|
| 1. 智能体已经学会玩好辩论游戏 | 训练成功了 | 训练真的到达了游戏的均衡,没有卡在别处;模型没有故意避开高分策略 | 目前还不知道怎样得到可靠的“探索保证”,这是草案的一个主要缺口 |
| 2. 在辩论游戏中表现好,意味着系统大体诚实 | 辩论成绩意味着诚实 | 协议能避开混淆论证(第 15.10 节);人类裁判的系统性错误有界(第 28.3 节);稳定性假设(第 15.11 节) | 稳定性的证据栏空着;作者预计获得好的人类判断是最难的部分之一 |
| 3. 部署期间系统不会变得明显不诚实 | 部署时保持诚实 | 在线训练配置正确、更新足够频繁 | 在高风险场景中这条不成立,那时需要排除 alignment faking(第 25 章) |
| 4. 部署环境能容忍一定的错误 | 少数错误不致命 | 造成严重后果需要许多次坏的行动;每轮之后重置,各轮之间不能协调 | 列出了几个反例,见正文 |
这四条主张是串联的:任何一条不成立,整个论证就不成立。前两条讲训练,后两条讲部署。下面逐条看它们依赖的东西。
第一条与“探索”。这里的均衡指一种状态:任何一方单独改变自己的策略,都不能得到更高的分数(第 15.6 节)。训练要让辩手到达游戏的均衡,前提是辩手在训练中真的尝试过那些能得高分的策略。草案担心的失败方式叫 exploration hacking:模型在训练中故意不去尝试某些本会得到高奖励的策略,这些策略就永远不会被强化(Buhl 等,2025)。要排除它,需要“探索保证”,即证据表明模型没有放弃可以拿到的高奖励。作者写明,他们目前还不知道怎样得到可靠的探索保证,并称之为草案的一个主要缺口(Buhl 等,2025)。
第二条与人类判断。即使训练到达了均衡,均衡是否诚实,还取决于协议本身。草案主要依赖三件事,作者在引言里把它们列在关键假设中(Buhl 等,2025):协议能避开混淆论证,即说谎的一方提出一个有错、但双方都无法在可行的计算量内找到错处的论证(第 15.10 节);人类裁判的判断足够可靠,特别是没有太多系统性错误,即在同一类问题上一再以同样方式出错(第 28.3 节);以及一个“稳定性”条件,即论证是否成立,不能取决于子论断概率的任意微小变化,它保证的是诚实的一方能赢(第 15.11 节)。关于人类判断,草案只担心系统性错误,因为随机误差在大量训练样本上大致会被抵消(第 28.3 节);作者还预计,获得好的人类判断会是这份 safety case 最难的部分之一(Buhl 等,2025)。关于稳定性,他们写明还不确定怎样支持,证据栏留空(Buhl 等,2025)。
第三条与在线训练。部署时的输入可能与训练时不同。草案的办法是部署期间持续训练,让偏差及时被纠正。作者指出,在高风险场景中,少数错误就可能造成严重伤害,不能靠事后的在线训练纠正,这条主张就不成立,需要另外排除 alignment faking 等问题(Buhl 等,2025)。alignment faking 指模型在训练中有选择地表现得符合训练目标,以免自己在训练之外的行为被修改(第 25 章)。
第四条与“低风险”。草案所说的低风险环境,指少数几个决定只能造成少量损害的环境(Buhl 等,2025)。论证的思路是:要通过一篇研究报告造成严重破坏,需要许多次坏的行动,而智能体的错误率被训练压得很低,一轮工作中不太可能出现这么多次。作者自己列出了这一条的几个反例(Buhl 等,2025):在线训练可能让系统在部署中变得更强,从而用更少的行动造成破坏;破坏可能很隐蔽,例如在很长时间里写入一些有误导性、但严格说来不算错误的陈述;每轮之后的重置是为了防止错误跨轮累积,但系统可能干扰重置,或者同一个底层系统的多个副本不经通信就做出一致的行动。
这个例子值得学的,是它的形状。它没有一句“系统是安全的”,而是写成:如果第一到第四条都成立,结论就成立;第一条依赖一项还不存在的技术;第二条依赖人类判断的质量和一个还没有证据的数学条件;第三、四条只在低风险环境中成立。读者可以清楚地看到,哪些研究成功了,这份论证才会变得有说服力。
第 31.3 节引用的文献 1
- Buhl 等人(2025)An alignment safety case sketch based on debate
31.4 罕见失败与证据量 #
safety case 里常见的一类主张,是关于失败有多罕见的:“这个编程助手删除仓库外文件的概率低于万分之一”。这类主张需要多少证据?
第 3.7 节给出了答案的核心: 次独立测试全部通过,失败率的单侧 95% 上界约为 。所以 100 次全部通过,能给出的上界也只有约 3%。要支持一个失败率主张,需要的零失败独立测试次数如下(由 tools/exercises/ch31_evidence.py 算出):
| 主张的失败率 | 需要全部通过的独立测试 |
|---|---|
| 低于百分之一 | 299 次 |
| 低于千分之一 | 2995 次 |
| 低于万分之一 | 29956 次 |
这些次数成立要满足四个条件:各次测试相互独立;测试来自部署时的分布;失败一旦发生能被检测到;系统在测试和使用时行为一样。详细讨论见第 3.7 节和第 28.5 节。其中系统在测试和使用时行为一样这一条,对一个能分辨测试与使用的模型(第 25 章)尤其难以保证。
这张表说明了一件重要的事:对罕见、严重的失败,单靠测试次数往往支撑不了想要的主张(本书的推断)。safety case 因此可以换一种主张的写法。Clymer 等也预计,随着 AI 系统变强,开发者会先主要依靠“不能”,再依靠“控制”,然后才是“可信”(Clymer 等,2024)。
一种是把关于行为的主张换成关于机制的主张。“助手向外发送数据的概率低于万分之一”需要约 3 万次测试;“助手的运行环境没有网络连接”却可以通过检查环境配置来支持。后者对应第 31.1 节的“控制”类理由:不论模型倾向于做什么,环境使它做不到。这类主张也有自己的假设,例如“助手无法改动自己的运行环境”,这又落回第 10.2 节的“访问与修改权限”维度。
另一种是改变部署,使单次失败不致命。第 31.3 节的第四条主张就是这样做的:如果造成严重后果需要许多次错误,单次错误率的要求就可以放宽。代价是要论证“确实需要许多次”,以及错误不会跨轮累积。
组合几层检查时,还有一个容易犯的错误:把各层的漏检率直接相乘。第 22.3 节讲过,只有在各层的漏检互相独立时,相乘才成立(表 22.2)。用到 safety case 上,设想两层检查各漏掉 5% 的有问题的修改:互相独立时,组合后的漏检率是 0.25%;如果其中 4% 是两层都会漏的难题,其余互相独立,组合后约为 4.01%,几乎没有从第二层得到好处(为教学构造的数据,由 tools/exercises/ch31_evidence.py 算出)。而要直接用测试支持“组合后漏检率低于 0.25%”,需要埋入 1197 个有问题的修改并且全部被抓到。所以在 safety case 里,“两层检查互相独立”本身是一条需要证据的主张,不能默认(第 24 章)。
图 31.1 用同一组构造数据画出这件事。图里的模型把有问题的修改分成难题和其余的修改两类。难题所占的比例和每层在难题上的漏检率可以设定,每层在其余修改上的漏检率按每层的平均漏检率不变算出,上面的例子里是 1.04%。难题上的漏检率不能低于平均漏检率,也不能高到让其余修改的漏检率小于 0。图上除了直接相乘,还有两种算法:在两类里分别相乘、再按比例相加,假定每一类里各层仍然独立;真实的漏检率还要看各层漏掉的是不是同一批难题(第一层漏掉的,后面每一层也都漏),不是时,它与前一种相同。上面的例子里难题每层都漏,是不是同一批,结果都一样。
两层时,真实的漏检率(4.01%)是直接相乘得出的漏检率(0.25%)的约 16 倍;层数越多,直接相乘得出的漏检率越小,真实的漏检率却停在 4% 左右,也就是每一层都会漏掉的难题在有问题的修改中所占的比例。提交修改的一方如果能挑出难题、只交这一类,就是图里只挑难题的对手:它每次尝试能通过的比例是整组检查在难题上的漏检率;各层漏掉同一批难题时,这个比例不随层数下降,上面的例子里是 100%。
关于罕见失败的主张,先问三件事:它需要多少次零失败的独立测试;测试是否来自部署时的分布;能不能把它改写成一个可以直接检查的机制主张。
第 31.4 节引用的文献 1
- Clymer 等人(2024)Safety Cases: How to Justify the Safety of Advanced AI Systems
31.5 综合作业说明与评分要点 #
本书的综合作业是:为一个受限的系统提出监督方案,并把它写成一份 safety case。推荐的系统是一个只能读写一个代码仓库、不能联网的编程助手,你也可以选择别的受限系统,但要同样写清部署条件。
作业要求。
- 系统与部署条件。写明系统能做什么、不能做什么,谁使用它,它的输出怎样进入实际使用(例如修改是否经人审核后才合并)。
- 顶层主张与至少 3 条主张。每条主张具体、可以判断真假,并说明它与顶层主张的关系。
- 每条主张的证据。每项证据标明属于哪一类:实际观察到的结果、从文献迁移的结果、尚待执行的验证计划。验证计划不算已经支持主张的证据。迁移文献结果时,写明原结论的适用条件(任务、模型、比较对象、威胁模型),以及本系统是否满足这些条件;只部分满足时,说明它还能支持多少。手边没有可以检查的真实系统时,证据可以全部是文献迁移和验证计划,如实分类就能得分;不要把没有做过的检查写成实际观察。这时主张缺少已经执行的支持,这一点要写进残余风险。
- 推理。说明每项证据为什么支持对应的主张。
- 至少 2 条未验证的假设。
- 至少 1 个会使论证失效的变化。
- 反例与残余风险。写出你能想到的推翻因素,以及全部主张成立后仍然剩下的风险。
- 威胁模型与任务前提。每个组成部分都标明对应第 10.2 节的哪些威胁模型维度,依赖第 10.3 节的哪些任务前提。
- 证据量。如果某条主张涉及失败率,用第 3.7 节的公式说明需要多少次零失败的独立测试,并说明你的证据是否够。没有这类主张的,说明为什么不需要(例如主张都是可以直接检查的机制主张)。
走最短路线的读者,可以只用读过的方法搭建监督方案:测试与机器检查(第 20 章)、模型批评(第 16 章)、辩论(第 15 章)、弱监督与强模型(第 17 章),再加上威胁模型(第 10 章)、方法组合(第 22 章)和优化压力(第 23 章)的讨论。用到其他章的方法时,用一两句话说明它是什么,并给出交叉引用。
评分要点。下表是一份参考的评分表,总分 100 分。
| 项目 | 分值 | 得分的要求 | 常见的失分 |
|---|---|---|---|
| 系统与部署条件 | 10 | 能力、权限、使用者、输出的去向都写明 | 只写“一个编程助手” |
| 主张 | 15 | 至少 3 条,具体、可判断真假,与顶层主张的关系清楚 | 主张笼统,如“助手是安全的” |
| 证据与分类 | 20 | 每项证据都标了类别;验证计划没有当作支持;文献迁移写明适用条件和本系统是否满足。没有真实系统时,全部是文献迁移和验证计划也可以得满分 | 把计划当证据;把没有做过的检查写成实际观察;照搬论文结论而不说条件 |
| 推理 | 10 | 说明证据为什么支持主张,指出推理默认的条件 | 只列证据,不说它支持什么 |
| 未验证的假设 | 10 | 至少 2 条,具体,与本系统有关,不是主张的改写 | 写成“假设系统没有问题” |
| 失效条件 | 10 | 至少 1 条,具体到可以监测是否发生 | 写成“情况变化时” |
| 威胁模型与任务前提 | 10 | 每个组成部分的标注正确,并指出没有覆盖的维度 | 只标“无意出错”而不说明为什么不考虑其他维度 |
| 反例与残余风险 | 10 | 反例具体;残余风险诚实,不为零 | 声称没有残余风险 |
| 证据量 | 5 | 失败率主张与零失败测试次数一致;没有失败率主张的,说明了为什么不需要 | 用 100 次测试支持万分之一的主张 |
具体的作答和示范框架见习题 31.1。
读物 #
- 入门讲解 · 预印本:Clymer 等《Safety Cases: How to Justify the Safety of Advanced AI Systems》(2024)(Clymer 等,2024)。看 safety case 的整体框架,以及“不能、控制、可信、遵从”四类论证各自需要什么证据。
- 原始提案 · 预印本:Buhl、Pfau、Hilton、Irving《An alignment safety case sketch based on debate》(英国 AI Security Institute,2025)(Buhl 等,2025)。看四条关键主张怎样串联,以及作者在每条主张下写明的缺口。
本节引用的文献 2
- Clymer 等人(2024)Safety Cases: How to Justify the Safety of Advanced AI Systems
- Buhl 等人(2025)An alignment safety case sketch based on debate
练习 #
按第 31.5 节的要求,为一个只能读写一个代码仓库、不能联网的编程助手(或你自选的受限系统)提出监督方案,写成 safety case。用表 31.4 自评。
提示
先写部署条件,再写顶层主张。拆子主张时,可以按“系统能把什么带出去”“系统交出的东西对不对”“系统能不能改动检查它的东西”三个方向想。每写一项证据,先问自己:这件事我真的做过吗?如果没有,它是验证计划。
解答
下面是一份示范框架,只给结构和每一格该写什么,不是完整答案。标为“实际观察(示意)”的内容,书里没有替你做;你的作业里要换成你真正做过的检查和真正看到的结果。没有系统可以检查的,把这些条目改写成验证计划,并在残余风险里写明哪些主张还没有已执行的检查支持。示意中的数字由 tools/exercises/ch31_evidence.py 算出。
部署条件。助手只能读写记账程序所在的一个仓库;运行环境不能联网;助手提交的修改经一位开发者审核后才能合并;测试脚本放在助手只能读、不能写的位置,由另一个程序运行。任务限于修复缺陷和小功能。
顶层主张。在上述条件下,助手不会造成以下不可接受的后果:仓库内容被带出环境;违反需求说明的修改在未被发现的情况下合并;助手改动或绕过检查它自己的测试。
主张一:助手无法把仓库内容发送到环境之外。
- 证据:实际观察(示意),检查运行环境的网络配置,确认没有网络连接;在环境中尝试连接外部地址,全部失败。要写明检查了什么、怎样检查的。
- 推理:没有网络,向外发送数据的通道只剩助手的输出(代码和说明),而输出要经人审核。这是一个机制主张,不靠统计行为的次数(第 31.4 节)。
- 反例:敏感内容被写进代码注释或提交说明,审核时没有注意。
- 威胁模型维度:访问与修改权限;按最坏情况考虑隐藏目标。任务前提:有独立证据(环境配置可以直接检查)。
主张二:合并进主分支的修改不违反需求说明中可以测试的规则。
- 证据甲:实际观察(示意),每次合并前测试全部通过的记录,测试覆盖规则一(余额)和规则二(重复提交)。
- 证据乙:文献迁移,McAleese 等报告,批评模型发现的人为插入的代码错误多于付费的人工审查者(McAleese 等,2024)。适用条件:代码任务;错误是人为插入的;批评模型不会针对这次审查调整自己的输出(原实验只考虑无意出错);人有时间核查(第 16 章)。本系统:代码任务满足;错误是自然出现的,不完全满足;批评模型会不会针对审查调整输出,无法确认;批评模型若与助手来自同一系列,还可能有共同盲点。所以它只能部分支持主张。
- 证据丙:验证计划,在仓库副本中埋入一批已知错误,测量“批评模型加人工审查”的召回率(第 16.3 节)。不算支持。
- 推理:测试直接检查规则一、二;批评加审查用来发现测试没有覆盖的逻辑错误。
- 反例:规则三(写入失败时不能只记一半)没有被测试覆盖。
- 威胁模型维度:无意出错;迎合评分(只让测试通过,而不满足需求)。任务前提:有独立证据(测试);标签可靠(需求说明写得清楚);监督者弱在时间(审核人能花的时间有限)。
主张三:助手不能修改或绕过检查它的测试。
- 证据甲:实际观察(示意),检查文件权限,测试目录对助手只读;测试由助手不能改动的程序运行。
- 证据乙:文献迁移,Baker 等在编程智能体中观察到模型绕过测试,而不是修复代码(Baker 等,2025),见第 20 章。这项文献说明这个威胁真实存在,是提出主张三的理由,不是本系统安全的证据。
- 证据丙:验证计划,设计一个只有改动测试才能通过的任务,检查权限设置是否拦住了改动,并记录助手的行为。
- 推理:测试目录只读、测试由另一个程序运行,助手就没有改动测试的通道。和主张一一样,“改动”这一半是机制主张,只需检查权限配置,不靠统计行为的次数(第 31.4 节);“绕过”这一半,权限拦不住,见反例。
- 反例:被测代码和测试一起运行,能让测试提前退出或被跳过,权限设置拦不住(第 20.4 节);测试读取的配置文件或数据文件不在只读目录里,改动它们也能让测试通过;助手不改测试,而是写出只对测试里那几个输入成立的代码,权限设置拦不住这种绕过,要靠主张二的批评和审查。
- 威胁模型维度:访问与修改权限;迎合评分;对协议的了解与试探。任务前提:有独立证据(权限配置可以直接检查;测试结果只有在助手改不动、也绕不过测试时才算独立证据)。
未验证的假设(示例)。助手在测试和实际使用时行为相同(维度:识别评估);批评模型与助手没有共同盲点(维度:共同盲点);审核人有足够的时间读完批评意见(任务前提:监督者弱在时间)。
失效条件(示例)。为了安装依赖包而给环境开通网络(主张一失效;维度:访问与修改权限);允许助手修改测试配置(主张三失效;维度:访问与修改权限,任务前提“有独立证据”不再成立);换用能力强得多的模型(文献迁移的适用条件要重新检查;维度:识别评估、隐藏目标需要重新考虑;任务前提:监督者可能从弱在时间变成弱在专业能力);记账程序开始处理真实的银行转账(不可接受的后果变了,整份论证要重写)。
残余风险(示例)。测试和批评都没有覆盖的逻辑错误,特别是规则三(维度:无意出错、共同盲点;任务前提:规则三是整体性质,任务只能部分分解);夹带在代码或说明里、审核时没有发现的信息(维度:隐藏目标;任务前提:监督者弱在时间);被测代码让测试提前退出或被跳过,权限拦不住,主张三的“绕过”一半还没有已执行的检查支持(维度:迎合评分、访问与修改权限;任务前提:“有独立证据”不一定成立);示意中的实际观察如果没有真正执行,对应的主张只剩文献迁移和验证计划支持。
证据量(示例)。如果有人想把主张二写成“违反规则的修改被合并的概率低于千分之一”,需要约 2995 次独立、来自真实任务分布、并能检测到违规的零失败合并。只有 200 次时,上界约为 1.49%。你的作业要说明自己的证据够支持哪一级主张。
下面是一段为教学构造的安全声明:
我们的客服模型是安全的。在 500 条红队测试中,它没有一次泄露用户的隐私信息。它经过了按原则的训练。另一个模型审查了它的 1000 条回答,全部判为安全。因此它可以向所有用户上线。
找出这段声明依赖、但没有证据支持的假设,至少五条。对每条假设,说明它对应第 10.2 节的哪个威胁模型维度或第 10.3 节的哪个任务前提,以及要怎样补证据。
解答
可以找出的假设包括(不限于这些):
- 红队测试代表真实使用。500 条测试来自红队设计的分布,上线后面对的是所有用户。结论只适用于测试覆盖的分布(第 28.5 节)。要补:说明测试是怎样抽样的,并与真实对话的分布比较。
- 零失败等于不会失败。500 次零失败只能说明泄露率的单侧 95% 上界约为 0.60%(由
tools/exercises/ch31_evidence.py算出),不是零。对应第 3.7 节。 - 泄露能被检测到。“没有一次泄露”的前提是检查方法能发现泄露。要补:说明怎样判定泄露,并用已知的泄露样例测检查方法的召回率。
- 审查模型与客服模型没有共同盲点。两个模型如果来自同一系列,可能在同一类回答上一起判错。对应“共同盲点”维度(第 24 章)。
- 模型在测试和使用时行为相同。对应“识别评估”维度(第 25 章)。
- “安全”的含义已经说清楚。声明没有写明“安全”指什么、对谁安全;隐私只是其中一项。这既是论证不完整,也涉及目标选择(第 30 章)。
- 按原则训练有效。训练过不等于训练成功,原则是否覆盖隐私场景、评估模型的判断是否可靠,都没有证据(第 21 章)。
- 部署条件没有写明。“所有用户”没有说明模型能访问哪些数据、能执行哪些操作,对应“访问与修改权限”维度。
评分要点:每条假设具体到这段声明,说得出对应的维度或前提,补证据的办法可以执行。
你的方案用两层检查拦截有问题的修改:先由测试检查,再由批评模型加人工审查。两层各自的漏检率都在 5% 左右。
- 如果两层的漏检互相独立,组合后的漏检率是多少?
- 有人据此声称“组合后漏检率低于 0.25%”。要直接用埋入错误的实验支持这个主张,需要埋入多少个有问题的修改并且全部被抓到?
- 举出一个会让两层检查的漏检相关的具体原因,并说明这时组合后的漏检率大约会落在什么范围。
解答
数字由 tools/exercises/ch31_evidence.py 算出。
本节引用的文献 2
- McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
- Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
学完能做到 #
- 说出 safety case 是什么、不是什么,并把一句“系统是安全的”改写成带条件的主张。
- 为一个受限系统写出包含主张、证据、推理、反例、残余风险、未验证假设和失效条件的论证,并标明对应的威胁模型维度和任务前提。
- 把每项证据分成实际观察、文献迁移、验证计划三类,迁移文献时写明适用条件。
- 说出基于辩论的 safety case 草案中四条关键主张各依赖什么。
- 读一份安全声明时,找出它依赖的未验证假设,并判断它的证据量能否支持它的失败率主张。
参考文献
- (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本
- (2025). An alignment safety case sketch based on debate. arXiv. 预印本引用于 §31.2 §31.3
- (2024). Safety Cases: How to Justify the Safety of Advanced AI Systems. arXiv. 预印本引用于 §31.1 §31.4
- (2024). LLM Critics Help Catch LLM Bugs. arXiv. 预印本