草稿 内容完整但尚未审校,可能还会修改
附录 B术语对照
本书的术语首次出现时给出英文,之后统一用中文。下表是最容易混淆的几个词,各给一个正例和一个反例。正文中每个术语首次出现时都应有一句白话解释,详细讨论见各行所指的章节。
表 B.1 容易混淆的术语
| 中文 | 英文 | 正例 | 反例 | 详见 |
|---|---|---|---|---|
| 对齐 | alignment | 先说明以谁的目标或价值为准(开发者意图、用户指令或某份原则),模型在无人监督时也按这个目标行事 | 模型只在被测试时表现良好,这是通过评估,不是对齐 | 第 17.6 节、第 30.1 节 |
| 监督 | oversight | 评估者判断模型输出,并据此给出反馈或拦截行动 | 只记录日志,而日志从不进入任何审查。如果日志会被抽查或用于事后审计,它就是监督的一部分 | 第 7.2 节、第 7.6 节 |
| 引出 | elicitation | 本书采用的工作定义:通过训练或提示,让模型表现出它已有的能力。“已有”通常只能间接判断 | 通过训练让模型学会新能力,这是能力提升 | 第 17.5 节、第 17.6 节 |
| 忠实 | faithfulness | 推理文本写出的理由确实是答案产生的原因 | 推理文本通顺合理,但答案其实来自提示中的暗示 | 第 19.5 节 |
| 便于检查 | legibility | 较弱的验证者能逐步检查解答 | 解答正确但跳步太多,验证者无法检查 | 第 19.3 节、第 19.5 节 |
| 威胁模型 | threat model | 写明考虑了哪些维度,例如“模型会迎合评分、知道监督协议,但没有隐藏目标,也不能修改测试” | 只说“方法是安全的”,不说对哪种情况安全 | 第 10.2 节 |
| 误报率 / 漏检率 | false positive rate / false negative rate | 把“判为有问题”看作报警:没有问题的输出被判为有问题的比例是误报率,有问题的输出被判为没问题的比例是漏检率(也常叫漏报率) | 论文把“判为正确”当作阳性时说的 false positive rate,即错误答案被判为正确的比例,按本书的约定是漏检率,不是误报率(第 9.4 节) | 第 11.6 节、第 3.7 节 |
| 功效 | statistical power | 实验之前算出:真实差别为 2 个百分点、结果不一致的题占 10% 时,约 1950 道题才有 80% 的机会看出差别 | 在 200 道题上“没有显著差别”,就说两种方法一样好 | 第 3.4 节 |
| 构念效度 | construct validity | 拿出证据说明准确率高是因为评估者确实查出了问题,而不是因为有问题的输出很少 | 把一个基准的名字当作它测到的东西 | 第 11.6 节、第 28.4 节 |
B.1 评估者、裁判与监督者 #
这三个词在各自的文献里都是通行用法,本书沿用,关系如下。
- 评估者(evaluator)是第 1.2 节定义的通用角色,即判断结果好坏的一方。
- 裁判(judge)指辩论(第 15 章)和模型评分(第 12 章)中的评估者。
- 监督者(supervisor 或 overseer)指提供训练信号或作出监督判断的一方,弱到强等设定(第 17 章)中常用。
三个词指的常常是同一个对象,区别在于它所处的场景:在辩论里叫裁判,在训练里叫监督者,泛指时叫评估者。强调它与被监督的模型(执行者)之间的关系时,泛指也可以叫监督者,例如任务前提“监督者弱在哪里”(第 10.3 节)。
B.2 几组相近的研究领域名称 #
scalable oversight、amplified oversight、superalignment(超级对齐)和 AI control 的关系,见第 7.7 节的术语表。检索文献时可以把它们都用作检索词(附录 C)。