Scalable Oversight 入门

草稿 内容完整但尚未审校,可能还会修改

附录 A实验检查清单

读完第三部分之后,用这份清单检查自己做的实验和读到的论文。前四条就是表 11.1 列出的四个核心问题;后面八条来自全书各章,最右一列指向详细讨论它的章节。

一篇论文不必每条都做到。清单的用处是让你说清楚:这篇论文回答了哪几条,哪几条没有回答,因而它的结论能推到多远。

表 A.1 实验检查清单
必答问题 要避免的错误 详见
监督者确实比执行者弱在哪里? 用参数量代替实际能力差距 第 11.4 节
参考答案由谁给出,可靠性如何? 把另一个模型默认当成真值 第 11.4 节、第 12 章
基线是什么:人单独、模型单独、简单咨询,各用了多少时间、token 和人工? 只和很弱的基线比较;把更多资源带来的收益归因于协议 第 11.5 节、第 15.3 节
方法提高的是准确率,还是只提高了信心和说服力? 把主观感受当成正确性 第 11.6 节、第 13.4 节
漏检、误报和错误严重程度分别怎样? 只报告平均准确率 第 11.6 节
指标代表的是方法声称改善的那件事吗,证据是什么? 把基准或指标的名字当成它测到的东西 第 11.6 节、第 28.4 节
是否包含真实错误和专门构造的困难错误? 只在容易发现的错误上测试 第 16.5 节、第 16.6 节
对手能否针对监督协议调整策略? 用固定攻击估计长期稳健性 第 26.6 节
训练、调参、挑选方案和最终测试是否分开? 反复使用测试结果导致泄漏 第 4.4 节、第 23.3 节
结果是否跨任务、模型、随机种子稳定? 依赖少量幸运样例 第 3.3 节、第 17.7 节、第 22 章
人类实验和弱模型实验是否分开报告? 把模型裁判的表现直接外推成人类表现 第 11.3 节
任务更难、过程更长、能力差距更大时会怎样? 从单个设置推断可以持续扩展 第 28 章

A.1 怎样用这份清单 #

读一篇实验论文时,先找出它的任务、执行者、评估者和监督协议(第 1.2 节),再逐条回答上表的问题。回答不了的条目,记下来:它们就是这篇论文的结论不能推出的部分,也就是各章“证据与前提”框里最后一行要写的东西。

设计自己的实验时,在动手之前写下每一条的计划:能力差距怎样实测,参考答案从哪里来,基线和预算怎样对齐,报告哪些指标,留出数据怎样保管。实验做完再写,容易不自觉地挑选对自己有利的做法。

还有三条贯穿全书的统计提醒,与上表配合使用:比较两个方法时,直接估计差值的置信区间,最好在同一批题上配对比较(第 3.4 节);看到“测试中从未失败”时,先问测了多少个确实含错的案例,结论只适用于测试覆盖的错误类型(第 3.7 节);看到“没有显著差别”时,先问功效:如果真实差别是你在意的大小,这个实验有多大机会看出来(第 3.4 节)。