Scalable Oversight 入门

草稿 内容完整但尚未审校,可能还会修改

附录 D版本与引用规则

AI 领域的许多论文先以预印本发布,之后还会修订,有的再在会议或期刊上发表。同一个标题下,不同版本的结论可能不同。本附录说明本书怎样记录年份和版本,并列出结论依赖具体版本的文献。

D.1 规则 #

  • 年份按首次公开计算,会议或期刊版本另行注明。例如 FindTheFlaws 于 2025 年 3 月以预印本发布,2026 年发表于 AAAI,读物列表写成“2025;AAAI 2026”(Recchia 等,2025b)。同一年发表的,直接写会议名和年份。
  • 讲解和实验结论引用具体的 arXiv 版本号,因为一些论文发表后有修订,同一标题下的结论可能不同。
  • 引用前自行确认。本书的文献信息核对于 2026 年 11 月。之后发布的新版本,可能改变作者、数字甚至结论。
第 D.1 节引用的文献 1
  1. Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research

D.2 本书引用的具体版本 #

  • 《Unsupervised Elicitation of Language Models》(arXiv 2506.10139)用 v2,2026 年 1 月 26 日修订;v1 为 2025 年 6 月 11 日(Wen 等,2025)。见第 17 章。
  • 《Avoiding Obfuscation with Prover-Estimator Debate》(arXiv 2506.13609)的描述依据 v1(2025 年 6 月 16 日,3 位作者);2026 年 7 月 21 日发布的 v2 增加了 3 位作者,摘要仍写明结论依赖稳定性假设(Brown-Cohen 等,2025)。见第 15.11 节。
  • 《AuditBench》(arXiv 2602.22755)的描述依据 v3(2026 年 3 月 9 日);2026 年 10 月 1 日已发布 v4,v4 摘要中的模型数(56)和行为数(14)未变(Sheshadri 等,2026)。见第 27.5 节。
  • 两项自动化对齐研究按发布日期区分:Anthropic《Automated Alignment Researchers》,2026 年 4 月 14 日(Anthropic,2026),其技术全文为 Wen 等《Automated Weak-to-Strong Researcher》(Wen 等,2026);Chen、Wen、Kirchner《Automated Researchers Can Mitigate Well-Characterized Alignment Failures》,2026 年 8 月(Chen 等,2026)。见第 29 章。
  • OpenAI 的 weak-to-strong 官方仓库于 2026 年 5 月 29 日归档(OpenAI,2023)。README 说明代码未充分测试、设置与论文不完全相同,在模型规模差距大、使用多个随机种子时给出定性相近的结果。使用时固定依赖版本,以 README 中的预期结果为对照。见第 17 章。
  • 《Training language models to follow instructions with human feedback》(arXiv 2203.02155):“大多数比较只由一位标注员标注”只见于 v1(2022 年 3 月 4 日)的第 5.3 节;第 6.5 节引用的标注说明,NeurIPS 2022 的会议论文放在补充材料的 B.2 节(Ouyang 等,2022)。见第 6.5 节。
  • 《Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision》(arXiv 2312.09390):superalignment 这一称呼,以及第 3 节“局限”里对弱模型错误的一般概括,只见于 v1(2023 年 12 月 14 日);ICML 2024 的会议论文讲的是同一个挑战,局限放在第 6.1 节(Burns 等,2023)。见第 7.7 节、第 28.1 节。
  • 《Confirmation Bias: A Challenge for Scalable Oversight》(arXiv 2507.19486)的叙述依据 v1,即 AAAI 2026 的会议论文所称的扩展版;会议论文篇幅短得多,第一项研究的许多细节只在 arXiv 版里(Recchia 等,2025a)。见第 13.5 节。
  • 《FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research》(arXiv 2503.22989)的 v1(2025 年 3 月 29 日)测了五个模型;AAAI 2026 的会议论文加测了 o3、o4-mini 和 Claude Opus 4,Lojban 数据集上的比较因此不同,正文两种都写明(Recchia 等,2025b)。见第 16.6 节。
  • 《Scaling Laws for Reward Model Overoptimization》(arXiv 2210.10760)的叙述依据 v1(2022 年 10 月 19 日);ICML 2023 的会议论文只展开了第 23 章讲的两种机制中的第一种(选中了误差),也没有把结果解读为较大的代理奖励模型对优化更稳健(Gao 等,2022)。见第 23.2 节。
  • 《AI Control: Improving Safety Despite Intentional Subversion》(arXiv 2312.06942)的叙述依据 v5(2024 年 7 月 23 日);作者写明,ICML 2024 的会议论文是这项工作缩短、修改过的版本,正文用到的部分结果只在 arXiv 版里(Greenblatt 等,2023)。见第 26 章。
  • 《Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?》(arXiv 2407.21792)的叙述依据 v3(2024 年 12 月 27 日);NeurIPS 2024 数据集与基准赛道的会议论文与它差别很大,没有讨论 scalable oversight,也没有给出 safetywashing 的定义(Ren 等,2024)。见第 30.3 节。
第 D.2 节引用的文献 14
  1. Wen 等人(2025)Unsupervised Elicitation of Language Models
  2. Brown-Cohen 等人(2025)Avoiding Obfuscation with Prover-Estimator Debate
  3. Sheshadri 等人(2026)AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors
  4. Anthropic(2026)Automated Alignment Researchers: Using large language models to scale scalable oversight
  5. Wen 等人(2026)Automated Weak-to-Strong Researcher
  6. Chen 等人(2026)Automated Researchers Can Mitigate Well-Characterized Alignment Failures
  7. OpenAI(2023)weak-to-strong
  8. Ouyang 等人(2022)Training language models to follow instructions with human feedback
  9. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  10. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  11. Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research
  12. Gao 等人(2022)Scaling Laws for Reward Model Overoptimization
  13. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
  14. Ren 等人(2024)Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?

D.3 资料来源 #

以下是核对本书中日期、版本和关键事实时查阅的页面,访问于 2026 年 11 月。其余读物只按书目信息列出,完整书目见参考文献。

参考文献

  1. Anthropic (2026). Automated Alignment Researchers: Using large language models to scale scalable oversight. Anthropic. 非同行评审引用于 §D.2
  2. Brown-Cohen, J., Irving, G., and Piliouras, G. (2025). Avoiding Obfuscation with Prover-Estimator Debate. arXiv. 预印本引用于 §D.2
  3. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §D.2
  4. Chen, Y.-H., Wen, J., and Kirchner, J. H. (2026). Automated Researchers Can Mitigate Well-Characterized Alignment Failures. Anthropic Alignment Science Blog. 非同行评审引用于 §D.2
  5. Gao, L., Schulman, J., and Hilton, J. (2022). Scaling Laws for Reward Model Overoptimization. International Conference on Machine Learning, 2023. 引用于 §D.2
  6. Greenblatt, R., Shlegeris, B., Sachan, K., and Roger, F. (2023). AI Control: Improving Safety Despite Intentional Subversion. International Conference on Machine Learning, 2024. 引用于 §D.2
  7. OpenAI (2023). weak-to-strong. GitHub. 软件引用于 §D.2
  8. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §D.2
  9. Recchia, G., Mangat, C. S., Nyachhyon, J., Sharma, M., Canavan, C., Epstein-Gross, D., and Abdulbari, M. (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 引用于 §D.2
  10. Recchia, G., Mangat, C. S., Li, I., and Krishnakumar, G. (2025b). FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41123. 引用于 §D.1 §D.2
  11. Ren, R., Basart, S., Khoja, A., Gatti, A., Phan, L., Yin, X., … Hendrycks, D. (2024). Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? arXiv, v3 (a substantially different version appeared in the NeurIPS 2024 Datasets and Benchmarks Track). 预印本引用于 §D.2
  12. Sheshadri, A., Ewart, A., Fronsdal, K., Gupta, I., Bowman, S. R., Price, S., Marks, S., and Wang, R. (2026). AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors. arXiv. 预印本引用于 §D.2
  13. Wen, J., Ankner, Z., Somani, A., Hase, P., Marks, S., Goldman-Wetzler, J., … Leike, J. (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本引用于 §D.2
  14. Wen, J., Qiu, L., Benton, J., Kirchner, J. H., and Leike, J. (2026). Automated Weak-to-Strong Researcher. Anthropic Alignment Science Blog. 非同行评审引用于 §D.2