草稿 内容完整但尚未审校,可能还会修改
第二部分怎样判断一个监督方法有效
本部分导读
这一部分是全书的方法论主干,放在具体方法之前。第 11 章给出检验监督方法的实验范式和四个核心问题;第 12 章讨论用语言模型当裁判时的偏差;第 13 章讨论人的判断会以哪些方式出错。
读第三部分的每篇实验论文时,都用这一部分的问题去检查它。附录 A 把这些问题整理成一份完整的检查清单。
本部分各章
- 11 实验设计与监督预算
在超越人类的模型还不普遍时,怎样做实验来检验一个监督方法?
- 12 语言模型当裁判
用一个模型给另一个模型打分,什么时候可信?
- 13 人的判断
人作为最终监督者,会以哪些方式出错?
第二部分参考文献
本部分各章共引用 16 篇文献。
- (2016). Concrete Problems in AI Safety. arXiv. 预印本 第 11 章
- (1983). Ironies of automation. Automatica. 第 13 章
- (2025). Measuring what Matters: Construct Validity in Large Language Model Benchmarks. Advances in Neural Information Processing Systems 38. 第 11 章
- (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本 第 11 章 第 13 章
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 11 章
- (2021). The case for aligning narrowly superhuman models. AI Alignment Forum. 非同行评审 第 11 章
- (2024). Are We Done with MMLU? Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). doi:10.18653/v1/2025.naacl-long.262. 第 11 章
- (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 第 11 章 第 12 章
- (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 第 11 章
- (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 第 13 章
- (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors: The Journal of the Human Factors and Ergonomics Society. 第 13 章
- (2022). Overreliance on AI: Literature Review. Microsoft. 非同行评审 第 13 章
- (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 第 11 章 第 13 章
- (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. Conference on Language Modeling, 2024. 第 11 章
- (2005). Rare items often missed in visual searches. Nature. 第 13 章
- (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. doi:10.52202/075280-2020. 第 12 章 第 13 章