Scalable Oversight 入门
第零部分:先修知识

草稿 内容完整但尚未审校,可能还会修改

第零部分先修知识

本部分导读

本部分问题
  • 为读懂后面的问题和实验,零基础的读者需要哪些工具?
要点
  • 后面的实验要用到的最低限度的编程与数学:Python、数组运算、函数图像与斜率(第 2 章)。
  • 判断一个实验结果有多可信:标准误、置信区间、配对比较,以及“测试中从未失败”能说明什么(第 3 章)。
  • 机器怎样从数据中学习,为什么训练分数高不等于对新数据有效(第 4 章)。
  • 语言模型由哪几层组成,从基础模型到使用工具的智能体(第 5 章)。
  • 模型怎样用人类反馈训练,偏好标签记录的是什么、不是什么(第 6 章)。

这一部分为零基础的读者准备工具。第 1 章提出全书的问题;第 2 章到第 6 章依次讲编程与数学、概率与统计、机器学习、语言模型,以及用人类反馈训练模型。

第 1 章、第 3 章、第 4 章、第 5 章、第 6 章是概念、实验、研究三条路线的必读,也都在最短路线中,最短路线只读第 3 章的部分小节;第 2 章是实验路线和研究路线的必修。概率与统计放在前面,因为第 6 章的训练流程和第二部分的实验都要用到它。

本部分各章

  1. 1 导论:一个你判断不了的答案

    当 AI 的输出超出你的判断能力时,你凭什么决定是否接受它?

  2. 2 编程与数学工具:Python、数组和函数的变化

    后面的实验需要哪些最低限度的编程和数学?

  3. 3 概率与统计

    一个实验结果有多可信?

  4. 4 机器学习基础

    机器怎样从数据中学习?

  5. 5 语言模型:从基础模型到智能体

    Claude、ChatGPT 这类系统由哪几层组成?

  6. 6 用人类反馈训练模型

    模型怎样学会按人的意图回答?

第零部分参考文献

本部分各章共引用 27 篇文献。

  1. Achiam, J. (2018). Spinning Up in Deep Reinforcement Learning. OpenAI. 非同行评审 第 6 章
  2. Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., … Kaplan, J. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本 第 6 章
  3. Blitzstein, J. K., and Hwang, J. (2019). Introduction to Probability. Chapman and Hall/CRC. 第 3 章
  4. BlueDot Impact (2026b). The Future of AI. BlueDot Impact. 非同行评审 第 1 章
  5. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 6 章
  6. Christiano, P., Leike, J., Brown, T. B., Martic, M., Legg, S., and Amodei, D. (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems. 第 6 章
  7. DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., … Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 第 6 章
  8. Google (n.d.). Machine Learning Crash Course. Google for Developers. 非同行评审 第 2 章 第 4 章
  9. Hendrycks, D. (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 第 1 章 第 4 章
  10. Karpathy, A. (2023). Let's build GPT: from scratch, in code, spelled out. YouTube. 非同行评审 第 5 章
  11. Kunin, D., Guo, J., Devlin, T. D., and Xiang, D. (n.d.). Seeing Theory: A visual introduction to probability and statistics. Brown University. 非同行评审 第 3 章
  12. Kwa, T., West, B., Becker, J., Deng, A., Garcia, K., Hasin, M., … Chan, L. (2025). Measuring AI Ability to Complete Long Software Tasks. Advances in Neural Information Processing Systems 38. 第 1 章
  13. Lambert, N. (2025). Reinforcement Learning from Human Feedback. Manning Publications. 第 6 章
  14. Lambert, N., Castricato, L., von Werra, L., and Havrilla, A. (2022). Illustrating Reinforcement Learning from Human Feedback (RLHF). Hugging Face Blog. 非同行评审 第 6 章
  15. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本 第 6 章
  16. Malan, D. J. (2022). CS50's Introduction to Programming with Python. Harvard University. 非同行评审 第 2 章
  17. Miller, E. (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv. 预印本 第 3 章
  18. NumPy Developers (2026). NumPy: the absolute basics for beginners. NumPy documentation. 非同行评审 第 2 章
  19. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 第 1 章 第 4 章 第 6 章
  20. Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., and Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems. doi:10.52202/075280-2338. 第 6 章
  21. Sanderson, G. (2016). Essence of linear algebra. 3Blue1Brown (YouTube). 非同行评审 第 2 章
  22. Sanderson, G. (2017a). Essence of calculus. 3Blue1Brown (YouTube). 非同行评审 第 2 章
  23. Sanderson, G. (2017b). Neural networks. 3Blue1Brown (YouTube). 非同行评审 第 4 章
  24. Sanderson, G. (2024a). Large Language Models explained briefly. 3Blue1Brown. 非同行评审 第 5 章
  25. Sanderson, G. (2024b). Transformers, the tech behind LLMs. 3Blue1Brown. 非同行评审 第 5 章
  26. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems. 第 5 章
  27. Wen, J., Zhong, R., Khan, A., Perez, E., Steinhardt, J., Huang, M., … Feng, S. (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 第 1 章