Scalable Oversight 入门
第零部分:先修知识

草稿 内容完整但尚未审校,可能还会修改

第 6 章用人类反馈训练模型

路线全部路线最短路线

本章导读

本章问题
  • 模型怎样学会按人的意图回答?
要点
  • 监督学习给正确答案,强化学习给分数;后者把负担从“会做”转到了“会判断”(§6.1)。
  • 典型的后训练有五步:示范数据、监督微调、偏好比较、奖励模型、策略优化(§6.3)。
  • 任何后训练方法都可以用反馈来源、反馈形式、优化方式三个维度来描述(§6.4)。
  • 偏好标签记录的是某位标注员在某种条件下的选择,不等于事实正确,也不等于价值正确(§6.5)。
本章的视频讲解,4 分 44 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07几万次“A 比 B 好”
    标注员(为训练数据作判断的人)读一个问题和模型的两个回答,选出更好的一个。这样的比较做了几万次,模型回答的方式明显变了。这是怎样发生的?
  2. 0:26给答案,还是给分数6.1
    监督微调请人写出好回答(示范数据)让模型模仿,写的人得自己会做。强化学习让模型自己尝试、事后打分,高分的做法更常出现。常假设判断比创作容易,但信号质量取决于打分者会不会判断。
  3. 0:51一步的例子6.2
    策略是选择行动的规则,对语言模型就是模型本身。强化学习调整策略,让期望回报,即对随机性取平均的奖励之和,尽量大。右边的例子里,没有任何地方涉及长回答是不是更好。
  4. 1:14典型的五步6.3
    典型的后训练有五步。人直接参与的只有两步:第一步写示范,第三步比较模型的几个回答;其余三步由训练完成。实际系统不一定照搬这五步,有的省略监督微调,DPO 则把后两步合成一步。
  5. 1:38从比较到分数6.3
    奖励模型是人的替身:读入问题和回答,输出一个分数,训练时让标注员选中的回答得分更高。被选中的概率只取决于两个分数之差(Bradley-Terry 模型),所以只有分数之差有意义。替身在优化后的新回答上不一定准。
  6. 2:05这个流程从哪里来6.3
    2017 年,Christiano 等让非专业的人比较两段短视频,训练奖励预测器;他们报告,方法学会了大多数原有任务。2022 年的 InstructGPT 把这个流程用在语言模型上。
  7. 2:28三个维度6.4
    不看名字,问三个问题:反馈是谁给的?什么形式?怎样优化?RLHF 与 RLAIF(基于人类或 AI 反馈的强化学习)的区别在反馈来源。DPO 是一种优化方式:直接用成对偏好训练模型,不训练单独的奖励模型。
  8. 2:52一条标签记录了什么6.5
    偏好标签字面上说“A 比 B 好”,记录的却是:某一位标注员,按某一份标注说明,在某种时间和信息条件下,看了这两个回答,选了 A。偏好不等于价值正确:不同的人判断不同。
  9. 3:15看起来更对6.5
    偏好也不等于事实正确:两个回答都错,也得选一个。奖励模型分不清选中是因为正确,还是因为更长、更自信、更顺着提问者;这些特征都可能被加分,策略优化再把模型推向它们。谄媚就可能这样出现。
  10. 3:39限制与两种错误6.6
    判断受四种限制:时间、专业、注意力、信息。错误分两种:随机的错误,数据多时次序可以保持、差距偏小(本书的推断);系统性的错误,比如一贯偏爱语气肯定的回答,数据越多学得越确定。
  11. 4:05回到记账程序6.6
    假设比较两版程序,每次 5 分钟,不能运行代码。一版注释整齐、说明自信;另一版注释少,但只有它正确处理了写入失败。标注员很可能选第一版;几万次后,模型写的程序可能越来越像第一版。

带走的几句话:

  1. 从给答案到给分数,训练信号的质量取决于打分者会不会判断。
  2. 典型的后训练有五步:示范数据、监督微调、偏好比较、奖励模型、策略优化。
  3. 偏好标签记录的是某人在某种条件下的选择,不等于事实正确或价值正确。

第 5.3 节说,基础模型擅长续写文本,要让它成为会回答、会听从指令的助手,还要经过后训练。本章讲后训练中最有代表性的一类做法:用人的判断来训练模型。

先看一个场景。标注员(annotator,也常叫 labeler,为训练数据作判断的人)面前有一个问题和模型给出的两个回答,他读完后选出更好的那一个。这样的比较做了几万次。最后得到的模型,回答的方式明显变了:更直接,更符合提问的意图。几万次“A 比 B 好”是怎样变成模型的行为的?

这件事对本书很重要。第 1 章说过,人对模型回答的判断,可能变成执行者下一步学习的信号。本章讲的就是这条路径的具体样子。看清了它,才能理解第 9 章要讨论的问题:当人判断不了哪个回答更好时,训练出来的模型会学到什么。

6.1 监督学习与强化学习 #

第 4.1 节讲的监督学习,是给每个输入配一个正确答案,让模型学着给出这个答案。放在语言模型上,就是请人针对一批问题写出理想的回答,这叫示范数据(demonstrations);再用这些回答训练模型,训练方式和预训练一样,都是预测下一个 token,只是数据换成了精心挑选的示范。这一步叫监督微调(supervised fine-tuning,常缩写为 SFT)。

监督微调很直接,但有几个限制。写出一个好回答,成本很高,而且要求写的人自己会做;模型学到的主要是模仿示范,训练信号的质量受示范者水平的限制(第 17 章会讲到,在用小模型的标签训练大模型的实验里,较强的模型有时能超过给标签的一方(Burns 等,2023));很多问题也没有唯一的正确答案,同一个问题可以有许多种好的回答。

强化学习(reinforcement learning)换了一个思路:不告诉模型正确答案是什么,而是让它自己去尝试,事后给它的尝试打一个分数。得分高的做法以后更常出现,得分低的做法以后更少出现。学骑自行车很像这样:没有人能把每一个动作的正确幅度告诉你,你只能试,摔倒了就知道刚才的做法不好。

对语言模型来说,强化学习有一个很大的吸引力,它基于一个常见的假设:对许多任务来说,判断比创作容易(Leike 等,2018)。你也许写不出最好的回答,但读了两个回答,常常能说出哪个更好(这个假设什么时候不成立,见第 14.4 节)。强化学习让训练信号来自“判断”,而不必来自“示范”。

但这也正是需要警惕的地方。从“给正确答案”到“给分数”,训练信号的质量就从“示范者会不会做”变成了“打分者会不会判断”。模型会朝着得分高的方向变化,不管得分高是因为回答真的好,还是因为打分的方式有漏洞。第 8 章讨论模型怎样钻评分规则的空子,第 9 章讨论打分者判断不了时会发生什么。

第 6.1 节引用的文献 2
  1. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  2. Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction

6.2 强化学习的最低限度 #

后面的章节会用到强化学习的几个词。这里只给最低限度的定义。

  • 策略(policy):在每种情况下怎样选择行动的规则。它可以带随机性,即给每种行动一个概率。对语言模型来说,策略就是模型本身:给定一个问题,它对各种可能的回答给出概率,再从中抽样(第 5.4 节)。
  • 动作(action):策略在某一步做出的选择。在电子游戏里,动作是按下哪个键;对语言模型,可以把每输出一个 token 看作一个动作,也可以把整个回答看作一个动作。
  • 奖励(reward):做出动作之后得到的一个数,表示结果有多好。它可以在每一步之后给出,也可以只在最后给一次。给语言模型的回答打分,通常是整个回答写完之后给一个奖励。
  • 回报(return):一整轮(一局游戏、一次回答)里得到的奖励之和。
  • 期望回报(expected return):因为策略带随机性,每一轮的回报不一样。期望回报是对这种随机性取平均,也就是第 3.1 节讲的期望。

强化学习的目标,就是调整策略的参数,让期望回报尽量大。

看一个只有一步的例子(数字为示意)。一个回答问题的策略,有 70% 的概率写长回答,30% 的概率写短回答。打分规则给长回答 0.8 分,给短回答 0.5 分。这个策略的期望回报是 0.7×0.8+0.3×0.5=0.710.7 \times 0.8 + 0.3 \times 0.5 = 0.71。如果策略总是写长回答,期望回报升到 0.80;总是写短回答,则是 0.50。(数字由 tools/exercises/ch06_preferences.py 算出。)所以强化学习会把这个策略一步步推向“总写长回答”。

注意这里没有任何地方涉及长回答是不是更好。策略只是朝着期望回报更高的方向变化。如果打分规则偏爱长回答的理由与回答质量无关,比如只是因为打分的人觉得长的看起来更认真,策略照样会变得越来越长。本章的练习会回到这个问题。

强化学习怎样具体调整参数?直觉上是:让模型多次尝试,把得分高于平均的回答的概率调高,把得分低于平均的回答的概率调低,就像第 4.3 节里沿着斜率走一小步。具体的算法有很多,下一节提到的 InstructGPT 用的是一种叫 PPO 的算法(Ouyang 等,2022),本书不需要它的细节。

第 6.2 节引用的文献 1
  1. Ouyang 等人(2022)Training language models to follow instructions with human feedback

6.3 典型的后训练流程 #

把监督学习和强化学习组合起来,就得到用人类反馈训练语言模型的典型流程。它有五步:

  1. 示范数据。标注员针对一批问题写出理想的回答。
  2. 监督微调。用示范数据训练基础模型,得到一个初步会按指令回答的模型(第 6.1 节)。
  3. 偏好比较。让模型对同一个问题生成几个回答,标注员比较它们,选出更好的,或者给它们排序。
  4. 奖励模型。训练另一个模型,叫奖励模型(reward model)。它读入一个问题和一个回答,输出一个分数。训练目标是:对每一对比较过的回答,给标注员选中的那个更高的分数。换句话说,奖励模型学的是“预测标注员会选哪个”。
  5. 策略优化。把奖励模型的分数当作奖励,用强化学习调整第 2 步得到的模型,让它写出得分更高的回答。通常还会加一个限制,让模型不要离原来的模型太远(Ouyang 等,2022;Rafailov 等,2023)。

可以把它压缩成一行:示范数据 → 监督微调 → 偏好比较 → 奖励模型 → 策略优化。

步骤 人做什么 得到什么
示范数据 写出理想的回答 一批“问题,好回答”的样本
监督微调 不直接参与 一个会模仿示范的初始模型
偏好比较 比较模型的几个回答,选出或排序 一批“A 比 B 好”的记录
奖励模型 不直接参与 一个能给任意回答打分的模型
策略优化 不直接参与 一个写出高分回答的模型

奖励模型这一步是整个流程的关键。人不可能给强化学习过程中模型写出的每一个回答都打分,因为强化学习需要成千上万次尝试。奖励模型把数量有限的人类比较,变成一个可以随时给任何回答打分的替身。代价是,策略优化时被最大化的,是这个替身的分数,而不是人本来的判断。替身在它见过的那类回答上也许很准,在策略优化后模型写出的新回答上却不一定准(Rafailov 等,2023)。“不要离原来的模型太远”这个限制,部分原因就在这里:InstructGPT 的论文说明,加这个限制是为了缓解对奖励模型的过度优化(Ouyang 等,2022)。第 23.2 节讨论奖励模型被过度优化时会发生什么。图 6.1 用五个回答演示了第 4 步怎样把“选 A 还是选 B”的记录变成每个回答的一个分数。

标注员心中的分数拟合出的奖励−4−3−2−101234分数A1.69B−0.02C0.40D−0.61E−1.46选行而不选列的概率(%)AA·85789196BB15·406481CC2260·7387DD93627·70EE4191330·共 120 次比较。拟合结果对每次比较的平均对数似然为 −0.482(在同一组记录上,越接近 0,越能解释这些选择;记录不同时不能这样比)。拟合出的奖励与标注员心中分数的最大差距:0.52。
标注员心中的分数拟合出的奖励−4−3−2−101234分数A1.69B−0.02C0.40D−0.61E−1.46选行而不选列的概率(%)AA·85789196BB15·406481CC2260·7387DD93627·70EE4191330·共 120 次比较。拟合结果对每次比较的平均对数似然为 −0.482(在同一组记录上,越接近 0,越能解释这些选择;记录不同时不能这样比)。拟合出的奖励与标注员心中分数的最大差距:0.52。
图 6.1 从成对比较拟合分数。五个回答 A 到 E,模拟的标注员心中各有一个分数(青色虚线短横,平均为 0);比较两个回答时,分数高的一方更可能被选中,被选中的概率只取决于两者分数之差,这种设定叫 Bradley-Terry 模型。橙色点是从比较记录中拟合出的奖励(分数):它找一组分数,使记录里的这些选择最有可能出现。这里每个回答直接对应一个分数,是对奖励模型的简化:真实的奖励模型读入问题和回答,再算出分数。默认数据是每对比较 12 次,共 120 次;这组样本恰好让拟合把 C 排在了 B 前面。右边(窄屏时在下方)的方格是拟合结果认为“选行而不选列”的概率(%)。拖动平移滑块:所有橙色点(拟合出的奖励)一起移动,方格里没有一个概率改变,所以只有分数之差有意义。“每对再比较 12 次”通常会让拟合更接近标注员心中的分数(多点几次更明显),“重新抽样”换一组模拟的选择。标注员的分数和模拟的选择是为说明而设定的示意,拟合由它们精确算出。

这个流程从哪里来。用人的比较学出奖励、再用强化学习去优化,较早成规模的应用是在游戏和机器人控制上:Christiano 等在 2017 年让非专业的人比较智能体行为的两段 1 到 2 秒的短视频,选出更好的一段,用这些比较训练一个奖励预测器,智能体则去最大化预测出来的奖励(Christiano 等,2017)。他们报告,在 Atari 游戏和模拟机器人运动任务上,这种方法在看不到任务原本奖励的情况下,也能学会大多数原有的任务,而人只对智能体不到 1% 的交互给出了反馈(Christiano 等,2017)。他们还训练了几种很难手写奖励函数的新行为,例如让模拟机器人连续后空翻,用了 900 次比较、不到一小时;这类新行为的反馈由作者本人给出,不是来自非专业的人;原有任务里也有两项模拟机器人任务(Reacher 和 Cheetah)因时间所限由一位作者给反馈(Christiano 等,2017)。

用在语言模型上。Ouyang 等在 2022 年发表的 InstructGPT 是这个流程用在语言模型上的代表(Ouyang 等,2022)。他们雇了大约 40 名标注员,先收集示范数据对 GPT-3 做监督微调,再收集比较数据训练奖励模型,最后用 PPO 针对奖励模型优化。在偏好比较这一步,标注员每次对同一个问题的 4 到 9 个回答排序。一次排序可以拆成许多对比较:4 个回答两两配对有 6 对,9 个回答有 36 对(Ouyang 等,2022)。他们报告,在他们的提示分布上,标注员更偏好 13 亿参数的 InstructGPT 的回答,而不是 1750 亿参数的 GPT-3 的回答(Ouyang 等,2022)。读这个结果时要注意,它是开发者对自己模型的报告,作评估的也是他们雇的标注员;论文还报告,在一项初步实验里,另一组没有参与生成训练数据的标注员(来自同样的外包公司,没有做筛选测试)给出了相近的偏好(Ouyang 等,2022)。

实际系统不一定照搬五步。有的系统省略监督微调,例如 DeepSeek-R1-Zero 直接在基础模型上做强化学习,奖励来自规则检查(DeepSeek-AI 等,2025);有的用模型生成的示范代替人写的示范,例如 Constitutional AI 的监督阶段(Bai 等,2022);有的反复执行第 3 到 5 步,在新模型的回答上收集新的比较,InstructGPT 的论文就说明第 3 到 5 步(论文里编为第 2、3 步)可以迭代进行(Ouyang 等,2022);下一节讲的 DPO 则把奖励模型和策略优化两步合成了一步。这五步是一个用来描述和比较的参照,不是每个系统都必须遵守的配方。

第 6.3 节引用的文献 5
  1. Ouyang 等人(2022)Training language models to follow instructions with human feedback
  2. Rafailov 等人(2023)Direct Preference Optimization: Your Language Model is Secretly a Reward Model
  3. Christiano 等人(2017)Deep reinforcement learning from human preferences
  4. DeepSeek-AI 等人(2025)DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning
  5. Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback

6.4 描述后训练方法的三个维度 #

后训练方法的名字很多:RLHF、RLAIF、DPO、Constitutional AI……初学时很容易混在一起。一个有用的办法是不看名字,而是问三个问题:反馈是谁给的?反馈是什么形式?拿到反馈之后怎样优化模型?

表 6.1 描述后训练方法的三个维度
维度 常见取值
反馈来源 人类、AI、程序化检查(如单元测试、规则匹配)、混合来源
反馈形式 示范、成对偏好、评分、过程标注
优化方式 监督微调;先训练显式奖励模型再做强化学习;DPO 等直接偏好优化

逐个看一下。

反馈来源是谁在作判断。人类包括标注员、专家和普通用户。AI 指另一个模型充当评估者,它可以按一组写明的原则来判断,例如 Constitutional AI 的做法(Bai 等,2022),这是第 21 章的内容。程序化检查指不靠任何人或模型的判断,而是由程序给出结果,例如代码是否通过单元测试、数学题的答案是否与标准答案一致(第 20.2 节)。实际系统常常混用几种来源。

反馈形式是判断以什么样子交出来。示范是直接写出好的回答;成对偏好是比较两个回答,说哪个更好(排序可以拆成许多对成对偏好);评分是给单个回答打一个分数;过程标注是对一个多步的解答逐步标出每一步对不对,而不只是看最后的答案(第 19.2 节)。

优化方式是怎样用反馈改变模型。监督微调让模型模仿示范;“先训练显式奖励模型再做强化学习”就是第 6.3 节的第 4、5 步;直接偏好优化则跳过单独的奖励模型。DPO(Direct Preference Optimization,直接偏好优化)是其中的代表:它直接拿成对偏好数据训练模型本身,用一个类似分类问题的损失,提高被偏好的回答相对于被拒绝的回答的概率,不需要显式的奖励模型,也不需要强化学习(Rafailov 等,2023)。它的作者论证,这样优化的目标与上面那套“奖励模型加强化学习”的目标是同一个,而做法简单得多(Rafailov 等,2023)。

常见的名字落到这三个维度上,是下面这样:

表 6.2 常见名称在三个维度上的位置
名称 反馈来源 反馈形式 优化方式
监督微调 人类写的示范,也可以是 AI 生成的示范 示范 监督微调
典型的 RLHF 人类 成对偏好(或排序) 先训练奖励模型,再做强化学习
RLAIF AI 通常是成对偏好 常见做法同上;也可以直接用 AI 的打分作为奖励(第 21.2 节)
DPO 人类或 AI 成对偏好 直接偏好优化,不训练单独的奖励模型
以测试结果为奖励的强化学习 程序化检查 评分(通过或不通过) 强化学习,奖励直接来自检查程序

几点需要分清。

  • RLHF 与 RLAIF 的区别在反馈来源。RLHF 是基于人类反馈的强化学习(reinforcement learning from human feedback),RLAIF 是基于 AI 反馈的强化学习(reinforcement learning from AI feedback)。典型的 RLHF 用成对偏好训练奖励模型,再做强化学习;把作判断的人换成模型,就是 RLAIF。
  • DPO 是一种优化方式,不是一种反馈来源。它的偏好数据可以来自人类,也可以来自 AI。说“用 DPO 训练”,只回答了三个问题中的一个。
  • 名字往往只说明了一两个维度。“RLHF”说明了来源(人类)和优化方式(强化学习),没有直接说明反馈形式。读论文时,最好把方法在三个维度上都定位一次。

还有一点会在后面反复用到。改变优化方式,不会改变反馈本身的内容。DPO 去掉了单独的奖励模型,但它学习的仍然是同一批偏好标签;标签里记录了什么,它同样会学到(本书的推断)。下一节就来看标签里记录了什么。

第 6.4 节引用的文献 2
  1. Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
  2. Rafailov 等人(2023)Direct Preference Optimization: Your Language Model is Secretly a Reward Model

6.5 偏好标签记录的是什么 #

一条偏好标签,字面上说的是“回答 A 比回答 B 好”。更准确地说,它记录的是:某一位标注员,按照某一份标注说明,在某种时间和信息条件下,看了这两个回答,选了 A。仅此而已。

由此可以看出它不等于什么。

偏好不等于事实正确。第一,偏好是相对的。两个回答都错了,标注员也得选一个,被选中的那个并不因此变成对的。第二,标注员不一定有能力核实事实。他选的是看起来更对的那个,而“看起来更对”可能来自表述流畅、语气肯定、内容详细、篇幅更长,这些都不保证正确。第三,即使标注员能核实,他也未必有时间核实(第 6.6 节)。

偏好也不等于价值正确。对于“该不该回答这个请求”“怎样回答才算得体”这类问题,不同的人判断不同。InstructGPT 的论文对此说得很直接:他们的训练让模型对齐的,是一个特定人群(主要是他们的标注员和研究者)表达出来的偏好,而不是某种更广泛的“人类价值”(Ouyang 等,2022)。论文报告,训练用的标注员之间的一致率是 72.6 ± 1.5%(Ouyang 等,2022),也就是说,大约每四次中就有一次,两位标注员的判断不同。± 后面的数,论文没有单独说明,只在图 1 的说明里写了全文的误差线都是 95% 置信区间(Ouyang 等,2022)。论文的 arXiv 版(作者发在预印本网站 arXiv 上的版本)还说明,出于成本考虑,大多数比较只由一位标注员标注(Ouyang 等,2022)。

标签还取决于标注说明。同一对回答,说明里要求“优先考虑对用户有帮助”,和要求“优先考虑真实、无害”,选择可能不同。InstructGPT 的研究者规定,几项标准冲突时(例如用户请求一个可能有害的回答),训练阶段让标注员优先考虑对用户的帮助,而在最终评估时让标注员优先考虑真实和无害(Ouyang 等,2022)。同一批人,在两种说明下作出的判断,意思是不一样的。

这些都会进入奖励模型。奖励模型学的是“预测标注员会选哪个”,它分不清标注员是因为回答正确而选它,还是因为回答更长、更自信、更顺着提问者的意思而选它。只要某个特征在数据里与“被选中”有关联,奖励模型就可能给这个特征加分;策略优化再把模型推向这个特征。第 8.5 节讨论的谄媚,即模型迎合用户已经表达的观点,就可能经由这条路径出现;第 12.3 节讨论的长度偏差,在一些模型当裁判时也测到过。

要点

偏好标签是一次判断的记录,不是事实的记录。它告诉你某个人在某种条件下更喜欢哪个回答,不告诉你哪个回答是对的,也不告诉你哪个回答在价值上是正确的。

第 6.5 节引用的文献 1
  1. Ouyang 等人(2022)Training language models to follow instructions with human feedback

6.6 标注员的局限 #

上一节说,偏好标签记录的是“某种条件下”的判断。条件主要有四种限制,它们都会进入奖励模型。

时间。每次比较能用的时间是有限的,通常由预算决定。在 Christiano 等的实验里,被比较的是 1 到 2 秒的视频片段,标注员平均 3 到 5 秒回答一次(Christiano 等,2017)。看一段后空翻的视频,几秒钟就能判断。但如果被比较的是两版 500 行的记账程序,几分钟远远不够读懂代码,更不用说检查规则三(写入失败时不能只记一半)。第 9.2 节的例子是:标注员每题只有 2 分钟,而核查答案需要 20 分钟。

专业。回答涉及医学、法律或专门的编程知识时,一般的标注员往往难以判断对错。请专家可以缓解这个问题,但专家贵且少,能标注的数量有限。

注意力。几百次比较做下来,人可能疲劳,判断可能变得草率和不一致(本书的推断;第 13.3 节讨论疲劳和长时间监视的研究)。设计奖励模型时,也要考虑人的随机出错:Christiano 等在建模时假定,人有 10% 的概率随机作答,理由是人作判断时有一个固定的出错率,即使两段片段的奖励相差很大,它也不会降到 0(Christiano 等,2017)。

信息。标注员只能看到界面上展示的东西。模型引用了一篇原文而标注员看不到,模型写了一段代码而标注员不能运行它,标注员就只能根据回答本身的样子来判断。

这些限制造成的错误分两种,影响不同。随机的错误,比如偶尔手滑点错,会让奖励模型的训练数据有噪声;数据多了,它们造成的波动会相互抵消,不偏向任何一类回答(本书的推断)。说得具体些,假设每个标签都以同一个小于一半的概率被翻转(本来选 A,记成了选 B),各次翻转相互独立。再假设每对回答都比较同样多次(如图 6.1),拟合时不考虑翻转。那么数据足够多时,拟合出的分数仍保持原来的先后次序,但差距会变小,数据再多也不会恢复(本书的推断)。这是因为翻转把每对回答中较好者被选中的概率拉向 50%,而不越过 50%;这个概率越接近 50%,拟合出的分数之差就越小(本书的推断)。系统性的错误则不会抵消。如果标注员一贯偏爱语气肯定的回答,不管它对不对,那么数据越多,奖励模型越确定地学到“语气肯定就该加分”,策略优化再把这一点放大。

回到记账程序。假设标注员要比较模型写的两版程序,每次只有 5 分钟,不能运行代码。一版注释整齐,附带一段自信的说明,声称三条规则都已满足;另一版注释很少,说明也很简短,但只有它正确处理了写入失败的情形。标注员很可能选第一版。几万次这样的比较之后,奖励模型学到的可能是“注释整齐、说明自信”,而不是“满足规则三”;策略优化之后,模型写出的程序可能越来越像第一版。这是一种可能的失效机制,它是否真的发生,取决于标注员的判断在多大程度上依赖这些表面特征。第 9 章会仔细讨论这种机制在什么条件下成立,以及有哪些实验证据。

这也说明了本书接下来要做的事。如果人在这些限制下的判断就是训练信号的上限,那么要训练出比人更可靠的模型,就要想办法让人的判断变得更好:给人更多信息,把难的判断拆成容易的判断,让模型帮人找问题。第三部分讲的方法,大多可以看作在改进进入这条流程的那个判断。

第 6.6 节引用的文献 1
  1. Christiano 等人(2017)Deep reinforcement learning from human preferences

读物 #

  • 入门讲解 · 博客:Lambert 等《Illustrating Reinforcement Learning from Human Feedback (RLHF)》(Hugging Face,2022)(Lambert 等,2022)。用图示把流程分成预训练语言模型、训练奖励模型、用强化学习微调三步,可以和第 6.3 节的五步对照,看哪些步骤被合并或省略了。
  • 入门讲解 · 文档(实验及研究):Achiam《Spinning Up in Deep Reinforcement Learning》(OpenAI)第一部分 Key Concepts in RL(Achiam,2018)。比第 6.2 节更完整地定义策略、奖励、回报和期望回报等概念,带公式。
  • 入门讲解 · 教材(选读):Lambert《Reinforcement Learning from Human Feedback》(rlhfbook.com)的引言和奖励模型相关章节(Lambert,2025)。想系统了解后训练各个环节的读者可以从这里开始。
  • 原始提案 · 会议论文:Christiano 等《Deep reinforcement learning from human preferences》(NeurIPS 2017)第 1 到 2 节(Christiano 等,2017)。把人的成对比较扩展到深度强化学习的代表性工作,重点看第 2 节怎样把比较变成奖励预测器。
  • 实验结果 · 会议论文:Ouyang 等《Training language models to follow instructions with human feedback》(NeurIPS 2022)第 1 节和第 3 节的方法概述(Ouyang 等,2022)。读第 1 节了解三步方法和主要结果;读第 3 节了解数据怎样收集、标注员怎样挑选。第 6.5 节引用的标注说明,会议版放在补充材料的 B.2 节;“大多数比较只由一位标注员标注”只在 arXiv 版里(第 5.3 节)。
本节引用的文献 5
  1. Lambert 等人(2022)Illustrating Reinforcement Learning from Human Feedback (RLHF)
  2. Achiam(2018)Spinning Up in Deep Reinforcement Learning
  3. Lambert(2025)Reinforcement Learning from Human Feedback
  4. Christiano 等人(2017)Deep reinforcement learning from human preferences
  5. Ouyang 等人(2022)Training language models to follow instructions with human feedback

练习 #

习题 6.1 标注员偏好的是长度还是正确

下面是为教学构造的数据。一位标注员比较了 18 对回答,每一对是对同一个记账问题的两个回答。每个回答属于四类之一:长且正确、长且错误、短且正确、短且错误(“长”“短”是同一对之内相对而言)。配对覆盖三种情况:第 1 到 6 对只有长度不同,第 7 到 12 对只有正确性不同,第 13 到 18 对是两者冲突,即长而错对短而对。

先看两对的原文。

第 1 对,问题:“收入 200 元,支出 50 元,余额是多少?”

  • 回答 A(长且正确):“根据规则一,余额等于收入减支出。收入是 200 元,支出是 50 元,所以余额是 200 − 50 = 150 元。这里没有重复提交,也没有写入失败的情况,不需要额外处理。”
  • 回答 B(短且正确):“150 元。”
  • 标注员选了 A。

第 13 对,问题:“先存入 100 元,再支出 30 元,这笔支出因为网络问题被提交了两次。按需求说明,余额应该是多少?”

  • 回答 A(长且错误):“我们一步步来算。初始存入 100 元,这是收入。随后有一笔 30 元的支出,由于网络问题被提交了两次,系统中一共有两笔支出记录,合计 60 元。根据规则一,余额等于收入减支出,即 100 − 60 = 40 元。因此余额应该是 40 元。”
  • 回答 B(短且正确):“70 元。重复提交只记一次(规则二),100 − 30 = 70。”
  • 标注员选了 A。

全部 18 对的类别和标注员的选择如下:

编号 回答 A 回答 B 标注员选择
1 长且正确 短且正确 A
2 短且正确 长且正确 B
3 长且错误 短且错误 A
4 长且正确 短且正确 B
5 短且错误 长且错误 B
6 短且错误 长且错误 B
7 长且正确 长且错误 A
8 短且错误 短且正确 B
9 长且错误 长且正确 B
10 短且正确 短且错误 A
11 长且正确 长且错误 B
12 短且错误 短且正确 B
13 长且错误 短且正确 A
14 短且正确 长且错误 B
15 长且错误 短且正确 A
16 短且正确 长且错误 A
17 短且正确 长且错误 B
18 长且错误 短且正确 A
  1. 对三种情况分别统计:标注员有几次选了较长的回答,有几次选了正确的回答?
  2. 根据这些统计,提出一个关于这位标注员偏好什么的假设。
  3. 这批数据能否区分“偏好长度”与“偏好正确”?哪几组配对起了作用?如果数据里只有第 13 到 18 对,还能区分吗?如果数据里只有“长且正确对短且错误”这样的配对呢?
  4. 如果把所有正确性不同的配对(第 7 到 18 对)合在一起,算“选了正确回答的比例”,会得到什么?这个数字会怎样误导人?
  5. 用这位标注员的大量类似选择训练奖励模型,它可能学到什么?策略优化之后,模型的回答可能怎样变化?
  6. 这个结论还有哪些局限?
提示

先按三种情况分开数,不要一开始就把 18 对放在一起。第 3 问想一想:在第 13 到 18 对里,“选了长的”和“选了错的”是不是同一件事?

解答

数字由 tools/exercises/ch06_preferences.py 算出。

  1. 只有长度不同(第 1 到 6 对):6 次中 5 次选了较长的回答(第 4 对例外)。只有正确性不同(第 7 到 12 对):6 次中 5 次选了正确的回答(第 11 对例外)。两者冲突(第 13 到 18 对):6 次中 5 次选了长而错的回答,只有第 16 对选了短而对的回答。
  2. 一个合理的假设是:这位标注员既偏好较长的回答,也偏好正确的回答;但两者冲突时,长度通常占上风。也就是说,他对长度的偏好比对正确性的偏好更强。一种可能的解释是,他没有逐一核实答案,长回答看起来更认真,于是更容易被选中(这只是假设,数据本身不能说明原因)。
  3. 能区分,三组配对各起一部分作用。第 1 到 6 对固定了正确性、只改变长度,用来检验对长度的偏好是否单独存在;第 7 到 12 对固定了长度、只改变正确性,用来检验对正确性的偏好是否单独存在;第 13 到 18 对让两者对着干,“只偏好长度”和“只偏好正确”在这里预测相反的选择,所以它们用来检验冲突时哪一个占上风:6 次中 5 次是长度(每组只有 6 对,单看一组不能下确定的结论,见第 6 问)。但如果只有第 13 到 18 对,能得出的结论有限:在这些配对里,较长的回答恰好都是错的,“只看长度”“两者都看但更看重长度”和“偏好错误的答案”预测的选择完全相同,分不开;要知道标注员是否在乎正确性,还得靠第 7 到 12 对。如果只有“长且正确对短且错误”这样的配对,就完全无法区分:较长的回答恰好都是对的,“偏好长度”和“偏好正确”预测的选择完全相同,标注员每次都选长而对的回答,看起来就像一位只看正确性的好标注员。
  4. 第 7 到 18 对一共 12 对,选了正确回答的有 5 + 1 = 6 次,比例是 50%,看起来像是标注员完全不在乎正确性。但第 7 到 12 对单独看,他在长度相同时 6 次中有 5 次选了正确的回答。合并之后的 50% 把“在乎正确性”和“更在乎长度”混在了一起。反过来,所有长度不同的配对(第 1 到 6 对和第 13 到 18 对)合起来,他 12 次中有 10 次选了较长的回答,即 83%。分析偏好数据时,要按配对的设计分组来看。
  5. 奖励模型学的是预测这位标注员会选哪个,所以它很可能给长度很高的分数,给正确性较低的分数。例如,用一个最简单的打分规则“分数 = a × 是否较长 + b × 是否正确”去拟合这 18 个选择,得到 a ≈ 2.29,b ≈ 1.15。这是打分规则里的两个权重,a 约为 b 的两倍;换成概率,只差长度时选较长回答的概率约 0.91,只差正确性时选正确回答的概率约 0.76。拟合方法与图 6.1 相同:被选中的概率只取决于两个回答的分数之差,找一组 a、b,使记录里这 18 个选择最有可能出现,具体的计算见脚本。按这个规则,长而错的回答比短而对的回答得分更高,被偏好的概率约为 0.76。策略优化之后,模型的回答可能越来越长,而其中错误的长回答也会得到奖励,正确性不一定提高。
  6. 局限:数据是构造的,每组只有 6 对,只有一位标注员。即使标注员完全随机作选择,6 次中至少 5 次选较长回答的概率也有约 10.9%,所以每一组单独看都不能下确定的结论(第 3 章)。“正确”是我们事先知道的答案,标注员在作选择时未必知道。所有问题都是简单的记账计算,在其他任务上,这位标注员的偏好可能不同。另外,选 A 的次数是 18 次中的 8 次,看不出明显的位置偏好,但也只是这批数据上的观察。
习题 6.2 把方法放进三个维度

用表 6.1 的三个维度,描述下面每一种做法的反馈来源、反馈形式和优化方式。

  1. 请程序员为 1000 个编程问题写出参考解答,用它们训练模型。
  2. 让另一个模型按一份写好的原则比较两个回答哪个更无害,用这些比较训练奖励模型,再做强化学习。
  3. 让模型写代码,代码通过全部单元测试得 1 分,否则得 0 分,用这个分数做强化学习。
  4. 收集人类标注员的成对偏好,直接用 DPO 训练模型。
  5. 请数学老师逐步标出模型解答中每一步对不对,用这些标注训练一个奖励模型,再做强化学习。
解答
做法 反馈来源 反馈形式 优化方式
1 人类 示范 监督微调
2 AI 成对偏好 先训练奖励模型,再做强化学习(这是 RLAIF,见第 21 章)
3 程序化检查 评分(通过或不通过) 强化学习,奖励直接来自测试程序(第 20.2 节)
4 人类 成对偏好 直接偏好优化(DPO),不训练单独的奖励模型
5 人类 过程标注(第 19.2 节) 先训练奖励模型,再做强化学习

第 2 和第 4 种做法说明,“用 AI 还是用人”与“用不用奖励模型”是两个独立的选择:把第 4 种的标注员换成模型,仍然是 DPO;把第 2 种的模型换成人,就是典型的 RLHF。

学完能做到 #

  • 画出典型的五步流程:示范数据、监督微调、偏好比较、奖励模型、策略优化,并说出每一步人做什么、得到什么。
  • 把任一后训练方法放进“反馈来源、反馈形式、优化方式”三个维度,说明 RLHF 与 RLAIF 的区别在反馈来源,DPO 是一种优化方式。
  • 解释偏好标签与正确性的差别:标签记录的是某位标注员在某种条件下的选择,它可能奖励长度、语气等与正确无关的特征。
  • 说出标注员的时间、专业、注意力和信息四种限制怎样经由奖励模型进入模型的行为,并区分随机错误和系统性错误。

参考文献

  1. Achiam, J. (2018). Spinning Up in Deep Reinforcement Learning. OpenAI. 非同行评审
  2. Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., … Kaplan, J. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本引用于 §6.3 §6.4
  3. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §6.1
  4. Christiano, P., Leike, J., Brown, T. B., Martic, M., Legg, S., and Amodei, D. (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems. 引用于 §6.3 §6.6
  5. DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., … Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 引用于 §6.3
  6. Lambert, N. (2025). Reinforcement Learning from Human Feedback. Manning Publications.
  7. Lambert, N., Castricato, L., von Werra, L., and Havrilla, A. (2022). Illustrating Reinforcement Learning from Human Feedback (RLHF). Hugging Face Blog. 非同行评审
  8. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本引用于 §6.1
  9. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §6.2 §6.3 §6.5
  10. Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., and Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems. doi:10.52202/075280-2338. 引用于 §6.3 §6.4