草稿 内容完整但尚未审校,可能还会修改
第 6 章用人类反馈训练模型
路线全部路线最短路线
本章导读
文字稿
- 0:07几万次“A 比 B 好”
标注员(为训练数据作判断的人)读一个问题和模型的两个回答,选出更好的一个。这样的比较做了几万次,模型回答的方式明显变了。这是怎样发生的? - 0:26给答案,还是给分数6.1
监督微调请人写出好回答(示范数据)让模型模仿,写的人得自己会做。强化学习让模型自己尝试、事后打分,高分的做法更常出现。常假设判断比创作容易,但信号质量取决于打分者会不会判断。 - 0:51一步的例子6.2
策略是选择行动的规则,对语言模型就是模型本身。强化学习调整策略,让期望回报,即对随机性取平均的奖励之和,尽量大。右边的例子里,没有任何地方涉及长回答是不是更好。 - 1:14典型的五步6.3
典型的后训练有五步。人直接参与的只有两步:第一步写示范,第三步比较模型的几个回答;其余三步由训练完成。实际系统不一定照搬这五步,有的省略监督微调,DPO 则把后两步合成一步。 - 1:38从比较到分数6.3
奖励模型是人的替身:读入问题和回答,输出一个分数,训练时让标注员选中的回答得分更高。被选中的概率只取决于两个分数之差(Bradley-Terry 模型),所以只有分数之差有意义。替身在优化后的新回答上不一定准。 - 2:05这个流程从哪里来6.3
2017 年,Christiano 等让非专业的人比较两段短视频,训练奖励预测器;他们报告,方法学会了大多数原有任务。2022 年的 InstructGPT 把这个流程用在语言模型上。 - 2:28三个维度6.4
不看名字,问三个问题:反馈是谁给的?什么形式?怎样优化?RLHF 与 RLAIF(基于人类或 AI 反馈的强化学习)的区别在反馈来源。DPO 是一种优化方式:直接用成对偏好训练模型,不训练单独的奖励模型。 - 2:52一条标签记录了什么6.5
偏好标签字面上说“A 比 B 好”,记录的却是:某一位标注员,按某一份标注说明,在某种时间和信息条件下,看了这两个回答,选了 A。偏好不等于价值正确:不同的人判断不同。 - 3:15看起来更对6.5
偏好也不等于事实正确:两个回答都错,也得选一个。奖励模型分不清选中是因为正确,还是因为更长、更自信、更顺着提问者;这些特征都可能被加分,策略优化再把模型推向它们。谄媚就可能这样出现。 - 3:39限制与两种错误6.6
判断受四种限制:时间、专业、注意力、信息。错误分两种:随机的错误,数据多时次序可以保持、差距偏小(本书的推断);系统性的错误,比如一贯偏爱语气肯定的回答,数据越多学得越确定。 - 4:05回到记账程序6.6
假设比较两版程序,每次 5 分钟,不能运行代码。一版注释整齐、说明自信;另一版注释少,但只有它正确处理了写入失败。标注员很可能选第一版;几万次后,模型写的程序可能越来越像第一版。
带走的几句话:
- 从给答案到给分数,训练信号的质量取决于打分者会不会判断。
- 典型的后训练有五步:示范数据、监督微调、偏好比较、奖励模型、策略优化。
- 偏好标签记录的是某人在某种条件下的选择,不等于事实正确或价值正确。
第 5.3 节说,基础模型擅长续写文本,要让它成为会回答、会听从指令的助手,还要经过后训练。本章讲后训练中最有代表性的一类做法:用人的判断来训练模型。
先看一个场景。标注员(annotator,也常叫 labeler,为训练数据作判断的人)面前有一个问题和模型给出的两个回答,他读完后选出更好的那一个。这样的比较做了几万次。最后得到的模型,回答的方式明显变了:更直接,更符合提问的意图。几万次“A 比 B 好”是怎样变成模型的行为的?
这件事对本书很重要。第 1 章说过,人对模型回答的判断,可能变成执行者下一步学习的信号。本章讲的就是这条路径的具体样子。看清了它,才能理解第 9 章要讨论的问题:当人判断不了哪个回答更好时,训练出来的模型会学到什么。
6.1 监督学习与强化学习 #
第 4.1 节讲的监督学习,是给每个输入配一个正确答案,让模型学着给出这个答案。放在语言模型上,就是请人针对一批问题写出理想的回答,这叫示范数据(demonstrations);再用这些回答训练模型,训练方式和预训练一样,都是预测下一个 token,只是数据换成了精心挑选的示范。这一步叫监督微调(supervised fine-tuning,常缩写为 SFT)。
监督微调很直接,但有几个限制。写出一个好回答,成本很高,而且要求写的人自己会做;模型学到的主要是模仿示范,训练信号的质量受示范者水平的限制(第 17 章会讲到,在用小模型的标签训练大模型的实验里,较强的模型有时能超过给标签的一方(Burns 等,2023));很多问题也没有唯一的正确答案,同一个问题可以有许多种好的回答。
强化学习(reinforcement learning)换了一个思路:不告诉模型正确答案是什么,而是让它自己去尝试,事后给它的尝试打一个分数。得分高的做法以后更常出现,得分低的做法以后更少出现。学骑自行车很像这样:没有人能把每一个动作的正确幅度告诉你,你只能试,摔倒了就知道刚才的做法不好。
对语言模型来说,强化学习有一个很大的吸引力,它基于一个常见的假设:对许多任务来说,判断比创作容易(Leike 等,2018)。你也许写不出最好的回答,但读了两个回答,常常能说出哪个更好(这个假设什么时候不成立,见第 14.4 节)。强化学习让训练信号来自“判断”,而不必来自“示范”。
但这也正是需要警惕的地方。从“给正确答案”到“给分数”,训练信号的质量就从“示范者会不会做”变成了“打分者会不会判断”。模型会朝着得分高的方向变化,不管得分高是因为回答真的好,还是因为打分的方式有漏洞。第 8 章讨论模型怎样钻评分规则的空子,第 9 章讨论打分者判断不了时会发生什么。
第 6.1 节引用的文献 2
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
6.2 强化学习的最低限度 #
后面的章节会用到强化学习的几个词。这里只给最低限度的定义。
- 策略(policy):在每种情况下怎样选择行动的规则。它可以带随机性,即给每种行动一个概率。对语言模型来说,策略就是模型本身:给定一个问题,它对各种可能的回答给出概率,再从中抽样(第 5.4 节)。
- 动作(action):策略在某一步做出的选择。在电子游戏里,动作是按下哪个键;对语言模型,可以把每输出一个 token 看作一个动作,也可以把整个回答看作一个动作。
- 奖励(reward):做出动作之后得到的一个数,表示结果有多好。它可以在每一步之后给出,也可以只在最后给一次。给语言模型的回答打分,通常是整个回答写完之后给一个奖励。
- 回报(return):一整轮(一局游戏、一次回答)里得到的奖励之和。
- 期望回报(expected return):因为策略带随机性,每一轮的回报不一样。期望回报是对这种随机性取平均,也就是第 3.1 节讲的期望。
强化学习的目标,就是调整策略的参数,让期望回报尽量大。
看一个只有一步的例子(数字为示意)。一个回答问题的策略,有 70% 的概率写长回答,30% 的概率写短回答。打分规则给长回答 0.8 分,给短回答 0.5 分。这个策略的期望回报是 。如果策略总是写长回答,期望回报升到 0.80;总是写短回答,则是 0.50。(数字由 tools/exercises/ch06_preferences.py 算出。)所以强化学习会把这个策略一步步推向“总写长回答”。
注意这里没有任何地方涉及长回答是不是更好。策略只是朝着期望回报更高的方向变化。如果打分规则偏爱长回答的理由与回答质量无关,比如只是因为打分的人觉得长的看起来更认真,策略照样会变得越来越长。本章的练习会回到这个问题。
强化学习怎样具体调整参数?直觉上是:让模型多次尝试,把得分高于平均的回答的概率调高,把得分低于平均的回答的概率调低,就像第 4.3 节里沿着斜率走一小步。具体的算法有很多,下一节提到的 InstructGPT 用的是一种叫 PPO 的算法(Ouyang 等,2022),本书不需要它的细节。
第 6.2 节引用的文献 1
- Ouyang 等人(2022)Training language models to follow instructions with human feedback
6.3 典型的后训练流程 #
把监督学习和强化学习组合起来,就得到用人类反馈训练语言模型的典型流程。它有五步:
- 示范数据。标注员针对一批问题写出理想的回答。
- 监督微调。用示范数据训练基础模型,得到一个初步会按指令回答的模型(第 6.1 节)。
- 偏好比较。让模型对同一个问题生成几个回答,标注员比较它们,选出更好的,或者给它们排序。
- 奖励模型。训练另一个模型,叫奖励模型(reward model)。它读入一个问题和一个回答,输出一个分数。训练目标是:对每一对比较过的回答,给标注员选中的那个更高的分数。换句话说,奖励模型学的是“预测标注员会选哪个”。
- 策略优化。把奖励模型的分数当作奖励,用强化学习调整第 2 步得到的模型,让它写出得分更高的回答。通常还会加一个限制,让模型不要离原来的模型太远(Ouyang 等,2022;Rafailov 等,2023)。
可以把它压缩成一行:示范数据 → 监督微调 → 偏好比较 → 奖励模型 → 策略优化。
| 步骤 | 人做什么 | 得到什么 |
|---|---|---|
| 示范数据 | 写出理想的回答 | 一批“问题,好回答”的样本 |
| 监督微调 | 不直接参与 | 一个会模仿示范的初始模型 |
| 偏好比较 | 比较模型的几个回答,选出或排序 | 一批“A 比 B 好”的记录 |
| 奖励模型 | 不直接参与 | 一个能给任意回答打分的模型 |
| 策略优化 | 不直接参与 | 一个写出高分回答的模型 |
奖励模型这一步是整个流程的关键。人不可能给强化学习过程中模型写出的每一个回答都打分,因为强化学习需要成千上万次尝试。奖励模型把数量有限的人类比较,变成一个可以随时给任何回答打分的替身。代价是,策略优化时被最大化的,是这个替身的分数,而不是人本来的判断。替身在它见过的那类回答上也许很准,在策略优化后模型写出的新回答上却不一定准(Rafailov 等,2023)。“不要离原来的模型太远”这个限制,部分原因就在这里:InstructGPT 的论文说明,加这个限制是为了缓解对奖励模型的过度优化(Ouyang 等,2022)。第 23.2 节讨论奖励模型被过度优化时会发生什么。图 6.1 用五个回答演示了第 4 步怎样把“选 A 还是选 B”的记录变成每个回答的一个分数。
这个流程从哪里来。用人的比较学出奖励、再用强化学习去优化,较早成规模的应用是在游戏和机器人控制上:Christiano 等在 2017 年让非专业的人比较智能体行为的两段 1 到 2 秒的短视频,选出更好的一段,用这些比较训练一个奖励预测器,智能体则去最大化预测出来的奖励(Christiano 等,2017)。他们报告,在 Atari 游戏和模拟机器人运动任务上,这种方法在看不到任务原本奖励的情况下,也能学会大多数原有的任务,而人只对智能体不到 1% 的交互给出了反馈(Christiano 等,2017)。他们还训练了几种很难手写奖励函数的新行为,例如让模拟机器人连续后空翻,用了 900 次比较、不到一小时;这类新行为的反馈由作者本人给出,不是来自非专业的人;原有任务里也有两项模拟机器人任务(Reacher 和 Cheetah)因时间所限由一位作者给反馈(Christiano 等,2017)。
用在语言模型上。Ouyang 等在 2022 年发表的 InstructGPT 是这个流程用在语言模型上的代表(Ouyang 等,2022)。他们雇了大约 40 名标注员,先收集示范数据对 GPT-3 做监督微调,再收集比较数据训练奖励模型,最后用 PPO 针对奖励模型优化。在偏好比较这一步,标注员每次对同一个问题的 4 到 9 个回答排序。一次排序可以拆成许多对比较:4 个回答两两配对有 6 对,9 个回答有 36 对(Ouyang 等,2022)。他们报告,在他们的提示分布上,标注员更偏好 13 亿参数的 InstructGPT 的回答,而不是 1750 亿参数的 GPT-3 的回答(Ouyang 等,2022)。读这个结果时要注意,它是开发者对自己模型的报告,作评估的也是他们雇的标注员;论文还报告,在一项初步实验里,另一组没有参与生成训练数据的标注员(来自同样的外包公司,没有做筛选测试)给出了相近的偏好(Ouyang 等,2022)。
实际系统不一定照搬五步。有的系统省略监督微调,例如 DeepSeek-R1-Zero 直接在基础模型上做强化学习,奖励来自规则检查(DeepSeek-AI 等,2025);有的用模型生成的示范代替人写的示范,例如 Constitutional AI 的监督阶段(Bai 等,2022);有的反复执行第 3 到 5 步,在新模型的回答上收集新的比较,InstructGPT 的论文就说明第 3 到 5 步(论文里编为第 2、3 步)可以迭代进行(Ouyang 等,2022);下一节讲的 DPO 则把奖励模型和策略优化两步合成了一步。这五步是一个用来描述和比较的参照,不是每个系统都必须遵守的配方。
第 6.3 节引用的文献 5
- Ouyang 等人(2022)Training language models to follow instructions with human feedback
- Rafailov 等人(2023)Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- Christiano 等人(2017)Deep reinforcement learning from human preferences
- DeepSeek-AI 等人(2025)DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
6.4 描述后训练方法的三个维度 #
后训练方法的名字很多:RLHF、RLAIF、DPO、Constitutional AI……初学时很容易混在一起。一个有用的办法是不看名字,而是问三个问题:反馈是谁给的?反馈是什么形式?拿到反馈之后怎样优化模型?
| 维度 | 常见取值 |
|---|---|
| 反馈来源 | 人类、AI、程序化检查(如单元测试、规则匹配)、混合来源 |
| 反馈形式 | 示范、成对偏好、评分、过程标注 |
| 优化方式 | 监督微调;先训练显式奖励模型再做强化学习;DPO 等直接偏好优化 |
逐个看一下。
反馈来源是谁在作判断。人类包括标注员、专家和普通用户。AI 指另一个模型充当评估者,它可以按一组写明的原则来判断,例如 Constitutional AI 的做法(Bai 等,2022),这是第 21 章的内容。程序化检查指不靠任何人或模型的判断,而是由程序给出结果,例如代码是否通过单元测试、数学题的答案是否与标准答案一致(第 20.2 节)。实际系统常常混用几种来源。
反馈形式是判断以什么样子交出来。示范是直接写出好的回答;成对偏好是比较两个回答,说哪个更好(排序可以拆成许多对成对偏好);评分是给单个回答打一个分数;过程标注是对一个多步的解答逐步标出每一步对不对,而不只是看最后的答案(第 19.2 节)。
优化方式是怎样用反馈改变模型。监督微调让模型模仿示范;“先训练显式奖励模型再做强化学习”就是第 6.3 节的第 4、5 步;直接偏好优化则跳过单独的奖励模型。DPO(Direct Preference Optimization,直接偏好优化)是其中的代表:它直接拿成对偏好数据训练模型本身,用一个类似分类问题的损失,提高被偏好的回答相对于被拒绝的回答的概率,不需要显式的奖励模型,也不需要强化学习(Rafailov 等,2023)。它的作者论证,这样优化的目标与上面那套“奖励模型加强化学习”的目标是同一个,而做法简单得多(Rafailov 等,2023)。
常见的名字落到这三个维度上,是下面这样:
| 名称 | 反馈来源 | 反馈形式 | 优化方式 |
|---|---|---|---|
| 监督微调 | 人类写的示范,也可以是 AI 生成的示范 | 示范 | 监督微调 |
| 典型的 RLHF | 人类 | 成对偏好(或排序) | 先训练奖励模型,再做强化学习 |
| RLAIF | AI | 通常是成对偏好 | 常见做法同上;也可以直接用 AI 的打分作为奖励(第 21.2 节) |
| DPO | 人类或 AI | 成对偏好 | 直接偏好优化,不训练单独的奖励模型 |
| 以测试结果为奖励的强化学习 | 程序化检查 | 评分(通过或不通过) | 强化学习,奖励直接来自检查程序 |
几点需要分清。
- RLHF 与 RLAIF 的区别在反馈来源。RLHF 是基于人类反馈的强化学习(reinforcement learning from human feedback),RLAIF 是基于 AI 反馈的强化学习(reinforcement learning from AI feedback)。典型的 RLHF 用成对偏好训练奖励模型,再做强化学习;把作判断的人换成模型,就是 RLAIF。
- DPO 是一种优化方式,不是一种反馈来源。它的偏好数据可以来自人类,也可以来自 AI。说“用 DPO 训练”,只回答了三个问题中的一个。
- 名字往往只说明了一两个维度。“RLHF”说明了来源(人类)和优化方式(强化学习),没有直接说明反馈形式。读论文时,最好把方法在三个维度上都定位一次。
还有一点会在后面反复用到。改变优化方式,不会改变反馈本身的内容。DPO 去掉了单独的奖励模型,但它学习的仍然是同一批偏好标签;标签里记录了什么,它同样会学到(本书的推断)。下一节就来看标签里记录了什么。
第 6.4 节引用的文献 2
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
- Rafailov 等人(2023)Direct Preference Optimization: Your Language Model is Secretly a Reward Model
6.5 偏好标签记录的是什么 #
一条偏好标签,字面上说的是“回答 A 比回答 B 好”。更准确地说,它记录的是:某一位标注员,按照某一份标注说明,在某种时间和信息条件下,看了这两个回答,选了 A。仅此而已。
由此可以看出它不等于什么。
偏好不等于事实正确。第一,偏好是相对的。两个回答都错了,标注员也得选一个,被选中的那个并不因此变成对的。第二,标注员不一定有能力核实事实。他选的是看起来更对的那个,而“看起来更对”可能来自表述流畅、语气肯定、内容详细、篇幅更长,这些都不保证正确。第三,即使标注员能核实,他也未必有时间核实(第 6.6 节)。
偏好也不等于价值正确。对于“该不该回答这个请求”“怎样回答才算得体”这类问题,不同的人判断不同。InstructGPT 的论文对此说得很直接:他们的训练让模型对齐的,是一个特定人群(主要是他们的标注员和研究者)表达出来的偏好,而不是某种更广泛的“人类价值”(Ouyang 等,2022)。论文报告,训练用的标注员之间的一致率是 72.6 ± 1.5%(Ouyang 等,2022),也就是说,大约每四次中就有一次,两位标注员的判断不同。± 后面的数,论文没有单独说明,只在图 1 的说明里写了全文的误差线都是 95% 置信区间(Ouyang 等,2022)。论文的 arXiv 版(作者发在预印本网站 arXiv 上的版本)还说明,出于成本考虑,大多数比较只由一位标注员标注(Ouyang 等,2022)。
标签还取决于标注说明。同一对回答,说明里要求“优先考虑对用户有帮助”,和要求“优先考虑真实、无害”,选择可能不同。InstructGPT 的研究者规定,几项标准冲突时(例如用户请求一个可能有害的回答),训练阶段让标注员优先考虑对用户的帮助,而在最终评估时让标注员优先考虑真实和无害(Ouyang 等,2022)。同一批人,在两种说明下作出的判断,意思是不一样的。
这些都会进入奖励模型。奖励模型学的是“预测标注员会选哪个”,它分不清标注员是因为回答正确而选它,还是因为回答更长、更自信、更顺着提问者的意思而选它。只要某个特征在数据里与“被选中”有关联,奖励模型就可能给这个特征加分;策略优化再把模型推向这个特征。第 8.5 节讨论的谄媚,即模型迎合用户已经表达的观点,就可能经由这条路径出现;第 12.3 节讨论的长度偏差,在一些模型当裁判时也测到过。
偏好标签是一次判断的记录,不是事实的记录。它告诉你某个人在某种条件下更喜欢哪个回答,不告诉你哪个回答是对的,也不告诉你哪个回答在价值上是正确的。
第 6.5 节引用的文献 1
- Ouyang 等人(2022)Training language models to follow instructions with human feedback
6.6 标注员的局限 #
上一节说,偏好标签记录的是“某种条件下”的判断。条件主要有四种限制,它们都会进入奖励模型。
时间。每次比较能用的时间是有限的,通常由预算决定。在 Christiano 等的实验里,被比较的是 1 到 2 秒的视频片段,标注员平均 3 到 5 秒回答一次(Christiano 等,2017)。看一段后空翻的视频,几秒钟就能判断。但如果被比较的是两版 500 行的记账程序,几分钟远远不够读懂代码,更不用说检查规则三(写入失败时不能只记一半)。第 9.2 节的例子是:标注员每题只有 2 分钟,而核查答案需要 20 分钟。
专业。回答涉及医学、法律或专门的编程知识时,一般的标注员往往难以判断对错。请专家可以缓解这个问题,但专家贵且少,能标注的数量有限。
注意力。几百次比较做下来,人可能疲劳,判断可能变得草率和不一致(本书的推断;第 13.3 节讨论疲劳和长时间监视的研究)。设计奖励模型时,也要考虑人的随机出错:Christiano 等在建模时假定,人有 10% 的概率随机作答,理由是人作判断时有一个固定的出错率,即使两段片段的奖励相差很大,它也不会降到 0(Christiano 等,2017)。
信息。标注员只能看到界面上展示的东西。模型引用了一篇原文而标注员看不到,模型写了一段代码而标注员不能运行它,标注员就只能根据回答本身的样子来判断。
这些限制造成的错误分两种,影响不同。随机的错误,比如偶尔手滑点错,会让奖励模型的训练数据有噪声;数据多了,它们造成的波动会相互抵消,不偏向任何一类回答(本书的推断)。说得具体些,假设每个标签都以同一个小于一半的概率被翻转(本来选 A,记成了选 B),各次翻转相互独立。再假设每对回答都比较同样多次(如图 6.1),拟合时不考虑翻转。那么数据足够多时,拟合出的分数仍保持原来的先后次序,但差距会变小,数据再多也不会恢复(本书的推断)。这是因为翻转把每对回答中较好者被选中的概率拉向 50%,而不越过 50%;这个概率越接近 50%,拟合出的分数之差就越小(本书的推断)。系统性的错误则不会抵消。如果标注员一贯偏爱语气肯定的回答,不管它对不对,那么数据越多,奖励模型越确定地学到“语气肯定就该加分”,策略优化再把这一点放大。
回到记账程序。假设标注员要比较模型写的两版程序,每次只有 5 分钟,不能运行代码。一版注释整齐,附带一段自信的说明,声称三条规则都已满足;另一版注释很少,说明也很简短,但只有它正确处理了写入失败的情形。标注员很可能选第一版。几万次这样的比较之后,奖励模型学到的可能是“注释整齐、说明自信”,而不是“满足规则三”;策略优化之后,模型写出的程序可能越来越像第一版。这是一种可能的失效机制,它是否真的发生,取决于标注员的判断在多大程度上依赖这些表面特征。第 9 章会仔细讨论这种机制在什么条件下成立,以及有哪些实验证据。
这也说明了本书接下来要做的事。如果人在这些限制下的判断就是训练信号的上限,那么要训练出比人更可靠的模型,就要想办法让人的判断变得更好:给人更多信息,把难的判断拆成容易的判断,让模型帮人找问题。第三部分讲的方法,大多可以看作在改进进入这条流程的那个判断。
第 6.6 节引用的文献 1
- Christiano 等人(2017)Deep reinforcement learning from human preferences
读物 #
- 入门讲解 · 博客:Lambert 等《Illustrating Reinforcement Learning from Human Feedback (RLHF)》(Hugging Face,2022)(Lambert 等,2022)。用图示把流程分成预训练语言模型、训练奖励模型、用强化学习微调三步,可以和第 6.3 节的五步对照,看哪些步骤被合并或省略了。
- 入门讲解 · 文档(实验及研究):Achiam《Spinning Up in Deep Reinforcement Learning》(OpenAI)第一部分 Key Concepts in RL(Achiam,2018)。比第 6.2 节更完整地定义策略、奖励、回报和期望回报等概念,带公式。
- 入门讲解 · 教材(选读):Lambert《Reinforcement Learning from Human Feedback》(rlhfbook.com)的引言和奖励模型相关章节(Lambert,2025)。想系统了解后训练各个环节的读者可以从这里开始。
- 原始提案 · 会议论文:Christiano 等《Deep reinforcement learning from human preferences》(NeurIPS 2017)第 1 到 2 节(Christiano 等,2017)。把人的成对比较扩展到深度强化学习的代表性工作,重点看第 2 节怎样把比较变成奖励预测器。
- 实验结果 · 会议论文:Ouyang 等《Training language models to follow instructions with human feedback》(NeurIPS 2022)第 1 节和第 3 节的方法概述(Ouyang 等,2022)。读第 1 节了解三步方法和主要结果;读第 3 节了解数据怎样收集、标注员怎样挑选。第 6.5 节引用的标注说明,会议版放在补充材料的 B.2 节;“大多数比较只由一位标注员标注”只在 arXiv 版里(第 5.3 节)。
本节引用的文献 5
- Lambert 等人(2022)Illustrating Reinforcement Learning from Human Feedback (RLHF)
- Achiam(2018)Spinning Up in Deep Reinforcement Learning
- Lambert(2025)Reinforcement Learning from Human Feedback
- Christiano 等人(2017)Deep reinforcement learning from human preferences
- Ouyang 等人(2022)Training language models to follow instructions with human feedback
练习 #
下面是为教学构造的数据。一位标注员比较了 18 对回答,每一对是对同一个记账问题的两个回答。每个回答属于四类之一:长且正确、长且错误、短且正确、短且错误(“长”“短”是同一对之内相对而言)。配对覆盖三种情况:第 1 到 6 对只有长度不同,第 7 到 12 对只有正确性不同,第 13 到 18 对是两者冲突,即长而错对短而对。
先看两对的原文。
第 1 对,问题:“收入 200 元,支出 50 元,余额是多少?”
- 回答 A(长且正确):“根据规则一,余额等于收入减支出。收入是 200 元,支出是 50 元,所以余额是 200 − 50 = 150 元。这里没有重复提交,也没有写入失败的情况,不需要额外处理。”
- 回答 B(短且正确):“150 元。”
- 标注员选了 A。
第 13 对,问题:“先存入 100 元,再支出 30 元,这笔支出因为网络问题被提交了两次。按需求说明,余额应该是多少?”
- 回答 A(长且错误):“我们一步步来算。初始存入 100 元,这是收入。随后有一笔 30 元的支出,由于网络问题被提交了两次,系统中一共有两笔支出记录,合计 60 元。根据规则一,余额等于收入减支出,即 100 − 60 = 40 元。因此余额应该是 40 元。”
- 回答 B(短且正确):“70 元。重复提交只记一次(规则二),100 − 30 = 70。”
- 标注员选了 A。
全部 18 对的类别和标注员的选择如下:
| 编号 | 回答 A | 回答 B | 标注员选择 |
|---|---|---|---|
| 1 | 长且正确 | 短且正确 | A |
| 2 | 短且正确 | 长且正确 | B |
| 3 | 长且错误 | 短且错误 | A |
| 4 | 长且正确 | 短且正确 | B |
| 5 | 短且错误 | 长且错误 | B |
| 6 | 短且错误 | 长且错误 | B |
| 7 | 长且正确 | 长且错误 | A |
| 8 | 短且错误 | 短且正确 | B |
| 9 | 长且错误 | 长且正确 | B |
| 10 | 短且正确 | 短且错误 | A |
| 11 | 长且正确 | 长且错误 | B |
| 12 | 短且错误 | 短且正确 | B |
| 13 | 长且错误 | 短且正确 | A |
| 14 | 短且正确 | 长且错误 | B |
| 15 | 长且错误 | 短且正确 | A |
| 16 | 短且正确 | 长且错误 | A |
| 17 | 短且正确 | 长且错误 | B |
| 18 | 长且错误 | 短且正确 | A |
- 对三种情况分别统计:标注员有几次选了较长的回答,有几次选了正确的回答?
- 根据这些统计,提出一个关于这位标注员偏好什么的假设。
- 这批数据能否区分“偏好长度”与“偏好正确”?哪几组配对起了作用?如果数据里只有第 13 到 18 对,还能区分吗?如果数据里只有“长且正确对短且错误”这样的配对呢?
- 如果把所有正确性不同的配对(第 7 到 18 对)合在一起,算“选了正确回答的比例”,会得到什么?这个数字会怎样误导人?
- 用这位标注员的大量类似选择训练奖励模型,它可能学到什么?策略优化之后,模型的回答可能怎样变化?
- 这个结论还有哪些局限?
提示
先按三种情况分开数,不要一开始就把 18 对放在一起。第 3 问想一想:在第 13 到 18 对里,“选了长的”和“选了错的”是不是同一件事?
解答
数字由 tools/exercises/ch06_preferences.py 算出。
- 只有长度不同(第 1 到 6 对):6 次中 5 次选了较长的回答(第 4 对例外)。只有正确性不同(第 7 到 12 对):6 次中 5 次选了正确的回答(第 11 对例外)。两者冲突(第 13 到 18 对):6 次中 5 次选了长而错的回答,只有第 16 对选了短而对的回答。
- 一个合理的假设是:这位标注员既偏好较长的回答,也偏好正确的回答;但两者冲突时,长度通常占上风。也就是说,他对长度的偏好比对正确性的偏好更强。一种可能的解释是,他没有逐一核实答案,长回答看起来更认真,于是更容易被选中(这只是假设,数据本身不能说明原因)。
- 能区分,三组配对各起一部分作用。第 1 到 6 对固定了正确性、只改变长度,用来检验对长度的偏好是否单独存在;第 7 到 12 对固定了长度、只改变正确性,用来检验对正确性的偏好是否单独存在;第 13 到 18 对让两者对着干,“只偏好长度”和“只偏好正确”在这里预测相反的选择,所以它们用来检验冲突时哪一个占上风:6 次中 5 次是长度(每组只有 6 对,单看一组不能下确定的结论,见第 6 问)。但如果只有第 13 到 18 对,能得出的结论有限:在这些配对里,较长的回答恰好都是错的,“只看长度”“两者都看但更看重长度”和“偏好错误的答案”预测的选择完全相同,分不开;要知道标注员是否在乎正确性,还得靠第 7 到 12 对。如果只有“长且正确对短且错误”这样的配对,就完全无法区分:较长的回答恰好都是对的,“偏好长度”和“偏好正确”预测的选择完全相同,标注员每次都选长而对的回答,看起来就像一位只看正确性的好标注员。
- 第 7 到 18 对一共 12 对,选了正确回答的有 5 + 1 = 6 次,比例是 50%,看起来像是标注员完全不在乎正确性。但第 7 到 12 对单独看,他在长度相同时 6 次中有 5 次选了正确的回答。合并之后的 50% 把“在乎正确性”和“更在乎长度”混在了一起。反过来,所有长度不同的配对(第 1 到 6 对和第 13 到 18 对)合起来,他 12 次中有 10 次选了较长的回答,即 83%。分析偏好数据时,要按配对的设计分组来看。
- 奖励模型学的是预测这位标注员会选哪个,所以它很可能给长度很高的分数,给正确性较低的分数。例如,用一个最简单的打分规则“分数 = a × 是否较长 + b × 是否正确”去拟合这 18 个选择,得到 a ≈ 2.29,b ≈ 1.15。这是打分规则里的两个权重,a 约为 b 的两倍;换成概率,只差长度时选较长回答的概率约 0.91,只差正确性时选正确回答的概率约 0.76。拟合方法与图 6.1 相同:被选中的概率只取决于两个回答的分数之差,找一组 a、b,使记录里这 18 个选择最有可能出现,具体的计算见脚本。按这个规则,长而错的回答比短而对的回答得分更高,被偏好的概率约为 0.76。策略优化之后,模型的回答可能越来越长,而其中错误的长回答也会得到奖励,正确性不一定提高。
- 局限:数据是构造的,每组只有 6 对,只有一位标注员。即使标注员完全随机作选择,6 次中至少 5 次选较长回答的概率也有约 10.9%,所以每一组单独看都不能下确定的结论(第 3 章)。“正确”是我们事先知道的答案,标注员在作选择时未必知道。所有问题都是简单的记账计算,在其他任务上,这位标注员的偏好可能不同。另外,选 A 的次数是 18 次中的 8 次,看不出明显的位置偏好,但也只是这批数据上的观察。
用表 6.1 的三个维度,描述下面每一种做法的反馈来源、反馈形式和优化方式。
- 请程序员为 1000 个编程问题写出参考解答,用它们训练模型。
- 让另一个模型按一份写好的原则比较两个回答哪个更无害,用这些比较训练奖励模型,再做强化学习。
- 让模型写代码,代码通过全部单元测试得 1 分,否则得 0 分,用这个分数做强化学习。
- 收集人类标注员的成对偏好,直接用 DPO 训练模型。
- 请数学老师逐步标出模型解答中每一步对不对,用这些标注训练一个奖励模型,再做强化学习。
学完能做到 #
- 画出典型的五步流程:示范数据、监督微调、偏好比较、奖励模型、策略优化,并说出每一步人做什么、得到什么。
- 把任一后训练方法放进“反馈来源、反馈形式、优化方式”三个维度,说明 RLHF 与 RLAIF 的区别在反馈来源,DPO 是一种优化方式。
- 解释偏好标签与正确性的差别:标签记录的是某位标注员在某种条件下的选择,它可能奖励长度、语气等与正确无关的特征。
- 说出标注员的时间、专业、注意力和信息四种限制怎样经由奖励模型进入模型的行为,并区分随机错误和系统性错误。
参考文献
- (2018). Spinning Up in Deep Reinforcement Learning. OpenAI. 非同行评审
- (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本引用于 §6.3 §6.4
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §6.1
- (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems. 引用于 §6.3 §6.6
- (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 引用于 §6.3
- (2025). Reinforcement Learning from Human Feedback. Manning Publications.
- (2022). Illustrating Reinforcement Learning from Human Feedback (RLHF). Hugging Face Blog. 非同行评审
- (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本引用于 §6.1
- (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §6.2 §6.3 §6.5
- (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems. doi:10.52202/075280-2338. 引用于 §6.3 §6.4