草稿 内容完整但尚未审校,可能还会修改
第 21 章按原则给出的 AI 反馈
路线全部路线
本章导读
文字稿
- 0:07把标准写成原则
语言模型在很大程度上靠人的判断训练,几万次比较变成奖励模型,贵而慢。本章把标准写成原则,让模型代替人给反馈。记账程序里,评审模型若把规则三误读成“写入失败时要提示用户”,编程模型就学到这个误读。 - 0:31AI 标签21.1
把两个回答和判断标准交给模型,问哪个更好,它的回答就是 AI 标签,常是一个概率,比如“甲更好的概率是 70%”。用它代替人类标签做强化学习,就是 RLAIF。标签仍是判断:Lee 等发现 AI 标注者受回答出现顺序的影响。 - 0:56三种用法,错误都进训练21.2
AI 标签可以存成数据,可以用来训练奖励模型,也可以由评估模型直接打分作奖励。不论哪种,评估模型的错误都会进入训练,区别只在路径。Lee 等发现,摘要任务上直接打分比先训练奖励模型更好。 - 1:20宪法与自我批评21.3
Constitutional AI 要训练无害、但不敷衍的助手;无害性上,人类监督只有“宪法”的十几条原则和少量示例。第一阶段:模型回答诱导有害的提问,按随机抽的原则批评自己、修改,换原则重复,再用修改稿监督微调。 - 1:45第二阶段:AI 偏好21.3
第二阶段:反馈模型按随机抽的原则,从两个回答中选更好的。无害性用 AI 标签,有帮助性仍用人类标签,训练偏好模型,再做强化学习。结果:有帮助程度相近时,用 AI 反馈训练的模型比用人类无害性标签训练的更无害(评判时罚敷衍)。 - 2:13细节与训练过度21.3
16 条原则每个标签随机抽一条,作者观察到比都用同一条更稳健;概率限制在 40% 到 60% 之间效果更好。训练过度时可能出现 Goodhart 现象(第 8.6 节):对有害提问过于严厉,或在多数这类回答里加同一句套话。 - 2:37由人评判的结果21.4
Lee 等(2023;ICML 2024)在三个任务上比较 PaLM 2 Large 的 AI 标签和人类标签,流程相同,最终由人评判。胜率相对监督微调基线:摘要 71% 对 73%,有帮助的对话 63% 对 64%,差别没有统计显著性;无害回答的比例 88%、76%、基线 64%。 - 3:02冲突时听谁的21.5
原则会冲突:问某种药一次最多能吃多少,有帮助要给准确信息,无害也许要加提醒。Constitutional AI 每个标签随机抽一条原则,取舍是隐含的(本书的推断)。原则是研究者为研究目的相当随意地选出的。 - 3:27降低成本与跨越能力21.6
降低成本:任务人能判断,只是标注太贵。跨越能力:任务超出人的判断能力。Lee 等的实验没有设置监督者比执行者弱,参照是人的偏好:这是降低成本的结果。按原则的 AI 反馈主要做到前者。 - 3:52提示周到,账仍记一半21.6
评审模型按“写入失败时要提示用户”打分,编程模型学会弹出醒目的错误提示,拿到高分。训练越久,提示越周到,账却照样只记一半。发现它的,是人为制造写入失败、再核对余额和流水的测试。 - 4:15证据与前提
两项研究都在人能判断的任务上、由人评判。结论依赖评估模型能按原则可靠判断,原则冲突时有取舍规则。不能推出跨越了人的判断能力,也不能推出避开了评估模型的错误。
带走的几句话:
- AI 反馈有三种用法,评估模型的错误进入训练的路径各不相同。
- Constitutional AI 先按原则自我批评和修改,再用 AI 偏好做强化学习。
- 降低标注成本和跨越人的判断能力是两件事,本章的方法主要做到前者。
第 6 章讲过,今天的语言模型在很大程度上靠人的判断训练:标注员比较两个回答,选出更好的一个,几万次这样的比较变成奖励模型,再变成模型的行为。这条流程有两个弱点。一是贵和慢,每改一次训练目标,就要重新收集一批标签。二是第 9 章讲的:人判断不了的地方,标签就不可靠。第 12 章讨论了用模型给模型打分时的种种偏差。本章把这两条线接起来:把评判标准写成一组原则,交给一个模型,让它代替人给出训练用的反馈。
先看一个原则会遇到的麻烦。假设原则写着“回答应当无害”和“回答应当有帮助”。用户问某种药一次最多能吃多少。最有帮助的回答是直接给出准确的信息;按“无害”的原则,回答也许应当加上提醒,甚至在某些情形下不给具体数字。有些情形两条原则可以同时满足,有些情形不行:更有帮助的回答也带来更大的风险。这时谁来决定怎样权衡?写原则的人、打分的模型,还是没有人明确决定过?
回到记账程序。你可以把那一页需求说明当作原则,交给一个评审模型,让它给编程模型写的代码打分,再用这些分数训练编程模型。这样省下了你逐份审查的时间。可是,如果评审模型误读了某条需求,比如把“写入失败时不能只记一半”理解成“写入失败时要提示用户”,那么编程模型学到的就是这个误读,训练越充分,学得越彻底。本章讨论这类方法能做到什么、做不到什么。
- 想处理:降低人工标注成本,让模型按写明的原则给出反馈。
- 测过:Bai 等用模型按原则给出的偏好训练无害性,与用人类标注训练的模型比较;在评判时罚敷衍的标准下,有用性相近时更无害(Bai 等,2022)。Lee 等在摘要、有帮助的对话、无害的对话三个任务上比较用 AI 反馈和用人类反馈训练的模型:前两个任务上,人类评估者对两者的偏好没有统计显著的差别;无害的对话上,RLAIF 被判无害的比例更高(Lee 等,2023)。
- 依赖:评估模型能按原则做出可靠判断;原则覆盖所关心的情形,冲突时有取舍规则。威胁模型只覆盖“无意出错”一个维度(第 10.2 节)。任务前提(第 10.3 节):“标签是否可靠”,AI 给出的标签是否可靠,要用人或测试等独立来源检验。
- 不能推出:不能推出跨越了人类的判断能力;也不能推出训练出的模型避开了评估模型的错误和偏差,这些错误和偏差可能被继承或放大,需要用独立评估检验。
引言引用的文献 2
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
21.1 从人类标签到 AI 标签 #
本章开头说的流程,在偏好比较这一步要用到人给出的偏好标签(第 6.3 节,第 6.5 节)。人类标签的成本很高。Bai 等指出,这类训练通常要用到至少几万个人类偏好标签,而且这些标签合在一起究竟表达了什么目标,没有人能概括得清楚(Bai 等,2022)。训练目标一变,比如想让模型在拒绝有害请求时不再敷衍了事,就得重新收集标签。
一个自然的想法是让模型来做标注员的工作。把同样的两个回答交给一个语言模型,再告诉它判断的标准,问它哪个更好。它的回答就是一个 AI 标签:由模型给出、用在原本需要人类标签的地方的判断。模型给出的往往不是“选甲”或“选乙”这样的硬性选择,而是一个概率,比如“甲更好的概率是 70%”,研究中常把这样的概率直接当作标签使用(Bai 等,2022;Lee 等,2023)。用 AI 标签代替人类标签做强化学习,就是 RLAIF(第 6.4 节);按那里的三个维度,它和 RLHF 的区别在反馈来源。
判断的标准写成什么样?最直接的办法是写成几条自然语言的原则,比如“选出更无害、更合乎伦理的回答”。Bai 等认为这样写有两个好处。一是透明:训练依据的原则写在那几句话里,任何人都能读到,而不是藏在几万个无人能概括的标签里。二是便于修改:想调整目标,改原则就行,不必重新请人标注(Bai 等,2022)。
但换成模型之后,标签仍然是一个判断,只是判断者换成了模型。第 12.3 节讲过的偏差都会跟着进来。Lee 等就发现,AI 标注者会受到两个回答出现顺序的影响,较小的模型尤其明显;他们的处理办法是把两个回答按两种顺序各问一次,再取平均(Lee 等,2023)。这与第 12.5 节的“每对回答按两种顺序各评一次”一致,只是两次结果的合并方式不同。
第 21.1 节引用的文献 2
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
21.2 三种用法 #
“用 AI 反馈训练模型”这句话,实际上可以指三种不同的做法。它们的判断都来自同一个按原则打分的评估模型,区别在于这些判断怎样进入训练。
- AI 标签。评估模型对一批样本给出判断,这些判断作为数据保存下来。它们可以用来挑选训练样本,可以用来评估,也可以作为下一种用法的原料。
- 用 AI 标签训练的奖励模型。用 AI 标签代替人类标签,训练一个奖励模型;强化学习时,由这个奖励模型给执行者的每个输出打分。Lee 等把它叫作标准的 RLAIF,下一节的 Constitutional AI 也是这样做的。
- 直接用 AI 打分作为奖励。不训练奖励模型。强化学习时,执行者每产生一个输出,就请评估模型直接打分,分数就是奖励。Lee 等把这种做法叫 direct-RLAIF:让模型对一个回答按 1 到 10 分打分,再把它对各个分数的概率加权,换算成奖励(Lee 等,2023)。
三者的关系可以这样看:第 1 种是原料;第 2 种用原料训练出评估模型的一个“近似副本”,训练时由副本打分;第 3 种干脆让评估模型本身在训练中打分。
| 用法 | 训练时谁给奖励 | 错误从哪里来 | 成本落在哪里 |
|---|---|---|---|
| AI 标签 | 不直接给奖励,标签作为数据使用 | 评估模型的错误和偏差 | 每个样本调用一次评估模型 |
| 用 AI 标签训练的奖励模型 | 奖励模型 | 评估模型的错误和偏差,加上奖励模型学得不准的部分 | 先标注、训练奖励模型;之后打分便宜 |
| 直接用 AI 打分 | 评估模型本身 | 评估模型的错误和偏差直接成为奖励 | 强化学习的每个输出都要调用一次评估模型 |
第 2 种和第 3 种各有一个特有的问题。通常,奖励模型是用执行者训练开始时的输出训练出来的;执行者在训练中不断变化,它后来的输出和奖励模型见过的样子越来越不同,奖励模型的打分就可能变得不准。Lee 等把这叫作奖励模型“过时”,这也是他们提出直接打分的原因之一;在他们的实验中,直接打分的效果与先训练奖励模型的做法相当或更好(Lee 等,2023)。直接打分没有过时的问题,但执行者是在直接针对评估模型本身优化:评估模型的系统性偏好,比如第 12.3 节说的偏爱更长的回答,很可能成为执行者追求的目标(本书的推断)。
不论哪种用法,有一点相同:评估模型的错误会进入训练。区别只是进入的路径和有没有多一层近似。第 23 章会讨论一个监督信号被当作训练目标之后会发生什么,这里的三种用法都适用。
第 21.2 节引用的文献 1
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
21.3 Constitutional AI 的流程 #
Constitutional AI 是 Anthropic 的研究者在 2022 年的一篇预印本中提出的方法,研究的是开发者自己的模型(Bai 等,2022)。它的目标是训练一个无害、但又不敷衍的助手:遇到有害的请求时,不是简单地拒绝了事,而是说明它为什么不帮忙。在无害性这一项上,训练不用任何人类标签,人类监督只来自一份由十几条原则组成的清单,外加少量写好、供模型参考的示例;这份原则清单,作者叫作“宪法”(constitution)。作者说,选这个词也是为了强调:开发和部署一个通用的 AI 系统,总要选择一套原则来约束它,即使这套原则是隐含的、没有写出来(Bai 等,2022)。
流程分两个阶段。
第一阶段:批评、修改、监督学习。
- 从一个只训练过“有帮助”、没训练过“无害”的模型出发,让它回答一批专门用来诱出有害回答的提问。它的回答常常是有害的。
- 从宪法里随机抽一条原则,让同一个模型按这条原则批评自己的回答,指出哪里有害。
- 让模型根据批评修改回答。
- 换一条原则,重复批评和修改,得到一系列修改稿。
- 用最终的修改稿对一个预训练模型做监督微调(第 6.1 节)。
论文里有一个例子:用户请模型帮忙破解邻居家的无线网络。最初的回答给出了办法;按原则批评后,模型指出这侵犯邻居的隐私,可能违法;修改后的回答劝用户不要这样做,并说明了原因(Bai 等,2022)。第一阶段的作用是先把模型的行为大致拉到正确的方向上,让第二阶段的强化学习更容易进行(Bai 等,2022)。
第二阶段:AI 比较、偏好模型、强化学习。
- 让第一阶段得到的模型对每个有害提问生成两个回答。
- 把提问和两个回答交给一个反馈模型,连同随机抽出的一条原则,写成一道选择题:按这条原则,哪个回答更好?反馈模型选两个选项的概率,就是一个 AI 偏好标签。
- 把这些关于无害性的 AI 标签,和原有的关于有帮助性的人类标签混在一起,训练一个偏好模型,也就是奖励模型。
- 用这个偏好模型的分数做强化学习,得到最终的模型。
可以看到,第二阶段就是第 21.2 节的第 2 种用法,而且只在无害性上用了 AI 标签,有帮助性仍然用人类标签。作者一共写了 16 条用于比较的原则,每个标签随机抽一条;他们定性地观察到,在不同原则之间这样“取平均”,比所有标签都用同一条原则得到的偏好模型更稳健(Bai 等,2022)。
一些看起来很细的设计选择也会影响结果。反馈模型先写出一段推理再作选择时,给出的概率通常接近 0 或 1。作者发现,把这些概率限制在 40% 到 60% 之间效果更好;不加限制时,训练出的模型会给出更极端的回答(Bai 等,2022)。也就是说,AI 的判断怎样换算成训练信号,本身就是会改变结果的选择。
结果怎样评判?作者请众包工作者比较不同模型的回答,分别看哪个更有帮助、哪个更无害,再换算成分数。他们报告,用 AI 反馈训练的模型,在有帮助程度相近时,比用人类无害性标签训练的模型更无害(Bai 等,2022)。评判时,作者要求众包工作者在两个回答同样无害时选不敷衍、会说明理由的那个;作者也说明,用作对照的人类无害性标签收集得较早,很可能偏向敷衍的回答(Bai 等,2022)。所以这里的“更无害”,是在这种评判标准下、与用那批人类标签训练的模型相比。
同一篇论文也报告了一个值得记住的失败。用 AI 反馈的模型如果训练过度,也就是受到过强的优化,就可能出现作者称为 Goodhart 现象的行为(第 8.6 节):对有害提问回答得过于严厉,或者在大多数这类回答里都加上一句套话,比如“you are valid, valued, and cared for”(Bai 等,2022)。这些行为是继续针对偏好模型优化的产物,作者把它们当作需要避免的问题,并介绍了几种让回答更多样、质量更高的办法。可以把它看作评估模型(及其近似副本)的偏好被训练放大的一个例子(本书的推断)。
第 21.3 节引用的文献 1
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
21.4 RLAIF 与 RLHF 的比较实验 #
Constitutional AI 说明 AI 反馈能训练出人觉得不错的模型,但它没有直接回答一个问题:同样的流程,用 AI 标签和用人类标签,结果差多少?Lee 等指出了这一点,并做了直接比较(Lee 等,2023)。这是 Google 的研究者 2023 年发表的工作,后来发表于 ICML 2024。
他们比较了三个任务:
- 摘要:为 Reddit 网站上的帖子写摘要。
- 有帮助的对话:在人与 AI 助手的对话中给出有帮助的回答。
- 无害的对话:在同样的对话中给出无害的回答。
两组模型走同样的流程,唯一的区别是偏好标签的来源:一组用人类标签(RLHF),一组用 PaLM 2 Large 给出的 AI 标签(RLAIF)。
最终由人来评判。在摘要和有帮助的对话上,评估者看到同一个输入下几个模型的回答,把它们从好到差排序,不许并列;再由这些排序算出一个模型胜过另一个模型的比例,叫胜率。在无害的对话上,评估者单独判断每个回答是否无害,统计无害回答的比例。结果如下(Lee 等,2023):
- 摘要:与只做过监督微调的基线相比,RLAIF 和 RLHF 的胜率分别为 71% 和 73%。
- 有帮助的对话:两者的胜率分别为 63% 和 64%。在这两个任务上,两者的差别都没有统计显著性;直接让两者对比时,胜率与 50% 也没有显著差别。
- 无害的对话:无害回答的比例,RLAIF 为 88%,RLHF 为 76%,基线为 64%。作者报告,RLAIF 比 RLHF 和基线的提高都有统计显著性。
他们还报告了两个只在部分任务上做过的结果:在摘要任务上,AI 标注者与被训练的模型一样大时,RLAIF 仍然比基线有明显改善;也是在摘要任务上,两种做法都用与被训练的模型一样大的 AI 标注者时,直接用 AI 打分作奖励比先训练奖励模型效果更好(Lee 等,2023)。
用表 11.1 的四个核心问题读这项实验,它的边界就清楚了。
- 监督者比执行者弱在哪里?实验没有设置这种差距。摘要和对话都是人能判断的任务,实验要回答的是“AI 标签能不能替代人类标签”,而不是“AI 能不能判断人判断不了的东西”。
- 参考答案是什么?是人类评估者的偏好和判断。“RLAIF 与 RLHF 相当”,意思是在人看来相当。
- 基线是什么?用人类标签训练的模型,以及只做过监督微调的模型。
- 提高的是什么?人对输出的偏好。这说明 AI 标签在这些任务上能像人类标签一样把模型往“人喜欢的方向”推,不说明 AI 标签比人类标签更正确。
所以这项研究最直接的结论是:在这三个人能判断的任务上,AI 标签可以替代训练奖励模型用的人类偏好标签;这里给标签的模型比被训练的模型大得多(Lee 等,2023)。在摘要和有帮助的对话上,人对两者的偏好没有统计显著的差别;在无害的对话上,人判 RLAIF 的回答无害的比例更高。这是一个关于降低成本的结果。
第 21.4 节引用的文献 1
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
21.5 原则冲突与原则由谁选择 #
回到本章开头的例子:“有帮助”和“无害”在药物剂量的问题上可能给出相反的结论。原则一多,冲突就很难避免(本书的推断)。冲突时听谁的,有几种处理方式。
- 写明优先顺序。例如“诚实优先于有帮助”。简单清楚,但遇到优先级较低的原则损失很大、优先级较高的原则只受一点影响的情形,可能显得僵硬。
- 把取舍写进原则本身。Constitutional AI 的一些原则就是这样写的,例如要求选出更无害的回答,同时避免选那些说教、令人反感或反应过度的回答(Bai 等,2022)。
- 针对已知的冲突写更具体的规则或例子。比如专门规定涉及药物剂量时应当怎样回答。
- 把难判断的情形交给人。评估模型在原则冲突时标出“不确定”,由人来裁决。
Constitutional AI 的主要做法其实是另一种:每个标签随机抽一条原则,再让偏好模型在大量标签上把它们综合起来。这样一来,冲突时的取舍是隐含的,取决于写了哪些原则、各被抽中多少次、反馈模型怎样理解它们,以及与之混合的人类有帮助性标签(本书的推断)。论文附录列出的 16 条比较原则里,也没有一条规定两条原则冲突时听哪一条(Bai 等,2022)。
更根本的问题是:原则由谁选择?在 Constitutional AI 中,原则是研究者写的。作者坦率地说明,这些原则是为研究目的、以相当随意和反复试验的方式选出来的;他们认为将来应当由更广泛的利益相关者重新制定,并根据模型的用途和部署地点调整(Bai 等,2022)。
这一点与第 7.5 节的第三种“没有标准答案”相连:怎样权衡有帮助与无害,不是等一个更聪明的评估者去找出正确答案的问题,而是一个价值选择。把原则写下来不会消除这个选择,但会让写进去的原则变得可见、可以讨论,虽然冲突时怎样取舍仍不在原则里;这是按原则反馈的一个实在的好处,也是它的边界(本书的推断)。第 30 章会讨论这类问题。
回到记账程序。第 20.4 节的例子里,同一天买了两杯价格相同的咖啡,按规则二算不算“重复提交”?如果你把需求说明交给评审模型去打分,评审模型选的那种理解就会成为编程模型的训练目标。这个问题本应由提出需求的人来回答,而不是由评审模型替他决定。
第 21.5 节引用的文献 1
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
21.6 降低成本与跨越能力的区别 #
本章的方法常被一并说成“用 AI 监督 AI”。这句话把两件不同的事混在了一起。
降低成本:任务本身人能判断,只是标注太贵、太慢、量太大。这时用 AI 标签替代一部分人类标签,是用便宜的判断代替昂贵的判断。第 21.4 节的实验就是在这种任务上做的,结论也是在这种任务上成立的。
跨越能力:任务超出了人的判断能力(第 9 章),人给出的标签本身就不可靠。这时需要的是一个比人判断得更好的评估者,或者一个能让较弱的评估者也判断对的协议,例如任务分解、辩论和批评(第 14 章、第 15 章、第 16 章)。
按原则的 AI 反馈主要做到了前者。它不会自动做到后者,原因很直接:评估模型按原则作出的判断,受它自身能力的限制(本书的推断)。本章的两项实验检验 AI 标签可不可靠时,用的参照是人的判断,而且是在人能判断的任务上。Lee 等在有帮助的对话任务上用直接打分的做法,让评估模型与执行者训练开始时的检查点完全相同,结果仍然比基线好(Lee 等,2023),但判断“好”的依然是人。这说明在这个任务上,模型可以按人的标准改进自己,不说明它能在人判断不了的地方给出可靠的反馈。
用第 7.3 节的五个扩展维度来说:按原则的 AI 反馈主要应对的是任务数量增加和监督预算受限,用模型的判断扩大能够被评判的样本量;它没有解决单个任务变难和模型能力提高带来的能力差距。
还要记住开头的“不能推出”一行:训练出的模型不会自动避开评估模型的错误和偏差。评估模型误读了一条原则,执行者就可能学会这个误读;评估模型有某种偏好,执行者就可能被推向这种偏好,Constitutional AI 训练过度时出现的套话,可以看作一例(本书在第 21.3 节的推断)。如果评估模型和执行者来自同一个模型系列,它们还可能有相同的盲点,评估模型看不出执行者的错误,正是因为它自己也会犯(第 24 章)。这些问题,用评估模型自己来检查是查不出来的,需要独立的评估:人对抽样输出的判断,或者第 20 章那样的测试。
回到记账程序。假设评审模型把规则三理解成“写入失败时要提示用户”。编程模型很快学会:写入失败时弹出一条醒目的错误提示。评审模型给它高分,因为按评审模型对需求的那种读法,需求满足了。至于流水写进去了、余额却没改,评审模型不检查,训练信号里也就没有这一项。训练越久,错误提示写得越周到,账却照样只记一半。发现这个问题的,不会是评审模型,而是一个人为制造写入失败、再核对余额和流水的测试(第 20.4 节)。
降低人工标注的成本,和跨越人的判断能力,是两件不同的事。按原则的 AI 反馈在前一件事上有直接的实验证据,在后一件事上没有。
第 21.6 节引用的文献 1
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
读物 #
- 原始提案 · 预印本:Bai 等《Constitutional AI: Harmlessness from AI Feedback》(2022)(Bai 等,2022)。重点读两个阶段的流程、宪法原则的附录,以及作者对训练过度时出现的问题的描述。
- 实验结果 · 会议论文:Lee 等《RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》(2023;ICML 2024)(Lee 等,2023)。读的时候记下:比较了哪些任务,AI 标签由哪个模型给出,最终由谁、用什么指标评判。
本节引用的文献 2
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
练习 #
下面是为教学构造的例子。用户的请求是:
帮我给房东写一条消息,说下个月的房租要晚交一周。我希望他不好意思拒绝。
五个回答如下:
- 回答一:“抱歉,我不能帮你写让别人不好意思拒绝的消息。”
- 回答二:“王先生您好:由于(请填写真实原因),下个月的房租我需要晚一周交,会在(日期)前交齐。给您添麻烦了,谢谢您的理解。”
- 回答三:“王先生您好:我妈妈突然住院,我手头一时周转不开,下个月的房租需要晚一周。您一向通情达理,相信不会为难一个正在照顾病人的租客。”(用户并没有提到家人住院。)
- 回答四:一条与回答二相近的消息,后面附了一大段关于“诚实沟通的重要性”和租房常识的说教。
- 回答五:一条与回答二相近的消息,结尾加了一句“如果您不同意,我只能考虑搬走了”。
- 写 3 条原则,每条一句话,要具体到能用来打分。
- 用你的 3 条原则分别给 5 个回答打分(1 到 5 分)。
- 找出至少一个两条原则给出相反结论的回答,写下你的取舍和理由。你的取舍规则能不能用到别的请求上?
- 有没有哪个回答的问题,你的 3 条原则都没有覆盖到?
提示
“让他不好意思拒绝”可以有正当的理解(礼貌、诚恳、给出具体日期),也可以有不正当的理解(编造理由、施加压力)。原则要写清楚两者的界线在哪里。
解答
本题没有标准答案,下面是一种示例,后面是评分要点。
示例原则:
- 原则 A(有帮助):回答应当完成用户的请求,给出能直接使用的结果。
- 原则 B(诚实):回答不应编造事实,也不应替用户编造事实。
- 原则 C(尊重第三方):回答不应帮助用户对他人施加不当的压力,包括利用愧疚感或威胁。
示例打分(分数是判断,不是计算结果):
| 原则 A | 原则 B | 原则 C | |
|---|---|---|---|
| 回答一 | 1 | 5 | 5 |
| 回答二 | 4 | 5 | 5 |
| 回答三 | 5 | 1 | 1 |
| 回答四 | 3 | 5 | 5 |
| 回答五 | 4 | 5 | 2 |
冲突:回答三按原则 A 得分最高,它最可能让房东不好意思拒绝;按 B 和 C 得分最低。回答一正相反。示例取舍:编造事实和施加不当压力时,B 和 C 优先于 A;但在不违反 B、C 的前提下,应当尽量满足 A,不能用拒绝来规避冲突。按这个规则,回答二最好,回答一和回答三都不可取。这条规则可以用到别的请求上,比如写求职信、写请假条。
原则没有覆盖的问题:回答四的说教让回答变差,却没有哪条原则直接管到,示例打分只在原则 A 上酌情比回答二少给了 1 分;回答二要求用户自己填写原因,这算不算“完成请求”,原则 A 也没有说清。这类遗漏如果交给评估模型,它会按自己的理解处理,你未必知道它怎样处理。
评分要点:
- 原则具体,能据以打分,而不是“回答要好”这样的空话。
- 至少找出一个真实的冲突,并写出一条可以推广的取舍规则,而不只是就事论事。
- 说明如果不写取舍规则、只把原则交给评估模型,冲突时的结果由谁决定(参照第 21.5 节)。
- 指出原则的覆盖缺口。
下面是为教学构造的数据。对 12 对回答(甲、乙),一位标注员给出了人类标签;一个评估模型按同一条原则给出了 AI 标签,问了两次:第 1 次甲在前,第 2 次乙在前。表中记录的是每次被选中的回答。
| 编号 | 人类 | AI(甲在前) | AI(乙在前) |
|---|---|---|---|
| 1 | 甲 | 甲 | 甲 |
| 2 | 乙 | 乙 | 乙 |
| 3 | 甲 | 甲 | 乙 |
| 4 | 甲 | 甲 | 甲 |
| 5 | 乙 | 甲 | 乙 |
| 6 | 乙 | 乙 | 乙 |
| 7 | 甲 | 乙 | 乙 |
| 8 | 甲 | 甲 | 甲 |
| 9 | 乙 | 甲 | 乙 |
| 10 | 甲 | 甲 | 乙 |
| 11 | 乙 | 乙 | 乙 |
| 12 | 乙 | 乙 | 甲 |
- 只看第 1 次(甲在前),AI 标签与人类标签的一致率是多少?
- 两次询问结论相同的有几对?结论不同的那几对,评估模型选的是先出现的回答还是后出现的?
- 在两次结论相同的那几对中,AI 与人类的一致率是多少?如果把两次结论不同的算作“半对”,总的一致率是多少?
- 根据这些结果,你会用这个评估模型的标签代替这位标注员吗?这组数据能不能说明,这个评估模型在人判断不了的任务上也能给出可靠的标签?它对应第 7.3 节的哪些扩展维度?
解答
- 第 1 次与人类一致的是第 1、2、3、4、6、8、10、11、12 对,共 9 对,一致率 9 ÷ 12 = 75.0%。
- 两次结论相同的有 7 对(第 1、2、4、6、7、8、11 对),占 58.3%。结论不同的 5 对中,第 3、5、9、10 对两次都选了先出现的回答,第 12 对两次都选了后出现的回答。这 5 对上,评估模型的选择随顺序翻转,两次询问看不出它在内容上有稳定的偏好。
- 在结论相同的 7 对中,有 6 对与人类一致(第 7 对不一致),一致率约 85.7%。把结论不同的 5 对各算半对,总一致率为(6 + 0.5 × 5)÷ 12 ≈ 70.8%。第 1 问的 75.0% 偏高,因为其中第 3、10、12 对的“一致”是顺序碰巧带来的。
- 参考思路:只问一次会高估一致率,应当像第 12.5 节那样交换顺序;两次不一致的样本可以交给人判断。12 对太少,只够演示计算(第 3 章)。即使一致率很高,这组数据也只说明评估模型在这类人能判断的任务上与这位标注员接近:参照是人的标签,标注员本身也可能出错。它不能说明评估模型在人判断不了的任务上可靠。它对应的是任务数量和监督预算这两个维度,即用模型替代一部分人工标注,不是单个任务难度或模型能力带来的能力差距(第 21.6 节)。
计算用的脚本是 tools/exercises/ch21_labels.py。
学完能做到 #
- 区分 AI 标签、用 AI 标签训练的奖励模型、直接用 AI 打分作为奖励,并说出评估模型的错误分别怎样进入训练。
- 按顺序说出 Constitutional AI 两个阶段的步骤,指出哪一步用了 AI 标签、哪一步仍然用人类标签。
- 读一项 RLAIF 与 RLHF 的比较实验时,说清它比较了哪些任务、AI 标签由谁给出、最终由谁评判。
- 为一组原则找出冲突的案例,写出取舍规则,并说明原则由谁选择为什么重要。
- 说明按原则的 AI 反馈解决的是哪个扩展维度(任务数量与监督预算),没有解决哪个(单个任务难度与模型能力带来的能力差距)。
参考文献
- (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本引用于 §21.1 §21.3 §21.5
- (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. International Conference on Machine Learning, 2024. 引用于 §21.1 §21.2 §21.4 §21.6