Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第 14 章拆分任务:分解、迭代放大与递归奖励建模

路线全部路线

本章导读

本章问题
  • 人判断不了整体时,能不能一块一块地判断?
要点
  • 任务分解把大问题拆成人能判断的子问题;关键是保留子问题之间的依赖,并单独检查合并这一步(§14.2)。
  • 迭代放大和递归奖励建模都把分解用于训练:前者蒸馏人加模型的组合,后者用上一层模型帮人评估下一层(§14.3)。
  • 递归书籍摘要说明分解能用在真实任务上,但只有约 5% 的书的摘要与人写的相当(§14.5)。
  • 分解的一种典型失败是每一部分都对、合起来仍然错;依赖丢失、证据遗漏和误差累积是常见原因(§14.6)。
本章的视频讲解,4 分 56 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07判断一份全书摘要
    要判断一份 300 页小说的摘要准不准,最可靠的是读完全书,可你没有时间。换个做法:模型为每章写摘要,你只拿一章原文对照这一章的摘要;再拿各章摘要对照全书摘要。
  2. 0:26拆开不一定更省时14.1
    假设读完整本书要 10 个小时;30 章每章核对 15 分钟,共 7.5 个小时,相差不多。好处在别处:小判断可分给多人,每次可能更可靠,训练时能反复用。
  3. 0:47拆成一棵倒过来的树14.2
    任务分解:把问题拆成子问题,使答案合起来能回答原问题,或帮人判断原问题的答案。可按结构、要求或步骤拆,太大就再拆。叶子要小到评估者有时间、有材料、懂得判断。
  4. 1:07局部都对但整体错14.2
    记账程序的三条规则拆成三个子检查。加了转账,三个子检查都通过;可第一次写入成功、第二次失败,就只记了一半,违反规则三。保留依赖的三种做法里,这要靠单独检查合并。
  5. 1:29迭代放大14.3
    迭代放大(Christiano 等,2018)每轮三步。放大:人把问题拆成子问题,交给当前模型 X 的几份副本,再根据子答案作答。蒸馏:训练新模型直接给出这个答案。重复:新模型替换 X。
  6. 1:48论文的实验很有限14.3
    作者只测了 5 个玩具算法任务,程序代替人分解。迭代放大学得和监督学习几乎一样快,专家给的样本少得多。作者写明,这不能说明人能否分解真实世界里有意义的任务。
  7. 2:11递归奖励建模14.4
    Leike 等(2018)假设:许多任务上,评价比做出正确的行为容易。它用训练好的模型帮人评价更难的任务:人借助 A1 评价 A2,A2 再帮人评价 A3。条件是评价拆得完整:漏掉的方面,下一层可能朝任意方向优化。
  8. 2:33三个概念放在一起14.4
    作者把递归奖励建模看作迭代放大的一个实例。迭代放大让模型模仿“人加副本”的答案;递归奖励建模只要人评价结果,拆开的是评价,不是任务本身。
  9. 2:55递归书籍摘要14.5
    Wu 等(2021,OpenAI)为整本小说写摘要:程序把书切成段,同一个模型逐层摘要。标注员每次只判断一份摘要相对于它的直接输入写得好不好:一段原文,或下一层的几份摘要。
  10. 3:14约 5% 的书相当14.5
    测试用 40 本 2020 年的热门书,参考标准来自读完全书的人。约 5% 的模型摘要评分与人写的相当,平均明显不如。这不是“分解在 5% 的情况下有效”:它说明能不读全书来训练,不说明局部判断能代替整体判断。
  11. 3:36依赖丢失与证据遗漏14.6
    依赖关系丢失:有人请主角把 hand(手)交给他,整章读是邀她跳舞,只看一小段被概括成求婚。关键证据遗漏:散落各处的小细节,每处都不值得写进章摘要,合起来却是重要主题。
  12. 3:57误差逐层累积14.6
    上一层看不到原文,错误只会被继承。Wu 等发现全书摘要的评分低于任何一层子任务。假设每层以 90% 的概率保住一个关键事实,各层互不影响,三层后只剩 0.9³ ≈ 0.73。
  13. 4:17证据与前提
    测过:Wu 等用人对分段摘要的反馈训练整本小说的递归摘要,约 5% 的书与人写的相当,平均明显不如。依赖:任务能分解,依赖能保留,叶子有原文可看、判断可靠;只覆盖无意出错。不能推出:依赖很强的任务上有效;模型针对分解方式调整行为时仍有效。

带走的几句话:

  1. 分解把大问题拆成人能判断的子问题,要保留依赖、单独检查合并。
  2. 迭代放大蒸馏人加模型的组合;递归奖励建模拆开的是评价。
  3. 每一部分都对,合起来仍可能错。

第二部分讲了怎样判断一个监督方法有没有用。从本章开始,逐一介绍具体的方法。第一种方法的想法最朴素:人判断不了整体,就一块一块地判断。用第 9.1 节的话说,评估者往往能“检查局部”,却做不到“验证整体”;拆分任务想用许多次局部检查,换来对整体的判断。

先看一个例子。你要判断一份 300 页小说的摘要写得准不准。最可靠的办法是读完整本书再对照摘要,可你没有这个时间。换一种做法:把书按章拆开,让模型为每一章写一份摘要,你只拿一章原文对照这一章的摘要,几分钟就能判断;然后模型把各章摘要合成全书摘要,你再对照各章摘要检查这一份。你始终没有读完整本书,却对全书摘要的每一部分都做过检查。

回到第 1 章的记账程序。500 行代码你读不懂,但需求说明的三条规则可以拆成三个子检查:余额计算对不对,重复提交是否只记一次,写入失败时会不会只记一半。每个子检查都比“整个程序对不对”小得多。后来程序增加了转账功能(第 10 章),一笔转账要同时改动两个账户。三个子检查分别看都通过了,合在一起仍可能出错:从 A 账户扣了钱,给 B 账户加钱时写入失败,钱就凭空少了。所以合并这一步本身也要单独检查。本章要回答的是:一块一块地判断,什么时候能代替对整体的判断,什么时候不能。

证据与前提
  • 想处理:人无法一次判断整体,但能判断各个部分。
  • 测过:Wu 等在整本书的摘要任务上,用人对分段摘要的反馈训练递归摘要模型,再与人写的摘要比较:少数书(约 5%)的摘要评分与人写的相当,平均明显不如(Wu 等,2021)。
  • 依赖:部分之间的依赖关系能在分解中保留。威胁模型只覆盖“无意出错”一个维度(第 10.2 节)。任务前提(第 10.3 节):“任务能否分解”;“有没有独立于模型陈述的证据”,即叶子任务有评估者看得到的原文,更高层的评估者只能以下一层的模型摘要为依据,Wu 等的实验就是这样(Wu 等,2021),这是误差累积的一个来源(第 14.6 节);“标签是否可靠”,即子任务评估者的判断可靠。
  • 不能推出:不能推出在部分之间依赖很强的任务上仍然有效。实验没有测试被监督的模型针对分解方式调整行为的情况。
引言引用的文献 1
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback

14.1 分而治之的直觉 #

“分而治之”在生活中很常见。老师批改一份实验报告,会分别看实验设计、数据记录和结论;审计一家公司,会按部门逐一核账;审查一大段代码改动,会按文件一个个看。共同点是:整体太大,一个人一次装不进脑子里,但拆开之后的每一块,都落在一个人判断得了的范围内。

拆开之后,评估者要判断的东西变了。原来的问题是“这份全书摘要对不对得上整本书”,要回答它,必须知道整本书写了什么。拆开之后,问题变成两类:“这一章的摘要对不对得上这一章原文”,以及“全书摘要对不对得上各章摘要”。两类问题都只需要看一小段材料。

要注意,拆分不一定让总工作量变少。假设读完整本书要 10 个小时;书有 30 章,对照一章原文检查一份摘要要 15 分钟,30 章就是 7.5 个小时,相差并不多。拆分的好处在别处。第一,每一次判断变小了,可以分给许多人同时做,也可以只抽查其中一部分(第 11.8 节)。第二,每一次判断更可靠:盯着 10 页原文核对一段摘要,比凭记忆核对一份 300 页的摘要容易得多(本书的推断)。第三,用于训练时,同一类小判断可以反复使用,模型从大量“章摘要对不对”的判断中学习,而不需要有人为每本书读完全书。Wu 等估计,如果不分解,每条训练数据都要有人读完整本书(平均 12 小时以上)再写摘要,所用时间是完成分解后一个子任务的 50 倍以上(Wu 等,2021)。这里比的是每条训练数据的用时,不是检查一本书的总时间。

这种做法背后有一个希望:如果每一块都判断对了,合并的方式也对,整体就对。这个希望要成立,至少需要两个条件。一是每一块确实落在评估者能判断的范围内;二是各块之间的联系没有在拆分时丢掉,合并这一步也被检查过。下一节讲怎样拆才能满足这两个条件;第 14.3 节和第 14.4 节讲怎样把拆分用于训练模型;第 14.6 节讲条件不满足时会出什么问题。

第 14.1 节引用的文献 1
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback

14.2 任务分解 #

定义 14.1 任务分解

任务分解(task decomposition)是把一个问题拆成若干个子问题,使得子问题的答案合起来能回答原问题,或者能帮助人判断原问题的答案。

怎样拆。常见的拆法有三种。按结构拆:一本书按章,一个程序按文件或函数。按要求拆:记账程序的需求说明有三条规则,就拆成三个子检查。按步骤拆:一道应用题的解答有五步推理,就逐步检查。同一个问题可以有多种拆法,拆法不同,后面暴露的问题也不同。

拆分可以一层层进行:子问题还太大,就再拆。拆出来的结构像一棵倒过来的树,最上面是原问题,最下面的“叶子”是可以直接判断的小问题。书籍摘要就是这样一棵树:原文段落是叶子,几段的摘要合成一章,几章合成一部分,最后合成全书(这是示意;Wu 等的实验由程序按长度切段,切分点不一定落在章与章之间,见第 14.5 节)。

拆到什么程度。拆到每个叶子都落在评估者的能力范围之内。第 9.2 节讲过评估者的三种限制:时间、信息和专业能力。叶子的大小要同时照顾这三样:评估者有足够的时间看完它,手里有判断它所需的材料,也懂得判断它所需的知识。对一个刚学编程的人来说,“这两行代码哪一行先执行”是叶子;“这个函数在多人同时使用时是否安全”就不是。所以同一个问题,换一个评估者,树的形状也要变。也不是拆得越细越好。拆得越细,合并的步骤越多,子问题之间的联系也越多,每一处联系都可能在拆分时丢失。

依赖怎样保留。子问题往往不是彼此独立的;Wu 等也指出,分解假定各部分可以独立完成,这对书籍摘要未必成立(Wu 等,2021)。小说后半部分的一句话,可能只有读过开头几章才看得懂;转账功能里,扣款和加款两次写入必须一起成功或一起失败。保留依赖可以有三种做法。

  1. 传递上下文。每个子任务除了自己的那一块,还拿到理解它所需的前文。Wu 等在书籍摘要中就是这样做的:为后面的段落写摘要时,模型能看到同一层前面已经写好的摘要(模型的上下文放得下多少就放多少)(Wu 等,2021)。
  2. 写明依赖。每个子答案写清楚它依赖哪些前提,例如“本章摘要假定主角已经离开了家乡”。合并时,检查者核对这些前提是否被其他子答案支持。
  3. 单独检查合并。把“各部分合在一起是否成立”本身当成一个子问题,交给评估者判断。

第三种做法为什么必要,看转账的例子。下面是一种可能的写法,是示意代码,不是记账程序的原文:

# 示意代码:转账功能的一种写法
def transfer(from_acct, to_acct, amount):
    save(from_acct, -amount)   # 第一次写入:从转出账户扣钱
    save(to_acct, +amount)     # 第二次写入:给转入账户加钱

假设三个子检查都做了,而且都做对了。余额检查:每个账户各自的余额都等于收入减支出。重复提交检查:同一笔转账提交两次,每个账户只记一次。写入失败检查:save 这一次写入失败时,不会只写一半。三个检查都通过。可是如果第一次 save 成功、第二次 save 失败,转出账户扣了钱,转入账户没加钱,这笔转账恰好“只记了一半”,违反了规则三。每个子检查都只看一次写入或一个账户,问题出在两次写入的组合上,不在任何一个子检查的视野里。只有加上一个合并检查,问“一笔转账作为一个整体,是否满足三条规则”,才能发现它。

要点

一个分解是否可靠,看两件事:每个叶子评估者确实判断得了;子问题之间的依赖和合并这一步也被检查了。

第 14.2 节引用的文献 1
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback

14.3 迭代放大 #

上一节的分解是一次性的:人拆开问题,检查每一块,得出一个判断。迭代放大把分解用在另一件事上:训练模型,而且反复进行。

迭代放大(Iterated Amplification)由 Christiano、Shlegeris 和 Amodei 在 2018 年的一篇预印本中提出(Christiano 等,2018)。Cotra 同年写了一篇入门讲解,把它称为 Iterated Distillation and Amplification(迭代蒸馏与放大),并用 AlphaGo Zero 的训练方式作类比(Cotra,2018)。设 HH 是人,XX 是当前的模型。每一轮有三步。

  1. 放大(amplification)。人回答一个问题时,先想出几个有用的子问题,交给当前模型 XX 的几份副本去回答,再根据这些子答案得出最终答案。“人加上几份模型副本”组成的系统,记作 Amplify(H,X)\mathrm{Amplify}(H, X)。作者假定它能比 XX 单独回答得好,这是迭代放大的关键假设(Christiano 等,2018)。叫“放大”,是因为模型副本放大了人的能力。
  2. 蒸馏(distillation)。训练一个新模型,让它直接给出放大系统会给出的答案,不必再经过人和许多副本。放大系统慢而贵,蒸馏后的单个模型快而便宜。在 Christiano 等的实验里,这一步就是用监督学习,让模型去预测放大系统的输出(Christiano 等,2018)。
  3. 重复。蒸馏出的新模型替换 XX,进入下一轮。因为副本变强了,下一轮的放大系统也更强。

把一轮写成式子,就是新模型等于“把人借助旧模型组成的系统蒸馏成一个模型”:

Xt+1=Distill(Amplify(H,Xt))X_{t+1} = \mathrm{Distill}\big(\mathrm{Amplify}(H, X_t)\big)

论文描述了训练怎样一步步推进(Christiano 等,2018)。开始时模型的回答是随机的,人问子问题也得不到有用的回答,放大系统基本等于人自己。人能独立回答一些简单问题,模型先学会照搬这些答案。模型会回答简单问题之后,人就能把稍难的问题拆成简单的几块,模型又学会回答稍难的问题。如此往复,人的角色逐渐从“自己回答”变成“协调许多模型副本”。在每个时刻,放大系统都比模型单独强一点,模型追赶的是一个不断前移的目标。作者指出,只要多个智能体合作解决问题能比一个智能体做得更好,放大系统就能提供有用的训练信号(Christiano 等,2018)。

迭代放大不是“把任务拆开交给模型去做”。拆分只用来产生训练数据,而且每一轮只拆一层;训练出来的模型不必按人的拆法去解题,可能学到一种整体处理问题的方式(Christiano 等,2018)。为了减轻人的负担,论文还训练了一个模型来模仿人“怎样拆、怎样合并”的决定,用它代替人参与大部分放大(Christiano 等,2018)。Cotra 强调,放大和蒸馏这两步都要保持系统与人的意图一致(Cotra,2018)。如果某一轮蒸馏引入了偏差,下一轮放大用的就是带着偏差的副本(本书的推断)。

论文的实验很有限。作者在 5 个玩具算法任务上测试,例如对一个排列反复作用多次、在一个 64 个顶点的有向图里求两点距离,并用一段写好的程序代替人来做分解(Christiano 等,2018)。与直接用正确答案做监督学习相比,迭代放大学得几乎一样快,只是训练步数略多,每个问题的计算量约为监督学习的两倍(Christiano 等,2018)。两边数的样本不是同一种东西:监督学习需要几千万个带正确答案的样本,作者说如果这些样本要由外部专家提供,代价就高得无法承受;迭代放大需要的是专家(这里是那段程序)回答的分解询问,每个任务只有几千到两万多次,作者也说在真实任务上这个数会大得多(Christiano 等,2018)。作者自己写明,这些实验不能说明人能否分解真实世界里有意义的任务(Christiano 等,2018)。

放到记账程序上,第一轮里,你问“这个程序满足三条规则吗”,把它拆成三个子问题交给模型副本,再根据子答案下结论;模型学会直接回答“这个程序满足某条规则吗”。下一轮,你就可以问更大的问题,例如“转账功能满足三条规则吗”,把它拆成“扣款和加款是否一起成功或一起失败”等子问题,交给已经变强的副本。

第 14.3 节引用的文献 2
  1. Christiano 等人(2018)Supervising strong learners by amplifying weak experts
  2. Cotra(2018)Iterated Distillation and Amplification

14.4 递归奖励建模 #

第 6.3 节讲过奖励模型:一个被训练来预测人会怎样评价模型输出的模型,再用强化学习让模型的输出得到更高的预测分数。这套做法要求人能评价输出。人评价不了的时候怎么办?

Leike 等在 2018 年的一篇预印本里提出了一个研究方向(Leike 等,2018)。他们的出发点是一个假设:对许多任务来说,评价结果比做出正确的行为容易。他们也指出了反例:结果只有“是”或“否”的问题,看结果本身判断不了对错,除非还要求附上解释,因为评价一个解释通常比写出它容易(Leike 等,2018)。还有一些结果,人直接评价起来很难:领域高度专业(如机器码),系统非常复杂,或者后果要很久以后才出现(Leike 等,2018)。

递归奖励建模(recursive reward modelling)的办法是:用已经训练好的模型帮人评价更难任务的结果,以此训练下一层的奖励模型。先在较简单、较窄的任务上用奖励建模训练出智能体 A1A_1;人在 A1A_1 的帮助下评价 A2A_2 在更难任务上的结果,这些评价用来训练 A2A_2 的奖励模型;A2A_2 训练好后,又帮人评价 A3A_3,依此类推。论文举的例子是训练一个写奇幻小说的智能体。要评价一部小说,人得读完全书。于是让助手智能体帮忙:提取情节梗概、检查拼写和语法、总结人物的变化、评估行文是否流畅。每一项都比写小说简单:只关注书的一个方面,要写的字也少得多;而这些助手本身也是用奖励建模训练出来的(Leike 等,2018)。

作者把递归奖励建模看作迭代放大的一个实例,区别在于用奖励建模代替了监督学习或模仿学习(Leike 等,2018)。换句话说,迭代放大让模型模仿“人加副本”给出的答案;递归奖励建模只要求人评价结果,拆开的是评价这件事,不是任务本身。

作者也写明了这条路的两个条件(Leike 等,2018)。第一,评价的分解必须完整:如果漏掉了结果的某个方面,下一层的智能体可能在这个方面朝任意方向优化。这正是第 8 章所说的规格博弈的一种来源。第二,误差会不会逐层累积,即上一层智能体的小错误会不会在训练下一层时变成大错误,是一个开放问题。

回到记账程序。你要训练一个写代码的模型来实现转账功能,但你看不懂它写的代码。你可以借助一个已经训练好的助手模型,它能用白话解释每一处改动做了什么,也能为改动写测试。你在它的帮助下打分,这些分数训练写代码模型的奖励模型。如果助手只解释余额怎样计算、从不检查写入失败时的处理,写代码的模型在规则三上就得不到任何信号,它在这方面怎么写都不会被扣分。

三个概念容易混在一起,下表把它们放在一起比较。

表 14.1 任务分解、迭代放大与递归奖励建模
任务分解 迭代放大 递归奖励建模
拆开的是什么 一个问题或一次检查 一个问题,由人和模型副本一起回答 对结果的评价
人做什么 判断每个子问题,检查合并 选子问题,根据子答案作答 在助手帮助下评价结果
模型怎样学习 不一定训练模型 模仿放大系统的输出(蒸馏) 从人的评价学奖励模型,再用强化学习优化
是否多轮 不必 是,每轮模型变强 是,每层的助手来自上一层
第 14.4 节引用的文献 1
  1. Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction

14.5 实验证据 #

把分解用在一个真实任务上的代表性实验,是 OpenAI 的 Wu 等 2021 年的一篇预印本(Wu 等,2021)。下面按第 10.5 节证据框的写法,看它在什么任务上做、和什么比较、观察到什么、不能推出什么。

任务与做法。任务是为整本小说写概括式的摘要,即用自己的话概括情节和主题,而不是摘抄原句。分解是固定的:一个事先写好的程序把书切成若干段,模型为每一段写摘要;几段摘要拼起来,再写一份摘要;如此一层层往上,直到得到全书摘要。每一层用的是同一个模型。为后面的段落写摘要时,模型能看到同一层前面的摘要(Wu 等,2021)。模型是在 GPT-3 上微调的:先用人写的示范做监督学习,再用人对模型摘要的比较训练奖励模型并做强化学习,正是第 6.3 节的流程(Wu 等,2021)。关键在于,标注员每次只判断一份摘要相对于它的直接输入写得好不好,直接输入是一段原文,或者下一层的几份摘要,而不是整本书(Wu 等,2021)。作者说,这种做法可以看作迭代放大的一个特例(分解固定,从叶子开始训练),也可以看作一种递归奖励建模,前提是把下层模型写的摘要看作帮人评价上层摘要的工具(Wu 等,2021)。

和什么比较。测试用的是 40 本 2020 年出版的热门书,模型在训练中没有见过它们,其中 6 本是非虚构类(Wu 等,2021)。每本书请两位标注员读完全书、各写一份摘要,再让他们按 1 到 7 分给模型的摘要和另一位标注员的摘要打分(Wu 等,2021)。注意,训练时标注员不必读完全书,但最后检验效果时,参考标准仍然来自读完全书的人。

观察到什么。论文正文写,最好的模型写的摘要中,超过 5% 在 1 到 7 分里得了 6 分,这个分数人写的摘要有时也会得到;论文摘要把它概括为约 5% 的书的模型摘要与人写的相当(Wu 等,2021)。平均而言,模型摘要明显不如人写的(Wu 等,2021)。6 本非虚构类书的模型摘要,评分明显高于小说,作者说这不是强证据(Wu 等,2021)。作者还报告,全书摘要的评分明显低于分解后任何一层子任务的评分,他们把这归因于每一层的误差都累积到了全书摘要里(Wu 等,2021)。从具体的摘要看,模型能写出书中的重要事件,但常常漏掉重要细节,或者没有把握住更大的背景(Wu 等,2021)。

用表 11.1 的四个核心问题检查一遍。监督者弱在哪里?主要是时间:训练时标注员没有读完全书,每次只看局部。参考答案是什么?读完全书的标注员写的摘要和打的分;两位标注员对模型摘要相对好坏的判断,一致的比例接近 80%,但打分仍带有主观性(Wu 等,2021)。基线是什么?人写的摘要,以及只用示范训练、不做强化学习的模型。提高的是什么?摘要的质量评分,而不是评估者的信心。

不能推出什么。第一,Wu 等选小说,正是因为认为它最难概括(Wu 等,2021),实验里也出现了依赖丢失的例子(第 14.6 节);部分之间依赖很强的任务,例如前面的引理在后面才被用到的数学证明,或者多个模块相互调用的程序,没有测过。第二,分解方式是研究者固定的,模型只负责写摘要,实验没有测试模型知道分解方式后会不会针对它调整行为。第三,实验只考虑了模型无意犯错的情形,威胁模型只覆盖“无意出错”(第 10.2 节)。第四,这是开发者对自己模型的一项研究,只有一个任务。

易错点

“约 5% 的书与人写的摘要相当”不是“分解在 5% 的情况下有效”;论文同时报告,平均而言模型摘要明显不如人写的。这项研究说明分解能让人在不读全书的情况下训练摘要模型,不说明分解后的局部判断能代替对整本书的判断。

第 14.5 节引用的文献 1
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback

14.6 失败方式 #

把分解可能失败的方式整理成四类。它们在上面的研究、设想和例子里都出现过。

局部都对但整体错。每个子问题都答对了,整体判断仍然错。第 14.2 节的转账就是例子:三个子检查都通过,两次写入的组合却违反了规则三。凡是性质落在“组合”上的,例如总数是否守恒、几处改动是否前后一致、操作的先后顺序,都容易出现这种情况(本书的推断)。习题 14.1 让你自己构造一个。

依赖关系丢失。一个子任务需要的信息在另一个子任务里,拆开之后它看不到。Wu 等举过一个例子:《傲慢与偏见》中有一段,有人请主角把 hand(手)交给他。放在整章里读,这显然是邀她跳舞;模型只看到这一小段,就把它概括成了求婚(Wu 等,2021)。作者认为,每份摘要只根据局部内容写出,这是他们训练设置的普遍弱点(Wu 等,2021)。作者还担心,前面的细节要到后面才显出重要性的情形可能很难发现,例如推理小说(Wu 等,2021)。

关键证据遗漏。每一层摘要都会删掉在局部看来不重要的东西,但有些东西只有在整体上才重要。Wu 等设想过这样一种情形:有些信息稀疏地散落在书的许多部分,例如一点点积累的爱慕或怨恨,每个细节都小到不值得写进一章的摘要,合起来却是全书的重要主题;他们认为改为学习分解方式也未必能解决(Wu 等,2021)。按这个设想,这类信息在第一层就会被删掉,后面的层次再好也找不回来(本书的推断)。

误差逐层累积。每一层都可能引入一点小错误,上一层只能看到下一层的摘要,看不到原文,于是错误只会被继承,很难被纠正。Wu 等观察到全书摘要的评分低于任何一层子任务,并归因于误差的累积(Wu 等,2021);Leike 等也把“误差会不会逐层累积”列为开放问题(Leike 等,2018)。假设每一层以 90% 的概率保住某个关键事实,并且各层互不影响,经过三层只剩 0.93≈0.730.9^3 \approx 0.73,习题 14.2 会进一步算这个例子。

这四类失败有一个共同点:它们在模型“没有理由骗人”时就已经存在。如果被监督的模型知道人会怎样拆分检查,它可能把问题放在任何一个子检查都看不到的地方,例如两个子问题的交界处,或者合并这一步(本书的推断)。现有实验没有测试这种情况。辩论中的混淆论证问题可以看作同一类弱点的一个具体形式(本书的推断)。Barnes 认为它可能是迭代放大和辩论共同的一个重要的定量限制,限制的是能可靠核查的论证有多大(Barnes,2020),第 15.10 节会讲它。第四部分系统讨论模型针对监督调整策略的情况。

能做的补救也对应着这四类失败:为合并单独设检查;把必要的上下文传给每个子任务;允许检查者在拿不准时回到原文,Wu 等在附录中讨论过这种设计,但因为当时模型的上下文长度有限,也因为这会让基础设施更复杂、标注员的任务更难一些,没有采用(Wu 等,2021);再对整体做一部分随机抽查(第 11.8 节),用来发现分解本身漏掉的问题。

第 14.6 节引用的文献 3
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback
  2. Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
  3. Barnes(2020)Debate update: Obfuscated arguments problem

读物 #

  • 入门讲解 · 博客:Cotra《Iterated Distillation and Amplification》(AI Alignment Forum,2018)(Cotra,2018)。用 AlphaGo Zero 作类比讲解放大、蒸馏、重复三步,适合在读原始论文之前先建立直觉。
  • 原始提案 · 预印本:Christiano、Shlegeris、Amodei《Supervising strong learners by amplifying weak experts》(2018)(Christiano 等,2018)。迭代放大的原始论文,注意作者自己列出的实验简化。
  • 原始提案 · 预印本:Leike 等《Scalable agent alignment via reward modeling: a research direction》(2018)(Leike 等,2018)。重点读递归奖励建模一节,以及作者关于“评价比行为容易”的假设和误差累积的讨论。
  • 实验结果 · 预印本:Wu 等《Recursively Summarizing Books with Human Feedback》(2021)(Wu 等,2021)。把分解用于整本书摘要的实验,读结果时留意作者在局限部分举出的分解失败的例子。
本节引用的文献 4
  1. Cotra(2018)Iterated Distillation and Amplification
  2. Christiano 等人(2018)Supervising strong learners by amplifying weak experts
  3. Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
  4. Wu 等人(2021)Recursively Summarizing Books with Human Feedback

练习 #

习题 14.1 5 个子问题都对,整体仍然错

把“判断一篇 3 页论文的结论是否成立”拆成 5 个子问题。要求每个子问题都能在半小时内由一个没有专业背景的人判断。

然后找出一种情况:5 个子问题都答对了,对“结论是否成立”的整体判断仍然是错的。说明错误出在哪里,属于第 14.6 节的哪一类失败,以及应该怎样修改你的分解。

提示

不要去找“某个子问题答错了”的情况,那不符合题意。想一想每个子问题各自看的是论文的哪一部分材料,有没有一件事需要把两部分材料放在一起才能看出来。

解答

一种参考分解,适用于一篇报告实验结果的论文:

  1. 结论回答的是不是论文开头提出的问题?
  2. 第 2 节描述的分组方法是不是随机分配?
  3. 结果表里的平均数和差值算得对不对?
  4. 结果表有没有写明每组的人数和成绩的波动范围(例如标准差)?
  5. 结论句的措辞是否超出了结果表,例如把相关说成因果,或者夸大了数字?

下面是一个为教学构造的例子。一篇 3 页的论文研究一款复习软件,结论是“使用这款软件让期末成绩平均多提高 8 分”。第 2 节写明:200 名学生用掷硬币分成两组,各 100 人,一组使用软件四周,一组不用。表 1 报告:软件组平均提高 12 分,对照组平均提高 4 分,相差 8 分。

逐个检查,5 个子问题都答对了:结论回答的正是论文的问题;第 2 节的分组确实是随机的;按表 1 里的人算,12 减 4 等于 8 没有算错;表 1 写明了每组的人数和标准差;结论句与表 1 一致。

整体判断仍然错,因为表 1 只包括坚持用满四周的 60 名学生,中途放弃的 40 人没有列入,而他们也参加了期末考试,平均只提高了 3 分。放弃的学生多半是觉得软件对自己没用的人。随机分组保证的是“两组的 100 人彼此可比”,而不是“坚持下来的 60 人与对照组的 100 人可比”。按随机分出的整组计算,软件组平均提高 (60 × 12 + 40 × 3) ÷ 100 = 8.4 分,比对照组多 8.4 − 4 = 4.4 分。这是随机分组能支持的数字,回答的是“被分到软件组”平均多提高多少;论文报告的 8 分比它多 3.6 分,而且不是随机分组的比较。

错误出在子问题 2 和子问题 3 之间:子问题 2 看的是第 2 节随机分出的 200 人,子问题 3 看的是表 1 里的 160 人,两个回答各自都对;子问题 4 只问表 1 写没写人数,不拿这些人数与第 2 节对照,答“写明了”也是对的。没有任何一个子问题问过“这两处说的是不是同一批人”。这属于“局部都对但整体错”,原因是依赖关系丢失。修改的办法是加一个合并检查:“表 1 里的人是不是第 2 节随机分出的全部学生?”更一般的教训是,再加一个子问题也只能堵住这一个漏洞,分解是否完整本身需要检查(第 14.4 节)。

计算用的脚本是 tools/exercises/ch14_decomposition.py。

评分要点(你的答案可以与此不同):5 个子问题都能由非专业的人在有限时间内判断;反例中每个子问题的回答确实是对的;错误来自子问题之间或子问题之外,并说清是哪一类失败;给出的修改针对这个漏洞。

习题 14.2 误差逐层累积

下面的设定是为教学构造的简化模型。一本书有 10 章,每章有一个关键事实。摘要树有三层:章原文到章摘要,章摘要到部分摘要,部分摘要到全书摘要。假设每一层都以 0.9 的概率保住一个关键事实,各个事实、各层之间互不影响。

  1. 一个关键事实保留到全书摘要的概率是多少?
  2. 10 个关键事实中,期望有几个保留到全书摘要?
  3. 全书的某个结论需要同时用到其中 3 个特定的事实。这 3 个事实都保留下来的概率是多少?
  4. 要让一个关键事实保留到全书摘要的概率达到 0.9,每一层的保留率至少要多高?
  5. 这个模型的哪些假设与第 14.6 节描述的情况不符?
解答
  1. 0.93=0.7290.9^3 = 0.729。
  2. 10×0.729=7.2910 \times 0.729 = 7.29 个。
  3. 0.7293≈0.3870.729^3 \approx 0.387。需要几部分信息同时到场的结论,比单个事实脆弱得多,这是依赖关系让分解更难的一个原因。
  4. 每层保留率 pp 满足 p3=0.9p^3 = 0.9,p=0.91/3≈0.965p = 0.9^{1/3} \approx 0.965。层数越多,对每一层的要求越高。
  5. 至少有三处不符。第一,保留率不是固定的:散落在许多章里的小细节(第 14.6 节的“关键证据遗漏”)在第一层被删掉的概率远高于显眼的情节。第二,各层并非互不影响:一层写错的内容会被上一层当作事实继承下来,错误之间是相关的。第三,模型只算了“丢失”,没有算“写错”,例如依赖关系丢失导致的误读,它会把错误的事实带到全书摘要里。

计算用的脚本是 tools/exercises/ch14_decomposition.py。

习题 14.3 区分三个概念

判断下面四个场景分别属于任务分解、迭代放大还是递归奖励建模,说明理由。

  1. 老师把一份长报告拆成 5 部分,请 5 位助教各查一部分,自己再检查各部分的结论能否拼在一起,最后给出总评。
  2. 研究者先训练一个模型,让它能用白话总结代码改动;然后请人借助这些总结,给另一个写代码的模型的输出打分,用这些分数训练写代码模型的奖励模型。
  3. 人回答一个问题时,把它拆成子问题交给当前模型的几份副本,再根据子答案作答;然后训练一个新模型直接给出这个过程的最终答案,并用新模型重复这一过程。
  4. Wu 等的递归书籍摘要。
解答
  1. 任务分解。拆分只用来完成一次检查,没有训练模型,也没有多轮迭代。注意老师自己检查“能否拼在一起”,就是第 14.2 节说的合并检查。
  2. 递归奖励建模。上一层训练好的模型帮助人评价下一层模型的结果,人的评价用来训练奖励模型;拆开的是评价,不是写代码这件事本身。
  3. 迭代放大。“人加模型副本”是放大,训练新模型模仿它是蒸馏,然后重复。
  4. 不止一种。作者说它可以看作迭代放大的一个特例(分解固定,从叶子开始训练),也可以看作一种递归奖励建模,前提是把下层模型写的摘要看作帮人评价上层摘要的工具(Wu 等,2021)。这说明三个概念不是互斥的分类,而是看问题的三个角度:拆开了什么,人做什么,训练信号从哪里来。
本节引用的文献 1
  1. Wu 等人(2021)Recursively Summarizing Books with Human Feedback

学完能做到 #

  • 区分任务分解、迭代放大和递归奖励建模:分别说出拆开的是什么、人做什么、模型从哪里得到训练信号。
  • 为一个检查任务设计分解,说明叶子为什么在评估者的能力范围内,并单独列出合并这一步的检查。
  • 举出一种分解失败的方式(局部都对但整体错、依赖关系丢失、关键证据遗漏、误差逐层累积),并给出一个具体例子。
  • 读到一个分解实验时,说出它在什么任务上做、和什么比较、观察到什么,以及为什么不能推出在部分之间依赖很强的任务上同样有效。

参考文献

  1. Barnes, B. (2020). Debate update: Obfuscated arguments problem. AI Alignment Forum. 非同行评审引用于 §14.6
  2. Christiano, P., Shlegeris, B., and Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv. 预印本引用于 §14.3
  3. Cotra, A. (2018). Iterated Distillation and Amplification. AI Alignment Forum. 非同行评审引用于 §14.3
  4. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本引用于 §14.4 §14.6
  5. Wu, J., Ouyang, L., Ziegler, D. M., Stiennon, N., Lowe, R., Leike, J., and Christiano, P. (2021). Recursively Summarizing Books with Human Feedback. arXiv. 预印本引用于 §14.1 §14.2 §14.5 §14.6