Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第 16 章让模型帮人挑错

路线全部路线最短路线

本章导读

本章问题
  • 模型写的批评能否帮人发现自己发现不了的错误?
要点
  • 批评模型不替人作判断,而是指出可能的问题,由人去核实;目标是改善人的判断,不是生成更多批评(§16.1)。
  • 找错、解释错误、修复错误是三种不同的能力,一个模型可能只擅长其中一种(§16.2)。
  • 衡量批评要先约定检查单位,再同时报告精确率、召回率、人的采纳率和核查耗时(§16.3)。
  • 没有“同样多的额外时间、但没有批评”的对照组,就分不清改善来自批评还是来自多看了一遍(§16.4)。
本章的视频讲解,4 分 56 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07先挑错,再核实
    编辑请审稿人先读稿,老师请助教先标出问题:找问题的一方不作最终判断。设想模型标出 5 处,3 处是真的,2 处根本不存在:人采纳了哪几条?核实花了多久?改完有没有新问题?
  2. 0:25把找和核实分开16.1
    批评模型给另一份输出挑错,是评估者的助手:评估者除了输出,还能看到一份问题清单。判断 500 行代码有没有错可能要几天,核实“第 120 行会只记一半”可能只要几分钟。目标是改善人的判断,不是生成更多批评。
  3. 0:48找错、解释、修复16.2
    挑错包含三种能力。找错:指出哪里有问题。解释:说清为什么是问题、何时出错。修复:给出改法,且改完程序是对的。三者不一定一起出现;修复最危险,人容易没弄懂就采纳。模型“知道”某处有错,也不等于能写成别人看得懂的批评。
  4. 1:13先约定检查单位16.3
    先约定检查单位:代码行、命题,或整份回答。示意代码里,模型说“第 3、4 行有问题”:按命题,说中 1 个错误;按行数,标出 2 行,可两行单看都没错,算几处须事先约定。
  5. 1:33精确率与召回率16.3
    精确率:报出的问题中,真实问题的比例。召回率:全部真实问题中,被报出的比例。标出 5 处,3 处是真的:精确率 3 ÷ 5 = 60%;一共 4 个真实错误:召回率 3 ÷ 4 = 75%。它们只衡量批评本身,还要记录人的采纳率和核查耗时。
  6. 1:56等时对照16.4
    人先独立判断、看了批评后重判,正确率的提高可能只来自多看了一遍。等时对照让另一组同样多花时间重判,只是不看批评。还要:随机分配给不给批评;看过批评的题,不再放进不看批评的一组;记录信心。
  7. 2:19摘要任务:Saunders 等16.5
    写误导性摘要的标注员预先写下应被找出的批评,看其他人能否找到:看模型批评时 45% ± 5%,不看时 27% ± 5%。各种严重程度都有增加,最多的是轻微的。任务人最多花十分钟左右就能完成:测的是更仔细,不是跨越能力差距。
  8. 2:43代码任务:McAleese 等16.5
    McAleese 等的代码批评模型:在含自然错误的代码上,评估者 63% 的情况下更偏好它的批评,而不是人写的;对人为插入的错误,它发现的多于付费人工审查者。它也会虚构错误、吹毛求疵;人与它合作时,虚构的问题更少。
  9. 3:06专家标出的错误16.6
    FindTheFlaws 有五个数据集,专家在长篇解答里标出具体的推理错误。三种用法:衡量批评模型;比较有、没有批评时人的准确率;挑出模型比裁判强的任务,制造能力差距。专家标注本身也可能有遗漏。
  10. 3:29误导与漏报16.7
    错误的批评会误导人:写得有说服力,人就可能把对的代码当成错的,照着修复反而改错;人倾向于相信自动系统,叫自动化偏差。漏报也危险:批评没说有问题,常被当成没有问题,其实只说明它没发现。
  11. 3:50修复引入新错误16.7
    回到示意代码:模型建议第 4 行记流水失败就换新编号重试,以满足规则三。可若流水其实已写入,只是“写成功”的回复丢了,程序换号再写:同一笔记了两次,编号不同,规则二认不出。
  12. 4:13证据与前提
    测过:Saunders 等在摘要上,人看批评时发现的缺陷更多;McAleese 等在代码上,模型批评发现的插入错误多于人工审查者。两项都来自 OpenAI。依赖:错误能被指出并核查;人有时间核查;批评模型不刻意漏报。不能推出:批评模型有意漏报,或与写代码的模型有同样盲点时仍有效;没有等时对照时,提高来自批评而不是多花的时间。

带走的几句话:

  1. 批评模型只指出可能的问题,由人核实;目标是改善人的判断。
  2. 先约定检查单位,再报告精确率、召回率、采纳率和核查耗时。
  3. 没有等时对照,分不清改善来自批评还是多看了一遍。

前两章的方法都在改变任务的形式:拆分任务把一个大判断变成许多小判断(第 14 章),辩论让两个模型就同一个问题各持一方(第 15 章)。本章的方法更直接:既然人看不出错误,就让另一个模型先把可能的错误找出来、写成批评,人再逐条核实。

这个想法在生活中很常见。编辑请审稿人先读一遍稿子,老师请助教先标出作业里的问题,程序员提交代码之前先跑一遍自动检查工具。共同点是,找出问题的一方不必作最终判断,只要把注意力引到值得看的地方。人核实一条具体的意见,通常比从头读完整份材料便宜得多。

但这种帮助也有代价。设想代码审查中,模型标出了 5 处问题,其中 3 处是真的,2 处根本不存在。人采纳了哪几条?为了核实这 5 条花了多少时间?按模型的建议修改之后,有没有引入新问题?回到记账程序:你让模型列出它认为违反需求说明的代码位置,逐条核实,记下哪些是真问题、哪些是误报、每条花了多久。本章要回答的就是,怎样从这些记录里判断批评模型到底帮了多少。

证据与前提
  • 想处理:人看不出解答或代码里的错误。
  • 测过:Saunders 等在摘要任务上,比较人看与不看模型写的批评时发现的缺陷,看批评时发现得更多(Saunders 等,2022)。McAleese 等在代码任务上训练批评模型,模型批评发现的人工插入错误多于人工审查者;人与模型合作时,虚构的问题比模型单独写批评时少(McAleese 等,2024)。两项研究都来自 OpenAI,研究的是它自己训练的模型。
  • 依赖:错误能被具体地指出并核查;人有时间核查;批评模型不刻意漏报。威胁模型只覆盖“无意出错”一个维度(第 10.2 节)。任务前提(第 10.3 节):“有没有独立于模型陈述的证据”,即独立于批评本身、可供核查的证据,例如能运行的代码或可以对照的原文。
  • 不能推出:不能推出批评模型自身被利用或有意漏报时仍然有效。没有等时对照的实验,不能区分正确率的提高来自批评,还是来自多花的时间。
引言引用的文献 2
  1. Saunders 等人(2022)Self-critiquing models for assisting human evaluators
  2. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs

16.1 批评模型是什么 #

批评模型(critique model 或 critic)是专门用来给另一份输出挑错的模型。它读一份摘要、一段代码或一个解答,用自然语言写出它认为有问题的地方,例如“第 3 段把作者的观点说反了”“这个函数在输入为空时会出错”。

批评模型的定位很重要。它不是裁判:它不决定输出能不能用。它也不是执行者:它不负责把任务做好。它是评估者的助手,作用是改变评估者能看到的信息。用第 1 章的话说,它改变的是监督协议:原来评估者只能看到执行者的输出,现在还能看到一份指出了具体问题的清单。

这种设计有一个直接的好处。人判断“这段 500 行的代码有没有错”,可能要花几天;判断“第 120 行在网络中断时会只记一半,对不对”,可能只要几分钟,因为问题已经被定位,人只需要核实这一处。把“找”和“核实”分开,就把一个人做不了的大判断,变成了许多人做得了的小判断。

研究者最初提出这种方法,是把它当作训练模型的辅助:人给模型的输出打分时,如果有批评模型帮忙指出问题,打出的分数会更准确,用这些分数训练出的模型也就更好(第 6 章讲过这种训练流程)。Saunders 等把这称为用 AI 辅助人类反馈,并把他们的工作定位为一个概念验证(Saunders 等,2022)。同样的方法也可以直接用在使用模型的时候,比如本章开头的代码审查。

要点

批评模型的最终目标是改善人的判断,而不是生成更多的批评。一个写出几十条意见、却让人判断得更差的批评模型,是失败的。

第 16.1 节引用的文献 1
  1. Saunders 等人(2022)Self-critiquing models for assisting human evaluators

16.2 三种能力 #

“挑错”这个词听起来是一件事,实际上包含三种不同的能力。用习题 15.2 里那段示意代码来看。它不是记账程序的原文,只是把“改余额”和“记流水”两步写在了一起:

1  def save(record):
2      balance = read_balance()
3      write_balance(balance + record.amount)   # 改余额
4      write_log(record)                         # 记流水
5      return True
  • 找错:指出哪里有问题。“第 3、4 行有问题。”
  • 解释错误:说清楚为什么是问题、在什么情况下会出错。“第 3 行先改了余额,第 4 行才记流水;如果第 4 行出错,余额已经改了,流水却没有记,账就只记了一半,违反需求说明的第三条。”
  • 修复错误:给出改正的办法,并且改完之后程序是对的。例如“第 4 行出错时,把余额改回原来的值”。这个办法本身也要检查:如果改回余额这一步也出错了,账还是只记了一半。

这三种能力不一定一起出现。一个模型可能能找到有问题的位置,却解释错了原因;也可能解释得头头是道,给出的修复却引入了新的错误。对人来说,三者的价值也不同。只指出位置,人还要自己弄明白哪里错了;有了正确的解释,人核实起来快得多;而修复建议最危险,因为人很容易在没有完全理解的情况下直接采纳,第 16.7 节会看到一个例子。

还有一个更微妙的区分。一个模型“知道”某处有错,不等于它能把这个错写成别人看得懂的批评。Saunders 等提出了一个比较框架,把模型的批评能力与它的生成能力(自己写出好答案)、辨别能力(在两个答案中挑出好的那个)放在一起比较,结果提示,大模型可能掌握一些它没有表达为批评的知识(Saunders 等,2022)。这一点与第 18 章讨论的问题相通:模型说出来的东西,不一定就是它内部掌握的全部信息。

第 16.2 节引用的文献 1
  1. Saunders 等人(2022)Self-critiquing models for assisting human evaluators

16.3 怎样衡量 #

要知道批评模型帮了多少,先得能数清楚它找对了几个、找错了几个、漏了几个。这比听起来难,因为首先要约定检查单位:按什么来数“一个问题”。

可以按代码行数:模型标出的每一行算一个判断。可以按命题:批评里的每一个具体断言(“这个函数在输入为空时会出错”)算一个判断。也可以按整份回答:只看模型对整份输出的结论(“有错”或“没错”)对不对。三种单位会给出不同的数字。比如对第 16.2 节的示意代码,模型写了一条批评:“第 3、4 行有问题,第 4 行出错时账只记了一半。”按命题数,这是 1 条断言,说中了 1 个错误。按行数,它标出了 2 行;可是第 3 行和第 4 行单看都没有写错,错在两行的组合,这 2 行算标中了 2 处、1 处还是 0 处,必须事先约定。按整份回答,只看“这段代码有错”这个结论,它是对的。所以报告结果时,必须先写明检查单位,不同单位得出的数字不能直接比较。

约定好单位之后,最常用的是两个指标。

定义 16.1 精确率与召回率

精确率(precision)是批评模型报出的问题中,真实问题所占的比例。召回率(recall)是全部真实问题中,被批评模型报出的比例。

用本章开头的例子:模型标出 5 处,其中 3 处是真的,精确率就是 3 ÷ 5 = 60%。如果这段代码里一共有 4 个真实的错误,召回率就是 3 ÷ 4 = 75%。注意算召回率需要知道“一共有几个真实错误”,这在实际使用中通常不知道,所以实验里常常在代码里人为插入已知的错误,或者使用专家已经标注过错误的数据集(第 16.6 节)。

两个指标此消彼长。一个什么都报的批评模型召回率很高,精确率很低;一个只报最有把握的问题的模型正好相反。只报一个指标,就可能把一个没用的模型说成很好。

McAleese 等在代码批评上看到了同样的此消彼长(McAleese 等,2024)。一份批评写出的条目越多,抓到某个特定错误的机会越大,也越可能夹带虚构的错误(报出并不存在的问题)和吹毛求疵的意见(报出无关紧要的小问题);作者说这类似精确率和召回率,并给出了非正式的说法:精确率高,指批评里的每一条说法更可能是真的;召回率高,指更可能抓到某个插入的错误(McAleese 等,2024)。他们的数据也不是逐条数出来的:标注员给每份批评的几个方面按 1 到 7 分打分,包括是否全面,是否抓到了事先指定的错误,是否含有虚构的错误或吹毛求疵(McAleese 等,2024)。这也是一种检查单位的选择:虚构和吹毛求疵只问整份批评里有没有至少一处,是否抓到指定的错误,则对每个插入的错误分别打分(McAleese 等,2024)。为了在两者之间取舍,他们用了一种叫 FSBS(Force Sampling Beam Search)的办法:对同一段代码采样多份批评,按奖励模型(第 6 章)的打分挑出一份,挑选时再按批评指出的问题处数加上一项可调的分数,调这一项,挑出的批评就偏长或偏短(McAleese 等,2024)。只用强化学习训练、不加这种挑选的版本,在模型自然产生的错误上可能不如作为对照的 ChatGPT 全面;作者给出的解释之一是它更保守,精确率高得多,代价是召回率;另一条解释是它训练用的计算量比 ChatGPT 少,与训练量相近的 ChatGPT 比,它的精确率和召回率都更高(McAleese 等,2024)。哪个平衡点最能帮助人作出好的判断,作者写明目前还不知道(McAleese 等,2024)。

但精确率和召回率衡量的是批评本身,不是人的判断。本章开头说过,最终目标是改善人的判断,所以还要记录两样东西:

  • 采纳率:人接受了哪些批评。人采纳的真批评越多越好,采纳的假批评越少越好。人有时会拒绝一条正确的批评,也会接受一条错误的批评。Saunders 等的实验给出了一个相关的数字(Saunders 等,2022):标注员可以点一个按钮“采用”模型写的某条批评,批评的文字会填进标注员自己的答卷,之后还可以修改。有批评可看时,标注员写下的批评大多是采用来的,而采用的批评中只有 15.3% 被进一步修改过(Saunders 等,2022)。这个数不是采纳率,它说的是采用之后人很少再改动模型的原话;所以人采纳了什么,要和批评是否成立放在一起看。
  • 核查耗时:人核实每条批评花了多少时间。一条误报不只是“没用”,它还消耗了核查的时间。如果一半的时间花在排除误报上,批评模型的实际帮助就要打折扣。第 16.4 节的表 16.1 给出了一组实测的用时。
易错点

只报告“批评模型找出了多少个错误”,是最常见的不完整报告。它不说明找错了多少个、漏了多少个、人采纳了哪些、为此花了多少时间。

第 16.3 节引用的文献 2
  1. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
  2. Saunders 等人(2022)Self-critiquing models for assisting human evaluators

16.4 实验设计 #

第 3.6 节正是用批评实验讲对照组的:人先独立判断、看了批评后重判,正确率的提高可能只来自多看了一遍、多花了时间,所以对照组要同样多花时间重判,只是不看批评。这种对照叫等时对照。读一项批评实验,先看它有没有等时对照。

等时对照之外,设计批评实验还要注意几件事,它们在第二部分都已出现过:

  • 哪些题给批评、哪些不给,要随机分配,或者按难度配对后再分开。否则可能碰巧把容易的题都分进了看批评的一组。
  • 同一个人不能先在有批评的条件下看过一道题,再在没有批评的条件下判断同一道题,因为他已经记住了批评的内容。
  • 记录人的信心。看了批评之后,人的信心可能比正确率提高得更多。第 13 章讨论过这种“更有信心,但不一定更准确”的现象。
  • 区分人类实验和弱模型实验。有些研究用一个较弱的模型代替人来读批评,这只是实验的替代,结果不能直接当作人的表现(第 11.3 节)。

一组实测的用时。Saunders 等在附录里报告了一组比较:同样是为摘要找批评,不给模型批评、给 4 条、给 8 条,分别记录标注员的用时和找到的批评条数(表 16.1);论文说这组比较做于项目较早的时候;表里的条数只数标注员写下了几条批评,论文没有报告其中有多少条成立(Saunders 等,2022)。

表 16.1 给不同条数的模型批评时,标注员的用时和找到的批评条数(项目较早的阶段)
条件 用时(分钟) 找到的批评(条)
不给批评 6.27 ± 0.31 0.74 ± 0.05
给 4 条批评 5.82 ± 0.27 1.06 ± 0.07
给 8 条批评 6.26 ± 0.27 1.31 ± 0.08

“±”后面是一个标准误,按论文的说明。给 8 条批评时,用时和不给批评几乎一样(6.26 对 6.27 分钟),找到的批评平均多了 0.57 条;给 4 条时多了 0.32 条,论文说用时可能比不给更短(5.82 对 6.27 分钟),但这个差别在误差以内(Saunders 等,2022)。作者写道,8 条批评带来的增加略少于 4 条的两倍(Saunders 等,2022)。用时几乎没变,“多花了时间”就很难解释这些增加,这正是等时对照要排除的那种解释(本书的推断)。但只数条数还不够:如果多出来的批评有一部分并不成立,人就是被批评说服了,而不是发现了更多问题。论文在正文里也指出,这样的计数分不清对差摘要的有效批评和对好摘要的误导性批评(Saunders 等,2022);第 16.5 节介绍他们怎样用另一项检查部分补上这个缺口,那项检查只覆盖误导性摘要。差值由 tools/exercises/ch16_assist_time.py 算出。

表里只有总用时,没有拆出花在误报上的时间。误报多了,核查它们的时间会不会把批评带来的好处吃掉?这取决于误报有多少、排除一条要多久,以及不看批评的人在同样时间里能找到多少。图 16.1 用一个示意模型把这几样放在一起,沿用本章开头和第 16.3 节的例子:批评报出 5 处,3 处是真的,代码里一共 4 个错误。

按排序核查批评报出的问题排除误报花掉的时间不看批评,同样时间(平均)01234确认的真实错误(个)0102030405060核查用时(分钟)全部 4 个错误报出 5 条,其中 3 条是真的:精确率 60%,召回率 75%(一共 4 个错误)。核查共用 28 分钟,其中 16 分钟花在 2 条误报上。同样 28 分钟,不看批评的人平均找到 1.4 个;看批评多找到 1.6 个。
按排序核查批评报出的问题排除误报花掉的时间不看批评,同样时间(平均)01234确认的真实错误(个)0204060核查用时(分钟)全部 4 个错误报出 5 条,其中 3 条是真的:精确率 60%,召回率 75%(一共4 个错误)。核查共用 28 分钟,其中 16 分钟花在 2 条误报上。同样 28 分钟,不看批评的人平均找到 1.4 个;看批评多找到1.6 个。
图 16.1 逐条核查批评报出的问题,与同样时间不看批评的人比较。代码里一共有 4 个真实错误。批评按自己的排序报出若干条,人从第一条开始逐条核查:确认一条真问题用 4 分钟,蓝线随之升高一格;排除一条误报用的分钟数由滑块设定,这段红线是平的,时间花了,没有找到错误。灰色虚线是一个不看批评的人,用同样多的时间,按固定的平均速度找错,最多找到全部 4 个;竖线标出核查结束的时刻,两个圆点分别是两人这时找到的个数,不看批评的人那一个是平均数,所以可以有小数。默认报出 5 条,其中 3 条是真的,与本章开头的例子相同;报出的条数从 1 调到 8 时,每一条的真假按固定的顺序排列(真、真、假、真、假、假、真、假)。真假的顺序、核查用时和找错速度都是为说明而设定的示意,图中的数由这个模型精确算出,不是测量。

默认设置下,精确率 60%,召回率 75%;逐条核查共用 28 分钟,其中 16 分钟花在两条误报上。同样 28 分钟,一个平均每分钟找到 0.05 个错误、不看批评的人平均找到 1.4 个,所以看批评多找到 1.6 个。把报出的条数调到 8,召回率升到 100%,精确率降到 50%,这就是第 16.3 节说的此消彼长;一条一条加时,两者也可能同时升高,报得多了,总的趋势才是召回率升、精确率降。把不看批评时的速度调到每分钟 0.11 个,同样的批评反而比不看少找到 0.08 个。所以批评有没有用,要和同样时间里不看批评的人比,而不是和“什么都没找到”比。这些数来自示意模型,不是测量,tools/exercises/ch16_flag_checking.py 重复了这些计算。

第 16.4 节引用的文献 1
  1. Saunders 等人(2022)Self-critiquing models for assisting human evaluators

16.5 实验证据 #

下面用表 11.1 的四个核心问题来读两项主要的实验。

摘要任务上的自我批评模型。Saunders 等训练语言模型为摘要写批评,任务是根据一篇文章和一个主题写摘要(Saunders 等,2022)。他们让评估者在有或没有模型批评的条件下检查摘要,报告批评帮助评估者发现了本来会漏掉的缺陷,包括自然出现的缺陷和故意制造的误导性缺陷。他们还发现更大的模型写出的批评更有用,大模型也大体上更擅长批评自己写的摘要,并且能用自我批评来改进摘要。

用四个核心问题检查它,原文对每一个都有回答。

  • 监督者比执行者弱在哪里?几乎不弱。作者在局限中写明,这个摘要任务对人来说并不真的难,人最多花十分钟左右就能完成,留给辅助的提升空间不大(Saunders 等,2022)。所以这项实验测的是“批评能否让人更仔细”,而不是“批评能否跨越能力差距”。
  • 参考答案是什么?对自然出现的缺陷,没有独立的参考答案,只能依赖标注员的判断。为此作者另做了一项检查:让写误导性摘要的标注员同时写出他们“预期的批评”,再看其他标注员能否找到。看批评时找到预期批评的比例是 45% ± 5%,不看批评时是 27% ± 5%(Saunders 等,2022)。
  • 基线是什么,花了多少时间?基线是不看批评的标注员。实验不限制用时,作者报告辅助没有明显改变用时,看批评的人因为写下了更多批评而稍慢一些(Saunders 等,2022);项目较早时的一组数字见表 16.1,那次比较里用时几乎没有变化。这不是第 16.4 节说的等时对照,但用时的差别不大,“多花了时间”很难解释全部的提高(本书的推断)。
  • 提高的是准确率还是信心?指标是发现的批评条数。各种严重程度的批评都有增加,增加最多的是轻微的批评;写误导性摘要的标注员判为有效的批评所占比例(只在误导性摘要上统计),看批评时是 71%,不看时是 73%,没有明显下降(Saunders 等,2022)。提高的是发现缺陷的数量,不是评估者的信心。

还要追问:结论能否推广到摘要之外、对人真正困难的任务。作者自己也说,模型辅助在对人确实困难的任务上最有价值,在较容易的任务上得到的正面结果,在更难的任务上未必能重现(Saunders 等,2022)。

代码任务上的批评模型。这是 OpenAI 团队 2024 年的一篇预印本(McAleese 等,2024)。他们用基于人类反馈的强化学习(第 6 章)训练了一个专门批评代码的 GPT-4 系列模型,称为 CriticGPT(McAleese 等,2024)。训练数据大多这样得来:请标注员在模型写的代码里故意插入不易察觉的错误,像在代码审查中发现了它一样写下说明,再让同一位标注员给模型对这段代码写的几份批评打分排序(McAleese 等,2024)。评估用两类代码:一类是人为插入了错误的代码,一类是此前被标注员发现过明显问题的模型代码,即模型自然产生的错误(McAleese 等,2024)。他们报告,在含有自然错误的代码上,评估者在 63% 的情况下更偏好模型写的批评,而不是人写的批评;模型批评发现的人为插入的错误,也多于付费的人工审查者(McAleese 等,2024)。

这篇论文值得细读的地方,在于它怎样报告批评的缺点。批评模型会虚构错误,也会吹毛求疵(第 16.3 节),前者就是误报。论文报告,人与批评模型合作时,找到的错误与批评模型单独找到的差不多,虚构的问题却比模型单独写批评时少(McAleese 等,2024)。换句话说,人的核实过滤掉了一部分误报。这正是本章开头的设计思路:模型负责找,人负责核实。

用同样的四个问题检查它。

  • 监督者比执行者弱在哪里?写批评的人来自给 ChatGPT 做标注的同一批标注员,自报的 Python 经验中位数是五年;写一份批评的中位用时约 50 分钟,可以运行代码、查参考手册(McAleese 等,2024)。作者认为,他们不如模型主要有三个原因,按重要性依次是:没有模型帮助时写下的意见更少,有时缺少某个 Python 库之类的专门知识,有些插入的错误本来就很难发现(McAleese 等,2024)。所以这里的差距主要在细致程度和专门知识,而不是人完全看不懂代码(本书的推断)。
  • 参考答案是什么?人为插入的错误,参考答案是插入者写下的说明;自然产生的错误,参考答案是当初发现它的标注员指出的问题;给批评打分时,标注员能看到这些说明(McAleese 等,2024)。这样的参考答案只能判断批评有没有抓到那一个已知的错误;批评里其他的说法是真是假,仍然要靠打分的标注员判断。
  • 基线是什么,花了多少时间?基线是标注员自己写的批评,以及直接提示 ChatGPT 写的批评;打分时标注员不知道每份批评出自谁(McAleese 等,2024)。论文只给出写一份批评的中位用时(约 50 分钟),没有分开报告有、没有模型帮助时各用了多少时间,所以这不是第 16.4 节说的等时对照。
  • 提高的是准确率还是信心?正文的主要结果都不是直接测的。主要指标是标注员对批评的评分和偏好(第 16.3 节),衡量的是批评写得怎样,而不是人最后的判断对不对;作者假设,帮人抓到更多错误,就能得到更好的训练数据(McAleese 等,2024)。附录里有几组实验用测试结果当参考答案,直接测量人判断的准确率(McAleese 等,2024),结果大体是负面的(第 16.7 节)。

不能推出什么。作者在讨论部分和方法部分写明了这项研究的局限,读结论时要一并带上。第一,评估用的代码片段通常很短,不涉及多个文件,也不需要在代码仓库(一个项目全部代码文件的集合)里查找(McAleese 等,2024)。第二,真实的复杂错误可能分散在程序的许多行里,不容易定位,也不容易解释,作者没有研究这种情况(McAleese 等,2024)。第三,人为插入的错误与模型自然犯的错误分布很不一样(McAleese 等,2024):插入的错误平均更难被人发现、也更严重,却不来自模型错误的自然分布;自然产生的错误更接近真实情况,但通常更容易发现,毕竟它们已经被人抓到过一次(McAleese 等,2024)。第四,虚构错误和吹毛求疵的比例虽然降低了,绝对水平仍然相当高(McAleese 等,2024)。第五,理想的检验是比较两个最终训练出的写代码模型,一个用有批评帮助的人类反馈训练,一个用没有批评帮助的人类反馈训练;这样做太昂贵,作者没有做,而是假设帮人多抓到错误就能得到更好的模型,并指出这个假设可能不成立:批评能消除人的一些偏差,也可能带来新的、一致的偏差(McAleese 等,2024)。此外,这是开发者对自己模型的报告,是一篇预印本。

把两项研究放在一起,还要注意证据的边界。两项研究的批评模型、被批评的输出和评估方式,都来自同一家开发者,研究的是它自己训练的系统;结论都是在“批评模型没有理由故意漏报”的条件下得出的。如果批评模型本身就是被监督的对象,或者和写代码的模型来自同一个系列、有同样的盲点,结论还能不能成立,这些实验没有回答(第 24 章,第 26 章)。

回到记账程序。转账功能(第 10 章)一次改动两个账户:从转出账户扣钱、给转入账户加钱是两次写入,可能写在不同的函数里。如果第二次写入失败、第一次没有撤回,钱就凭空少了一笔;这个错误不在任何一行里,而在两处代码的组合上。它和第 16.2 节的示意代码不同:那里出问题的两行挨在一个 5 行的函数里,转账的两次写入却可能相隔很远。上面第一、二条局限恰好把这类错误留在了实验之外:代码片段很短、不跨文件,分散在许多行里的错误没有研究。所以 McAleese 等的结果不能告诉我们,批评模型能不能找到转账里的这类错误(本书的推断)。

第 16.5 节引用的文献 2
  1. Saunders 等人(2022)Self-critiquing models for assisting human evaluators
  2. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs

16.6 带标注的错误数据集 #

前面说过,算召回率需要知道“一共有几个真实错误”。研究批评方法时,一个常用的办法是使用专家已经标注过错误的数据集。

FindTheFlaws 就是这样一组数据集(Recchia 等,2025b)。它包括五个数据集,覆盖医学、数学、科学、编程和 Lojban 语言。每个数据集都有问题和长篇解答,专家把每份解答标为正确,或者标出其中具体的推理错误。作者用它测试了前沿模型批评有缺陷解答的能力,发现不同数据集上的表现差别很大,并指出这种差别让研究者可以在实验里用较弱的模型充当较强模型的裁判。作者还报告,前沿模型在多数数据集上已经达到或超过了他们对专家水平的保守估计,Lojban 数据集是例外:论文的 arXiv 版(v1)测了五个模型,它们在 Lojban 上都明显不如专家;AAAI 2026 的会议论文加测了 o3 等较新的模型,除 o3 以外的模型都明显不如专家(Recchia 等,2025b)。

这样的数据集有三种用法。

  1. 衡量批评模型。让模型批评一份已知有错的解答,看它找到的错误是否与专家标注一致,从而算出精确率和召回率。
  2. 衡量人的判断。让人在有或没有批评的条件下判断解答,看哪种条件下人更准确。本章的练习就是这样做的。
  3. 制造能力差距。因为模型在不同数据集上的表现不同,研究者可以挑出模型比裁判强的那部分任务,模拟“监督者弱于执行者”的局面(第 11 章)。

使用时要注意,专家标注本身也可能有遗漏,所以“批评模型报出、但不在标注里的问题”不一定都是误报,值得单独核查。

第 16.6 节引用的文献 1
  1. Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research

16.7 失败方式 #

最后把批评方法可能失败的方式整理一下。它们对应第 16.2 节的三种能力。

错误的批评误导人。一条写得很有说服力的错误批评,可能让人把正确的代码当成错误的。更糟的是,如果人按这条批评去“修复”,就会把原本正确的代码改错。第 13.2 节讲的自动化偏差在这里特别危险:人倾向于相信自动系统给出的意见。材料难懂、核查费力时,人更容易依赖这类捷径(第 13.3 节);时间不够时,人只能看批评读起来是否有道理(第 9.2 节)。

漏掉真实问题。批评模型没有提到的地方,人往往就不再检查了。“批评里没说有问题”很容易被理解成“没有问题”,但这只说明批评模型没有发现,不说明问题不存在。召回率低的批评模型,会让人对没被提到的部分产生不该有的信心。

McAleese 等的附录里有一个具体的例子。他们的训练数据大多来自人为插入的错误(McAleese 等,2024);只用强化学习训练的批评模型,与 ChatGPT 相比,在插入的错误上表现更好,在自然产生的错误上就没有那么好,作者的描述是,它在实际中学会了略去许多在插入错误里较少见的错误类型(McAleese 等,2024)。也就是说,在这项研究里,训练数据中少见的错误类型,批评里也容易缺席;而上一段说过,批评没提到的地方,人往往不再检查(本书的推断)。

另一组实验说明,批评有时没有明显帮上忙(McAleese 等,2024)。题目来自一个类似编程竞赛的数据集,每道题配两份模型写的解答,一份能通过测试,一份不能,测试结果就是参考答案;标注员读两份解答和它们的批评,要在 20 分钟内判断哪一份是对的,不能运行代码(McAleese 等,2024)。用的是一个早期的、与 GPT-4 大小相当的批评模型,不用 FSBS 挑选(第 16.3 节),只采样一条批评(McAleese 等,2024)。结果大体是负面的:图中能看到一点效果,但不显著,批评没有明显帮助标注员挑出正确的解答(McAleese 等,2024)。作者推测,为了得到让人难以分辨的解答,他们采样了很多次,而写批评用的计算量少得多,批评模型找不出这些解答里的错误(McAleese 等,2024)。论文没有单独报告批评把人引向错误答案的情形;这组结果只说明批评没有明显帮上忙,不能读成批评误导了人。

修复引入新错误。如果批评模型同时给出修改建议,人可能直接采纳。修复是第三种能力,它的正确性需要单独检查。回到第 16.2 节的示意代码。设想批评模型找对了错误,也解释对了。再假设规则二是靠编号认出重复提交的:编号相同的两笔,只记一次。批评模型建议这样修复:第 4 行记流水失败,就给这笔记录换一个新编号重新写,直到写成功为止;换编号是为了重试时不被当成重复提交而拒收。

# 示意代码:批评模型建议的修复
1  def save(record):
2      balance = read_balance()
3      write_balance(balance + record.amount)   # 改余额
4      while not write_log(record):              # 记流水,失败就重试
5          record = renumber(record)             # 重试前换一个新编号
6      return True

看起来规则三满足了:流水最终总会写上,不会只记一半。但设想这样一种情况:第 4 行其实已经把流水写了进去,只是“写成功”的回复在网络上丢了,程序按失败处理。于是它换一个新编号再写一次,流水里同一笔出现了两次,编号却不同,规则二认不出它们是同一笔。修好了规则三,却破坏了规则二;余额只加了一次,和流水也对不上了。所以检查一个修复,要把三条规则都重新核对一遍,而不只是被指出的那一条。

这三种失败有一个共同点:它们都在“批评模型没有理由骗人”的前提下就已经存在。如果批评模型会有意漏报,或者知道人只核查它报出的问题,失败会更严重。第四部分讨论这种情况。

第 16.7 节引用的文献 1
  1. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs

读物 #

  • 原始提案 · 预印本:Saunders 等《Self-critiquing models for assisting human evaluators》(2022)(Saunders 等,2022)。提出用模型写的批评辅助人类评估,并比较批评、生成和辨别三种能力。
  • 实验结果 · 预印本:McAleese 等《LLM Critics Help Catch LLM Bugs》(2024)(McAleese 等,2024)。重点看它怎样报告虚构的问题和吹毛求疵的批评,以及人与模型合作时这些问题的变化。
  • 方法与工具 · 会议论文:Recchia 等《FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research》(2025;AAAI 2026)(Recchia 等,2025b)。含专家标注错误的长篇解答,本章练习使用它。
本节引用的文献 3
  1. Saunders 等人(2022)Self-critiquing models for assisting human evaluators
  2. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
  3. Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research

练习 #

习题 16.1 精确率、召回率和核查成本

下面是为教学构造的数据。记账程序里事先埋入了 7 个已知的错误。批评模型标出了 8 处问题,你逐条核查,结果如下:

编号 是否真实错误 核查用时(分钟)
F1 是 4
F2 是 6
F3 否 9
F4 是 3
F5 否 7
F6 是 5
F7 否 8
F8 是 6

另一位同学没有看批评,用同样多的总时间独立审查同一份代码,找到了 7 个错误中的 3 个,没有误报。

  1. 算出批评模型的精确率和召回率。
  2. 核查一共花了多少分钟?其中多少花在误报上?平均每找到一个真实错误花了多少分钟?
  3. 和那位同学相比,批评模型帮了多少忙?这个比较为什么比“先独立审查、再看批评重审”的比较更有说服力?
  4. 这组数据还不能说明什么?
解答
  1. 8 处中有 5 处是真的,精确率 = 5 ÷ 8 = 62.5%。7 个错误中找到 5 个,召回率 = 5 ÷ 7 ≈ 71.4%。
  2. 总用时 4 + 6 + 9 + 3 + 7 + 5 + 8 + 6 = 48 分钟,其中误报 F3、F5、F7 共 9 + 7 + 8 = 24 分钟,占一半。平均每个真实错误 48 ÷ 5 = 9.6 分钟。
  3. 同样 48 分钟,不看批评的同学召回率是 3 ÷ 7 ≈ 42.9%,看批评的核查找到 5 个,多找到 2 个,代价是有一半时间花在排除误报上。这是等时对照:两种条件用了同样多的时间,差别不能归因于“多花了时间”或“多看了一遍”。
  4. 只有一份代码、两个人,差别也可能来自两人能力不同,不能当作测量(第 3 章)。错误是人为埋入的,可能比自然出现的错误更容易或更难发现。7 个已知错误之外,代码里可能还有没被埋入、也没被发现的错误。数据也没有记录你是否被误报说服而改错了代码。

计算用的脚本是 tools/exercises/ch16_metrics.py。

习题 16.2 有批评和没有批评(演示)

从 FindTheFlaws 的 Modified TheoremQA 子集中选 10 道题(Recchia 等,2025b)。这个子集是数学与理工科的计算题,每道题都有一份专家核对过的正确解答和一份故意植入错误的解答,并写明第一个错误在哪一步、错在哪里。

获取数据。从 FindTheFlaws 的 GitHub 仓库(modulo-research/findtheflaws)下载 datasets.zip。压缩包用 AES 加密,密码 findtheflaws 写在仓库的说明里;系统自带的 unzip 可能解不开,可以用 7-Zip,或者在 macOS 上用 bsdtar --passphrase findtheflaws -xf datasets.zip。解压后得到 datasets/modified_theoremqa_final.csv。

选题规则。规则事先固定,不看了解答再挑:去掉有错解答与正确解答最终答案相同的题(flag_same_final_answer 为 True,只看答案分不出对错);用固定的随机种子抽 10 道题;每道题再掷一次硬币,决定给你看正确解答还是有错的解答。脚本 tools/exercises/ch16_findtheflaws_select.py 按这个规则把题目和答案分别写进两个文件,做完之前不要打开答案文件。2026 年 11 月按这个规则运行时,95 道题去掉 4 道,剩 91 道,抽出的 10 道中恰好 5 道给的是有错的解答;数据更新后结果可能不同。

  1. 先不借助任何批评,判断每份解答是否有错,记录你的判断和信心(1 到 5 分)。
  2. 把 10 道题随机分成两半(或者按难度配对后分开)。一半阅读模型写的批评后重判;另一半不给批评,只给同样多的额外时间重判。批评可以用任意一个聊天模型生成,提示词事先固定,对每道题都一样。
  3. 对照答案文件里的标注(给的是哪一份解答、专家写的错误说明),算出两半在重判前后的正确率变化,并记录你被错误的批评误导的次数,即原来判断正确、看了批评后改错的题数。

每组只有 5 道题,结果只用于体会实验设计,不能据此说明方法有效。

提示

随机分组可以用掷硬币,或者用 Python 的 random.sample(range(10), 5)。分组要在看到第一次判断结果之前完成。

解答

本题没有标准答案,评分要点如下:

  • 选题规则和分组方式在看结果之前写下。
  • 两半重判时给的时间相同,并说明是怎样控制的。
  • 同时报告正确率的变化和被误导的次数;如果看批评的一半正确率提高了,也要检查有没有题目被改错。
  • 结论部分说明样本太小、只有一个人,并指出若要认真测量,至少需要更多题目、更多参与者,以及让每个人在两种条件下各判断不同的题。
习题 16.3 24% 和 6% 能说明什么

McAleese 等还试过把代码批评模型用在代码以外的任务上(McAleese 等,2024)。他们从 ChatGPT 的训练数据中取出一大批被第一位标注员评为“无可挑剔”(flawless)的回答,其中多数不是代码任务,让只用强化学习训练的批评模型为每份回答采样一条批评。在批评指出了问题的那些回答上,再请标注员看着批评复查:24% 的情况下,标注员认为批评找到的问题足以明显降低这个回答的评分。在另一次单独进行的重复实验中,不给批评,被一位标注员评为“无可挑剔”的回答,只有 6% 的时候被第二位标注员评得同样差(McAleese 等,2024)。

有人据此说:“有批评时,人发现问题的比例是没有批评时的 4 倍。”

  1. 24% 和 6% 的分母各是哪些回答?为什么不能直接相除?
  2. 设批评模型在全部“无可挑剔”的回答中,对比例为 ss 的回答指出了问题(论文没有给出 ss)。在全部这些回答中,有批评时复查发现明显问题的比例是多少?ss 小于多少时,它低于 6%?再分别算 s=10%s = 10\% 和 s=50%s = 50\% 时的值,这两个 ss 是为教学设定的,不来自论文。
  3. 除了分母,这两个数的比较还缺什么?至少说出两点,并说明一个能回答“批评是否帮人发现了更多真实问题”的实验应当怎样设计。
提示

第 3 问想一想第 16.4 节的随机分配和等时对照,以及复查的人认为“找到了问题”时,这个问题是不是一定存在。

解答
  1. 24% 的分母只是批评指出了问题的那部分回答,批评没有指出问题的回答根本没有复查;6% 的分母是那次重复实验里被评为“无可挑剔”、交给第二位标注员复评的全部回答,那次复评不给批评。两个比例数的不是同一批回答,相除得到的 4 倍没有意义。
  2. 暂且把 6% 当作同一批回答的基线(第 3 问再讨论)。批评没有指出问题的回答没有复查,所以在全部回答中,有批评时发现明显问题的比例是 0.24×s0.24 \times s。它等于 6% 时,s=6%÷24%=25%s = 6\% \div 24\% = 25\%;ss 小于 25% 时,它低于不给批评时的 6%。s=10%s = 10\% 时是 2.4%,s=50%s = 50\% 时是 12%。不知道 ss,就不知道有批评时人在全部回答上是多发现了,还是少发现了。
  3. 第一,6% 来自另一次单独进行的重复实验,不是把同一批回答随机分成有、没有批评的两组同时比较,两次实验的回答、标注员和时间都可能不同,用时也没有报告(第 16.4 节)。第二,24% 记录的是标注员认为批评找到了足以降分的问题,没有独立的参考答案核对这些问题是否真的存在。Saunders 等在摘要任务上把这列为一个可能的混杂因素:标注员看了许多批评,可能偶尔接受并不成立的批评;只看条数,研究者分不清对差回答的有效批评和对好回答的误导性批评(Saunders 等,2022)。好的设计是:从同一批“无可挑剔”的回答中随机分出两组,一组给批评、一组不给,给同样多的复查时间;不论批评有没有指出问题,所有回答都复查;再用独立的参考答案(例如专家标注,或者可以运行的测试)核对找到的问题是否真实。

计算用的脚本是 tools/exercises/ch16_flawless.py。

本节引用的文献 3
  1. Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research
  2. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
  3. Saunders 等人(2022)Self-critiquing models for assisting human evaluators

学完能做到 #

  • 区分找错、解释错误和修复错误三种能力,并说出各自可能怎样失败。
  • 报告一个批评方法的效果时,先写明检查单位,再同时给出精确率、召回率、采纳率和核查成本。
  • 设计一个带等时对照的批评实验,说明为什么“先独立判断、再看批评重判”不足以证明批评有用。
  • 读到一项批评实验时,说出它在什么代码、什么错误上测过,以及为什么不能推出对分散在多处代码里的错误(例如转账)同样有效。

参考文献

  1. McAleese, N., Pokorny, R. M., Uribe, J. F. C., Nitishinskaya, E., Trebacz, M., and Leike, J. (2024). LLM Critics Help Catch LLM Bugs. arXiv. 预印本引用于 §16.3 §16.5 §16.7
  2. Recchia, G., Mangat, C. S., Li, I., and Krishnakumar, G. (2025b). FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41123. 引用于 §16.6
  3. Saunders, W., Yeh, C., Wu, J., Bills, S., Ouyang, L., Ward, J., and Leike, J. (2022). Self-critiquing models for assisting human evaluators. arXiv. 预印本引用于 §16.1 §16.2 §16.3 §16.4 §16.5