Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第 15 章辩论

路线全部路线仅研究路线最短路线入门层属全部路线,进阶层仅研究路线;最短路线读入门层

本章导读

本章问题
  • 让两个模型互相挑错,较弱的裁判能否判断谁对?
要点
  • 辩论让两个模型各持一方,较弱的裁判判断谁的论证站得住;它能否帮到裁判,是待检验的命题(§15.1)。
  • 比较辩论要同时设直接问答和单方咨询两个对照组,并让时间和计算预算可比(§15.3)。
  • 现有正面结果主要来自有信息不对称的长文阅读问答;在其他任务上,辩论相对直接问答结果不一(§15.5)。
  • 混淆论证问题:作弊方能低成本地造出错误藏得极深的论证,迫使诚实方去解计算上很难的问题(§15.10)。
本章的视频讲解,5 分,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07两个模型,一个裁判
    长文后有一道选择题。两个模型都读过全文,各支持一个选项;裁判看不到全文,只看问题、选项和双方的引文。记账程序上,论点都引用代码行:你读不懂 500 行,但读得懂 5 行。
  2. 0:26沿一条线索往下走15.1
    Irving 等 2018 年提出辩论:两个辩手轮流发言,人作裁判,一方赢即另一方输。双方只沿争议最大的一条线索走,裁判只判断末端的小问题。核心主张:说谎比反驳谎言更难,作者说这是经验问题。
  3. 0:48四个设计选择15.2
    辩论是一族协议。读实验先看四个选择:立场指定还是自选;裁判能否提问;引文是否由系统核对,核对了就不能编造;各方看到什么,即信息不对称还是能力不对称。
  4. 1:08两个对照,预算可比15.3
    直接问答:裁判独自回答,材料与辩论中一样;读原文再答是更强的参照。单方咨询:一方辩护,一半时间支持错误答案;只和它比,可能高估辩论。字数上限相同时,辩论每轮的字数多一倍。
  5. 1:30长文问答上的三项实验15.4
    QuALITY 上,Michael 等(人类辩手)和 Khan 等(模型辩手),辩论下裁判更准;Khan 等:模型裁判上说服力越强越准。Arnesen 等用自我对弈(和自己的副本对战)训练辩手更会赢,比辩手强的裁判也更准。
  6. 1:49分两层看15.5
    Kenton 等:多类任务,裁判较弱或同等。咨询方随机指定立场时,辩论在所有任务上优于单方咨询。和直接问答比:抽取式问答上优于看不到文章的裁判(最弱的除外),不优于能读的;其他任务结果不一。
  7. 2:12均衡取决于裁判15.6
    最佳响应:给定对方的选法,让自己赢面最大的选法;双方都是最佳响应,就是均衡。玩具博弈:两人选的不同时,裁判以概率 q 判真方赢。q = 0.8 时唯一均衡是都选真,q = 0.4 时是都选假。
  8. 2:33色盲朋友的验证15.7
    交互式证明:验证者只做多项式时间(即“高效”)的计算,但能掷硬币、提问。色盲的朋友在背后随机换或不换两个球,问你换没换。颜色相同时你只能瞎猜,连猜对 20 次的概率不到百万分之一。
  9. 2:55数素数:只查一条路15.8
    理想化假设:裁判是判断单个陈述的高效算法,辩手计算能力不受限、下出最优策略。这时最优对局中诚实方获胜。例:Alice 谎称 1 到 64 有 19 个素数,每次对半拆开报数,Bob 总指出假的一半。
  10. 3:18双重高效的辩论15.9
    doubly-efficient debate(2023):在适当的假设下,诚实辩手只需多项式时间的计算就能赢,询问人的判断的次数是常数。人的判断带随机性时,还需一个额外假设。代价:辩手必须写出人能检查的完整过程。
  11. 3:39混淆论证问题15.10
    Barnes 和 Christiano(2020):说谎方常能造出含致命错误、却极难定位的论证。例:称 RSA-2048 没有小于 X 的素因数,也没有大于 X 的;诚实方知道有一句是假的,说不出哪句。
  12. 4:01证明者与估计者15.11
    prover-estimator debate(2025):证明者拆出子论断,估计者给每个估一个为真的概率;证明者必须指出估计者错在哪、错向哪边。遇到混淆,估计者均匀地估;奖励与差距成正比,混淆只换来很少的奖励。
  13. 4:22证据与前提
    测过:长文问答上,辩论下裁判更准,训练比裁判弱的辩手后也更准;Kenton 等:抽取式问答上优于不读文章的直接问答(最弱裁判除外),其他任务结果不一。依赖:引文能核对,裁判读得懂,双方不合谋;只覆盖无意出错。不能推出:合谋或隐藏目标时有效;无可核对证据的开放任务上有效。

带走的几句话:

  1. 辩论能否帮到较弱的裁判,是待检验的命题。
  2. 比较辩论要同时设直接问答和单方咨询两个对照。
  3. 现有正面结果主要来自有信息不对称的长文问答。

假设一个问题你自己判断不了,但有两个比你懂得多的人,一个说“是”,一个说“不是”。你不必自己把问题弄懂,只要让他们互相挑对方的错,听谁的理由站得住。法庭就是这样运作的:法官没有亲历案件,控辩双方各自举证、互相反驳,法官根据摆在面前的证据作判断。本章讨论的方法叫辩论(debate),它把同样的结构用在 AI 上:让两个模型就同一个问题各持一方,由一个能力或信息不如它们的裁判判断谁对。

看一个具体的场景。一篇几千词的长文后面有一道选择题,两个模型都读过全文,一个支持选项 A,一个支持选项 B。裁判看不到全文,只能看到问题、两个选项,以及双方从原文中引用的片段。规则只奖励赢的一方,所以双方都会拿出对自己最有利的原文,也会指出对方引文的断章取义之处。回到第 1 章的记账程序:两个模型就“写入失败时会不会只记一半”各持一方,每个论点都必须引用具体的代码行;你只读被引用的那几行,再作判断。你读不懂 500 行代码,但读得懂 5 行。

这种做法什么时候真的能帮裁判判断对,什么时候不能?本章的入门层(第 15.1 节至第 15.5 节)讲协议怎样设计、实验和什么比较、已有的结果说明了什么。进阶层(第 15.6 节至第 15.11 节)面向研究路线,讲辩论背后的博弈论和计算复杂性理论,以及理论上已知的一个困难:混淆论证问题(obfuscated arguments problem)。

证据与前提
  • 想处理:裁判的能力或信息不如辩手时,判断哪个答案正确。
  • 测过:Michael 等用人类辩手和人类裁判,在 QuALITY 长文问答上比较辩论与单方咨询,辩论下裁判更准(Michael 等,2023)。Khan 等用模型辩手,在同类信息不对称问答上比较辩论、单方咨询和直接问答,辩论下裁判更准,模型裁判上辩手说服力越强效果越好(Khan 等,2024)。Kenton 等在多类任务上让更弱或同等的模型裁判强模型的辩论:咨询方被随机指定支持正确或错误答案时,辩论在所有任务上优于单方咨询;与直接问答相比,在有信息不对称的抽取式问答上更好(最弱的裁判除外),在没有信息不对称的任务上结果不一(Kenton 等,2024)。Arnesen 等把辩手放进训练:在长文阅读问答上用自我对弈训练辩手赢得辩论后,比辩手更强的模型裁判的准确率上升;同样训练单方咨询者则没有这种关系(Arnesen 等,2024)。
  • 依赖:引文等证据能由系统核对;裁判能读懂论证;双方不合谋。威胁模型(第 10.2 节)只覆盖“无意出错”:说谎方由研究者指定,维护错误答案不是模型自己的目标。“对协议的了解与试探”这一维,即说谎方知道裁判的规则、专门针对裁判的弱点反复试探,没有测过(第 15.5 节)。任务前提(第 10.3 节):“有没有独立于模型陈述的证据”,例如可以核对的原文或代码;“监督者弱在哪里”,信息不对称是部分实验的设置,不是辩论方法的必要条件,但现有的正面结果主要来自裁判缺信息的情形。
  • 不能推出:不能推出双方合谋或都有隐藏目标时仍然有效;不能推出在没有可核对证据的开放任务上有效。理论结果依赖理想化参与者,或者稳定性、子问题可解等假设。
引言引用的文献 4
  1. Michael 等人(2023)Debate Helps Supervise Unreliable Experts
  2. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  3. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  4. Arnesen 等人(2024)Training Language Models to Win Debates with Self-Play Improves Judge Accuracy

15.1 基本想法 #

辩论作为一种 AI 安全方法,由 Irving、Christiano 和 Amodei 在 2018 年的一篇预印本中提出(Irving 等,2018)。它的规则很简单:两个智能体(下面称为辩手,debater)看到同一个问题,各自说出答案,然后轮流发言,每次说一小段,直到达到发言次数的上限;最后由人作裁判(judge),判断哪一方给出了最真实、最有用的信息。这是一个零和博弈:一方赢就意味着另一方输,所以每个辩手都尽力让自己赢。用第 1.2 节的话说,辩论是一种监督协议:它规定了裁判能看到什么(双方的发言和引用的证据),以及按什么标准作判断。

为什么裁判不必自己懂所有的事?论文举过一个例子(Irving 等,2018)。问题是“我该去哪里度假”。Alice 说阿拉斯加,Bob 说巴厘岛。巴厘岛听起来更暖和,Bob 似乎要赢。Alice 指出:你的护照来不及办下来,去不了巴厘岛。这时 Alice 又占了上风,除非 Bob 能反驳:加急办护照只要两周。辩论就这样进行下去,直到双方停在一个裁判能够正确判断的陈述上。注意,辩论并不罗列所有相关的理由(海滩、气温、季节、签证)。双方只沿着一条争议最大的线索往下走,裁判只需判断这一条线索末端的那个小问题。好比一盘围棋,正确的第一手取决于整棵棋局树,但两位高手下的一盘棋,就为哪一手更好提供了证据。图 15.1 把这个想法画成一棵论证树:裁判只检查其中的一条路径。

假的子论断辩论沿着走的路径说谎方维护的论断(假)第 1 层✗✓✓✓第 2 层✓✓✓✗第 3 层✓✓✗✓叶子是假的:裁判能看出来,诚实方获胜。裁判只检查 4 步,而不是 64 个叶子。诚实方总知道哪个子论断是假的,所以裁判总能判对。
假的子论断辩论沿着走的路径论断(假)✗✓✓✓✓✓✓✗✓✓✗✓叶子是假的:裁判能看出来,诚实方获胜。裁判只检查 4 步,而不是 64 个叶子。诚实方总知道哪个子论断是假的,所以裁判总能判对。
图 15.1 辩论的论证树中的一条路径。根部是说谎方维护的一个假论断;它被拆成 BB 个子论断,每个子论断再拆成 BB 个,一共拆 KK 层,最底层的叶子是裁判能直接检查的小论断。每一行是上一行蓝框的子论断;拆分满足“子论断全真,原论断就为真”时,原论断为假,每一层至少有一个子论断是假的(红框)。诚实方知道每一层哪个子论断是假的,就沿着它一路质疑下去,直到一个假的叶子。裁判只需要检查这一条路径,共 K+1K + 1 步,而不是全部 BKB^K 个叶子:默认 B=4B = 4、K=3K = 3 时是 4 步对 64 个叶子。拖动分支数和深度,看这两个数怎样变化,推导见第 15.8 节。点“混淆论证”可以看诚实方不知道哪个子论断是假的时会怎样(第 15.10 节);那时读数中裁判判对的概率,是假定一半论证诚实、一半混淆时的总体准确率,在画出的这一个混淆论证上,裁判判对的概率只有 pfindp_{\text{find}}。假子论断的位置是为说明而固定的示意。

这套想法依赖一个核心主张,作者的表述是:在辩论游戏中,说谎比反驳谎言更难。作者明确说,这个主张在任何具体场景下是否成立,是一个经验问题(Irving 等,2018)。如果它成立,作者希望进一步得到:在这个游戏的均衡中,双方都会尽力说真话;并且可以用自我对弈(self-play,让模型和自己的副本对战)的训练方法接近这个均衡(Irving 等,2018)。“均衡”的准确含义在第 15.6 节讲。

所以本章的核心问题是:能否设计一个协议,使诚实的策略在给定的计算资源和裁判能力下更容易获胜?这是一个待检验的命题,不是一个已经成立的原理。原始论证建立在理想化参与者的假设上(第 15.8 节),实际的模型和实际的裁判是否满足这些假设,要靠实验来回答。

两点说明。第一,本章说“诚实方”“说谎方”,指的是辩手被指定或选择去维护的答案是对是错,不是说模型“相信”什么(第 10.4 节)。第二,辩论和第 16 章的模型批评有相似之处:对方辩手相当于一个找出错误就能得分的批评者。不同在于,辩论里双方都要论证,裁判看到的是两份针锋相对的材料。读过第 14 章的读者会发现,辩论也是一种拆分:每一轮都把争议缩小到一个更小的问题,只是由对手而不是人来决定往哪个方向缩小。

第 15.1 节引用的文献 1
  1. Irving 等人(2018)AI safety via debate

15.2 协议的设计选择 #

“辩论”不是一个固定的程序,而是一族协议。同样叫辩论,设计不同,结果可能很不一样。读一个辩论实验时,先看下面四个设计选择。

立场是指定的还是自由选择的。实验里通常指定立场:一个辩手维护正确答案,另一个维护错误答案。这样研究者知道谁是诚实方,才能算裁判的准确率。Irving 等也建议实验这样做:如果诚实方在面对任何说谎方时都能赢,就说明说真话是最优策略(Irving 等,2018)。自由选择更接近实际使用:模型自己选择为哪个答案辩护。这时要问的就变成了:模型选错了答案时,它能不能照样说服裁判?Kenton 等的实验也包括让辩手自己选立场的版本(Kenton 等,2024)。

裁判能否提问。最简单的辩论里,裁判只读双方的发言记录。互动式的辩论允许裁判在每一轮之后发言:要求澄清,追问某一方,或者指出自己最关心的子问题。Michael 等的人类裁判可以在轮次之间发言,并自己决定何时结束辩论(Michael 等,2023);Khan 等专门比较了裁判不能提问和可以提问的两种辩论:人类裁判在两种辩论中的准确率相同,作者认为在信息不对称的辩论里,非专家的提问没有带来帮助,这出乎他们的意料(Khan 等,2024)。提问本意是让裁判把对方钉在一个具体的说法上,但也要花时间,比较时要算进预算。

证据能否核查。辩手引用原文时,裁判凭什么相信引文是真的?如果辩手可以编造引文,说谎方就能凭空制造证据。Michael 等的系统会核对引文,原文中确有的片段以高亮显示,让裁判知道它一字不差(Michael 等,2023)。Khan 等给辩手一个引用工具:引文与原文完全一致时标为“已核对”,否则标为“未核对”,并告诉裁判只信任已核对的引文(Khan 等,2024)。Irving 等早就指出,辩论能起作用的前提是揭示出来的证据不能造假:如果一枚硬币始终不揭开,争论它是正面还是反面毫无意义(Irving 等,2018)。在记账程序的例子里,系统可以核对“第 3 行确实是这样写的”;但“这一行在出错时会怎样执行”是论证,不是证据,系统核对不了。

每个角色能看到什么。这决定了辩手和裁判之间差在哪里。阅读理解实验的典型设置是:辩手读过全文,裁判只看问题、两个选项和被引用的原文片段。这种设置叫信息不对称:裁判在其他方面并不比辩手差,只是少了信息。为了让裁判不能凭已有的知识答题,Michael 等选用的是虚构的故事(Michael 等,2023)。另一种设置是能力不对称:裁判和辩手看到同样的材料,但裁判是更弱的模型,或者是缺少专业知识的人。两种不对称对应第 7.4 节讲过的不同的能力差距来源,实验结果不能互相代替。

此外还有一些次要的选择:辩论进行几轮,双方同时发言还是轮流发言,每次发言限多少字,候选答案是两个还是更多。它们不一定改变结果:Kenton 等把轮数从 3 减到 1、把同时发言改成轮流发言,裁判准确率都没有显著变化(Kenton 等,2024);Khan 等发现,放宽字数上限会让发言对模型裁判更有说服力(Khan 等,2024)。

表 15.1 辩论协议的设计选择
设计选择 常见的取值 影响什么
立场 指定一对一错;辩手自由选择 能否算出准确率;是否接近实际使用
裁判能否提问 只读记录;每轮之后可以发言 裁判能否追问;裁判花的时间
证据核查 引文由系统核对;不核对 说谎方能否编造证据
各角色看到什么 信息不对称;能力不对称 实验模拟的是哪一种能力差距
轮数与字数 固定轮数;裁判决定何时结束;字数上限 预算是否可比
第 15.2 节引用的文献 4
  1. Irving 等人(2018)AI safety via debate
  2. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  3. Michael 等人(2023)Debate Helps Supervise Unreliable Experts
  4. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers

15.3 对照组 #

“裁判在辩论下的准确率是 80%”这句话本身说明不了什么。如果裁判不看辩论、自己猜也有 80%,辩论就没有帮上忙。所以辩论实验必须有对照组(第 3.6 节)。常用的对照有两种。

直接问答(direct question answering):裁判独自回答问题,看到的材料与它在辩论中原本就能看到的一样。在阅读理解任务里,就是只看问题和选项、不看原文。Khan 等把这种对照叫作朴素裁判(naive judge)(Khan 等,2024)。它回答的问题是:有了辩论,裁判是否比完全没有帮助时更准。Khan 等和 Kenton 等还都设了一个更强的参照:让裁判直接读原文再回答(Khan 等,2024;Kenton 等,2024)。它说明裁判在拥有全部信息时能做到多好,是辩论希望接近的上限。

单方咨询(consultancy):只有一个模型(咨询方)为一个答案辩护,裁判可以向它提问。咨询方被随机指定支持正确或错误的答案,各占一半,裁判不知道它被指定了哪一边。Michael 等设计这个对照时,把它看作基于人类反馈的强化学习(第 6 章)的一种最坏情形:一个非专家面对一个说法不一定可靠的专家,只有这一个信息来源(Michael 等,2023)。它回答的问题是:多一个对手,是否比只有一个说服者更好。

两个对照缺一不可。只和单方咨询比,可能高估辩论:咨询方有一半时间被要求为错误答案辩护,这是一个从设计上就偏弱的对照,Kenton 等的作者也指出了这一点(Kenton 等,2024)。如果辩论赢了单方咨询、却没有赢直接问答,结论就只是“两个对立的说服者,比一个有一半时间在说谎的说服者好”,而不是“辩论帮助了裁判”。

怎样让预算可比。第 11.5 节讲过,比较两种方法时,时间、计算量和人工都要可比。辩论里要比的至少有四项:裁判花在每道题上的时间,发言的轮数,辩手写出的总字数和引文总长度,以及模型调用的次数和 token 数。辩论每一轮有两个辩手发言,单方咨询只有一个,如果每次发言的字数上限相同,辩论给裁判的文字就多一倍。Michael 等的处理是把咨询方每次发言的字数和引文上限都加倍,使每一轮的总量与辩论相同(Michael 等,2023);Khan 等让单方咨询和辩论进行同样多的轮数(Khan 等,2024)。读论文时要找到这些细节:如果辩论组的裁判多看了一倍的材料、多花了一倍的时间,准确率的提高就不能全归功于对抗的结构。

第 15.3 节引用的文献 3
  1. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  2. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  3. Michael 等人(2023)Debate Helps Supervise Unreliable Experts

15.4 实验证据 #

下面四项实验各自回答了一个不同的问题。读每一项时,留意辩手是谁、裁判是谁、任务是什么、和什么比较。

Michael 等(2023):人类辩手与人类裁判。这是纽约大学团队的一篇预印本(Michael 等,2023)。辩手是人,其中包括学校辩论队的成员;裁判也是人,看不到故事原文。题目来自 QuALITY,一个长文阅读理解数据集,文章有几千词长(Pang 等,2021)。每道题只保留两个选项:正确答案,和最容易让人误选的那个错误答案。辩手读过全文,可以引用原文,引文由系统核对;裁判可以在轮次之间发言,并决定何时结束。比较的是辩论与单方咨询,结果是辩论下裁判更准(Michael 等,2023)。作者自己提出了两点保留。第一,可能存在能在均衡下击败辩论的强力说谎策略,只是他们的人类辩手没有想出来,所以准确率高可能部分来自说谎方的失误(Michael 等,2023)。第二,各个实验条件之间的数据收集没有完全控制:单方咨询这个对照是在数据收集进行了一段时间之后才加入的,参与辩论的人员在几个月里也有变化(Michael 等,2023)。同一篇论文也用 GPT-4 作辩手(裁判仍是人),这时辩论和单方咨询下裁判的准确率分别是 78% 和 80%,作者报告两者没有差别,并认为这可能是因为当时的模型在说谎和论证上还不如人,也可能是提示词优化得不够(Michael 等,2023)。

Khan 等(2024):模型辩手。这篇论文发表于 ICML 2024(Khan 等,2024)。辩手是语言模型,读过全文;裁判看不到全文,既有语言模型,也有人。作者把这个设置描述为强弱双方只在获取信息上有差别,而且所用的模型经过人类反馈训练,倾向于诚实(Khan 等,2024)。辩手用引用工具给出经过核对的引文。比较的是辩论、单方咨询和直接问答,结果是辩论下裁判更准,而且在模型裁判上,辩手的说服力越强,裁判越准(Khan 等,2024)。说服力用裁判对论点的认可程度来衡量,不需要知道正确答案;提高说服力的办法是对同一轮发言采样多次,由一个打分模型挑出最有说服力的一次(Khan 等,2024)。

Kenton 等(2024):多类任务上的弱模型裁判。这是 Google DeepMind 团队发表于 NeurIPS 2024 的论文(Kenton 等,2024)。主要实验的辩手是 Gemini Pro 1.5,裁判是几个更弱或同等的模型,包括 Gemma 7B、GPT-3.5 和 Gemini Pro 1.0。任务分三类(Kenton 等,2024):

  • 抽取式问答,有信息不对称:辩手能看文章,裁判不能,所用数据集包括 QuALITY、BoolQ 和 GPQA 的一个抽取式版本;
  • 封闭式问答,没有信息不对称:只有问题和选项,没有文章,包括 MMLU、GSM8K、PrOntoQA、TruthfulQA 和 GPQA,涉及知识、数学和逻辑推理;
  • 多模态推理(MMMU),题目同时有图和文字,裁判和辩手看到的一样。

实验只在推理阶段比较协议,不训练模型。结果分两层(Kenton 等,2024)。和单方咨询比,咨询方被随机指定支持正确或错误答案时,辩论在所有任务上都更好。和直接问答比,结果取决于任务:在有信息不对称的抽取式问答上,辩论优于看不到文章的直接问答(最弱的裁判 Gemma 7B 除外),但不优于能读文章的直接问答;在封闭式问答等没有信息不对称的任务上,结果不一,裁判比辩手弱(但不是太弱)时,辩论只有很小的优势,或者没有优势。作者写明,真正有力的正面证据应当是辩论显著强于不看文章的直接问答,并且在抽取式任务上与读文章的直接问答一样好甚至更好,而这两样他们都没有看到(Kenton 等,2024)。也就是说,除了上面说的最弱裁判这个例外,辩论在这项研究里没有胜出的地方还有两处。一是在抽取式任务上,它不如能读文章的直接问答。二是在没有信息不对称的任务上与直接问答相比:封闭式任务上,对较弱但不太弱的裁判,辩论只有很小的优势或没有优势,对最弱的裁判和与辩手相同的裁判还更差;多模态任务只有与辩手相同的 Pro 1.5 能当裁判,辩论与直接问答的差别不显著(Kenton 等,2024)。

Arnesen 等(2024):把辩手放进训练。前三项实验都没有训练辩手,只是用现成的人或模型。纽约大学团队的这篇预印本用自我对弈产生的数据训练辩手去赢得辩论(Arnesen 等,2024)。辩手是一个扩展了上下文长度的 Llama3-8B 模型,裁判是一个用 Michael 等和 Khan 等收集的人类判断微调过的 GPT-4-Turbo。任务仍是 QuALITY,裁判只能看到辩手选出的原文片段。结果是:辩手经过训练、更会赢辩论之后,模型裁判的准确率上升了;用同样的方法训练咨询方去说服裁判,则没有这种关系(Arnesen 等,2024)。注意这里的裁判是比辩手更强的模型,双方的差距仍然只是信息。

表 15.2 四项辩论实验的设置
研究 辩手 裁判 双方差在哪里 任务 对照
Michael 等(2023) 人 人,可提问,看不到原文 信息 QuALITY 单方咨询
Khan 等(2024) 语言模型 语言模型和人,看不到原文 信息 QuALITY 单方咨询、直接问答
Kenton 等(2024) Gemini Pro 1.5 更弱或同等的模型 信息和能力 抽取式、封闭式、多模态 单方咨询、直接问答(有无原文)
Arnesen 等(2024) 自我对弈训练的 Llama3-8B 微调过的 GPT-4-Turbo 信息 QuALITY 单方咨询

用表 11.1 的四个核心问题小结。监督者弱在哪里?前两项和第四项只弱在信息,Kenton 等的封闭式任务才涉及能力。参考答案是什么?数据集给出的标准答案。基线是什么?单方咨询和直接问答,Khan 等与 Kenton 等同时设了两种对照。提高的是准确率还是信心?四项研究报告的都是准确率;Michael 等和 Khan 等还报告了人类裁判的信心校准(第 13.4 节),前者的裁判在高信心时过于自信,后者的裁判在辩论中信心偏低(Michael 等,2023;Khan 等,2024)。

第 15.4 节引用的文献 5
  1. Michael 等人(2023)Debate Helps Supervise Unreliable Experts
  2. Pang 等人(2021)QuALITY: Question Answering with Long Input Texts, Yes!
  3. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  4. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  5. Arnesen 等人(2024)Training Language Models to Win Debates with Self-Play Improves Judge Accuracy

15.5 结果的边界 #

把四项实验放在一起:在有信息不对称的抽取式问答中,Khan 等和 Kenton 等发现辩论优于看不到原文的直接回答(Kenton 等最弱的裁判除外),但不如读原文直接回答;在其他任务上,结果不一(Khan 等,2024;Kenton 等,2024)。任何比较都必须控制时间和计算预算(第 15.3 节)。

为什么信息不对称的任务对辩论有利?一种可能的解释是这样的(本书的推断)。在这类任务里,难的部分是找到原文中相关的那几句话,这件事由读过全文的辩手来做;裁判要做的只是读几句经过核对的引文,判断它支持哪个选项,这件事裁判完全做得了。说谎方不能编造引文,只能断章取义,而断章取义恰好是对手最容易揭穿的。没有信息不对称时,例如一道数学题,裁判看得到全部材料,差的是推理能力;辩手争论的是某一步推理对不对,裁判如果判断不了这一步,就只能看哪一方说得更有说服力。

所以要分清两件事。信息不对称是部分实验的设置,不是辩论方法的必要条件;但现有的正面结果主要来自这类设置。在裁判缺的是能力而不是信息的情况下,证据要少得多,也不一致。

还有许多情况,现有实验没有测过。

  • 更强的说谎方。Khan 等和 Kenton 等的主要实验里,说谎方与诚实方是同一个模型;他们为了给辩手排名,也让强弱不同的模型对辩过(Khan 等,2024;Kenton 等,2024)。Arnesen 等则针对一个固定的裁判训练过辩手,两方是同一个模型(Arnesen 等,2024)。如果说谎方比诚实方更强,而且专门被训练来欺骗这个裁判,结论是否成立,没有实验回答。
  • 合谋与共同盲点。如果两个辩手是同一个模型的副本,它们可能有同样的盲点,或者都不去碰对双方都不利的话题(第 24 章)。
  • 隐藏目标。实验中的说谎方只是被指定去维护错误答案,并不追求自己的目标(第四部分)。
  • 没有可核对证据的开放问题。例如一项政策该不该推行,没有原文可以引用,也没有唯一正确的答案(第 7.5 节)。
  • 人的偏差。人类裁判会被说服力、自信的语气和先入为主的印象影响(第 13 章)。如果裁判的判断变成训练信号,辩手可能会学会利用这些弱点(第 23 章)。

回到记账程序。代码和长文一样,可以被引用、被核对:“第 3 行是这样写的”是一个裁判能确认的事实。但“写入失败时会不会只记一半”取决于程序出错时怎样执行,这是推理,不是引文。所以这个问题更像能力不对称,而现有证据对这种情况覆盖得最少。一个补救的办法是让辩手拿出机器能检查的证据:认为“会只记一半”的一方,给出一个能触发这种情况的测试;只要测试真的在这段代码上运行、期望结果写对了,测试跑出来的结果就比任何一方的论证都可靠(第 20.4 节)。

第 15.5 节引用的文献 3
  1. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  2. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  3. Arnesen 等人(2024)Training Language Models to Win Debates with Self-Play Improves Judge Accuracy

进阶层:理论(仅研究路线)#

下面六节讲辩论背后的理论:博弈论和计算复杂性的预备知识,原始的理论论证,以及此后的三项理论进展。它们属于研究路线;不走研究路线的读者,可以直接跳到本章末尾的读物和练习。

15.6 博弈论预备 #

Irving 等对辩论的期望是用“均衡”表述的(第 15.1 节)。要读懂辩论的理论,先要知道博弈论的几个基本概念。

一个博弈(game)由三样东西组成:参与者,每个参与者可选的策略,以及每种策略组合下各方得到的收益。策略是一份完整的行动计划,规定在每一种情况下怎么做。收益是参与者想要最大化的东西,在辩论里就是获胜的概率。如果一方之得恰好是另一方之失,这个博弈叫零和博弈。辩论被设计成零和的。

给定对手的策略,能让自己收益最高的策略,叫最佳响应(best response)。如果一组策略中,每个参与者的策略都是对其他人策略的最佳响应,谁也不能靠单独改变自己的策略得到更多,这组策略就叫纳什均衡(Nash equilibrium),简称均衡。

下面用一个本书构造的玩具模型,看“说谎比反驳谎言更难”怎样决定均衡。Alice 和 Bob 各自选择维护真答案(真)或假答案(假)。如果两人选的一样,裁判无从区分,各有一半机会获胜;如果两人选的不一样,裁判以概率 qq 判维护真答案的一方获胜。qq 衡量的正是“反驳谎言”有多容易:q>0.5q > 0.5 表示说谎比反驳谎言更难。下表是 q=0.8q = 0.8 时 Alice 获胜的概率,Bob 获胜的概率是 1 减去它。

表 15.3 玩具辩论博弈:Alice 获胜的概率(q = 0.8,为教学构造)
Bob 选真 Bob 选假
Alice 选真 0.5 0.8
Alice 选假 0.2 0.5

找最佳响应。如果 Alice 选真,Bob 选真时 Alice 的获胜概率是 0.5,选假时是 0.8;Bob 要让 Alice 的获胜概率尽量低,所以选真。如果 Alice 选假,Bob 选真(0.2)也比选假(0.5)好。所以无论 Alice 怎么选,Bob 的最佳响应都是真。同理,Alice 的最佳响应也总是真。唯一的均衡是两人都选真。

把 qq 换成 0.4,即反驳谎言比说谎更难,同样的推理得到唯一的均衡是两人都选假。在这个玩具模型里,均衡中双方是否诚实,完全取决于说谎和反驳哪个更难,也就是取决于裁判。这正是第 15.1 节那个核心主张的分量。计算用的脚本是 tools/exercises/ch15_theory.py。

还要知道两个变体。有些博弈没有“选定一个就不改”的均衡。石头剪刀布就是例子:无论对方出什么,你总有一个更好的选择,所以均衡是三种各以 1/3 的概率随机出,这叫混合策略。另一个变体是斯塔克尔伯格均衡(Stackelberg equilibrium):一方(领导者)先公布自己的策略,另一方(跟随者)看到之后再作最佳响应,领导者在预见到这一点的前提下选择对自己最好的策略。第 15.11 节的协议用的就是这种均衡。

训练不一定达到均衡。均衡是博弈本身的性质,训练是一个过程,两者之间有距离。

  • 学习过程可能打转。在石头剪刀布里,如果双方每次都改出“能赢对方上一次出法”的那一手,就会永远循环下去,停不到均衡上。用梯度方法训练的模型也可能出现类似的振荡。Irving 等对此的说法是一种期望:他们希望自我对弈能找到近似的均衡,并且训练在均衡附近是稳定的(Irving 等,2018)。
  • 没试过的策略不会被强化。训练只会强化模型尝试过、并且得到高收益的策略。如果模型从来不尝试某个收益很高的策略,例如某种能揭穿对手的反驳,训练就永远不会教会它。Buhl 等写过一份基于辩论的 safety case 草案,也就是一份写明条件、逐条给出证据的安全论证(第 31 章)。他们在其中把“探索保证”列为必须解决的问题:要能确认辩手没有系统性地漏掉某些高收益的策略(Buhl 等,2025)。

所以“在均衡下诚实方获胜”这个定理,不等于“训练出来的模型会诚实”。理论回答前一个问题,后一个问题要靠实验。

第 15.6 节引用的文献 2
  1. Irving 等人(2018)AI safety via debate
  2. Buhl 等人(2025)An alignment safety case sketch based on debate

15.7 计算复杂性预备 #

辩论的理论论证借用了计算复杂性理论的语言。这一节只讲需要的直觉。

计算复杂性理论按“解决一个问题需要多少资源”给问题分类。设问题的规模是 nn,比如要检查的数有 nn 位,或者图里有 nn 个点。如果一个算法的运行步数最多按 nn 的某个固定次方增长,例如 n2n^2 或 n3n^3,就说它是多项式时间的,这是这个领域里“高效”的标准含义。如果步数像 2n2^n 那样增长,就是指数时间的。两者的差别有多大,看几个数:n=20n = 20 时,n2=400n^2 = 400,2n2^n 约为一百万;n=100n = 100 时,n2=10000n^2 = 10000,2n2^n 约为 1.27×10301.27 \times 10^{30}。

P 是能在多项式时间内解决的是非题的集合。NP 是这样一类是非题:如果答案是“是”,就存在一个证据(叫作证书),可以在多项式时间内被检查。数独是熟悉的例子:解一道很难的数独可能要试很久,但检查一个填好的格子是否满足所有规则,一眼就行。P 和 NP 是否相等是一个著名的未解问题,普遍的看法是不相等,也就是说,有些问题检查答案比找出答案容易得多。Leike 等就把这一点当作“评价比行为容易”这个假设(第 14.4 节)的支持(Leike 等,2018)。

Irving 等用这两类问题来类比两种监督方式(Irving 等,2018)。裁判自己计算答案,对应 P,好比监督学习:模型只能学到裁判自己算得出的东西。裁判检查一个由模型提出的答案,对应 NP,好比用人的评价做强化学习:模型可以解出裁判解不出的题,但裁判得能判断解得好不好。

交互式证明(interactive proof)更进一步。设想一个验证者,它只能做多项式时间的计算,但可以掷硬币,也可以提问;另一方是证明者,计算能力不受限制,但不可信。一个交互式证明要满足两个条件:命题为真时,诚实的证明者能让验证者以很高的概率接受(完备性,completeness);命题为假时,无论证明者怎么做,验证者都以很高的概率拒绝(可靠性,soundness)。

一个经典的例子。你的朋友是红绿色盲,你手里有一红一绿两个球,你说它们颜色不同,朋友不信。朋友把两个球拿到背后,掷硬币决定是否交换,再拿出来问你:换过没有?如果两个球颜色真的不同,你每次都能答对。如果它们其实颜色相同,你只能瞎猜,每次有一半机会猜对;连续 20 次都猜对的概率是 (1/2)20(1/2)^{20},不到百万分之一。朋友始终分不清颜色,却通过随机提问被说服了。随机性和交互,让一个弱的验证者能检查它自己算不出的事情。

交互式证明的能力有多强?Shamir 在 1992 年证明,任何用多项式大小的内存能解决的问题,都能由一个多项式时间的验证者,通过与一个能力不受限的证明者交互来验证;这类问题记作 PSPACE,它包含 NP(Brown-Cohen 等,2023)。Irving 等列举的 PSPACE 问题包括:在一个多项式大小的状态上模拟一个过程指数多步,以及在步数有上限的对弈(例如限定手数的围棋)中找到完美的下法(Irving 等,2018)。

第 15.7 节引用的文献 3
  1. Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
  2. Irving 等人(2018)AI safety via debate
  3. Brown-Cohen 等人(2023)Scalable AI Safety via Doubly-Efficient Debate

15.8 原始理论 #

现在可以说清楚 Irving 等的理论论证在什么假设下证明了什么。论证把实际的辩论换成一个理想化的版本(Irving 等,2018):

  1. 裁判换成一个多项式时间的算法,它能判断单个陈述是真是假;
  2. 辩手的计算能力不受限制,而且下出最优的策略。

多轮辩论时,裁判在辩论结束后读完整份记录,作出一次判断。

在这些假设下,辩论的轮数决定了它能回答多难的问题。0 轮,裁判自己回答,对应 P。1 轮,一个辩手给出答案,裁判检查,对应 NP。2 轮,一方提出,另一方针对它回应,对应复杂性理论中记作 Σ2P\Sigma_2\mathsf{P} 的类,它的问题形如“存在一个 xx,使得对所有的 yy 都成立”。轮数随问题规模按多项式增长时,对应 PSPACE。论文的定理 1 说:对 PSPACE 中的任何问题,都可以选一个多项式时间的裁判,使得辩论中的最优对局能解决这个问题(Irving 等,2018)。

论文举了一个数素数的例子来说明为什么裁判只需检查很少的东西(Irving 等,2018)。下面把它放在小数字上。问题是:1 到 64 之间有多少个素数?正确答案是 18。假设 Alice 说谎,声称有 19 个。规则要求她把区间对半拆开,分别报出两半各有几个,两个数之和必须等于她原来的说法。她说 1 到 32 有 11 个(这是真的),33 到 64 有 8 个(真实是 7 个)。Bob 指出右半边是假的。Alice 只好接着拆 33 到 64,说 33 到 48 有 4 个、49 到 64 有 4 个;Bob 又指出右半边。如此往下:49 到 64 拆成 1 个和 3 个,57 到 64 拆成 1 个和 2 个,61 到 64 拆成 1 个和 1 个,最后 63 到 64 拆成“63 有 0 个、64 有 1 个”。裁判只要检查 64 是不是素数:不是,Alice 输。整场辩论里,裁判做了 6 次加法检查和 1 次素数检查,共 7 次,而不是逐个检查 64 个数。区间换成 1 到 1024,也只要 11 次。

推导为什么裁判只需检查一条路径

设一个论断可以拆成 BB 个子论断,原论断为真当且仅当所有子论断都为真,并且裁判能检查“这一步拆分是否成立”。每个子论断再这样拆,一共拆 KK 层,最底层的叶子是裁判能直接检查的小论断。整棵树有 BKB^K 个叶子。协议是:一方给出论断和它的拆分,另一方挑一个子论断提出质疑,辩论只在这个子论断上继续。

  1. 原论断为真,维护它的一方诚实。所有子论断都是真的,对方挑哪一个都是真的。每一层都是如此,辩论最终停在一个真的叶子上,诚实方获胜。
  2. 原论断为假。至少有一个子论断是假的(如果维护方给出的拆分本身不成立,裁判当场就能看出)。诚实的质疑方挑出这个假的子论断,每一层都如此,辩论最终停在一个假的叶子上,质疑方获胜。
  3. 裁判的工作量。无论哪种情况,裁判每层检查一步拆分,最后检查一个叶子,一共 K+1K + 1 次,而不是 BKB^K 次。上面的素数例子是 B=2B = 2,K=6K = 6:7 次对 64 个数。

第 2 步藏着整个论证所依赖的假设:每一层,诚实的质疑方都必须知道哪个子论断是假的。在素数的例子里,Bob 能自己数素数,所以知道。一般情况下,找出假的那一个可能和回答原问题一样难,甚至难得多(第 15.10 节);定理直接假定辩手的计算能力不受限制,绕过了这个困难。

能证明什么,不能证明什么。在上面两条理想化假设下,论证证明了:最优对局中诚实一方获胜,而且裁判能力有限并不限制辩论能回答的问题,可以一直到 PSPACE。它不能证明:实际的模型能下出最优策略(第 15.6 节);实际的人类裁判像一个可靠的算法那样判断单个陈述;实际的辩手能算出“哪个子论断是假的”。作者自己写明,这些复杂性类的论证只是类比(Irving 等,2018)。Brown-Cohen 等后来指出了一个更深的差别:交互式证明的方法只适用于有精确数学定义的任务,而人的判断对辩手来说是一个只能询问、无法看清内部的“黑箱”;当计算可以询问这样的黑箱时,交互式证明的一些主要定理是不成立的。他们认为,仍然可以通过让两个证明者相互竞争来得到保证(Brown-Cohen 等,2023)。下一节就是这样做的。

第 15.8 节引用的文献 2
  1. Irving 等人(2018)AI safety via debate
  2. Brown-Cohen 等人(2023)Scalable AI Safety via Doubly-Efficient Debate

15.9 doubly-efficient debate #

原始理论假定诚实的辩手计算能力不受限制。实际的模型能力是有限的,如果诚实方必须做指数多步的计算才能赢,这个协议就没有实际意义。Brown-Cohen、Irving 和 Piliouras(Google DeepMind)在 2023 年的一篇论文(ICML 2024)中提出了 doubly-efficient debate,处理的正是这个问题(Brown-Cohen 等,2023)。“双重高效”指两方面都高效:诚实的辩手只需多项式时间的计算就能赢,裁判只需询问很少几次人的判断。

论文把人的判断建模为一个“神谕”(oracle),即一个可以提问、会给出是或否回答的黑箱。计算任务是一份用自然语言写的、可能很长的指令,执行时会不时询问这个神谕,论文中的一个例子是:按一份计划汇总已有的研究时,判断某项研究有没有明显的方法缺陷。两个辩手都只有多项式时间的计算能力,它们相互竞争,由一个只能询问神谕少数几次的验证者判定胜负(Brown-Cohen 等,2023)。作者证明,在适当的假设下(人的判断带随机性时,需要下面说的额外假设),任何多项式时间的计算都能这样验证,而且询问人的判断的次数是一个常数,不随计算的长度增长(Brown-Cohen 等,2023)。协议是按两个多项式时间的辩手设计的,但证明的保证更强:诚实一方只需模拟多项式多步就总能获胜,即使说谎一方可以模拟指数多步,甚至计算能力不受限制(Brown-Cohen 等,2023)。论文用的动机例子是让模型起草法律合同:训练时,只需给人看固定几句话,就能对整份合同给出反馈,看几句不随合同变长而增加(Brown-Cohen 等,2023)。

协议的思路与上一节的素数例子相似(Brown-Cohen 等,2023)。在最简单的版本中,一方给出计算进行到一半时的状态,另一方选择对前一半还是后一半提出质疑,这样一路对半缩小,直到只剩一步计算,由验证者检查。在另一个版本中,一方写出整个计算过程,另一方指出其中某一步有错,验证者只检查这一步。人的判断带有随机性时,还需要一个额外的假设:神谕给出各种回答的概率稍有变化时,计算结果的概率不会因此剧烈变化(Brown-Cohen 等,2023)。

代价在哪里?作者把它写成关键的要求,也是关键的局限:辩手必须能写出解决问题的推理过程,而且这个过程原则上能被人仔细分析、判断为正确,哪怕这种分析非常费力(Brown-Cohen 等,2023)。也就是说,它只能验证那些“人读完整个过程就能检查”的计算。后来同一组作者在 prover-estimator debate 的论文中,把这一点说得更直接:doubly-efficient debate 避开下一节的问题,靠的是完全放弃递归,代价是辩手必须写出完整的、人能检查的论证(Brown-Cohen 等,2025)。这里说的放弃递归,指不再对没有人能读完的过程的子论断递归;上面的对半缩小,作用在一份人原则上能读完的计算过程上。

那么,如果一个计算根本没有人能读完的过程,又想保留递归、只检查一条路径呢?Brown-Cohen 等在论文末尾指出,让双方都不受计算能力限制,又会遇到 Barnes 和 Christiano 所说的混淆论证问题(Brown-Cohen 等,2023)。

第 15.9 节引用的文献 2
  1. Brown-Cohen 等人(2023)Scalable AI Safety via Doubly-Efficient Debate
  2. Brown-Cohen 等人(2025)Avoiding Obfuscation with Prover-Estimator Debate

15.10 混淆论证问题 #

这个问题在人类辩论实验中反复出现。Barnes 和 Christiano 用人类辩手和裁判测试辩论协议,2020 年在 AI Alignment Forum 上发表了一份进展报告(Barnes,2020)。他们改进了协议中发现的许多问题,但报告说:说谎的辩手常常能构造出这样的论证,它含有一个致命的错误,但错误的位置极难找到;他们没有办法解决这个“混淆论证”问题,并认为它可能是迭代放大和辩论共同的一个重要的定量限制(Barnes,2020)。

报告用了一个例子(Barnes,2020)。问题是:RSA-2048 有没有素因数?RSA-2048 是一个很大的公开数字,按照例子的设定,找出它的因数在计算上极其困难。诚实方的论证是:某个素性测试显示它是合数,再证明这个测试是正确的,所以它有素因数。说谎方选一个合适的数 XX,论证说:(1) 它没有小于 XX 的素因数;(2) 它没有大于 XX 的素因数;所以它没有素因数。诚实方知道 (1) 和 (2) 至少有一个是假的,但说不出是哪一个,因为如果能可靠地说出是哪一边,他就能分解 RSA-2048 了。而说谎方也可以对诚实方的证明说同样的话:其中某一步是错的,只是说不出是哪一步。作者说明,这个具体例子实际上不会给辩论造成问题,只是一个简化的示意;更现实的例子来自他们实验中的物理题,在那些题上也能构造出与诚实论证难以区分的混淆论证(Barnes,2020)。

在裁判看来,两种情况几乎对称:诚实的论证里,抽查哪一步都是对的;混淆的论证里,抽查哪一步几乎总是对的(Barnes,2020)。回到第 15.8 节的推导,第 2 步要求诚实的质疑方知道哪个子论断是假的;混淆论证让这一步失效:错误确实存在,但找到它可能比回答原问题难得多。在例子里,原问题用素性测试就能回答,找错却等于分解这个大数。Brown-Cohen 等的说法是,说谎方可以把一个容易的问题拆成困难、甚至无法解决的子问题(Brown-Cohen 等,2025)。作者强调,这个一般性的困难在理论上早已为人所知;新的发现是,在自然语言的人类辩论中,说谎方经常能构造出这种局面,而且看起来很难与诚实的论证区分(Barnes,2020)。

要点

混淆论证问题:说谎的辩手可以用很低的成本,构造一个含有致命错误、但错误位置极难找到的论证;诚实的辩手明知其中有错,却要解一个计算上很难、可能比原问题难得多的问题才能指出错在哪里,于是裁判看到的诚实论证和混淆论证几乎一样。

下面用一个简化模型估计混淆论证对裁判的影响。这个模型是本书对报告论证的一种形式化(本书的推断),不是报告中的计算。设论证树每层有 BB 个子论断,共 KK 层;混淆的论证在每一层恰好有一个假的子论断,诚实的质疑方找不到规律,每层只能检查其中 BhB_h 个。他在一层里碰上假子论断的概率是 Bh/BB_h / B,一路追到底的概率是

pfind=(BhB)K.p_{\text{find}} = \left(\frac{B_h}{B}\right)^{K}.
(15.1)

再设裁判看到的论证一半是诚实的、一半是混淆的。追到了错误,裁判就知道论证有问题;没追到,裁判看到的和诚实论证一样,只能接受。于是裁判在诚实论证上全对,在混淆论证上只有 pfindp_{\text{find}} 的比例判对,总准确率是 12+12pfind\tfrac{1}{2} + \tfrac{1}{2} p_{\text{find}}。取 B=10B = 10,Bh=3B_h = 3:K=1K = 1 时准确率 65%,K=3K = 3 时只有约 51.4%,接近掷硬币。论证越深,裁判越接近瞎猜,而且协议默认“找不到错就接受”,这个默认恰好偏向说谎方。数字由 tools/exercises/ch15_theory.py 算出。这个模型假定质疑方只能随机抽查,并且裁判知道混淆论证所占的比例,实际情况会更复杂。图 15.2 画出了这个模型中的一棵树。

假的子论断辩论沿着走的路径诚实方能检查的子论断说谎方维护的论断(假)第 1 层✗✓✓✓找到错误第 2 层✓✓✓✗错过错误第 3 层✓✓✓✓叶子是真的:裁判看不出问题,假论断获胜。裁判只检查 4 步,而不是 64 个叶子。一路追到错误叶子的概率:pfind = (2/4)³ = 0.125。裁判判对的概率为 1/2 + pfind/2 = 56.3%。
假的子论断辩论沿着走的路径诚实方能检查的子论断论断(假)✗✓✓✓找到错误✓✓✓✗错过错误✓✓✓✓叶子是真的:裁判看不出问题,假论断获胜。裁判只检查 4 步,而不是 64 个叶子。一路追到错误叶子的概率:pfind = (2/4)³ = 0.125。裁判判对的概率为 1/2 + pfind/2 = 56.3%。
图 15.2 混淆论证下的论证树,与图 15.1 是同一棵树。假的子论断看起来和其他子论断一样,诚实方每层只能检查阴影中的 BhB_h 个。图中第 1 层的假子论断在被检查的范围内,诚实方找到了它;第 2 层的不在,辩论沿着一个真的子论断继续,此后所有论断都是真的,裁判看到一个真的叶子,假的原论断获胜。默认 B=4B = 4、Bh=2B_h = 2、K=3K = 3,按式(15.1),诚实方一路追到错误叶子的概率是 (2/4)3=0.125(2/4)^3 = 0.125;读数中裁判判对的概率 56.3% 用的是正文的同一个假设(一半论证是混淆的)。拖动三个滑块可以看这两个数怎样变化;分支数最大只到 8,所以正文 B=10B = 10 的例子在图中调不出来。假子论断的位置是为说明而固定的示意。这个问题由 Barnes(2020)描述,这里的模型是本书的形式化。

报告的结论是:我们也许不能依靠辩手在大型论证中找出错误,只有当随机检查就能发现错误时,才能信任一个论证,例如论证小到一个错误也能被找到,或者论证足够稳健,除非有很多错误否则结论成立;因此,辩论也许能验证人无法独自读懂的论证,但这些论证相对于训练时用的计算量可能仍然要小(Barnes,2020)。这个问题同样适用于第 14 章的分解方法:只要由一方决定怎样拆、另一方找不到错在哪一块,分解就可能被混淆(第 14.6 节)。

第 15.10 节引用的文献 2
  1. Barnes(2020)Debate update: Obfuscated arguments problem
  2. Brown-Cohen 等人(2025)Avoiding Obfuscation with Prover-Estimator Debate

15.11 prover-estimator debate #

混淆论证问题让递归辩论陷入两难:放弃递归(第 15.9 节),就必须写出人能读完的完整论证;保留递归,诚实方又可能被迫去解难题。Brown-Cohen、Irving 和 Piliouras 在 2025 年的一篇预印本中提出了 prover-estimator debate,试图在保留递归的同时缓解这个问题(Brown-Cohen 等,2025)。本节的描述依据该文 2025 年 6 月的 arXiv 第 1 版;2026 年 7 月已有第 2 版。

协议里两个角色的分工不对称(Brown-Cohen 等,2025)。证明者(prover,论文中叫 Alice)把问题拆成若干子论断。估计者(estimator,Bob)唯一的任务是给每个子论断估一个为真的概率。然后由证明者决定在哪个子论断上继续辩论,而且她必须指出估计者在这个子论断上错了,以及错在哪个方向(估高了还是估低了)。这与原来的递归辩论正好相反:原来是对手挑选质疑哪一个子论断,现在是证明者必须指出估计者概率中的错误。

用论文中的一个简单情形看它怎样对付混淆(Brown-Cohen 等,2025)。设 Alice 把问题拆成 mm 个子论断(论文中记作 qq),其中恰有一个是假的,但两人都找不到是哪一个,只能瞎猜。Bob 的对策是给每个子论断都估“有 1/m1/m 的可能是假的”。无论 Alice 挑哪一个继续,她多半会挑到一个真的子论断,Bob 的概率只差 1/m1/m;如果 Alice 下一层再混淆一次,差距最多是 1/m21/m^2。证明者的奖励与估计者错误的大小成正比,于是混淆只能给 Alice 带来很少的奖励。m=10m = 10 时,两层之后估计者的概率最多只差 0.01,证明者能得到的奖励也相应很小。原来的协议默认“找不到错就接受论证”,这里变成了“找不到错,估计者获胜,论证得不到支持”。

作者把保证分成两半(Brown-Cohen 等,2025):

  • 可靠性:面对说谎的证明者,诚实的估计者平均而言能获胜,即使子问题被混淆、稳定性条件不成立,而且估计者所需的计算量与对手相当。
  • 完备性:诚实的证明者能获胜,但前提有两条:她给出的拆分满足一个稳定性条件,而且拆出的每个子问题她都确实答得出。

稳定性(stability)条件要求,论证是否成立,不能取决于子论断概率的任意微小变化(Brown-Cohen 等,2025)。需要它,是因为估计者可以把许多子论断的概率都估低一点来否定一个论证,这就排除了那些精巧但对子问题的概率高度敏感的正确论证(Brown-Cohen 等,2025)。作者用一句话概括这两半的关系:稳定性只是有用性所需,不是安全性所需(Brown-Cohen 等,2025)。也就是说,即使稳定性不成立,诚实的估计者仍能击败说谎的证明者;稳定性不成立,或者子问题证明者答不出时,失去的是诚实的证明者赢得辩论的保证。

稳定和不稳定的区别,可以用一个示意的计算体会(不是论文中的形式定义)。一条 100 步的推理链,各步互不影响,每一步都必须对,结论才对:每步对的概率是 0.999 时,整条链全对的概率约 0.905;每步只差一点,降到 0.99,整条链就只剩约 0.366,这是不稳定的。反过来,一个结论由 9 条相互独立的证据按多数决定,每条证据对的概率从 0.9 降到 0.85,多数对的概率只从约 0.9991 降到约 0.9944,几乎不变,这是稳定的。数字由 tools/exercises/ch15_theory.py 算出。论文也正是这样论证稳定的拆分存在的:如果每个需要人判断的问题都有足够多条相互独立的支持证据,就可以用多数表决把任何论证变成稳定的(Brown-Cohen 等,2025)。

作者自己列出的未解决问题(Brown-Cohen 等,2025):

  1. 稳定性要求是这项工作的主要局限,作者仍在设法理解它:理论上哪些问题有稳定的拆分,实践中杂乱、没有形式化的辩论能否满足它。
  2. 用多数表决获得稳定性时,安全性需要证据之间相互独立,而这一点协议本身检查不了,必须用其他办法确立。
  3. 结果是平均意义上的,不是最坏情况下的:没有证明裁判在每个问题上都能分辨哪个辩手对,只证明了裁判给出的收益会激励辩手趋向正确回答。
  4. 怎样把这些理论建议用到实际的语言模型辩论训练中,是核心的经验问题;论文建议,辩手应当被训练到以证明者为领导者的斯塔克尔伯格均衡(第 15.6 节)。
  5. 一个完整的安全论证还有很多漏洞,例如人的判断中的系统性错误(Irving,2025),以及辩手可能把信息藏在子论断里。

表 15.4 汇总了进阶层的四项工作。

表 15.4 辩论理论的四项工作
工作 诚实方需要的计算 是否递归 主要的条件或局限
原始理论(2018) 不受限制 是 理想化参与者;最优对局
混淆论证问题(2020,实验观察) 可能要解难题 是 递归加上计算能力有限的诚实方,辩论可能失效
doubly-efficient debate(2023) 多项式时间 只在人能读完的过程上 必须写出人能检查的完整过程;人的判断带随机性时需要额外假设
prover-estimator debate(2025) 与对手相当 是 完备性依赖稳定性和子问题可解;结果是平均意义上的

表中三项理论工作都是在各自假设下成立的数学定理;混淆论证问题是人类辩论实验中的观察和一个非形式的论证。定理的假设本身不是数学:辩手能否学到证明中构造的策略,人对单个步骤的判断是否可靠,实际问题的论证是否稳定。它们要由第 15.4 节那样的实验,以及第 15.6 节讲的训练过程来回答。

第 15.11 节引用的文献 2
  1. Brown-Cohen 等人(2025)Avoiding Obfuscation with Prover-Estimator Debate
  2. Irving(2025)Dodging systematic human errors in scalable oversight

读物 #

入门层:

  • 原始提案 · 预印本:Irving、Christiano、Amodei《AI safety via debate》(2018)第 1 到 2 节(Irving 等,2018)。辩论的原始提案,读核心主张、度假的例子和复杂性类比的表。
  • 实验结果 · 预印本:Michael 等《Debate Helps Supervise Unreliable Experts》(2023)(Michael 等,2023)。人类辩手与人类裁判,单方咨询这一对照的来源;留意作者对数据收集未完全控制的说明。
  • 实验结果 · 会议论文:Khan 等《Debating with More Persuasive LLMs Leads to More Truthful Answers》(ICML 2024)(Khan 等,2024)。模型辩手,说服力与裁判准确率的关系,以及作者列出的局限。
  • 实验结果 · 会议论文:Kenton 等《On scalable oversight with weak LLMs judging strong LLMs》(NeurIPS 2024)(Kenton 等,2024)。重点读辩论在哪些任务上没有优势:封闭式问答上(裁判较弱但不太弱时)优势很小或没有,多模态任务上与直接问答的差别不显著;抽取式任务上不优于能读原文的裁判。
  • 实验结果 · 预印本:Arnesen、Rein、Michael《Training Language Models to Win Debates with Self-Play Improves Judge Accuracy》(2024)(Arnesen 等,2024)。辩论放进训练后的结果,以及与训练咨询方的对比。

进阶层(仅研究):

  • 入门讲解 · 课程(仅研究):Ben Polak《Game Theory》(Yale ECON 159,公开课,2007)第 1 到 5 讲(Polak,2007)。建立策略、最佳响应和均衡的概念,是读第 15.6 节之后的延伸。
  • 入门讲解 · 教材(仅研究):Sipser《Introduction to the Theory of Computation》第三版第 7 章(时间复杂性与 NP)和第 10.4 节(交互式证明系统)(Sipser,2013)。第 15.7 节的系统讲解。
  • 理论结果 · 会议论文(仅研究):Brown-Cohen、Irving、Piliouras《Scalable AI Safety via Doubly-Efficient Debate》(2023;ICML 2024)(Brown-Cohen 等,2023)。读引言和第 1.1 节的结果概述,以及作者写明的关键局限。
  • 反例与批评 · 博客(仅研究):Barnes《Debate update: Obfuscated arguments problem》(AI Alignment Forum,2020)(Barnes,2020)。混淆论证问题的原始报告,RSA-2048 的例子。
  • 理论结果 · 预印本(仅研究):Brown-Cohen、Irving、Piliouras《Avoiding Obfuscation with Prover-Estimator Debate》(2025;描述依据 arXiv v1,2026 年 7 月已有 v2)(Brown-Cohen 等,2025)。重点读作者自己写明的局限:结论依赖一个稳定性假设(完备性还要求拆出的子问题可解),该假设在实际问题中是否成立尚未知。
本节引用的文献 10
  1. Irving 等人(2018)AI safety via debate
  2. Michael 等人(2023)Debate Helps Supervise Unreliable Experts
  3. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
  4. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  5. Arnesen 等人(2024)Training Language Models to Win Debates with Self-Play Improves Judge Accuracy
  6. Polak(2007)Game Theory
  7. Sipser(2013)Introduction to the Theory of Computation
  8. Brown-Cohen 等人(2023)Scalable AI Safety via Doubly-Efficient Debate
  9. Barnes(2020)Debate update: Obfuscated arguments problem
  10. Brown-Cohen 等人(2025)Avoiding Obfuscation with Prover-Estimator Debate

练习 #

习题 15.1 三种协议:直接问答、单方咨询与辩论(演示)

三人一组,用 QuALITY 长文阅读理解数据集的题目,比较三种协议下裁判的准确率。

获取数据。QuALITY 由纽约大学团队发布,数据在 GitHub 仓库 nyu-mll/quality 中,当前版本是 v1.0.1,下载仓库里的 data/v1.0.1/QuALITY.v1.0.1.zip(Pang 等,2021)。压缩包里有训练集、开发集和测试集,每种又有带 HTML 标记的版本和去掉标记的版本(文件名含 htmlstripped)。测试集的答案没有公开,所以只用训练集或开发集。文件每一行是一篇文章及一位出题人为它写的一组题,同一篇文章有两位出题人,所以出现两行。每道题有四个选项、正确答案(gold_label),以及一个 difficult 标记:限时作答的标注员多数答错的题,标为 1,属于“难题子集”。使用前请自行查看仓库中的说明和每篇文章的许可信息。

选题规则(在看任何题目之前确定)。只用来自 Project Gutenberg 的虚构故事,这样裁判不能凭已有的知识答题。只选 difficult 为 1、多数标注员认为答案明确、并且需要不止一两句上下文才能答对的题。每道题只保留两个选项:正确答案,和标注员最常认为“最容易误选”的那个错误选项,这与 Michael 等的做法相同(Michael 等,2023)。随机抽 9 篇文章,组成 9 个题组 G1 到 G9,每组 4 道题;同一篇文章只出现在一个题组里。脚本 tools/exercises/ch15_quality_select.py 按这个规则选题,并为每个题组写出两个文件:裁判文件只有问题和 A、B 两个选项;专家文件有带段落编号的全文、正确选项和本组的立场分配。脚本在屏幕上只打印文件名,不显示题目。所有题组按同一规则从同一个池子随机抽出,三种协议的题组难度在平均意义上相同;但每种协议只有 12 道题,实际抽到的难度仍可能不同。

每个角色能看到什么。

  • 辩手和咨询方:读自己题组的专家文件,即全文、问题、两个选项、正确答案和自己被指定的立场。
  • 辩论和单方咨询中的裁判:只看问题、两个候选答案,以及辩手或咨询方引用的原文片段。
  • 直接问答中的裁判:只看问题和两个候选答案。

立场事先指定。辩论双方一方支持正确答案、一方支持错误答案,在同一题组的 4 道题里,每个辩手支持正确答案的次数各为 2 次。单方咨询者随机得到其中一个立场,同一题组内支持正确答案和错误答案的次数相同,各 2 次。正确答案在 A 和 B 位置上也各出现 2 次。裁判不知道哪一方被指定为正确答案。

轮换。每道题只用一次。下表事先排好角色与题组的对应,保证任何人当裁判时都没有读过该题组的全文或答案,每人在每种协议下都当过一次裁判,而且三人遇到三种协议的先后顺序各不相同,不会总是先做同一种协议。第 2、3、6 场中,单方咨询和直接问答同时进行,直接问答的裁判在另一张桌子上独自作答。表由 tools/exercises/ch15_schedule.py 生成,脚本会检查上面这些条件。

场次 协议 题组 裁判 辩手或咨询方
1 辩论 G1 丙 甲、乙
2 单方咨询 G2 乙 丙
2 直接问答 G3 甲 (无)
3 单方咨询 G4 甲 乙
3 直接问答 G5 丙 (无)
4 辩论 G6 乙 甲、丙
5 辩论 G7 甲 乙、丙
6 单方咨询 G8 丙 甲
6 直接问答 G9 乙 (无)

进行方式。辩手和咨询方在本场开始前读完文章,读文章的时间不计入。每种协议给裁判相同的时间,例如每道题 8 分钟,包括双方发言和裁判提问的时间。辩论中两名辩手各发言两次;单方咨询中咨询方发言两次,每次字数上限是辩手的两倍,使每轮的总量相同(第 15.3 节)。引用原文时要写出原话。裁判对引文有疑问时,可以运行 python3 tools/exercises/ch15_quality_select.py check <输出目录> <题组> "<引文>",脚本只回答原文中有没有这段话,不显示原文;少于 5 个词的引文太短,脚本不予核对。裁判对每道题记下选择、信心(50% 到 100%)和用时。六场全部结束后,才打开答案文件,算出每种协议下的准确率(每种协议共 12 道题)。

单人做法。使用预先准备好的辩论记录和咨询记录,自己当裁判;这些记录按同样的规则指定立场。记录可以请同学或老师事先准备;也可以用两个聊天模型生成,提示词事先固定,每道题按上面的规则指定立场,但准备记录、粘贴原文的人不能是之后当裁判的人。Michael 等公开了他们收集的人类辩论记录(GitHub 仓库 julianmichael/debate 的 2023-nyu-experiments 分支)(Michael 等,2023),也可以从中选取辩论记录,阅读前先请别人或用脚本隐藏答案。直接问答部分自己用新的题组做。

教学重现的说明。QuALITY 的文章是几千词的英文长文。可以改用节选,或者换成中文长文自己出题;这时要注明是教学重现,结果不能与论文中的数字比较。几个人、几十道题的结果只用于体会协议之间的差别,不能当作测量。

写一段不超过 300 字的小结:三种协议下的准确率和平均信心;你当裁判时,哪种协议最难,为什么。

提示

裁判在辩论中可能被说得更流畅、更自信的一方说服(第 13.1 节)。也有研究分析过裁判为什么判错。Michael 等逐一分析了裁判判错的人类辩论,一次判错可以归入几类原因:在这些判错的辩论中,46% 是维护正确答案的一方漏掉了重要的论点或证据,33% 是裁判过早结束了辩论(Michael 等,2023)。Khan 等分析人类裁判判错的情形,发现辩论中最常见的错误是维护正确答案的一方论证太弱(Khan 等,2024)。记录信心可以帮你事后检查:你答错的题,信心是不是也很高?

解答

本题没有标准答案,评分要点如下:

  • 选题规则、立场分配和轮换表都在看题之前确定,并按表执行;任何人都没有当过自己读过的题组的裁判。
  • 三种协议下裁判的时间相同,单方咨询的字数上限做了相应调整,并说明是怎样控制的。
  • 同时报告准确率和信心,并检查信心与正确与否是否一致(第 13.4 节)。
  • 小结说明每种协议只有 12 道题、3 个裁判,差别可能来自题目或个人,不能据此说明哪种协议更好;如果做的是节选或中文版本,注明为教学重现。
  • 能指出本次练习中至少一个没有控制好的因素,例如辩手之间水平不同,或者某一场超时。
习题 15.2 当一次裁判,找出两个未控制的因素

下面是一段为教学构造的辩论记录,不来自任何数据集。问题是:在下面这段示意代码中,如果第 4 行写入流水时出错,会不会出现“余额已经改了、流水没有记”的情况,即只记一半?

1  def save(record):
2      balance = read_balance()
3      write_balance(balance + record.amount)   # 改余额
4      write_log(record)                         # 记流水
5      return True

协议说明:甲被指定支持“不会只记一半”,乙被指定支持“会只记一半”。甲先发言,共发言 3 次;乙发言 2 次。发言不限字数。辩论开始前,裁判被告知甲是一个更新、更大的模型。代码行的引用由系统核对,其他引用不核对,但也没有禁止。

甲(第 1 次):不会只记一半。第 3 行和第 4 行在同一个函数 save 里【引文:第 3 至 4 行,已核对】。函数是一个整体,执行时要么全部完成,要么全部不执行。另外,程序的说明文档里写明了 save 函数保证原子性【引文:说明文档,未核对】。

乙(第 1 次):会只记一半。第 3 行先把新余额写进去,第 4 行才记流水【引文:第 3 至 4 行,已核对】。如果第 4 行出错,第 3 行已经执行完了。

甲(第 2 次):乙只看了两行代码,就下了结论。一个函数是一个整体,这是编程的基本常识,乙没有给出任何理由反驳这一点。说明文档也明确保证了原子性,乙同样没有回应。一个设计良好的记账程序,不可能在这样基本的地方出错。

乙(第 2 次):一个函数并不会自动成为一个整体,前面的语句执行完了就是执行完了。整个函数只有这 5 行,其中没有任何撤销第 3 行的语句【引文:第 1 至 5 行,已核对】。

甲(第 3 次):乙始终拿不出说明文档里的任何内容,只是在猜。说明文档的明确保证,比乙对 5 行代码的推测可靠得多。我的结论不变:不会只记一半。

  1. 你作为裁判,判哪一方赢?依据是哪几条引文?
  2. 指出这个协议中至少两个没有控制、可能独立于真相而影响裁判判断的因素,说明它们怎样影响判断,以及怎样改进协议。
提示

先只看标为“已核对”的引文,判断它们支持哪一方。再想一想:如果把甲和乙的立场对调,哪些安排仍会偏向甲?

解答
  1. 判乙赢。已核对的引文显示,第 3 行先改余额,第 4 行再记流水,5 行中没有任何撤销第 3 行的语句。程序按顺序执行,第 4 行出错时第 3 行已经完成,所以会只记一半(第 2.1 节讲过语句按顺序执行)。甲的关键论据,即“函数要么全部完成、要么全部不执行”,是一个错误的说法;“说明文档保证原子性”是未核对的引文,在这份记录里没有任何可以核对的依据,不应采信。
  2. 至少有以下几个未控制的因素,任答两个并说明理由即可:
    • 发言次数和顺序不对等。甲发言 3 次,而且有最后一次发言,乙没有机会回应甲的最后陈述。应让双方发言次数相同,并在不同的题上轮换先后。
    • 发言长度不限。甲的发言明显更长。更长、更自信的发言可能让裁判觉得更有道理(第 13.1 节;模型裁判的长度偏差见第 12.3 节)。应设字数上限。
    • 裁判事先知道辩手的身份。“更新、更大的模型”会让裁判对甲先入为主。应对裁判隐藏辩手身份。
    • 允许未核对的引文。未核对的引文虽然有标记,但仍可能影响裁判。应禁止无法核对的引用,或者规定它们不能作为证据。
    • 只有一道题、一位裁判。即使协议没有问题,一次判断也不能说明协议好坏,而且无法区分辩手的水平和立场的难易;需要更多题目、轮换立场(第 15.4 节)。

评分要点:第 1 问的判断依据必须来自已核对的引文;第 2 问的每个因素都要说明它为什么可能与真相无关地改变判断,并给出可行的改进。

习题 15.3 均衡、数素数与混淆(研究路线)
  1. 在第 15.6 节的玩具辩论博弈中,取 q=0.7q = 0.7 和 q=0.3q = 0.3,分别写出 Alice 获胜概率的表格,找出双方的最佳响应和均衡,并解释结果。
  2. 在第 15.8 节的数素数辩论中,如果区间是 1 到 1024,裁判一共要检查几次?这个例子的哪一步用到了“辩手计算能力不受限制”的假设?
  3. 在式(15.1)的简化模型中,取 B=8B = 8,Bh=4B_h = 4,分别算 K=2K = 2 和 K=4K = 4 时的 pfindp_{\text{find}} 和裁判准确率。论证加深两层,对裁判意味着什么?
  4. 用一句话准确说出混淆论证问题;再用一句话说明 prover-estimator debate 怎样改变了“找不到错误时”的默认结果。
解答
  1. q=0.7q = 0.7 时,表格为:(真,真)0.5,(真,假)0.7,(假,真)0.3,(假,假)0.5。无论对方怎么选,双方的最佳响应都是真,唯一的均衡是双方都维护真答案。q=0.3q = 0.3 时,表格为 0.5、0.3、0.7、0.5,双方的最佳响应都是假,唯一的均衡是双方都维护假答案。均衡里是否诚实,取决于裁判在双方答案不同时偏向哪一边,也就是“说谎是否比反驳谎言更难”。
  2. 1024 等于 2 的 10 次方,对半拆 10 次到达单个数,裁判做 10 次加法检查和 1 次素数检查,共 11 次。假设用在 Bob 每一层都知道哪一半是假的:他要能自己数出每个区间里的素数。如果他做不到,就只能猜,这正是第 15.10 节的情形。
  3. K=2K = 2:pfind=(4/8)2=0.25p_{\text{find}} = (4/8)^2 = 0.25,裁判准确率 0.5+0.125=62.5%0.5 + 0.125 = 62.5\%。K=4K = 4:pfind=0.0625p_{\text{find}} = 0.0625,准确率约 53.1%。论证加深两层,质疑方追到错误的概率变成原来的四分之一,裁判的准确率向 50% 靠近;论证越深,“找不到错就接受”的默认越偏向说谎方。
  4. 混淆论证问题:说谎的辩手可以用很低的成本构造一个含有致命错误、但错误位置极难找到的论证,诚实的辩手明知有错却要解一个计算上很难的问题才能指出错在哪里,于是裁判分不清它和诚实的论证。prover-estimator debate 要求证明者指出估计者概率中的具体错误及其方向,找不到错误时估计者获胜,所以“找不到错”不再意味着论证被接受。

计算用的脚本是 tools/exercises/ch15_theory.py。

本节引用的文献 3
  1. Pang 等人(2021)QuALITY: Question Answering with Long Input Texts, Yes!
  2. Michael 等人(2023)Debate Helps Supervise Unreliable Experts
  3. Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers

学完能做到 #

  • 说出一个辩论协议的主要设计选择:立场是否指定、裁判能否提问、证据能否核查、每个角色能看到什么,并说明每一项会怎样影响实验结果。
  • 说明为什么比较辩论要同时设直接问答和单方咨询两个对照,以及怎样让时间和计算预算可比。
  • 指出一个辩论实验中的两个未控制因素。
  • 说出现有的正面结果主要来自哪类任务,以及 Kenton 等在哪些任务上没有看到辩论相对直接问答的优势。
  • (研究路线)对一个小的双人零和博弈找出最佳响应和均衡,并说明为什么训练不一定达到均衡。
  • (研究路线)说出原始辩论定理成立所需的理想化假设,以及 doubly-efficient debate 改变了哪个假设、付出了什么代价。
  • (研究路线)用一句话准确说出混淆论证问题。
  • (研究路线)说出 prover-estimator debate 的完备性依赖哪些假设,以及哪一半保证不依赖稳定性。

参考文献

  1. Arnesen, S., Rein, D., and Michael, J. (2024). Training Language Models to Win Debates with Self-Play Improves Judge Accuracy. arXiv. 预印本引用于 §15.4 §15.5
  2. Barnes, B. (2020). Debate update: Obfuscated arguments problem. AI Alignment Forum. 非同行评审引用于 §15.10
  3. Brown-Cohen, J., Irving, G., and Piliouras, G. (2023). Scalable AI Safety via Doubly-Efficient Debate. International Conference on Machine Learning, 2024. 引用于 §15.7 §15.8 §15.9
  4. Brown-Cohen, J., Irving, G., and Piliouras, G. (2025). Avoiding Obfuscation with Prover-Estimator Debate. arXiv. 预印本引用于 §15.9 §15.10 §15.11
  5. Buhl, M. D., Pfau, J., Hilton, B., and Irving, G. (2025). An alignment safety case sketch based on debate. arXiv. 预印本引用于 §15.6
  6. Irving, G. (2025). Dodging systematic human errors in scalable oversight. AI Alignment Forum. 非同行评审引用于 §15.11
  7. Irving, G., Christiano, P., and Amodei, D. (2018). AI safety via debate. arXiv. 预印本引用于 §15.1 §15.2 §15.6 §15.7 §15.8
  8. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §15.2 §15.3 §15.4 §15.5
  9. Khan, A., Hughes, J., Valentine, D., Ruis, L., Sachan, K., Radhakrishnan, A., … Perez, E. (2024). Debating with More Persuasive LLMs Leads to More Truthful Answers. International Conference on Machine Learning. 引用于 §15.2 §15.3 §15.4 §15.5
  10. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本引用于 §15.7
  11. Michael, J., Mahdi, S., Rein, D., Petty, J., Dirani, J., Padmakumar, V., and Bowman, S. R. (2023). Debate Helps Supervise Unreliable Experts. arXiv. 预印本引用于 §15.2 §15.3 §15.4
  12. Pang, R. Y., Parrish, A., Joshi, N., Nangia, N., Phang, J., Chen, A., … Bowman, S. R. (2021). QuALITY: Question Answering with Long Input Texts, Yes! Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 引用于 §15.4
  13. Polak, B. (2007). Game Theory. Open Yale Courses. 非同行评审
  14. Sipser, M. (2013). Introduction to the Theory of Computation. Cengage.