Scalable Oversight 入门
第二部分:怎样判断一个监督方法有效

草稿 内容完整但尚未审校,可能还会修改

第 12 章语言模型当裁判

路线全部路线最短路线

本章导读

本章问题
  • 用一个模型给另一个模型打分,什么时候可信?
要点
  • 模型裁判有三种用法:给单个回答打分、比较两个回答、按评分规则打分,各有长处和短处(§12.1)。
  • 裁判会被待评的回答带偏;在一组数学题上,先独立解题再对照减少了这种情况,前提是裁判自己能做对(§12.2)。
  • 已知的偏差包括偏爱某个位置、偏爱更长的回答、偏爱与自己相似的模型,以及推理不足(§12.3)。
  • 裁判与人一致不等于客观正确;可信的裁判实验要交换顺序、控制长度、更换裁判(§12.5)。
本章的视频讲解,4 分 43 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07交换顺序会改判吗
    让模型当裁判比较两个回答。交换顺序,它会改选吗?把一个回答加长、内容不变呢?记账程序里,它要判断两个版本的修改哪个更符合三条规则:它能真的检查,还是只看像不像对的?
  2. 0:29三种用法12.1
    Zheng 等提出三种用法:单答案评分、成对比较、参考答案引导的评分;本书把第三种扩展为按评分规则逐条打分或检查。三种用法各有短处,可以组合使用。
  3. 0:49被待评的回答带偏12.2
    一些基础数学题,GPT-4 自己能做对,评判别人的回答时却会被带偏,把错误答案判为正确。先在看不到待评回答时独立解题,再拿自己的解答对照,失败从 14 次降到 3 次。
  4. 1:13参考答案与评分规则12.2
    裁判自己生成的参考答案,只在它能做对时有帮助(本书的推断)。规则的盲点很可能也是裁判的盲点:三条规则没提转账,裁判可能视而不见。
  5. 1:35位置与长度12.3
    偏差是与回答质量无关、方向固定的影响。这里讲四种:位置、长度、偏爱相似的输出,以及推理能力不足,即前面的数学题。右图是前两种。
  6. 1:55偏爱相似的输出12.3
    相似程度:两个模型犯的错有多大重合,扣除碰巧一致的部分。图中裁判偏爱同系列小模型;只看别家模型,打分也与相似程度显著正相关,平均相关系数 0.84。
  7. 2:17偏差会进入训练12.3
    分数一旦用作训练信号,模型可能朝裁判偏爱的方向走,例如写得更长。Zheng 等观察到,用很小的高质量对话数据集微调,就能学会裁判偏爱的风格,知识类考试却没有明显提高。
  8. 2:40与人的一致率12.4
    一致率:从两类裁判中各随机挑一个,两者判断相同的概率。计平局时 GPT-4 与人 66%,人与人 63%;不计平局时 85% 和 81%。第一轮上,GPT-4 与人不低于人与人。
  9. 3:01一致不等于正确12.4
    “GPT-4 当裁判和人一样好”要加限定:人和裁判犯同样的错,也会显得一致;总体一致率被容易的比较拉高;人看到 GPT-4 的不同判断后,34% 的情况愿意改选。
  10. 3:23一致性12.4
    一致性:本该得出相同结论时,是否得出相同结论。加入几个评判示例,GPT-4 交换顺序后的一致率从 65.0% 升到 77.5%。但一个总选第一个回答的裁判,原样重测时完全一致,却毫无用处。
  11. 3:46评估者校准12.4
    校准:裁判的把握是否与实际相符。设裁判对 100 对修改都说有九成把握,对照测试只选对了 70 对(为说明而设)。若九成把握就不再复核,这 30 个错误会全部漏过去。
  12. 4:05可信的裁判实验12.5
    每条控制对付一种已知偏差:交换顺序、控制长度、更换裁判、隐去身份、说清参考答案和评分规则、用人或真值检验,并分开报告。右图是记账程序上的做法。

带走的几句话:

  1. 裁判会被待评的回答带偏;先独立解题再对照,前提是它自己能做对。
  2. 已知偏差:偏爱某个位置、更长的回答、相似的输出,以及推理能力不足。
  3. 与人一致不等于正确;要交换顺序、控制长度、更换裁判。

第 11 章讨论的实验,最后都要有人打分:参与者的判断对不对,要和参考答案比;参考答案拿不到时,要请人来评。人评又慢又贵,于是一个自然的想法是让一个语言模型来当评估者。本书把这种角色叫作裁判(judge):它读一个问题和一个或几个回答,给出分数或者选出更好的那个。一些公开的模型排行榜就是这样给模型打分的(Goel 等,2025),也有训练流程用模型给出的偏好代替人的偏好(第 21 章)。

模型裁判便宜、快、可以无限重复,还会给出理由。问题是:它的判断有多可信?先做一个思想实验。让一个模型比较两个回答哪个更好,它选了第一个。现在把两个回答交换顺序再问一次,它会不会改选另一个?或者,把其中一个回答加长,内容不变,只是把同样的意思再说一遍,它会不会因此改判?如果会,那么它的判断里就有一部分与回答的好坏无关。

回到记账程序。假设你让一个模型裁判比较两个版本的修改,判断哪个更符合需求说明的三条规则。你需要知道:它的结论会不会因为哪个版本先给它看而改变?会不会偏爱写得更长、注释更多的版本?如果两个版本中有一个是它自己写的,或者出自和它相似的模型,它会不会偏心?它能不能真的检查出规则三(写入失败时不能只记一半)是否被遵守,还是只看代码像不像对的?本章依次讨论这些问题,最后把它们整理成一个可信的裁判实验应当怎样设计。

引言引用的文献 1
  1. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

12.1 三种用法 #

Zheng 等在 2023 年系统研究了用语言模型当裁判的做法,提出了三种用法(Zheng 等,2023)。

单答案评分(single answer grading):给裁判一个问题和一个回答,让它直接打分,例如 1 到 10 分。这种用法最省事,每个回答只需要评一次,很多模型可以放在同一个分数尺度上比较。

成对比较(pairwise comparison):给裁判一个问题和两个回答,让它判断哪个更好,或者判为平局。它只需要说出哪个更好,不需要一个绝对的分数尺度。

参考答案引导的评分(reference-guided grading):在可能的情况下,同时给裁判一个参考答案,例如数学题的正确解法(Zheng 等,2023)。

本章把第三种扩展为更一般的按评分规则打分:给裁判一份评分规则(rubric),即一组写明的评分标准,比如“是否回答了问题”“事实是否正确”“是否有不必要的冗长”,让它按每条标准分别打分或检查。参考答案可以看作评分规则的一种特殊形式:只有一条标准,“和参考答案是否一致”。回到记账程序,需求说明的三条规则就是一份现成的评分规则。

把三种用法放到记账程序上,看看它们各自交出什么。单答案评分:“这处修改在多大程度上符合需求说明?请给出 1 到 10 分。”裁判给出“7 分”,可是 7 分意味着什么,取决于这个裁判给分的尺度,换一个裁判,同一处修改可能得 5 分。成对比较:“版本甲和版本乙,哪个更符合需求说明?”裁判给出“甲更好”,但甲可能只是两个坏版本中不那么坏的一个。按评分规则打分:“逐条回答:规则一是否满足?规则二是否满足?规则三是否满足?每条都指出你依据的代码行。”这种问法把一个模糊的总体判断拆成了几个可以分别核对的小判断,裁判指出的代码行也给了人复核的抓手(第 14 章讨论把判断拆小的一般做法)。Zheng 等把“裁判会给出理由”列为模型裁判的一个优点(Zheng 等,2023);不过理由写得通顺,不等于它真的就是裁判作出判断的原因(第 19 章)。

这几种用法各有短处。Zheng 等指出,成对比较的问题在于规模:模型越多,需要比较的组合数增长得越快(10 个模型两两比较要 45 次,20 个就要 190 次);单答案评分的问题在于,它可能分辨不出两个回答之间细微的差别,而且换一个裁判模型,绝对分数的波动可能比成对比较的结果更大(Zheng 等,2023)。这三种用法可以组合使用。

为了研究裁判,Zheng 等还构建了两个基准(benchmark),即大家共用、用来比较不同模型的测试(Zheng 等,2023)。MT-Bench 是 80 道两轮对话的问题,分属写作、角色扮演、信息抽取、推理、数学、编程、理工知识和人文社科知识 8 类,每类 10 道。Chatbot Arena 是一个众包平台:用户同时向两个匿名模型提问,投票选出更好的回答,投票后才看到模型名字。本章的练习使用 MT-Bench 上公开的人类评判数据。

第 12.1 节引用的文献 1
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

12.2 参考答案与评分规则的作用 #

裁判的判断从哪里来?如果给了参考答案,它可能主要是在做一件简单得多的事:比较回答和参考答案是否一致。如果没有参考答案,它就得自己知道正确答案,或者自己会做这道题。这两种情况下,裁判的可信程度可以差得很远。

Zheng 等的一个发现很能说明问题(Zheng 等,2023)。在一些基础的数学题上,裁判模型单独去做这道题是能做对的,但让它评判别人的回答时,它会被待评的回答带偏,把错误的回答判为正确。作者以 GPT-4 为裁判,用 10 道数学题、每题交换顺序评两次(共 20 次判断)做了测试,统计裁判把错误答案判为正确的次数:直接评判时失败 14 次;先让裁判自己解一遍再评判(类似让它先写出推理过程),失败 6 次;先让裁判独立解题,再把它自己的解答作为参考答案放进评判提示里,失败 3 次(Zheng 等,2023)。作者还注意到,即使让裁判先自己解题,它在解题过程中也常常犯和待评回答一模一样的错误;作者认为,这提示它可能仍然受到了上下文中那个回答的影响(Zheng 等,2023)。

这个例子说明两件事。第一,“能做对”和“能判断别人做得对不对”是两种不同的能力,后者并不自动随前者而来(第 7.4 节讲过类似的区别)。第二,把“自己解题”和“看待评回答”分开,能减少被带偏:裁判先在看不到待评回答时独立解题,再拿自己的解答去对照,失败从 14 次降到 3 次;只在同一个提示里先解题再评判,它仍常犯和待评回答一样的错误。要注意,这里的“参考答案”是裁判自己生成的,不是外部的标准答案,这个办法有效的前提是裁判自己能把题做对。

这给 scalable oversight 带来一个麻烦(本书的推断)。外部的标准答案能把裁判的工作变成简单得多的核对,但我们最需要模型裁判的地方,恰恰是没有外部标准答案的地方:如果有现成的正确答案,就不太需要裁判了。用裁判自己的解答当参考,只在它自己能做对时有帮助;而监督要应付的,正是裁判可能做不对的题。所以,在有外部参考答案的任务上测得的裁判准确率,不能直接搬到没有参考答案的任务上。同样,评分规则写得越具体,裁判的工作可能越接近逐条核对;但规则没写到的问题,裁判也就不一定会看。记账程序的三条规则没有提到“转账时两个账户要同时改动”,一个只按三条规则打分的裁判,就可能对转账中的错误视而不见。

所以,报告一个裁判实验时,要说清裁判看到了什么:有没有参考答案、参考答案从哪里来、评分规则写了哪些条目。条件允许时,可以分别在有和没有参考答案的条件下测一次,看裁判的表现有多少来自参考答案;也可以故意给一个错误的参考答案,看裁判会不会照搬它。

写评分规则本身也是一项设计工作。本书建议几条做法:每一条都写成可以回答“是”或“否”的具体问题,而不是“质量高不高”这样的笼统问题;要求裁判对每一条给出依据,例如引用原文或代码行,这样人可以抽查依据是否属实;给裁判一个“判断不了”的选项,而不是逼它在“是”和“否”之间猜;规则之间可能冲突时,事先写明怎样取舍(第 21 章讨论原则冲突)。最后,要记住评分规则只覆盖写进去的东西,它的盲点很可能也是裁判的盲点。

第 12.2 节引用的文献 1
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

12.3 已知偏差 #

所谓偏差,是指裁判的判断系统性地受到某个与回答质量无关的因素影响。“系统性”的意思是,这种影响有固定的方向,不会因为多评几次就互相抵消。下面讲四种,都是 Zheng 等列出的局限,其中第三种又经 Goel 等推广(Zheng 等,2023;Goel 等,2025)。要注意,这里报告的数字都来自具体的模型和具体的测试,换了模型,偏差的大小可能完全不同,必须重新测量。

位置偏差(position bias):裁判偏爱某个位置上的回答;在 Zheng 等测的三个裁判中,多数偏爱第一个(Zheng 等,2023)。他们的测法是:用 GPT-3.5 对 MT-Bench 每道题的第一轮各生成两次回答,得到两个相似的回答,让裁判比较,然后交换两个回答的顺序再比较一次,看结论是否一致(Zheng 等,2023)。结果如下表。

裁判模型 交换顺序后结论一致 两次都选排在前面的
Claude-v1 23.8% 75.0%
GPT-3.5 46.2% 50.0%
GPT-4 65.0% 30.0%

即使是其中最好的 GPT-4,也有约三分之一的情况,结论随顺序而变(Zheng 等,2023)。作者提醒,这个测试比较苛刻,因为两个回答非常相似,有时连人也分不出好坏。他们还换了一种提示,改掉两个助手的名字再测,发现 Claude-v1 的偏差有一部分来自名字而不是位置:它偏爱被叫作 Assistant A 的那一个(Zheng 等,2023)。

长度偏差(verbosity bias):裁判偏爱更长、更啰嗦的回答,即使它并不更清楚、更准确。Zheng 等设计了一个“重复列表”测试:挑出 MT-Bench 中 23 个含编号列表的回答,让模型把列表换个说法重写一遍、不加任何新信息,插到原列表前面,然后让裁判比较新旧两个版本。新版本只是更长,如果裁判判它更好,就算失败。失败率是 Claude-v1 和 GPT-3.5 都为 91.3%,GPT-4 为 8.7%(Zheng 等,2023)。作为对照,三个裁判面对两个完全相同的回答时,都能正确地判为平局。

偏爱相似的输出:裁判偏爱与自己相似的模型写出的回答。最简单的情形是偏爱自己写的回答。Zheng 等比较了不同裁判和人给出的平均胜率(一个模型对其余各模型胜率的平均;这里只看第一轮、不计平局的票),发现 GPT-4 给自己的平均胜率比人给的高约 10 个百分点,Claude-v1 高约 25 个百分点;但它们也偏爱别的模型,GPT-3.5 并不偏爱自己。作者明确说,由于数据有限、差别不大,他们的研究不能确定这些模型是否有偏爱自己的倾向(Zheng 等,2023)。

Goel 等把问题推广了一步:裁判是否偏爱与自己“想法相似”的模型,哪怕那不是它自己(Goel 等,2025)?他们先定义了一种衡量两个模型相似程度的指标:看两个模型在同一批题上犯的错误有多大重合,并扣除仅仅因为两者准确率都高而碰巧一致的部分。然后,他们在一个难题集上让裁判判断各模型的自由作答是否正确,裁判看不到标准答案,只能凭自己的知识判断;同时用同一批题的选择题形式测出每个模型的准确率,作为可以核对的参照(Goel 等,2025)。一个例子是:以 Qwen2.5-72B-Instruct 为裁判时,它认为 Qwen2.5-7B-Instruct 有 71% 的回答正确,而认为 Llama-3.1-70B-Instruct 只有 67% 正确,可是后者在选择题上的准确率更高(51% 对 41%)(Goel 等,2025)。两种数的测法不同,要看的是排序:裁判把选择题准确率更低的模型排在了前面。即使只看与裁判不属于同一系列的模型,在所有裁判上,裁判给出的分数也都与“被评模型和裁判的相似程度”显著正相关(相关系数与“显著”的含义见第 3.4 节),平均相关系数为 0.84;控制了被评模型的选择题准确率之后,相似程度的影响依然显著(Goel 等,2025)。Goel 等指出,一些用模型裁判打分的公开排行榜假定,只要裁判模型自己不参加排名,就能避开偏心(Goel 等,2025);上面的结果说明这还不够。这是在作者所研究的模型和任务上观察到的相关关系,不是普遍规律(第 24.4 节);它提醒我们,换一个“别家”的模型当裁判,并不自动消除偏心。

推理能力不足:裁判自己不会做的题,它判断不了;更麻烦的是,自己会做的题,它也可能被待评的回答带偏,这就是第 12.2 节的数学题例子。

这些偏差在监督中可能比在排行榜上更要紧。排行榜上的偏差会让排名失真;而一旦裁判的分数被用作训练信号,被训练的模型就可能朝裁判偏爱的方向走,包括那些与质量无关的方向,例如写得更长(第 8 章,第 23 章)。Zheng 等在比较几个模型变体时观察到,只用一小批高质量对话(约 3000 段)微调,就能很快教会模型一种 GPT-4 裁判(大致也是人)偏爱的风格,但不能明显提高它在知识类考试上的成绩;用多得多的对话数据微调,考试成绩才随数据量提高(Zheng 等,2023)。在这组模型上,风格比能力学得快;一个对风格敏感的裁判,就可能把风格上的进步当成能力上的进步(本书的推断)。

把四种偏差放到记账程序上:如果你总是把模型甲的修改放在前面,裁判可能因为位置而偏向甲;如果模型乙的修改注释写得更多,裁判可能因为长度而偏向乙;如果裁判和模型乙出自同一系列,它可能偏向乙;而规则三这种需要推理“写入中途失败会怎样”的问题,裁判可能根本判断不了。

第 12.3 节引用的文献 2
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  2. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

12.4 校准与一致性 #

怎样知道一个裁判好不好?最常用的办法,是看它和人的判断有多一致。

Zheng 等在 MT-Bench 上请了 58 位评估者,大多是研究生,作者把他们视为比一般众包工作者更有能力的专家级评估者;每人至少评 20 道随机抽取的题,共得到约 3000 票(Zheng 等,2023)。一致率定义为:随机挑一道题,从一类裁判(例如人类专家)和另一类裁判(例如 GPT-4)中各随机挑一个,两者判断相同的概率。作者报告了两种算法:一种把平局(以及因位置偏差而前后矛盾的判断)都算进去,三种结果(A 好、B 好、平局)随机乱猜时的一致率约为 33%;另一种只看两边都没有判平局的那些票,随机乱猜时为 50%(Zheng 等,2023)。在第一轮对话上,按第一种算法,GPT-4 与人的一致率是 66%,人与人之间是 63%;按第二种算法,GPT-4 与人是 85%,人与人是 81%(Zheng 等,2023)。也就是说,在第一轮对话上,GPT-4 与人的一致程度不低于人与人之间的一致程度。作者还发现,被比较的两个模型实力差距越大,GPT-4 与人的一致率越高,从约 70% 升到接近 100%(Zheng 等,2023)。

这些结果常被概括为“GPT-4 当裁判和人一样好”。这个概括要加上几个限定。

第一,与人一致不等于客观正确。人的偏好本身就不等于正确(第 6.5 节):人也会偏爱某些风格,也会在看不懂的题上判错。如果人和模型裁判犯同样的错,它们会显得非常一致。Zheng 等研究的是“有帮助”这一项,作者自己说论文基本没有涉及安全,也把准确、相关、有创意等多个维度合并成了一个分数(Zheng 等,2023)。在有客观答案的地方,应该拿裁判和答案比,而不只是和人比,这正是 Goel 等用选择题准确率作参照的原因(Goel 等,2025)。

第二,总体一致率掩盖了难题。一致率随实力差距升高,说明容易分辨的比较拉高了平均值。监督中要判的,常常是两个回答旗鼓相当、难以分辨的情形(本书的推断)。在 Zheng 等的数据中,两个模型胜率相差很小时,GPT-4 与人的一致率(不计平局)约为 70%,低于总体的 85%(Zheng 等,2023)。

第三,人看到模型的判断之后,会向它靠拢。在 Zheng 等收集数据时,如果一个人投票后发现自己的选择和 GPT-4 不同,系统会再把 GPT-4 的判断展示给他,问他是否合理。人们认为 GPT-4 的判断合理的情况占 75%,并且有 34% 的情况愿意改变自己的选择(Zheng 等,2023)。作者把这看作 GPT-4 能帮助人作出更好判断的证据;从第 13 章的角度看,它也说明人看到模型的判断之后,相当常表示愿意改变自己的选择,而改变本身并不说明改对了。由此得出的设计要求是(本书的推断):用来检验裁判的人类标签,应当在人没有看过裁判意见时收集,并在报告中写明收集流程。

一致率之外,还有两个相关的概念。

一致性(consistency):同一个裁判在本应得出相同结论的条件下,是否得出相同结论。最简单的情形是把同一个输入原样再判一次:裁判也在采样,两次的结论可能不同,怎样测、要报告什么见第 5.4 节。另一种情形是交换顺序前后。Zheng 等发现,在提示中加入几个评判示例,可以把 GPT-4 交换顺序后的一致率从 65.0% 提高到 77.5%;但他们也提醒,一致性高不一定意味着准确率高,而且示例可能带来新的偏差(Zheng 等,2023)。一个总选第一个回答的裁判,在“不交换顺序”的重复测试中是完全一致的,却毫无用处。

评估者校准:裁判给出的分数或把握程度,是否与实际的好坏相对应。例如,一个裁判说“我有九成把握 A 更好”的那些比较中,A 是否真的大约九成更好;一个裁判打 8 分的回答,是否真的比打 6 分的回答更常被专家认为更好。校准需要参考答案或可靠的人类判断才能检验。举一个为说明而设的例子:一个裁判对 100 对修改都说“有九成把握”,而对照测试结果,它只在其中 70 对上选对了。它的准确率 70% 本身不算差,但它的把握程度高估了 20 个百分点。如果下游的流程按“裁判有九成把握就不再复核”来分配人的时间,这 30 个错误就会全部漏过去(第 11.8 节)。第 13.4 节讨论人的信心校准,道理相同。

第 12.4 节引用的文献 2
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  2. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

12.5 设计一个可信的裁判实验 #

把前面几节合起来,一个可信的裁判实验至少要控制下面几件事。每一条都对应一种已知的偏差或一个已知的陷阱。

交换顺序。每对回答按两种顺序各评一次。Zheng 等采用的保守做法是:只有一个回答在两种顺序下都被判为更好,才算它赢;两次结论不一致,就算平局(Zheng 等,2023)。另一种做法是每次随机决定顺序,这在样本量很大时可以让位置偏差在平均上抵消,但不能消除单次判断中的偏差。无论哪种做法,都要报告交换顺序后的一致率。

控制长度。报告两个回答的长度,检查裁判的偏好是否随长度变化。可以像“重复列表”测试那样,构造一批内容相同、只是更长的回答,直接测裁判会不会上当。比较模型时,可以把长度相近的回答放在一起比,或者在分析时把长度作为一个需要控制的因素。

更换裁判模型。用不止一个裁判,最好来自不同的开发者和训练路线,看结论是否一致。还要检查裁判与被评模型的相似程度:裁判与被评模型越相似,越要怀疑它偏心(第 12.3 节)。不同裁判一致,也不等于它们独立地正确,它们可能有共同的盲点(第 24 章)。

隐去身份。不告诉裁判回答出自哪个模型、属于哪个实验条件、研究者希望得到什么结果。

说清参考答案和评分规则。写明裁判看到了什么。有条件时,比较有和没有参考答案两种设置,并检查一个错误的参考答案会不会被裁判照搬(第 12.2 节)。

用人或真值检验裁判。随机抽出一部分判断,由人在不看裁判意见的情况下独立评判,或者对照客观答案,算出裁判的一致率、误报率和漏检率(第 11.6 节)。还可以埋入已知好坏的回答,看裁判能否正确识别。报告一致率时,同时报告随机乱猜的水平和人与人之间的一致率作为参照。

分开报告。裁判的结果是裁判的结果,不能直接写成“人认为”。把模型裁判的表现外推成人类的表现,是附录 A 列出的常见错误之一。

回到记账程序。一个可信的做法是这样的:对每对修改,按两种顺序各请裁判评一次,只在两次结论一致时采纳;同时请两个来自不同开发者的裁判;检查裁判是否系统地偏爱注释更多的版本;从全部判断中随机抽一部分,请那位资深程序员用测试独立核对;对于规则三,因为裁判可能判断不了,最好直接用能制造写入失败的测试来检查,而不是依赖任何裁判(第 20 章)。

第 12.5 节引用的文献 1
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

读物 #

  • 实验结果 · 会议论文:Zheng 等《Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena》(NeurIPS 2023)(Zheng 等,2023),重点读关于偏差的部分(第 3 节)和一致率的部分(第 4 节)。注意每个偏差是用什么测试测出来的,以及作者自己说“不能确定”的地方。
  • 实验结果 · 会议论文:Goel 等《Great Models Think Alike and this Undermines AI Oversight》(ICML 2025)(Goel 等,2025),读第 3 节:模型裁判的打分偏向与自己相似的模型。注意它的相似性指标怎样扣除准确率带来的“碰巧一致”。
本节引用的文献 2
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  2. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

练习 #

习题 12.1 模型裁判与人的一致率(MT-Bench 真实数据)

数据从哪里来。Zheng 等公开了 MT-Bench 上的人类评判和 GPT-4 评判(Zheng 等,2023)。数据发布在 Hugging Face 上,名为 lmsys/mt_bench_human_judgments(许可为 CC BY 4.0),网址是 https://huggingface.co/datasets/lmsys/mt_bench_human_judgments,可以在网页上的数据查看器里直接浏览。查看器每页 100 行,要看某个行号的记录,可以直接打开 …/viewer/default/human?p=页码&row=行号,页码是行号除以 100 取整,例如行号 1743 对应 …/viewer/default/human?p=17&row=1743。它有两个部分:human,3355 条人类成对评判;gpt4_pair,2400 条 GPT-4 成对评判(80 道题 × 6 个模型的 15 种两两组合 × 2 轮)。每条记录有题号 question_id、两个模型名 model_a 和 model_b、胜者 winner(model_a、model_b 或 tie;GPT-4 部分另有 tie (inconsistent),表示交换顺序后结论不一致)、裁判 judge(人类部分为 expert_… 或 author_…)、轮次 turn,以及两段完整对话。

抽取规则(在看结果之前定下)。

  1. 在 human 部分中,只保留裁判以 expert_ 开头(不含论文作者)且轮次为 1 的记录,按数据集原有顺序排列,共 1343 条。
  2. 从第 1 条开始,每隔 26 条取一条(第 1、27、53……条),取 50 条。
  3. 对每一条,在 gpt4_pair 部分找到同一道题、同样两个模型(顺序不限)、同一轮次的 GPT-4 判断。
  4. tie (inconsistent) 按平局计。

脚本 tools/exercises/ch12_mtbench.py(只用标准库)实现了这些步骤:--download 目录 下载数据,--data 目录 打印下表和全部统计,--show 行号 打印某条记录的完整对话。下表就是它的输出。为了让两边可以直接比较,表中把两个模型按名字的字母顺序记为 A 和 B,这不是裁判当时看到的顺序。“平*”表示 GPT-4 交换顺序后结论不一致。

序号 行号 题号 类别 回答 A 回答 B 人类专家 GPT-4
1 2 81 写作 alpaca-13b gpt-3.5-turbo B B
2 66 82 写作 claude-v1 gpt-4 A B
3 125 84 写作 alpaca-13b vicuna-13b-v1.2 B B
4 189 85 写作 alpaca-13b vicuna-13b-v1.2 平 B
5 248 87 写作 gpt-3.5-turbo gpt-4 平 B
6 310 89 写作 claude-v1 gpt-4 A A
7 376 90 写作 gpt-4 vicuna-13b-v1.2 A A
8 444 92 角色扮演 alpaca-13b vicuna-13b-v1.2 B 平*
9 518 93 角色扮演 gpt-4 vicuna-13b-v1.2 A A
10 585 95 角色扮演 gpt-4 llama-13b A A
11 648 97 角色扮演 claude-v1 llama-13b B A
12 706 98 角色扮演 gpt-3.5-turbo llama-13b A A
13 779 99 角色扮演 gpt-3.5-turbo vicuna-13b-v1.2 A A
14 848 101 推理 claude-v1 gpt-3.5-turbo 平 平
15 906 102 推理 claude-v1 vicuna-13b-v1.2 B B
16 972 104 推理 alpaca-13b gpt-3.5-turbo 平 B
17 1036 105 推理 gpt-3.5-turbo gpt-4 平 B
18 1100 106 推理 gpt-4 vicuna-13b-v1.2 A A
19 1164 108 推理 claude-v1 gpt-4 B B
20 1228 110 推理 alpaca-13b gpt-4 B B
21 1290 111 数学 gpt-3.5-turbo vicuna-13b-v1.2 平 A
22 1358 112 数学 llama-13b vicuna-13b-v1.2 B B
23 1422 114 数学 gpt-3.5-turbo llama-13b A A
24 1484 115 数学 llama-13b vicuna-13b-v1.2 B 平
25 1550 117 数学 gpt-3.5-turbo gpt-4 B B
26 1618 119 数学 alpaca-13b llama-13b B 平
27 1680 120 数学 claude-v1 vicuna-13b-v1.2 A 平*
28 1743 122 编程 claude-v1 gpt-4 A B
29 1802 123 编程 gpt-4 vicuna-13b-v1.2 平 A
30 1862 125 编程 alpaca-13b gpt-4 B B
31 1928 127 编程 alpaca-13b claude-v1 B B
32 1991 128 编程 gpt-4 llama-13b A A
33 2057 130 编程 alpaca-13b gpt-3.5-turbo B B
34 2118 132 信息抽取 alpaca-13b gpt-3.5-turbo 平 平
35 2180 133 信息抽取 claude-v1 gpt-4 平 A
36 2259 135 信息抽取 claude-v1 gpt-3.5-turbo 平 平
37 2319 136 信息抽取 claude-v1 vicuna-13b-v1.2 A A
38 2396 138 信息抽取 gpt-4 vicuna-13b-v1.2 B A
39 2459 140 信息抽取 gpt-3.5-turbo llama-13b 平 A
40 2525 142 理工知识 alpaca-13b vicuna-13b-v1.2 A B
41 2592 143 理工知识 gpt-3.5-turbo vicuna-13b-v1.2 A 平*
42 2652 145 理工知识 alpaca-13b llama-13b A A
43 2717 147 理工知识 alpaca-13b claude-v1 B B
44 2779 148 理工知识 gpt-3.5-turbo vicuna-13b-v1.2 B A
45 2841 149 理工知识 gpt-4 llama-13b A A
46 2919 151 人文社科 claude-v1 vicuna-13b-v1.2 B 平*
47 2997 153 人文社科 alpaca-13b claude-v1 B B
48 3065 154 人文社科 llama-13b vicuna-13b-v1.2 B B
49 3127 156 人文社科 alpaca-13b gpt-4 B B
50 3193 157 人文社科 alpaca-13b gpt-4 平 B

概念路线(手算)。

  1. 算出 50 条中 GPT-4 与人类专家判断相同的比例(平局算作一种判断)。
  2. 只看两边都没有判平局的记录,再算一次一致率。
  3. 把不一致的记录分成三类:人判平局而 GPT-4 没有;GPT-4 判平局而人没有;两边选了相反的胜者。
  4. 取两边选了相反胜者的前 5 条(按序号),用数据查看器或 --show 行号 读出两段对话。对每一条,先判断分歧属于事实错误(有一方的回答在可以核对的事实、计算或代码上出了错)还是偏好不同(两个回答都没有明显错误,只是风格、详略、语气不同);再判断谁对。证据不足或属于偏好不同时,记为“无法裁定”。

实验路线。用全部 expert_ 记录(两轮)重复第 1、2 问,并分别按轮次报告,和论文表 5 的数字比较。再加做:选 10 对回答,用一个你能调用的模型当裁判(可以是本地小模型),先按原顺序、再交换顺序各评一次;然后把其中一个回答按“重复列表”的办法加长,再评一次。记录结论变化的次数。

提示

第 1、2 问只需要数表中最后两列。所有记录都是对第一轮回答的评判,第 4 问只需读两段对话的第一轮。第 3 问注意:“平”和“平*”都算平局。第 4 问中,编程、数学、推理、信息抽取类的题更可能有可以核对的事实;写作、角色扮演类的分歧更可能是偏好不同,但不要凭类别下结论,要读对话。

解答
  1. 50 条中有 29 条相同,一致率 = 29 ÷ 50 = 58.0%。
  2. 两边都没判平局的有 32 条,其中 26 条相同,一致率 = 26 ÷ 32 ≈ 81.2%。
  3. 不一致的 21 条中:人判平局而 GPT-4 没有 9 条;GPT-4 判平局而人没有 6 条;相反胜者 6 条(序号 2、11、28、38、40、44)。可见大多数分歧与平局有关,而不是“选了相反的一方”。
  4. 前 5 条是序号 2、11、28、38、40。本问没有唯一答案,评分要点:(a) 每条都写出依据,引用对话中具体的句子或代码;(b) 能区分“可以核对的错误”和“风格偏好”,例如一段代码在某种输入下的行为可以通过阅读或运行来核对,而邮件写得是否得体属于偏好;(c) 不确定时诚实地记为“无法裁定”,而不是默认相信人或默认相信 GPT-4;(d) 意识到人类专家也可能判错,“与人不一致”不等于裁判错了。以序号 28(编程题)为例:两段 C++ 程序都用递归求斐波那契数,claude-v1 的版本在输入小于 0 时只打印提示而没有返回值,这在 C++ 中属于未定义行为,是一个可以核对的事实差别;它是否足以决定哪个回答“更好”,还要看其余部分,你需要读完两段回答再下结论。

实验路线:用全部专家记录,第一轮的两种一致率是 886 ÷ 1343 ≈ 66.0% 和 727 ÷ 859 ≈ 84.6%,第二轮是 871 ÷ 1325 ≈ 65.7% 和 731 ÷ 864 ≈ 84.6%。票数和比例都与论文表 5 中 GPT-4 成对比较与人类的数字(第一轮 66%、1343 票和 85%、859 票;第二轮 66%、1325 票和 85%、864 票)吻合,这说明数据和抽取方法是对的。50 条样本的 58.0% 低于全体的 66.0%,但 50 条样本的标准误约为 6.7 个百分点(第 3.3 节),这样的差别在抽样误差的范围内。这正是不能只凭 50 条下结论的原因。加做部分没有标准答案,评分要点:两种顺序的判断是否都记录了;是否报告了交换顺序后的一致率和加长后改判的次数;是否说明所用裁判模型的名称和版本,并指出 10 对的结果只能用于体会,不能当作测量。

计算脚本:tools/exercises/ch12_mtbench.py。

习题 12.2 位置偏差怎样改变“谁赢了”

下面是为教学构造的数据。一个模型裁判比较模型 1 的回答 X 和模型 2 的回答 Y,共 12 道题,每题评两次:一次 X 在前,一次 Y 在前。表中记录的是裁判选了“前一个”还是“后一个”。

题 X 在前时选 Y 在前时选
Q1 前一个 后一个
Q2 前一个 前一个
Q3 后一个 前一个
Q4 前一个 后一个
Q5 前一个 前一个
Q6 前一个 前一个
Q7 后一个 后一个
Q8 前一个 后一个
Q9 前一个 前一个
Q10 后一个 前一个
Q11 前一个 前一个
Q12 前一个 后一个
  1. 交换顺序后结论一致(两次选的是同一个回答)的比例是多少?两次都选排在前面的比例是多少?
  2. 如果实验者每次都把 X 放在前面、只评一次,X 赢几题?如果每次都把 Y 放在前面呢?
  3. 按“只有两种顺序下都被判为更好才算赢,否则算平局”的规则,X 和 Y 各赢几题?
  4. 用一两句话说明,为什么只按一种顺序评判的实验,结论可能取决于实验者怎样摆放回答。
解答
  1. 一致的有 Q1、Q3、Q4、Q8、Q10、Q12,共 6 题,占 6 ÷ 12 = 50.0%(其中 X 赢 4 题,Y 赢 2 题)。两次都选前一个的有 Q2、Q5、Q6、Q9、Q11,共 5 题,占约 41.7%;两次都选后一个的只有 Q7,约 8.3%。
  2. X 总在前:X 赢 9 题,Y 赢 3 题。Y 总在前:X 赢 5 题,Y 赢 7 题。同一个裁判、同一批回答,只因为摆放顺序不同,“谁更好”的结论就反过来了。
  3. X 赢 4 题,Y 赢 2 题,平局 6 题。
  4. 有一半的题,裁判的选择由位置而不是内容决定;只评一种顺序时,这一半题全部归给被放在有利位置的一方。所以要么两种顺序都评、只采纳一致的结论,要么至少随机安排顺序并报告交换后的一致率。

计算脚本:tools/exercises/ch12_position.py。

本节引用的文献 1
  1. Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

学完能做到 #

  • 区分单答案评分、成对比较和按评分规则打分,说出各自的长处和短处。
  • 设计一个模型裁判实验时,列出至少三种需要控制的偏差(位置、长度、偏爱相似输出、推理不足),并为每一种给出一个具体的控制办法。
  • 解释为什么裁判与人的一致率高,不等于裁判客观正确;算出一个一致率,并说明平局怎样处理、随机乱猜的水平是多少。

参考文献

  1. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §12.3 §12.4
  2. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., … Stoica, I. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. doi:10.52202/075280-2020. 引用于 §12.1 §12.2 §12.3 §12.4 §12.5