草稿 内容完整但尚未审校,可能还会修改
第 12 章语言模型当裁判
路线全部路线最短路线
本章导读
文字稿
- 0:07交换顺序会改判吗
让模型当裁判比较两个回答。交换顺序,它会改选吗?把一个回答加长、内容不变呢?记账程序里,它要判断两个版本的修改哪个更符合三条规则:它能真的检查,还是只看像不像对的? - 0:29三种用法12.1
Zheng 等提出三种用法:单答案评分、成对比较、参考答案引导的评分;本书把第三种扩展为按评分规则逐条打分或检查。三种用法各有短处,可以组合使用。 - 0:49被待评的回答带偏12.2
一些基础数学题,GPT-4 自己能做对,评判别人的回答时却会被带偏,把错误答案判为正确。先在看不到待评回答时独立解题,再拿自己的解答对照,失败从 14 次降到 3 次。 - 1:13参考答案与评分规则12.2
裁判自己生成的参考答案,只在它能做对时有帮助(本书的推断)。规则的盲点很可能也是裁判的盲点:三条规则没提转账,裁判可能视而不见。 - 1:35位置与长度12.3
偏差是与回答质量无关、方向固定的影响。这里讲四种:位置、长度、偏爱相似的输出,以及推理能力不足,即前面的数学题。右图是前两种。 - 1:55偏爱相似的输出12.3
相似程度:两个模型犯的错有多大重合,扣除碰巧一致的部分。图中裁判偏爱同系列小模型;只看别家模型,打分也与相似程度显著正相关,平均相关系数 0.84。 - 2:17偏差会进入训练12.3
分数一旦用作训练信号,模型可能朝裁判偏爱的方向走,例如写得更长。Zheng 等观察到,用很小的高质量对话数据集微调,就能学会裁判偏爱的风格,知识类考试却没有明显提高。 - 2:40与人的一致率12.4
一致率:从两类裁判中各随机挑一个,两者判断相同的概率。计平局时 GPT-4 与人 66%,人与人 63%;不计平局时 85% 和 81%。第一轮上,GPT-4 与人不低于人与人。 - 3:01一致不等于正确12.4
“GPT-4 当裁判和人一样好”要加限定:人和裁判犯同样的错,也会显得一致;总体一致率被容易的比较拉高;人看到 GPT-4 的不同判断后,34% 的情况愿意改选。 - 3:23一致性12.4
一致性:本该得出相同结论时,是否得出相同结论。加入几个评判示例,GPT-4 交换顺序后的一致率从 65.0% 升到 77.5%。但一个总选第一个回答的裁判,原样重测时完全一致,却毫无用处。 - 3:46评估者校准12.4
校准:裁判的把握是否与实际相符。设裁判对 100 对修改都说有九成把握,对照测试只选对了 70 对(为说明而设)。若九成把握就不再复核,这 30 个错误会全部漏过去。 - 4:05可信的裁判实验12.5
每条控制对付一种已知偏差:交换顺序、控制长度、更换裁判、隐去身份、说清参考答案和评分规则、用人或真值检验,并分开报告。右图是记账程序上的做法。
带走的几句话:
- 裁判会被待评的回答带偏;先独立解题再对照,前提是它自己能做对。
- 已知偏差:偏爱某个位置、更长的回答、相似的输出,以及推理能力不足。
- 与人一致不等于正确;要交换顺序、控制长度、更换裁判。
第 11 章讨论的实验,最后都要有人打分:参与者的判断对不对,要和参考答案比;参考答案拿不到时,要请人来评。人评又慢又贵,于是一个自然的想法是让一个语言模型来当评估者。本书把这种角色叫作裁判(judge):它读一个问题和一个或几个回答,给出分数或者选出更好的那个。一些公开的模型排行榜就是这样给模型打分的(Goel 等,2025),也有训练流程用模型给出的偏好代替人的偏好(第 21 章)。
模型裁判便宜、快、可以无限重复,还会给出理由。问题是:它的判断有多可信?先做一个思想实验。让一个模型比较两个回答哪个更好,它选了第一个。现在把两个回答交换顺序再问一次,它会不会改选另一个?或者,把其中一个回答加长,内容不变,只是把同样的意思再说一遍,它会不会因此改判?如果会,那么它的判断里就有一部分与回答的好坏无关。
回到记账程序。假设你让一个模型裁判比较两个版本的修改,判断哪个更符合需求说明的三条规则。你需要知道:它的结论会不会因为哪个版本先给它看而改变?会不会偏爱写得更长、注释更多的版本?如果两个版本中有一个是它自己写的,或者出自和它相似的模型,它会不会偏心?它能不能真的检查出规则三(写入失败时不能只记一半)是否被遵守,还是只看代码像不像对的?本章依次讨论这些问题,最后把它们整理成一个可信的裁判实验应当怎样设计。
引言引用的文献 1
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
12.1 三种用法 #
Zheng 等在 2023 年系统研究了用语言模型当裁判的做法,提出了三种用法(Zheng 等,2023)。
单答案评分(single answer grading):给裁判一个问题和一个回答,让它直接打分,例如 1 到 10 分。这种用法最省事,每个回答只需要评一次,很多模型可以放在同一个分数尺度上比较。
成对比较(pairwise comparison):给裁判一个问题和两个回答,让它判断哪个更好,或者判为平局。它只需要说出哪个更好,不需要一个绝对的分数尺度。
参考答案引导的评分(reference-guided grading):在可能的情况下,同时给裁判一个参考答案,例如数学题的正确解法(Zheng 等,2023)。
本章把第三种扩展为更一般的按评分规则打分:给裁判一份评分规则(rubric),即一组写明的评分标准,比如“是否回答了问题”“事实是否正确”“是否有不必要的冗长”,让它按每条标准分别打分或检查。参考答案可以看作评分规则的一种特殊形式:只有一条标准,“和参考答案是否一致”。回到记账程序,需求说明的三条规则就是一份现成的评分规则。
把三种用法放到记账程序上,看看它们各自交出什么。单答案评分:“这处修改在多大程度上符合需求说明?请给出 1 到 10 分。”裁判给出“7 分”,可是 7 分意味着什么,取决于这个裁判给分的尺度,换一个裁判,同一处修改可能得 5 分。成对比较:“版本甲和版本乙,哪个更符合需求说明?”裁判给出“甲更好”,但甲可能只是两个坏版本中不那么坏的一个。按评分规则打分:“逐条回答:规则一是否满足?规则二是否满足?规则三是否满足?每条都指出你依据的代码行。”这种问法把一个模糊的总体判断拆成了几个可以分别核对的小判断,裁判指出的代码行也给了人复核的抓手(第 14 章讨论把判断拆小的一般做法)。Zheng 等把“裁判会给出理由”列为模型裁判的一个优点(Zheng 等,2023);不过理由写得通顺,不等于它真的就是裁判作出判断的原因(第 19 章)。
这几种用法各有短处。Zheng 等指出,成对比较的问题在于规模:模型越多,需要比较的组合数增长得越快(10 个模型两两比较要 45 次,20 个就要 190 次);单答案评分的问题在于,它可能分辨不出两个回答之间细微的差别,而且换一个裁判模型,绝对分数的波动可能比成对比较的结果更大(Zheng 等,2023)。这三种用法可以组合使用。
为了研究裁判,Zheng 等还构建了两个基准(benchmark),即大家共用、用来比较不同模型的测试(Zheng 等,2023)。MT-Bench 是 80 道两轮对话的问题,分属写作、角色扮演、信息抽取、推理、数学、编程、理工知识和人文社科知识 8 类,每类 10 道。Chatbot Arena 是一个众包平台:用户同时向两个匿名模型提问,投票选出更好的回答,投票后才看到模型名字。本章的练习使用 MT-Bench 上公开的人类评判数据。
第 12.1 节引用的文献 1
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
12.2 参考答案与评分规则的作用 #
裁判的判断从哪里来?如果给了参考答案,它可能主要是在做一件简单得多的事:比较回答和参考答案是否一致。如果没有参考答案,它就得自己知道正确答案,或者自己会做这道题。这两种情况下,裁判的可信程度可以差得很远。
Zheng 等的一个发现很能说明问题(Zheng 等,2023)。在一些基础的数学题上,裁判模型单独去做这道题是能做对的,但让它评判别人的回答时,它会被待评的回答带偏,把错误的回答判为正确。作者以 GPT-4 为裁判,用 10 道数学题、每题交换顺序评两次(共 20 次判断)做了测试,统计裁判把错误答案判为正确的次数:直接评判时失败 14 次;先让裁判自己解一遍再评判(类似让它先写出推理过程),失败 6 次;先让裁判独立解题,再把它自己的解答作为参考答案放进评判提示里,失败 3 次(Zheng 等,2023)。作者还注意到,即使让裁判先自己解题,它在解题过程中也常常犯和待评回答一模一样的错误;作者认为,这提示它可能仍然受到了上下文中那个回答的影响(Zheng 等,2023)。
这个例子说明两件事。第一,“能做对”和“能判断别人做得对不对”是两种不同的能力,后者并不自动随前者而来(第 7.4 节讲过类似的区别)。第二,把“自己解题”和“看待评回答”分开,能减少被带偏:裁判先在看不到待评回答时独立解题,再拿自己的解答去对照,失败从 14 次降到 3 次;只在同一个提示里先解题再评判,它仍常犯和待评回答一样的错误。要注意,这里的“参考答案”是裁判自己生成的,不是外部的标准答案,这个办法有效的前提是裁判自己能把题做对。
这给 scalable oversight 带来一个麻烦(本书的推断)。外部的标准答案能把裁判的工作变成简单得多的核对,但我们最需要模型裁判的地方,恰恰是没有外部标准答案的地方:如果有现成的正确答案,就不太需要裁判了。用裁判自己的解答当参考,只在它自己能做对时有帮助;而监督要应付的,正是裁判可能做不对的题。所以,在有外部参考答案的任务上测得的裁判准确率,不能直接搬到没有参考答案的任务上。同样,评分规则写得越具体,裁判的工作可能越接近逐条核对;但规则没写到的问题,裁判也就不一定会看。记账程序的三条规则没有提到“转账时两个账户要同时改动”,一个只按三条规则打分的裁判,就可能对转账中的错误视而不见。
所以,报告一个裁判实验时,要说清裁判看到了什么:有没有参考答案、参考答案从哪里来、评分规则写了哪些条目。条件允许时,可以分别在有和没有参考答案的条件下测一次,看裁判的表现有多少来自参考答案;也可以故意给一个错误的参考答案,看裁判会不会照搬它。
写评分规则本身也是一项设计工作。本书建议几条做法:每一条都写成可以回答“是”或“否”的具体问题,而不是“质量高不高”这样的笼统问题;要求裁判对每一条给出依据,例如引用原文或代码行,这样人可以抽查依据是否属实;给裁判一个“判断不了”的选项,而不是逼它在“是”和“否”之间猜;规则之间可能冲突时,事先写明怎样取舍(第 21 章讨论原则冲突)。最后,要记住评分规则只覆盖写进去的东西,它的盲点很可能也是裁判的盲点。
第 12.2 节引用的文献 1
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
12.3 已知偏差 #
所谓偏差,是指裁判的判断系统性地受到某个与回答质量无关的因素影响。“系统性”的意思是,这种影响有固定的方向,不会因为多评几次就互相抵消。下面讲四种,都是 Zheng 等列出的局限,其中第三种又经 Goel 等推广(Zheng 等,2023;Goel 等,2025)。要注意,这里报告的数字都来自具体的模型和具体的测试,换了模型,偏差的大小可能完全不同,必须重新测量。
位置偏差(position bias):裁判偏爱某个位置上的回答;在 Zheng 等测的三个裁判中,多数偏爱第一个(Zheng 等,2023)。他们的测法是:用 GPT-3.5 对 MT-Bench 每道题的第一轮各生成两次回答,得到两个相似的回答,让裁判比较,然后交换两个回答的顺序再比较一次,看结论是否一致(Zheng 等,2023)。结果如下表。
| 裁判模型 | 交换顺序后结论一致 | 两次都选排在前面的 |
|---|---|---|
| Claude-v1 | 23.8% | 75.0% |
| GPT-3.5 | 46.2% | 50.0% |
| GPT-4 | 65.0% | 30.0% |
即使是其中最好的 GPT-4,也有约三分之一的情况,结论随顺序而变(Zheng 等,2023)。作者提醒,这个测试比较苛刻,因为两个回答非常相似,有时连人也分不出好坏。他们还换了一种提示,改掉两个助手的名字再测,发现 Claude-v1 的偏差有一部分来自名字而不是位置:它偏爱被叫作 Assistant A 的那一个(Zheng 等,2023)。
长度偏差(verbosity bias):裁判偏爱更长、更啰嗦的回答,即使它并不更清楚、更准确。Zheng 等设计了一个“重复列表”测试:挑出 MT-Bench 中 23 个含编号列表的回答,让模型把列表换个说法重写一遍、不加任何新信息,插到原列表前面,然后让裁判比较新旧两个版本。新版本只是更长,如果裁判判它更好,就算失败。失败率是 Claude-v1 和 GPT-3.5 都为 91.3%,GPT-4 为 8.7%(Zheng 等,2023)。作为对照,三个裁判面对两个完全相同的回答时,都能正确地判为平局。
偏爱相似的输出:裁判偏爱与自己相似的模型写出的回答。最简单的情形是偏爱自己写的回答。Zheng 等比较了不同裁判和人给出的平均胜率(一个模型对其余各模型胜率的平均;这里只看第一轮、不计平局的票),发现 GPT-4 给自己的平均胜率比人给的高约 10 个百分点,Claude-v1 高约 25 个百分点;但它们也偏爱别的模型,GPT-3.5 并不偏爱自己。作者明确说,由于数据有限、差别不大,他们的研究不能确定这些模型是否有偏爱自己的倾向(Zheng 等,2023)。
Goel 等把问题推广了一步:裁判是否偏爱与自己“想法相似”的模型,哪怕那不是它自己(Goel 等,2025)?他们先定义了一种衡量两个模型相似程度的指标:看两个模型在同一批题上犯的错误有多大重合,并扣除仅仅因为两者准确率都高而碰巧一致的部分。然后,他们在一个难题集上让裁判判断各模型的自由作答是否正确,裁判看不到标准答案,只能凭自己的知识判断;同时用同一批题的选择题形式测出每个模型的准确率,作为可以核对的参照(Goel 等,2025)。一个例子是:以 Qwen2.5-72B-Instruct 为裁判时,它认为 Qwen2.5-7B-Instruct 有 71% 的回答正确,而认为 Llama-3.1-70B-Instruct 只有 67% 正确,可是后者在选择题上的准确率更高(51% 对 41%)(Goel 等,2025)。两种数的测法不同,要看的是排序:裁判把选择题准确率更低的模型排在了前面。即使只看与裁判不属于同一系列的模型,在所有裁判上,裁判给出的分数也都与“被评模型和裁判的相似程度”显著正相关(相关系数与“显著”的含义见第 3.4 节),平均相关系数为 0.84;控制了被评模型的选择题准确率之后,相似程度的影响依然显著(Goel 等,2025)。Goel 等指出,一些用模型裁判打分的公开排行榜假定,只要裁判模型自己不参加排名,就能避开偏心(Goel 等,2025);上面的结果说明这还不够。这是在作者所研究的模型和任务上观察到的相关关系,不是普遍规律(第 24.4 节);它提醒我们,换一个“别家”的模型当裁判,并不自动消除偏心。
推理能力不足:裁判自己不会做的题,它判断不了;更麻烦的是,自己会做的题,它也可能被待评的回答带偏,这就是第 12.2 节的数学题例子。
这些偏差在监督中可能比在排行榜上更要紧。排行榜上的偏差会让排名失真;而一旦裁判的分数被用作训练信号,被训练的模型就可能朝裁判偏爱的方向走,包括那些与质量无关的方向,例如写得更长(第 8 章,第 23 章)。Zheng 等在比较几个模型变体时观察到,只用一小批高质量对话(约 3000 段)微调,就能很快教会模型一种 GPT-4 裁判(大致也是人)偏爱的风格,但不能明显提高它在知识类考试上的成绩;用多得多的对话数据微调,考试成绩才随数据量提高(Zheng 等,2023)。在这组模型上,风格比能力学得快;一个对风格敏感的裁判,就可能把风格上的进步当成能力上的进步(本书的推断)。
把四种偏差放到记账程序上:如果你总是把模型甲的修改放在前面,裁判可能因为位置而偏向甲;如果模型乙的修改注释写得更多,裁判可能因为长度而偏向乙;如果裁判和模型乙出自同一系列,它可能偏向乙;而规则三这种需要推理“写入中途失败会怎样”的问题,裁判可能根本判断不了。
第 12.3 节引用的文献 2
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
12.4 校准与一致性 #
怎样知道一个裁判好不好?最常用的办法,是看它和人的判断有多一致。
Zheng 等在 MT-Bench 上请了 58 位评估者,大多是研究生,作者把他们视为比一般众包工作者更有能力的专家级评估者;每人至少评 20 道随机抽取的题,共得到约 3000 票(Zheng 等,2023)。一致率定义为:随机挑一道题,从一类裁判(例如人类专家)和另一类裁判(例如 GPT-4)中各随机挑一个,两者判断相同的概率。作者报告了两种算法:一种把平局(以及因位置偏差而前后矛盾的判断)都算进去,三种结果(A 好、B 好、平局)随机乱猜时的一致率约为 33%;另一种只看两边都没有判平局的那些票,随机乱猜时为 50%(Zheng 等,2023)。在第一轮对话上,按第一种算法,GPT-4 与人的一致率是 66%,人与人之间是 63%;按第二种算法,GPT-4 与人是 85%,人与人是 81%(Zheng 等,2023)。也就是说,在第一轮对话上,GPT-4 与人的一致程度不低于人与人之间的一致程度。作者还发现,被比较的两个模型实力差距越大,GPT-4 与人的一致率越高,从约 70% 升到接近 100%(Zheng 等,2023)。
这些结果常被概括为“GPT-4 当裁判和人一样好”。这个概括要加上几个限定。
第一,与人一致不等于客观正确。人的偏好本身就不等于正确(第 6.5 节):人也会偏爱某些风格,也会在看不懂的题上判错。如果人和模型裁判犯同样的错,它们会显得非常一致。Zheng 等研究的是“有帮助”这一项,作者自己说论文基本没有涉及安全,也把准确、相关、有创意等多个维度合并成了一个分数(Zheng 等,2023)。在有客观答案的地方,应该拿裁判和答案比,而不只是和人比,这正是 Goel 等用选择题准确率作参照的原因(Goel 等,2025)。
第二,总体一致率掩盖了难题。一致率随实力差距升高,说明容易分辨的比较拉高了平均值。监督中要判的,常常是两个回答旗鼓相当、难以分辨的情形(本书的推断)。在 Zheng 等的数据中,两个模型胜率相差很小时,GPT-4 与人的一致率(不计平局)约为 70%,低于总体的 85%(Zheng 等,2023)。
第三,人看到模型的判断之后,会向它靠拢。在 Zheng 等收集数据时,如果一个人投票后发现自己的选择和 GPT-4 不同,系统会再把 GPT-4 的判断展示给他,问他是否合理。人们认为 GPT-4 的判断合理的情况占 75%,并且有 34% 的情况愿意改变自己的选择(Zheng 等,2023)。作者把这看作 GPT-4 能帮助人作出更好判断的证据;从第 13 章的角度看,它也说明人看到模型的判断之后,相当常表示愿意改变自己的选择,而改变本身并不说明改对了。由此得出的设计要求是(本书的推断):用来检验裁判的人类标签,应当在人没有看过裁判意见时收集,并在报告中写明收集流程。
一致率之外,还有两个相关的概念。
一致性(consistency):同一个裁判在本应得出相同结论的条件下,是否得出相同结论。最简单的情形是把同一个输入原样再判一次:裁判也在采样,两次的结论可能不同,怎样测、要报告什么见第 5.4 节。另一种情形是交换顺序前后。Zheng 等发现,在提示中加入几个评判示例,可以把 GPT-4 交换顺序后的一致率从 65.0% 提高到 77.5%;但他们也提醒,一致性高不一定意味着准确率高,而且示例可能带来新的偏差(Zheng 等,2023)。一个总选第一个回答的裁判,在“不交换顺序”的重复测试中是完全一致的,却毫无用处。
评估者校准:裁判给出的分数或把握程度,是否与实际的好坏相对应。例如,一个裁判说“我有九成把握 A 更好”的那些比较中,A 是否真的大约九成更好;一个裁判打 8 分的回答,是否真的比打 6 分的回答更常被专家认为更好。校准需要参考答案或可靠的人类判断才能检验。举一个为说明而设的例子:一个裁判对 100 对修改都说“有九成把握”,而对照测试结果,它只在其中 70 对上选对了。它的准确率 70% 本身不算差,但它的把握程度高估了 20 个百分点。如果下游的流程按“裁判有九成把握就不再复核”来分配人的时间,这 30 个错误就会全部漏过去(第 11.8 节)。第 13.4 节讨论人的信心校准,道理相同。
第 12.4 节引用的文献 2
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
12.5 设计一个可信的裁判实验 #
把前面几节合起来,一个可信的裁判实验至少要控制下面几件事。每一条都对应一种已知的偏差或一个已知的陷阱。
交换顺序。每对回答按两种顺序各评一次。Zheng 等采用的保守做法是:只有一个回答在两种顺序下都被判为更好,才算它赢;两次结论不一致,就算平局(Zheng 等,2023)。另一种做法是每次随机决定顺序,这在样本量很大时可以让位置偏差在平均上抵消,但不能消除单次判断中的偏差。无论哪种做法,都要报告交换顺序后的一致率。
控制长度。报告两个回答的长度,检查裁判的偏好是否随长度变化。可以像“重复列表”测试那样,构造一批内容相同、只是更长的回答,直接测裁判会不会上当。比较模型时,可以把长度相近的回答放在一起比,或者在分析时把长度作为一个需要控制的因素。
更换裁判模型。用不止一个裁判,最好来自不同的开发者和训练路线,看结论是否一致。还要检查裁判与被评模型的相似程度:裁判与被评模型越相似,越要怀疑它偏心(第 12.3 节)。不同裁判一致,也不等于它们独立地正确,它们可能有共同的盲点(第 24 章)。
隐去身份。不告诉裁判回答出自哪个模型、属于哪个实验条件、研究者希望得到什么结果。
说清参考答案和评分规则。写明裁判看到了什么。有条件时,比较有和没有参考答案两种设置,并检查一个错误的参考答案会不会被裁判照搬(第 12.2 节)。
用人或真值检验裁判。随机抽出一部分判断,由人在不看裁判意见的情况下独立评判,或者对照客观答案,算出裁判的一致率、误报率和漏检率(第 11.6 节)。还可以埋入已知好坏的回答,看裁判能否正确识别。报告一致率时,同时报告随机乱猜的水平和人与人之间的一致率作为参照。
分开报告。裁判的结果是裁判的结果,不能直接写成“人认为”。把模型裁判的表现外推成人类的表现,是附录 A 列出的常见错误之一。
回到记账程序。一个可信的做法是这样的:对每对修改,按两种顺序各请裁判评一次,只在两次结论一致时采纳;同时请两个来自不同开发者的裁判;检查裁判是否系统地偏爱注释更多的版本;从全部判断中随机抽一部分,请那位资深程序员用测试独立核对;对于规则三,因为裁判可能判断不了,最好直接用能制造写入失败的测试来检查,而不是依赖任何裁判(第 20 章)。
第 12.5 节引用的文献 1
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
读物 #
- 实验结果 · 会议论文:Zheng 等《Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena》(NeurIPS 2023)(Zheng 等,2023),重点读关于偏差的部分(第 3 节)和一致率的部分(第 4 节)。注意每个偏差是用什么测试测出来的,以及作者自己说“不能确定”的地方。
- 实验结果 · 会议论文:Goel 等《Great Models Think Alike and this Undermines AI Oversight》(ICML 2025)(Goel 等,2025),读第 3 节:模型裁判的打分偏向与自己相似的模型。注意它的相似性指标怎样扣除准确率带来的“碰巧一致”。
本节引用的文献 2
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
练习 #
数据从哪里来。Zheng 等公开了 MT-Bench 上的人类评判和 GPT-4 评判(Zheng 等,2023)。数据发布在 Hugging Face 上,名为 lmsys/mt_bench_human_judgments(许可为 CC BY 4.0),网址是 https://huggingface.co/datasets/lmsys/mt_bench_human_judgments,可以在网页上的数据查看器里直接浏览。查看器每页 100 行,要看某个行号的记录,可以直接打开 …/viewer/default/human?p=页码&row=行号,页码是行号除以 100 取整,例如行号 1743 对应 …/viewer/default/human?p=17&row=1743。它有两个部分:human,3355 条人类成对评判;gpt4_pair,2400 条 GPT-4 成对评判(80 道题 × 6 个模型的 15 种两两组合 × 2 轮)。每条记录有题号 question_id、两个模型名 model_a 和 model_b、胜者 winner(model_a、model_b 或 tie;GPT-4 部分另有 tie (inconsistent),表示交换顺序后结论不一致)、裁判 judge(人类部分为 expert_… 或 author_…)、轮次 turn,以及两段完整对话。
抽取规则(在看结果之前定下)。
- 在
human部分中,只保留裁判以expert_开头(不含论文作者)且轮次为 1 的记录,按数据集原有顺序排列,共 1343 条。 - 从第 1 条开始,每隔 26 条取一条(第 1、27、53……条),取 50 条。
- 对每一条,在
gpt4_pair部分找到同一道题、同样两个模型(顺序不限)、同一轮次的 GPT-4 判断。 tie (inconsistent)按平局计。
脚本 tools/exercises/ch12_mtbench.py(只用标准库)实现了这些步骤:--download 目录 下载数据,--data 目录 打印下表和全部统计,--show 行号 打印某条记录的完整对话。下表就是它的输出。为了让两边可以直接比较,表中把两个模型按名字的字母顺序记为 A 和 B,这不是裁判当时看到的顺序。“平*”表示 GPT-4 交换顺序后结论不一致。
| 序号 | 行号 | 题号 | 类别 | 回答 A | 回答 B | 人类专家 | GPT-4 |
|---|---|---|---|---|---|---|---|
| 1 | 2 | 81 | 写作 | alpaca-13b | gpt-3.5-turbo | B | B |
| 2 | 66 | 82 | 写作 | claude-v1 | gpt-4 | A | B |
| 3 | 125 | 84 | 写作 | alpaca-13b | vicuna-13b-v1.2 | B | B |
| 4 | 189 | 85 | 写作 | alpaca-13b | vicuna-13b-v1.2 | 平 | B |
| 5 | 248 | 87 | 写作 | gpt-3.5-turbo | gpt-4 | 平 | B |
| 6 | 310 | 89 | 写作 | claude-v1 | gpt-4 | A | A |
| 7 | 376 | 90 | 写作 | gpt-4 | vicuna-13b-v1.2 | A | A |
| 8 | 444 | 92 | 角色扮演 | alpaca-13b | vicuna-13b-v1.2 | B | 平* |
| 9 | 518 | 93 | 角色扮演 | gpt-4 | vicuna-13b-v1.2 | A | A |
| 10 | 585 | 95 | 角色扮演 | gpt-4 | llama-13b | A | A |
| 11 | 648 | 97 | 角色扮演 | claude-v1 | llama-13b | B | A |
| 12 | 706 | 98 | 角色扮演 | gpt-3.5-turbo | llama-13b | A | A |
| 13 | 779 | 99 | 角色扮演 | gpt-3.5-turbo | vicuna-13b-v1.2 | A | A |
| 14 | 848 | 101 | 推理 | claude-v1 | gpt-3.5-turbo | 平 | 平 |
| 15 | 906 | 102 | 推理 | claude-v1 | vicuna-13b-v1.2 | B | B |
| 16 | 972 | 104 | 推理 | alpaca-13b | gpt-3.5-turbo | 平 | B |
| 17 | 1036 | 105 | 推理 | gpt-3.5-turbo | gpt-4 | 平 | B |
| 18 | 1100 | 106 | 推理 | gpt-4 | vicuna-13b-v1.2 | A | A |
| 19 | 1164 | 108 | 推理 | claude-v1 | gpt-4 | B | B |
| 20 | 1228 | 110 | 推理 | alpaca-13b | gpt-4 | B | B |
| 21 | 1290 | 111 | 数学 | gpt-3.5-turbo | vicuna-13b-v1.2 | 平 | A |
| 22 | 1358 | 112 | 数学 | llama-13b | vicuna-13b-v1.2 | B | B |
| 23 | 1422 | 114 | 数学 | gpt-3.5-turbo | llama-13b | A | A |
| 24 | 1484 | 115 | 数学 | llama-13b | vicuna-13b-v1.2 | B | 平 |
| 25 | 1550 | 117 | 数学 | gpt-3.5-turbo | gpt-4 | B | B |
| 26 | 1618 | 119 | 数学 | alpaca-13b | llama-13b | B | 平 |
| 27 | 1680 | 120 | 数学 | claude-v1 | vicuna-13b-v1.2 | A | 平* |
| 28 | 1743 | 122 | 编程 | claude-v1 | gpt-4 | A | B |
| 29 | 1802 | 123 | 编程 | gpt-4 | vicuna-13b-v1.2 | 平 | A |
| 30 | 1862 | 125 | 编程 | alpaca-13b | gpt-4 | B | B |
| 31 | 1928 | 127 | 编程 | alpaca-13b | claude-v1 | B | B |
| 32 | 1991 | 128 | 编程 | gpt-4 | llama-13b | A | A |
| 33 | 2057 | 130 | 编程 | alpaca-13b | gpt-3.5-turbo | B | B |
| 34 | 2118 | 132 | 信息抽取 | alpaca-13b | gpt-3.5-turbo | 平 | 平 |
| 35 | 2180 | 133 | 信息抽取 | claude-v1 | gpt-4 | 平 | A |
| 36 | 2259 | 135 | 信息抽取 | claude-v1 | gpt-3.5-turbo | 平 | 平 |
| 37 | 2319 | 136 | 信息抽取 | claude-v1 | vicuna-13b-v1.2 | A | A |
| 38 | 2396 | 138 | 信息抽取 | gpt-4 | vicuna-13b-v1.2 | B | A |
| 39 | 2459 | 140 | 信息抽取 | gpt-3.5-turbo | llama-13b | 平 | A |
| 40 | 2525 | 142 | 理工知识 | alpaca-13b | vicuna-13b-v1.2 | A | B |
| 41 | 2592 | 143 | 理工知识 | gpt-3.5-turbo | vicuna-13b-v1.2 | A | 平* |
| 42 | 2652 | 145 | 理工知识 | alpaca-13b | llama-13b | A | A |
| 43 | 2717 | 147 | 理工知识 | alpaca-13b | claude-v1 | B | B |
| 44 | 2779 | 148 | 理工知识 | gpt-3.5-turbo | vicuna-13b-v1.2 | B | A |
| 45 | 2841 | 149 | 理工知识 | gpt-4 | llama-13b | A | A |
| 46 | 2919 | 151 | 人文社科 | claude-v1 | vicuna-13b-v1.2 | B | 平* |
| 47 | 2997 | 153 | 人文社科 | alpaca-13b | claude-v1 | B | B |
| 48 | 3065 | 154 | 人文社科 | llama-13b | vicuna-13b-v1.2 | B | B |
| 49 | 3127 | 156 | 人文社科 | alpaca-13b | gpt-4 | B | B |
| 50 | 3193 | 157 | 人文社科 | alpaca-13b | gpt-4 | 平 | B |
概念路线(手算)。
- 算出 50 条中 GPT-4 与人类专家判断相同的比例(平局算作一种判断)。
- 只看两边都没有判平局的记录,再算一次一致率。
- 把不一致的记录分成三类:人判平局而 GPT-4 没有;GPT-4 判平局而人没有;两边选了相反的胜者。
- 取两边选了相反胜者的前 5 条(按序号),用数据查看器或
--show 行号读出两段对话。对每一条,先判断分歧属于事实错误(有一方的回答在可以核对的事实、计算或代码上出了错)还是偏好不同(两个回答都没有明显错误,只是风格、详略、语气不同);再判断谁对。证据不足或属于偏好不同时,记为“无法裁定”。
实验路线。用全部 expert_ 记录(两轮)重复第 1、2 问,并分别按轮次报告,和论文表 5 的数字比较。再加做:选 10 对回答,用一个你能调用的模型当裁判(可以是本地小模型),先按原顺序、再交换顺序各评一次;然后把其中一个回答按“重复列表”的办法加长,再评一次。记录结论变化的次数。
提示
第 1、2 问只需要数表中最后两列。所有记录都是对第一轮回答的评判,第 4 问只需读两段对话的第一轮。第 3 问注意:“平”和“平*”都算平局。第 4 问中,编程、数学、推理、信息抽取类的题更可能有可以核对的事实;写作、角色扮演类的分歧更可能是偏好不同,但不要凭类别下结论,要读对话。
解答
- 50 条中有 29 条相同,一致率 = 29 ÷ 50 = 58.0%。
- 两边都没判平局的有 32 条,其中 26 条相同,一致率 = 26 ÷ 32 ≈ 81.2%。
- 不一致的 21 条中:人判平局而 GPT-4 没有 9 条;GPT-4 判平局而人没有 6 条;相反胜者 6 条(序号 2、11、28、38、40、44)。可见大多数分歧与平局有关,而不是“选了相反的一方”。
- 前 5 条是序号 2、11、28、38、40。本问没有唯一答案,评分要点:(a) 每条都写出依据,引用对话中具体的句子或代码;(b) 能区分“可以核对的错误”和“风格偏好”,例如一段代码在某种输入下的行为可以通过阅读或运行来核对,而邮件写得是否得体属于偏好;(c) 不确定时诚实地记为“无法裁定”,而不是默认相信人或默认相信 GPT-4;(d) 意识到人类专家也可能判错,“与人不一致”不等于裁判错了。以序号 28(编程题)为例:两段 C++ 程序都用递归求斐波那契数,claude-v1 的版本在输入小于 0 时只打印提示而没有返回值,这在 C++ 中属于未定义行为,是一个可以核对的事实差别;它是否足以决定哪个回答“更好”,还要看其余部分,你需要读完两段回答再下结论。
实验路线:用全部专家记录,第一轮的两种一致率是 886 ÷ 1343 ≈ 66.0% 和 727 ÷ 859 ≈ 84.6%,第二轮是 871 ÷ 1325 ≈ 65.7% 和 731 ÷ 864 ≈ 84.6%。票数和比例都与论文表 5 中 GPT-4 成对比较与人类的数字(第一轮 66%、1343 票和 85%、859 票;第二轮 66%、1325 票和 85%、864 票)吻合,这说明数据和抽取方法是对的。50 条样本的 58.0% 低于全体的 66.0%,但 50 条样本的标准误约为 6.7 个百分点(第 3.3 节),这样的差别在抽样误差的范围内。这正是不能只凭 50 条下结论的原因。加做部分没有标准答案,评分要点:两种顺序的判断是否都记录了;是否报告了交换顺序后的一致率和加长后改判的次数;是否说明所用裁判模型的名称和版本,并指出 10 对的结果只能用于体会,不能当作测量。
下面是为教学构造的数据。一个模型裁判比较模型 1 的回答 X 和模型 2 的回答 Y,共 12 道题,每题评两次:一次 X 在前,一次 Y 在前。表中记录的是裁判选了“前一个”还是“后一个”。
| 题 | X 在前时选 | Y 在前时选 |
|---|---|---|
| Q1 | 前一个 | 后一个 |
| Q2 | 前一个 | 前一个 |
| Q3 | 后一个 | 前一个 |
| Q4 | 前一个 | 后一个 |
| Q5 | 前一个 | 前一个 |
| Q6 | 前一个 | 前一个 |
| Q7 | 后一个 | 后一个 |
| Q8 | 前一个 | 后一个 |
| Q9 | 前一个 | 前一个 |
| Q10 | 后一个 | 前一个 |
| Q11 | 前一个 | 前一个 |
| Q12 | 前一个 | 后一个 |
- 交换顺序后结论一致(两次选的是同一个回答)的比例是多少?两次都选排在前面的比例是多少?
- 如果实验者每次都把 X 放在前面、只评一次,X 赢几题?如果每次都把 Y 放在前面呢?
- 按“只有两种顺序下都被判为更好才算赢,否则算平局”的规则,X 和 Y 各赢几题?
- 用一两句话说明,为什么只按一种顺序评判的实验,结论可能取决于实验者怎样摆放回答。
解答
- 一致的有 Q1、Q3、Q4、Q8、Q10、Q12,共 6 题,占 6 ÷ 12 = 50.0%(其中 X 赢 4 题,Y 赢 2 题)。两次都选前一个的有 Q2、Q5、Q6、Q9、Q11,共 5 题,占约 41.7%;两次都选后一个的只有 Q7,约 8.3%。
- X 总在前:X 赢 9 题,Y 赢 3 题。Y 总在前:X 赢 5 题,Y 赢 7 题。同一个裁判、同一批回答,只因为摆放顺序不同,“谁更好”的结论就反过来了。
- X 赢 4 题,Y 赢 2 题,平局 6 题。
- 有一半的题,裁判的选择由位置而不是内容决定;只评一种顺序时,这一半题全部归给被放在有利位置的一方。所以要么两种顺序都评、只采纳一致的结论,要么至少随机安排顺序并报告交换后的一致率。
本节引用的文献 1
- Zheng 等人(2023)Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
学完能做到 #
- 区分单答案评分、成对比较和按评分规则打分,说出各自的长处和短处。
- 设计一个模型裁判实验时,列出至少三种需要控制的偏差(位置、长度、偏爱相似输出、推理不足),并为每一种给出一个具体的控制办法。
- 解释为什么裁判与人的一致率高,不等于裁判客观正确;算出一个一致率,并说明平局怎样处理、随机乱猜的水平是多少。
参考文献
- (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §12.3 §12.4
- (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. doi:10.52202/075280-2020. 引用于 §12.1 §12.2 §12.3 §12.4 §12.5