Scalable Oversight 入门
第零部分:先修知识

草稿 内容完整但尚未审校,可能还会修改

第 3 章概率与统计

路线全部路线最短路线最短路线读 3.1 至 3.4、3.6、3.7 节

本章导读

本章问题
  • 一个实验结果有多可信?
要点
  • 换一批题,分数就会变;标准误给准确率加上误差范围,样本量变成 4 倍,误差才减半(§3.3)。
  • 比较两个模型要在同一批题上配对,直接估计差值的区间;两个区间是否重叠不是检验(§3.4)。
  • 同一道题多次采样、同一篇文章出多道题,都不能当作更多的独立题目来算误差(§3.5)。
  • n 个独立的含错案例全部检出,漏检率的 95% 上界约为 3/n,只适用于抽样覆盖的错误类型(§3.7)。
本章的视频讲解,4 分 58 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07甲真的比乙好吗
    同一批 200 道题,模型甲答对 71%,模型乙答对 69%。2 个百分点只是甲净多答对 4 道题。换一批题,结果也许反过来。是甲真的更强,还是碰巧抽到了对甲有利的题?
  2. 0:24概率、条件概率与独立3.1
    题库 1000 道题,模型能答对 700 道:随机抽一道,答对的概率是 0.7。已知是数学题,答对的概率是 240 ÷ 400 = 0.6,叫条件概率。一件事的结果不改变另一件事的概率,叫独立;这时两者同时发生的概率是各自相乘。
  3. 0:46换一批题,分数就变3.2
    假设模型在所有这类题上的准确率恰好是 70%。每次随机抽 200 道题算一次准确率,重复 10 次,分数从 63.5% 到 72.5% 不等。模型没变,变的是题,这叫抽样误差。
  4. 1:04题越多,误差越小3.2
    方差衡量得分离平均有多散。n 道题的平均准确率,方差是 p(1 − p) ÷ n,开平方就是它的标准差,3.3 节叫它标准误:p = 0.7、n = 200 时约 3.2 个百分点。题数变成 4 倍,误差才减半。
  5. 1:25钟形曲线与 1.963.3
    把 10000 次模拟的准确率画成直方图,是以 70% 为中心的钟形,叫正态分布。约 95% 的值落在中心两侧各 1.96 个标准差以内,模拟里是 95.0%。于是 95% 置信区间 = 准确率 ± 1.96 × 标准误。模型甲:71% ± 1.96 × 3.21,即 [64.7%, 77.3%]。
  6. 1:4795% 说的是算法3.3
    真实准确率是一个固定的数,随机的是区间。模拟里每次都这样算一个区间,10000 个中有 94.7% 包含设定的 70%。手上只有一个区间时,比如甲的 [64.7%, 77.3%],它包含真实值与否,我们不知道。
  7. 2:07重叠不是检验3.4
    甲、乙的区间大部分重叠,但重叠不是检验。看重叠,等于拿两个标准误之和 6.5 当尺子;即使两个分数来自两批互不相关的题,差值的标准误也只有约 4.6 个百分点:斜边比两边之和短。
  8. 2:28配对:只看不一致的题3.4
    两个模型做的是同一批题,可以逐题比较,每道题只有四种情况。两个都对、两个都错的题在相减时抵消,准确率之差只由结果不一致的题决定。
  9. 2:48回到 200 道题3.4
    用练习 3.1 的数据算:配对的差值 2 个百分点,标准误 2.8,95% 区间 [−3.5, 7.5],包含 0。2 个百分点不足以说明甲更好,也不证明两者一样好。
  10. 3:05样本不独立3.5
    前面假设每道题独立抽取、只答一次。同一道题答 5 次,标准误只从 3.46 降到 2.83,再多也低不过 2.65,不能当作 1000 道独立的题来算。同一篇文章的 4 道题若总是同对同错,200 道题只相当于 50 个观察,标准误翻倍。
  11. 3:29对照组与随机分组3.6
    假设看了批评再重判,正确率从 60% 升到 75%。这 15 个百分点里还混着多看一遍、多花时间、更熟悉任务。对照组同样重判、同样用时,只是不看批评。谁进哪组抛硬币决定。两组的差别才能归因于批评。
  12. 3:53零失败不等于零漏检3.7
    按规定的错误分布,独立生成 100 个含错的记账程序版本,检查器全部检出。可漏检率 1% 的检查器,100 个全部检出的概率也有 36.6%。取这个概率不低于 5% 的最大漏检率,得到单侧 95% 上界 2.95%;n 大时约为 3/n,叫三法则。
  13. 4:18分母与覆盖范围3.7
    分母只算含错的案例:100 个版本只有 5 个含错并全部检出,上界仍约 45%。案例之间不独立,有效的 n 更小。上界也只适用于抽样覆盖的错误类型:清单外的“写入失败”,漏检率可能是任何值。

带走的几句话:

  1. 换一批题,分数就会变;样本量变成 4 倍,误差才减半。
  2. 比较两个模型,在同一批题上配对,直接估计差值的区间。
  3. 同一道题多次采样,不能当作更多的独立题目来算误差。
  4. n 个独立含错案例零漏检,漏检率的 95% 上界约 3/n,只对抽样覆盖的类型成立。

第 1 章说,全书的核心问题是“我凭什么相信它对”。后面的章节会不断遇到用实验回答这个问题的研究:某种监督方法让人的判断正确率提高了多少,一个模型比另一个强多少,一个检查器能发现多少错误。实验最后给出的总是一个数。本章要回答的是:这个数有多可信。

先看一个例子。模型甲在 200 道题上答对了 71%,模型乙答对了 69%,两者做的是同一批题。甲真的更好吗?直觉说是的,71 比 69 大。可是 2 个百分点在 200 道题上,只是甲净多答对了 4 道题。换一批 200 道题,甲也许只答对 68%,乙也许答对 72%。这 4 道题的差别,是甲真的更强,还是碰巧抽到了对甲有利的题?再进一步:如果每道题让模型各回答 5 次再取平均,结论会可信多少?

本章依次建立回答这些问题所需的工具:概率的基本语言(第 3.1 节),分数为什么会随题目变化(第 3.2 节),怎样给准确率加上误差范围(第 3.3 节),怎样比较两个方法(第 3.4 节),样本不独立时怎么办(第 3.5 节),实验为什么要随机分组、设对照组(第 3.6 节),以及“测试中从未失败”到底能说明什么(第 3.7 节)。本章是全书统计工具的出处:第二部分的实验设计、第 17 章的弱到强实验、第 28.5 节的罕见风险统计,都会回到这里。正文的计算都可以用计算器完成;练习里另有给实验路线的代码。

3.1 概率、条件概率与期望 #

概率(probability)描述一件事发生的可能性有多大,是 0 到 1 之间的一个数。掷一枚均匀的骰子,六个面朝上的机会相同,所以掷出 6 的概率是 1/6。一种直观的理解是:掷很多很多次,大约六分之一的次数会出现 6。

同样的语言可以描述模型答题。设想一个有 1000 道题的题库,某个模型能答对其中 700 道。从题库里随机抽一道题,每道题被抽中的机会相同,那么抽到一道它能答对的题的概率是 700 ÷ 1000 = 0.7。这里的随机性来自“抽到哪道题”。模型对同一道题每次的回答也可能不同,那是另一种随机性,留到第 3.5 节再讨论。

条件概率(conditional probability)是已知某件事发生时,另一件事发生的概率。掷骰子时,如果已经知道结果是偶数,那么结果只可能是 2、4、6,其中是 6 的概率就变成了 1/3。已知的条件缩小了可能的范围。“在 B 发生的条件下 A 发生的概率”记作 P(A∣B)P(A \mid B),它等于“A 和 B 同时发生的概率”除以“B 发生的概率”,也就是在 B 发生的那些情形里,A 也发生的比例:

P(A∣B)=P(A 且 B)P(B)P(A \mid B) = \frac{P(A \text{ 且 } B)}{P(B)}

回到题库。假设 1000 道题里有 400 道数学题、600 道阅读题,模型答对了 240 道数学题、460 道阅读题,合计 700 道。那么:

  • 已知抽到的是数学题,答对的概率是 P(答对∣数学)=240÷400=0.6P(\text{答对} \mid \text{数学}) = 240 \div 400 = 0.6;
  • 已知抽到的是阅读题,答对的概率是 460÷600≈0.767460 \div 600 \approx 0.767。

总体的 0.7 掩盖了两类题之间的差别。条件概率在本书里随处可见。例如第 3.7 节的“漏检率”,就是“在案例确实含错的条件下,检查器没有发现它”的概率,算它时分母只能是含错的案例。

独立(independent)是指知道一件事的结果,不会改变另一件事的概率。连掷两次骰子,第一次掷出什么,不影响第二次。两件独立的事同时发生的概率,等于各自概率的乘积:两次都掷出 6 的概率是 16×16=136\frac{1}{6} \times \frac{1}{6} = \frac{1}{36}。更多件独立的事同时发生,就把它们的概率都乘起来。第 3.7 节会用到这个乘法。独立是一个需要检查的假设,不能想当然。比如同一篇文章出的两道阅读题,如果模型读错了这篇文章,两道题很可能一起答错,它们就不独立。

最后是期望(expectation,也叫期望值)。把一次随机结果对应的数记作 XX,这种由随机结果决定的数叫随机变量(random variable)。期望是 XX 在长期中的平均值,算法是把每个可能的取值乘以它的概率,再加起来:

E[X]=∑kk⋅P(X=k)E[X] = \sum_{k} k \cdot P(X = k)

掷骰子时,E[X]=1×16+2×16+⋯+6×16=3.5E[X] = 1 \times \frac{1}{6} + 2 \times \frac{1}{6} + \cdots + 6 \times \frac{1}{6} = 3.5。期望不必是一个能掷出来的数,它是掷很多次之后的平均。

对答题来说,最有用的是一种只取 0 和 1 的随机变量:答对记 1,答错记 0。它的期望是 1×0.7+0×0.3=0.71 \times 0.7 + 0 \times 0.3 = 0.7,正好等于答对的概率。所以,模型在整个题库上的准确率,就是“随机抽一道题的得分”的期望。实验里算出的准确率,是若干道题的 0 和 1 的平均值,用来估计这个期望。下一节讨论这种估计会差多少。

3.2 方差与抽样误差 #

期望说明一个随机变量的中心在哪里,方差(variance)说明它分散得有多开:它是“取值与期望之差的平方”的期望,也就是平均起来离中心有多远(取平方是为了让左右两边的偏离都算正数):

Var(X)=E[(X−E[X])2]\mathrm{Var}(X) = E\big[(X - E[X])^2\big]

掷骰子时,六个取值与 3.5 的差是 −2.5,−1.5,−0.5,0.5,1.5,2.5-2.5, -1.5, -0.5, 0.5, 1.5, 2.5,平方后是 6.25、2.25、0.25、0.25、2.25、6.25,平均为 17.5÷6≈2.9217.5 \div 6 \approx 2.92。方差的单位是原单位的平方,不好直观理解,所以常取它的平方根,叫标准差(standard deviation),这里约为 1.71,大致是“一次结果离平均值的典型距离”。

对 0/1 得分,方差有一个简单的式子。设答对的概率是 pp:得分为 1 的概率是 pp,这时离期望 pp 的距离是 1−p1 - p;得分为 0 的概率是 1−p1 - p,距离是 pp。代入定义:

Var(X)=p(1−p)2+(1−p)p2=p(1−p)\mathrm{Var}(X) = p(1-p)^2 + (1-p)p^2 = p(1-p)

p=0.7p = 0.7 时方差是 0.21,标准差约 0.458。p=0.5p = 0.5 时方差最大,为 0.25;pp 越接近 0 或 1,方差越小:一个几乎总答对的模型,得分几乎没有起伏。

方差还有一种等价的算法,后面会用到:方差等于“平方的平均”减去“平均的平方”,即 Var(X)=E[X2]−(E[X])2\mathrm{Var}(X) = E[X^2] - (E[X])^2。用骰子验证一次:六个面的平方是 1、4、9、16、25、36,平均为 91÷6≈15.1791 \div 6 \approx 15.17;减去 3.52=12.253.5^2 = 12.25,得 2.92,与上面一致。对 0/1 得分更简单:0 和 1 平方后不变,所以平方的平均就是 pp,减去 p2p^2,得 p−p2=p(1−p)p - p^2 = p(1-p),也与上面一致。

现在区分两个词。我们关心的是模型在“所有这类题”上的准确率,这批题叫总体(population)。实验里实际用到的那 200 道题,是从总体中抽出的样本(sample),题数 n=200n = 200 叫样本量(sample size)。总体的准确率记作 pp,我们看不到;看得到的是样本上的准确率,记作 p^\hat p(读作“p hat”),它是对 pp 的估计。p^\hat p 和 pp 之间因为“碰巧抽到了哪些题”而产生的差别,叫抽样误差(sampling error)。

抽样误差有多大?下面是一个为教学构造的模拟:假设某个模型在总体上的准确率恰好是 70%,从总体中随机抽 200 道题,算一次准确率,重复 10 次。得到的 10 个准确率是:

69.5%,69.0%,71.0%,70.0%,68.5%,72.5%,72.5%,72.5%,69.0%,63.5%

同一个模型,能力完全没变,分数从 63.5% 到 72.5% 不等。这就回答了“为什么同一个模型换一批题,分数就会变”:变的是题,不是模型。

抽样误差的大小有规律可循。p^\hat p 是 nn 道题得分的平均值。如果这些题是独立抽取的,那么平均值的方差等于单道题得分的方差除以 nn:

Var(p^)=p(1−p)n\mathrm{Var}(\hat p) = \frac{p(1-p)}{n}

直观地说,求平均时,各道题的偶然偏离会互相抵消一部分,题越多,抵消得越充分。对 p=0.7p = 0.7、n=200n = 200,p^\hat p 的标准差是 0.21÷200≈0.0324\sqrt{0.21 \div 200} \approx 0.0324,约 3.2 个百分点。把上面的模拟重复 10000 次,这 10000 个准确率的标准差是 3.22 个百分点,与公式一致。

这个公式里有一个平方根,它带来一个重要的推论:要把抽样误差减半,样本量要变成 4 倍。误差随样本量减小得很慢。

3.3 标准误与置信区间 #

上一节的 p^\hat p 的标准差,有一个专门的名字:标准误(standard error,常缩写为 SE)。它衡量的是:假如把同样的实验重复很多次,每次重新抽题,得到的准确率会在多大范围内波动。公式里的 pp 我们不知道,实际计算时用 p^\hat p 代替:

SE=p^(1−p^)n\mathrm{SE} = \sqrt{\frac{\hat p (1 - \hat p)}{n}}

用模型甲手算一遍:

  1. p^(1−p^)=0.71×0.29=0.2059\hat p(1 - \hat p) = 0.71 \times 0.29 = 0.2059;
  2. 除以题数:0.2059÷200=0.00102950.2059 \div 200 = 0.0010295;
  3. 开平方:0.0010295≈0.0321\sqrt{0.0010295} \approx 0.0321,即 3.2 个百分点。

报告时可以写成“71%(标准误 3.2 个百分点,200 道题)”。Evan Miller 在 2024 年的一篇预印本中,把语言模型评估当作统计实验来分析;他建议在评估结果表里,把每个分数的标准误写在分数旁边的括号里,并注明题数(Miller,2024)。

有了标准误,就能给准确率加上一个误差范围。把上一节的 10000 次模拟结果画成直方图,会看到一个以 70% 为中心、两边对称下降的钟形。这不是巧合:许多独立数值的平均值,在数量足够多时,分布都接近这种钟形曲线,叫正态分布(normal distribution)。钟形曲线有一个性质:大约 95% 的值落在中心两侧各 1.96 个标准差以内。在模拟里,10000 个准确率中有 95.0% 落在 70%±1.96×3.2470\% \pm 1.96 \times 3.24 个百分点之内。

于是,95% 置信区间(confidence interval)的算法是:

p^±1.96×SE\hat p \pm 1.96 \times \mathrm{SE}

模型甲是 71%±1.96×3.2171\% \pm 1.96 \times 3.21 个百分点,即 71%±6.371\% \pm 6.3 个百分点,区间为 [64.7%, 77.3%]。

置信区间的意思要说准确。真实准确率 pp 是一个固定的数,它不随机;随机的是区间,因为它取决于这次抽到了哪些题。“95%”描述的是这套算法:如果把实验重复很多次,每次都这样算一个区间,大约 95% 的区间会包含真实的 pp。在模拟里,10000 个区间中有 94.7% 包含了 70%。至于手上这一个区间,它要么包含 pp,要么不包含,我们不知道是哪一种。所以不要说“真实准确率有 95% 的概率落在 64.7% 到 77.3% 之间”,而要说“用这种方法得到的区间,大约 95% 会包含真实值”。

区间有多宽,主要取决于题数。下表是准确率为 70% 时,不同题数下 95% 置信区间的半宽(区间中心到一端的距离):

表 3.1 准确率 70% 时,题数与 95% 置信区间半宽
题数 nn 50 100 200 500 1000 2000 10000
标准误(百分点) 6.48 4.58 3.24 2.05 1.45 1.02 0.46
半宽(百分点) 12.7 9.0 6.4 4.0 2.8 2.0 0.9

准确率在 70% 左右时,200 道题的评估,误差范围大约是正负 6 个百分点;想把它缩到正负 2 个百分点,需要大约 2000 道题。

这套算法有它的前提,用之前要检查:

  • 题目是从关心的总体中独立抽取的。同一道题采样多次、同一篇文章出多道题,都不满足这个前提,见第 3.5 节。
  • 题数不能太少,准确率不能太接近 0 或 1。钟形近似在这些情况下变差;准确率恰好为 0 或 1 时,公式会给出标准误为 0,完全失效,见第 3.7 节。
  • 它只衡量随机抽样带来的误差(抽到哪些题,以及模型回答本身的随机性,见第 3.5 节)。它不说明这批题是否测到了你真正关心的能力,这是有效性问题,见第 28 章;也不说明题目是否已经进入了模型的训练数据,见第 11.7 节和第 23.3 节。
第 3.3 节引用的文献 1
  1. Miller(2024)Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

3.4 比较两个方法 #

回到模型甲和模型乙。按上一节的方法,甲的区间是 [64.7%, 77.3%],乙(69%,标准误 3.27 个百分点)的区间是 [62.6%, 75.4%]。两个区间大部分重叠。很多人会据此下结论:“区间重叠,所以没有差别”;或者反过来,“只有区间不重叠,才算有差别”。这两种做法都不对。两个置信区间是否重叠不是检验。我们关心的是差值,应当直接估计差值的置信区间。

3.4.1 为什么不能看重叠 #

两个区间不重叠,要求两个分数相差超过 1.96×(SE甲+SE乙)1.96 \times (\mathrm{SE}_{\text{甲}} + \mathrm{SE}_{\text{乙}}),也就是 1.96×6.5≈12.71.96 \times 6.5 \approx 12.7 个百分点。可是差值的标准误并不是两个标准误之和。即使两个分数来自两批互不相关的题,差值的标准误也只是

SE甲−乙=SE甲2+SE乙2=3.212+3.272≈4.6 个百分点\mathrm{SE}_{\text{甲} - \text{乙}} = \sqrt{\mathrm{SE}_{\text{甲}}^2 + \mathrm{SE}_{\text{乙}}^2} = \sqrt{3.21^2 + 3.27^2} \approx 4.6 \text{ 个百分点}

这就像直角三角形的斜边比两条直角边之和短。看重叠,等于拿一把过长的尺子去量差值:两个区间可能重叠,而差值的区间并不包含 0。更重要的是,甲和乙做的是同一批题,差值的标准误还可以小得多。

3.4.2 配对比较 #

既然两个模型做的是同一批题,就可以逐题比较。每道题只有四种情况:两个都对、甲对乙错、甲错乙对、两个都错。把四类的题数记作 aa、bb、cc、dd,n=a+b+c+dn = a + b + c + d。甲的准确率是 (a+b)/n(a + b)/n,乙的是 (a+c)/n(a + c)/n,两者相减:

p^甲−p^乙=(a+b)−(a+c)n=b−cn\hat p_{\text{甲}} - \hat p_{\text{乙}} = \frac{(a + b) - (a + c)}{n} = \frac{b - c}{n}

两个都对和两个都错的题,在相减时抵消了。准确率之差只由两个模型结果不一致的题决定。

这样比较叫配对比较(paired comparison)。做法是给每道题算一个差值:甲对乙错记 +1+1,甲错乙对记 −1-1,其余记 0。准确率之差就是这 nn 个差值的平均数,于是第 3.2 节的道理可以照搬:平均数的标准误等于单个差值的标准差除以 n\sqrt{n}。这些差值的方差,用第 3.2 节的“平方的平均减去平均的平方”来算。差值的平均是 b−cn\frac{b - c}{n}。差值的平方,在甲对乙错和甲错乙对的 b+cb + c 道题上都是 1((+1)2(+1)^2 和 (−1)2(-1)^2 都等于 1),在其余的题上是 0,所以平方的平均是 b+cn\frac{b + c}{n}。两者相减,方差是 b+cn−(b−cn)2\frac{b + c}{n} - \left(\frac{b - c}{n}\right)^2。再除以 nn、开平方,就得到差值的标准误:

SE配对=1n(b+cn−(b−cn)2)\mathrm{SE}_{\text{配对}} = \sqrt{\frac{1}{n}\left(\frac{b + c}{n} - \left(\frac{b - c}{n}\right)^2\right)}

式子里也只有 bb 和 cc。(这里求方差时除以 nn;也有人除以 n−1n - 1,题数上百时两者几乎没有差别。)

配对为什么能缩小标准误?因为题目本身有难有易,对甲难的题,往往对乙也难;Miller 认为,即使两个模型彼此没有关联,也很可能出现这种情况(Miller,2024)。不配对时,“这批题碰巧偏难还是偏易”会同时影响两个分数,在差值的标准误里被算了两遍;配对时,每道题的难易对两个模型的影响在相减时抵消了。Miller 指出,只要两个模型在哪些题容易、哪些题难上有一定程度的一致,配对分析就能降低差值估计的方差,并建议在两个模型做同一批题时尽量使用配对的标准误(Miller,2024)。

下面用一组为教学构造的数据看三种做法的差别。甲、乙在同一批 2000 道题上分别答对 71% 和 69%,两者只在 100 道题上结果不一致:70 道甲对乙错,30 道甲错乙对。

表 3.2 同一份数据的三种比较方法(为教学构造的数据,2000 道题)
方法 结果 结论
分别算两个区间,看是否重叠 甲 [69.0%, 73.0%],乙 [67.0%, 71.0%] 重叠,看不出差别
当作两批独立的题,算差值的区间 差 2.0 个百分点,区间 [−0.8, 4.8] 包含 0,看不出差别
配对比较,算差值的区间 差 2.0 个百分点,标准误 0.50,区间 [1.0, 3.0] 不含 0,甲更好

同一份数据,只有配对比较用上了“两者做的是同一批题”这个信息,也只有它看出了差别。

再回到 200 道题。2 个百分点就是 b−c=4b - c = 4。用配对公式可以验算:只有在两个模型恰好只在 4 道题上结果不一致、而且这 4 道全是甲对乙错时,差值的区间才不含 0;只要结果不一致的题再多几道,比如 5 道甲对乙错、1 道甲错乙对,区间就包含 0 了。而只有 4 道不一致的题时,钟形近似本身已经不可靠:用下面介绍的精确检验算,如果甲、乙一样好,4 道不一致的题全部偏向同一方的概率约为 0.125,仍不能排除运气。所以,在 200 道题上、每题只答一次时,2 个百分点的差别无论怎样分布,都不足以说明甲更好。习题 3.1 给出一组具体的逐题数据,请你完整算一遍。

要让差值区间的半宽不超过 2 个百分点,需要多少道题?粗略地说,配对的标准误约为 r/n\sqrt{r / n},其中 rr 是两个模型结果不一致的题所占的比例。由此算出,两个模型结果不一致的题占 5% 时需要约 480 道题,占 10% 时约 960 道,占 20% 时约 1920 道,占 30% 时约 2880 道;不配对时(两个准确率都在 70% 左右)需要约 4030 道。

3.4.3 检验与 p 值 #

同一个问题还可以换一种问法:如果甲和乙其实一样好,看到这么悬殊的结果有多大可能?两者一样好时,每一道结果不一致的题,偏向甲和偏向乙的机会应当各占一半,就像抛一枚均匀的硬币。上表的数据里,100 道不一致的题有 70 道偏向甲,相当于抛 100 次硬币出现至少 70 次正面(或至少 70 次反面),这个概率约为 0.00008。这个概率叫 p 值(p-value),这种只看不一致的题、把它们当作抛硬币的检验叫 McNemar 检验。p 值很小,说明“两者一样好、差别全靠运气”这个解释很难成立。p 值低于事先定好的界线(常用 0.05)时,习惯上说差别统计显著(statistically significant),简称“显著”。p 值小于 0.05,与差值的 95% 置信区间不含 0,通常给出相同的结论。

p 值常被误读,有两点要记住:它不是“两者一样好的概率”,也不说明差别有多大。

3.4.4 效应大小 #

比较两个方法时,要回答两个不同的问题:差别可能只是运气吗?差别有多大?后一个问题的答案叫效应大小(effect size),在这里就是准确率之差,用百分点表示,并附上它的置信区间。两个问题不能互相代替。题数非常多时,0.2 个百分点的差别也可能统计显著,即很难用运气解释,但它可能小到对你的用途毫无意义;题数很少时,一个真实而重要的差别也可能看不出来。所以报告比较结果时,要给出两个分数、题数、配对的差值及其置信区间,而不只是一句“显著”或“不显著”。Miller 建议在结果表中同时列出两两之间的差值、差值的标准误和置信区间,以及两个模型得分的相关程度(Miller,2024)。

两个量一起变化的程度,常用相关系数(correlation coefficient)来衡量。它是 −1 到 1 之间的一个数:正号表示同向变化,一个大时另一个也倾向于大;负号表示反向变化;越接近 1 或 −1,把两个量画在一张图上,点就越接近落在一条直线上,接近 0 则看不出这种直线关系。前面说的“对甲难的题,往往对乙也难”,就是甲、乙的逐题得分正相关。要注意,相关不等于因果:两个量一起变,可能只是因为它们受同一个因素影响。在这个例子里,甲、乙的得分一起高低,可以用题目本身有难有易来解释,不是一个模型影响了另一个。

要点

看到“提升了 2 个百分点”,先问四件事:一共多少道题?两个方法是否在同一批题上做了配对比较?差值的 95% 置信区间有多宽,是否包含 0?即使不含 0,这个大小对你的用途是否重要?

3.4.5 功效:没看出差别,不等于没有差别 #

前面算过,两个模型结果不一致的题占 10% 时,约 960 道题能让差值区间的半宽不超过 2 个百分点。做实验之前,还常常要从另一头问:如果甲真的比乙好 2 个百分点,这个实验有多大机会看出来,也就是得到一个不含 0 的 95% 区间(大致相当于 p 值低于 0.05)?这个机会叫实验的功效(statistical power)。

仍然假定结果不一致的题占 10%,真实差别是 2 个百分点。200 道题时,按钟形近似算,功效约 15%;按 McNemar 精确检验算,约 10%。也就是说,即使甲真的更好,大约十次这样的实验里,只有一两次能看出来。960 道题时,功效约 50%:区间半宽和真实差别一样大,估计值落在真实值上方和下方的机会各半,只有落在上方的那一半,区间才不含 0。要让功效达到常用的 80%,题数大约要翻一倍。钟形曲线上约 80% 的值落在中心减 0.84 个标准误以上,所以要让估计值有 80% 的机会超过 1.96 个标准误,真实差别要达到标准误的 1.96 + 0.84 = 2.80 倍。960 道题时,真实差别只有 1.96 个标准误;要把标准误再缩小到原来的 1.96 ÷ 2.80,按第 3.2 节,题数要变成原来的 (2.80 ÷ 1.96)² ≈ 2 倍:不一致的题占 10% 时约需 1950 道,占 20% 时约 3910 道。数字由 tools/exercises/ch03_power.py 算出。

图 3.1 画出了功效怎样随题数变化。拖动题数,可以看到 200 道题时的功效有多低;改变结果不一致的比例或真实差别,可以看到所需的题数怎样跟着变。

看出差别的机会功效 80%功效 50%你选的题数0%20%40%60%80%100%功效0100020003000400050006000题数结果不一致的题占 10%,真实差别 2 个百分点:200 道题时,功效是 15%。功效 50% 约需 960 道题,这时区间半宽正好等于真实差别;功效 80% 约需 1950 道题。
看出差别的机会功效 80%功效 50%你选的题数0%20%40%60%80%100%功效0200040006000题数结果不一致的题占 10%,真实差别 2 个百分点:200 道题时,功效是 15%。功效 50% 约需 960 道题,这时区间半宽正好等于真实差别;功效 80% 约需 1950 道题。
图 3.1 配对比较的功效随题数的变化。两个模型做同一批题,其中一部分题两者结果不一致,甲的真实准确率比乙高若干个百分点。横轴是题数,纵轴是功效,即差值的 95% 区间不含 0 的机会,按本节的钟形近似算出,与 tools/exercises/ch03_power.py 用的公式和常数(1.96 与 0.84)相同。蓝线是功效,两条虚线标出 80% 和 50%,橙点是你选的题数。默认结果不一致的题占 10%、真实差别 2 个百分点:200 道题时功效约 15%,约 960 道题时 50%,约 1950 道题时 80%。点图或拖动滑块改变题数,再改变不一致的比例和真实差别。这是钟形近似,结果不一致的题很少时,与精确检验差得多(默认设定下,200 道题时精确检验约 10%);不一致的比例和真实差别都是为说明而设定的示意。

这带来一条阅读规则:一个“没有显著差别”的结果,本身不说明两者一样好。例如差值的区间从 −3 到 5 个百分点,说的是“差别可能在这个范围里的任何地方”,不是“没有差别”(报告时要给出这个区间,见上面的效应大小)。设计实验时,先定下你在意的最小差别,再按功效定题数。Miller 的预印本给出了按功效计算题数的公式;他用一组说明是虚构但合理的参数,算出以 80% 的功效看出 3 个百分点的差别约需 970 道题,因此建议新的评估至少有 1000 道题(Miller,2024)。要看出更小的差别,需要的题数还要多得多。

第 3.4 节引用的文献 1
  1. Miller(2024)Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

3.5 样本不独立的情况 #

前面的计算都假设:每道题是独立抽取的,每道题只回答一次。评估语言模型时,有两种常见的情况不满足这个假设。

3.5.1 同一道题多次采样 #

语言模型对同一个问题,每次回答可能不同(第 5.4 节解释原因)。所以研究者常让模型对每道题回答 KK 次。这时一道题的得分有两种变化来源:

  • 题目之间的变化:有的题容易,有的题难。即使每道题回答无数次,各题“答对的概率”也各不相同。
  • 同题生成之间的变化:同一道题,这次答对,下次可能答错。

Miller 把总体分数的方差分解成这两部分之和,并指出,每题回答 KK 次只能把后一种变化带来的方差缩小为原来的 1/K1/K;前一种只能靠增加题数来缩小(Miller,2024)。写成标准误:

SE=1n(题目之间的方差+同题生成之间的方差K)\mathrm{SE} = \sqrt{\frac{1}{n}\left(\text{题目之间的方差} + \frac{\text{同题生成之间的方差}}{K}\right)}

用一个为教学构造的例子算一下。假设总体中 40% 的题模型总能答对,20% 的题总答错,剩下 40% 的题每次答对的机会是一半。总体准确率是 0.4×1+0.2×0+0.4×0.5=0.60.4 \times 1 + 0.2 \times 0 + 0.4 \times 0.5 = 0.6。题目之间的方差,是各类题“答对的概率”与 0.6 之差的平方的平均:0.4×0.42+0.2×0.62+0.4×0.12=0.140.4 \times 0.4^2 + 0.2 \times 0.6^2 + 0.4 \times 0.1^2 = 0.14。同题生成之间的方差,只有“一半机会”的那类题有,为 0.5×0.5=0.250.5 \times 0.5 = 0.25,平均到所有题上是 0.4×0.25=0.100.4 \times 0.25 = 0.10。两部分加起来是 0.24,正好等于 0.6×0.40.6 \times 0.4。

从总体中抽 200 道题:

表 3.3 每题采样次数与标准误(为教学构造的例子,200 道题,准确率 60%)
做法 标准误(百分点)
每题回答 1 次 3.46
每题回答 5 次,先按题取平均 2.83
每题回答无数次 2.65
错误做法:把 1000 个回答当作 1000 道独立的题 1.55
对照:1000 道不同的题,每题回答 1 次 1.55

用计算机模拟抽题和回答 4000 次,每题回答 1 次和 5 次时,总分的标准差分别是 3.41 和 2.81 个百分点,与表中一致。

这张表说明了三件事。第一,每题回答 5 次,确实减少了对每道题表现的估计误差,标准误从 3.46 降到 2.83 个百分点。第二,它远没有达到 1.55:采样再多,标准误也降不到 2.65 以下,因为题目之间的变化一点没少。第三,把 1000 个回答当作 1000 道独立的题来算,会得到 1.55,这个数属于“1000 道不同的题”,不属于“200 道题各答 5 次”。重复采样不会等量增加任务覆盖:你测到的仍然只是这 200 道题。Miller 也指出,把同一道题的多个回答混在一起、当作独立样本计算标准误是不对的,因为它们不是独立的抽取(Miller,2024)。按上面的方差分解,只要各题难度不同,这样算出的标准误就偏小。

正确的做法是:先把每道题的 KK 个得分取平均,得到每道题一个 0 到 1 之间的分数;再对这 nn 个分数算标准差,除以 n\sqrt{n}。注意这些分数已经不只是 0 和 1,所以要用一般的标准差公式,不能再套 p^(1−p^)/n\sqrt{\hat p(1 - \hat p)/n}。

回到本章开头的问题:甲、乙每道题各采样 5 次,结论会可信多少?比较时,先算出每个模型在每道题上的平均分,再逐题相减,用这 200 个差值算配对的标准误。这样比只答一次精确一些,因为“同题生成之间的变化”被平均掉了一部分。但如果 2 个百分点的差别来自抽题的运气,即这 200 道题碰巧对甲有利,多采样多少次也纠正不了。要回答“甲在这类题上是否更好”,最终要靠更多不同的题。

3.5.2 同一篇文章出多道题 #

阅读理解评估常常是一篇文章配几道题。假设 200 道题来自 50 篇文章,每篇 4 道。如果模型读错了一篇文章,它很可能把这篇的几道题一起答错,同一篇文章的题就不独立。看两个极端(准确率按 71% 算):

  • 同一篇文章的题完全互不相关:和 200 道独立的题一样,标准误 3.2 个百分点。
  • 同一篇文章的 4 道题总是同对同错:实际上只有 50 个独立的观察,标准误是 0.71×0.29÷50≈6.4\sqrt{0.71 \times 0.29 \div 50} \approx 6.4 个百分点,翻了一倍。

实际情况介于两者之间。处理这种情况的方法叫聚类标准误(clustered standard error),“一篇文章的题”叫一个簇(cluster)。Miller 把它描述为在上面两个极端之间滑动的一把尺子:簇内的题越像,结果越接近按簇数计算的标准误(Miller,2024)。它的算法是:先在每个簇内,把各题得分与总平均分 sˉ\bar s 之差加起来;再把每个簇的这个和平方,全部加起来;开平方后除以题数 nn:

SE聚类=1n∑每个簇(∑簇内每道题(si−sˉ))2\mathrm{SE}_{\text{聚类}} = \frac{1}{n}\sqrt{\sum_{\text{每个簇}} \Big(\sum_{\text{簇内每道题}} (s_i - \bar s)\Big)^2}

这是 Miller 论文中公式的一种等价写法(忽略了除以 nn 与 n−1n - 1 的差别)。如果簇内的题倾向于同对同错,簇内的偏差同号,相加时不会抵消,聚类标准误就变大;如果簇内各题互不相关,它就接近普通的标准误。Miller 的署名单位是 Anthropic,他用该公司的模型在几个公开评估上算出了实际数据:在阅读理解评估 DROP 上,聚类标准误约为普通算法的 3 倍;在另一个阅读理解评估 RACE-H 上,只有约 1.1 倍(Miller,2024)。他还建议,报告聚类标准误时,在题数旁边同时写出簇的数量(Miller,2024)。

其实,上一小节“同一道题回答 KK 次”也可以看成聚类:同一道题的 KK 个回答构成一个簇。用聚类公式算,结果和“先按题取平均、再算标准误”完全相同。两种情况的共同教训是:分析时要区分题目之间的变化与同题生成之间的变化,报告时写清有多少道不同的题、每题采样几次、题目分成多少个簇。

第 3.5 节引用的文献 1
  1. Miller(2024)Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

3.6 随机化与对照 #

前几节讨论的是:数据到手之后,结果有多精确。这一节讨论更早的一步:怎样设计实验,才能让比较的结果说明我们想说明的事。

用一个后面会反复出现的问题作例子(第 16 章):让人先读模型写的批评,再判断一段代码有没有错,能否提高判断的正确率?

最简单的设计是先让参与者独立判断 20 段代码,再给他们看批评,让他们重判。假设正确率从 60% 升到了 75%。能说这 15 个百分点来自批评吗?不能。第二次判断时,人不只看了批评,还多看了一遍代码,多花了时间,也更熟悉任务了。这些都可能提高正确率。要把批评的作用分离出来,需要一个对照组(control group):除了“有没有批评”这一点不同,其他一切都相同的一组。在这个例子里,对照组同样重判一遍、同样多花时间,只是不看批评。只有两组之间的差别,才能归因于批评。第 16.4 节把这叫作等时对照。

有了对照组,还要决定谁进哪一组、哪段代码给批评。如果由研究者挑选,比如把“看起来最需要批评”的代码都给了实验组,或者让参与者自己报名,愿意尝试新方法的人进实验组,两组之间就会有系统性的差别:代码难度不同,参与者的经验和积极性不同。这时两组的差别里混进了别的东西,分不清哪部分来自批评。

随机化(randomization)解决这个问题:用抛硬币或随机数决定分组。这样,代码的难度、参与者的经验、当天的疲劳程度,包括你根本没有想到的因素,在两组之间平均来说都差不多。剩下的差别只来自分组时的运气,而运气带来的误差,正是第 3.3 节和第 3.4 节的标准误和置信区间能衡量的。反过来,如果分组不是随机的,置信区间只衡量了运气,衡量不了系统性的偏差;一个很窄的区间,可能精确地落在一个错误的值上。

实际设计中常用的几种做法:

  • 先配对,再随机。把代码按难度排好,相邻两段配成一对,再在每对里抛硬币决定哪一段给批评。这样两组的难度更接近。
  • 同一个人经历两种条件。每位参与者一部分代码有批评、另一部分没有,但同一段代码不能让同一个人在两种条件下各判断一次;先做哪种条件也要随机安排,以抵消“越做越熟练”的影响。
  • 呈现方式也要随机。题目的顺序、两个回答谁放在前面,都可能影响判断(第 12 章讨论裁判模型的位置偏差),应当随机安排或轮换。
  • 分组规则事先写下来。在看到任何结果之前确定分组,不要看了结果再调整。条件允许时,让打分的人不知道每份结果来自哪一组。

本章开头甲、乙的比较,其实也用到了同样的思想:让两个模型做同一批题、用同样的提示,就是让“题目难易”这个因素在两边完全相同,配对比较则把它从差值里消去。

要点

对照组回答“和什么比”;随机化保证比较的两组除了被研究的那一点之外,没有系统性的差别。两者缺一,置信区间再窄,也说明不了方法本身的作用。

第 11 章会把这些原则用到监督实验上,讨论基线该怎样选、预算怎样对齐。

3.7 零失败意味着什么 #

最后一个问题,来自一类很常见的说法:“测试中从未失败。”

回到记账程序。假设你有一个检查器,可能是一套自动检查工具,也可能是一个写批评的模型,用来找出程序里的错误。为了评估它,你先规定一个错误分布:比如事先列出一份错误类型的清单(把加法写成减法、漏掉重复提交的判断等),以及允许插入错误的位置;每次按规定的规则随机选一个类型和一个位置,在记账程序里插入一个错误,得到一个确实含错的版本。按这个规则独立地生成 100 个含错的版本,交给检查器。结果它 100 个全部检出。能说它的漏检率是 0 吗?

漏检率是一个条件概率(第 3.1 节):在案例确实含错的条件下,检查器没有发现错误的概率,记作 qq。

3.7.1 为什么不能套用标准误公式 #

最直接的想法是套用第 3.3 节的公式:观察到的漏检比例是 0/100=00/100 = 0,标准误是 0×1÷100=0\sqrt{0 \times 1 \div 100} = 0,置信区间是 [0, 0]。这等于说“我们完全确定检查器从不漏检”。这显然不对:一个漏检率为 1% 的检查器,100 个全部检出的概率是 0.99100≈36.6%0.99^{100} \approx 36.6\%,超过三分之一。也就是说,零漏检的记录和 1% 的漏检率完全相容。

问题出在第 3.3 节的钟形近似上。它要求两种结果(检出和漏检)都出现得足够多;漏检次数很少时,近似已经变差,次数为 0 时则完全失效:代入 p^=0\hat p = 0,公式只能给出 0。

3.7.2 从“每次独立检出”推出上界 #

换一种思路。假设每个含错案例被漏检的概率都是 qq,而且各个案例之间相互独立。那么一个案例被检出的概率是 1−q1 - q;由第 3.1 节的乘法规则,100 个全部被检出的概率是

(1−q)100(1 - q)^{100}

把几个不同的 qq 代进去:

表 3.4 漏检率为 q 的检查器在 100 个独立的含错案例上全部检出的概率
漏检率 qq 1% 2% 2.95% 3% 5%
全部检出的概率 36.6% 13.3% 5.0% 4.8% 0.6%

qq 越大,“全部检出”就越难碰巧发生。如果 qq 是 5%,全部检出的机会只有 0.6%,我们不太愿意相信自己碰上了这么罕见的运气;如果 qq 是 1%,全部检出一点也不稀奇。于是可以这样划一条线:取“全部检出的概率仍不低于 5%”的最大的 qq,作为漏检率的上界。对一般的 nn,这个上界是

q上界=1−0.051/nq_{\text{上界}} = 1 - 0.05^{1/n}
(3.1)
推导零失败时的单侧 95% 上界
  1. 设每个含错案例被检出的概率为 1−q1 - q,各案例相互独立,nn 个全部检出的概率为 (1−q)n(1 - q)^n。qq 越大,这个概率越小。
  2. 上界是让这个概率恰好等于 0.05 的 qq:(1−q)n=0.05(1 - q)^n = 0.05。
  3. 两边开 nn 次方:1−q=0.051/n1 - q = 0.05^{1/n},所以 q=1−0.051/nq = 1 - 0.05^{1/n}。
  4. 代入 n=100n = 100:0.051/100=eln⁡0.05/100=e−0.02996≈0.97050.05^{1/100} = e^{\ln 0.05 / 100} = e^{-0.02996} \approx 0.9705,所以上界约为 1−0.9705=2.95%1 - 0.9705 = 2.95\%。

这叫漏检率的单侧 95% 置信上界。“单侧”是因为这里只关心漏检率最高可能有多高,把 5% 的风险全放在上面一侧;而第 3.3 节的区间是双侧的,两边各留 2.5%,所以用的是 1.96。“95%”的意思与第 3.3 节相同,描述的是这套算法:如果每次都这样算上界,真实漏检率超过上界的情况,最多占 5%。它不是说“漏检率有 95% 的概率低于 2.95%”。

3.7.3 三法则 #

式(3.1)有一个好记的近似。当 qq 很小时,(1−q)n(1 - q)^n 约等于 e−nqe^{-nq}(因为 qq 很小时 ln⁡(1−q)≈−q\ln(1 - q) \approx -q,例如用计算器算 ln⁡0.99≈−0.01005\ln 0.99 \approx -0.01005,几乎就是 −0.01-0.01)。令 e−nq=0.05e^{-nq} = 0.05,得 nq=−ln⁡0.05≈3.0nq = -\ln 0.05 \approx 3.0,所以

q上界≈3nq_{\text{上界}} \approx \frac{3}{n}

这个近似叫三法则(rule of three):nn 次独立的检查全部成功,失败率的 95% 上界大约是 3/n3/n。下表比较了精确值与近似值:

表 3.5 n 个独立的含错案例全部检出时,漏检率的单侧 95% 上界
nn 5 10 30 100 300 1000 3000
精确值 1−0.051/n1 - 0.05^{1/n} 45.1% 25.9% 9.50% 2.95% 0.994% 0.299% 0.0998%
近似值 3/n3/n 60% 30% 10% 3% 1% 0.3% 0.1%

nn 在几十以上时,3/n3/n 很准;nn 很小时它偏大得多,应当用精确值。这张表还说明了证据的代价:想说明漏检率低于 1%,需要大约 300 个全部检出的含错案例;低于 0.1%,需要大约 3000 个;上界每缩小到十分之一,案例数就要变成原来的十倍。

3.7.4 分母只算含错的案例 #

漏检率的分母是含错的案例,不是全部案例。设想另一种情况:你拿 100 个程序版本测试检查器,其中只有 5 个含错,检查器把这 5 个都找了出来,另外 95 个正确的版本也都没有报错。“100 个全部判对”听起来和上面一样好,但对漏检率来说,nn 是 5,不是 100:

1−0.051/5≈45%1 - 0.05^{1/5} \approx 45\%

漏检率的上界高达约 45%。那 95 个正确的版本没有被误报,说明的是另一件事,即误报率,它是另一个条件概率,分母是不含错的案例。

再极端一些:如果 100 个版本里一个含错的都没有,检查器全部判为“通过”,那么这份记录不提供任何关于检出能力的证据。一个不管看到什么都回答“通过”的检查器,会交出一模一样的记录。这时 n=0n = 0,上界是 100%。

3.7.5 上界只适用于抽样覆盖的错误类型 #

式(3.1)算出的上界,说的是“从规定的错误分布中独立抽出的案例”上的漏检率。超出这个范围,它什么也不说明。

  • 没有覆盖的错误类型。如果错误清单里只有余额计算和重复提交两类,那么记账程序的规则三“写入失败时不能只记一半”根本没有被测试过。检查器在这类错误上的漏检率,可能是 0,也可能是 100%,这 100 个案例提供不了任何信息。
  • 案例之间不独立。如果 100 个案例其实是同一两个错误的细微变体,它们就不是 100 次独立的抽取,有效的 nn 要小得多,上界也就宽得多。
  • 实际中的错误分布不同。人为插入的错误,和模型写程序时自然出现的错误,可能是两种不同的分布(第 16 章)。如果被检查的一方会针对检查器调整自己的行为,专门写出检查器发现不了的错误,测试时的分布就更不能代表实际使用时的分布(第四部分)。

同样的计算也适用于“系统在测试中从未失败”:在同一分布下做 nn 次独立测试、零失败,失败率的单侧 95% 上界约为 3/n3/n。100 次零失败,上界约为 3%,离“万分之一”还差得很远;要支持“失败率低于万分之一”,需要大约 3 万次独立的零失败测试。第 28.5 节和第 31.4 节会把这一点用到安全论证上。

易错点

看到“测试中从未失败”或“检查器发现了全部错误”,先问:一共测了多少次?其中真正可能失败的案例(例如确实含错的程序)有多少个?各次测试是否独立?测试覆盖了哪些错误类型,没有覆盖哪些?

读物 #

  • 入门讲解 · 网页:Brown University《Seeing Theory: A visual introduction to probability and statistics》第 1 到 4 章(Basic Probability、Compound Probability、Probability Distributions、Frequentist Inference)(Kunin 等,n.d.)。用可交互的动画演示概率、期望、方差和置信区间,适合配合第 3.1 节到第 3.3 节阅读。
  • 入门讲解 · 教材(选读):Blitzstein 与 Hwang《Introduction to Probability》第 1 到 4 章,有免费电子版(Blitzstein 与 Hwang,2019)。想把概率、条件概率和期望学得更扎实的读者可以读它。
  • 方法与工具 · 预印本(实验及研究):Evan Miller《Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations》(2024)(Miller,2024)。读引言、聚类标准误(第 2.2 节)和配对比较(第 4 节)部分。它把语言模型评估当作统计实验来分析,是第 3.3 节到第 3.5 节的主要参考。
本节引用的文献 3
  1. Kunin 等人(n.d.)Seeing Theory: A visual introduction to probability and statistics
  2. Blitzstein 与 Hwang(2019)Introduction to Probability
  3. Miller(2024)Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

练习 #

习题 3.1 甲真的比乙好吗

下面是为教学构造的数据:模型甲和模型乙在同一批 200 道题上的逐题结果,1 表示答对,0 表示答错,第 ii 个字符是第 ii 道题。数据由脚本 tools/exercises/ch03_pairs.py 构造。

A = ("10011110010100011111111011111111111101111100111110"
     "11011111111111010000101011111011111111010111100110"
     "11011110111101010111101111110110111011110101111111"
     "11111100001111101000111010100101001110101010111011")   # 模型甲
B = ("10101110010110011111011011111111111101111100111110"
     "10111111001111010000101011111010011111010111101110"
     "11101110111101101111111101110010111011100101111100"
     "11110100011111101001111111101101000010101110011011")   # 模型乙

前 10 道题的对照如下:

题号 1 2 3 4 5 6 7 8 9 10
甲 1 0 0 1 1 1 1 0 0 1
乙 1 0 1 0 1 1 1 0 0 1

把 200 道题全部数完,四类的题数如下(不写代码的读者直接使用这张表;实验路线请自己从上面的数据数出来核对):

表 3.6 甲、乙在同一批 200 道题上的逐题结果汇总(为教学构造的数据)
乙答对 乙答错 合计
甲答对 都对 124 甲对乙错 18 142
甲答错 甲错乙对 14 都错 44 58
合计 138 62 200
  1. 从表中核对甲、乙的准确率分别是 71% 和 69%。
  2. 用 p^(1−p^)/n\sqrt{\hat p(1 - \hat p)/n} 手算两个准确率各自的标准误和 95% 置信区间。
  3. 说明为什么准确率之差只由“甲对乙错”和“甲错乙对”两类决定。
  4. 用配对比较算出准确率之差的标准误和 95% 置信区间。再把它与“分别算两个置信区间看是否重叠”、与“把两个分数当作来自两批独立的题”的做法对比,说明为什么配对比较更合适。
  5. (实验路线)用代码数出四类题数,并做配对自助法(bootstrap)或 McNemar 检验。
  6. 根据以上结果,能说甲比乙好吗?如果两个模型结果不一致的比例保持不变,大约需要多少道题,才能让 2 个百分点的差值的 95% 区间半宽不超过 2 个百分点?
  7. (选做)假定甲真的比乙好 2 个百分点,结果不一致的题仍占 16%。在 200 道题上,看出这个差别的功效大约是多少?要让功效达到 80%,大约需要多少道题?
提示

第 3 问:把两个准确率都写成四类题数的式子,再相减。第 4 问:每道题的差值只能是 +1+1、0、−1-1,先数出各有多少道。第 5 问:配对自助法是从这 200 道题中有放回地随机重抽 200 道(有的题会被抽到多次,有的一次也没抽到),甲、乙在同一道题上的结果始终绑在一起,算一次差值;重复一万次,取中间 95% 的差值作为区间。McNemar 检验只看 32 道不一致的题:如果两者一样好,每道题偏向甲或乙的机会各半。第 7 问:按 3.4 节,功效 80% 要求真实差值达到标准误的 1.96 + 0.84 倍;功效本身可以用 tools/exercises/ch03_power.py 算,也可以先按“半宽等于真实差别时功效约 50%”估一估。

解答
  1. 甲答对 124+18=142124 + 18 = 142 道,142÷200=71%142 \div 200 = 71\%;乙答对 124+14=138124 + 14 = 138 道,138÷200=69%138 \div 200 = 69\%。

  2. 甲:0.71×0.29÷200=0.0010295≈0.0321\sqrt{0.71 \times 0.29 \div 200} = \sqrt{0.0010295} \approx 0.0321,区间 71%±6.371\% \pm 6.3 个百分点,即 [64.7%, 77.3%]。乙:0.69×0.31÷200=0.0010695≈0.0327\sqrt{0.69 \times 0.31 \div 200} = \sqrt{0.0010695} \approx 0.0327,区间 69%±6.469\% \pm 6.4 个百分点,即 [62.6%, 75.4%]。

  3. 甲的准确率是 (a+b)/n(a + b)/n,乙的是 (a+c)/n(a + c)/n,其中 a=124a = 124 是都对,b=18b = 18 是甲对乙错,c=14c = 14 是甲错乙对。相减得 (b−c)/n=(18−14)/200=0.02(b - c)/n = (18 - 14)/200 = 0.02,即 2 个百分点。都对的 124 道和都错的 44 道在相减时抵消,对差值没有任何影响。

  4. 逐题差值中,+1+1 有 18 个,−1-1 有 14 个,0 有 168 个。平均差值是 4÷200=0.024 \div 200 = 0.02;差值的方差是 (18+14)/200−0.022=0.16−0.0004=0.1596(18 + 14)/200 - 0.02^2 = 0.16 - 0.0004 = 0.1596;配对标准误是 0.1596÷200≈0.0282\sqrt{0.1596 \div 200} \approx 0.0282,即 2.8 个百分点。95% 置信区间是 2±1.96×2.822 \pm 1.96 \times 2.82 个百分点,即 [−3.5, 7.5] 个百分点,包含 0。

    对比另外两种做法。看两个区间是否重叠,相当于拿 1.96×(3.21+3.27)≈12.71.96 \times (3.21 + 3.27) \approx 12.7 个百分点作尺子,太粗。把两个分数当作来自两批独立的题,差值的标准误是 3.212+3.272≈4.6\sqrt{3.21^2 + 3.27^2} \approx 4.6 个百分点,区间 [−7.0, 11.0] 个百分点。配对的标准误 2.8 个百分点比 4.6 小得多,因为两个模型在题目难易上表现相近:甲答对的 142 道题中,乙也答对了 124 道;甲答错的 58 道题中,乙也答错了 44 道。配对比较把“这批题碰巧偏难或偏易”的影响从差值中消去,用上了“两者做的是同一批题”这个信息,所以更合适。这里的三种做法结论碰巧相同,都看不出差别;但在表 3.2 那组 2000 道题的数据上,只有配对比较看出了差别。

  5. 下面的程序只用 Python 标准库:

import math
import random

A = ("10011110010100011111111011111111111101111100111110"
     "11011111111111010000101011111011111111010111100110"
     "11011110111101010111101111110110111011110101111111"
     "11111100001111101000111010100101001110101010111011")
B = ("10101110010110011111011011111111111101111100111110"
     "10111111001111010000101011111010011111010111101110"
     "11101110111101101111111101110010111011100101111100"
     "11110100011111101001111111101101000010101110011011")
n = len(A)
pairs = list(zip(A, B))
both, a_only = pairs.count(("1", "1")), pairs.count(("1", "0"))
b_only, neither = pairs.count(("0", "1")), pairs.count(("0", "0"))
print("都对", both, "甲对乙错", a_only, "甲错乙对", b_only, "都错", neither)

# 配对差值及其标准误
d = [int(a) - int(b) for a, b in pairs]
mean_d = sum(d) / n
se = math.sqrt(sum((x - mean_d) ** 2 for x in d) / n) / math.sqrt(n)
print(f"差值 {mean_d:.3f},标准误 {se:.4f},"
      f"95% 区间 [{mean_d - 1.96 * se:.3f}, {mean_d + 1.96 * se:.3f}]")

# McNemar 精确检验:若两者一样好,每道不一致的题偏向甲或乙的机会各半
m, k = a_only + b_only, max(a_only, b_only)
p = min(1.0, 2 * sum(math.comb(m, i) for i in range(k, m + 1)) / 2 ** m)
print(f"McNemar 精确检验 p = {p:.3f}")

# 配对自助法:有放回地重抽 200 道题,甲、乙在同一道题上的结果绑在一起
rng = random.Random(0)
boot = []
for _ in range(10000):
    idx = [rng.randrange(n) for _ in range(n)]
    boot.append(sum(d[i] for i in idx) / n)
boot.sort()
print(f"配对自助法 95% 区间 [{boot[250]:.3f}, {boot[9749]:.3f}]")

运行结果:

都对 124 甲对乙错 18 甲错乙对 14 都错 44
差值 0.020,标准误 0.0282,95% 区间 [-0.035, 0.075]
McNemar 精确检验 p = 0.597
配对自助法 95% 区间 [-0.035, 0.075]

自助法的区间与公式算出的配对区间一致,都是约 [−3.5, 7.5] 个百分点。McNemar 检验的 p 值约为 0.60:如果两者一样好,32 道不一致的题分成 18 比 14 或更悬殊,是很常见的事。自助法的结果依赖随机种子,换一个种子,第三位小数可能略有变化。

  1. 不能。差值的区间是 [−3.5, 7.5] 个百分点,包含 0,p 值约为 0.60,2 个百分点的差别完全可能来自抽题的运气;这也不能证明两者一样好,区间同样容许甲比乙好 7 个百分点。这里两个模型结果不一致的题占 32÷200=16%32 \div 200 = 16\%,要让半宽不超过 2 个百分点,需要 n≥1.962×(0.16−0.022)÷0.022≈1533n \ge 1.96^2 \times (0.16 - 0.02^2) \div 0.02^2 \approx 1533,即大约 1500 道题。

  2. 差值的标准误是 (0.16−0.022)÷200≈0.028\sqrt{(0.16 - 0.02^2) \div 200} \approx 0.028,真实差值只有它的约 0.7 倍,离 1.96 倍还远,所以功效远低于 50%。按钟形近似算,功效约 11%;按 McNemar 精确检验算,约 8%。这正是第 6 问的情形:这次没看出差别,而即使甲真的好 2 个百分点,大约十次这样的实验里也只有一次能看出来。功效 80% 需要 n≥(1.96+0.84)2×(0.16−0.022)÷0.022≈3128n \ge (1.96 + 0.84)^2 \times (0.16 - 0.02^2) \div 0.02^2 \approx 3128,即大约 3100 道题,约为第 6 问答案的两倍。

第 1 至 6 问的数字由脚本 tools/exercises/ch03_pairs.py 算出并核对,第 7 问由 tools/exercises/ch03_power.py 算出。

习题 3.2 零漏检能说明多少

从规定的错误样本分布中,独立抽取 100 个确实含错的记账程序版本,检查器全部检出。

  1. 写出该分布下漏检率的单侧 95% 置信上界,并算出它的值。用三法则估算一次,与精确值比较。
  2. 说明为什么这里不能套用习题 3.1 的标准误公式。
  3. 说明为什么这个上界不能外推到错误分布没有覆盖的错误类型,并在记账程序中举一个例子。
  4. 如果 100 个样本中只有 5 个含错,检查器把这 5 个都检出了,上界是多少?如果 100 个样本一个含错的都没有呢?
  5. 要让漏检率的单侧 95% 上界降到 1% 以下,至少需要多少个全部检出的含错案例?(选做)如果要单侧 99% 上界,n=100n = 100 时是多少?
提示

第 1 问用式(3.1)。第 5 问解不等式 1−0.051/n≤0.011 - 0.05^{1/n} \le 0.01,可以两边取对数:n≥ln⁡0.05/ln⁡0.99n \ge \ln 0.05 / \ln 0.99。单侧 99% 上界把 0.05 换成 0.01。

解答
  1. 上界为 1−0.051/1001 - 0.05^{1/100}。0.051/100≈0.97050.05^{1/100} \approx 0.9705,所以上界约为 2.95%。三法则给出 3/100=3%3/100 = 3\%,与精确值非常接近。它的意思是:漏检率高于约 2.95% 时,100 个全部检出的概率低于 5%;按这种方法算上界,真实漏检率超过上界的情况最多占 5%。
  2. 观察到的漏检比例是 0,代入 p^(1−p^)/n\sqrt{\hat p(1 - \hat p)/n} 得到标准误 0、区间 [0, 0],等于声称完全确定检查器从不漏检。但一个漏检率为 1% 的检查器,100 个全部检出的概率约为 36.6%,零漏检的记录与它完全相容。标准误公式依赖钟形近似,它要求漏检和检出都出现得足够多,漏检次数为 0 时完全失效。
  3. 上界的推导假设每个案例都是从规定的错误分布中独立抽出的,所以它只说明检查器在这个分布上的漏检率。例如错误清单只包含余额计算和重复提交两类错误,那么“写入失败时只记了一半”这类错误一个都没有出现过,检查器对它的漏检率可能是任何值。同样,等记账程序加入转账功能后,“只改了一个账户”这类新错误也不在原来的分布里。
  4. 只有 5 个含错时,n=5n = 5,上界为 1−0.051/5≈45%1 - 0.05^{1/5} \approx 45\%。另外 95 个不含错的样本没有被误报,说明的是误报率,与漏检率无关。如果一个含错的样本都没有,n=0n = 0,全部通过不提供任何关于检出能力的证据,上界是 100%:一个对什么都回答“通过”的检查器会交出同样的记录。
  5. 需要 n≥ln⁡0.05/ln⁡0.99≈298.1n \ge \ln 0.05 / \ln 0.99 \approx 298.1,即至少 299 个全部检出的含错案例,与三法则的 3/0.01=3003 / 0.01 = 300 一致。单侧 99% 上界为 1−0.011/100≈4.5%1 - 0.01^{1/100} \approx 4.5\%,约为 4.6/n4.6/n,因为 −ln⁡0.01≈4.6-\ln 0.01 \approx 4.6。

所有数字由脚本 tools/exercises/ch03_zero_failure.py 算出并核对。

习题 3.3 不独立的样本

本题的数据是为教学构造的,脚本为 tools/exercises/ch03_resampling.py。

  1. 一份报告说:“我们在 200 道题上让模型各回答 5 次,1000 个回答中答对 600 个,准确率 60%,标准误 0.6×0.4÷1000≈1.5\sqrt{0.6 \times 0.4 \div 1000} \approx 1.5 个百分点。”指出这个标准误错在哪里。已知各题 5 次回答的平均分分布如下,算出正确的标准误。

    每题平均分 1.0 0.8 0.6 0.4 0.2 0.0
    题数 80 15 25 25 15 40
  2. 一个阅读理解评估有 10 篇文章,每篇 4 道题,共 40 道。模型在各篇文章上答对的题数依次是 4、4、1、3、4、0、4、2、4、2。分别按“40 道独立的题”和按文章聚类,算出准确率的标准误。两者相差多少?哪一个更可信?

提示

第 1 问:先算 200 个每题平均分的平均值和标准差(标准差的算法见第 3.2 节),再除以 200\sqrt{200}。第 2 问:每篇文章内“各题得分与总平均分之差”的和,等于这篇答对的题数减去 4×0.74 \times 0.7。

解答
  1. 错在把同一道题的 5 个回答当作 5 道独立的题。1000 个回答只来自 200 道不同的题,同一道题的回答彼此相关,这样算出的标准误偏小。正确做法是先按题取平均,再用 200 个平均分算标准误。平均分的平均值是 (80×1.0+15×0.8+25×0.6+25×0.4+15×0.2)÷200=120÷200=0.6(80 \times 1.0 + 15 \times 0.8 + 25 \times 0.6 + 25 \times 0.4 + 15 \times 0.2) \div 200 = 120 \div 200 = 0.6;方差是各题平均分与 0.6 之差的平方的平均,等于 0.156;标准差约为 0.395;标准误为 0.395÷200≈0.02790.395 \div \sqrt{200} \approx 0.0279,即约 2.8 个百分点,是报告值的 1.8 倍左右。
  2. 共答对 28 道,准确率 70%。按 40 道独立的题,标准误是 0.7×0.3÷40≈0.0725\sqrt{0.7 \times 0.3 \div 40} \approx 0.0725,即约 7.2 个百分点。按文章聚类:每篇的偏差和是答对题数减 2.8,依次为 1.2、1.2、−1.8、0.2、1.2、−2.8、1.2、−0.8、1.2、−0.8;平方后相加得 19.6;聚类标准误为 19.6÷40≈0.1107\sqrt{19.6} \div 40 \approx 0.1107,即 11.1 个百分点,约为前者的 1.5 倍,95% 置信区间的半宽从 14.2 个百分点变成 21.7 个百分点。聚类标准误更可信:这组数据里,同一篇文章的题明显倾向于同对同错(5 篇全对,1 篇全错),40 道题提供的独立信息远少于 40 道独立的题。
习题 3.4 找出实验设计的问题

一位研究者想知道,让评估者先读模型写的批评,能否提高他们判断代码对错的正确率。他请了 10 位同学:让大家自己报名,愿意尝试新方法的 5 人读批评后判断,其余 5 人直接判断。读批评的一组拿到的是研究者认为“最适合用批评”的 10 段代码,另一组拿到另外 10 段;读批评的一组还多给了 10 分钟。结果,读批评的一组正确率高出 15 个百分点。

指出这个设计中至少三个问题,并给出一个改进的设计。

解答

评分要点,至少指出下列中的三点,并说明每一点为什么会影响结论:

  • 自己报名分组:愿意尝试新方法的人可能更有经验或更认真,两组参与者有系统性差别。应随机分组。
  • 两组判断的是不同的代码,而且由研究者挑选:代码难度可能不同。应让两组判断同一批代码,或按难度配对后随机决定哪一段给批评。
  • 读批评的一组多给了 10 分钟:差别可能来自时间。应使用等时对照,两组用时相同(第 16.4 节)。
  • 每组只有 5 人、10 段代码:样本太小,15 个百分点的差别也可能来自运气,应报告差值的置信区间。

一个改进的设计:每位参与者都判断同样的 20 段代码,其中 10 段有批评、10 段没有;代码先按难度配对,每对用抛硬币决定哪一段给批评,并对不同参与者使用不同的随机分配;两种条件下每段代码的用时上限相同;先做哪种条件也随机安排;分组规则在实验开始前写下。分析时按代码配对比较有无批评的正确率,并给出差值的置信区间。

学完能做到 #

  • 用条件概率说清一个比例的分母是什么,例如漏检率的分母只包括确实含错的案例。
  • 手算一个准确率的标准误 p^(1−p^)/n\sqrt{\hat p(1 - \hat p)/n} 和 95% 置信区间,并正确解释“95%”的含义;知道样本量变成 4 倍,误差才减半。
  • 看到“提升 2 个百分点”时,先问样本量、是否在同一批题上配对比较、差值的置信区间多宽;能用四类计数算出配对差值及其置信区间,不用“两个区间是否重叠”代替检验,并区分统计上能否排除运气与效应大小是否重要。
  • 解释功效:真实差别是某个大小时,实验有多大机会看出它;知道“没有显著差别”不说明两者一样好,并能估计看出 2 个百分点的差别大约需要多少道题。
  • 识别同一道题多次采样、同一篇文章出多道题这两种不独立的情况,说明为什么不能把它们当作更多的独立题目来算标准误。
  • 说明对照组和随机分组各自解决什么问题,并能指出一个实验设计中缺少的对照或非随机的分组。
  • 看到“测试中从未失败”时,先问测了多少次、其中有多少个真正可能失败的案例、覆盖了哪些类型;会用 1−0.051/n1 - 0.05^{1/n} 或 3/n3/n 算出零失败时的上界,并说明它只适用于抽样覆盖的分布。

参考文献

  1. Blitzstein, J. K., and Hwang, J. (2019). Introduction to Probability. Chapman and Hall/CRC.
  2. Kunin, D., Guo, J., Devlin, T. D., and Xiang, D. (n.d.). Seeing Theory: A visual introduction to probability and statistics. Brown University. 非同行评审
  3. Miller, E. (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv. 预印本引用于 §3.3 §3.4 §3.5