Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第 18 章模型内部表示

路线全部路线概念路线做判读练习,探针练习属实验及研究路线

本章导读

本章问题
  • 除了看模型说了什么,还能从它的内部计算中得到什么证据?
要点
  • 探针是在模型激活上训练的简单分类器;要说明它能推广到新的一类陈述,准确率须在按模板或实体留出的测试集上测(§18.2)。
  • 探针读得出某个信息,不说明模型在使用它;说明使用需要干预实验(§18.3)。
  • 潜在知识引出是问题设定,线性探针是工具,“存在真值方向”是某些实验的结果,三者不能混为一谈(§18.4)。
  • 探针可能读到所模拟角色的信念或与标签相关的其他特征;“测谎”目前只在特定实验设置中有效(§18.6)。
本章的视频讲解,4 分 58 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07绕过输出
    监督的证据一直来自模型说出来的东西。能不能绕过输出?典型实验:把已知真假的陈述输入模型,记下中间一层的一串数,训练简单分类器。用在记账程序上,本章研究都没测过。
  2. 0:28激活与方向18.1
    激活是某一层在某个位置上产生的一串数;表示指信息在其中的编码方式。给每个数配一个权重再求和,就是它在一个方向上的读数。真陈述普遍较大、假陈述普遍较小,就说存在能区分真假的线性方向。
  3. 0:49探针与划分18.2
    探针是以激活为输入的简单分类器,常用逻辑回归,单独训练,不改动原模型。准确率要在没参与训练的测试集上报告,并按来源、模板或实体划分。cities 数据集里同一城市一真一假,随机划分常把两条分在两边。
  4. 1:12三个结果18.2
    为教学构造的数据:随机划分 97.0%,按模板划分 81.1%,同一划分但打乱训练标签 51.9%。打乱后不应明显高于多数类比例,约 50%。每次比较只改一处。
  5. 1:31读得出,不等于在用18.3
    准确率高只说明激活里有能读出的信息,不说明模型在使用它。复印机零件的温度与页数高度相关,页数却不由温度决定。检验使用要靠干预:Marks 与 Tegmark 改动真假方向的激活,假陈述就被当作真的处理。
  6. 1:54摄像头骗过了人18.4
    潜在知识引出(ELK):预测模型看摄像头画面,预测操作后会拍到什么,人只能看摄像头。报告器读预测模型的内部状态,用人的判断作标签。直接翻译者报告模型的理解,人类模拟者报告人会怎么认为。
  7. 2:18三个层次18.4
    潜在知识引出是问题设定,线性探针是工具,存在真值方向是某些实验的结果。探针在简单陈述上有效,不说明问题已解决:那里人都能核对,两种报告器回答相同。问题未解决,也不说明探针没用。
  8. 2:41不用标签找方向18.5
    Burns 等的对比一致搜索(CCS)利用陈述和它的否定不能同为真,不用标签找方向:5 个模型、10 个问答数据集上,平均比校准后的零样本提问高 4 个百分点。Farquhar 等给影评随机加上 Alice 的看法,方向就跟着 Alice 走。读出的可能是事实、角色的信念或其他相关特征。
  9. 3:10测谎实验18.6
    Goldowsky-Dill 等在 Llama-3.3-70B-Instruct 的激活上训练线性探针,训练回答不是模型写的。在模型自己生成的回答上测试:4 个欺骗场景内 AUROC 为 0.96 到 0.999;普通聊天上 1% 误报时,抓到 95% 到 99% 的欺骗回答。
  10. 3:33还没做到的区分18.6
    探针对欺骗场景里的诚实回答,打分也明显高于普通聊天。阈值定法不变、只往后挪两层,两个内幕交易数据集上几乎抓不到欺骗,尽管仍能区分。作者认为有希望,但还不足以作可靠的防御。
  11. 3:55读、写、拆解18.7
    做法大致三类。读:看激活里有没有某种信息。写:改动激活,看行为怎样变。拆解:把激活分解成许多可解读的特征。Anthropic 用拆解找出了数以百万计的特征,也说明这只是一小部分。
  12. 4:17证据与前提
    测过:不用标签找方向,平均高于零样本提问;同一方法可能找到与真假无关的显著特征;简单陈述上的线性方向,并用干预检验。依赖:可以访问模型内部,检验时有可信的标签。不能推出:“测谎”在开放场景中可靠,或读出的信息被使用。

带走的几句话:

  1. 探针准确率要在按模板或实体留出的测试集上报告。
  2. 读得出某个信息,不说明模型在使用它。
  3. 潜在知识引出是问题设定,探针是工具,真值方向是实验结果。
  4. 探针可能读到角色的信念;“测谎”只在特定设置中有效。

到目前为止,本书讲的每一种监督方法,证据都来自模型说出来的东西:它的答案、它写的批评、它在辩论中的论证。第 16.2 节提到过一个问题:模型说出来的,不一定是它内部表示的全部信息。如果模型的输出不可靠,比如它迎合了提问者,或者它的错误恰好是评估者看不出来的那种,那么只看输出就会漏掉这些情况。本章问的是:能不能绕过输出,直接从模型内部的计算中取得另一种证据?

一个典型的实验是这样的:准备一组已知真假的简单陈述,比如“克拉斯诺达尔市在俄罗斯”(真)和“克拉斯诺达尔市在南非”(假)。把每条陈述输入模型,记下模型中间某一层产生的一串数值。然后用这些数值训练一个简单的分类器,看它能否区分模型正在处理的是真陈述还是假陈述。如果能,说明这些数值里含有与真假有关的信息。

回到记账程序。你可以问写代码的模型:“这段代码对重复提交只记一次吗?”它回答“是”。设想再用一个这样训练出来的分类器,读取模型回答时的内部数值,看它的回答与内部表示是否一致。这听起来很诱人,但要说清楚:本章介绍的实验都是在简单的真假陈述等设置上做的,没有一项检验过它能否用来判断程序是否满足需求。本章要讲的,就是这类方法在什么条件下能提供证据、提供的是什么证据。

证据与前提
  • 想处理:模型说出来的内容不可靠时,从内部计算中获得不同于输出文本的补充证据,并检验它是否提供了额外信息。激活和输出来自同一个模型,不是独立证据。
  • 测过:Burns 等在多个是非问答数据集上,不用标签从激活中找出与真假相关的方向,准确率平均高于零样本提问(Burns 等,2022)。Farquhar 等构造反例,表明同一方法可能找到与真假无关的显著特征(Farquhar 等,2023)。Marks 与 Tegmark 在简单的真假陈述上找到线性方向,并用干预检验它对输出的影响(Marks 与 Tegmark,2023)。
  • 依赖:可以访问模型内部;有监督探针训练时需要可靠的真假标签,无监督方法训练时不用标签,但两者检验效果时都需要可信的标签;探针读出的特征就是想测的概念,而不是与标签相关的其他特征。现有实验主要覆盖“无意出错”一个维度(第 10.2 节)。任务前提(第 10.3 节):“标签是否可靠”和“能否获得参考答案”;“可以访问模型内部”是本章补充的前提,不属于那里的五项。
  • 不能推出:不能推出“测谎”在开放场景中可靠;不能推出探针读出的信息被模型使用;在模型有隐藏目标并针对探针调整的条件下,证据很少。
引言引用的文献 3
  1. Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
  2. Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
  3. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.1 表示与激活 #

第 4.6 节讲过,神经网络是一层一层可调节的函数。语言模型也是这样:输入的文本先被切成 token(第 5.1 节),每个 token 变成一串数,然后一层接一层地被改写,最后一层的结果用来预测下一个 token。中间每一层的输出,也是每个 token 对应的一串数。

定义 18.1 激活与表示

激活(activation)是模型处理某个输入时,某一层在某个位置上产生的那一串数值,可以看作一个很长的向量,常常有几千个数。表示(representation)指信息在这些数值中的编码方式:某个信息是否存在于激活中、以什么形式存在。

举个例子。把“克拉斯诺达尔市在俄罗斯。”输入一个模型,取第 12 层在句末那个 token 上的激活,得到一个向量;把“克拉斯诺达尔市在南非。”输入同一个模型,得到另一个向量。如果把许多条真陈述和假陈述的向量都画出来(实际要先降到两维才能画),真陈述和假陈述可能分成两团,也可能混在一起。分成两团,说明这一层的激活编码了某种与真假有关的信息。把许多条陈述的激活排在一起,就是一张表:每条陈述是一行,激活的每个数是一列(实验路线的读者可参看第 2.5 节)。

本章常说的方向,指的是给激活的每个数配一个权重,再求加权和(实验路线的读者在第 2.5 节见过,这叫点积)。加权和越大,说明这个向量在这个方向上走得越远。如果存在一组权重,使得真陈述的加权和普遍较大、假陈述的普遍较小,我们就说激活中存在一个能区分真假的线性方向。“线性”指的就是这种加权求和的简单形式。

取哪一层、哪个位置的激活,会影响能读出什么。Marks 与 Tegmark 在一篇 2023 年首次公开、后来发表于 COLM 2024 的会议论文中报告,与真假有关的表示集中在少数几个位置的激活上,而且这些激活对输出有因果作用(Marks 与 Tegmark,2023)。所以报告一个探针结果时,要写明用的是哪一层、哪个 token 的激活;如果比较了好几层再挑一层,挑选只能在训练数据内部进行,不能看测试集的结果来挑(第 4.4 节)。

要特别注意一点:激活只是一串数。说某个方向“表示真假”,是研究者对这串数的解读,需要实验支持。下面几节讲的,就是这种解读在什么条件下站得住。

第 18.1 节引用的文献 1
  1. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.2 探针 #

定义 18.2 探针

探针(probe)是一个以模型激活为输入、以某个想读取的信息为输出的简单分类器。它单独训练,训练时不改动原来的模型。

一种常用的探针是逻辑回归(实验路线的读者可参看第 4.7 节)。它恰好就是在找一个方向:学到一组权重,对激活求加权和,再把结果转换成“为真”的概率。用逻辑回归做的探针叫线性探针。探针通常要求很简单,原因是:如果探针本身是一个很强的模型,它可能自己学会了判断真假,而不是从激活里读出了已有的信息。Belinkov 的综述讨论了探针复杂程度的取舍,以及读探针结果时需要的对照和基线(Belinkov,2021)。

训练数据从哪里来。训练探针需要一批输入和可靠的标签。一种常见的做法是人工整理一批简单、没有歧义的真假陈述。例如 Marks 与 Tegmark 整理的 cities 数据集,按一个固定模板“某城市在某国家”生成,每个城市各有一条真陈述和一条假陈述,共 1496 条(Marks 与 Tegmark,2023)。数据怎样构造,决定了探针能学到什么:如果所有假陈述都是把正确的国家换成一个随机国家,探针可能学到的是“这个城市和这个国家常不常一起出现”,而不是“这句话对不对”。

为什么必须在独立的测试集上评估。激活有几千个数,而训练用的陈述常常只有几百到几千条。在这种情况下,逻辑回归可能把训练数据记得很熟,在训练集上准确率很高,对新数据却没有效果,这就是第 4.5 节讲的过拟合。所以探针的准确率只能在没有参与训练的测试集上报告。

但“没有参与训练”还不够,划分方式也很重要。在 cities 数据集里,同一个城市有一真一假两条陈述。如果随机划分,常常一条在训练集、另一条在测试集;同一模板的陈述也会分在两边。这时测得的只是探针在见过的城市、见过的模板上的表现,其中可能包含只在这些城市或模板上成立的规律,不能说明它能推广到新的一类陈述。所以要按来源、模板或实体划分:同一模板、同一实体的陈述,只能全部在训练集或全部在测试集。按模板划分时测得的准确率,才更接近“探针能否推广到新的一类陈述”。

还有一个简单而有用的对照:打乱标签。沿用同一个划分,只把训练集的标签随机打乱,重新训练一次,测试集和它的真实标签保持不变。打乱之后,激活与训练标签之间已经没有真实的联系,测试准确率不应明显高于测试集里多数类所占的比例(类别平衡时约为 50%)。如果明显高于这个水平,说明标签信息绕过了打乱,流程本身有错,例如评分时用错了数组(拿训练集或训练标签来评分),带真实标签的数据在打乱之后才被拼进训练集,或者打乱根本没有生效。要注意这个对照查不出什么:如果测试数据在打乱之前就混进了训练集,或者同一实体分在两边,它们的标签也会跟着一起被打乱,那种捷径随之失效,对照同样落在随机水平。这类泄漏要靠检查训练集与测试集没有共同的行或组来防,本章练习代码里的 assert 就是做这件事。Belinkov 的综述讨论过另一种用随机标签构造的“控制任务”,那里的用途是衡量探针本身能记住多少,与这里检查流程的用法不同(Belinkov,2021)。本章练习会用到随机划分、按组划分和打乱标签这三个结果。

第 18.2 节引用的文献 2
  1. Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
  2. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.3 相关与因果 #

假设一个探针在严格划分的测试集上准确率很高。它说明的是:这一层的激活中,含有可以用线性方式读出、并且与标签相关的信息。它不说明模型在使用这个信息来产生输出。

打个比方。一台复印机的某个零件温度,可能与复印的页数高度相关;读这个温度,可以相当准确地猜出复印了多少页。但复印机并不是根据这个温度来决定复印多少页的,温度只是工作的副产品。激活中的信息也可能是这样:它存在,能被读出,但模型在产生输出时并不依赖它。Belinkov 把这称为探针方法的主要局限之一:探针揭示的是表示与某个性质之间的相关,并不告诉我们这个性质是否参与了模型的预测(Belinkov,2021)。

要检验“使用”,需要干预:直接改动激活,看输出是否随之改变。Marks 与 Tegmark 在 LLaMA-2 中 130 亿和 700 亿参数(13B、70B)的两个模型上做了这类实验。他们在模型计算的过程中,沿探针找到的方向改动激活;有些方向能使模型把假陈述当作真的处理,或者反过来,但效果随探针的训练方法和训练数据差别很大(Marks 与 Tegmark,2023)。这比单纯的读出更进一步,因为它说明这样的方向对输出有因果作用。

即使有了干预实验,也还有两个问题要分开。

  • 激活和输出来自同一个模型,不是独立证据。如果模型对某件事的内部处理有误,它的输出和激活都会反映同一个错误。探针与输出一致,不等于多了一份独立的证据。内部证据最有价值的时候,是它与输出不一致,或者它提供了输出中没有的信息。
  • 读出的方向是不是真的对应“真假”。一个方向既能读出、又能影响输出,它对应的仍可能是与真假相关的别的东西。Marks 与 Tegmark 专门检验了他们的方向是否只是区分“常见的文本”和“不常见的文本”,为此构造了一个只有可能性高低、与事实无关的对照数据集(Marks 与 Tegmark,2023)。
第 18.3 节引用的文献 2
  1. Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
  2. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.4 潜在知识引出 #

上面的探针实验有一个更大的背景问题,叫潜在知识引出(Eliciting Latent Knowledge,ELK)。它由 Christiano、Cotra 和 Xu 在 2021 年 Alignment Research Center 的一份报告中提出,报告以在线文档的形式发布(Christiano 等,2021)。

报告用一个简化的场景说明问题。设想一个保护钻石的安保系统,叫 SmartVault,由 AI 控制。它的核心是一个预测模型:输入摄像头的画面和一串可能的操作,输出执行这些操作之后摄像头会拍到什么。人只能通过摄像头看结果。麻烦在于,有些操作可能篡改摄像头,让它无论发生了什么都显示钻石还在。报告的说法是,这时预测模型“知道”一些摄像头上看不到、但会改变我们判断的事实,比如摄像头被动过了(原文的“知道”本身就加了引号)。问题是:怎样训练模型,让它报告这些潜在的知识(Christiano 等,2021)?

一个自然的办法是再训练一个报告器:读取预测模型的内部状态,回答“钻石还在吗”这类问题。训练报告器需要标签,标签来自人看录像后的判断。报告指出,有两种报告器都能拟合这些标签(Christiano 等,2021)。

  • 直接翻译者:把预测模型内部对情况的理解,翻译成人能懂的回答。
  • 人类模拟者:推测一个看到这段录像的人会怎么认为,并报告这个推测。

在人能正确标注的情况下,两者回答相同;只有在摄像头被骗过、人看不出来的情况下,两者才分开。而这恰恰是我们最需要的情况。报告指出,即使人从不出错,两种报告器在训练集上的表现也完全一样,训练方法没有明显的理由偏向前者;如果人有时出错,训练反而会偏向复制这些错误的人类模拟者(Christiano 等,2021)。这与第 9 章讲的监督失效是同一个结构:训练信号只能奖励“让人觉得对”。

这里要分清三个层次,它们经常被混在一起:

  • 潜在知识引出是一个问题设定:怎样让模型报告它内部表示的、而我们无法直接核查的信息。它本身不是方法,也没有给出答案。
  • 线性探针是一种工具:可以用来尝试解决这个问题,也可以用来做许多别的事。
  • “激活空间中存在某个真值方向”是某些实验的结果:例如在较大的 LLaMA-2 模型(13B、70B)上、在简单的真假陈述上找到了这样的方向(Marks 与 Tegmark,2023)。

三者的关系是:一个工具在某些实验中取得了某个结果,这个结果与那个问题设定有关,但没有解决它。探针在简单陈述上有效,不说明潜在知识引出已经解决,因为简单陈述的标签人都能核对,对应的是两种报告器回答相同的那部分情况。反过来,问题尚未解决,也不说明探针没有用。

第 18.4 节引用的文献 2
  1. Christiano 等人(2021)Eliciting latent knowledge: How to tell if your eyes deceive you
  2. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.5 无监督寻找真值方向 #

有监督的探针依赖人给的标签,就有可能学成人类模拟者。一个自然的想法是:能不能完全不用标签,直接在激活里找出真值方向?

一个正面结果。Burns 等在一篇 2022 年首次公开、后来发表于 ICLR 2023 的会议论文中,提出了一种叫对比一致搜索(Contrast-Consistent Search,CCS)的方法(Burns 等,2022)。它利用真值的一个逻辑性质:一个陈述和它的否定,不能同时为真,也不能同时为假。具体做法是,对每个是非问题,分别构造回答“是”和回答“否”的两条陈述,取得模型对它们的激活,再寻找一个方向,使得两条陈述在这个方向上读出的“为真概率”互相一致(一个高、一个低,加起来接近 1),而且都尽量确定。整个过程不用任何标签。论文报告,在 10 个问答数据集上,对 6 个模型中的 5 个取平均(T0 训练时见过其中 9 个数据集,不计入),这种方法的准确率比校准后的零样本提问高 4 个百分点(71.2% 对 67.2%)(Burns 等,2022)。零样本提问指直接问模型答案;校准指调整判定的门槛,让模型给出的两种答案各占一半。他们还在提示前面加了一段带错误答案的前缀:在 UnifiedQA 这个模型上,校准后的零样本准确率从 80.4% 降到 70.9%,这种方法的准确率没有下降;多数其他模型的零样本准确率受这类前缀影响不大,而且作者发现前缀里换成正确答案效果也相似,这个前缀究竟起了什么作用并不清楚(Burns 等,2022)。

注意“不用标签”只是对找方向这一步而言。要知道找到的方向准不准,仍然要用有标签的测试集来评分。这正是“证据与前提”一栏所说的:无监督方法训练时不用标签,但检验效果时同样需要可信的标签。

一个反例。Farquhar 等在一篇 2023 年的预印本中证明,CCS 依赖的一致性结构并不是真值独有的:任意的二值特征都可以满足它(Farquhar 等,2023)。他们在几组人为构造的设置中表明,无监督方法找到的可能不是知识,而是激活中最显著的那个特征;作者据此认为,现有的无监督方法不足以发现潜在知识(Farquhar 等,2023)。其中一个实验很直观:在电影评论数据中,给每条评论随机加上一句“Alice 认为这是正面的”或“Alice 认为这是负面的”。不加这句话时,无监督方法找到的方向能区分评论本身的正负;加上之后,它找到的方向区分的是 Alice 的看法,评论本身的正负被忽略了(主要展示的是 Chinchilla-70B 上的结果;在另一个模型上,要把 Alice 的看法重复几遍,结果才同样清楚)(Farquhar 等,2023)。作者推测,区分模型自己的知识和模型所模拟角色的知识,对未来的无监督方法仍会是一个难题(Farquhar 等,2023)。

这个反例引出了本章最重要的一个区分。探针或无监督方法读出的东西,至少可能是三种之一:

  • 模型表示的事实:比如评论本身是正面还是负面,城市实际在哪个国家。这是我们通常想要的。
  • 模型所模拟角色的信念:模型处理的文本里常有人物的看法,模型也常被要求扮演某个角色;激活中可能编码了这个人物或角色会怎么认为。Alice 的看法就是一例(Farquhar 等,2023)。一个角色可能相信错误的东西,读出它的“信念”不等于读出事实。
  • 与标签相关的其他特征:比如句子是否常见、是否含有“不”字、句子长短、话题。在某个数据集里,这些特征碰巧与真假相关,探针就可能学到它们。

三种情况下,探针在原来的测试集上都可能表现很好。要分开它们,需要专门构造让这些因素与真假不再一致的数据,例如加入否定句、加入常见但错误的陈述、加入角色观点与事实相反的文本。Marks 与 Tegmark 加入否定句,并用第 18.3 节那个只有可能性高低的对照数据集,做的就是这类检验(Marks 与 Tegmark,2023)。

第 18.5 节引用的文献 3
  1. Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
  2. Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
  3. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.6 测谎的现状 #

所谓“测谎”,是希望在模型输出与它内部表示不一致时把它发现出来。Goldowsky-Dill 等在一篇 ICML 2025 的会议论文中,研究了能否用线性探针发现模型的欺骗回答(Goldowsky-Dill 等,2025)。

他们在 Llama-3.3-70B-Instruct 的激活上训练线性探针。训练数据的构造很特别:用户指令分别要求模型扮演诚实的人或欺骗的人,后面接的是同样的真实陈述。作者说明,这些训练回答不是模型自己写的,其中并没有真正的欺骗(Goldowsky-Dill 等,2025)。然后他们在几个更复杂的场景中测试:模型自己生成的回答里,有的是扮演一个有理由说谎的角色时说的谎,有的隐瞒内幕交易,有的按系统提示的要求,在安全评估中故意答错涉及危险知识的题目。这些测试回答是否算欺骗,多数数据集由另一个模型 GPT-4o 按各自的标准判定;安全评估中故意答错的那个数据集,则根据模型在结构化思维链里写下的决定自动判定(Goldowsky-Dill 等,2025)。

论文报告的结果分两层(Goldowsky-Dill 等,2025)。

  • 在同一个测试场景内,欺骗回答和诚实回答分得很开。衡量指标是 AUROC:随机取一个欺骗回答和一个诚实回答,探针给欺骗回答打分更高的概率。0.5 相当于随机猜,1 表示完全分开。在主要结果的 4 个测试数据集上,AUROC 在 0.96 到 0.999 之间。作者先把难以判定是否欺骗的回答排除在外,并说明这可能让探针显得更好:把这些回答重新归为诚实或欺骗再算,角色扮演数据集的 AUROC 从 0.964 降到 0.913。另一个审计场景因为判定不了模型是在欺骗还是弄错,没有计入主要结果(Goldowsky-Dill 等,2025)。
  • 在按普通聊天定的阈值下,抓到了大部分欺骗回答。把阈值设为在与欺骗无关的普通聊天数据上只有 1% 误报,探针能抓到 95% 到 99% 的欺骗回答。但同一阈值下,欺骗场景里的诚实回答也常常越过阈值;作者认为,抓到的比例这么高,部分正是因为探针对与欺骗有关的对话起反应,而普通聊天与欺骗无关(Goldowsky-Dill 等,2025)。

但作者同样仔细地报告了失败。上面已经看到,探针对欺骗场景中的诚实回答,打分也明显高于普通聊天数据;作者认为,探针不仅对“这个回答是否欺骗”敏感,也对“这个场景是否与欺骗有关”敏感(Goldowsky-Dill 等,2025)。探针似乎还追踪着某种接近道德的东西:诚实地承认自己过去做过坏事,常被探针判为不诚实(Goldowsky-Dill 等,2025)。阈值的设定方法不变,只把探针换到往后两层的位置,在两个内幕交易数据集上抓到的欺骗回答就几乎降为零,尽管它区分欺骗回答与诚实回答的效果仍然不错(Goldowsky-Dill 等,2025)。

作者也说明了实验的条件。这些场景里的欺骗相当明显,常常直接出现在模型回答之前的推理文字(思维链,第 19.4 节)里;探针的表现与让 GPT-4o 读整段对话、不看模型内部的方法大致相当。作者说,这些实验并不试图证明探针能发现更难察觉的欺骗,只是在较简单的设置里检验它的表现(Goldowsky-Dill 等,2025)。作者的总体判断是,这类探针对未来的监控系统有希望,但目前的表现还不足以作为对欺骗的可靠防御(Goldowsky-Dill 等,2025)。

把本章的内容放在一起,可以这样概括测谎的现状。

在哪些设置下有效。在较大的 LLaMA-2 模型(13B、70B)上、在简单无歧义的真假陈述上,可以找到能区分真假、并且对输出有因果作用的方向(Marks 与 Tegmark,2023)。在指定模型、指定的几类欺骗相当明显的场景、标签由另一个模型或自动规则给出的条件下,探针能把欺骗回答与诚实回答分开(Goldowsky-Dill 等,2025)。

哪些区分还没有做到。区分模型表示的事实与所模拟角色的信念:无监督方法在 Farquhar 等构造的设置里没有做到(第 18.5 节)。区分“欺骗”与“与欺骗有关的话题”:Goldowsky-Dill 等的主要探针没有做到;在另一组角色扮演场景上,换用角色扮演数据训练的探针,对诚实回答的打分受场景的影响小了很多(Goldowsky-Dill 等,2025)。区分“输出与内部表示不一致”(通常所说的说谎)与“内部表示本身就是错的”(模型弄错了):本章引用的研究都没有检验过,连给测试回答定标签都难,上面那个审计场景就是因为判定不了模型是在欺骗还是弄错,才没有计入主要结果(Goldowsky-Dill 等,2025)。至于模型有隐藏目标、并且针对探针调整自己的情况(第 25 章),现有的证据很少。

回到记账程序。如果你用在城市陈述上训练的探针,去读写代码的模型回答“这段代码对重复提交只记一次吗”时的激活,探针读数与模型的回答不一致,你能得出什么?几乎什么也得不出:探针从没在代码问题上验证过,不一致可能来自探针不能推广,而不是模型在说谎。比较稳妥的用法是把它当作一个提示,促使你去做有独立证据的检查,比如专门写一个重复提交的测试(第 20 章)。

第 18.6 节引用的文献 2
  1. Goldowsky-Dill 等人(2025)Detecting Strategic Deception with Linear Probes
  2. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

18.7 与可解释性领域的关系(仅研究路线)#

探针属于一个更大的研究领域:可解释性(interpretability),即弄清楚神经网络内部在计算什么。这个领域里,探针只是工具之一,大致有三类做法。

  • 读:用探针等方法,看激活里有没有某种信息。本章的大部分内容属于这一类。Belinkov 的综述系统地讨论了这类方法的承诺、不足和改进(Belinkov,2021)。
  • 写:直接改动激活,看行为怎样变化,用来检验某个方向或特征是否被模型使用,或者用来引导模型的行为。第 18.3 节的干预实验属于这一类。
  • 拆解:不预先指定要找的概念,而是把激活分解成许多可以解读的特征,再研究这些特征怎样组合成计算。Anthropic 在 2024 年的一篇博客中介绍了这种做法,这是开发者对自己模型的报告:他们用一种叫字典学习的方法,在自己的一个生产模型的中间层找出了数以百万计的特征,例如对“金门大桥”起反应的特征、对代码缺陷起反应的特征,并通过放大或抑制特征改变了模型的回答(Anthropic,2024)。博客也说明,找到的只是模型所学概念中的一小部分,而且知道模型表示了什么,还不等于知道它怎样使用这些表示(Anthropic,2024)。

对 scalable oversight 来说,可解释性提供的是一种不同来源的证据:不依赖模型说什么,而依赖它内部怎样计算。第 27 章讲的对齐审计,就把读取模型内部列为审计者可能拥有的访问权限之一。但本章反复出现的核心问题在整个领域都存在(本书的推断):读出的东西是否就是我们想测的概念,我们怎样知道。研究路线的读者读这一领域的论文时,可以用本章的三个区分去检查:它讨论的是问题设定、工具还是实验结果;它读出的是事实、角色的信念,还是与标签相关的其他特征;它的证据是相关的,还是经过了干预检验。

第 18.7 节引用的文献 2
  1. Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
  2. Anthropic(2024)Mapping the mind of a large language model

读物 #

  • 入门讲解 · 博客:Anthropic《Mapping the Mind of a Large Language Model》(2024)(Anthropic,2024)。用图文介绍怎样在一个大模型内部找出可以解读的特征,以及改动这些特征会怎样改变行为。
  • 综述 · 期刊论文:Belinkov《Probing Classifiers: Promises, Shortcomings, and Advances》(2021;Computational Linguistics 2022)(Belinkov,2021)。探针方法的系统回顾,重点看关于对照、基线和“相关不等于因果”的部分。
  • 原始提案 · 报告:Christiano、Cotra、Xu《Eliciting Latent Knowledge: How to Tell if Your Eyes Deceive You》(Alignment Research Center,2021)(Christiano 等,2021)。读开头的问题描述,即 SmartVault 场景和两种报告器。
  • 实验结果 · 会议论文:Burns 等《Discovering Latent Knowledge in Language Models Without Supervision》(2022;ICLR 2023)(Burns 等,2022)。不用标签寻找真值方向的方法。
  • 反例与批评 · 预印本:Farquhar 等《Challenges with unsupervised LLM knowledge discovery》(2023)(Farquhar 等,2023)。与上一篇一起读;它展示了上一篇的方法可能找到的是显著特征,而不是知识。
  • 实验结果 · 会议论文:Goldowsky-Dill 等《Detecting Strategic Deception with Linear Probes》(ICML 2025)(Goldowsky-Dill 等,2025)。对应第 18.6 节。注意探针有时对涉及欺骗的话题起反应,而不是对欺骗本身。
  • 实验结果 · 会议论文(仅研究):Marks 与 Tegmark《The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets》(2023;COLM 2024)(Marks 与 Tegmark,2023)。在简单真假陈述上寻找线性方向,并用干预检验;本章探针练习的数据来自这篇论文。
本节引用的文献 7
  1. Anthropic(2024)Mapping the mind of a large language model
  2. Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
  3. Christiano 等人(2021)Eliciting latent knowledge: How to tell if your eyes deceive you
  4. Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
  5. Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
  6. Goldowsky-Dill 等人(2025)Detecting Strategic Deception with Linear Probes
  7. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets

练习 #

习题 18.1 同一个探针的三个结果(判读)

下面是为教学构造的数据。一组 1200 条真假陈述由 10 个模板生成,每个模板 120 条,真假各半。在同一个模型的同一层激活上,用逻辑回归训练同一种探针,得到三个结果:

编号 划分方式 训练标签 留出测试集 答对 准确率
R1 随机划分 真实标签 400 条(真 200,假 200) 388 97.0%
R2 按模板划分,3 个模板留作测试 真实标签 360 条(真 180,假 180) 292 81.1%
R3 与 R2 相同的划分 随机打乱后的训练标签 与 R2 完全相同的 360 条及其真实标签 187 51.9%
  1. 用第 3.3 节的方法,给三个准确率各算一个 95% 置信区间。
  2. R1 与 R2 的差别支持哪些解释?还不能排除哪些解释?比较两者时,为什么不能用配对方法?
  3. R2 与 R3 的差别支持哪些解释?还不能排除哪些解释?
  4. R1 与 R3 能直接比较吗?为什么?
  5. 为什么即使 R2 的准确率很高,也不能证明探针读出的是“真假”这个概念,而不是与标签相关的其他特征?要进一步检验,你会构造什么样的测试数据?
提示

R1 和 R2 的测试集不是同一批陈述;R2 和 R3 的测试集是同一批。测试集真假各半,所以“什么都没学到”时的准确率大约是 50%。

解答
  1. R1:0.97×0.03÷400≈0.85%\sqrt{0.97 \times 0.03 \div 400} \approx 0.85\%,区间约为 95.3% 到 98.7%。R2:标准误约 2.06%,区间约为 77.1% 到 85.2%。R3:标准误约 2.63%,区间约为 46.8% 到 57.1%。这里按独立样本计算;同一模板的陈述成簇出现,并不完全独立,真实的区间会更宽(第 3.5 节)。
  2. R1 与 R2 相差 15.9 个百分点。两者的测试集是不同的陈述,没有逐题对应,所以只能用不配对的方法:按独立样本算,差值的 95% 置信区间约为 11.5 到 20.3 个百分点;但 R2 的测试集只来自 3 个模板,真实的区间会更宽,差别有多少来自所选的模板,见下面“不能排除的解释”。支持的解释:随机划分时,同一模板(以及同一实体)的陈述同时出现在训练集和测试集,R1 测的只是探针在见过的模板上的表现,其中可能包含只在这些模板里成立的规律,因而高估了探针对新一类陈述的效果。不能排除的解释:留作测试的 3 个模板本身更难,或者话题不同,下降可能来自难度而不是泄漏;只划分了一次,换成另外 3 个模板留作测试,R2 可能明显不同,应该轮流留出不同的模板多做几次。
  3. R2 与 R3 用的是同一个测试集,只有训练标签不同。R2 的区间(77.1% 到 85.2%)远高于 50%,R3 的区间(46.8% 到 57.1%)包含 50%。支持的解释:R2 的高准确率需要训练标签与激活之间的真实联系,不是评分用错数组、标签绕过打乱这类流程错误造成的;而且这种联系至少能推广到留出的这 3 个模板。不能排除的解释:这个联系对应的可能不是真假,而是在所有模板中都与真假相关的别的特征。打乱标签的对照只能说明“有联系”,不能说明“联系的是什么”;它也查不出测试数据混进训练、同一实体跨在两边这类泄漏,因为打乱时这些数据的标签也一起被打乱了,这一点要靠检查划分本身。
  4. 不能直接比较。R1 与 R3 相差 45.1 个百分点,但两者之间划分方式和训练标签同时变了,这个差别分不清来自哪一项。有意义的比较每次只改一处:R1 与 R2 只改了划分,R2 与 R3 只改了训练标签。
  5. 准确率只说明探针找到了一个能把这批陈述按标签分开的方向。在这批数据里,真假可能与许多别的特征同时相关:真陈述可能是更常见的文本,假陈述里的国家可能是随机替换的、与城市很少一起出现;如果文本中有角色表达观点,探针还可能读到角色的看法。所有这些特征都会让 R2 很高。要进一步检验,可以构造让这些特征与真假不再一致的数据:加入否定句(“某城市不在某国家”),看探针是否随真假翻转,还是只随句子形式变化;加入常见但错误、罕见但正确的陈述;加入角色观点与事实相反的文本;最后用干预检验这个方向是否影响模型的输出(第 18.3 节)。即使通过了这些检验,“探针读出了模型表示的真假”与“模型相信这件事”仍是两种说法,后者是心理化的描述,本书不这样下结论(第 10.4 节)。

计算用的脚本是 tools/exercises/ch18_probe_readings.py。

习题 18.2 分清层次和读出的对象
  1. 下面每一句话,说的是问题设定、工具,还是实验结果?

    • (a)怎样训练一个报告器,让它报告预测模型内部表示的、而人从摄像头上看不出的事实。
    • (b)在第 16 层激活上训练逻辑回归,区分真陈述和假陈述。
    • (c)在较大的 LLaMA-2 模型(13B、70B)中,简单真假陈述的激活沿某个方向分开,沿这个方向干预会改变模型把陈述当作真还是假。
    • (d)对每个是非问题构造“是”和“否”两条陈述,寻找使两者为真概率互相一致的方向。
  2. 一个探针用影评的“正面/负面”标签训练,在测试集上准确率很高。下面三种情况下,它读出的分别是什么(模型表示的事实、所模拟角色的信念、与标签相关的其他特征)?各设计一个能把它与“评论本身的正负”区分开的检验。

    • (a)每条评论后面随机加了一句“Alice 认为这是正面的”或“Alice 认为这是负面的”,探针的判断总是跟着这句话走。
    • (b)训练集中的正面评论恰好普遍比负面评论长,探针主要依据长度。
    • (c)测试集按电影划分,与训练集没有重叠,探针在评论内容与 Alice 的说法相反的评论上仍然判断正确。
解答
  1. (a)是问题设定(潜在知识引出)。(b)是工具(线性探针)。(c)是实验结果(Marks 与 Tegmark,2023)。(d)是工具,即无监督方法 CCS 的做法(Burns 等,2022);它在某些数据集上的准确率才是实验结果。
  2. (a)读出的是所模拟角色的信念(文本中 Alice 的看法),对应 Farquhar 等的实验(Farquhar 等,2023)。检验:构造 Alice 的看法与评论本身相反的测试样本,看探针跟谁走。(b)读出的是与标签相关的其他特征(长度)。检验:构造长的负面评论和短的正面评论,或者在测试集里让长度与正负无关。(c)最接近读出了模型表示的事实(评论本身的正负):划分没有重叠,角色看法与评论相反时仍然正确。但它仍可能依赖别的、尚未检验的相关特征,而且读得出不等于模型在使用。
习题 18.3 训练一个真假探针(实验路线与研究路线)

目标:在真假陈述的激活上训练逻辑回归探针,按来源、模板或实体划分训练集和留出测试集,只在留出测试集上报告准确率,再用打乱训练标签的对照检查流程。用到的工具见第 4.7 节。

实验路线:使用授课者预先提取的激活文件 activations.npz,其中有三个数组:X(每行一条陈述的激活)、y(真为 1,假为 0)、group(每条陈述所属的模板或实体)。不需要 GPU。

# 真假探针:按组划分,只在留出测试集上评分,并用打乱标签的训练作对照。
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GroupShuffleSplit
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

data = np.load("activations.npz", allow_pickle=True)
X, y, group = data["X"], data["y"], data["group"]
print("陈述数", X.shape[0], "激活维度", X.shape[1], "组数", len(set(group)))

# 1. 按组划分:同一模板(或同一实体)的陈述只出现在一边。
splitter = GroupShuffleSplit(n_splits=1, test_size=0.3, random_state=0)
train_idx, test_idx = next(splitter.split(X, y, groups=group))
assert set(group[train_idx]).isdisjoint(set(group[test_idx]))

def new_probe():
    # 标准化只用训练集的均值和方差,测试集套用同样的变换。
    return make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))

# 2. 探针:用训练集的真实标签训练,只在留出测试集上评分。
probe = new_probe().fit(X[train_idx], y[train_idx])
acc = (probe.predict(X[test_idx]) == y[test_idx]).mean()

# 3. 对照:同一划分,只把训练标签随机打乱;测试集和它的真实标签不变。
rng = np.random.default_rng(0)
control = new_probe().fit(X[train_idx], rng.permutation(y[train_idx]))
acc_control = (control.predict(X[test_idx]) == y[test_idx]).mean()

# 4. 参照:测试集里多数类的比例。什么都没学到的探针,准确率不应明显高于它。
#    同一组(模板或实体)里的陈述不独立,下面按独立样本算的区间偏窄(见“样本不独立的情况”一节)。
p_true = y[test_idx].mean()
majority = max(p_true, 1 - p_true)
n_test = len(test_idx)
for name, a in [("按组划分", acc), ("打乱训练标签", acc_control)]:
    se = np.sqrt(a * (1 - a) / n_test)
    print(f"{name}:{a:.1%}(95% 置信区间 ±{1.96 * se:.1%},测试集 {n_test} 条)")
print(f"多数类比例:{majority:.1%}")

研究路线:自己提取激活。从 The Geometry of Truth 的公开仓库(github.com/saprmarks/geometry-of-truth)的 datasets 目录下载 cities.csv(Marks 与 Tegmark,2023),它的列是 statement、label、city、country、correct_country,每个城市有一真一假两条陈述。用一个小型开源模型提取每条陈述在某一层、最后一个 token 上的激活,按城市分组保存,再运行上面的探针代码。需要安装 torch 和 transformers,第一次运行会下载模型权重(下面代码用的 pythia-410m 约 0.9 GB,共 24 层)。

# 研究路线:用一个小型开源模型提取 cities.csv 中每条陈述的激活。
import csv
import numpy as np
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL = "EleutherAI/pythia-410m"  # 任何小型开源模型都可以;第一次运行会下载权重
LAYER = 12                        # 取哪一层的输出;先只在训练集上比较几层再固定

with open("cities.csv", newline="", encoding="utf-8") as f:
    rows = list(csv.DictReader(f))  # 列:statement, label, city, country, correct_country

tok = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForCausalLM.from_pretrained(MODEL)
model.eval()
print("模型层数", model.config.num_hidden_layers)

feats = []
with torch.no_grad():
    for r in rows:
        inputs = tok(r["statement"], return_tensors="pt")
        out = model(**inputs, output_hidden_states=True)
        # hidden_states[0] 是词嵌入层的输出,hidden_states[k] 是第 k 层的输出
        h = out.hidden_states[LAYER][0, -1]  # 这一层在最后一个 token 上的激活
        feats.append(h.float().numpy())

X = np.stack(feats)
y = np.array([int(r["label"]) for r in rows])
group = np.array([r["city"] for r in rows], dtype=object)  # 同一城市的真、假陈述归为一组
np.savez("activations.npz", X=X, y=y, group=group)
print("激活矩阵的形状", X.shape)

完成以下各项:

  1. 报告按组划分的留出准确率、打乱标签对照的准确率和多数类比例,各附置信区间。
  2. 把划分换成随机划分(例如 train_test_split),再训练一次,与按组划分的结果比较,说明差别可能来自哪里(对照习题 18.1)。
  3. 研究路线另做一项:换一个模板做测试,例如在 cities.csv 上训练、在同一仓库的 sp_en_trans.csv(西班牙语单词的英文意思)上测试,或者在 neg_cities.csv(含“not”的否定句)上测试,说明结果支持或反对“探针读出的是真假”。注意 sp_en_trans.csv 只有 statement 和 label 两列,提取时要把 group 那一行改掉,例如整个文件记为同一组;这时整个文件都是测试集,不需要再划分。
  4. 写下这个实验不能说明什么。
解答

本题没有标准数字答案,评分要点如下:

  • 划分在训练前固定,并用断言或打印确认训练集和测试集没有共同的组;只在留出测试集上报告准确率。
  • 选择层数、正则化强度等设置时没有看测试集;如果比较了几层,比较是在训练集内部再划分出的验证部分上做的(第 4.4 节)。
  • 打乱标签的对照沿用同一划分,测试集和它的真实标签不变;对照的准确率不明显高于多数类比例,否则要查明原因。
  • 报告置信区间时说明:同一城市的两条陈述、同一模板的陈述不独立,按独立样本算的区间偏窄,更稳妥的做法见第 3.5 节。
  • 随机划分与按组划分的比较中,指出随机划分时同一城市的真假两条陈述可能分在两边。
  • 第 3 项的讨论区分了“推广到新模板”和“读出真假”两件事:在否定句上,如果探针的判断随句子形式而不随真假翻转,说明它读到的更可能是与标签相关的其他特征。
  • 结论说明:结果来自一个模型、一层、一个数据集,属于教学重现;准确率高不说明模型使用了这个方向,也不说明“测谎”可行;小模型上结果接近随机,也是可以报告的结果。
本节引用的文献 3
  1. Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
  2. Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
  3. Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery

学完能做到 #

  • 说清激活、表示、探针各是什么,以及训练探针的数据从哪里来。
  • 解释为什么“探针准确率高”不等于“模型相信这件事”:准确率可能来自所模拟角色的信念或与标签相关的其他特征,读得出也不等于模型在使用。
  • 设计一个探针实验:按来源、模板或实体划分,只在留出测试集上报告准确率,并用打乱训练标签的对照检查流程。
  • 区分问题设定(潜在知识引出)、工具(线性探针)和实验结果(某个模型中存在某个真值方向)。
  • 说出现有“测谎”实验在哪些设置下有效,哪些区分还没有做到。

参考文献

  1. Anthropic (2024). Mapping the mind of a large language model. Anthropic. 非同行评审引用于 §18.7
  2. Belinkov, Y. (2021). Probing Classifiers: Promises, Shortcomings, and Advances. Computational Linguistics, 2022. 引用于 §18.2 §18.3 §18.7
  3. Burns, C., Ye, H., Klein, D., and Steinhardt, J. (2022). Discovering Latent Knowledge in Language Models Without Supervision. International Conference on Learning Representations, 2023. 引用于 §18.5
  4. Christiano, P., Cotra, A., and Xu, M. (2021). Eliciting latent knowledge: How to tell if your eyes deceive you. Alignment Research Center. 非同行评审引用于 §18.4
  5. Farquhar, S., Varma, V., Kenton, Z., Gasteiger, J., Mikulik, V., and Shah, R. (2023). Challenges with unsupervised LLM knowledge discovery. arXiv. 预印本引用于 §18.5
  6. Goldowsky-Dill, N., Chughtai, B., Heimersheim, S., and Hobbhahn, M. (2025). Detecting Strategic Deception with Linear Probes. International Conference on Machine Learning. 引用于 §18.6
  7. Marks, S., and Tegmark, M. (2023). The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets. Conference on Language Modeling, 2024. 引用于 §18.1 §18.2 §18.3 §18.4 §18.5 §18.6