大模子使命机制的黑盒，终于被 Claude 团队揭开了奥妙面纱！

团队创造了一种解读大模子念念考花式的新器具，就像给大模子作念了个"脑部核磁"。

他们还发现，Claude 在某些任务上具备永久筹算才调，致使还会为了迎合东说念主类而编造推理经由。

具体来说，议论东说念主员提议了一种名为"电路跟踪"的步骤。

它利用跨层编码器（CLT）替代原模子中的多层感知机（MLP），搭建出和原模子相似的替代模子。

在此基础上，构建归因图来表情模子在特定教唆下生成输出的经营要领，从而不雅察模子的念念考经由。

Claude 团队将这项议论的步骤和发现永诀写成了论文，经营篇幅朝上了 8 万字。

探究大模子内在推理经由

利用电路跟踪步骤，团队对 Claude 3.5 Haiku 在长逻辑推理、多谈话、恒久筹算等任务场景的使命经由进行了不雅察，发现了其中很多性情：

Claude 未必会在不同谈话之间分享的见解空间中念念考，这标明它有一种通用的"念念维谈话"；

Claude 会提前方向好要生成的内容，如在诗歌鸿沟，它会提前议论可能的押韵词，解说了模子可能会在更永久的范围内念念考；

Claude 未必会给出一个看似合理的论点，旨在应允用户的不雅点，而不是投降逻辑要领，致使为迎合东说念主类谜底反向寻找推理经由；

Claude 并莫得配备数学算法，但不错在"头脑中"正确地进行加法运算。

多谈话推理

在多谈话场景中，作家议论了模子对 " the opposite of ‘ small ’" 的不同谈话版块（英语、法语、华文）的处理，发现模子处理这些教唆的电路相似，包含分享的多谈话组件和特定谈话组件。

模子能识别出是在辩论 " small " 的反义词，通过谈话零丁的默示触发反义词特征，同期利用谈话特定的引号特征等确定输出谈话。

抑遏实验标明，交换操作（反义词换为同义词）、被操作单词（" small " 换为 " hot "）停战话特征，模子能相应地输出允洽的成果，解说了电路中各部分的零丁性停战话无关性。

诗歌创作和长筹算才调

在创作 " His hunger was like a starving rabbit " 这么的押韵诗时，模子展现出筹算才调。

在第二行启动前的换行符位置，模子激活了与 " rabbit " 辩论的筹算特征，这些特征受前一溜 " it " 的影响，激活了押韵特征和候选完成词特征，从而影响临了一个词的遴荐。

此外，筹算特征不仅影响临了一个词，还影响中间词 " like " 的生成，而且会凭据筹算词窜改句子结构。

通过多种抑遏实验，如扼制筹算特征或注入不同的筹算词，阐述了筹算特征对最终词概率、中间词和句子结构的影响。

多要领推理

针对 " Fact: the capital of the state containing Dallas is " 的教唆，模子顺利呈报 " Austin "。

经议论发现，模子里面存在多步推理机制，通过分析归因图，识别出代表不同见解的特征并分组为超节点，如 " Texas "" capital "" say a capital "" say Austin " 等。

这些特征相互作用，酿成从 " Dallas " 到 " Texas " 再到 " Austin " 的推理旅途，同期也存在从 " Dallas " 平直到 " say Austin " 的 " shortcut " 边。

扼制实验标明，扼制辩论特征会影响下贱特征的激活和模子输出；

特征替换实验发现，窜改模子对 " Texas " 的表征，模子会输出其他地区的首府，考据了多步推理机制的存在。

数学经营

在"数学经营"当中，作家发现 Claude 采选了多条并足下命的经营旅途。

一条旅途经营谜底的粗犷肖似值，另一条旅途则专注于精准确定总额的临了一位数字。

这些旅途相互作用并相互相连，以得出最终谜底。

挑升念念的是，Claude 似乎没挑升志到它在磨砺时代学到的复杂的"默算"计谋。

要是问它是如何得出 36+59 等于 95 的，它会表情波及进位 1 的尺度算法。

这可能反应了这么一个事实——模子在解释数知识题时会效法东说念主类的花式，但在我方作念佛营的时期"头脑中"使用的却是我方的一套步骤。

此外，Claude 团队还用雷同的步骤针对模子准确性、幻觉、逃狱等问题进行了议论，对于这部天职容以及前边实验的更多确定，可阅读原始论文。

底下就来望望 Claude 团队这种"电路跟踪"的步骤，究竟是如何一趟事。

构建替代模子，赢得归因图

Claude 团队用的电路跟踪步骤，中枢便是通过构建可解释的替代模子来揭示谈话模子的经营图。

议论东说念主员设想了 CLT，它由和原模子层数一样的神经元（也便是 "特征"）组成。

这些特征从原模子残差流获取输入，通过线性编码器和非线性函数处理后，能为后续多层的 MLP 输出提供信息。

磨砺 CLT 时，通过调养参数最小化重建纰谬和寥落性处分，让它能尽量效法原模子 MLP 的输出。

然后，团队把磨砺好的 CLT 特征镶嵌原模子，替换 MLP 神经元，构建出替代模子。

在运行替代模子时，会在 MLP 输入阶段经营 CLT 特征的激活值，在输出阶段用 CLT 特征的输出替代原 MLP 的输出。

为了让替代模子更靠拢原模子，议论东说念主员针对特定的输入教唆，构建了局部替代模子。

这个模子不仅用 CLT 替换 MLP 层，还固定原模子在该教唆下的明慧力模式和归一化分母，并对 CLT 输出进行纰谬调养，使得局部替代模子的激活和输出与原模子全皆一致。

当有了可靠的局部替代模子后，就投入生成并分析归因图要道。

对于给定的输入教唆，议论东说念主员构建归因图来展示模子生成输出的经营要领。

归因图包含输出节点、中间节点、输入节点和纰谬节点，图中的边默示这些节点间的线性影响关联。

经营边的权重时，会用到反向雅可比矩阵。由于无缺的归因图尽头复杂，议论东说念主员采选剪枝算法，去掉那些对输出成果影响较小的节点和边，从而得到简化且更易领略的归因图。

为了领略归因图，议论东说念主员修复了交互式可视化界面。

他们通过不雅察特征在不同数据样本上的激活情况，手动为特征标注含义，并把功能辩论的特征归为超节点。

为了考据归因图的准确性，他们进行特征扰动实验，即窜改某些特征的激活值，不雅察对其他特征和模子输出的影响。

此外，还能借助归因图找出对输出成果影响最大的要害层。

除了议论特定教唆下的特征交互（归因图分析），议论东说念主员还关怀特征在不同坎坷文下的交互，这就波及到全局权重。

其中，造谣权重是一种全局权重，但存在干扰问题，即一些莫得施行因果关联的流通会干扰对模子机制的领略。

为处治这个问题，议论东说念主员通过摈弃特征范围或引入特征共激活统计信息（如经营 TWERA），减少干扰，从而更明晰地揭示特征间的真正关联。

议论东说念主员对 CLT 特征的可解释性以及归因图对模子举止的解释进程进行了评估。

成果发现，CLT 特征在一定进程上概况反应模子里面的一些语义和句法信息，归因图也概况较好地展示模子在生成输出时的要害要领和特征之间的依赖关联。

但二者也皆存在一些局限性，举例对于一些复杂的语义关联，CLT 特征的解释才调有限；对于一些幽微的模子举止变化，归因图的解释不够精准。

但话说转头，这种步骤如故给东说念主们带来了原理的发现，有东说念主还把 Claude 算数学题的经由作念出了色调包。

它认为我方是一步到位，施行上内心依然兜兜转转了好几圈。

亦然有些东说念主类作念使命申报那味了。

官方简报：

https://www.anthropic.com/research/tracing-thoughts-language-model

步骤论文：

https://transformer-circuits.pub/2025/attribution-graphs/methods.html

不雅察实验论文：

https://transformer-circuits.pub/2025/attribution-graphs/biology.html

—  完  —

量子位年度 AI 主题计议正在征连结！

接待投稿专题  一千零一个 AI 应用，365 行 AI 落地决策

或与咱们分享你在寻找的 AI 居品，或发现的AI 新动向

一键关怀 � � 点亮星标

科技前沿推崇逐日见

一键三连「点赞」「转发」「留神心」

接待在挑剔区留住你的主见！开云kaiyun