使用 AI 模型有时像在开黑箱：拿到结果，却不清楚它如何产生，也不知道算力是否浪费、内部职责是否彼此掣肘。检查发现，多数神经元只负责一件事，模型内部可以直接读懂。可解释性也许没那么难，网络本来就很干净，并非一团乱麻。 Goodfire 研究员 Nick Cammarata 参与过 OpenAI 早期的可解释性工作，并启动其第一个大规模自动化可解释性项目。这篇长文重查了曾令他悲观的经典证据。 Menlo Ventures 合伙人 Deedy Das 于 2026 年 10 月 15 日在 X 上推荐这项工作，称它是 AI 领域最重要的成果之一，并转述了其中的主要发现。 Das 还指出，现代模型已在数学上达到超人类水平，能攻破生产环境中的软件系统，也在改变白领工作的性质。读懂内部机制，有助于更有针对性地设计模型和调整行为。 城市与打结的城市 这项研究在反驳什么 机械可解释性（mechanistic interpretability）要打开模型，追踪内部计算。此前领域担心，网络会把无关内容塞进同一神经元或表示方向，原有机制像一团必须先解开的结。 文中所说的“干净”，并非每个神经元都对应一个人类词语，而是网络自身的组织可以追查。研究者可以沿神经元、回路和数据流提出解释，再用实验检验。 如果网络确实任意纠缠，稀疏自编码器（sparse autoencoder，SAE）等分解模型或许不可避免。他认为，早期的混乱多由工具、架构和解释方式造成。 三个核心概念 多义性（polysemanticity）指神经元看似承担多个无关职责，或暂时找不到统一解释。它描述的是观察结果，也可能暴露观察者和工具的问题，不能单独证明模型在任意混装。 神经元也不只是给输入贴名词标签，它更像回路中的门，正负两端共同决定放行和拦下什么。语言模型常把上下文信息汇集到逗号等标点，只看触发位置很容易误判职责。 叠加（superposition）在文中是一项机制假说：容量紧张时，网络让互不相关且很少同时出现的内容共用神经元。它们因为不易互相干扰而被放在一起，彼此之间没有可利用的共同模式。 递归泛化（recursive generalization）仍是普通泛化。神经元围绕主要职责生长，再沿邻近方向长出分支；有训练检查点时，可以按时间观察这些联系怎样形成。 一个神经元先响应“iy”，再延伸到“diy”和不含“iy”的“do it yourself”。另一个行星地质神经元也响应 Cesium 地理 JavaScript 库，回路显示它是从地质概念长出的支路。 视觉模型的神经元地图 旧证据为何倒下 原始 InceptionV1 的末层曾几乎无法解释。作者回忆，早期工具大约只能看懂 5%；修正可视化和归因方法后，同一模型约为 50%；用现代正则重新训练同架构后约为 70%。 在参数量和数据集相同的现代 ConvNeXt 中，末层约 99% 的神经元容易解释。残差连接、层归一化等改进本为帮助深层学习，却也让高层概念组织得更清楚。 作者训练了三个不同规模的 ConvNeXt，参数量从 9.2 万到 2860 万，覆盖约 300 倍尺度。小模型的神经元负责更粗的概念，模型变大后才逐渐分化出更窄、更具体的职责。 经典“猫车神经元”并非同时检测猫脸和汽车前部。它识别共同的 V 形，以圆钝的 O 形为负向边界，回路还连到 V 形火焰、消防船水柱和狐狸脸。 2019 年发现的经典回路曾被解释为汽车信息藏进一组狗神经元，再由下游恢复。重新检查后，汽车与狗是因朝向和姿态相似而汇合，InceptionV1 中有一百多个这类跨对象姿态神经元。 特征可视化（feature visualization）在深层优化时容易落入训练集中常见的狗图案，制造出隐藏编码的错觉。实际没有机制读出那组组合；据作者所知，此后也没人发表第二个具有这种结构的回路。 语言模型的数据 2023 年，Anthropic 研究单层小模型时，神经元解释评分中位数为 0，满分 14。Cammarata 在 OpenAI 启动的项目按最宽松口径也只把约 1.7% 判为可解释。 Qwen3-32B 的初步审计估计，约 90% 的神经元响应极只有一项主要职责，约 7% 有两项相关职责，约 2% 至 4% 尚未理解。这些数字只表示模型所处的大致状态。 这些比例会随弱激活阈值、层深、子回路密度以及“一件事”的标准变化。把跨语言的相近习语算作一个职责还是两个，会改变数值，却不会回答内容为何共享一个神经元。 稠密模型与混合专家模型（Mixture of Experts，MoE）结果相近。纯神经元构成的 Kimi K3 归因图（attribution graph）把钱包、现金和证件连到失物与诚信，再回答“归还”。 早期结果偏低，是几项普通限制叠加所致。旧解释器