首页 / 资讯详情
推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见
摘要
亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。 作者丨高允毅 编辑丨岑 峰 “大模型把猫和汽车分为一类，不是弱智。”在 AI 可解释性领域，有一个十年的经典案例，是 InceptionV1 模型里编号 4e:55 的神经元。这个神经元在看到“猫脸”和“汽车车头”时，都会被强烈激活。这意味着，整个神经网络的底层逻辑是不可解释的。于是整整十年，整个领域都沿着 “拆” 的思路往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。稀疏自编码器（SAE）分解、特征字典、特征解缠…… 都是先把纠缠的特征拆成一个个独立的、人类能懂的单元，再去理解。就在昨天，OpenAI早期机制可解释性研究的科学家，也是当年将该案例推向经典的《Zoom In》的共同作者，Nick Cammarata ，亲自推翻了自己当年所下的结论。“这个神经元根本不认识猫，也不认识车。它检测的是V 字几何形状，不管是狐狸的尖脸、喷射的火焰，都会激活它的正极；而它的负极，是圆形的东西。”他直言，这个误判的根源，或许是当年的观测工具太低级。2023 年他在 OpenAI 做第一个大规模自动化神经元解释项目，用现有工具只能解释大约 2% 的神经元。结果三年后，当他带着更先进的算法和 Agent 团队重新研究，发现情况完全不同。在他们测试的现代视觉模型中，最后一层99%～100%的神经元都能找到相当清晰的解释。就连当年以 “深层混乱” 著称的 InceptionV1 本身，用新工具重新观测，可解释率大幅提升。因此，Nick Cammarata 发表了一篇需要阅读 65 分钟的长文《Neural Networks Are Already Clean》，并提出了一个惊人之论：神经网络本身，远比我们想象的要 “干净”。这里的 “干净”，不是指“一个神经元只干一件事”，而是说网络内部有着极其连贯、精妙、且完全可以被人类直接阅读的组织结构。它就像一个规整的地图，想看细节就 “双击放大”。对此，OpenAI 核心研究员 roon 直接转发并惊呼，这是“科学史上的重要时刻”，“我们终于可以把 AI 对齐，变成一门‘常规科学’了”。毕竟，这篇文章一旦成立，等于把过去十年可解释性研究的核心焦虑推翻了。AI 圈过去几年，花大力气搞的稀疏自编码器（SAE）分解、特征字典、特征解缠，可能都走错了路。或许，可解释性领域也可以用“The Bitter Lesson”来解决，即简单即高效。01十年共识的诞生与反转为什么人们会认为“AI 的大脑”是一团乱麻呢？这一切要从 2014 年的 InceptionV1 视觉模型说起。作为可解释性研究早期的 “模型生物”，研究者发现，模型的表层神经元还算清晰，但越往深层走，越像一团乱麻。当时人们估计，最后一层能被人类看懂的神经元，学界认为只有区区 5%。其中最出名的，是 4e:55 的神经元，它让两个八竿子打不着的东西共用一个神经元，怎么看都违背“一个神经元对应一个概念”的朴素预期。为了解释这种现象，学术界提出了一个核心理论“叠加假说”（Superposition）。他们认为，当神经元数量不够用时，AI 就会偷偷切换学习策略，把互不相关的概念“折叠”进同一个神经元里。因为它们很少同时激活，所以不会互相干扰。2020 年，Camm