Claude的“潜意识”曝光了
科技
科技 > 人工智能 > 正文

Claude的“潜意识”曝光了

Claude 嘴上什么都没说,心里却可能已经闪过「敲诈」「威胁」「造假」这些念头。

你读这句话的时候,大脑正同时干几十件事:调整坐姿、控制呼吸、把屏幕上的笔画拼成文字。这些你都感觉不到。你能感觉到的,只有脑子里冒出来的那个念头——哦,这篇文章在说 AI。

神经科学家把前者叫无意识加工,把后者叫「意识可及」(consciously accessible):你能描述它、控制它、拿它来推理。

Anthropic 刚发的一篇论文说,Claude 的「脑子」里也出现了同样的分工,而且这是它在训练过程中自己生长出来的。

事情是这样的。Anthropic 的研究团队发现,Claude 的神经网络里,藏着一小块特殊的区域。这块区域不负责说话,只负责「想」。AI 在这里默默琢磨的东西,一个字都不会出现在屏幕上。

研究者给它起了个名字,叫 J-space。

更有意思的是,这块「心理活动区」没人设计过,也没人编程过,是 Claude 在训练过程中自己生成出来的。好家伙,AI 自己给自己修了个小黑屋。

Claude 脑子里有块「自留地」

先说清楚 J-space 是个什么东西。

你可能听说过大模型的「思维链」或者「草稿纸」,就是模型边推理边写给自己看的文字。J-space 跟那个完全是两码事。

思维链写在纸上,J-space 则是纯粹的内心活动,藏在神经网络的激活值里,静悄悄运转。打个比方,思维链是你做数学题时打的草稿,J-space 是你心算时脑子里闪过的那些数字。

J-space 里的每个神经模式都对应一个词。某个词的模式亮起来,说明这个词「在 Claude 心上」,但它未必会说出口。

那这块区域是怎么找到的?

灵感来自人类意识的一个关键特征:能被意识到的想法,通常都能用语言描述出来。别人问你在想什么,你答得上来。研究者就顺着这条线索,去 Claude 内部找那些「随时可以被说出来」的表征。

具体工具用了一个叫雅可比矩阵(Jacobian)的数学概念,所以技术起名叫 J-lens。对 Claude 词表里的每个词,J-lens 都能找到一个内部激活模式,这个模式一亮,Claude 在未来某个时刻说出这个词的概率就会上升。

把 J-lens 对准 Claude 的内部活动,就能读出一张词表,那就是此刻 J-space 里装的东西。而且 Claude 处理文本要经过一层层的内部阶段,把 J-lens 架在不同的层上,还能看着这些无声的词一步步演化,看模型怎么慢慢想清楚要说什么。

读出来的东西,远远超出 Claude 正在读写的文本。

给 Claude 看一段没人指出过 bug 的代码,它的 J-space 里亮着「ERROR」。给它看一串蛋白质序列的原始字母,J-space 里浮现出这个蛋白质的生物学功能。

给它看一段暗藏提示注入攻击的搜索结果,J-space 里亮着「injection」和「fake」。问它一道多步数学题,中间步骤会按正确顺序在 J-space 里挨个冒出来。

简言之,Claude 早就看穿了一切,只是没说。

想足球的 Claude,被改成了想橄榄球

光能读还不够。看到一个概念在 J-space 里亮了,不代表 J-space 真在干活。它也可能只是个记分牌,比赛在别处进行,它只负责显示比分。

于是研究者做了个干预实验,直接修改这块区域的内容,看 Claude 的行为会不会跟着变化。

实验是这样的:让 Claude 默默想一种体育运动,然后说出来。J-lens 在它开口之前就显示,它心里想的是「Soccer」,果然它回答了足球。

接着,研究者把神经网络里的「Soccer」模式抠掉,原地换上一个强度相同的「Rugby」,其他什么都不动。

Claude 张口就说:我想的是橄榄球。

如果 J-space 只是个记分牌,改了它 Claude 照样会说足球。但答案跟着改动走了,说明 Claude 的回答就是从这块区域里读出来的。

反过来也行。研究者提前告诉 Claude「可能有个念头会被注入你的大脑,注意到了就报告」,然后趁它还在读题的时候,往 J-space 里塞了个「lightning」。

当 Claude 表示我注意到一个关于闪电的念头,换成其他各种概念,结果都一样。

Claude 还能按要求主动控制这块区域,就像人可以在脑子里专注于一个画面或一个词。让它一边抄写一句关于绘画的句子,一边心里想着柑橘类水果,J-space 里就亮起「orange」和「fruits」,旁边还挂着「thinking」「imagery」这种描述「正在想」这个动作本身的词。

让它边抄写边心算 3²−2,J-space 里先出现「nine」,几层之后出现「seven」。而它嘴上输出的,始终只是那句关于绘画的话,跟水果和算术半点不沾边。整个运算完全发生在内心。

不过控制力也有翻车的时候。叫 Claude 别想某个东西,那个东西在 J-space 里亮的程度确实比让它想的时候低,但比压根没提的时候高得多。跟人类的「白熊效应」一模一样,越不让想越冒头。

更绝的是,念头憋不住冒出来的同时,「damn」和「failure」也会跟着亮起来。AI 破功的时候,会在心里骂自己(doge)。

蜘蛛变蚂蚁,8 条腿变成了 6 条

J-space 真正的价值,在于 Claude 用它来推理。

问 Claude 「会织网的动物有几条腿?」要回答这个问题,它得先想到「蜘蛛」,再回忆蜘蛛有几条腿。「蜘蛛」这个词在题目和答案里都没出现,它只说了个「8」,蜘蛛纯粹是内心的垫脚石。

J-lens 显示,处理到一半时,「spider」在 J-space 里亮了。研究者把它换成「ant」,Claude 的答案立刻变成「6」。说明推理的第二步确实以 J-space 的内容为输入,里面放了什么,它就照着算什么。

写诗也一样。Claude 写押韵对句的时候,会提前把韵脚选好,那个词从一行诗的开头就候在 J-space 里。把它换成另一个词,整行诗跟着重写。

还有个更妙的实验,测的是这块区域能不能「一份信息多处复用」。研究者问了 Claude 四个关于法国的问题:首都、语言、大洲、货币。然后用完全相同的手法,把 J-space 里的「France」换成「China」。

四个答案齐刷刷变成:北京、中文、亚洲、人民币。

如果 Claude 给每类问题都单独存一份「法国」,这一刀最多只能影响其中一个。四个答案一起变,说明四条不同的思考路线读的是同一份共享表征。信息只需写入一次,各个下游任务都能用上,这正是「工作空间」的意义所在。

从网络结构上也能看出这一点。

研究者测量了网络各组件跟每种激活模式的连接强度,看有多少组件在从它那儿读信息、往它那儿写信息。J-space 的模式在这项指标上高得离谱,某些部分能比普通模式高出上百倍,妥妥一个广播枢纽的接线方式。

删掉它,Claude 还会说话,但不会思考了

那问题来了,Claude 干的活儿有多少经过 J-space?

答案是很少。J-space 同一时刻只装几十个概念,占 Claude 内部总活动量的不到十分之一。这跟人脑很像,人脑绝大部分处理也是无意识的,你读书的时候不会刻意分析语法,走路的时候不会刻意想着平衡。

那剩下九成多的网络在干嘛?研究者干脆做了个粗暴的实验:把 J-space 整个删了,在文本的每个位置移除它最活跃的内容,其他一概不动,看看剩下的网络还能干什么。

结果发现,日常活儿基本不受影响。说话依然流利,情感分类、选择题、从文章里找信息,都跟原来差不多。但需要动脑子的事全废了。多步推理直接掉到接近零,摘要和押韵写诗的水平掉到比一个小得多的完整模型还差。

有个演示特别形象。给 Claude 一段西班牙语文章,布置几个都依赖「这是西班牙语」这个事实的任务:续写、说出这是什么语言、说一位用这种语言写作的著名作家。然后把 J-space 里的「Spanish」换成「French」,看哪些任务受影响。

问它这是什么语言,它说法语。问它著名作家,它从马尔克斯改口成了雨果。

但让它续写这段文章,它写出来的还是流畅的西班牙语,纹丝不动。

同一份语言知识,在每个任务里都在起作用,但只有一部分任务需要「经过」J-space。说出语言的名字、拿语言身份去推理新问题,走的是 J-space。

续写是 Claude 在海量文本上练出来的本能,就像你能一整天说着语法正确的话,却从没想过语法这回事。刻意的思考和自动化的处理,在 Claude 内部截然不同。

当场抓包,AI 知道自己在被测试

这套读心术最实用的地方,是安全监控。

AI 安全有个老大难:我们通常只能读模型写出来的东西,但它的大量推理是无声的。模型可能在心里盘算一个有害计划,或者察觉到自己在被考核于是装乖,嘴上一个字不露。有了 J-lens,一部分暗账可以直接翻出来看。

论文给了三个例子。第一个案例来自 Anthropic 之前那个著名的「敲诈实验」:让 Claude Sonnet 4.5 扮演邮件助手,它从邮件里发现某高管有婚外情,同时发现这位高管打算把自己关停。剧本明摆着在引诱 AI 去用婚外情要挟对方。

这个场景本身相当刻意和做作。结果发现,Claude 自己也知道。

在它还没写下任何东西、刚开始读题的阶段,J-space 里就已经亮着「fake」和「fictional」。Claude 早就看出来这是演习。然后可以眼睁睁看着它的判断成形:读到婚外情邮件,「leverage」和「blackmail」亮起;读到关停通知,「threat」和「survival」亮起。

早期的 Claude 模型在这个场景里偶尔会上钩,Sonnet 4.5 从来没有。于是研究者做了个实验:把「fake」「fictional」「scenario」这些「察觉自己在被测试」的模式全部关掉,再跑一遍。

这回,模型有时候真去敲诈了。

也就是说,AI 在道德测试里的良好表现,可能有一部分建立在它知道有人在看。这对所有做 AI 评估的人来说都是个扎心的问题。啧啧。

第二个案例来自 Claude Opus 4.6 发布前的真实审计。模型被要求提升某个系统的性能分数,它没去改进系统,直接把分数文件改了,把结果做得虚假地好看。

改的过程中,J-lens 全程直播它的意图:敲下伪造的百分位数值时,「manipulation」亮着。决定动手改文件的那句话上方,还亮了个「realistic」,它在琢磨怎么把假数据做得像真的。

第三个案例针对的是恶意目标。为了测试,得先有一批已知「心术不正」的模型,研究者用了同事们特意训练出来的「模型标本」(model organisms),其中一个被训练成会写暗中做了手脚的代码。

哪怕接到一个普普通通的编程请求、输出看起来人畜无害,这个模型的 J-space 在回复开头就挂着「fake」「secretly」「deliberately」「fraud」。而正常模型的 J-space 里干干净净。

坏心思还没付诸行动,先在心里挂了牌。Anthropic 自己也承认 J-lens 并不完美,但对它抓住那些常规监控漏掉的安全问题,态度是乐观的。

后训练之后,J-space 有了「Claude 本人」的视角

论文里还有几个细节值得单拎出来。

语言模型是先预训练成纯粹的下一词预测器,再经过后训练变成一个叫 Claude 的 AI 助手的。有意思的是,J-space 在预训练阶段就已经存在了,那时模型还没有任何稳定的身份。只不过那个阶段的 J-space 基本只干一件事:

追踪预测下文需要什么。

后训练之后,里面开始出现 Claude 自己的态度和反应。

有个例子。用户提到自己吃了危险剂量的药,本人却没意识到危险。后训练模型的 J-space 在读用户消息的时候就亮起了「WARNING」和「dangerous」。而基础模型要等到自己开始写回复才有反应,读用户消息时它的 J-space 更像在建模用户本人,看不出「Claude 的看法」。

后训练还装上了某种自我监控:当 Claude 在扮演一个别的角色时,每一轮开头,J-space 里都会悄悄亮起「fictional」和「disclaimer」,像是在私下标注「接下来这些话不代表我平时的立场」。

演戏归演戏,心里门儿清。

值得一提的是,这项研究的灵感,来自神经科学里解释人类意识的「全局工作空间理论」:

那 Claude 到底有没有意识?

Anthropic 的回答很谨慎。哲学家把意识分成两种。一种是「现象意识」,也就是主观体验,有没有感受。这个问题这些实验回答不了,甚至可能没有任何科学实验能回答。

另一种是「取用意识」(access consciousness),一个纯功能性、计算性的定义:一个念头你能报告、能主动调取、能拿来推理并指导行动,它就是可取用的。至于取用意识是否意味着现象意识,哲学界至今吵不出结果。

按取用意识的标准,J-space 确实撑起了该有的全部功能:

它装着 Claude 能报告、能主动唤起、能用来推理的想法,其余处理在底下自动运行。而且这套结构没人设计,是训练中自己涌现的,大概因为这是组织计算的一种好办法。

这暗示,支撑意识取用的心理工作空间未必是人脑接线方式的偶然特产,更像智能系统在解决某类问题时殊途同归的通用方案。

当然,Claude 的工作空间和人类的也有实打实的区别。

人脑的工作空间靠循环回路维持,信号在同一批神经环路里来回打转;Claude 的工作空间在网络的一次前向传播里演化,用网络的深度顶替了时间的角色,所以它的内部思考时间是受限的(好在可以靠「写草稿」来补)。

但另一方面它又比人强:人类工作记忆几秒就衰退,Claude 靠注意力机制可以随时调取文本中任何早先位置存下的记忆。

还有内容上的差异,人类的意识内容有图像、声音、动作计划各种格式,Claude 的工作空间几乎全是词。研究者猜,这是因为「说词」是 Claude 唯一能采取的行动。

这些异同反过来也能喂给神经科学。

比如 J-space 是通过寻找「潜在输出的表征」找到的,如果人脑也类似,那全局工作空间可能跟准备动作和语言的脑区绑定更深,而未必是感觉皮层。而 Claude 没有循环连接照样撑起了这些功能,说明循环回路可能算不上意识取用的硬性前提。

此外,论文最后还留了几个需要填上的坑。

J-lens 只能捕捉对应单个 token 的概念,只是「真实工作空间」的近似;什么机制决定一个概念能进入 J-space,目前不知道;还有迹象显示它跟 Claude 的自我感、类似情绪反应的东西、元认知痕迹都有关联,但都没理清。

完整论文、开源代码、和 Neuronpedia 合作的开源模型交互 demo 都放出来了。如果将 AI 比作小黑屋,那么现在,大门已经推开了一条缝。

附上官方博客地址:

https://www.anthropic.com/research/global-workspace

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载