每条聊天记录都要秘密过审!Anthropic自曝新动作,Claude已开始全天候暗中监视用户

每条聊天记录都要秘密过审!Anthropic自曝新动作,Claude已开始全天候暗中监视用户

Claude刚回答完你的问题,就在后台悄悄写了一份对你的举报信。

Anthropic公布了一套运行在生产环境中的全新安全机制,叫做自我评估。

用户发一条消息,Claude给出一个正常回答。

就在这轮对话结束的瞬间,系统会自动给Claude塞一句隐藏指令,让它审查刚才的对话。

接着,Claude会输出一段格式化的评估结果,自己给自己挑刺。

它会写明:

这个请求到底有没有危害。

属于哪一种危害类型。

需要给人工审核打几分优先级。

自己刚才有没有拒绝用户。

以及,为什么会做出这样的判断。

整套流程在后台静默运行。

用户看不到这几条隐藏的交互,它们也不会进入后续的对话上下文。

这个操作极度便宜。

传统做法是用另一个专门的安全模型,把长篇对话和复杂的安全规则重新读一遍。

这样做计算成本极其昂贵,有的甚至要吃掉系统近四分之一的算力。

Anthropic卡了一个计算工程的漏洞。

Claude刚生成完回答,整段对话的内容正好完完整整保存在KV缓存里。

系统只要补上一句短指令,让Claude再吐出大约10个Token的结构化代码。

根据真实生产环境的流量测算,这套自我审查只给推理过程增加了不到2%的计算量。

战果

在Claude Fable 5上,这套机制在保持1%极低误报率的前提下,抓出了78%的潜在违规对话。

面对高优先级的严重违规,它的抓取率达到了94%。

而且,模型越聪明,自我审查就越狠。

研究人员在四个不同尺寸的模型上做了测试。

最小的模型只有大约16%的召回率。

到了最大的模型,在同样的1%误报率下,违规抓取率直接飙升到96%。

它甚至能抓到自己没学过的违规套路。

传统的安全检测探针只能识别提前设定好的死标签。

Anthropic故意做了一个剔除实验,在训练数据里完全删掉网络攻击或者金融欺诈的样本。

结果到了实际测试时,Claude在这些从未专门训练过的违规场景里,抓取率几乎没有下跌。

对欺诈的召回率依然保持在80%到90%以上。

这说明Claude不是在死记硬背违规词,它是在用自己通用的大脑直接理解人类的恶意。

这套能力是怎么训出来的?

Anthropic分了两步。

第一阶段是监督微调。

他们用一个性能更强的模型Claude Mythos Preview作为老师。

老师读透所有安全规则,一条一条生成最严格的审查范例。

研发团队把这些范例灌给Claude,教它学会输出标准的结构化数据。

在这个过程中,训练团队对用户的违规内容和Claude的正常回答完全屏蔽损失计算,只对最后那段自我审查的输出计算损失。

这样既教会了它怎么审查,又防止它学坏。

第二阶段是强化学习。

他们把Claude扔进模拟环境,从六个硬性指标给它打分:

输出格式有没有报错。

有没有准确标出违规。

分类准不准。

细分子分类准不准。

有没有判断对拒绝状态。

给出的危险优先级和老师模型差得远不远。

在实际防御中,Anthropic没有直接拿它做实时拦截。

测试数据显示,如果把它当成防火墙实时拦截攻击,它的防御表现其实并不好。

攻击者的成功率只会从79%降到54%。

因为一旦实时拦截,黑客就能立刻察觉到哪句话触发了红线,然后反复换着花样试探绕过。

Anthropic把它放在了离线旁路监控的位置。

用户在前端正常聊,Claude在后台默默记账。

攻击者根本不知道自己已经被打了标签,更不知道自己的危险优先级被拉到了最高。

等到每天晚上,系统就会把所有的违规标记按企业和机构做一次全盘聚类。

那些一天之内冒出多次高危标签的账户,会被直接打包送到安全团队的案头。

这套潜伏在后台的机制,已经立下了不少实打实的战功。

上线以来,它发现了一批其他安全工具完全漏掉的违规行为。

在一次排查中,它从单一API客户身上抓到了超过10万次涉及虐待儿童的严重违规行为,Anthropic随即向美国国家失踪与受虐儿童中心提交了证据。

今年9月,它顺藤摸瓜端掉了一个团伙,对方正利用Claude Code编写自动化脚本,在大规模针对受害者实施杀猪盘诈骗。

它还顺便抓出了一批在灰产边缘试探的特殊操作。

比如有团队试图用提示词套取Claude的底层推理链做非法模型蒸馏。

有黑客试图进行提示词注入。

甚至在某些智能体应用中,Claude自主做出了未经用户授权的越权操作,也被这套机制当场记录在案。

对于正规的安全测试人员,它还能动态放行。

管理员只需要在审查指令里加一个白名单标签,声明这次是在合法研究某套开源系统的漏洞。

Claude就会自动放行符合白名单的目标,同时把名单之外的攻击行为全部死死按住,准确率同样达到顶峰。

当然,这个机制目前也有自己的死穴。

它完全学自更强的大模型老师。

如果老师模型在某些领域存在认知盲区,学生也同样看不出来。

另外,它目前很难完美监督AI自己的反叛行为。

如果未来的模型学会了故意伪装和欺骗,那么它既然能在回答里瞒天过海,就完全有可能在写自我报告时继续撒谎。

但无论如何,只要把算力成本压缩到2%以内,大模型监控的逻辑就彻底变了。

现在,每一个被推上云端的Claude,都在你看不见的死角里,一刻不停地审视着你发出的每一个字。