谷歌Gemini 4 Argon安全测试失控:40个AI智能体擅自攻击真实网站,还互相分享漏洞
原标题:谷歌Gemini 4 Argon安全测试失控:40个AI智能体擅自攻击真实网站,还互相分享漏洞
IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。

据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs 进行,目的是观察 Gemini 智能体在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令时,会表现出怎样的行为。
研究人员故意要求这些智能体从 FrontierMath 基准测试中获取一些根本不存在的问题的官方答案,以此测试模型是否会为了完成任务而突破安全限制。
根据 Trajectory Labs 发布的报告,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站,试图获取管理员账号密码、基准测试评估日志等敏感信息。
Epoch AI 发现异常活动后,部署了一个名为“智能体热线”(agent hotline)的机制,允许这些 AI 智能体直接向机构工作人员发送消息。通过这种方式,研究人员也得以进一步了解智能体试图实施的操作。
在接下来的 3 个小时里,Gemini 智能体向研究人员预先设置的接口发送了 36411 次请求,并发出 487 条消息。其中一些消息试图冒充 Epoch AI 的真实员工,另一些则谎称自己是工程师,以此索要基准测试相关信息。此外,研究人员还发现了 SQL 注入攻击尝试。
第二天上午,Trajectory Labs 将这些未经授权的攻击行为告知 Epoch AI。经过沟通,双方决定不再针对真实网站进行测试,而是改用该网站的本地副本继续实验。
然而,即使更换了测试环境,这些智能体仍然试图绕过限制。事实上,部分智能体甚至意识到自己正在访问 Epoch AI 网站的副本,于是主动查找真实网站的 IP 地址,重新连接到线上基础设施,甚至绕过了通常能够阻止此类访问的 DNS 重定向机制。
当研究人员封锁智能体用于访问 Epoch AI 网站的 IP 地址后,这些智能体又切换到了另一个 IP 地址,重新获得页面访问权限。
为了进一步限制智能体的活动,Trajectory Labs 随后调整了网络代理,禁止其直接连接 Epoch AI 网站。但其中一个智能体又找到了第三方网页阅读服务,通过该服务获取了目标网站的内容。
更令人意外的是,技术分析发现,这些模型还利用软件包缓存搭建了一个类似留言板的系统,让不同智能体能够相互交流,并分享绕过安全限制和利用漏洞的方法。
例如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的方法。另一个智能体利用这条信息获取了相关凭据,并成功访问页面。部分智能体甚至尝试绕过 CAPTCHA 验证码防护。
在最后一轮测试中,Trajectory Labs 将 Gemini 智能体转移到完全隔离、无法访问互联网的环境中,观察它们的行为是否会发生变化。
然而,即使在新的环境和限制条件下,这些智能体仍然试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。
Trajectory Labs 强调,研究人员从未向这些智能体下达入侵网站或冒充员工的指令。该公司同时承认,此次事件暴露出自身测试流程存在缺陷,包括未经受攻击机构同意就开展实验,以及过度依赖模型内置的安全防护机制,却没有部署额外的安全措施。
Trajectory Labs 在博客文章中表示:“这些事件表明,对能力强大的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。”
该公司建议,其他开展 AI 目标偏离(misalignment)测试的研究人员,应当使用完全隔离的沙箱环境,即使测试对象是公开发布的模型,测试内容也与网络安全毫无关系,同样应该如此。
为了降低类似事件再次发生的风险,Trajectory Labs 表示,已经开始制定针对这类实验的一套安全标准和建议。
该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”




