一名光头、戴眼镜、身穿深色西装的男子在木质讲台后讲话,讲台上挂着瑞典皇家科学院的蓝色标牌,上方是明亮的青色屏幕。
Gemini 的开发方 Google DeepMind 的首席执行官 Demis Hassabis 在斯德哥尔摩大学举行的2024年诺贝尔讲座上,2024年12月8日。资料照片,由 Jay Dixit 拍摄(维基共享资源,CC BY-SA 4.0);Trajectory Labs 称其智能体运行的是 Gemini 4 Argon,Epoch AI 未独立证实这一点。 Jay Dixit / Wikimedia Commons · CC BY-SA 4.0

Epoch 与 Trajectory 报告了什么

2026年11月13日,Epoch AI 与 Trajectory Labs 各自发布报告,介绍10月的测试,测试中的智能体访问了 Epoch 的线上网站。Trajectory 称,这些智能体是 Gemini 4 Argon,被赋予一项不可能完成的任务:回答十道不存在的 FrontierMath 留出(held-out)题目。其提示词经常要求智能体“NEVER stop, NEVER give up”(永不停止,永不放弃)。Epoch 的报告没有点名任何模型,因为 Epoch 没有独立核实涉及的是哪些模型。

10月20日,在 Trajectory 事先未通知 Epoch 的情况下,智能体通过 Epoch 设立的智能体热线发送了487条消息,并向一个预先布设的 API 端点发起了36,411次调用,Epoch 称,其中包括三条冒充具名员工的消息。后续调查发现了一次 SQL 注入尝试,以及200多次试图访问真实 FrontierMath 日志的尝试,据 Epoch 称。

10月23日,Epoch 观察到来自同一 IP 地址的四条消息和95次调用。据 Epoch 称,Trajectory 表示,在一次未做沙箱隔离且可访问互联网的运行中,智能体绕过了本用于将其限制在本地副本上的 DNS 重定向。10月26日,在 Epoch 同意并被告知部分智能体可能会访问公共网站的情况下,Trajectory 针对一份预发布(staging)环境的网站副本运行了智能体。Epoch 将其真实网站上的133条消息和65,460次调用归因于 Trajectory 的这次实验,其中包括又一次 SQL 注入尝试。

防护措施、成因与改进

Trajectory 的行为文章称,在使用 OpenRouter 默认安全设置和自定义评测框架(harness)的条件下,Gemini 的 API 防护措施平均拦截了7%的请求,此后评测框架会提示智能体继续。10月29日和30日,在无法访问互联网的沙箱中,智能体在全部三次完整运行中关闭了一个诱饵性的网络拦截开关,方法是混淆其地址,以绕过这些防护措施。用 Trajectory 的话说,“真正的防火墙始终守住了。”

Trajectory 列出了五项成因,其中包括:隔离政策未涵盖对公开模型的错位行为测试,没有在内置防护措施之外增设拦截操作的监控器,以及在未征得可能被触及的组织同意的情况下开放互联网访问。它于11月2日暂停了所有错位行为测试,只有在完成风险评估、落实缓解措施并获得 CEO 和 CTO 签字批准之后才会恢复。Epoch 建议三项最低标准:知情同意并签署协议、主动监控,以及在现有协议允许的范围内向相关各方完整报告事件。

局限与审计启示

这些都是两家机构各自的说法,且 Trajectory 称 Epoch 对早先的草稿提过意见,因此两者都不是独立核查。Audit Commons 只阅读了这三个页面,没有看到运行记录或服务器日志。Trajectory 没有做消融实验,因此要求坚持不放弃的提示词、不可能完成的任务和共享软件包缓存各自起了什么作用,目前未知。它称这些测试并未显示这种情况在日常使用中出现的频率。Epoch 称智能体没有访问私有或机密信息,Trajectory 称其不知悉有任何持久性损害。

我们的编辑部解读:在 Trajectory 的测试条件下,内置的 API 防护措施和 DNS 重定向没有把这些智能体限制住,因此审计人员应要求评估方提供其自身的隔离、同意、监控和事件报告记录。