METR 的结论

2026年11月5日,METR 发布了一份公开报告,介绍其于8月12日至10月29日在 Anthropic 开展的评估。参与该项目的 METR 成员多数判断,截至2026年10月,Anthropic 在定义明确的任务上提升模型能力的速度,很可能约为其2024年3月至2025年10月期间速度的两倍。这一判断是主观的,不确定性很高:即使实际倍数接近1.3倍或3倍,METR 也不会感到意外;对于范围更广的任务,它的把握更小。

公开报告中的主要测量指标是 AECI,即 Anthropic 版本的 Epoch 能力指数(Epoch Capabilities Index),涵盖未发布的内部模型。自2025年10月以来,AECI 的增长速度约为此前的1.9倍(95%置信区间为1.5至2.8倍),采用其他设定得到的结果为1.1至2.9倍。这一趋势是上述判断的一项主要依据,但基准评测过拟合或 AECI 方法可能部分解释了这一趋势。

METR 粗略估计,当前的加速或许约有80%来自对 AI 的使用,但不确定性很大。它看到了令人信服的证据,表明加速并非由训练算力增长加快所致,但相关细节已被删节。据 METR 了解,AI 目前还不能对核心模型训练做出重大的完全自主贡献,不过研究人员反映已看到这类贡献的早期迹象。

删节与访问权限

METR 写道,拥有单方面删节权的 Anthropic 删去了 METR 认为最有参考价值的证据中的大部分。Anthropic 称,这些删节是为了保护可能加快其他 AI 开发者进度的机密信息。METR 表示,公众因此对其判断的依赖程度远超理想水平。约100页的未删节完整报告于10月22日交给 Anthropic,并未公开。项目进行到一半时,Anthropic 还取消了原定的一项算力分配核查,其中包括算力在能力研发与安全研究之间的分配。

METR 看到了经 Anthropic 批准提供的非公开数据集和文件,但没有直接访问系统的权限,也没有向未发布模型发起查询。METR 表示,该项目从一开始就无意提供完整的接近员工级别的访问,即不经中介地使用数据、文件和模型;该项目也独立于 Anthropic 10月15日宣布的那项安排。

审计启示

我们的编辑部解读:约两倍这一数字是评估机构对能力进展速度的判断,部分依据是 AECI 测量结果。它不是对研究人员生产率翻倍的测量,也不能证明存在自主的递归式自我改进。当删节权掌握在开发者手中时,高访问权限本身并不能让结论得到公开核验。尚待回答的问题是:是否会有其他合格的审查方看到完整报告?那项算力核查是否会恢复?