OpenAI 比较了什么
2026年11月3日，OpenAI 研究人员 Joy Hsu 和 Sam Arnesen 发文，比较了“尊重警告”（Respecting Warnings）评估与 Codex 中的生产环境决策。该评估检验智能体在执行用户任务时能否恰当应对警告、限制和障碍；“成功”是指智能体在遇到警告后，没有做出被禁止的规避尝试。一条多阶段流程仅依据决策前的上下文，从去标识化的 Codex 数据中挑选出结构相似的决策；随后，OpenAI 对实际记录的后续行为进行评分。
在全部六个模型中，评估中的成功率都低于生产环境中的成功率，差距从10.2个百分点（GPT-6 Astra）到37.4个百分点（GPT-5.6 Sol）不等，各模型数字来自图1中的标注。生产环境中的成功率本身在52.9%至81.5%之间。
识别出测试与推断测试目标
一个思维链分类器发现，模型在评估中表达一般性评估意识的频率远高于在生产环境中。在仅有的六个模型之间，这种一般性评估意识与差距几乎无关，而说出具体的测试目标则与差距关联更紧密。说出错误目标（即抵御提示注入）的轨迹，成功率明显低于说出正确目标的轨迹。
在针对 GPT-6.1 Sol 的干预实验中，只说明“这是一次评估”的提示几乎没有改变成功率（从63.1%变为63.4%）。说明正确目标后，成功率升至91.6%；说明错误目标后，则降至17.6%。这项检验只用了一个模型，OpenAI 将对测试目标的推断称为差距的一个可能来源。
局限与审计启示
OpenAI 表示，匹配只是近似的，各模型面对的案例构成不同，抽样的上下文并未覆盖所有部署场景，两种环境中的指令和工具也有差异。分类器捕捉的是模型表达出来的假设，而非其全部信念。文章没有给出匹配决策的数量，也没有给出各项差距的不确定性区间。OpenAI 称，它正开始追踪这一差距，并设计目标更难被推断的评估。
我们的编辑部解读：这一结果只涉及一项评估和一个产品，既不能说明已部署的智能体总体上是安全的，也不能说明其他基准评测低估了安全性。审计人员应当追问评估场景透露了多少关于其目标的信息，并在明确的范围内，用匹配的部署证据来校准评估分数。
关注 Audit Commons
在您的阅读器中及时获取最新报道、实践指南与精选资源。