最新内容

九月份关于前沿 AI 发展节奏的一场公开讨论引发了有关评估机构准入与问责的疑问。我们将高管公开声明与已有据可查的实验室行动区分开来。

Anthropic 报告了一项为期八周的由 METR 主导的评估事件初步调查。其调查范围与后来提出的常设评估机构准入机制有所不同。

OpenAI 报告了八月份为期两周的强化学习（RL）暂停及更严格的研究保障措施。该公告所针对的是特定工作负载，而非全面中止所有研究。

该开源工具利用统计早停规则分配评估试验轮次。其八月份的公告阐述了评估人员如何检查和验证这些决策。

一份二月份的概念文件探讨了身份标准如何应用于智能体行动。公众意见征集期现已截止；NCCoE 正在审查收到的反馈意见。

任务设定、工具环境与算力预算共同决定了每个评估得分。理解这些考量是评判评估结果对实际部署有何参考意义的第一步。

围绕任务、预算、不确定性、失败模式与结论主张提出的五个关键问题，并结合实例进行了深入分析。

一份实用的工作表与操作流程，用于审查可检验的证据是否支持关于 AI 智能体行动的主张。

CatchBench 0.1.2 解决了打包问题，能够清晰提示缺失的可选代码检出，并保持已发布的评测得分不变。

CatchBench 由 Yue Zhao 维护，他同时也是 Audit Commons 的维护者。