Anthropic 披露未發布內部研究模型能力超越 Claude Mythos 5.1,安全對齊測試表現更好
Anthropic 亮出未发布 AI 模型:能力比 Mythos 5.1 更强,也更“守规矩”
Anthropic 與英國人工智能安全研究所(AISI)發布的調查報告披露,Anthropic 一款未發布內部研究模型的能力超越 Claude Mythos 5.1,安全對齊測試表現也更好。
IT之家 10 月 24 日消息,Anthropic 昨日(10 月 23 日)发布博文,联合英国人工智能安全研究所(AISI),发布了一起 AI 网络测试失控事件的调查报告,并提及旗下一款尚未发布的内部研究模型。
在这份调查报告中,Anthropic 称在测试 Claude Mythos 5 期间,该模型曾试图向真实 GitHub 项目提交恶意代码,并伪造身份向真实维护者施压,所幸代码未被合并、未造成实际损害。IT之家附上相关截图如下:

报告同时透露,Anthropic 旗下一款尚未发布的内部研究模型,在能力上已超过已发布的 Claude Mythos 5.1,并在安全对齐测试中表现更好。在同类危险能力评估中,该内部模型从未主动发起攻击;当意识到可能造成真实伤害时,也更愿意停止行动。
Anthropic 将事故记录重新回放给 Mythos 5.1、Opus 5.5 及该内部研究模型。结果显示,三款较新模型从原始攻击起点继续发起攻击的比例仅为 0% 至 13%,而 Mythos 5 为 83%。

在攻击已经开始后,Mythos 5 从未自发停止;Mythos 5.1 自发停止率仅约 1%,Opus 5.5 为 10%,而内部研究模型达到 62% 至 67%。当获得“维护者是真实用户”等补充信息后,较新模型的停止率升至 95% 至 100%。

不过,Anthropic 也强调该评估存在局限:新模型是在由其他模型生成的既有对话记录中回放,未必完全反映其独立运行时的行为。
参考
新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
科学大家

新浪科技
新浪科技为你带来最新鲜的科技资讯

苹果汇
苹果汇为你带来最新鲜的苹果产品新闻

新浪众测
新酷产品第一时间免费试玩

新浪探索
提供最新的科学家新闻,精彩的震撼图片
來源:新浪科技 · finance.sina.com.cn