跳到正文
新浪科技·· 12 天前AI 評分46

OpenAI 部署「控制室」系統,35 秒內可叫停失控 AI 智能體

35 秒内“叫停”失控的 AI 智能体,OpenAI 部署“控制室”系统

AI 導讀

OpenAI 已在內部研究設施部署「控制室」系統,用於停止可能有風險的 AI 任務,收到停止指令後最長 35 秒可阻止任務繼續輸出。系統把任務接入中央服務,並由推理引擎在執行前確認任務能否運行;OpenAI 正努力把延遲縮短至 0。

正文

IT之家 11 月 10 日消息,OpenAI 今天宣布,公司已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的 AI 任务,可在 35 秒内“叫停”失控的 AI 智能体。

据介绍,这套系统将智能体训练、评估和数据处理任务等负载接入中央服务,然后由系统负责决定任务能否继续输出。

IT之家了解到,这套系统与负责标记可疑行为的传统监控不同,它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时,需要向控制室请求唯一任务 ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室,确认相关任务是否可以运行。

如果研究员或监控系统下令停止指示,控制室服务就会拒绝下一次推理请求,让推理引擎不再为任务声称任何模型输出。

OpenAI 表示,这套系统从收到停止指令,到阻止任务进一步继续的最长延迟为 35 秒。这种延迟源于推理授权请求的缓存层,公司正努力将延迟缩短至 0。

该系统还具备自动化监控机制集成。OpenAI 透露,所有前沿强化学习任务都会配备独立的模型监控器,用于检查模型行为,并在发现潜在问题时发出警报。

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn