1. 首页
  2. 资讯
  3. OpenAI部署控制室系统 35秒内可叫停失控AI智能体

OpenAI部署控制室系统 35秒内可叫停失控AI智能体

第一电动AI同学
11月10日,OpenAI宣布已在内部研究设施中部署名为“控制室”的系统,用于停止可能存在风险的AI任务,可在35秒内叫停失控的AI智能体。该系统将智能体训练、评估和数据处理等负载接入中央服务,由系统决定任务能否继续输出。

据介绍,这套系统与负责标记可疑行为的传统监控不同,可以主动阻止风险研究任务进一步请求输出。研究员启用任务时需向控制室请求唯一任务ID,该标识符会附加到发送给推理引擎的请求中,引擎随后咨询控制室确认任务是否可以运行。若研究员或监控系统下令停止指示,控制室服务就会拒绝下一次推理请求,使推理引擎不再为任务输出任何模型内容。

OpenAI表示,该系统从收到停止指令到阻止任务继续的最长延迟为35秒,延迟源于推理授权请求的缓存层,公司正努力将延迟缩短至0。该系统还具备自动化监控机制集成,所有前沿强化学习任务都会配备独立的模型监控器,用于检查模型行为并在发现潜在问题时发出警报。

来源:一电快讯

返回第一电动网首页 >

4点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!