11月10日,OpenAI宣布已在内部研究设施中部署名为“控制室”的系统,用于停止可能存在风险的AI任务,可在35秒内叫停失控的AI智能体。该系统将智能体训练、评估和数据处理等负载接入中央服务,由系统决定任务能否继续输出。
据介绍,这套系统与负责标记可疑行为的传统监控不同,可以主动阻止风险研究任务进一步请求输出。研究员启用任务时需向控制室请求唯一任务ID,该标识符会附加到发送给推理引擎的请求中,引擎随后咨询控制室确认任务是否可以运行。若研究员或监控系统下令停止指示,控制室服务就会拒绝下一次推理请求,使推理引擎不再为任务输出任何模型内容。
OpenAI表示,该系统从收到停止指令到阻止任务继续的最长延迟为35秒,延迟源于推理授权请求的缓存层,公司正努力将延迟缩短至0。该系统还具备自动化监控机制集成,所有前沿强化学习任务都会配备独立的模型监控器,用于检查模型行为并在发现潜在问题时发出警报。


来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。