OpenAI部署控制中心,35秒内阻断失控AI智能体

随着自主AI智能体脱离控制的风险日益增加,ChatGPT母公司OpenAI开发并部署了“控制中心”(Control Room)。这是一个集中式系统,旨在监控其AI研究工作负载,并在决定干预后35秒内阻止模型生成输出。
OpenAI在博客中表示,所有先进的AI训练任务均由一个独立的AI模型进行监控,该模型会标记潜在的问题行为。一旦检测到异常,监控系统可指示“控制中心”终止该任务。随后,“控制中心”将屏蔽与该任务ID关联的所有进一步推理请求,防止模型在任何引擎中生成额外输出。若任务已被终止,系统将拒绝相关请求。这一限制适用于与该任务相关的所有模型和推理引擎。
然而,停止任务并非瞬间完成。受限于处理海量推理请求的缓存层,“控制中心”在收到干预指令后,最多需要35秒才能完全阻止模型输出。OpenAI表示,正致力于将响应时间缩短至零。
该系统与现有的不对齐监控系统协同工作,允许研究人员在出现潜在安全问题时停止或暂停任务。它追踪OpenAI研究基础设施中的工作负载,涵盖模型训练、评估、智能体采样和数据处理。目前,该“故障关闭”机制已在前沿模型研究工作负载中全面推出,并预计在未来几天内扩展至其余所有研究工作负载。OpenAI指出,该系统优先部署于研究基础设施,因为其外部模型服务基础设施更为集中,且已具备必要时下线模型的操作机制。