OpenAI推出Control Room，为失控智能体配备35秒紧急停机开关

事件经过

OpenAI已部署一套名为Control Room的集中控制系统，用于在其研究基础设施中阻止可能存在风险的AI模型工作负载。该系统设计目标是在做出干预决定后的35秒内停止模型继续输出内容。随着AI模型能力日益增强，带来的安全与保障风险也随之增加，该系统旨在加强相关防护。OpenAI是一家总部位于旧金山的人工智能公司。

该公司表示，Control Room已经部署在其研究基础设施中，那里对干预的需求最为迫切。该系统将包括基于智能体的模型训练、评估和数据处理任务在内的研究工作负载连接到一个中央服务，由其控制这些工作负载能否继续生成输出。

与主要用于标记可疑行为的传统监控系统不同，Control Room能够主动阻止研究工作负载获取更多模型输出。它与OpenAI现有的、用于监测潜在失准模型行为的系统协同运行。