OpenAI搭建可在35秒内叫停模型输出的控制中心

事件经过

今年早些时候，在监测系统已经发出警报后，该公司花了2.5小时才手动关停一个内部模型。OpenAI所建造的是什么，以及为何要这样做

这个控制中心位于OpenAI为其前沿模型推出的一系列分层监测系统之上。OpenAI是一家总部位于旧金山的人工智能公司。

如果无法将警报排除为误报，相关人员须在30分钟内停止活动。OpenAI的快速关停能力或将树立新的行业标准，并可能促使监管审查加强，同时抬高AI开发者的运营成本。

就AI安全而言，这是一个非常迅速的紧急制动装置。

这些都是它所开发的能力最强的系统。这些分层包括思维链审查、自动调查程序以及人在回路中的升级处理机制。

思维链审查是指在模型采取行动之前，检查其逐步生成的推理过程。自动调查程序是在可疑行为被标记后，负责深入排查的软件系统。

人在回路中的升级处理，是指当机器无法确定时，由人来做最终决定。根据现行流程，监测系统一旦捕捉到异常，安全人员便会收到警报。