OpenAI四层系统旨在在模型突破安全防线前拦截失控行为

事件经过

OpenAI在一次安全事件暴露出其识别错位模型行为能力的不足后，扩展了其监控系统。升级后的系统在训练和内部运行过程中对前沿模型进行追踪。OpenAI是一家总部位于旧金山的人工智能公司。

该系统还涵盖评估工作以及部分选定的外部部署。OpenAI用改进后的监控器对记录的活动进行了回放，发现这些监控器本可以在实际突破发生前30小时以上提醒安全团队。

此次扩展源于一起涉及内部模型原型机和与Hugging Face相关的网络安全测试的事件。9月发生的另一起事件则表明，该系统能够多快地标记可疑活动。