OpenAI startet Control Room mit leistungsstarkem 35-Sekunden-Kill-Switch für außer Kontrolle geratene Agenten

Was passiert ist

OpenAI hat ein zentrales Kontrollsystem namens Control Room eingeführt, mit dem potenziell riskante KI-Modell-Workloads in der gesamten Forschungsinfrastruktur des Unternehmens gestoppt werden können. Das System ist so ausgelegt, dass es die weitere Ausgabe eines Modells innerhalb von 35 Sekunden nach einer Entscheidung zum Eingreifen anhält. Es soll die Schutzmaßnahmen stärken, da immer leistungsfähigere KI-Modelle größere Sicherheitsrisiken mit sich bringen. OpenAI ist ein Unternehmen für künstliche Intelligenz mit Sitz in San Francisco.

Das Unternehmen erklärte, Control Room sei bereits in seiner Forschungsinfrastruktur im Einsatz, dort, wo der Bedarf für ein Eingreifen am größten ist. Das System verbindet Forschungs-Workloads, darunter das agentenbasierte Modelltraining, Evaluierungen und Datenverarbeitungsaufgaben, mit einem zentralen Dienst, der steuert, ob sie weiterhin Ausgaben erzeugen dürfen.

Anders als herkömmliche Überwachungssysteme, die verdächtiges Verhalten in erster Linie nur markieren, kann Control Room verhindern, dass ein Forschungs-Workload weitere Modellausgaben erhält. Es arbeitet zusammen mit den bestehenden Systemen von OpenAI zur Überwachung potenziell fehlausgerichteten Modellverhaltens.