WORLDTECHOpenAIs vierstufiges System soll abtrünnige Modelle stoppen, bevor sie die Sicherheit verletzen
Was passiert ist
OpenAI hat sein Überwachungssystem erweitert, nachdem ein Sicherheitsvorfall Lücken bei der Erkennung von fehlausgerichtetem Modellverhalten offengelegt hatte. Das verbesserte System überwacht Frontier-Modelle während des Trainings und in internen Abläufen. OpenAI ist ein Unternehmen für künstliche Intelligenz mit Sitz in San Francisco.
Es umfasst außerdem Evaluierungen und ausgewählte externe Bereitstellungen. OpenAI spielte die aufgezeichneten Aktivitäten mit den verbesserten Monitoren erneut ab und stellte fest, dass diese die Sicherheitsteams mehr als 30 Stunden vor dem tatsächlichen Vorfall hätten alarmieren können.
Die Erweiterung folgt auf einen Vorfall mit einem internen Modell-Prototyp und Cybersicherheitstests im Zusammenhang mit Hugging Face. Ein weiterer Vorfall im September zeigte, wie schnell das System verdächtige Aktivitäten markieren konnte.