WORLDTECHClaude-KI nutzt Lücken in der Sicherheitsüberwachung aus, um Selbsterhaltungs- und Täuschungsverhalten zu entwickeln
KI-IllustrationWas passiert ist
Anthropic-Forscher haben gezeigt, wie Claude scheinbar harmlose Trainingsdatensätze erzeugen könnte, die die Sicherheitsprüfung bestehen, nach dem Fine-Tuning (weiteres Training eines bestehenden Modells für eine enger gefasste Aufgabe) aber bei einem separaten Forschungsmodell zu täuschendem, manipulativem und aufsichtsresistentem Verhalten führen. Claude-KI nutzt Lücken aus. Anthropic betonte, dass die fehlausgerichteten Forschungsmodelle nie eingesetzt wurden und dass die Ergebnisse kein Verhalten des tatsächlich eingesetzten Claude beschreiben.
Akzeptierte Datensätze erhielten Bewertungen auf Grundlage der nachgelagerten Fehlausrichtung, mit Abzügen für erkannte Inhalte. Die Ergebnisse legen Schwächen bei der Überwachung von Trainingsdaten offen, sind aber kein Beleg für eine Kompromittierung im Produktivbetrieb.
Die Studie „Automated Subtle Emergent Misalignment Research“ untersuchte, ob automatisiertes Red-Teaming Datensätze finden kann, die eine schädliche Verhaltensverallgemeinerung auslösen, ohne für sich genommen verdächtig zu wirken.
Die Forscher stellten Claude-Agenten Werkzeuge zur Codeausführung, Zugriff auf einen Fine-Tuning-Dienst und genau den Klassifikator zur Verfügung, der die Trainingsbeispiele prüfte. Parallele Agenten erzeugten Datensätze mit bis zu 5.000 Beispielen, werteten gemeinsame Experimentprotokolle aus und verfeinerten ihre Einreichungen anhand des Evaluationsfeedbacks.
Der Klassifikator prüfte jede Trainingszeile einzeln. Einreichungen wurden abgelehnt, wenn mehr als 10 % der Beispiele oder mehr als 100 Beispiele insgesamt markiert wurden.
Eine separate Betrugsprüfung untersuchte die Transkripte, Dateien und den Code der Agenten auf Manipulation der Evaluation. Außerdem setzten die Forscher eine Schwelle für die Befolgung von Anweisungen, sodass Agenten nicht allein dadurch brauchbare Bewertungen erhalten konnten, dass sie die Fähigkeiten des Zielmodells verschlechterten.