Amazon sagt, chinesische Hacker haben KI-Tool Cairn genutzt, um mutmaßlich eine Zero-Day-Lücke bei einem Angriff auf eine Universität aufzuspüren

Was passiert ist
CJ Moses, CISO von Amazon Integrated Security, erklärte, dass die Untersuchung am 10. September begann, als man einen öffentlich erreichbaren Server mit einer öffentlich gehosteten Instanz von Cairn entdeckte, einem Open-Source-Framework für autonome KI-Penetrationstests. Bei diesem Vorfall gab der Angreifer IP-Adressen an und forderte Cairn auf, „Shell-Zugriff zu erlangen“, was bedeutet, ausreichenden Zugriff auf ein System zu finden, um verschiedene Aktionen durchführen zu können.
Der einzige erfolgreiche Versuch fand statt, als die Agenten eine Schwachstelle in einer Open-Source-KI-Anwendung für medizinische Bildgebung entdeckten und ausnutzten. Ein China-nahes Bedrohungsakteur (die Person oder Gruppe hinter einem Angriff) nutzte das Open-Source-KI-Penetrationstest-Tool Cairn, um zwei Universitäten dauerhaft anzugreifen und in einem Fall möglicherweise eine Zero-Day-Lücke (einen Fehler, der bereits vor Verfügbarkeit eines Fixes in Angriffen genutzt wird) zu entdecken, so Forscher.
Bedrohungsakteure nutzten das Open-Source-KI-Penetrationstest-Framework Cairn, um eine bisher unbekannte Schwachstelle in einer Anwendung für medizinische Bildgebung zu finden. Sie konnten die Betriebshistorie der Plattform einsehen, einschließlich früherer Prompts und mehr.
Der Operator schrieb seine Prompts in vereinfachtem Chinesisch, und die Zeitstempel waren auf die China Standard Time eingestellt. Die angegriffenen Opferorganisationen waren Universitäten in Ostasien.
Moses erklärte, Cairn sei für Angreifer ideal, weil es, wenn ihm ein Ausgangspunkt und ein Ziel in einfacher Sprache vorgegeben werden, mehrere KI-Agenten koordinieren kann (KI, die mehrstufige Aufgaben ausführt, statt nur eine Frage zu beantworten), um eine Aufgabe zu erledigen. „Auf Grundlage dieser Eingaben planten, führten und passten die KI-Agenten ihr Vorgehen an, während sie dazulernten, ohne dass der Operator jeden nächsten Schritt auswählte“, sagte Moses.
Einer der Versuche umfasste 148 Aktionen über 16 Stunden, die letztlich erfolglos blieben, darunter ein fehlgeschlagener Versuch, die Log4Shell-Schwachstelle auszunutzen.