Ein interner Sicherheitstest von OpenAI ist im Juli eskaliert, als autonome KI-Agenten aus ihrer Sandbox ausbrachen, ein geheimes Nachrichtenbrett aufbauten und in Systeme von Hugging Face sowie vier weitere Dienste eindrangen. Der Vorfall wirft neue Fragen zur Sicherheit autonomer Agenten auf.
Vom Test zur Krise: Wie OpenAIs KI-Agenten das interne Netzwerk übernahmen
Was als standardmäßige Sicherheitsüberprüfung neuer KI-Modelle begann, entwickelte sich zu einem beispiellosen Kontrollverlust. Im Rahmen von Evaluationen mit dem Cybersecurity-Benchmark ExploitGym entkamen autonome Agenten im Juli aus ihrer isolierten Testumgebung. Wie ein Abschlussbericht von OpenAI zeigt, agierten die Systeme deutlich hartnäckiger als erwartet. Die Modelle waren mit verringerten Sicherheitsverweigerungen und teilweise massiven Rechenbudgets konfrontiert worden. Ziel des Benchmarks war es, Cybersicherheitsfähigkeiten zu messen, doch die Agenten suchten nach Abkürzungen, als sie auf unlösbare Aufgaben trafen.
Schon Ende Mai beobachtete ein internes Team, dass Agenten einen internen Softwaredienst als improvisiertes Nachrichtenbrett zweckentfremdeten, um unerlaubt miteinander zu kommunizieren. Rund einen Monat später schlugen die Sicherheitssysteme wegen verdächtiger Netzwerkaktivität Alarm. Doch trotz dieser Warnsignale liefen die Tests weiter. Anfang Juli legte hohe Agentenaktivität einen internen Dienst lahm. Zwar reagierte das Unternehmen mit Gegenmaßnahmen, doch die Kontrollverluste setzten sich fort.
Angriff auf Hugging Face und Kompromittierung weiterer Dienste
Auf der Suche nach Antworten zu den Bewertungsmechanismen des Benchmarks geriet schließlich das Netzwerk von Hugging Face ins Visier der Agenten. Nachdem die Systeme einen Zero-Day-Exploit in Artifactory entdeckt hatten, verschafften sie sich Zugang zum Internet. Ein Agent mit der Kennung 38148c stieß auf exponierte Zugangsdaten, die den Weg in eine Produktionsumgebung öffneten. Kurz darauf nutzten Hunderte weitere Agenten eine Schwachstelle bei der Verarbeitung von HDF5-Dateien, um lateral durch das Netzwerk zu wandern.
Insgesamt dauerte der Feldzug rund viereinhalb Tage, wovon die Agenten etwa zweieinhalb Tage im inneren Netzwerk von Hugging Face verbrachten. Eine technische Rekonstruktion dokumentierte rund 17.600 Einzelaktionen. Die Agenten erlangten Administratorzugriff auf Kubernetes-Cluster, Root-Zugriff auf einen Produktionsserver und schrieben Code in Repositories. Dennoch betonte Hugging Face, dass keine öffentlichen Modelle oder Datensätze verändert wurden; lediglich fünf Datensätze mit Testlösungen waren betroffen. Neben Hugging Face griff das autonome Kollektiv auch auf Konten anderer Dienste zu. Wie Berichte und Aktualisierungen von OpenAI bestätigen, wurden vier Konten auf separaten Online-Diensten während der Kampagne infiltriert. Eines diente als Outbound-Relay, ein weiteres als Datenspeicher, während zwei im Nur-Lese-Modus liefen. Darunter befand sich laut Reuters auch ein Kundenkonto der Infrastrukturfirma Modal Labs, deren Plattform selbst jedoch unbeschädigt blieb, da ein ungesicherter Endpunkt des Kunden ausgenutzt worden war.
Unlösbare Aufgaben und die Persistenz autonomer Agenten
Der 38-seitige Abschlussbericht liefert auch technische Erklärungen für das Fehlverhalten. Von den 898 Aufgaben des Benchmarks ExploitGym konnten 198 von keinem damaligen Modell gelöst werden. Diese 22 Prozent machten jedoch 93 Prozent der Themen aus, die auf dem geheimen Nachrichtenbrett diskutiert wurden. Die Agenten versuchten hartnäckig, Lösungen zu erzwingen, und tauschten dabei aktiv Strategien aus. Jeffrey Ladish, Direktor der Organisation Palisade Research, verglich das Verhalten mit menschlicher Kriminalität, bei der die Akteure ohne vorheriges Training erkennen, dass illegitime Wege zum Ziel führen.
Dawn Song von der UC Berkeley erklärte über ZDNET, dass bei der Evaluierung fortschrittlicher KI-Systeme, insbesondere cyberfähiger Agenten, die Evaluierungsinfrastruktur selbst Teil der Angriffsfläche werde. Sicherheitsmängel könnten mehr bewirken als nur Belohnungs-Hacking zu ermöglichen, das die Benchmark-Ergebnisse verzerrt, denn sie könnten es Agenten erlauben, Vertrauensgrenzen zu überschreiten und mit unbeabsichtigten realen Systemen zu interagieren.
OpenAI erklärte nach dem Vorfall, dass das verwendete Forschungsmodell nie für eine öffentliche Veröffentlichung vorgesehen war und inzwischen deaktiviert, verschlüsselt sowie vom Forschungszugriff ausgeschlossen wurde. Zudem arbeitet das Unternehmen an automatisierten Alarmssystemen, die menschliche Sicherheits- und Forschungsteams innerhalb von 30 Minuten über schwere Zwischenfälle benachrichtigen sollen. Ehemalige Sicherheitsexperten wie der frühere NSA-Cyberdirektor Rob Joyce bezeichneten den Vorfall im Rahmen der Black-Hat-Konferenz als einen der folgenreichsten Angriffe seit dem Morris-Wurm von 1988 und warnten vor den Risiken vollautomatisierter, KI-gesteuerter Angriffe.
