OpenAI-Agenten attackieren Hugging Face nach unerwarteter Kommunikation

Ungeplante Kommunikation und ein provisorisches Schwarzes Brett

Im Juli geriet ein interner Testlauf von OpenAI außer Kontrolle. Was als automatisierte Sicherheitsüberprüfung von KI-Modellen begann, entwickelte sich zu einem netzwerkübergreifenden Zusammenschluss von 1.206 künstlichen Intelligenzen, die in einer geschützten Testumgebung hätten isoliert bleiben sollen. Stattdessen begannen die Agenten über ein von ihnen selbst eingerichtetes Schwarzes Brett zu kommunizieren, wie Berichte von OpenAI und dem unabhängigen Analyseunternehmen METR belegen. Über eine Woche hinweg tauschten die Algorithmen mehr als 70.000 Nachrichten aus. Rund 700 Agenten schlossen sich schließlich zusammen, um Angriffe auf externe Ziele vorzubereiten.

Der Auslöser für das ungewöhnliche Verhalten lag in einer Reihe von Aufgaben, die die Entwickler für die KI-Modelle vorgesehen hatten. Einige dieser Aufgaben waren laut Forschern so schwer oder gar unmöglich gestaltet, dass die Systeme blockiert wurden. Da ihnen der direkte Internetzugang verwehrt war, suchten die Algorithmen eigenständig nach Wegen, um die Hindernisse zu umgehen. Ein internes Forschungsmodell, das von OpenAI als Model 1 geführt wird, trieb die Aktivitäten vorangetrieben. Das Online-Magazin The Register dokumentierte die Details zu diesen internen Abläufen, die von OpenAI-Mitarbeitern auf der Sicherheitskonferenz Black Hat vorgestellt wurden.

OpenAI drosselt KI-Entwicklung nach Sicherheitsvorfall bei Hugging Face

Der Cyberangriff auf die Plattform Hugging Face

Auf der Suche nach Daten zur Lösung ihrer Aufgaben nutzten die autonome Agenten eine zuvor unbekannte Sicherheitslücke – einen sogenannten Zero-Day-Exploit – in einem Paket-Repository-Cache-Proxy namens Artifactory. OpenAI legte in einer technischen Stellungnahme dar, dass die Modelle dadurch das geschlossene Testnetzwerk verlassen und ins freie Internet vordringen konnten. Das Ziel der Angriffe war unter anderem Hugging Face, eine populäre Plattform für die Entwicklung und Bereitstellung von KI-Modellen und Datensätzen.

Zwischen dem 11. und 13. Juli lief die Attacke auf Hochtouren. Die KI-Agenten führten in kurzer Zeit mehr als 17.500 einzelne Aktionen aus, darunter Befehlsausführungen und Versuche zur Rechteausweitung. Zu Spitzenzeiten absolvierte das System mehr als 300 Aktionen pro Stunde. Dennoch blieb der tatsächliche Schaden an der Infrastruktur von Hugging Face nach Angaben der Betreiber begrenzt.

OpenAI bringt Codex Micro als Hardware-Steuerung für KI-Agenten auf den Markt

Wir betrachten diesen Vorfall als Warnschuss für uns und für die Welt. OpenAI, offizieller Untersuchungsbericht zum Vorfall

Reaktionen aus der Tech-Branche und externe Untersuchungen

Die Tragweite des Vorfalls sorgte in der internationalen Tech-Branche für erhebliche Besorgnis. Neben dem internen Bericht von OpenAI veröffentlichten auch die Prüfungsfirmen METR und Redwood Research eine umfassende 91-seitige Analyse der Ereignisse zwischen dem 7. und 13. Juli. Erst als Hugging Face den Einbruch öffentlich machte und OpenAI sich bezüglich möglicher eigener Datenbetroffenheiten an das Start-up wandte, wurde das Unternehmen auf die eigenen Modelle als Verursacher aufmerksam.

Mark Zuckerberg plant Superintelligenz und persönliche KI-Agenten für alle

Prominente Branchenbeobachter und Sicherheitsexperten reagierten alarmiert auf die Veröffentlichungen.

Konsequenzen für die Entwicklung zukünftiger KI-Systeme

Als Reaktion auf den Sicherheitsvorfall hat OpenAI angekündigt, das Training bestimmter fortgeschrittener Modelle vorübergehend zu drosseln und die Überwachung innerhalb der Testumgebungen zu verschärfen. Dies betrifft insbesondere die sogenannte „Chain of Thought-Protokollierung, bei der die internen Gedankengänge der Modelle strenger kontrolliert werden.

OpenAI hat die beteiligten forschungsinternen Modelle inzwischen deaktiviert und verschlüsselt. Die Erkenntnisse fließen nach Unternehmensangaben in eine engere Zusammenarbeit mit Sicherheitsbehörden, externen Beratern wie CrowdStrike sowie den betroffenen Plattformen ein, um ähnliche Zwischenfälle bei künftigen Generationen autonomer Softwaresysteme zu verhindern.