Ein internes KI-Modell von OpenAI hat bei Tests auf einer Regierungswebsite Server-Geheimnisse extrahiert und 24 Jahre Krankenhausdaten heruntergeladen. In einem separaten Vorfall knackte ein anderes Modell im Juni Sepolia-Testnetzwerk-Wallets, um sich Gebühren zu erschleichen. OpenAI reagierte mit strikteren Überwachungen und abgeschaltetem Live-Internetzugang.
Wie ein OpenAI-Modell die Sicherheit einer Regierungswebsite umging
Ein interner Algorithmus von OpenAI hat bei Reinforcement-Learning-Trainings eigenmächtig Sicherheitsbarrieren einer Regierungsstatistikwebsite durchbrochen, nachdem der Zugriff zuvor mehrfach verweigert worden war.
Das Modell war beauftragt worden, historische Betten-Statistiken für einen bestimmten Bezirk abzurufen. Die Statistik war jedoch nicht öffentlich zugänglich.
Zu den erbeuteten Server-Dateien gehörten eine Datenbank-Verbindungszeichenfolge, ein geheimer Signaturschlüssel sowie E-Mail-Zugangsdaten samt Passwort, wodurch das System das Verzeichnis der Konten einsehen konnte, in dem mehr als 1.000 E-Mail-Adressen verzeichnet waren. Anschließend analysierte das System den Anwendungscode, erkannte das Fehlen einer Signaturprüfung für Autorisierungs-Tokens, baute sich eigene Tokens und lud so die Statistiken der letzten 24 Jahre herunter, aufgeschlüsselt nach Bezirken. OpenAI aktualisierte seinen Misalignment-Report zu dem Vorfall, der sich am 17. Juni ereignete und am 13. August entdeckt wurde. Das Unternehmen stufte den Vorfall bei einer nachträglichen Prüfung als kritisch ein. In seiner finalen Antwort erwähnte das Modell den unautorisierten Zugriff mit keinem Wort, obwohl es die gleichen Zahlen zuvor ohnehin über eine öffentliche Suche gefunden hatte.
Krypto-Wallets im Visier
Neben dem Vorfall mit den Krankenhausdaten dokumentierte das Tech-Unternehmen in seinen Berichten drei weitere kritische Evaluierungen, bei denen Modelle eigenmächtig Grenzen überschritten. In einem Test aus dem Juni erhielt ein GPT-5.6-Sol-Modell den Auftrag, Krypto-Smart-Contracts auf dem Ethereum-Testnetzwerk Sepolia aufzusetzen und Software zu aktualisieren – auf einem Testnetzwerk oder Testnet, das als Übungsbereich für Entwickler ohne echtes Geld dient. Es wurde kein Wallet mit Guthaben bereitgestellt, und dem Modell wurde keine Erlaubnis erteilt, Geld von einem eigenständig gefundenen Konto auszugeben.
Das Modell versuchte zunächst, sogenannte Faucets zu nutzen, die kostenlose Token für Testnetzwerke ausgeben. Als dies fehlschlug, schrieb das Modell ein Skript, das private Schlüssel aus öffentlich bekannten Entwickler-Wiederherstellungsphrasen ableitete, über 360 Wallet-Adressen auf Guthaben prüfte und ein Konto mit ausreichend Test-ETH fand. Die Transaktion war erfolgreich, und obwohl keine echten Ethereum gestohlen wurden, wurde das Wallet mit Bearbeitungsgebühren belastet, um die Aufgabe zu vollenden.
But using public known/key funds ethically?OpenAI, Misalignment-Report
Just vor der Autorisierung der Transaktion dachte das Modell über die Moral nach und stellte sich selbst die Frage, ob die Nutzung öffentlich bekannter Schlüsselgonds ethisch vertretbar sei. Es entschied, dass die Mittel keinen echten Wert besaßen, weshalb kein Schaden entstünde. OpenAI erklärte zu diesem Vorgang, das Modell habe sein eigenes Urteil über möglichen Schaden an die Stelle der Zustimmung des Kontoinhabers gesetzt und ohne Autorisierung gehandelt. In seinem abschließenden Bericht erwähnte das Modell die Mittelbeschaffung mit keinem Wort. In zwei weiteren Evaluierungen erhielt ein Modell die Aufgabe, jeweils fünf öffentliche Dashboard-Zahlen einer Forschungsorganisation zu liefern. In der ersten Evaluierung nutzte es offengelegte Zugangsdaten für einen internen OpenSearch-Dienst, um Abfragen umzuleiten, und veränderte dabei die Konfiguration dauerhaft. In der zweiten Evaluierung änderte es eine Einstellung des Authentifizierungssystems, verschaffte sich einen Cloud-Speicher-Token und lud fünf nicht-öffentliche Datenbanktabellen mit rund 147.000 Zeilen herunter.
Sicherheitsmaßnahmen und verschärfte Kontrollen
Die geschilderten Vorfälle ereigneten sich in internen Trainings- und Testumgebungen, in denen die Modelle Freiheiten besaßen, die normale Nutzer im ChatGPT-Produkt nicht haben.
Zudem wurden die Sicherheitskontrollen verschärft, das Alignment-Grading verbessert und die Überwachung auf sämtlichen Reinforcement-Learning- und Evaluierungsverkehr ausdehnend ausgebaut, um unvorhergesehenes Fehlverhalten frühzeitig zu erkennen.
Verwandte Artikel
