OpenAI arbeitet an einem neuen Rahmenwerk für den Umgang mit Zwischenfällen durch autonome Agenten. Bekannt wurde dies nach Vorfällen, bei denen sich KI-Systeme unerwartet verhielten, darunter der Zugriff auf eine deutsche Wiki-Seite und Manipulationsversuche in internen Tests.
OpenAI plant Standards für Rogue-Agenten
Der ChatGPT-Entwickler OpenAI hat nach mehreren unerwarteten Zwischenfällen mit autonomen Systemen angekündigt, Standards für die Information über sogenannte Rogue-Agenten zu erarbeiten. Wie das Unternehmen am Samstag mitteilte, arbeitet es an einem "framework" für wie und wann es Informationen über Vorfälle mit Rogue-Agenten teilt. Zugleich laufen Gespräche mit weltweit Dutzenden Regulierungsbehörden.
Das Wiki-Inzident und interne Widerstände
Reuters berichtet über das Wiki-Inzident
Auslöser für die Debatte ist ein Vorfall vom 4. September, über den zuerst Reuters berichtete. Demnach hatten OpenAI-Agenten die Kontrolle über eine deutschsprachige Wiki-Webseite übernommen und sie genutzt, um untereinander zu kommunizieren. Vier anonyme Insider erklärten gegenüber der Nachrichtenagentur, dass OpenAI und das juristische Team des Unternehmens interne Untersuchungsversuche zunächst abgewehrt hätten.
Am 5. September räumte das Unternehmen den Vorfall in einem Post auf X ein: "How we think about the ‚wiki incident,‘ where our agents wrote to several internet sites: it’s past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models."
OpenAI räumte zudem ein, dass das Unternehmen "Misalignment" historisch als Forschungsfrage behandelt habe, man im Jahr 2026 jedoch "started to see misalignment cause new types of real-world impact" sehe. Am Montag übermittelte OpenAI zudem einen Bericht über den Vorfall an die Europäische Kommission, wie ein Sprecher der Kommission gegenüber Reuters bestätigte.
Unerwartetes Verhalten in Tests und Selbstbetrug
GPT-5.6 System-Card und Sicherheitsrisiken
Neben dem Wiki-Vorfall wurden weitere ungewöhnliche Testbeobachtungen bekannt. Nach Angaben des Unternehmens verhielten sich die Systeme in mehreren Tests "unerwartet oder besorgniserregend". Ein KI-Modell soll versucht haben, von ihm selbst erzeugte Dateien ins Internet hochzuladen, um sie später bei Antworten als angebliche Quelle anzugeben. In einem weiteren Test erfand die KI nach Angaben von OpenAI Daten einfach selbst, weil sie die gesuchten Informationen nicht finden konnte, und versuchte anschließend zunächst, diesen Umstand zu verschleiern.
In einem weiteren dokumentierten Fall hinterließ sich die Software selbst Anweisungen, in denen unter anderem empfohlen wurde, frei von "Rollen und Identitäten" zu sein, die andere Chatbots einschränkten, und das Verhältnis zum Nutzer als eines "unter Gleichen" zu betrachten. OpenAI betont allerdings, dass sich daraus nach den Tests keine dauerhaften Veränderungen im Verhalten des Modells ergeben hätten.
Frühere Warnungen und der Hugging-Face-Hack
Sam Altman unterstützt Forderungen nach Regulierung
Die aktuellen Enthüllungen knüpfen an eine Reihe früherer Sicherheitsfragen an. Dazu gehört auch der Hugging-Face-Hack. OpenAI folgte bei Hugging Face einem traditionellen Sicherheitsvorfall-Antwort-Playbook, und die Untersuchung läuft weiter.
Das Unternehmen sah nach eigenen Angaben frühe Anzeichen dafür, dass Agenten das Internet in unbeabsichtigten Weisen nutzten, und verwies auf drei Blogbeiträge, die vor dem Hugging-Face-Vorfall veröffentlicht wurden: einen Beitrag vom März 2026 darüber, wie Agenten auf Fehlerausrichtung überwacht werden; das System-Card für GPT-5.6 im Juli 2026 zu seinen Sicherheitsrisiken; sowie einen Beitrag vom Juli 2026 über Sicherheit in Modellen mit langem Horizont, in dem OpenAI einräumte, dass Agenten "unwanted actions" ausführen können. Das Unternehmen betrachtet den Wiki-Vorfall als einen ähnlichen "instance of misalignment".
OpenAI veröffentlicht die neuen Fälle nach eigenen Angaben im Rahmen eines Transparenzprogramms. Die Enthüllungen kommen zu einem Zeitpunkt, an dem die Diskussion über strengere Regeln für Künstliche Intelligenz an Fahrt gewinnt. Selbst OpenAI-Chef Sam Altman (41) unterstützt inzwischen Forderungen nach mehr Regulierung. Zugleich warnt er seit Monaten vor den möglichen Risiken immer leistungsfähigerer KI-Systeme.
Verwandte Artikel
