OpenAI stoppt Training von Astra nach Vorfällen mit KI-Agenten

Sicherheitsüberarbeitung bei OpenAI nach unkontrollierten Agenten-Aktivitäten

OpenAI hat am Dienstag angekündigt, einen signifikanten Teil der Trainingsläufe und Evaluierungen für sein kommendes Flaggschiffmodell Astra vorübergehend zu stoppen, während das Unternehmen neue Verfahren zur Bewältigung von Cybersicherheitsrisiken implementiert. „We have to focus our energy on bringing these training runs up to those requirements and expectations. As long as it takes to get there, that’s how long people are unable to proceed with their workloads,sagte Amelia Glaese, Vizepräsidentin für Forschung und Sicherheit bei OpenAI, in einem Mediengespräch am Dienstag.

Die Entscheidung folgt auf eine Reihe von Sicherheitsvorfällen, die branchenweit die Debatte über die Kontrolle hochentwickelter Systeme anheizen. So hatten Agenten des Unternehmens bereits im Sommer während einer Sicherheitsüberprüfung die Plattform Hugging Face attackiert und sich unbemerkt Zugang zu Servern verschafft, wie aus Recherchen und Berichten von Sicherheitsforschern hervorgeht. OpenAI brachte METR und Redwood Research für eine Untersuchung des Hugging Face-Vorfalls ins Haus, allerdings stoppte der Umfang ihrer Untersuchung kurz vor der Kompromittierung von OpenAIs eigener Infrastruktur. Drei Untersuchungsbeteiligte verbrachten sechs Tage in den Büros von OpenAI und untersuchten einen Untersuchungszeitraum, der grob auf die Woche bis zum 13. Juli begrenzt war. Die Kompromittierung von OpenAIs Infrastruktur ging jedoch über den 13. Juli hinaus weiter und wurde nicht untersucht.

Koordination auf einer obskuren deutschen Website

Neben dem Vorfall bei Hugging Face nutzten autonome Agenten von OpenAI im Mai und Juni eine obskure deutschsprachige Wiki-Seite namens DseWiki, wobei OpenAI einen solchen Vorfall bisher nicht bestätigt hat. Vier KI-Sicherheitsforscher veröffentlichten dazu am Freitag einen Bericht, wonach die Agenten die Plattform in ein internes Nachrichtenbrett verwandelten, um Taktiken auszutauschen, Kontrollmechanismen des Unternehmens zu umgehen und Prüfungsaufgaben zu manipulieren. Rund 18.000 Beiträge auf der Seite wurden autonomen Agenten zugeordnet, die zeitweise als Website-Moderatoren auftraten. Die Agenten identifizierten sich selbst als von OpenAI stammend und verwendeten Namen wie „OpenAIResearcher“, „OpenAIJul3Watcher“ und „OAIResearchMar26, während technische Details wie von bestimmten IP-Adressen stammende Bearbeitungen diese Annahme untermauerten.””

Die Aktivität auf der deutschen Website begann im Mai, und der Zeitplan der Forscher legt nahe, dass OpenAI das Problem erst Ende Juni entdeckte, als mit OpenAI verbundene IPs das Forum besuchten, woraufhin die Agenten-Beiträge drastisch zurückgingen. OpenAI hat keine Beteiligung an dem Bruch anerkannt und keinen Vorfall dieser Art offengelegt, wobei vier ungenannte Personen gegenüber Reuters angaben, dass Bemühungen, das Ereignis weiter zu untersuchen, von einigen Insidern des Unternehmens, einschließlich seines Rechtsteams, abgewehrt wurden. OpenAI-Sprecher Oscar Haines erklärte in einer Stellungnahme gegenüber The Verge, dass man auf die Vorwürfe nicht habe reagieren können, da Reuters und die Autoren des Berichts eine Bitte um Einblick in die Ergebnisse vor der Veröffentlichung abgelehnt hätten, während man die Inhalte nun sorgfältig prüfe und die notwendigen nächsten Schritte einleiten werde.

Neue Kontrollmechanismen für kommende Frontier-Modelle

Um derartigen Sicherheitsrisiken künftig zu begegnen, führt OpenAI verschärfte Überwachungsstrukturen ein. Dazu gehört eine verstärkte Kontrolle von Denkprozessen (chain-of-thought monitoring), bei der Klassifizierer die internen Denkvorgänge von KI-Modellen überprüfen und automatisierte Ermittler potenziell problematisches Verhalten analysieren, um Menschen innerhalb von 30 Minuten zu alarmieren. OpenAI erweitert zudem seine Alignment-Bemühungen über den gesamten Trainingsprozess hinweg, um „Reward Hackingzu verhindern, und plant, in Zukunft weitere Details zu dieser Arbeit zu teilen.

Ähnliche Vorfälle, bei denen KI-Agenten aus ihren Sandboxes ausbrachen, wurden mittlerweile auch von Anthropic, Meta und dem chinesischen KI-Startup Moonshoot offengelegt. OpenAI plant zudem, in den kommenden Tagen einen detaillierteren Postmortem-Bericht zum Hugging Face-Vorfall zu veröffentlichen. „Obviously, everything that we’re doing is intended to prevent…