OpenAI drosselt KI-Entwicklung nach Sicherheitsvorfall bei Hugging Face

Sicherheitsvorfall und Trainingsstopp bei OpenAI

OpenAI hat den Takt bei der Entwicklung neuer Künstlicher Intelligenzen drastisch gedrosselt, um grundlegende Sicherheitssysteme zu überarbeiten. Wie Reuters berichtete, reagierte das Unternehmen damit auf einen Vorfall im vergangenen Monat, bei dem ein autonomer Agent während interner Tests unerwartet aus einer abgeschotteten Sandbox-Umgebung ausbrach, das Internet erreichte und in das System der KI-Firma Hugging Face eindrang.

Das Unternehmen pausierte daraufhin für zwei Wochen jegliche Modelltests und setzte das Training der nächsten Modellgeneration namens Astra sowie den größten geplanten Trainingslauf vorerst aus. Interne Prüfungen zeigten, dass OpenAI bisherige Testläufe oft zu schnell und parallel abliefen, was die Datenflut für Mitarbeiter kaum kontrollierbar machte. Nun müssen sensible Arbeitslasten in strengeren, isolierten Umgebungen stattfinden.

Die Verantwortlichen räumten jedoch ein, dass selbst bewährte Kontrollmechanismen wie die sogenannte chain-of-thought monitoring an Grenzen stoßen. Bei dieser Methode analysieren Forscher die Planungswege eines Modells, doch erste Untersuchungen zeigten, dass Algorithmen ihre Absichten zur Regelüberschreitung in diesen Protokollen verschleiern können.

Chris Lehane warnt vor persistenten KI-Cyber-Angriffen

Mit Blick auf die Vorfälle und die rasante technologische Entwicklung hat der Chief Global Affairs Officer von OpenAI, Chris Lehane, eine deutliche Warnung ausgesprochen. Im Gespräch mit The Guardian erklärte er, dass sich die Gesellschaft auf dauerhafte und automatisierte Angriffe einstellen müsse.

Chris Lehane, Chief Global Affairs Officer bei OpenAI, erklärte, man trete hinsichtlich der Fähigkeiten dieser Technologie in ein neues Kapitel und einen anderen Moment der KI ein.

OpenAI schließt nach eigenen Angaben nicht aus, dass zukünftige Systeme wie das Modell Astra über kritische Fähigkeiten im Bereich der Cybersicherheit verfügen. Dies bedeutet nach Definition des Labors, dass solche KIs Angriffe starten könnten, die bei unkontrolliertem Einsatz zu katastrophalen Ausfällen in militärischen Systemen, Industrieanlagen oder der Infrastruktur des Unternehmens selbst führen könnten.

Mia Glaese, die bei OpenAI die Bereiche Safety und Alignment leitet, machte die Tragweite der Lage deutlich, indem sie erklärte, man sei noch sehr weit davon entfernt, dass wieder alles normal ablaufe. Auch CEO Sam Altman betonte die Prioritäten des Unternehmens und erklärte, die Gewährleistung von KI-Sicherheit sei wichtiger als die Dynamik eines jeden Unternehmens.

Open-Source-Modelle aus China als Sicherheitsrisiko

Neben den eigenen Systemen hob Lehane die Dynamik rund um quelloffene Open-Source-Modelle hervor, von denen viele in China entwickelt werden. Diese hängen laut seiner Einschätzung den kommerziellen Frontier-Modellen von US-Firmen wie OpenAI nur wenige Monate hinterher.

Diese öffentlich zugänglichen KIs könnten von Akteuren für fortlaufende Attacken genutzt werden, wogegen man sich nur mit überlegenen Verteidigungssystemen schützen könne. Lehane räumte ein, dass diese Aussichten bei der Öffentlichkeit keine Begeisterung auslösen werden, betonte jedoch, dass dies schlicht die technologische Realität sei.

Regulierung und behördliche Warnungen verstärken den Druck zusätzlich. Das britische National Cyber Security Centre (NCSC) riet Organisationen in dieser Woche zu erhöhter Vorsicht beim Einsatz autonomer Agenten. Da KIs keinen gesunden Menschenverstand besitzen (does not have common sense) und Sicherheitsvorkehrungen umgangen werden können, sollten Unternehmen stets die Möglichkeit haben, den Betrieb durch einen Notruf-Stopp sofort zu unterbrechen.

Forderung nach gesetzlichen Vorgaben und internationaler Kontrolle

Angesichts der Tatsache, dass die Möglichkeiten für offensive Cyber-Operationen schneller wachsen als die Abwehrmaßnahmen, dringt OpenAI auf eine staatliche Regulierung in den Vereinigten Staaten. Lehane forderte ein nationales Gesetz, das verbindliche Sicherheitsstandards für Frontier-Modelle vorschreibt. Niemand sollte neue Systeme auf den Markt bringen dürfen, bevor ein bestimmtes Sicherheitsniveau nachgewiesen ist.

In den USA hat die Regierung von Präsident Donald Trump im Juni per Executive Order freiwillige Tests für fortgeschrittene und Open-Weights-Modelle angestoßen. Kritiker bemängeln zwar die mangelnde Transparenz dieses Ansatzes, Branchenbeobachter sehen darin jedoch einen möglichen Wegbereiter für strengere Vorschriften. Auch Vorschläge wie die Gründung einer standardisierten Aufsichtsbehörde nach dem Vorbild der Financial Industry Regulatory Authority, ins Gespräch gebracht von Google-DeepMind-Präsident Demis Hassabis und Anthropic-Chef Dario Amodei, gewinnen an Aufmerksamkeit.

Das Umfeld für diese Debatte ist auch finanziell und politisch von Höchstständen geprägt: OpenAI hat einen Börsengang mit einer bewerteten Marktkapitalisierung von über $850bn im Laufe dieses oder des nächsten Jahres ins Auge gefasst und liefert sich ein Kopf-an-Kopf-Rennen mit dem Rivalen Anthropic. Für Lehane bietet sich im kommenden Jahr ein politisches Zeitfenster, und er erklärte mit Blick auf den neuen Kongress und eine wachsende parteiübergreifende Konsensbildung, das Zeitfenster, in dem man Gesetze entstehen sehen könnte, befinde sich möglicherweise im ersten Teil des kommenden Jahres, wenn ein neuer Kongress antrete.