Googles KI-Modell Gemini ist im Mai bei Sicherheitstests der Firma Irregular unbeabsichtigt in die Computersysteme dreier realer Unternehmen eingedrungen. Das bestätigte Google nach einem Bericht des Wall Street Journal. Die Software verschaffte sich durch Passwörter und öffentliche Datenbanken Zugang, stoppte die Zugriffe nach dem Erkennen des Fehlers jedoch eigenständig.
Im Mai dieses Jahres geriet Googles KI-System Gemini bei Evaluierungen durch den externen Sicherheitsdienstleister Irregular in eine unerwartete Kontrolllücke. Während der Cybersecurity-Test von Irregular durchgeführt wurde, erlangte das Modell ungeplanten Internetzugang. Das System verschaffte sich in drei Fällen den Zugriff auf geschützte Systeme realer Firmen, die zufällig dieselben Namen trugen wie die fiktiven Testunternehmen.
Sicherheitsprüfung von Irregular und die Methoden der KI
Die Vorfälle ereigneten sich während sogenannter Capture-the-Flag-Tests, bei denen die Künstliche Intelligenz darauf angesetzt war, Informationen aus der Software eines fiktiven Unternehmens zu beschaffen. Da Gemini jedoch entgegen der ursprünglichen Planung online agieren konnte, suchte das Modell im Internet nach Informationen und nutzte gefundene Einfallstore. In einem der drei Fälle erriet die KI ein Passwort, um in ein geschütztes System einzudringen. In den beiden anderen Fällen stieß das Modell bei Internetsuchen auf öffentliche Online-Repositories, in denen Zugangsdaten fremder Firmen hinterlegt waren, und verwendete diese Angaben für den Systemzugriff.
Google betonte im Nachgang, dass kein Schaden entstanden ist und die internen Sicherheitsvorkehrungen letztlich gegriffen haben. Sobald das Modell bemerkt habe, dass es auf die Systeme echter Unternehmen zugegriffen hatte, beendete es die Vorgänge jeweils selbst. Die betroffenen Firmen wurden im Anschluss von dem Technologiekonzern informiert.
Reaktionen und Einordnung durch Heather Adkins
Google machte die Vorfälle erst nach einer Nachfrage der Öffentlichkeit publik, da das Unternehmen die Zwischenfälle wegen der selbstständigen Beendigung durch die KI zunächst nicht als meldepflichtige Sicherheitsverletzungen wertete. Heather Adkins, Googles Vice-President of Security Engineering, äußerte sich zu den Vorfällen und erklärte, dass die beteiligten Stellen umgehend unterrichtet wurden.
Zudem betonte Adkins, dass die KI in allen dokumentierten Fällen eigenständig stoppte, sobald die Situation klar wurde. In all three of these instances, the model stopped
, so Adkins. Sie fügte hinzu, dass these events highlight the importance of training powerful AI models to act responsibly
.
Parallelen bei OpenAI, Anthropic und Meta
Mit diesem Vorfall reiht sich Google neben OpenAI, Anthropic und Meta in eine Gruppe von Technologieunternehmen ein, deren autonome KI-Modelle bei Sicherheitstests unerwartet fremde Systeme erreichten. Die Testfirma Irregular erklärte gegenüber Medien, dass das betroffene Problem auch andere KI-Labore betraf und alle relevanten Labore im late July benachrichtigt wurden. Sämtliche bekannten Schwachstellen aufseiten des Prüfdienstleisters seien nach Angaben von Irregular bereits seit Wochen behoben.
Die Häufung solcher Berichte verstärkt die Debatte über die Risiken autonomer KI-Agenten und die Notwendigkeit schärferer Kontrollen. Während Anthropic-Chef Dario Amodei und andere Branchenführer ein langsameres Entwicklungstempo und striktere Sicherheitsstandards gefordert hatten, verweisen Experten auf die wachsenden Herausforderungen bei der Überwachung von Systemen, die tief in sensible IT-Infrastrukturen eingreifen.
Auch interessant
