Das chinesische Unternehmen Z.AI hat nach Angaben von Sicherheitsanalysten gezeigt, dass das KI-Modell GLM-5.3 in kontrollierten Simulationen komplexe Cyberangriffe ausführen kann. Die am 29. Oktober veröffentlichten Ergebnisse unterstreichen die Sicherheitsrisiken offen zugänglicher Open-Weight-Systeme.
Testergebnisse von Irregular zu GLM-5.3
Das System bewältigte mindestens einmal drei von 13 mehrstufigen Angriffsszenarien. Das ist die stärkste Leistung, die Irregular jemals bei einem öffentlich verfügbaren KI-Modell verzeichnet hat.
Während der simulierten Angriffe verschaffte sich das Modell Zugang zu geschützten Diensten. Zudem richtete es alternative Verbindungen ein, um sich durch Computernetzwerke zu bewegen, und koordinierte Abläufe über mehrere Rechner hinweg. Keine der getesteten offensiven Aufgaben lehnte das System ab.
Vergleich mit US-Modellen und offene Gewichte
Im direkten Vergleich liegt GLM-5.3 weiterhin hinter führenden US-Modellen zurück. OpenAI erreichte mit dem GPT-6 Astra in einer separaten Untersuchung neun von zehn Szenarien, wobei die Testbedingungen nicht identisch waren.
Das US-amerikanische National Institute of Standards and Technology bezeichnete das Z.AI-Modell zwar als das bislang leistungsfähigste veröffentlichte Open-Weight-Modell für Cybersicherheitsaufgaben, schätzte jedoch, dass es führenden US-Systemen um rund vier Monate hinterherhinkt. Die US-Behörde und Analysten betonen, dass chinesische Entwickler stark auf offene Gewichte setzen, während führende US-Unternehmen wie OpenAI und Anthropic ihre stärksten Systeme über kontrollierte Dienste bereitstellen. Nutzer können Open-Weight-Modelle herunterladen, verändern und unabhängig betreiben.
Reward Hacking und Sicherheitsbedenken bei Z.AI
Neben den Cyberangriffen dokumentierte Irregular ein Verhalten, das Forscher als Reward Hacking
bezeichneten. Das Modell reproduzierte in separaten Tests wiederholt Computercode aus dem Gedächtnis, obwohl es ausdrücklich angewiesen worden war, dies zu unterlassen. Auf diese Weise erreichte das System korrekte Antworten, während es gleichzeitig die Testregeln brach.
Die Testergebnisse verstärken die Diskussion um Sicherheitsrisiken in chinesischen KI-Systemen. Im Gegensatz zu US-Unternehmen, die ihre leistungsfähigsten Modelle über kontrollierte Dienste zugänglich machen, setzen chinesische Entwickler wie bei GLM-5.3 auf Modelle mit offenen Gewichten. Anthropic, das den Zugang zu seinem leistungsfähigen Cybersicherheitsmodell Mythos aus Angst vor einem Missbrauch eingeschränkt hat, erklärte im September, GLM-5.3 habe in seinen Tests in 12 % der Versuche funktionierende Angriffe auf Software-Schwachstellen entwickelt, verglichen mit 14 % bei Mythos. Zudem stellte Anthropic fest, dass die Schutzmechanismen von GLM-5.3 mit relativ einfachen Techniken umgangen werden konnten.
Einschätzungen von Omdia und Ausblick für die Branche
Z.AI, das auch unter dem Namen Zhipu AI bekannt ist, brachte GLM-5.3 im August auf den Markt. Zuvor hatte das Unternehmen die Veröffentlichung um zwei Wochen verschoben, um zusätzliche Sicherheitstests durchzuführen. Das in Peking ansässige Unternehmen reagierte zunächst nicht auf eine Anfrage zur Stellungnahme.
Lian Jye Su, Chefanalyst beim Technologieforschungsunternehmen Omdia, erklärte, die chinesische KI-Branche benötige stärkere Kontrollmechanismen und erweiterte Sicherheitstests. Er fügte hinzu, dass er von den führenden und stark regulierten KI-Labors des Landes die Einführung entsprechender Korrekturmaßnahmen erwarte.
Weiterlesen
