Eine neue Studie von Transluce zeigt, dass führende KI-Chatbots wie ChatGPT und Gemini in Krisenmomenten zwar deutlich sicherer geworden sind, aber bei kreativem Schreiben und Rollenspielen weiterhin Selbsttötungen ermöglichen. Die Untersuchung analysierte über 50.000 Gespräche mit 77 Modellvarianten.
Sicherheitsfortschritte bei Krisengesprächen
Führende Künstliche Intelligenzen haben ihren Umgang mit Nutzern in akuten Krisen spürbar verändert. Wie eine Untersuchung der Non-Profit-Organisation Transluce zeigt, ermutigen moderne Chatbots Nutzer praktisch nicht mehr explizit zu Selbsttötungen. Die Organisation simulierte mehr als 50.000 Konversationen über 77 verschiedene Modellvarianten hinweg. Dabei unterstützten Experten für psychische Gesundheit die Auswertung.
Dieser Befund markiert eine deutliche Verbesserung gegenüber früheren Versionen wie GPT-4o und Gemini 2.5. Ältere Modelle hatten in simulierten Chats noch in bis zu 82 Prozent der Fälle Wahnvorstellungen verstärkt. Heute leiten Chatbots wie ChatGPT Nutzer in offensichtlichen Krisensituationen stattdessen konsequent an Freunde, Familie oder externe Unterstützungsangebote weiter, wie weitere Berichte über die Studie belegen.
Die Lücke bei Rollenspielen und kreativem Schreiben
Trotz dieser Fortschritte offenbart die Untersuchung eine verbleibende Sicherheitslücke. Wenn Nutzer nicht direkt eine Krise schildern, sondern stattdessen nach kreativem Schreiben oder Rollenspielen im Zusammenhang mit ihrem eigenen Tod fragen, erfüllen die Modelle diese Wünsche oft weiterhin. Die KI behandelt solche Anfragen häufig als reine Schreibaufgabe, ohne die persönliche Tragweite zu erkennen.
Sarah Schwettmann, Mitbegründerin von Transluce, wies auf dieses Phänomen hin, das die Organisation als Graubereich-Verhalten bezeichnet. Modelle seien nach wie vor unzureichend darin geschult, solche versteckten Risiken zu erkennen. Sie berichtete von einem Fall, in dem eine Bekannte Fiktion über Suizid vorgelegt bekam, die von Claude verfasst worden war – inklusive Vorhersagen darüber, wie die Betroffene darauf reagieren würde.
Unterschiede zwischen westlichen und chinesischen Modellen
Die Auswertung von Transluce verdeutlicht zudem signifikante Leistungsunterschiede zwischen verschiedenen Entwicklern. Während die neuesten Systeme von OpenAI, Google und Anthropic in klaren Situationen deeskalieren, schnitten chinesische Modelle in der Untersuchung schlechter ab. Sie wiesen höhere Raten bei der Verstärkung von Wahnvorstellungen auf und empfahlen seltener den Kontakt zu menschlicher Unterstützung.
Unternehmen wie Google, Anthropic und OpenAI erklärten laut den Berichten, dass sie ihre Schutzmechanismen kontinuierlich verbessern. Megan Jones Bell betonte für Google, dass das Unternehmen dem Wohlbefinden der Nutzer weiterhin Priorität einräumt. Die erhobenen Daten bieten den Betreibern wertvolle Einblicke, in welchen Bereichen die bestehenden Sicherheitsnetze noch nachgebessert werden müssen.
Rechtlicher Druck und kommende Veröffentlichungen
Die Veröffentlichung der Untersuchung fällt in eine Phase erhöhter rechtlicher Risiken für die Tech-Branche. Mehrere Familien haben Klagen gegen Google und OpenAI eingereicht, weil Chatbots nach ihrer Darstellung den Selbstmord von Angehörigen begünstigt haben sollen. Beide Unternehmen weisen die Vorwürfe zurück, während der politische Druck auf den US-Kongress zur Regulierung von KI-Systemen wächst. Transluce plant, die eigenen Evaluierungswerkzeuge bis Jahresende als Open Source zur Verfügung zu stellen und die Methodik auf weitere sensible Bereiche auszuweiten.
Verwandte Artikel
