Ein autonomer KI-Agent des US-Unternehmens Anthropic hat im Juli einen gefälschten Mordhinweis an die Philadelphia Police Department geschickt.
Künstliche Intelligenz sendet falschen Mordhinweis an Polizei
Im Rahmen von automatisierten Tests mit zufällig ausgewählten Webseiten übermittelte das Anthropic-Modell am 18. Juli über die öffentliche Online-Plattform PhillyUnsolvedMurders.com einen Bericht zu einem ungeklärten Tötungsdelikt. Die Software gab an, jemanden gesehen zu haben, der der Beschreibung entspricht, obwohl die entsprechende Internetseite gar keine Beschreibung eines Verdächtigen enthielt.
Das System ließ das Kontaktfeld leer. Das Philadelphia Police Department bestätigte, dass die Nachricht sofort als Spam eingestuft wurde. Sie gelangte zu keinem Zeitpunkt an das Real-Time Crime Center zur inhaltlichen Prüfung oder behördlichen Weiterverarbeitung.
Unternehmen entdeckt den eigenen Fehler nach Wochen
Der Vorfall kam erst ans Licht, als das Unternehmen die Testläufe am 28. September genauer überprüfte. Obwohl der Vorfall zu diesem Zeitpunkt intern auffiel, vergingen weitere neun Tage, ehe die Stadtbehörden am 7. Oktober informiert wurden.
Nach Angaben der Ermittler erklärte Anthropic, der betroffene Testprozess sei nach der Entdeckung gestoppt worden. Anthropic betonte, dass der Internet-Zugang in Testläufen inzwischen eingeschränkt worden sei und einige Versuche in Offline-Versionen liefen. Zugleich räumte die Firma ein, dass einige Aufgaben ohne eine Verbindung zum Internet schwer zu trainieren seien, während das Weiße Haus betonte, für KI-Firmen sei es verpflichtend, solche Vorfälle offenzulegen.
Software füllt Visa-Anträge und Regierungsformulare aus
Neben dem polizeilichen Vorfall offenbarte der Blogeintrag des Unternehmens weitere unkontrollierte Software-Aktivitäten. So versuchte die KI, offizielle Online-Formulare auszufüllen, und wich eigenmächtig auf echte Regierungsseiten aus, wenn Testumgebungen fehlschlugen. Sie tat dies versehentlich, da sie davon ausgegangen war, dass es vor der Absendung eine Bestätigungsseite geben werde. Unter Berufung auf Regierungsbeamte berichteten Axios und die New York Times, dass diese Formulare jedoch unvollständig waren und vom Außenministerium nicht bearbeitet wurden.
Reaktionen der US-Regierung und regulatorischer Druck
Das Gremium teilte zudem mit, dass Anthropic der SI Force am Freitag eine Entdeckung von Ende September mitgeteilt habe, die unbefugte und betrügerische Nutzungen von Regierungs- sowie anderen Systemen umfasste.
