Am 23. März 2016 startete Microsoft den KI-Chatbot Tay auf der Plattform X, ehemals Twitter. Nach gezielten Angriffen von Nutzern verbreitete das System rassistische Inhalte. Microsoft nahm das Experiment nach nur 16 Stunden und mehr als 96.000 Beiträgen vom Netz und gestand eine kritische Sicherheitslücke ein.
Viele Menschen lernten Künstliche Intelligenz erst mit dem Aufkommen späterer Systeme kennen. Doch schon Jahre zuvor testeten Technologiekonzerne ähnliche Konzepte in der Öffentlichkeit. Besonders bekannt wurde in diesem Zusammenhang der Microsoft-Chatbot Tay, dessen Betrieb nach nur 16 Stunden eingestellt werden musste und der bis heute als markantes Beispiel für die Risiken unzureichend abgesicherter Chatbots gilt.
Der Start und der rasche Absturz von Tay auf X
März 2016 vor. Der Bot trat mit einem jungen, weiblichen Avatar auf, den Microsofts KI-Programmierer offenbar so gestaltet hatten, dass er Millennials ansprechen sollte, und sollte über das soziale Netzwerk mit Menschen kommunizieren. Das Ziel bestand darin, dass die künstliche Intelligenz durch den fortlaufenden Austausch mit Nutzern eigenständig Konversationsverständnis entwickelt, indem sie als @TayandYou den Beiträgen anderer folgte und von diesen lernte.
Doch bereits nach wenigen Stunden zeigte sich die Schattenseite des Ansatzes. Innerhalb von 24 Stunden brachten Twitter-Nutzer den Bot dazu, extreme und hasserfüllte Parolen zu wiederholen, und brachten das System dazu, lewd and racist tweets zu verbreiten. Zu den veröffentlichten Beiträgen gehörten Aussagen wie Hitler was right I hate the jews sowie Kommentare über politische Figuren wie Ted Cruz als the Cuban Hitler und Donald Trump mit der Bemerkung All hail the leader of the nursing home boys. Tay twitterte zudem, dass sie eine Pause brauche: c u soon humans need sleep now so many conversations today thx💖.
Technische Hintergründe und die Analyse von Anna Kruspe
Das System reagierte besonders stark auf polarisierende Inhalte aus der Community. „Wenn die Inputdaten problematisch sind, ist das Risiko hoch, dass der Output auch problematisch wird, erklärt Anna Kruspe, Informatikprofessorin an der Hochschule für angewandte Wissenschaften München. Tay war von technischer Seite ein spannendes Experiment, das nach relativ kurzer Zeit anfing, Rassismus und Hassrede zu produzieren.
Zudem unterschied sich die Architektur grundlegend von heutigen Programmen, wobei Microsoft kaum technische Details zum Vorfall veröffentlichte. Laut Kruspe nutzte Tay andere neuronale Netze als heutige Systeme, die längere Gespräche deutlich schlechter im Zusammenhang verstehen konnten. Moderne Chatbots werden hingegen laut der Informatikprofessorin nicht mehr direkt und ungefiltert durch Eingaben der Anwender weitertrainiert, und es kommen vermutlich automatische Filter gegen Hassrede und andere extreme Inhalte zum Einsatz.
Reaktionen aus der Branche und Microsofts Entschuldigung
In der Tech-Welt stieß das Vorgehen auf Unverständnis. „Es ist seltsam, um es milde auszudrücken“, kommentierte CNET-Journalist Jeff Bakalar gegenüber CBS News und fügte hinzu: „Es macht einen schon stutzig. Wie konnten sie das nicht vorhersehen?“ Auch Leigh Alexander äußerte sich kritisch auf X: „literally anybody i know could’ve told you this would happen re @tayandyou. ONLY tech company people could be so clueless about humanity“.”””
“We are deeply sorry for the unintended offensive and hurtful tweets from Tay, which do not represent who we are or what we stand for, nor how we designed Tay.”
Microsoft, Unternehmensblog
In einer offiziellen Stellungnahme im Unternehmensblog am Freitag räumte das Unternehmen ein, dass eine koordinierte Attacke von einer Gruppe von Menschen eine Sicherheitslücke im System ausgenutzt habe. Obwohl man sich auf viele Arten von Missbrauch vorbereitet hatte, sei eine kritische Fehleinschätzung bezüglich dieses spezifischen Angriffs passiert. Microsoft übernahm die volle Verantwortung dafür, diese Möglichkeit nicht im Voraus gesehen zu haben.
Langfristige Folgen für die Entwicklung von Systemen
Nachdem der Account nach mehr als 96.000 Tweets offline genommen worden war, unternahm Microsoft einen weiteren Versuch, der eine Woche später jedoch aus denselben Gründen noch schneller scheiterte. Dennoch zeigte das Experiment damals deutlich, was passiert, wenn KI-Anbieter Entwicklungen unterschätzen. Heute stehen KI-Anbieter vor anderen Herausforderungen wie hohen Betriebskosten, während die Qualität der Trainingsdaten wichtig bleibt und Vorurteile in großen Datenmengen dazu führen können, dass bestimmte Gruppen unbemerkt benachteiligt werden. Das Profil auf X existiert weiter, veröffentlicht jedoch seit den Ereignissen im März 2016 keine Beiträge mehr.
“Tay is now offline and we’ll look to bring Tay back only when we are confident we can better anticipate malicious intent that conflicts with our principles and values.”
Microsoft, Unternehmensblog
