In einem raffiniert produzierten TikTok-Video ist der ehemalige Präsident Barack Obama – oder eine Stimme, die ihm unheimlich ähnelt – zu hören, wie er sich gegen eine brisante neue Verschwörungstheorie über den plötzlichen Tod seines ehemaligen Kochs wehrt.
„Obwohl ich die Grundlage der gegen mich erhobenen Anschuldigungen nicht nachvollziehen kann“, sagt die Stimme, „rufe ich alle dazu auf, sich daran zu erinnern, wie wichtig Einigkeit, Verständnis und keine voreiligen Urteile sind.“
Tatsächlich gehörte die Stimme nicht dem ehemaligen Präsidenten. Es handelte sich um eine überzeugende Fälschung, die durch künstliche Intelligenz mithilfe hochentwickelter neuer Tools generiert wurde, mit denen echte Stimmen geklont werden können, um mit wenigen Mausklicks KI-Puppen zu erstellen.
Die zur Erstellung von KI-Stimmen verwendete Technologie hat an Zugkraft und großer Anerkennung gewonnen, seit Unternehmen wie ElevenLabs Ende letzten Jahres eine Reihe neuer Tools herausgebracht haben. Seitdem haben sich Audiofälschungen schnell zu einer neuen Waffe auf dem Schlachtfeld von Online-Fehlinformationen entwickelt und drohen, die politische Desinformation vor der Wahl 2024 anzukurbeln, indem sie den Urhebern die Möglichkeit bieten, ihre Verschwörungstheorien Prominenten, Nachrichtensprechern und Politikern in den Mund zu legen.
Der gefälschte Ton ergänzt die von der KI erzeugten Bedrohungen durch „Deepfake“-Videos, menschenähnliche Texte von ChatGPT und Bilder von Diensten wie Midjourney.
Desinformationswächter haben festgestellt, dass die Zahl der Videos mit KI-Stimmen zugenommen hat, da Inhaltsproduzenten und Falschinformationshändler die neuartigen Tools übernehmen. Soziale Plattformen wie TikTok bemühen sich darum, solche Inhalte zu kennzeichnen und zu kennzeichnen.
Das Video, das wie Mr. Obama klang, wurde von NewsGuard entdeckt, einem Unternehmen, das Online-Fehlinformationen überwacht. Laut einem im September veröffentlichten Bericht der Gruppe wurde das Video von einem von 17 TikTok-Konten veröffentlicht, die unbegründete Behauptungen mit gefälschten Audioinhalten untermauerten, die NewsGuard identifiziert hatte. Die Accounts veröffentlichten meist Videos über Promi-Gerüchte mit einer KI-Stimme, verbreiteten aber auch die unbegründete Behauptung, dass Herr Obama schwul sei, und die Verschwörungstheorie, dass Oprah Winfrey in den Sklavenhandel verwickelt sei. Die Kanäle hatten insgesamt Hunderte Millionen Aufrufe und Kommentare erhalten, die darauf hindeuteten, dass einige Zuschauer den Behauptungen glaubten.
Obwohl die Sender keine offensichtliche politische Agenda verfolgten, sagte NewsGuard, bot der Einsatz von KI-Stimmen zur Verbreitung meist anzüglicher Gerüchte und Gerüchte einen Weg für schlechte Akteure, die die öffentliche Meinung manipulieren und Unwahrheiten an ein Massenpublikum im Internet weitergeben wollen.
„Es ist eine Möglichkeit für diese Accounts, Fuß zu fassen und eine Anhängerschaft zu gewinnen, die das Interesse eines breiten Publikums wecken kann“, sagte Jack Brewster, Unternehmensredakteur bei NewsGuard. „Sobald sie die Glaubwürdigkeit haben, eine große Anhängerschaft zu haben, können sie sich auf verschwörerischere Inhalte einlassen.“
TikTok verlangt Kennzeichnungen, die realistische, KI-generierte Inhalte als gefälscht ausweisen, diese tauchten jedoch nicht in den von NewsGuard gekennzeichneten Videos auf. TikTok gab an, mehrere Konten und Videos entfernt oder nicht mehr empfohlen zu haben, weil sie gegen die Richtlinien verstießen, sich als Nachrichtenorganisationen auszugeben und schädliche Fehlinformationen zu verbreiten. Außerdem wurde das Video mit der KI-generierten Stimme entfernt, die die Stimme von Herrn Obama nachahmte, weil es gegen die Richtlinien zu synthetischen Medien von TikTok verstoßen hatte, da es äußerst realistische Inhalte enthielt, die nicht als verändert oder gefälscht galten.
„TikTok ist die erste Plattform, die YouTubern ein Tool zur Kennzeichnung von KI-generierten Inhalten bietet, und Gründungsmitglied eines neuen Kodex branchenspezifischer Best Practices zur Förderung des verantwortungsvollen Umgangs mit synthetischen Medien“, sagte Jamie Favazza, eine Sprecherin von TikTok ein kürzlich eingeführtes Framework der gemeinnützigen Partnership on AI
Obwohl sich der Bericht von NewsGuard auf TikTok konzentrierte, das zunehmend zu einer Nachrichtenquelle geworden ist, wurden ähnliche Inhalte auf YouTube, Instagram und Facebook gefunden.
Plattformen wie TikTok erlauben KI-generierte Inhalte von Persönlichkeiten des öffentlichen Lebens, einschließlich Nachrichtensprechern, sofern diese keine Fehlinformationen verbreiten. Parodievideos, die KI-generierte Gespräche zwischen Politikern, Prominenten oder Wirtschaftsführern zeigen – von denen einige tot sind – haben seit der Verbreitung der Tools weite Verbreitung gefunden. Manipulierter Ton verleiht irreführenden Videos auf den Plattformen, auf denen bereits gefälschte Versionen von Tom Cruise, Elon Musk und Nachrichtensprechern wie Gayle King und Norah O’Donnell zu sehen waren, eine neue Ebene. TikTok und andere Plattformen haben in letzter Zeit mit einer Flut irreführender Anzeigen zu kämpfen, die Deepfakes von Prominenten wie Mr. Cruise und dem YouTube-Star Mr. Beast zeigen.
Die Leistungsfähigkeit dieser Technologien könnte die Zuschauer tiefgreifend beeinflussen. „Wir wissen, dass Audio und Video möglicherweise stärker in unserem Gedächtnis verankert sind als Text“, sagte Claire Leibowicz, Leiterin für KI und Medienintegrität bei der Partnership on AI, die mit Technologie- und Medienunternehmen an einer Reihe von Empfehlungen für die Erstellung gearbeitet hat. Teilen und Verteilen von KI-generierten Inhalten.
TikTok gab letzten Monat bekannt, dass es ein Label einführt, das Nutzer auswählen können, um anzuzeigen, ob ihre Videos KI verwenden. Im April begann die App damit, Nutzer dazu zu verpflichten, manipulierte Medien mit realistischen Szenen offenzulegen und Deepfakes von Jugendlichen und Privatpersonen zu verbieten. David G. Rand, Professor für Managementwissenschaften am Massachusetts Institute of Technology, den TikTok um Rat bei der Formulierung der neuen Labels gebeten hat, sagte, die Labels seien von begrenztem Nutzen, wenn es um Fehlinformationen gehe, denn „die Leute, die es versuchen.“ betrügerisch werden ihre Sachen nicht mit einem Etikett versehen.“
TikTok sagte letzten Monat auch, dass es automatisierte Tools zur Erkennung und Kennzeichnung von KI-generierten Medien teste, was laut Rand zumindest kurzfristig hilfreicher wäre.
YouTube verbietet den Einsatz von KI für politische Anzeigen und verlangt von anderen Werbetreibenden, ihre Anzeigen zu kennzeichnen, wenn KI eingesetzt wird. Meta, dem Facebook-Besitzer, fügte seinem Faktencheck-Toolkit im Jahr 2020 eine Kennzeichnung hinzu, die beschreibt, ob ein Video „verändert“ ist. Und X, früher bekannt als Twitter, erfordert irreführender Inhalt „erheblich und irreführend verändert, manipuliert oder erfunden“ werden, um gegen seine Richtlinien zu verstoßen. Das Unternehmen antwortete nicht auf Anfragen nach Kommentaren.
Die KI-Stimme von Herrn Obama wurde mit Tools von ElevenLabs erstellt, einem Unternehmen, das Ende letzten Jahres mit seinem kostenlosen KI-Text-to-Speech-Tool, das in Sekundenschnelle lebensechte Audiodaten erzeugen kann, auf die internationale Bühne gelangte. Das Tool ermöglichte es Benutzern auch, Aufnahmen der Stimme einer Person hochzuladen und eine digitale Kopie zu erstellen.
Nach der Veröffentlichung des Tools organisierten Benutzer von 4chan, dem rechten Message Board, eine gefälschte Version der Schauspielerin Emma Watson, die eine antisemitische Botschaft vorliest.
ElevenLabs, ein Unternehmen mit 27 Mitarbeitern und Hauptsitz in New York City, reagierte auf den Missbrauch, indem es die Funktion zum Klonen von Stimmen auf zahlende Benutzer beschränkte. Das Unternehmen hat außerdem ein KI-Erkennungstool veröffentlicht, das in der Lage ist, von seinen Diensten erzeugte KI-Inhalte zu identifizieren.
„Über 99 Prozent der Benutzer unserer Plattform erstellen interessante, innovative und nützliche Inhalte“, sagte ein Vertreter von ElevenLabs in einer E-Mail-Erklärung, „aber wir sind uns bewusst, dass es Fälle von Missbrauch gibt, und wir haben kontinuierlich Schutzmaßnahmen entwickelt und veröffentlicht.“ um sie einzudämmen.“
In Tests der New York Times identifizierte der Detektor von ElevenLabs erfolgreich Audiodaten von den TikTok-Konten als KI-generiert. Das Tool schlug jedoch fehl, wenn dem Clip Musik hinzugefügt wurde oder der Ton verzerrt war, was darauf hindeutet, dass Falschinformationshändler leicht der Entdeckung entgehen könnten.
KI-Unternehmen und Wissenschaftler haben andere Methoden zur Identifizierung gefälschter Audiodaten untersucht, mit gemischten Ergebnissen. Einige Unternehmen haben versucht, KI-Audio ein unsichtbares Wasserzeichen hinzuzufügen, indem sie Signale einbetten, die darauf hinweisen, dass es KI-generiert wurde. Andere haben KI-Unternehmen dazu gedrängt, die Stimmen, die geklont werden können, einzuschränken und möglicherweise Nachbildungen von Politikern wie Herrn Obama zu verbieten – eine Praxis, die bei einigen Bilderzeugungstools wie Dall-E bereits praktiziert wird und sich weigert, politische Bilder zu generieren.
Frau Leibowicz von der Partnership on AI sagte, synthetisches Audio sei für die Hörer im Vergleich zu visuellen Veränderungen besonders schwierig zu kennzeichnen.
„Wenn wir ein Podcast wären, bräuchten Sie alle fünf Sekunden ein Label?“ sagte Frau Leibowicz. „Wie erreicht man in einem langen Audiostück ein konsistentes Signal?“
Selbst wenn Plattformen KI-Detektoren einführen, muss die Technologie ständig verbessert werden, um mit den Fortschritten bei der KI-Generierung Schritt zu halten.
TikTok gab an, intern neue Erkennungsmethoden zu entwickeln und Optionen für externe Partnerschaften zu prüfen.
„Große Technologieunternehmen, Multimilliarden-Dollar- oder sogar Billionen-Dollar-Unternehmen – sind sie dazu nicht in der Lage? Das überrascht mich irgendwie“, sagte Hafiz Malik, Professor an der University of Michigan-Dearborn, der KI-Audiodetektoren entwickelt. „Wenn sie es absichtlich nicht tun wollen? Das ist verständlich. Aber sie können es nicht? Ich akzeptiere es nicht.“
Audio produziert von Adrienne Hurst.
