Wir alle wurden durch jahrzehntelange Science-Fiction darauf trainiert, künstliche Intelligenz als Bedrohung für unsere Arbeitszukunft zu betrachten. Die Idee ist: Wenn ein KI-Roboter eine Arbeit genauso gut erledigen kann wie ein Mensch – billiger und mit weniger zwischenmenschlicher Widerspenstigkeit – wer braucht dann den Menschen?
Die Technologie-News-Site CNET versuchte, diese Frage leise, sogar heimlich zu beantworten. Monatelang verwendete die Website eine KI-Engine, um Artikel für ihre persönliche Finanzseite von CNET Money zu schreiben. Die Artikel behandelten Themen wie „Was ist Zinseszins?“. und “Was passiert, wenn Sie einen Scheck zurücksenden?”
Auf den ersten Blick und für Finanzneulinge wirkten die Artikel überzeugend und informativ. CNET setzte die Praxis bis Anfang dieses Monats fort, als sie von der Website Futurism veröffentlicht wurde.
Eine genaue Untersuchung der von der KI von CNET produzierten Arbeit lässt sie weniger wie einen ausgeklügelten Textgenerator erscheinen, sondern eher wie eine automatisierte Plagiatsmaschine, die beiläufig gestohlene Arbeit auspumpt.
— Jon Christian, Futurismus
Aber wie der Futurismus festgestellt hat, haben die von Bots geschriebenen Artikel große Einschränkungen. Zum einen strotzen viele vor Fehlern. Zum anderen sind viele voll von Plagiaten – in einigen Fällen von CNET selbst oder seinen Schwester-Websites.
Jon Christian von Futurism drückte das Fehlerproblem unverblümt in einem Artikel aus, in dem er feststellte, dass das Problem mit der Artikel schreibenden KI von CNET darin besteht, dass „es eine Art Idiot ist“. Christian folgte mit einem Artikel, in dem zahlreiche Fälle gefunden wurden, die „vom wörtlichen Kopieren über moderate Bearbeitungen bis hin zu signifikanten Umformulierungen reichten, ohne das Original richtig anzugeben“.
Dieses Maß an Fehlverhalten würde dazu führen, dass ein menschlicher Student der Schule verwiesen oder ein Journalist gefeuert wird.
Wir haben bereits über die unbeachteten Grenzen neuer Technologien geschrieben, insbesondere über solche, die fast magisch aussehen, wie z. B. Anwendungen für künstliche Intelligenz.
Um Rodney Brooks zu zitieren, den Robotik- und KI-Wissenschaftler und Unternehmer, über den ich letzte Woche geschrieben habe: „Es gibt eine wahre Heimindustrie in den sozialen Medien mit zwei Seiten; der eine schwärmt von virtuosen Darbietungen dieser Systeme, vielleicht von der Kirsche gepflückt, und der andere zeigt, wie inkompetent sie bei sehr einfachen Dingen sind, wieder von der Kirsche gepflückt. Das Problem ist, dass man als Nutzer nicht im Voraus weiß, was man bekommt.“
Das bringt uns zurück zum Bot zum Schreiben von Artikeln von CNET. CNET hat die spezifische KI-Anwendung, die es verwendete, nicht identifiziert, obwohl das Timing darauf hindeutet, dass es sich nicht um ChatGPT handelt, den KI-Sprachgenerator, der aufgrund seiner offensichtlichen Fähigkeit, schriftliche Arbeiten zu erstellen, für großes Aufsehen bei Technologen und Bedenken bei Lehrern gesorgt hat kann schwer als nichtmenschlich zu unterscheiden sein.
CNET machte den KI-Beitrag zu seinen Artikeln nicht besonders deutlich und fügte nur eine kleingedruckte Zeile hinzu, in der stand: „Dieser Artikel wurde von einer KI-Engine unterstützt und von unserer Redaktion überprüft, auf Fakten geprüft und bearbeitet.“ Die mehr als 70 Artikel wurden „CNET Money Staff“ zugeschrieben. Seit der Offenlegung von Futurism wurde die Byline einfach in „CNET Money“ geändert.
Letzte Woche teilten CNET-Führungskräfte laut The Verge den Mitarbeitern mit, dass die Website die Veröffentlichung des von der KI generierten Materials vorerst unterbrechen werde.
Wie Christian von Futurism feststellte, reichten die Fehler in den Artikeln des Bots von grundlegenden Fehldefinitionen finanzieller Begriffe bis hin zu ungerechtfertigten Vereinfachungen. In dem Artikel über Zinseszinsen schrieb der CNET-Bot ursprünglich: „Wenn Sie 10.000 US-Dollar auf ein Sparkonto einzahlen, das jährlich 3 % Zinsen einbringt, verdienen Sie am Ende des ersten Jahres 10.300 US-Dollar.“
Das ist falsch – das Jahreseinkommen würde nur 300 Dollar betragen. Der Artikel wurde inzwischen dahingehend korrigiert, dass „Sie 300 US-Dollar verdienen, was, zum Kapitalbetrag hinzugerechnet, am Ende des ersten Jahres 10.300 US-Dollar hätte.“
Der Bot beschrieb anfangs auch die Zinszahlungen für einen Autokredit in Höhe von 25.000 USD zu 4 % Zinsen als „pauschal 1.000 USD … pro Jahr“. Es sind Zahlungen für Autokredite, wie Hypotheken, die fest sind – Zinsen werden nur auf ausstehende Salden erhoben, die mit der Zahlung schrumpfen. Selbst bei einem einjährigen Autokredit zu 4 % betragen die Zinsen nur 937 $. Bei längerfristigen Krediten sinken die gezahlten Gesamtzinsen jedes Jahr.
CNET korrigierte auch das, zusammen mit fünf anderen Fehlern im selben Artikel. Wenn man alles zusammennimmt, erscheint die Behauptung der Website, dass ihr KI-Bot „von unserer Redaktion auf Fakten geprüft und bearbeitet“ wurde, etwas dünn.
Das Plagiat des Bots ist auffälliger und liefert einen wichtigen Hinweis auf die Funktionsweise des Programms. Christian stellte fest, dass der Bot anscheinend Text aus Quellen wie Forbes, The Balance und Investopedia repliziert hatte, die alle denselben Bereich der persönlichen Finanzberatung wie CNET Money abdecken.
In diesen Fällen verwendete der Bot ähnliche Verschleierungstechniken wie menschliche Plagiatoren, wie z. B. geringfügige Umformulierungen und Wortvertauschungen. In mindestens einem Fall plagiierte der Bot von Bankrate, einer Schwesterpublikation von CNET.
Nichts davon ist besonders überraschend, da ein Schlüssel zur Funktion von Sprachbots ihr Zugriff auf eine riesige Menge von Menschen erstellter Prosa und Verse ist. Sie mögen gut darin sein, Muster im Ausgangsmaterial zu finden, die sie replizieren können, aber in diesem Stadium der KI-Entwicklung greifen sie immer noch auf menschliche Gehirne zurück.
Die beeindruckende Kohärenz und Stichhaltigkeit der Ergebnisse dieser Programme bis hin zu ChatGPT scheint mehr mit ihrer Fähigkeit zu tun zu haben, aus menschengeneriertem Rohmaterial auszuwählen, als mit ihrer Fähigkeit, neue Konzepte zu entwickeln und auszudrücken.
In der Tat „lässt eine genaue Untersuchung der von der KI von CNET produzierten Arbeit sie weniger wie einen ausgeklügelten Textgenerator und eher wie eine automatisierte Plagiatsmaschine erscheinen, die beiläufig gestohlene Arbeit auspumpt“, schrieb Christian.
Wo wir auf dem Kontinuum zwischen robotergenerierter Inkohärenz und wirklich kreativem Ausdruck stehen, ist schwer zu bestimmen. Jeff Schatten, Professor an der Washington and Lee University, schrieb im September in einem Artikel, dass der damals ausgeklügeltste Sprachbot, bekannt als GPT-3, offensichtliche Einschränkungen hatte.
„Es stolpert über komplexe Schreibaufgaben“, schrieb er. „Es kann keinen Roman oder auch nur eine anständige Kurzgeschichte schreiben. Seine Versuche, wissenschaftlich zu schreiben … sind lächerlich. Aber wie lange dauert es, bis die Fähigkeit da ist? Vor sechs Monaten hatte GPT-3 mit rudimentären Abfragen zu kämpfen, und heute kann es einen vernünftigen Blog-Beitrag schreiben, in dem es darum geht, wie ein Mitarbeiter von einem widerstrebenden Chef befördert werden kann.“
Es ist wahrscheinlich, dass es für diejenigen, die schriftliche Arbeiten beurteilen müssen, wie z. B. Lehrer, immer schwieriger wird, KI-erzeugtes Material von menschlichen Ergebnissen zu unterscheiden. Ein Professor berichtete kürzlich, er habe einen Studenten dabei erwischt, wie er auf altmodische Weise eine von Bots geschriebene Arbeit einreichte – es war zu gut.
Im Laufe der Zeit hängt die Verwirrung darüber, ob etwas von Bots oder Menschen produziert wurde, möglicherweise nicht von den Fähigkeiten des Bots ab, sondern von denen der verantwortlichen Menschen.
