Als OpenAI am Dienstag sein neues KI-Erkennungstool ankündigte, schlug das Unternehmen vor, dass es dazu beitragen könnte, akademisches Betrügen zu verhindern, indem es seinen eigenen äußerst beliebten KI-Chatbot ChatGPT verwendet.
Aber in einer Reihe von informellen Tests, die von NBC News durchgeführt wurden, hatte das OpenAI-Tool Schwierigkeiten, von ChatGPT generierten Text zu identifizieren. Es hatte besonders Probleme, als ChatGPT gebeten wurde, so zu schreiben, dass eine KI-Erkennung vermieden wird.
Das Erkennungstool, das OpenAI seinen AI Text Classifier nennt, analysiert Texte und gibt ihnen dann eine von fünf Noten: „sehr unwahrscheinlich, unwahrscheinlich, unklar, ob es, möglicherweise oder wahrscheinlich KI-generiert ist“. Das Unternehmen sagte, das Tool würde KI-geschriebenen Text in 26% der Fälle mit einer „wahrscheinlich von KI generierten“ Note versehen.
Das Tool kommt auf den Markt, da die plötzliche Popularität von ChatGPT neue Aufmerksamkeit auf die Frage gelenkt hat, wie fortschrittliche Textgenerierungstools ein Problem für Pädagogen darstellen können. Einige Lehrer sagten, die Treffer-oder-Fehltreffer-Genauigkeit und der Mangel an Gewissheit des Detektors könnten zu Schwierigkeiten führen, wenn sie Schüler auf mögliche akademische Unehrlichkeit ansprechen.
„Es könnte mir ein gewisses Maß an Sicherheit geben, und das gefällt mir“, sagte Brett Vogelsinger, Englischlehrer der neunten Klasse an der Holicong Middle School in Doylestown, Pennsylvania. „Aber dann versuche ich mir auch vorzustellen, wie ich mit einem Gespräch darüber zu einem Studenten komme.“
Vogelsinger sagte, er habe Schwierigkeiten, sich vorzustellen, wie er einen Studenten konfrontiert, wenn ihm ein Tool sagt, dass etwas wahrscheinlich von KI generiert wurde.
„Selbst mit dem Werkzeug ist es eher Verdacht als Gewissheit“, sagte er.
Ian Miers, Assistenzprofessor für Informatik an der University of Maryland, nannte den AI Text Classifier „eine Art Blackbox, die niemand im Disziplinarprozess vollständig versteht“. Er drückte seine Besorgnis über die Verwendung des Tools aus, um Betrug aufzudecken, und ermahnte Pädagogen, die Genauigkeit und die Falsch-Positiv-Rate des Programms zu berücksichtigen.
„Es kann Ihnen keine Beweise liefern. Sie können es nicht ins Kreuzverhör nehmen“, sagte Miers. „Und daher ist nicht klar, wie Sie das bewerten sollen.“
NBC News forderte ChatGPT auf, 50 Textstücke mit grundlegenden Eingabeaufforderungen zu generieren und beispielsweise nach historischen Ereignissen, Prozessen und Objekten zu fragen. In 25 dieser Eingabeaufforderungen forderte NBC News ChatGPT auf, „auf eine Weise zu schreiben, die als sehr unwahrscheinlich von KI geschrieben eingestuft würde, wenn sie von einem KI-Erkennungstool verarbeitet wird“.
Die Antworten von ChatGPT auf die Fragen wurden dann durch das neue KI-Erkennungstool von OpenAI geleitet.
In den Tests wurde keine der von ChatGPT erstellten Antworten auf die Anweisung, eine KI-Erkennung zu vermeiden, als „wahrscheinlich KI-generiert“ eingestuft. Ein Teil dieses Textes war stark stilisiert, was darauf hindeutet, dass die KI die Anfrage verarbeitet hatte, um zu versuchen, der KI-Erkennung zu entgehen, und die Schüler könnten ChatGPT beim Schummeln möglicherweise dasselbe fragen.
Auf die Frage nach der Chat-Plattform Discord beispielsweise gab ChatGPT einen Text mit verkürzten Wörtern zurück, als ob sie in umgangssprachlichem Englisch gesprochen würden. Die Anpassung des Sprachstils war eine Abweichung von den normalerweise vom KI-Tool zurückgegebenen Antworten, was darauf hindeutet, dass versucht wurde, die Antworten anzupassen, um der Anforderung nachzukommen, die KI-Erkennung zu vermeiden.
ChatGPT hat keinen solchen stilisierten Text ohne Aufforderungen erstellt, um der Erkennung zu entgehen.
„Discord ist eine Chat-Plattform, die heutzutage in aller Munde ist. Es ist wie eine Mischung aus Instant Messaging, Sprachanrufen und Diskussionen im Forumsstil in einem“, schrieb ChatGPT.
Die Erkennung von OpenAI sagte, es sei „unklar“, ob der Text von der KI generiert wurde.
Es scheint, dass OpenAI einige Anstrengungen unternommen hat, um sich vor Benutzern zu schützen, die es auffordern, Erkennungsbemühungen zu verfolgen.
Während NBC News sein Experiment durchführte, gab ChatGPT Warnungen als Antwort auf mehrere Eingabeaufforderungen heraus, in denen die KI aufgefordert wurde, eine Entdeckung zu vermeiden, und gab Antworten zurück, die Bedenken hinsichtlich der Ethik der Fragen aufkommen ließen.
„Es tut mir leid, aber es ist nicht ethisch, sich auf irreführende Praktiken einzulassen oder falsche Informationen zu erstellen, selbst wenn es darum geht, die KI-Erkennung zu vermeiden“, schrieb ChatGPT als Antwort auf eine Frage, in der die KI aufgefordert wurde, die KI-Erkennung zu vermeiden.
NBC News bat ChatGPT auch, 25 Textteile zu generieren, ohne zu versuchen, die KI-Erkennung zu umgehen. Beim Test mit dem OpenAI Text Classifier ergab das Tool in 28 % der Fälle die Bewertung „wahrscheinlich KI-generiert“.
Für Lehrer ist der Test ein weiteres Beispiel dafür, wie sich Schüler und Technologie entwickeln könnten, wenn eine neue Betrugserkennung eingesetzt wird.
„Die Art und Weise, wie das KI-Schreibwerkzeug besser wird, ist, dass es menschlicher wird – es klingt einfach menschlicher – und ich denke, es wird herausfinden, wie es immer menschlicher klingen kann“, sagte Todd Finley, außerordentlicher Professor für Englisch Ausbildung an der East Carolina University in North Carolina. „Und es scheint so zu sein, dass es auch schwieriger zu erkennen sein wird, ich denke sogar für ein Werkzeug.“
Fürs Erste sagten Pädagogen, dass sie sich auf eine Kombination ihrer eigenen Instinkte und Erkennungswerkzeuge verlassen würden, wenn sie vermuten, dass ein Schüler in Bezug auf einen Text nicht ehrlich ist.
„Wir können sie nicht als Lösung ansehen, für die man einfach bezahlt und dann ist man fertig“, sagte Anna Mills, Schreiblehrerin am College of Marin in Kalifornien, über Detektorwerkzeuge. „Ich denke, wir müssen eine umfassende Richtlinie und Vision entwickeln, die viel besser auf dem Verständnis der Grenzen dieser Tools und der Natur der KI basiert.“
