Das Tool von OpenAI zur Erkennung von KI-generiertem Text ist ziemlich scheiße

Am Dienstag hat OpenAI, das Unternehmen hinter dem viralen Chatbot ChatGPT, ein Werkzeug freigegeben das erkennt, ob ein Textstück von KI oder einem Menschen geschrieben wurde. Es ist leider nur etwa 1 von 4 Mal genau.

„Unser Klassifikator ist nicht vollständig zuverlässig“, schrieb das Unternehmen in einem Blogbeitrag auf seiner Website. „Wir machen [it] öffentlich zugänglich, um Feedback zu erhalten, ob unvollkommene Tools wie dieses nützlich sind.“

OpenAI behauptete, dass sein Erkennungstool 26 % des KI-geschriebenen Textes korrekt als „wahrscheinlich KI-geschrieben“ identifiziert und von Menschen geschriebenen Text in 9 % der Fälle fälschlicherweise als KI-geschrieben kennzeichnet.

Seit seiner Veröffentlichung im November ist ChatGPT auf der ganzen Welt sehr beliebt geworden, weil es auf alle möglichen Fragen mit scheinbar intelligenten Antworten reagiert. Letzte Woche war es soweit gemeldet dass ChatGPT die Abschlussprüfung für das MBA-Programm der Wharton School der University of Pennsylvania bestanden hatte.

Der Bot hat Bedenken geäußert, insbesondere bei Akademikern, die sich Sorgen darüber machen, dass Highschool- und College-Studenten damit Hausaufgaben machen und Aufgaben erledigen. Kürzlich ein 22-jähriger Princeton-Senior wurde der Liebling von Professoren überall, nachdem er eine Website eingerichtet hat, die erkennen kann, ob ein Text mit ChatGPT erstellt wurde.

OpenAI scheint sich des Problems bewusst zu sein. „Wir arbeiten mit Pädagogen in den USA zusammen, um zu erfahren, was sie in ihren Klassenzimmern sehen, und um die Möglichkeiten und Grenzen von ChatGPT zu diskutieren, und wir werden unsere Reichweite weiter ausweiten, während wir lernen“, schrieb das Unternehmen in seiner Ankündigung.

Nach OpenAIs eigenem Eingeständnis und den völlig unwissenschaftlichen Tests von BuzzFeed News sollte sich jedoch noch niemand ausschließlich auf das Erkennungstool des Unternehmens verlassen, weil es irgendwie … durchbrennt.

Wir baten ChatGPT, jeweils 300 Wörter über Joe Biden, Kim Kardashian und Ron DeSantis zu schreiben, und verwendeten dann das OpenAI-eigene Tool, um festzustellen, ob eine KI den Text geschrieben hatte. Wir haben drei verschiedene Ergebnisse erhalten: Das Tool sagte, dass der Artikel über Biden „sehr unwahrscheinlich“ sei, dass er von KI generiert wurde, und der über Kardashian sei „möglicherweise“ KI-generiert. Das Tool war „unklar“, ob der von ChatGPT generierte Artikel über DeSantis von KI generiert wurde.

Andere Leute, die mit dem Erkennungstool gespielt haben, bemerkten, dass es auch ziemlich spektakulär durcheinander kam. Als Sam Biddle von The Intercept ein Stück Text aus der Bibel einfügte, sagte das Tool von OpenAI, dass es „wahrscheinlich“ von KI generiert wurde.