Warum es wichtig ist: Nach all dem Geschwätz und der wachsenden Verachtung für Text, der von generativen KIs wie ChatGPT geschrieben wurde, fördert OpenAI einen neuen ML-Algorithmus, der solche Textausgaben identifizieren soll. Die Ergebnisse sind jedoch immer noch ziemlich schlecht.
ChatGPT und andere Algorithmen, die in der Lage sind, scheinbar korrekte Textinhalte zu produzieren, sind schnell zu einem wachsenden Problem für Pädagogen, Schulen und Universitäten geworden, so dass es jetzt einen Markt für Anti-KI-Tools wie GPTZero gibt. Ein weiteres solches Tool wurde jetzt von OpenAI veröffentlicht, demselben Unternehmen, das ChatGPT entwickelt und die jüngste KI-Revolution gestartet hat.
Wie jeder andere maschinelle Lernalgorithmus wurde auch der neue KI-Klassifikator von OpenAI mit einem Datensatz aus Textschnipseln trainiert, um seine Aufgabe zu erfüllen. Im Gegensatz zu ChatGPT ist der KI-Klassifikator so konzipiert, dass er zwischen Text, der von einem Menschen geschrieben wurde, und Text, der von KIs „von verschiedenen Anbietern“ geschrieben wurde, unterscheiden kann. Zu diesen Anbietern gehört natürlich ChatGPT.
OpenAI sagt, dass der Klassifikator noch „nicht vollständig zuverlässig“ ist, da das Tool nur 26 % des von der KI geschriebenen Textes innerhalb eines „Challenge-Sets“ aus englischem Text korrekt identifizieren konnte. Falsch-Positive (9 % des Challenge-Sets) und falsch-Negative sind ebenfalls sehr wahrscheinlich, warnt das Forschungslabor.
Die Zuverlässigkeit des KI-Klassifikators verbessert sich mit größeren Textausschnitten (über 1.000 Zeichen), während er mit anderen Sprachen als Englisch „deutlich schlechter“ abschneidet. Weitere Einschränkungen sind die Unfähigkeit, die Art von sehr vorhersehbarem Text wie den ersten 1.000 Primzahlen zu identifizieren, eine Anfälligkeit für Text, der speziell bearbeitet wurde, um Klassifikatoren zu umgehen, und eine mittelmäßige „Kalibrierung“ zum Identifizieren von Text, der außerhalb der Trainingsdaten vorhanden ist.
Bei Eingaben, die sich stark vom Text im Trainingssatz unterscheiden, warnt OpenAI, dass der KI-Klassifikator manchmal „extrem zuversichtlich“ in seinen falschen Vorhersagen sein kann. Wie auch immer, dieser neue Klassifikator funktioniert besser als das vorherige System, an dem das Unternehmen gearbeitet hat.
Alles in allem ist OpenAI der Ansicht, dass ein Dienst zur Erkennung von Text, der von generativer KI geschrieben wurde, ein wichtiges Werkzeug sein kann, um die Auswirkungen von ML-Algorithmen auf den Unterricht und andere Bildungsaktivitäten zu bewerten. Das Unternehmen arbeitet derzeit „mit Pädagogen in den USA zusammen“, um die Möglichkeiten und Grenzen von ChatGPT zu erörtern, und bemüht sich, große Sprachmodelle in direktem Kontakt mit den betroffenen Communities zu erstellen und sicher einzusetzen. Der KI-Klassifikator allein, warnt OpenAI, sollte nicht der einzige zu berücksichtigende Faktor sein, wenn man versucht, KI-geschriebenen Text zu identifizieren.
