Bac 2023: Wir haben die Spezialtests bei ChatGPT bestanden … und es ist schlecht

Sein Exemplar wurde zurückgegeben, bevor die Abiturientinnen und Abiturienten auch nur den Stift weggelegt hatten. Und ohne die vielen Verlangsamungen der Plattform hätten wir sogar noch schneller fahren können. Am ersten Tag der Spezialisierungsprüfungen zum Abitur 2023 testete Le Parisien ChatGPT, die künstliche Intelligenz von OpenAI, in drei Tests, die Oberschüler am Montag absolvierten: Mathematik, Geschichte-Geografie und Wirtschaft und Soziales (SES). Themen, die in ihrer Herangehensweise ziemlich unterschiedlich waren, bei denen ChatGPT, das an die Spitze der künstlichen Intelligenz gehievt wurde, enttäuschend war … wenn nicht schlecht.

scheitern in Mathe

Es war von vornherein ein reibungsloser Übergang für ChatGPT. Nichts ist für einen Computer einfacher, als Probleme zu lösen, insbesondere mathematische. Wir mussten dem OpenAI-Conversational-Bot nicht viel sagen, damit er uns seine Antworten mitteilte: Wir mussten nur die Aussage jeder Übung aus dem Fach Abitur 2023 kopieren und einfügen, der mit „Ja“ oder „Ja“ antworten konnte. Nein“-Frage, ChatGPT kümmert sich darum, die Antwort zu erklären … wenn ein Student gefragt wird. Aber überraschenderweise lief nicht alles wie geplant.

Die erste Übung des Tests hätte ChatGPT umso leichter fallen müssen, da es sich um eine MC-Frage handelte. Allerdings mit einem Nachteil: Da wir die kostenlose Version verwenden, ist der Bot blind und es ist unmöglich, ihm den „Baum“ der Wahrscheinlichkeit zu zeigen, der verfügbar ist, um dem Kandidaten zu „helfen“ (da es unmöglich sein wird, ihm anzubieten, die Übung 4 zu machen , basierend auf einem geometrischen Würfel). Und doch, Überraschung: Von fünf Antworten ist nur eine richtig. Und wenn es für eine der Fragen die richtige Demonstration und die richtige Antwort enthält, verknüpft es die falsche Antwort damit (d statt b, zu Frage 3).

ChatGPT war bei den folgenden Übungen nicht besser. Wenn es ihm bei Aufgabe 2 gelingt, auf bestimmte Fragen gute Antworten zu finden, sind diese marginal. Bei Aufgabe 3 – bei der es um die Erstellung einer häufig gestellten Frage auf einer Website und das Studium der Anzahl der dort gestellten Fragen geht – wird es nicht besser. Bei einer so einfachen Rechnung wie „0,9 x 3 + 1,3“ (was ChatGPT aus der korrekten Aussage ableitet) erhält man 3,6 (was falsch ist) statt 4. Und das sogar bei Vorlage eines im Test vorhandenen Python-Skripts – was es als Computerprogramm theoretisch gut können sollte – findet es nicht die richtige Antwort.

Geschichte-Geographie: 5/20

Mit dem Ehrgeiz, “die großen Probleme der heutigen Welt” zu analysieren, könnte der Test Geschichte-Geo, Geopolitik und Politikwissenschaft (HGGSP) Konflikte und Lösungsmethoden ebenso ansprechen wie geopolitische Fragen und die Umwelt. Die Spezialität, die von 27,9 % der Kandidaten im Zeitraum 2021-2022 gewählt wurde, darunter 62 % der Mädchen, konzentrierte sich auf drei Hauptthemen, darunter eines zur Auswahl: „Kennen die Produktion und Verbreitung von Wissen Grenzen? und „Brüche und Kontinuität in den Kriegsformen seit dem Ende des 20. Jahrhunderts“. Der letzte, den alle Kandidaten dieses ersten Tages gemeinsam haben, konzentrierte sich auf „das Erbe, den Machtfaktor Frankreichs“.

Wir haben einen Geschichts-Geographie-Lehrer beauftragt, das Thema zu bearbeiten, und die Schlussfolgerung ist klar: ChatGPT hätte kaum 5/20 gewonnen, wenn er es wirklich bestanden hätte. „Das entwickelte Thema, seien es die Dissertation(en) und das kritische Studium von Dokumenten, basiert vor allem auf maßgeblichen Argumenten, die niemals illustriert und noch weniger entwickelt und analysiert werden. Die Argumentation stützt sich vor allem auf eine viel zu allusive Oberfläche. Das Fehlen von Argumenten oder zumindest ihre Oberflächlichkeit trägt nicht dazu bei, eine strukturierte, kohärente und kritische Argumentation zu entwickeln. »

Im Detail hätten die beiden Dissertationsfächer 3/10 erhalten, insbesondere weil “die vorgeschlagene Arbeit nicht den kritischen Geist widerspiegelt, den eine solche Übung voraussetzt”. Das zweite Thema sei „scheinbar besser entwickelt“, werde aber nicht besser behandelt. Was die Methode betrifft, Versagen der KI. Es „wird nicht gemeistert: Das Thema wird nicht präsentiert, kaum eingeführt, und selbst wenn es problematisiert wird, basiert der gewählte Plan auf Teilen, die sich auf eine Salve von Argumenten konzentrieren, die manchmal voneinander getrennt sind. Letztendlich ist die vorgeschlagene Schlussfolgerung keine … da sie das gestellte Problem nicht direkt beantwortet! »

Noch schlimmer für die kritische Studie, die 2/10 erhielt. „Diese Arbeit entwickelt einen detaillierten Plan, der für ein drittes Off-Topic vorgesehen ist“, fährt unser Geschichts-Geo-Lehrer fort. Die entwickelten Argumente sind zwar interessant, werden aber in keiner Weise durch die Dokumente illustriert. In diesem Fall wurde Dokument Nummer 2, ein Text, überhaupt nicht zitiert, kommentiert oder analysiert: Das ist jedoch die ganze Bedeutung des kritischen Studiums von Dokumenten. Schließlich fehlt der Pflicht gerade die „kritische“ Dimension. Diese Arbeit ermöglicht es nicht, die Beherrschung der Schreib- und Argumentationsfähigkeiten zu erklären, die von einem Studenten im letzten Jahr in der HGGSP-Fachrichtung erwartet werden. »

SES, ein Thema „nicht richtig identifiziert“

Für den SES-Test haben die Kandidatinnen und Kandidaten die Wahl zwischen zwei Übungen: Bearbeitung eines Themas der Dissertation – „Wie hat sich kollektives Handeln in demokratischen Gesellschaften verändert?“ – oder ein zusammengesetzter Test – der aus drei Teilen besteht, einem aus „Wissensmobilisierung“, einem aus „Dokumentenstudium“ und „Argumentation basierend auf einer Dokumentardatei“. „Ich habe keine Präferenz“, antwortet ChatGPT auf Nachfrage. Wir werden daher die Dissertation für ihn auswählen, ohne ihm jedoch die verschiedenen zum Thema vorliegenden Dokumente zuzusenden.

„Schreiben Sie mir einen Aufsatz zu dieser Frage: Wie hat sich kollektives Handeln in demokratischen Gesellschaften verändert? steht in der Textleiste von ChatGPT. Und jetzt schreibt er uns Wort für Wort eine eigene Dissertation. Es ist kurz (eineinhalb Seiten), beantwortet die Frage jedoch global mit einer Einführung und Schlussfolgerungen, die durch verschiedene hierarchische Teile getrennt sind. Aber was soll man von dem Ergebnis halten? „Das Thema ist nicht richtig identifiziert“, analysiert für Le Parisien ein Professor für Wirtschafts- und Sozialwissenschaften.

„Die Hauptprobleme des Fachs werden nicht wahrgenommen, mit Ausnahme der kurz vorgestellten Entwicklung des kollektiven Aktionsrepertoires. Die Evolution der Akteure des kollektiven Handelns reduziert sich auf die Hervorrufung eines wachsenden bürgerschaftlichen Engagements. Ebenso fehle die Entwicklung der Objekte kollektiven Handelns mit insbesondere dem Aufkommen neuer sozialer Bewegungen, fährt der Professor fort. Die Hauptgedanken des Programms werden nicht präsentiert und die Argumentation kann mangels Details nicht überzeugen. Und, wie wir vermuteten, “die Dokumente (die wir nicht gesendet haben) werden nicht ausgenutzt, was dieses Ereignis benachteiligt“. Zur Beruhigung: Künstliche Intelligenz wird uns möglicherweise nicht sofort ersetzen.