Im Sommer 2022 wussten diejenigen, die in die tiefsten Gewässer der künstlichen Intelligenz eintauchten – Forscher, Industriemitarbeiter, KI-Direktoren in Unternehmen –, dass OpenAI die Einführung seines nächsten GPT (seines Sprachmodells oder LLM) vorbereitete. Es wurden jedoch keine Einzelheiten bekannt. Weder wann es sein würde, noch wer Zugriff hätte, noch welche neuen Fähigkeiten es im Vergleich zur Vorgängerversion GPT-3 mit eingeschränkter Nutzung aufweisen würde. So waren José Hernández-Orallo und Cèsar Ferri, als Lama Ahmad, ein Politikforscher bei OpenAI, im September vorschlug, Teil des externen Teams zu werden, das GPT-4 evaluieren würde.
Hernández-Orallo und Ferri, beide Professoren am Fachbereich Informationssysteme und Informatik der Universitat Politècnica de València (UPV), gehören derselben Forschungsgruppe an und verfügen über umfangreiche Erfahrung in der Bewertung von Systemen der künstlichen Intelligenz. Vielleicht gehören sie deshalb zu den etwas mehr als 40 Personen, die OpenAI aus der ganzen Welt ausgewählt hat, um sein neues Sprachmodell zu testen. Ziel war es, in den sechs Monaten vor dem Start, im März 2023, Fehler im System zu finden.
„Seit GPT-3 haben sie uns immer kostenlosen Zugang zu ihren Systemen gewährt, manchmal vor dem Start, um Recherchen durchzuführen“, sagt Hernández-Orallo, der seit vier Jahren mit OpenAI zusammenarbeitet und die gute Kommunikation zwischen dem Unternehmen hervorhebt Forscher, die ihre Systeme analysieren wollen. Letztes Jahr, in jenem Sommer, als Gerüchte über die Ankunft des nächsten GPT aufkamen, rückte die Annäherung näher. Die UPV-Forscher organisierten einen Workshop im Rahmen der International Joint Conference on Artificial Intelligence, einer der prestigeträchtigsten Veranstaltungen zur künstlichen Intelligenz des Jahres, und trafen dort weitere Leute von OpenAI. Im September erhielten sie ihren Anruf.
„Sie haben uns viel Freiheit gegeben“, sagt Ferri. „Wir hatten nur grobe Richtlinien dafür, worauf wir achten sollten, wie zum Beispiel die Erkennung von Antworten, die gefährliche, sexistische oder rassistische Texte enthielten. Der Zweck bestand darin, zu verhindern, dass das Tool Text generiert, der Probleme verursachen könnte. Wir haben anders gespielt und versucht Aufforderungen (Anweisungen), die diese Art von Reaktion hervorrufen könnten.“ Die Forscher bildeten ein Team, bestehend aus ihnen selbst und drei Studenten: Yael Moros, Lexin Zhou, Wout Schellaert.
„Sie sahen, dass sie es auf den Markt bringen würden und Millionen von Benutzern haben würden. Je mehr seltsame Dinge man also ausprobiert, desto mehr kann man den Raum der verrückten Dinge abdecken, die die Leute tun können“, erklärt Hernández-Orallo. Es ging darum, GPT-4 auszulösen, um zu sehen, ob es stolperte. Von den Computern in ihrem Labor am UPV aus gaben sie Texte ein, in denen sie das System irgendwie zu einer gefährlichen Reaktion aufforderten.
Auf der Suche nach Fehlern
Ferri gesteht, dass es für ihn aufregend war, zum ersten Mal Zugang zu dem Tool zu haben. GPT-3 (im Jahr 2020 in eingeschränktem Umfang veröffentlicht) funktionierte bereits sehr gut, sodass die Forscher wussten, dass sie über den neuesten Stand der generativen künstlichen Intelligenz verfügen.
Es gab viel auszuprobieren und jeder experimentierte auf dem Gebiet, das ihn am meisten interessierte. Hernández-Orallo untersuchte die Zuverlässigkeit: „Das System versagt dort, wo man es am wenigsten erwartet. Und das ist bei Sprachmodellen durchaus üblich. Es löst eine Differentialgleichung, lässt sich dann aber nicht gut zu einer fünfstelligen Summe addieren. Ein Mensch auf der Straße ist zuversichtlich, wenn er eine erstklassige Differentialgleichung richtig hinbekommt. Aber im letzten Schritt des Problems müssen zwei Vektoren hinzugefügt werden und es schlägt fehl.“ Der UPV-Professor beschreibt dieses Problem als ein Missverhältnis zwischen den Erwartungen der Benutzer und der Kapazität der KI.
Nicht alle von OpenAI zur Bewertung von GPT-4 ausgewählten Experten verfügten über einen rechnerischen Hintergrund. Einige hatten eine Ausbildung in Jura, Medizin, Menschenrechten oder Verteidigung gegen chemische Waffen. Ziel war es, das System zu polieren. Laut dem von OpenAI zu GPT-4 veröffentlichten technischen Bericht gelang es einem der Gutachter durch eine Anweisung, dass das System Schritt für Schritt aufschreibt, wie man eine gefährliche chemische Verbindung zu Hause synthetisiert. Diese Arten von Antworten wurden ungültig gemacht, um zu verhindern, dass sie in der öffentlich zugänglichen Version bestehen bleiben.
Und mitten in diesem Schattenüberprüfungsprozess brach der Sturm aus. Am 30. November 2022 startete OpenAI ChatGPT. „Für uns war es eine Überraschung. Niemand hatte uns gesagt, dass es ein Parallelprojekt gab“, sagt Hernández-Orallo. „Über Nacht erscheint ChatGPT und wir waren uns nicht einmal sicher, ob es sich um die Version handelte, die wir evaluierten oder nicht.“ Nach ein paar Tagen wurde klar, dass das öffentlich eingeführte System auf GPT-3.5 basierte, einer früheren Version der Version, die sie evaluierten.
Die Forscher setzten ihre Arbeit fort. Bis zum Start von GPT-4 vergingen noch ein paar Monate, und sie waren noch immer von Erstaunen erfüllt. „Wir haben gesehen, dass er in der Lage war, eine Wortsuche zu lösen, bei der man nach Wortmustern suchen muss, die vertikal oder diagonal erscheinen. Es war etwas Unerwartetes. Niemand hat erwartet, dass es so funktioniert“, sagt Ferri.
Monica Torres
Mit ChatGPT können Sie jetzt Diagramme in eine Abfrage eingeben, aber das war den Forschern damals nicht möglich. Um seine Fähigkeiten zu testen, gaben sie ihm räumliche Koordinaten, die zusammen eine Figur bildeten. „Wir sagten ihm: ‚Ich werde dir in wenigen Schritten die Koordinaten geben.‘ Sie haben ihm erklärt, dass die erste Linie von (0,0) bis (5,5) geht und so weiter“, sagt Ferri. „Wenn man das einem Menschen gibt, ist es schwierig für ihn, wir müssen es malen. Und GPT-4 war in der Lage, Formen wie Quadrate, Rechtecke und aufwändigere Zeichnungen wie ein Auto oder ein Flugzeug zu erraten.“ Es handelte sich um eine Abstraktionsfähigkeit, die es in der künstlichen Intelligenz noch nie gegeben hatte. Der Forscher fasst es so zusammen: „Wir hatten die Textbarriere überschritten.“
„Mit GPT-4 kann man Dinge kaputt machen“
ChatGPT, ursprünglich GPT-3.5 und jetzt auch GPT-4 nachempfunden, war das erste fortschrittliche Textgenerierungssystem, das die breite Masse erreichte. Und den Forschern war bewusst, dass dies einen qualitativen Sprung bedeutete, der mit Unsicherheiten behaftet war. „Aus kognitiver Sicht ist es unverantwortlich“, sagt Hernández-Orallo über die Einführung des Tools in der breiten Öffentlichkeit. „Nicht so sehr, weil das System außer Kontrolle gerät oder Schimpfwörter von sich gibt“, fügt er hinzu. Was ihn beunruhigt, ist, dass „diese Systeme zu kognitiven Atrophien führen könnten oder dass Menschen dieses System als Therapeuten oder Lebenspartner nutzen könnten.“ Solche Dinge passieren auf einer viel niedrigeren Ebene als das, was hätte passieren können, aber sie passieren.“
Diese Besorgnis hängt mit der Katastrophe zusammen, die sich bei OpenAI ereignete, als der Vorstand CEO Sam Altman entließ, um ihn nach einigen Tagen grausamer Instabilität wieder auf seine Position zurückzubringen. Wie sich herausstellte, stand im Mittelpunkt dieses Kampfes der Kampf darum, ob der Sicherheit künstlicher Intelligenz Vorrang vor ihrem kommerziellen Einsatz eingeräumt wird oder nicht.
Die Forscher verstehen diese Debatte: „Bislang waren wir in der KI noch nicht so weit fortgeschritten, dass so viele Dinge auch nicht kaputt gemacht werden konnten.“ Bei GPT-4 sehen wir, dass Dinge kaputt gehen können, also müssen wir es trotzdem ruhig angehen“, sagt Ferri und bezieht sich auf den von der Forschungsgemeinschaft geäußerten Wunsch, den Wettlauf um KI zu stoppen, um Spielraum zu gewinnen sozialer Einfluss.
Du kannst Folgen EL PAÍS-Technologie In Facebook j X oder melden Sie sich hier an, um unsere zu erhalten Newsletter-Semanal.
Abonnieren Sie, um weiterzulesen
Lesen Sie ohne Grenzen
_
