Das Problem mit der generativen KI, das dazu führt, dass Fehlinformationen verbreitet werden.
Viele Leute sprechen davon, dass ChatGPT Dinge erfunden hat. Es ist eines der größten Probleme mit großen Sprachproblemen, die ich hier behandelt habe. Kürzlich habe ich einen Artikel mit dem Titel How Amazon make Machine Learning More Trustworthy geschrieben. Darin habe ich mehrere Veröffentlichungen von Amazon aufgeschlüsselt, in denen sie beantworteten, wie sie KI-Modelle erstellten, die immun gegen Voreingenommenheit und robuster waren und gleichzeitig die Privatsphäre der Benutzer schützten. Ich war gespannt, wie ChatGPT den Artikel zusammenfassen würde. Schau mal-
Es hat einen ziemlich soliden Job gemacht. Allerdings ist der letzte Satz der Zusammenfassung ziemlich interessant, weil ich nie etwas über menschliche Bewertungen geschrieben habe. Dies war etwas, was ChatGPT selbst entwickelt hat. In unserem Fall war das ziemlich harmlos. Aber wenden Sie diese Tendenz zur Täuschung und zum Erfinden von Dingen in Bereichen wie Recht oder Medizin an, und Sie werden ein sehr problematisches Problem haben
Die Tendenz von Deep-Learning-Agenten zu „halluzinieren“ ist nicht neu. Allerdings werden immer noch Milliarden von Dollar in LLMs und andere komplexe Generative Deep Learning-Systeme gesteckt (GPT-4 ist anscheinend am Horizont). Microsoft hat Milliarden ausgegeben, um Open AI zu integrieren, Startups sammeln Millionen ein, und jetzt ist Google mit ihrem Sprachmodell Bard mit von der Partie. In diesem Artikel werde ich auf einige der Konstruktionsfehler bei diesen Modellen eingehen, die Halluzinationen verursachen. Wenn Sie dies verstehen, können Sie diese Modelle sicherer und effektiver integrieren/verwenden.
Hinweis: Es gibt zwar Probleme wie voreingenommene Datensätze und nur vergiftete Daten im Training, aber diese Probleme können behoben werden. Ich werde mich auf das architektonische Problem konzentrieren, das die Halluzinationen verursacht
Um den Grund dafür zu verstehen, wollen wir zunächst kurz auffrischen, wie es funktioniert. Insbesondere werde ich mich auf die Einbettung des latenten Raums, das Vortraining mit großen Datenkorpora und das generative Wort-für-Wort-Ausgabeformat konzentrieren, da sie die größten Übeltäter für ChatGPT/andere Deep-Learning-Module und ihre Neigung zum Lügen sind. Diese 3 Komponenten funktionieren wie folgt:
- Die Datensätze werden in einen latenten Raum kodiert.
- Der latente Raum wird verwendet, um die Daten zu trainieren.
- ChatGPT verwendet dann diesen codierten Bereich, um Ihre Anfrage zu verarbeiten. Die Abfrage wird in den latenten Raum eingespeist. Die KI durchquert den latenten Raum, um die besten Ergebnisse zu finden.
Für diejenigen unter Ihnen, die einen Überblick über die Funktionsweise von ChatGPT auf hoher Ebene erhalten möchten, leistet dieses Video gute Arbeit, indem es die großen Teile des Modells durchgeht. Ich mag auch diesen Beitrag von Sebastian Raschka, der RLHF erklärt, den Schlüssel hinter den Chat-Funktionen von ChatGPT.
A latenter Raumauch bekannt als latenter Merkmalsraum oder Einbettungsraumist ein Einbettung einer Menge von Elementen innerhalb von a vielfältig in welchem Gegenstände, die sich ähneln, werden im latenten Raum näher beieinander positioniert. Jetzt kratzen sich einige von Ihnen wahrscheinlich am Kopf über diese Begriffe, also lassen Sie uns mit einem Beispiel weitermachen. Stellen Sie sich vor, wir hätten es mit einem großen Datensatz zu tun, der die Namen von Früchten, Tieren, Städten und Autonamen enthält. Wir erkennen, dass das Speichern und Trainieren mit Textdaten zu teuer ist, also beschließen wir, jede Zeichenkette einer Zahl zuzuordnen. Wir tun dies jedoch nicht zufällig. Stattdessen bilden wir unsere Elemente so ab, dass Zitronen näher an Orangen sind als Trauben und Lamborginis. Wir haben gerade eine latente Raumeinbettung erstellt.
Wenn Sie in die KI einsteigen möchten, insbesondere in Large Models, dann sollten Sie diese Idee sehr gut verstehen. Obwohl es schwierig sein kann, mit latenten Räumen zu arbeiten und sie zu interpretieren, sind sie wirklich nützlich, wenn Sie mit Daten in großem Maßstab arbeiten. Sie können höherdimensionale Daten in niedrigere Dimensionen umwandeln, was bei der Speicherung, Visualisierung und Analyse hilfreich sein kann.
ChatGPT verwendet latente Leerzeichen, um die großen Textmengen zu codieren, die zum Vortrainieren des Modells verwendet werden. Latent Spaces ermöglichen es ChatGPT, zusammenhängende Textstücke zu produzieren, da es sich an relevante Details hält. Wenn ich ChatGPT bitte, mir beim Schreiben eines Liebesbriefs zu helfen, möchte ich nicht, dass es mir einen Aufsatz über Karl Marx gibt. Latent Space Embedding erreicht dies, indem es in Nachbarschaften bleibt, die nahe an Liebe und Beziehungen und weit entfernt von der Arbeitsökonomie liegen (obwohl, da Scheidung nahe an Liebe liegen sollte, die Möglichkeit besteht, dass mein Modell in die falsche Richtung geht).
Welche Probleme verursacht dies? Erinnern wir uns an die Amazon-Panne, die ich zuvor erwähnt habe. Höchstwahrscheinlich war die Einbettung fast eine Voreingenommenheit in der KI und was Amazon unternimmt, um dem entgegenzuwirken. Menschliche Audits und Bewertungen sind eine sehr verbreitete Idee, die herumgeworfen wird, um Voreingenommenheit zu bekämpfen, daher ist es nicht unwahrscheinlich, dass dies in die generative Wort-Wort-Ausgabe gerutscht ist. Da LLMs wie ChatGPT darauf angewiesen sind, die Abfrage zuerst in einen latenten Raum zu codieren, wird dieses Problem weiterhin auftreten, da wir nicht wirklich kontrollieren können, wie die KI diesen Raum durchquert.
Im Fall der Verlässlichkeit erweisen sich Latentraumeinbettungen als zweischneidiges Schwert. Sie ermöglichen dem Modell, eine große Datenmenge effizient zu kodieren und zu verwenden, verursachen aber auch mögliche Probleme, bei denen die KI verwandte, aber falsche Informationen ausspuckt
Um diesen Punkt zu verdeutlichen, werde ich die Erfahrungen eines Freundes von mir zitieren, der im Bereich SEO für Autos arbeitet. Er erzählte mir von seinen Erfahrungen mit ChatGPT und sagte mir, dass es fast mehr Aufwand war, als es wert war. ChatGPT erstellte weiterhin falsche Spezifikationen/Angebote. Höchstwahrscheinlich widersprachen die Autodaten, die mein Freund eingab, einigen Online-Aufzeichnungen, was dazu führte, dass ChatGPT Fehlinformationen ausspuckte. Hätte er weitergemacht, ohne sich darum zu kümmern, wäre er wegen seiner schrecklichen Arbeit gefeuert worden.
Latent Spaces sind nicht das einzige Problem mit LLMs, das sie zum Lügen bringt. Das nächste Problem ist für diese Modelle so wesentlich, dass es im Namen steckt. Und es bildet einen Doppelschlag mit den Fehlern der latenten Raumeinbettung.
Wie niemanden überraschen sollte, benötigen große Sprachmodelle wie ChatGPT viele Daten. Dies ermöglicht es ihm, über Quantenphysik, Verkaufsprozesse und alles dazwischen zu sprechen.
Dies hat jedoch einen Nachteil. Wenn es darum geht, Text für eine bestimmte Aufgabe zu generieren, sind die anderen Informationen, mit denen GPT trainiert wurde, meist irrelevant. Um auf das Amazon-Beispiel zurückzukommen, ich wollte nur eine Zusammenfassung meines Artikels. Alle anderen Praktiken waren irrelevant. Die Größe des ChatGPT-Trainings bedeutet jedoch, dass unabhängig davon, was Sie als Abfrage eingeben, die Wahrscheinlichkeit groß ist, dass sich in der Nähe Ihrer Einbettung ein weiterer irrelevanter Teil befindet. So wird das Modell diese Teile in Ihr System schieben, ohne zweimal darüber nachzudenken.
Nehmen wir das Beispiel des prominenten Subsatck-Autors und Wirtschaftswissenschaftlers Noah Smith. Er bat ChatGPT um Hilfe bei einem Artikel-
Anscheinend hat dies jedoch ein paar Probleme. Um den Mann selbst zu zitieren –
Es gibt nur ein paar Probleme mit dieser Ausgabe. Erstens ist das Zitat von Dube völlig frei erfunden. Zweitens hat Dube, obwohl er für Bloomberg interviewt wurde, nie einen Artikel für diese Publikation geschrieben. Und drittens und am wichtigsten ist Dubes Position in den Lohngremien völlig gegenüber zu dem, was ChatGPT in der obigen Passage behauptet.
ChatGPT hat definitiv Argumente gegen Wage Boards, und es hat die Charaktere Arin Dube, Bloomberg und California. Es fällt ihm also nicht schwer, auf diese fiktive Position zu kommen. Der umfangreiche Umfang seiner Trainingsdatenbank erzeugt die Lügen.
Als relevante Tangente können die großen Trainingssätze, die in großen Modellen verwendet werden, die Leistung auch negativ beeinträchtigen. Die Autoren von „Ein Vergleich von SVM mit vortrainierten Sprachmodellen (PLMs) für Textklassifizierungsaufgaben” verglichen die Leistung von LLMs mit einer mickrigen SVM für die Textklassifizierung in verschiedenen spezialisierten Geschäftskontexten. Sie haben die folgenden Modelle verfeinert und verwendet:
Diese Modelle wurden gegen eine SVM und etwas altmodisches Feature-Engineering gestapelt. Die Ergebnisse sind in der folgenden Tabelle-
Wie Sie sehen können, entsprechen SVMs der Leistung dieser großen Modelle. Denken Sie daran, dass die Textklassifizierung eine der Kernfunktionen dieser größeren Modelle ist. Ich vermute hier, dass widersprüchliche Meinungen aus verschiedenen Bereichen die fein abgestimmten Modelle möglicherweise überlastet haben und sie daran gehindert haben, in einem bestimmten Geschäftsfall Spitzenleistungen zu erbringen.
Wieder einmal sehen wir ein Muster. Große Datensätze sind eines der Kernmerkmale von LLMs. Sie verursachen jedoch auch ein Vertrauens- und Zuverlässigkeitsproblem, da sie dazu führen, dass das Modell irrelevante Bereiche überschreitet / falsche Informationen einmischt.
Kommen wir zum letzten Grund, der diese Modelle dazu bringt, zu lügen. die Art und Weise, wie die Ausgabe generiert wird.
So erzeugt ChatGPT seine Ausgabe – es verwendet die Einbettung und die Datensätze, um das wahrscheinlichste nächste Wort vorherzusagen. Dieser Prozess ist stochastisch, weshalb dieselbe Abfrage unterschiedliche Ausgaben erzeugen kann. Aber im Kern funktioniert ChatGPT sehr ähnlich wie die automatische Vervollständigung auf Ihrem Telefon.
Warum ist das relevant? Versuchen Sie, Essays mit Autocomplete zu erstellen. Irgendwann wird es eine seltsame Richtung nehmen. LLMs sind nicht anders. Wenn Sie Token für Token vorgehen, wird sich der Fehler weiter ausbreiten. Die Abweichung ist zunächst gering, schießt aber weiter in die Höhe, je komplexer die Ausgabe wird. Lügen/Fehlinformationen sind in diesem Fall unvermeidlich.
Im Gegensatz zu den beiden anderen diskutierten Gründen könnte dies möglicherweise geändert werden. Durch Erhöhen des Lookbacks/Fensters, das die Wahrscheinlichkeitsgenerierung berücksichtigt, können wir möglicherweise die Fehlerzunahme nach jeder Generierung auf ein überschaubares Maß reduzieren. Dies würde jedoch wahrscheinlich auch viel mehr Training und Validierung erfordern, was eine Entwicklung unmöglich macht. Ich stütze dieses Bit auf meine eigenen Erfahrungen und Gespräche mit anderen. Denken Sie jedoch daran, dass ich kein Textexperte bin und hier abwesend sein könnte. Wenn Sie irgendwelche Erkenntnisse darüber haben, wie wir bessere Generationen erreichen können, würde ich sie gerne hören. Wie immer können Sie entweder Ihre Gedanken in den Kommentaren hinterlassen, auf diese E-Mail antworten oder einfach einen meiner Social-Media-Links verwenden, um mich zu erreichen.
Das war es für dieses Stück. Ich schätze Ihre Zeit. Wenn Sie daran interessiert sind, mit mir zusammenzuarbeiten oder sich meine anderen Arbeiten anzusehen, finden Sie meine Links wie immer am Ende dieser E-Mail/dieses Posts. Wenn Ihnen meine Texte gefallen, würde ich mich sehr über eine anonyme Empfehlung freuen. Sie können es hier ablegen. Und wenn Sie in diesem Artikel einen Wert gefunden haben, würde ich mich freuen, wenn Sie ihn mit mehr Menschen teilen.
Steigern Sie Ihre Tech-Karriere mit meinem Newsletter „Tech Made Simple“! Bleiben Sie in der KI-, Softwareentwicklungs- und Technologiebranche mit Experteneinblicken, Tipps und Ressourcen immer einen Schritt voraus. 20 % Rabatt für neue Abonnenten, wenn Sie auf diesen Link klicken. Melden Sie sich jetzt an und vereinfachen Sie Ihre Tech-Reise!
Durch die Verwendung dieses Rabatts werden die Preise gesenkt.
800 INR (10 USD) → 533 INR (8 USD) pro Monat
8000 INR (100 USD) → 6400 INR (80 USD) pro Jahr
Erhalten Sie 20 % Rabatt für 1 Jahr
Verwenden Sie die Links unten, um meine anderen Inhalte anzusehen, mehr über Nachhilfe zu erfahren, mich wegen Projekten zu kontaktieren oder einfach nur Hallo zu sagen.
Kleine Schnipsel über Tech, KI und maschinelles Lernen hier drüben
Wenn Ihnen meine Texte gefallen, würde ich mich sehr über eine anonyme Empfehlung freuen. Sie können es hier ablegen.
Um mir zu helfen, füllen Sie diese Umfrage aus (anonym)
Schauen Sie sich meine anderen Artikel auf Medium an. : https://rb.gy/zn1aiu
Mein YouTube: https://rb.gy/88iwdd
Kontaktieren Sie mich auf LinkedIn. Verbinden wir uns: https://rb.gy/m5ok2y
Mein Instagram: https://rb.gy/gmvuy9
Mein Twitter: https://twitter.com/Machine01776819
