Kein vernünftiger Kliniker würde jemals zulassen, dass ein großes Sprachmodell sie am Krankenbett ersetzt, aber diejenigen, die diese digitalen Tools zur Ergänzung ihrer Entscheidungsfindung nutzen möchten, könnten von einer schnellen Entwicklung profitieren.
John Halamka, MD, Präsident der Mayo Clinic Platform
Da so viele große Technologieentwickler große Sprachmodelle (LLMs) erstellen, haben Kliniker und Führungskräfte im Gesundheitswesen oft Schwierigkeiten, den effektivsten Weg zu finden, diese für administrative und klinische Zwecke zu nutzen. Jeder, der beispielsweise ChatGPT verwendet hat, weiß, dass es sehr unterschiedliche Ergebnisse liefern kann, von denen einige genau sind, während andere reine Erfindungen sind. Eine Möglichkeit, die Ergebnisse Ihrer Eingabeaufforderungen zu verbessern, ist die Verwendung von Eingabeaufforderungs-Engineering.
ChatGPT stimmt zu. Auf die Bitte, Prompt Engineering in einfachen Worten zu erklären, antwortete der Chatbot: „Prompt Engineering ist der Prozess der sorgfältigen Ausarbeitung der Fragen oder Anweisungen, die Sie einem Sprachmodell geben, um die besten und relevantesten Antworten zu erhalten.“ Es geht darum, die Eingabeaufforderungen zu optimieren und zu verfeinern, um das gewünschte Ergebnis zu erzielen.“ Weiter wurde darauf hingewiesen, dass der Prozess am besten durch Experimentieren und Verfeinern erreicht werden kann.
„Unkonstruierte Eingabeaufforderung“
Letztes Jahr haben wir ChatGPT gebeten, bei einem Patienten Brustschmerzen und mehrere andere Anzeichen und Symptome zu diagnostizieren. Wir hätten einen differenzierteren Ansatz wählen und Prompt Engineering nutzen können, um die Anfrage zu verbessern und vielleicht eine genauere Antwort zu erhalten. Die erste Reaktion auf unsere „unkonstruierte“ Aufforderung war falsch. Es deutete darauf hin, dass der Patient einen Myokardinfarkt hatte, obwohl zumindest eines seiner Symptome auf eine ganz andere Diagnose hindeutete (Aortendissektion).
In einem nachfolgenden Blog diskutierten wir anspruchsvollere Ansätze zur Suche nach einer möglichen Diagnose. Eine Forschungsgruppe hat beispielsweise ChatGPT gebeten, die wichtigsten Differenzialdiagnosen für das von ihnen erstellte Szenario zu erstellen. Anhand der Krankengeschichte der Patienten und der ärztlichen Untersuchungen haben Ärzte „die Diagnose in 83 Prozent der Fälle korrekt in die Top-Differenzialdiagnose aufgenommen“, verglichen mit 87 Prozent bei ChatGPT-4.
Prompt Engineering kann auch mehrere andere Taktiken nutzen. Man kann zum Beispiel mit verschiedenen Eingabeaufforderungsstilen experimentieren; Anstatt eine direkte Frage zu stellen, können Sie den Chatbot bitten, den Schritt-für-Schritt-Prozess der Diagnose eines Patienten mit bestimmten Anzeichen, Symptomen und Laborbefunden zu erklären. Bertalan Mesko, MD, PhD, vom Medical Futurist Institute, Budapest, Ungarn, hat ebenfalls Rollenspiele als weitere Taktik vorgeschlagen. Sie könnten die Aufforderung folgendermaßen formulieren: „Angenommen, Sie sind ein Kardiologe und versuchen, einem Patienten zu erklären, was seine Anzeichen und Symptome bedeuten könnten.“
Iterieren und verfeinern
Eine weitere Taktik besteht darin, zu iterieren und zu verfeinern, nachdem der Chatbot die Antwort auf Ihre erste Anfrage generiert hat. Eine der außergewöhnlichen Eigenschaften chatbasierter LLMs wie ChatGPT und Bard besteht im Gegensatz zu Alexa oder Siri darin, dass sie sich an Ihre erste Aufforderung erinnern und Ihnen ein sehr langes Gespräch über dieselbe Frage ermöglichen. Dadurch können Sie die Ausgabe basierend auf dem Feedback ändern und eine zweite und weitere Eingabeaufforderungen hinzufügen. Diese einzigartige Fähigkeit ist eine Funktion des Aufmerksamkeitsmechanismus eines LLM und der Transformatorarchitektur. In dem Anwendungsfall, den wir zunächst über einen Patienten mit Brustschmerzen und Schmerzen im linken Bein bereitgestellt haben, hätten wir den Vorschlag des Bots zu einem Herzinfarkt mit einer Folgefrage anfechten können: „Die Beinschmerzen des Patienten stimmen nicht mit einem Herzinfarkt überein.“ Bitte erklären Sie, was dieser Schmerz bedeuten könnte.“
Zu den Anwendungsfällen, die den Wert von Prompt Engineering veranschaulichen, gehört eine Analyse von Songhai et al., die „Anweisungs-Prompt-Tuning“ einführte, einen Parameter-effizienten Ansatz zur Ausrichtung von LLMs auf neue Domänen unter Verwendung einiger Exemplare. Das daraus resultierende Modell, Med-PaLM, zeigt eine ermutigende Leistung, ist den Ärzten jedoch nach wie vor unterlegen. Wir zeigen, dass sich das Verständnis, die Wissenserinnerung und das logische Denken mit der Optimierung des Modellmaßstabs und der Anleitungsaufforderung verbessern, was auf den potenziellen Nutzen von LLMs in der Medizin hindeutet.“ Darüber hinaus gibt es mehrere Tutorials, die Benutzern dabei helfen, die neuesten Fortschritte im Prompt Engineering im Allgemeinen und im Gesundheitswesen anzuwenden.
Obwohl Prompt Engineering bei vielen KI-Stakeholdern an Beliebtheit gewonnen hat, stellen einige Kritiker die Frage, ob Prompt Engineering der beste Weg ist, die von LLMs erzielten Ergebnisse zu verbessern. Als Alternative verweisen sie auf die Problemformulierung als lohnende Strategie. Oguz Acar erklärt den Prozess in einem aktuellen Artikel der Harvard Business Review: „Prompt Engineering konzentriert sich auf die Erstellung der optimalen Texteingabe durch Auswahl der geeigneten Wörter, Phrasen, Satzstrukturen und Zeichensetzung.“ Im Gegensatz dazu liegt bei der Problemformulierung der Schwerpunkt auf der Definition des Problems durch die Abgrenzung seines Fokus, seines Umfangs und seiner Grenzen. Schnelles Engineering erfordert ein solides Verständnis eines bestimmten KI-Tools und Sprachkenntnisse, während die Problemformulierung ein umfassendes Verständnis des Problembereichs und die Fähigkeit erfordert, reale Probleme zu destillieren. Tatsache ist, dass ohne ein gut formuliertes Problem selbst die ausgefeiltesten Eingabeaufforderungen nicht ausreichen. Sobald jedoch ein Problem klar definiert ist, werden die linguistischen Nuancen einer Aufforderung tangential zur Lösung.“
Schnelles Engineering ist möglicherweise kein Allheilmittel, das auf magische Weise vollkommen genaue Ergebnisse generiert und Fälschungen eliminiert. Dennoch ist es ein Schritt in die richtige Richtung.
Dieser Artikel wurde von John Halamka, MD, Präsident, und Paul Cerrato, leitender Forschungsanalyst und Kommunikationsspezialist der Mayo Clinic Platform, verfasst. Um ihren Blog anzusehen, klicken Sie hier.
